DE112021005407T5

DE112021005407T5 - Sichtliniendetektionsvorrichtung, anzeigevorrichtung und verfahren zur erkennung eines augapfels

Info

Publication number: DE112021005407T5
Application number: DE112021005407.4T
Authority: DE
Inventors: Yuki MAMISHIN; Ryo Ogawa; Takuro Noda
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-10-13
Filing date: 2021-09-14
Publication date: 2023-08-10
Also published as: US20230367393A1; CN116322475A; WO2022080058A1

Abstract

Bereitstellung einer Sichtliniendetektionsvorrichtung, die zur weiteren Verbesserung der Sichtliniendetektionsgenauigkeit, zum Erzielen geringer Latenz und zum Erzielen eines niedrigen Stromverbrauchs befähigt ist. Bereitgestellt wird eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; eine Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt.

Description

TECHNISCHES GEBIET
Die vorliegende Technologie bezieht sich auf eine Sichtliniendetektionsvorrichtung, eine Anzeigevorrichtung und ein Verfahren zur Erkennung eines Augapfels.
STAND DER TECHNIK
Es werden verschiedene Entwicklungsziele zur Erkennung von Augapfelinformationen erwartet. Neurowissenschaft, Biotechnik und Medizin werden im Forschungsfeld erwartet, und die Übertragung von Techniken durch Sichtlinienverfolgung, Verbesserung der Nutzbarkeit von UX und dergleichen werden auf dem industriellen Gebiet erwartet und ferner wird auch Entwicklung der Sicherheit durch Irisauthentifizierung erwartet. In den letzten Jahren wurden am Kopf befestigte Anzeigen (Head-Mounted Displays, AR/VR), die zunehmend und kompetitiv entwickelt wurden, für Foveated Rendering und Erweiterung der sichtbaren Bereiche (Eyeboxes) verwendet.
In Patentdokument 1 werden beispielsweise zwei Zustände der Purkinje-Detektion (eine Modulationszeit des Luminanzzustands) und Pupillenerkennung (ereignisgesteuerte Zeit) unter Verwendung von zwei Arten von Luminazzuständen erzeugt.
LITERATURVERZEICHNIS
PATENTDOKUMENT
Patentdokument 1: Internationale Veröffentlichung Nr. 2019/067731
ZUSAMMENFASSUNG DER ERFINDUNG
VON DER ERFINDUNG ZU LÖSENDE PROBLEME
In einer in Patentdokument 1 vorgeschlagenen Technologie besteht jedoch die Möglichkeit, dass es schwierig ist, eine weitere Verbesserung der Genauigkeit der Sichtlinienerkennung zu erreichen, geringe Latenz zu erreichen und geringen Stromverbrauch zu erreichen.
Deshalb erfolgte die vorliegende Technologie angesichts eines solchen Umstands, und eine ihrer Hauptaufgaben ist die Bereitstellung einer Sichtliniendetektionsvorrichtung, einer Anzeigevorrichtung, die die Sichtliniendetektionsvorrichtung aufweist, und eines Verfahrens zur Erkennung eines Augapfels, die das Erreichen einer weiteren Verbesserung der Genauigkeit der Sichtliniendetektion, das Erreichen geringer Latenz und das Erreichen eines geringen Stromverbrauchs ermöglichen.
LÖSUNGEN DER PROBLEME
Als Ergebnis intensiver Forschung zum Lösen der oben beschriebenen Aufgabe gelang es den vorliegenden Erfindern überraschenderweise, eine weitere Verbesserung der Genauigkeit der Sichtliniendetektion zu erreichen, geringe Latenz zu erreichen und geringen Stromverbrauch zu erreichen, und sie haben die vorliegende Technologie vollendet.
Das heißt, als ein erster Aspekt stellt die vorliegende Technologie
eine Sichtliniendetektionsvorrichtung bereit, aufweisend:

ein Bildgebungselement mit einer ereignisgesteuerten Funktion;
eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt;
eine Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und
eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt.

Die Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie kann ferner eine Licht emittierende Vorrichtung aufweisen, und in diesem Fall
kann die Licht emittierende Vorrichtung drei Lichtemissionsintensitäten aufweisen.
Die Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie kann ferner eine Licht emittierende Vorrichtung aufweisen, und in diesem Fall
kann die Licht emittierende Vorrichtung zwei Lichtemissionsintensitäten aufweisen,
kann das Bildgebungselement mit der ereignisgesteuerten Funktion ein erstes Pixel und ein zweites Pixel mit unterschiedlichen Schwellenwerten aufweisen, und
können das erste Pixel und das zweite Pixel in einer Bayer-Anordnung angeordnet sein.
Die Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie kann ferner eine Licht emittierende Vorrichtung aufweisen, und in diesem Fall
kann die Licht emittierende Vorrichtung zwei Lichtemissionsintensitäten aufweisen, und
kann das Bildgebungselement mit der ereignisgesteuerten Funktion zwei Schwellenwerte mit Zeitwechsel aufweisen.
Die Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie kann ferner eine Vielzahl von Licht emittierenden Vorrichtungen aufweisen, und in diesem Fall
kann die Einheit zur Erzeugung des ersten Modus den Purkinje-Detektionsmodus erzeugen, wenn jede der Vielzahl von Licht emittierenden Vorrichtungen sequentiell eingeschaltet wird.
Die Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie kann ferner eine Licht emittierende Vorrichtung aufweisen, und in diesem Fall
kann die Licht emittierende Vorrichtung drei Lichtemissionsintensitäten aufweisen,
können die drei Lichtemissionsintensitäten eine hohe Intensität, eine mittlere Intensität und eine niedrige Intensität sein, und
kann ein Intensitätsunterschied zwischen der hohen Intensität und der mittleren Intensität im Wesentlichen mit einem Intensitätsunterschied zwischen der mittleren Intensität und der niedrigen Intensität identisch sein.
Die Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie kann ferner eine Vielzahl von Licht emittierenden Vorrichtungen aufweisen, und in diesem Fall
kann die Vielzahl von Licht emittierenden Vorrichtungen Lichtemissionsintensitäten im Wesentlichen gleichzeitig ändern, und
kann die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugen.
Die Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie kann ferner aufweisen: eine Licht emittierende Vorrichtung; und eine Signalerfassungseinheit, und
die Signalerfassungseinheit kann ein Signal in Synchronisation mit einem Zeitstempel einer Änderung einer Lichtemissionsintensität der Licht emittierenden Vorrichtung im Purkinje-Detektionsmodus und im Pupillendetektionsmodus erfassen, und
sie kann Zeitstempelakkumulation zum Erfassen eines Signals im ereignisgesteuerten Modus durchführen.
In der Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie
kann die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugen, wenn Detektion im ereignisgesteuerten Modus nicht mehr möglich ist.
In der Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie
kann die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugen, wenn eine Detektionswahrscheinlichkeit im ereignisgesteuerten Modus geringer als ein vorgegebener Wert ist.
In der Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie
kann die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugen, wenn ein Ende einer Sakkade im ereignisgesteuerten Modus erkannt wird.
Als ein zweiter Aspekt stellt die vorliegende Technologie
eine Anzeigevorrichtung bereit, einschließlich der Sichtliniendetektionsvorrichtung als erster Aspekt gemäß der vorliegenden Technologie.
Als ein dritter Aspekt stellt die vorliegende Technologie
ein Verfahren zur Erkennung eines Augapfels bereit, einschließlich:

unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion,
Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und
Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus.

Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner den Wechsel zu drei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung beinhalten.
Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner den Wechsel zu zwei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung beinhalten, und in diesem Fall
kann das Bildgebungselement mit der ereignisgesteuerten Funktion ein erstes Pixel und ein zweites Pixel mit unterschiedlichen Schwellenwerten aufweisen, und
können das erste Pixel und das zweite Pixel in einer Bayer-Anordnung angeordnet sein.
Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner den Wechsel zu zwei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung beinhalten, und in diesem Fall
kann das Bildgebungselement mit der ereignisgesteuerten Funktion zwei Schwellenwerte mit Zeitwechsel aufweisen.
Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner den sequentiellen Übergang in den Purkinje-Detektionsmodus durch sequentielles Einschalten jeder einer Vielzahl von Licht emittierenden Vorrichtungen unter Verwendung der Vielzahl von Licht emittierenden Vorrichtung beinhalten.
Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner den Wechsel zu drei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung beinhalten, und in diesem Fall
können die drei Lichtemissionsintensitäten eine hohe Intensität, eine mittlere Intensität und eine niedrige Intensität sein, und
kann ein Intensitätsunterschied zwischen der hohen Intensität und der mittleren Intensität im Wesentlichen mit einem Intensitätsunterschied zwischen der mittleren Intensität und der niedrigen Intensität identisch sein.
Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner den im Wesentlichen gleichzeitigen Wechsel von Lichtemissionsintensitäten einer Vielzahl von Licht emittierenden Vorrichtungen unter Verwendung der Vielzahl von Licht emittierenden Vorrichtungen für den Übergang in den Pupillendetektionsmodus beinhalten.
Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner aufweisen:

Erfassen eines Signals in Synchronisation mit einem Zeitstempel einer Änderung einer Lichtemissionsintensität einer Licht emittierenden Vorrichtung im Purkinje-Detektionsmodus und im Pupillendetektionsmodus; und
Durchführen von Zeitstempelakkumulation zum Erfassen eines Signals im ereignisgesteuerten Modus.

Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner das Übergehen in den Pupillendetektionsmodus beinhalten, wenn Detektion im ereignisgesteuerten Modus nicht mehr möglich ist.
Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner das Übergehen in den Pupillendetektionsmodus beinhalten, wenn eine Detektionswahrscheinlichkeit im ereignisgesteuerten Modus geringer als ein vorgegebener Wert ist.
Das Verfahren zur Erkennung eines Augapfels als dritter Aspekt gemäß der vorliegenden Technologie kann ferner das Übergehen in den Pupillendetektionsmodus beinhalten, wenn ein Ende einer Sakkade im ereignisgesteuerten Modus erkannt wird.
Gemäß der vorliegenden Technologie kann die weitere Verbesserung der Genauigkeit der Sichtliniendetektion, der geringen Latenz und des geringen Stromverbrauchs erreicht werden. Es sei angemerkt, dass die hierin beschriebenen Wirkungen nicht notwendigerweise Einschränkungen unterliegen, und dass sie beliebige der in der vorliegenden Offenbarung beschriebenen Wirkungen sein können.
Figurenliste

1 ist eine Ansicht zur Beschreibung einer Intensitätsverteilung von reflektiertem Licht eines Auges.
2 ist eine Ansicht, die eine Beziehung zwischen einem Schwellenwert eines dynamischen Vision-Sensors (Dynamic Vision Sensor, DVS) und einem Purkinje-Detektionsmodus, einem Pupillendetektionsmodus und einem ereignisgesteuerten Modus zeigt.
3 ist eine Ansicht, die ein Bild zeigt, wenn ein Augapfel unter Verwendung einer Sichtliniendetektionsvorrichtung erkannt wird, in einer ersten Ausführungsform, auf die die vorliegende Technologie angewendet wird.
4 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) in einer Sichtliniendetektionsvorrichtung und einem Verfahren zur Erkennung eines Augapfels in einer zweiten Ausführungsform, auf die die vorliegenden Technologie angewendet wird.
5 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) in einer Sichtliniendetektionsvorrichtung und einem Verfahren zur Erkennung eines Augapfels in einer dritten Ausführungsform, auf die die vorliegenden Technologie angewendet wird.
6 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von zwei Modi (ereignisgesteuerter Modus und Purkinje-Detektionsmodus) in einer Sichtliniendetektionsvorrichtung und einem Verfahren zur Erkennung eines Augapfels in einer vierten Ausführungsform, auf die die vorliegenden Technologie angewendet wird.
7 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) in einer Sichtliniendetektionsvorrichtung und einem Verfahren zur Erkennung eines Augapfels in einer fünften Ausführungsform, auf die die vorliegenden Technologie angewendet wird.
8 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) in einer Sichtliniendetektionsvorrichtung und einem Verfahren zur Erkennung eines Augapfels in einer sechsten Ausführungsform, auf die die vorliegenden Technologie angewendet wird.
9 ist eine Ansicht eines Beispiels eines Pupillenerkennungsablaufs in einer Sichtliniendetektionsvorrichtung und einem Verfahren zur Erkennung eines Augapfels in einer siebten Ausführungsform, auf die die vorliegenden Technologie angewendet wird.
10 ist eine Ansicht zur Beschreibung der Bestimmung einer Position einer Pupille unter Verwendung eines optischen Flusses zur Wahrscheinlichkeitsschätzung in der Sichtliniendetektionsvorrichtung und im Verfahren zur Erkennung eines Augapfels in der siebten Ausführungsform, auf die die vorliegenden Technologie angewendet wird.
11 ist eine Ansicht eines Beispiels eines Pupillenerkennungsablaufs in einer Sichtliniendetektionsvorrichtung und einem Verfahren zur Erkennung eines Augapfels in einer achten Ausführungsform, auf die die vorliegenden Technologie angewendet wird.

12 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) in einer Sichtliniendetektionsvorrichtung und einem Verfahren zur Erkennung eines Augapfels in einer neunten Ausführungsform, auf die die vorliegenden Technologie angewendet wird.
13 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) in einer Sichtliniendetektionsvorrichtung und einem Verfahren zur Erkennung eines Augapfels in einer zehnten Ausführungsform, auf die die vorliegenden Technologie angewendet wird.
14 ist eine Draufsicht, die ein Konfigurationsbeispiel einer Anzeigevorrichtung in einer elften Ausführungsform, auf die die vorliegende Technologie angewendet wird, zeigt.
15 ist eine Vorderansicht, die das Konfigurationsbeispiel der Anzeigevorrichtung in der elften Ausführungsform, auf die die vorliegende Technologie angewendet wird, zeigt.
16 ist ein Blockdiagramm, das das Konfigurationsbeispiel der Anzeigevorrichtung in der elften Ausführungsform, auf die die vorliegende Technologie angewendet wird, zeigt.

MODUS ZUM DURCHFÜHREN DER ERFINDUNG
Hiernach werden bevorzugte Modi zum Durchführen der vorliegenden Technologie beschrieben. Die unten beschriebenen Ausführungsformen zeigen Beispiele repräsentativer Ausführungsformen der vorliegenden Technologie und der Umfang der vorliegenden Technologie ist nicht eng auf diese Ausführungsformen beschränkt. Es sei angemerkt, dass in den Zeichnungen „obere“ eine obere Richtung oder eine obere Seite in den Zeichnungen bedeutet, „untere“ eine untere Richtung oder eine untere Seite in den Zeichnungen bedeutet, „links“ eine linke Richtung oder eine linke Seite in den Zeichnungen bedeutet, und „rechts“ eine rechte Richtung oder eine rechte Seite in den Zeichnungen bedeutet, sofern nichts anderes angegeben ist. Ferner werden in der Beschreibung unter Verwendung der Zeichnungen die gleichen oder äquivalente Elemente oder Glieder mit den gleichen Bezugszeichen bezeichnet und auf die überflüssige Beschreibung wird verzichtet.
Es sei angemerkt, dass eine Beschreibung in der folgenden Reihenfolge erfolgt.

1. Überblick über die vorliegende Technologie
2. Erste Ausführungsform (Beispiel 1 der Sichtliniendetektionsvorrichtung und Beispiel 1 des Verfahrens zur Erkennung eines Augapfels)
3. Zweite Ausführungsform (Beispiel 2 der Sichtliniendetektionsvorrichtung und Beispiel 2 des Verfahrens zur Erkennung eines Augapfels)
4. Dritte Ausführungsform (Beispiel 3 der Sichtliniendetektionsvorrichtung und Beispiel 3 des Verfahrens zur Erkennung eines Augapfels)
5. Vierte Ausführungsform (Beispiel 4 der Sichtliniendetektionsvorrichtung und Beispiel 4 des Verfahrens zur Erkennung eines Augapfels)
6. Fünfte Ausführungsform (Beispiel 5 der Sichtliniendetektionsvorrichtung und Beispiel 5 des Verfahrens zur Erkennung eines Augapfels)
7. Sechste Ausführungsform (Beispiel 6 der Sichtliniendetektionsvorrichtung und Beispiel 6 des Verfahrens zur Erkennung eines Augapfels)
8. Siebte Ausführungsform (Beispiel 7 der Sichtliniendetektionsvorrichtung und Beispiel 7 des Verfahrens zur Erkennung eines Augapfels)
9. Achte Ausführungsform (Beispiel 8 der Sichtliniendetektionsvorrichtung und Beispiel 8 des Verfahrens zur Erkennung eines Augapfels)
10. Neunte Ausführungsform (Beispiel 9 der Sichtliniendetektionsvorrichtung und Beispiel 9 des Verfahrens zur Erkennung eines Augapfels)
11. Zehnte Ausführungsform (Beispiel 10 der Sichtliniendetektionsvorrichtung und Beispiel 10 des Verfahrens zur Erkennung eines Augapfels)
12. Elfte Ausführungsform (Beispiel 1 der Anzeigevorrichtung)

<1. Überblick über die vorliegende Technologie>
Zunächst wird ein Überblick über die vorliegende Technologie gegeben. Die vorliegende Technologie bezieht sich auf eine Sichtliniendetektionsvorrichtung, eine Anzeigevorrichtung und ein Verfahren zur Erkennung eines Augapfels.
Im Allgemeinen werden bei der Augenerkennung kamerabasierte Techniken verwendet und darunter ist ein Pupillen-und Hornhauterkennungsverfahren ein allgemeines Sichtliniendetektionsverfahren. Bei diesem Sichtliniendetektionsverfahren ist es wichtig, eine Vielzahl von Strahlen von Hornhautreflexionslicht zu unterscheiden und angemessen zu markieren, und es gibt beispielsweise ein technisches Beispiel, in dem Strahlen von Hornhautreflexionslicht zur Verbesserung der Markierungsgenauigkeit sequentiell eingeschaltet werden. Ferner stellen in einem Kamerasystem Stromersparnis und Latenz manchmal Probleme dar, aber ein DVS dient im technischen Beispiel der Lösung der Probleme. Wenn im technischen Beispiel jedoch der DVS verwendet wird, erfolgt Ereignisauslösung nicht nur für ein Purkinje-Bild, sondern auch für andere Komponenten, wie etwa eine Pupille, sofern nicht eine angemessene Intensität ausgewählt wird, so dass Latenz, wie etwa Datenstau auftreten kann. Wenn die Pupille nur durch ein Ereignis erkannt wird, ist es wahrscheinlich, dass die Pupille in einer Situation verloren geht, beispielsweise wenn sich die Pupille zum Zeitpunkt des Blinzelns oder dergleichen bewegt hat.
Die vorliegende Technologie erfolgt angesichts eines solchen Umstands. Die vorliegende Technologie kann drei charakteristische Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) unter Verwendung einer Beziehung zwischen einem Schwellenwert eines Bildgebungselements mit einer ereignisgesteuerten Funktion und einem Intensitätsmuster von reflektiertem Licht eines Auges erzeugen.
Gemäß der vorliegenden Technologie kann die weitere Verbesserung der Genauigkeit der Sichtliniendetektion, der geringen Latenz und des geringen Stromverbrauchs erreicht werden.
Hiernach werden bevorzugte Ausführungsformen zum Durchführen der vorliegenden Technologie mit Bezug auf die Zeichnungen ausführlich beschrieben. Die unten beschriebenen Ausführungsformen zeigen Beispiele repräsentativer Ausführungsformen der vorliegenden Technologie und der Umfang der vorliegenden Technologie ist nicht eng auf diese Ausführungsformen beschränkt. Es sei angemerkt, dass in der Beschreibung unter Verwendung der Zeichnungen die gleichen oder äquivalente Elemente oder Glieder mit den gleichen Bezugszeichen bezeichnet werden und auf die überflüssige Beschreibung in einigen Fällen verzichtet wird.
<2. Erste Ausführungsform (Beispiel 1 der Sichtliniendetektionsvorrichtung und Beispiel 1 des Verfahrens zur Erkennung eines Augapfels)>
Eine Sichtliniendetektionsvorrichtung in einer ersten Ausführungsform (Beispiel 1 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt (manchmal einfach als Purkinje-Modus bezeichnet, und das gleiche gilt hiernach); eine Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt (manchmal einfach als Pupillenmodus bezeichnet); und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt (manchmal einfach als Ereignismodus bezeichnet, und das gleiche gilt hiernach).
Ein Verfahren zur Erkennung eines Augapfels in der ersten Ausführungsform (Beispiel 1 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der ersten Ausführungsform (Beispiel 1 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der ersten Ausführungsform (Beispiel 1 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der ersten Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 1 bis 3 beschrieben.
1 ist eine Ansicht zur Beschreibung einer Intensitätsverteilung von reflektiertem Licht eines Auges. Insbesondere ist 1A eine Ansicht, die eine Konfiguration des Auges zeigt, und 1B ist eine Ansicht, die ein Intensitätsmuster 1000 von reflektiertem Licht eines Auges 5000 zu dem Zeitpunkt zeigt, an dem ein Schnitt entlang einer in 1A gezeigten Linie X10-Y10 erfolgt. 2 ist eine Ansicht, die eine Beziehung zwischen einem Schwellenwert des dynamischen Vision-Sensors (Dynamic Vision Sensor, DVS) und dem Purkinje-Detektionsmodus, der in einem ersten Modus erzeugt wird, dem Pupillendetektionsmodus, der in einem zweiten Modus erzeugt wird, und dem ereignisgesteuerten Modus, der in einem dritten Modus erzeugt wird, zeigt. 3 ist eine Ansicht, die ein Bild zeigt, wenn ein Augapfel unter Verwendung der Sichtliniendetektionsvorrichtung in der ersten Ausführungsform gemäß der vorliegenden Technologie erkannt wird.
Das in 1A gezeigte Auge 5000 weist eine Pupille 5520, eine Iris 5540, eine Hornhaut 5500,die die Pupille 5520 und die Iris 5540 bedeckt, und eine Sklera 5560 auf. Im Auge 5000 werden Purkinje-Bilder (reflektiertes Licht auf der Oberfläche der Hornhaut 5500) 6100A und 6100 E erkannt. Wie es im Intensitätsmuster 1000 von reflektiertem Licht des Auges in 1B gezeigt wird, besteht unter Infrarotlicht eine Beziehung der Intensitäten (Reflexionen) von reflektiertem Licht jene Hornhautreflexion (Purkinje-Bild) (h3) > Iris (h1 und h5) > Pupille (h24). Es sei angemerkt, dass 1B zeigt, dass die Intensität (Reflexion) von reflektiertem Licht auf der oberen Seite von 1B hoch ist.
2 zeigt ein Intensitätsmuster 1001 von reflektiertem Licht des Auges im ereignisgesteuerten Modus, ein Intensitätsmuster 1002 von reflektiertem Licht des Auges im Purkinje-Detektionsmodus und ein Intensitätsmuster 1003 von reflektiertem Licht des Auges im Pupillendetektionsmodus. Als Intensitätsmuster 1001 von reflektiertem Licht des Auges im ereignisgesteuerten Modus werden reflektiertes Licht h11 und h15 der Iris, reflektiertes Licht h13-1 und 13-2 des Purkinje-Bildes und reflektiertes Licht h1214 der Pupille gezeigt. Als Intensitätsmuster 1002 von reflektiertem Licht des Auges im Purkinje-Detektionsmodus werden reflektiertes Licht h21 und h25 der Iris, reflektiertes Licht h23-1 und 23-2 des Purkinje-Bildes und reflektiertes Licht h2224 der Pupille gezeigt. Als Intensitätsmuster 1003 von reflektiertem Licht des Auges im Pupillendetektionsmodus werden reflektiertes Licht h31 und h35 der Iris, reflektiertes Licht h33-1 und 33-2 des Purkinje-Bildes und reflektiertes Licht h3234 der Pupille gezeigt. Es sei angemerkt, dass 2 zeigt, dass die Intensität von reflektiertem Licht auf der oberen Seite von 2 hoch ist.
Wie es von dem Intensitätsmuster 1002 von reflektiertem Licht des Auges im Purkinje-Detektionsmodus gezeigt wird, wird nur Purkinje ausgelöst, wenn nur das reflektierte Licht (h23-1 und h23-2) des Purkinje einen Schwellenwert S überschreitet. Wenn andererseits das reflektierte Licht (h11, h13-1, h13-2, h15, h31, h33-1, h33-2 und h35) der Iris den Schwellenwert S überschreitet, werden das reflektierte Licht der Iris und das reflektierte Licht des Purkinje ausgelöst. Diese Auslösung umfasst eine Auslösung, die durch ein Ereignis verursacht wird, und eine forcierte Auslösung, die durch eine Veränderung des Beleuchtungslichts verursacht wird. Wenn die forcierte Auslösung erfolgt, werden Ereignisdaten für alle Purkinje und die Pupille ausgegeben. Im Fall der Ereignisauslösung werden andererseits nur Randabschnitte (beispielsweise eine Grenze (Rand) 43 zwischen der Pupille 45 und der Iris 45 und eine Grenze (Rand) 44 zwischen der Iris 46 und der Sklera 47) ausgelöst (siehe auch 3, wie später noch beschrieben wird).
In 3 zeigt 3A ein Bild zum Zeitpunkt der Erkennung des Augapfels, wenn sich der Augapfel im ereignisgesteuerten Modus bewegt hat, unter Verwendung der Sichtliniendetektionsvorrichtung in der ersten Ausführungsform gemäß der vorliegenden Technologie; 3B zeigt ein Bild zum Zeitpunkt der Erkennung des Augapfels, wenn sich der Augapfel im ereignisgesteuerten Modus nicht bewegt; 3C zeigt ein Bild zum Zeitpunkt der Erkennung des Augapfels im Purkinje-Detektionsmodus; und 3D zeigt ein Bild zum Zeitpunkt der Erkennung des Augapfels im Pupillendetektionsmodus.
In 3A (ereignisgesteuerter Modus) bewegt sich der Augapfel und daher werden die Grenze (Rand) 44 zwischen der Iris 46 und der Sklera 47 und die Grenze (Rand) 43 zwischen der Pupille 45 und der Iris 46 als Ereignisse ausgelöst. In 3B (ereignisgesteuerter Modus) bewegt sich der Augapfel nicht und daher werden die Grenze (Rand) 44 zwischen der Iris 46 und der Sklera 47 und die Grenze (Rand) 43 zwischen der Pupille 45 und der Iris 46 und dergleichen nicht als Ereignisse ausgelöst, und ein Festbild mit einer achromatischen Farbe wie Grau wird erhalten. In 3C (Purkinje-Detektionsmodus) wird nur ein Purkinje-Bild 41 ausgelöst. In 3D (Pupillendetektionsmodus) werden das Purkinje-Bild 41, die Pupille 45, die Iris 46 und die Sklera 47 alle forciert ausgelöst. Es sei angemerkt, dass Auslösung die Ausgabe eines Ereignisses (Erzeugung eines Signals) betrifft, wenn eine Veränderung eines optischen Signals einen vorgegebenen Schwellenwert in jedem Pixel, das im Bildgebungselement mit der ereignisgesteuerten Funktion enthalten ist, überschreitet.
In den drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) wird beispielsweise die Pupille im ereignisgesteuerten Modus konstant erkannt, so dass die Geschwindigkeit erhöht werden kann, und hohe Robustheit und hohe Genauigkeit können durch Einstellung des Pupillendetektionsmodus erzielt werden, wenn die Pupille nicht mehr erkannt wird. Ferner ist äußerst genaue Sichtliniendetektion durch Einstellung des Purkinje-Detektionsmodus möglich.
Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der ersten Ausführungsform (Beispiel 1 der Sichtliniendetektionsvorrichtung und Beispiel 1 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf Sichtliniendetektionsvorrichtungen und Verfahren zur Erkennung eines Augapfels in zweiten bis zehnten Ausführungsformen gemäße der vorliegenden Technologie wie später beschrieben angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<3. Zweite Ausführungsform (Beispiel 2 der Sichtliniendetektionsvorrichtung und Beispiel 2 des Verfahrens zur Erkennung eines Augapfels)>
Die Sichtliniendetektionsvorrichtung in der zweiten Ausführungsform (Beispiel 2 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; ein Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt, und sie weist ferner eine Licht emittierende Vorrichtung auf. Die in der Sichtliniendetektionsvorrichtung in der zweiten Ausführungsform gemäß der vorliegenden Technologie bereitgestellte Licht emittierende Vorrichtung weist drei Lichtemissionsintensitäten auf.
Das Verfahren zur Erkennung eines Augapfels in der zweiten Ausführungsform (Beispiel 2 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus, und es umfasst ferner das Wechseln zu drei Lichtemissionsintensitätszuständen unter Verwendung der Licht emittierenden Vorrichtung. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der zweiten Ausführungsform (Beispiel 2 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der zweiten Ausführungsform (Beispiel 2 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Dann erfolgt im Verfahren zur Erkennung eines Augapfels in der zweiten Ausführungsform (Beispiel 2 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ein Übergang vom Purkinje-Detektionsmodus in den ereignisgesteuerten Modus, es erfolgt ein Übergang vom ereignisgesteuerten Modus in den Purkinje-Detektionsmodus, es erfolgt ein Übergang vom Pupillendetektionsmodus in den ereignisgesteuerten Modus, es erfolgt ein Übergang vom ereignisgesteuerten Modus in den Pupillendetektionsmodus und es erfolgt ein Übergang vom Purkinje-Detektionsmodus in den Pupillendetektionsmodus.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der zweiten Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 4 beschrieben.
4 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) in der Sichtliniendetektionsvorrichtung und im Verfahren zur Erkennung eines Augapfels in der zweiten Ausführungsform gemäß der vorliegenden Technologie. Insbesondere ist 4A eine Ansicht, die ein Übergangsmuster 102 der drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) zeigt. In 4 repräsentiert die horizontale Achse die Zeit, und die vertikale Achse repräsentiert eine Lichtemissionsintensität der Licht emittierenden Vorrichtung (beispielsweise einer LED). 4B ist eine Ansicht (auch als Zustandsverschiebungsdiagramm 102-1 bezeichnet), das eine Übergangsbeziehung (gezeigt durch das Bezugszeichen 102-1) der drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) zeigt.
Im Übergangsmuster 102 erfolgt ein Übergang von einem Ereignismodus M1-1 in einem Zustand, in dem die Intensität bei einer mittleren Intensität S2-2 konstant ist, zu einem Purkinje-Modus M2-1, der ein Moment ist, an dem sich die Intensität von der mittleren Intensität S2-2 in eine niedrige Intensität S1-2 verändert, anschließend erfolgt ein Übergang in einen Ereignismodus M1-2 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-2 konstant ist, und es erfolgt ein Übergang in einen Purkinje-Modus M2-2, der ein Moment ist, an dem die Intensität sich von der niedrigen Intensität S1-2 in die mittlere Intensität S2-2 verändert. Dann erfolgt ein Übergang vom Purkinje-Modus M2-2 in einen Ereignismodus M1-1-1 in einem Zustand, in dem die Intensität bei der mittleren Intensität S2-2 konstant ist, anschließend erfolgt ein Übergang in einen Pupillenmodus M3-1, der ein Moment ist, an dem sich die Intensität von der mittleren Intensität S2-2 in eine hohe Intensität S3-2 verändert, es erfolgt ein Übergang vom Pupillenmodus M3-1 in einen Ereignismodus S3-2 in einem Zustand, in dem die Intensität bei der hohen Intensität S3-2 konstant ist, und es erfolgt ferner ein Übergang in einen Pupillenmodus M3-2, der ein Moment ist, an dem die Intensität sich von der hohen Intensität S3-2 wieder in die mittlere Intensität S2-2 verändert.
Wie oben beschrieben weist das Übergangsmuster 102 drei Intensitäten auf, das heißt die niedrige Intensität S1-2, die mittlere Intensität S2-2 und die hohe Intensität S3-2. In einem Abschnitt (Ereignismodus), in dem jede Intensität (die niedrige Intensität S1-2, die mittlere Intensität S2-2 oder die hohe Intensität S3-2) konstant ist, wird reflektiertes Licht der Pupille und Purkinje (Fresnel-Reflexion und diffuse Reflexionskomponenten) bezüglich der Bewegung des Augapfels ausgelöst.
An dem Moment, an dem ein Übergang von der mittleren Intensität S2-2 zur niedrigen Intensität S1-2 mit einer kleinen Verschiebung erfolgt (der Moment, an dem sich die Intensität verändert) oder an dem Moment, an dem ein Übergang von der niedrigen Intensität S1-2 zur mittleren Intensität S2-2 mit einer kleinen Verschiebung erfolgt (der Moment, an dem sich die Intensität verändert) (im Purkinje-Detektionsmodus), wird die Intensität des Lichts forciert verändert und nur eine reflektierende Verschiebungsmenge des Purkinje-Lichts (Fresnel-Reflexionskomponente) wird ausgelöst.
An dem Moment, an dem ein Übergang von der mittleren Intensität S2-2 zur hohen Intensität S3-2 mit einer großen Verschiebung erfolgt (der Moment, an dem sich die Intensität verändert) oder an dem Moment, an dem ein Übergang von der hohen Intensität S3-2 zur mittleren Intensität S2-2 mit einer großen Verschiebung erfolgt (der Moment, an dem sich die Intensität verändert) (im Pupillendetektionsmodus), wird die Intensität des Lichts forciert verändert und eine reflektierende Verschiebungsmenge des reflektierten Lichts der Pupille und des Purkinje (Fresnel-Reflexions- und diffuse Reflexionskomponenten) werden ausgelöst.
Wie im Zustandsverschiebungsdiagramm 102-1 zu sehen ist, ist es im Übergangsmuster 102 möglich, aus einem Ereignismodus P1 in einen Purkinje-Modus P2 überzugehen und aus dem Purkinje-Modus P2 in den Ereignismodus P1 überzugehen (ein Pfeil Y2-1, der in 4B gezeigt wird). Ferner ist es im Übergangsmuster 102 möglich, aus dem Ereignismodus P1 in einen Pupillenmodus P3 überzugehen und aus dem Pupillenmodus P3 in den Ereignismodus P1 überzugehen (ein Pfeil Y2-2, der in 4B gezeigt wird). Darüber hinaus ist es im Übergangsmuster 102 möglich, aus dem Purkinje-Modus P2 in den Pupillenmodus P3 überzugehen (ein Pfeil Y2-3, der in 4B gezeigt wird).
Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der zweiten Ausführungsform (Beispiel 2 der Sichtliniendetektionsvorrichtung und Beispiel 2 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der ersten Ausführungsform gemäß der vorliegenden Technologie wie oben beschrieben, und die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den dritten bis zehnten Ausführungsformen gemäß der vorliegenden Technologie wie später noch beschrieben wird angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<4. Dritte Ausführungsform (Beispiel 3 der Sichtliniendetektionsvorrichtung und Beispiel 3 des Verfahrens zur Erkennung eines Augapfels)>
Die Sichtliniendetektionsvorrichtung in der dritten Ausführungsform (Beispiel 3 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; ein Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt, und sie weist ferner eine Licht emittierende Vorrichtung auf. Die in der Sichtliniendetektionsvorrichtung in der dritten Ausführungsform gemäß der vorliegenden Technologie bereitgestellte Licht emittierende Vorrichtung weist drei Lichtemissionsintensitäten auf. Die drei Lichtemissionsintensitäten sind eine hohe Intensität, eine mittlere Intensität und eine niedrige Intensität, und ein Intensitätsunterschied zwischen der hohen Intensität und der mittleren Intensität ist im Wesentlichen identisch mit einem Intensitätsunterschied zwischen der mittleren Intensität und der niedrigen Intensität.
Das Verfahren zur Erkennung eines Augapfels in der dritten Ausführungsform (Beispiel 3 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus, und es umfasst ferner das Wechseln zu drei Lichtemissionsintensitätszuständen unter Verwendung der Licht emittierenden Vorrichtung. Die drei Lichtemissionsintensitäten sind eine hohe Intensität, eine mittlere Intensität und eine niedrige Intensität, und ein Intensitätsunterschied zwischen der hohen Intensität und der mittleren Intensität ist im Wesentlich identisch mit einem Intensitätsunterschied zwischen der mittleren Intensität und der niedrigen Intensität. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der dritten Ausführungsform (Beispiel 3 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der dritten Ausführungsform (Beispiel 3 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Dann erfolgt im Verfahren zur Erkennung eines Augapfels in der dritten Ausführungsform (Beispiel 3 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ein Übergang vom Purkinje-Detektionsmodus in den ereignisgesteuerten Modus, es erfolgt ein Übergang vom ereignisgesteuerten Modus in den Purkinje-Detektionsmodus, es erfolgt ein Übergang vom Pupillendetektionsmodus in den ereignisgesteuerten Modus, es erfolgt ein Übergang vom ereignisgesteuerten Modus in den Pupillendetektionsmodus, es erfolgt ein Übergang vom Purkinje-Detektionsmodus in den Pupillendetektionsmodus und es erfolgt ein Übergang vom Pupillen-Detektionsmodus in den Purkinje-Detektionsmodus.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der dritten Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 5 beschrieben.
5 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) in der Sichtliniendetektionsvorrichtung und im Verfahren zur Erkennung eines Augapfels in der dritten Ausführungsform gemäß der vorliegenden Technologie. Insbesondere ist 5A eine Ansicht, die ein Übergangsmuster 103 der drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) zeigt. In 5a repräsentiert die horizontale Achse die Zeit, und die vertikale Achse repräsentiert eine Lichtemissionsintensität der Licht emittierenden Vorrichtung (beispielsweise einer LED). 5B ist eine Ansicht (auch als Zustandsverschiebungsdiagramm 103-1 bezeichnet), das eine Übergangsbeziehung (gezeigt durch das Bezugszeichen 103-1) der drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) zeigt.
Im Übergangsmuster 103 erfolgt ein Übergang von einem Ereignismodus M1-4 in einem Zustand, in dem die Intensität bei einer mittleren Intensität S2-3 konstant ist, in einen Purkinje-Modus M2-3, der ein Moment ist, an dem sich die Intensität von der mittleren Intensität S2-3 in eine niedrige Intensität S1-3 verändert (Veränderungen mit Verschiebungsmenge α), anschließend erfolgt ein Übergang in einen Ereignismodus M1-5 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-3 konstant ist, und es erfolgt ein Übergang in einen Pupillenmodus M3-3, der ein Moment ist, an dem die Intensität sich von der niedrigen Intensität S1-3 in eine hohe Intensität S3-3 verändert (Veränderungen mit einer Verschiebungsmenge von 2α). Dann erfolgt ein Übergang vom Pupillenmodus M3-3 in einen Ereignismodus M1-6 in einem Zustand, in dem die Intensität bei der hohen Intensität S3-3 konstant ist, anschließend erfolgt ein Übergang in einen Purkinje-Modus M2-4, der ein Moment ist, an dem sich die Intensität von der hohen Intensität S3-3 in die mittlere Intensität S2-3 verändert (Veränderungen mit der Verschiebungsmenge α), und es erfolgt ein Übergang vom Purkinje-Modus M2-4 in einen Ereignismodus M1-7 in einem Zustand, in dem die Intensität bei der mittleren Intensität S2-3 konstant ist.
Wie oben beschrieben weist das Übergangsmuster 103 drei Intensitäten auf, das heißt die niedrige Intensität S1-3, die mittlere Intensität S2-3 und die hohe Intensität S3-3. Der Intensitätsunterschied (Verschiebungsmenge) zwischen der niedrigen Intensität S1-3 und der mittleren Intensität S2-3 beträgt α, und der Intensitätsunterschied (Verschiebungsmenge) zwischen der mittleren Intensität S2-3 und der hohen Intensität S3-3 beträgt α. Das heißt, der Intensitätsunterschied (Verschiebungsmenge) zwischen der niedrigen Intensität S1-3 und der mittleren Intensität S2-3 und der Intensitätsunterschied (Verschiebungsmenge) zwischen der mittleren Intensität S2-3 und der hohen Intensität S3-3 sind die gleichen wie α. Dann beträgt der Intensitätsunterschied (Verschiebungsmenge) zwischen der niedrigen Intensität S1-3 und der hohen Intensität S3-3 2α.
In einem Abschnitt (Ereignismodus), in dem jede Intensität (die niedrige Intensität S1-3, die mittlere Intensität S2-3 oder die hohe Intensität S3-3) konstant ist, wird reflektiertes Licht der Pupille und Purkinje (Fresnel-Reflexion und diffuse Reflexionskomponenten) bezüglich einer Bewegung des Augapfels ausgelöst.
An dem Moment, an dem die Verschiebung von der mittleren Intensität S2-3 in eine benachbarte Intensität übergeht (im Purkinje-Detektionsmodus (auch als Purkinje-Modus bezeichnet)), wird die Intensität des Lichts forciert verändert, was nur durch eine reflektierende Verschiebungsmenge von Purkinje-Licht (Fresnel-Reflexionskomponente) ausgelöst wird.
An dem Moment, an dem ein Übergang von der niedrigen Intensität S1-3 in eine unterschiedliche Intensität mit der Verschiebung 2α erfolgt (im Pupillendetektionsmodus), wird die Intensität des Lichts forciert verändert, was durch reflektierende Verschiebungsmengen von reflektiertem Licht (Fresnel-Reflexions- und diffuse Reflexionskomponenten) der Pupille und Purkinje ausgelöst wird.
Wie es im Zustandsverschiebungsdiagramm 103-1 zu sehen ist, ist es im Übergangsmuster 103 möglich, aus dem Ereignismodus P1 in den Purkinje-Modus P2 überzugehen und aus dem Purkinje-Modus P2 in den Ereignismodus P1 überzugehen (ein Pfeil Y3-1, der in 5B gezeigt wird). Ferner ist es im Übergangsmuster 103 möglich, aus dem Ereignismodus P1 in den Pupillenmodus P3 überzugehen und aus dem Pupillenmodus P3 in den Ereignismodus P1 überzugehen (ein Pfeil Y3-2, der in 5B gezeigt wird). Darüber hinaus ist es im Übergangsmuster 103 möglich, aus dem Purkinje-Modus P2 in den Pupillenmodus P3 überzugehen und aus dem Pupillenmodus P3 in den Purkinje-Modus P2 überzugehen (ein Pfeil Y3-3, der in 5B gezeigt wird).
Deshalb wird im Übergangsmuster 103 (Zustandsverschiebungsdiagramm 103-1) der Übergang vom Pupillenmodus P3 in den Purkinje-Detektionsmodus P2 dem oben beschriebenen Übergangsmuster 102 (Zustandsverschiebungsdiagramm 102-1) hinzugefügt, so dass eine weitere Zustandsübergangsrichtung vorhanden ist.
Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der dritten Ausführungsform (Beispiel 3 der Sichtliniendetektionsvorrichtung und Beispiel 3 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den ersten und zweiten Ausführungsformen gemäß der vorliegenden Technologie wie oben beschrieben, und die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den vierten bis zehnten Ausführungsformen gemäß der vorliegenden Technologie wie später noch beschrieben wird angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<5. Vierte Ausführungsform (Beispiel 4 der Sichtliniendetektionsvorrichtung und Beispiel 4 des Verfahrens zur Erkennung eines Augapfels)>
Die Sichtliniendetektionsvorrichtung in der vierten Ausführungsform (Beispiel 4 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; ein Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt, und sie weist ferner eine Vielzahl von Licht emittierenden Vorrichtungen auf. In der Sichtliniendetektionsvorrichtung in der vierten Ausführungsform gemäß der vorliegenden Technologie erzeugt die Einheit zum Erzeugen eines ersten Modus den Purkinje-Detektionsmodus, wenn jede der Vielzahl von Licht emittierenden Vorrichtungen nacheinander eingeschaltet wird.
Das Verfahren zur Erkennung eines Augapfels in der vierten Ausführungsform (Beispiel 4 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus, und es umfasst ferner das sequentielle Einschalten jeder einer Vielzahl von Licht emittierenden Vorrichtungen unter Verwendung der Vielzahl von Licht emittierenden Vorrichtungen für den sequentiellen Übergang in den Purkinje-Detektionsmodus. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der vierten Ausführungsform (Beispiel 4 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der vierten Ausführungsform (Beispiel 4 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der vierten Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 6 beschrieben.
6 ist eine Ansicht, die ein Beispiel eines Übergangsverfahrens von zwei Modi (ereignisgesteuerter Modus und Purkinje-Detektionsmodus) in der Sichtliniendetektionsvorrichtung und dem Verfahren zur Erkennung eines Augapfels in der vierten Ausführungsform gemäß der vorliegenden Technologie zeigt, und das insbesondere ein Übergangsmuster 104-1 von zwei Modi (Purkinje-Detektionsmodus und ereignisgesteuerter Modus), ein Übergangsmuster 104-2 von zwei Modi (Purkinje-Detektionsmodus und ereignisgesteuerter Modus) und ein Übergangsmuster 104-3 von zwei Modi (Purkinje-Detektionsmodus und ereignisgesteuerter Modus) in Reihenfolge von der oberen Seite von 6 zeigt.
Ein schematisches Bild MP2-2, wenn der Augapfel im Purkinje-Detektionsmodus unter Verwendung der Sichtliniendetektionsvorrichtung in der vierten Ausführungsform gemäß der vorliegenden Technologie erkannt wird, wird auf der rechten Seite des Übergangsmusters 104-1 in 6 gezeigt; ein schematisches Bild MP2-3, wenn der Augapfel im Purkinje-Detektionsmodus unter Verwendung der Sichtliniendetektionsvorrichtung in der vierten Ausführungsform gemäß der vorliegenden Technologie erkannt wird, wird auf der rechten Seite des Übergangsmusters 104-2 in 6 gezeigt; und ein schematisches Bild MP2-4, wenn der Augapfel im Purkinje-Detektionsmodus unter Verwendung der Sichtliniendetektionsvorrichtung in der vierten Ausführungsform gemäß der vorliegenden Technologie erkannt wird, wird auf der rechten Seite des Übergangsmusters 104-3 in 6 gezeigt.
Eine LED 1 wird als Licht emittierende Vorrichtung verwendet. Im Übergangsmuster 104-1 erfolgt ein Übergang von einem Ereignismodus M1-8 in einem Zustand, in dem die Intensität bei einer hohen Intensität S2-4-1 konstant ist, in einen Purkinje-Detektionsmodus M2-5, der ein Moment ist, an dem sich die Intensität von der hohen Intensität S2-4-1 in eine niedrige Intensität Sl-4-1 verändert, und anschließend erfolgt ein Übergang vom Purkinje-Detektionsmodus M2-5 in einen Ereignismodus M1-0 in einem Zustand, in dem die Intensität bei der niedrigen Intensität Sl-4-1 konstant ist. Es sei angemerkt, dass die LED 1 auch eine Intensität, die höher als die hohe Intensität S2-4-1 ist, oder eine Intensität, die niedriger als die niedrige Intensität Sl-4-1 ist, aufweisen kann, das heißt, sie kann insgesamt drei Intensitäten zusammen mit der hohen Intensität S2-4-1 und der niedrigen Intensität Sl-4-1 aufweisen. Es sei angemerkt, dass die LED 1 insgesamt vier oder mehr Intensitäten aufweisen kann.
Eine LED 2 wird als Licht emittierende Vorrichtung verwendet. Im Übergangsmuster 104-2 erfolgt ein Übergang von einem Ereignismodus M1-10 in einem Zustand, in dem die Intensität bei einer hohen Intensität S2-4-2 konstant ist, in einen Purkinje-Detektionsmodus M2-6, der ein Moment ist, an dem sich die Intensität von der hohen Intensität S2-4-2 in eine niedrige Intensität Sl-4-2 verändert, und anschließend erfolgt ein Übergang vom Purkinje-Detektionsmodus M2-6 in einen Ereignismodus M1-11 in einem Zustand, in dem die Intensität bei der niedrigen Intensität Sl-4-2 konstant ist. Es sei angemerkt, dass die LED 2 auch eine Intensität, die höher als die hohe Intensität S2-4-2 ist, oder eine Intensität, die niedriger als die niedrige Intensität S1-4-2 ist, aufweisen kann, das heißt, sie kann insgesamt drei Intensitäten zusammen mit der hohen Intensität S2-4-2 und der niedrigen Intensität S1-4-2 aufweisen. Es sei angemerkt, dass die LED 2 insgesamt vier oder mehr Intensitäten aufweisen kann.
Eine LED 3 wird als Licht emittierende Vorrichtung verwendet. Im Übergangsmuster 104-3 erfolgt ein Übergang von einem Ereignismodus M1-12 in einem Zustand, in dem die Intensität bei einer hohen Intensität S2-4-3 konstant ist, in einen Purkinje-Detektionsmodus M2-7, der ein Moment ist, an dem sich die Intensität von der hohen Intensität S2-4-3 in eine niedrige Intensität S1-4-3 verändert, und anschließend erfolgt ein Übergang vom Purkinje-Detektionsmodus M2-7 in einen Ereignismodus M1-13 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-4-3 konstant ist. Es sei angemerkt, dass die LED 3 auch eine Intensität, die höher als die hohe Intensität S2-4-3 ist, oder eine Intensität, die niedriger als die niedrige Intensität S1-4-3 ist, aufweisen kann, das heißt, sie kann insgesamt drei Intensitäten zusammen mit der hohen Intensität S2-4-3 und der niedrigen Intensität S1-4-3 aufweisen. Es sei angemerkt, dass die LED 2 insgesamt vier oder mehr Intensitäten aufweisen kann.
Wenn die Übergänge sequentiell vom Ereignismodus M1-8, vom Ereignismodus M1-10 und vom Ereignismodus M1-12 in den Purkinje-Detektionsmodus M2-5, Purkinje-Detektionsmodus M2-6 und Purkinje-Detektionsmodus M2-7 mit einem Zeitablauf (Übergänge erfolgen sequentiell zu Lichtemissionszeitpunkten der jeweiligen LEDs 1 bis 3 mit einem Zeitablauf) erfolgen, kann das im oberen rechten Bereich der Pupille 45 angeordnete Purkinje-Bild 41 im Bild MP2-2 erkannt werden, das unter der Pupille 45 angeordnete Purkinje-Bild 41 kann im Bild MP2-3 erkannt werden, und das im oberen linken Bereich der Pupille 45 angeordnete Purkinje-Bild 41 kann im Bild MP2-4 erkannt werden, und die Genauigkeit der Markierung kann verbessert werden. Dann ist beispielsweise in einem Fall, in dem die Sichtliniendetektionsvorrichtung in der vierten Ausführungsform gemäß der vorliegenden Technologie eine Anzeigevorrichtung vom Brillentyp darstellt, die LED 1 im oberen rechten Bereich eines Randabschnitts angeordnet, der einen vorderen Abschnitt eines Rahmens bildet, die LED 2 ist unter dem Randabschnitt angeordnet, der den vorderen Abschnitt des Rahmens bildet, und die LED 3 ist im oberen linken Bereich des Randabschnitts angeordnet, der den vorderen Abschnitt des Rahmens bildet, gesehen von der Außenseite des Rahmens (wenn ein Träger, der die Anzeigevorrichtung vom Brillentyp trägt, angesehen wird).
Es sei angemerkt, dass die drei LEDs (LEDs 1 bis 3) beschrieben wurden, dass aber die Anzahl der LEDs (beispielsweise kann die Anzahl der LEDs zwei oder vier oder mehr betragen) keinen Einschränkungen unterliegt, solange die Genauigkeit der Markierung verbessert werden kann.
Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der vierten Ausführungsform (Beispiel 4 der Sichtliniendetektionsvorrichtung und Beispiel 4 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den ersten bis dritten Ausführungsformen gemäß der vorliegenden Technologie wie oben beschrieben, und die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den fünften bis zehnten Ausführungsformen gemäß der vorliegenden Technologie wie später noch beschrieben wird angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<6. Fünfte Ausführungsform (Beispiel 5 der Sichtliniendetektionsvorrichtung und Beispiel 5 des Verfahrens zur Erkennung eines Augapfels)>
Die Sichtliniendetektionsvorrichtung in der fünften Ausführungsform (Beispiel 5 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; ein Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt, und sie weist ferner eine Vielzahl von Licht emittierenden Vorrichtungen auf. In der Sichtliniendetektionsvorrichtung in der fünften Ausführungsform gemäß der vorliegenden Technologie erzeugt die Einheit zum Erzeugen eines zweiten Modus den Pupillendetektionsmodus, wenn die Vielzahl von Licht emittierenden Vorrichtungen im Wesentlichen gleichzeitig die Lichtemissionsintensitäten verändert.
Das Verfahren zur Erkennung eines Augapfels in der fünften Ausführungsform (Beispiel 5 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus, und es umfasst ferner das im Wesentlichen gleichzeitige Verändern der Lichtemissionsintensitäten einer Vielzahl von Licht emittierenden Vorrichtungen unter Verwendung der Vielzahl von Licht emittierenden Vorrichtungen für den Übergang in den Pupillendetektionsmodus. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der fünften Ausführungsform (Beispiel 5 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der fünften Ausführungsform (Beispiel 5 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der fünften Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 7 beschrieben.
7 ist eine Ansicht, die ein Beispiel eines Übergangsverfahrens von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) in der Sichtliniendetektionsvorrichtung und dem Verfahren zur Erkennung eines Augapfels in der fünften Ausführungsform gemäß der vorliegenden Technologie zeigt, und die insbesondere ein Übergangsmuster 105-1 von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus), ein Übergangsmuster 105-2 von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) und ein Übergangsmuster 105-3 von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) in Reihenfolge von der oberen Seite von 7 zeigt.
Auf der rechten Seite der Übergangsmuster 105-1, 105-2 und 105-3 in 7 wird ein schematisches Bild MP3-2 gezeigt, wenn der Augapfel im Pupillendetektionsmodus unter Verwendung der Sichtliniendetektionsvorrichtung in der fünften Ausführungsform gemäß der vorliegenden Technologie erkannt wird.
Eine LED 4 wird als Licht emittierende Vorrichtung verwendet. Im Übergangsmuster 105-1 erfolgt ein Übergang von einem Ereignismodus M1-14 in einem Zustand, in dem die Intensität bei einer hohen Intensität S2-5-4 konstant ist, in einen Purkinje-Detektionsmodus M2-8, der ein Moment ist, an dem sich die Intensität von der hohen Intensität S2-5-4 in eine niedrige Intensität S1-5-4 verändert, und anschließend erfolgt ein Übergang vom Purkinje-Detektionsmodus M2-8 in einen Ereignismodus M1-15 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-5-4 konstant ist. Anschließend erfolgt ein Übergang vom Ereignismodus M1-15 in einen Purkinje-Detektionsmodus M2-9, der ein Moment ist, an dem sich die Intensität von der niedrigen Intensität S1-5-4 in die hohe Intensität S2-5-4 verändert, und anschließend erfolgt ein Übergang in einen Ereignismodus M1-16 in einem Zustand, in dem die Intensität bei der hohen Intensität S2-5-4 konstant ist. Es erfolgt ein Übergang vom Ereignismodus M1-16 in einen Purkinje-Detektionsmodus M3-4, der ein Moment ist, an dem sich die Intensität von der hohen Intensität S2-5-4 in die niedrige Intensität S1-5-4 verändert, und es erfolgt ein Übergang vom Purkinje-Detektionsmodus M3-4 in einen Ereignismodus M1-17 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-5-4 konstant ist.
Eine LED 5 wird als Licht emittierende Vorrichtung verwendet. Im Übergangsmuster 105-2 erfolgt ein Übergang von einem Ereignismodus M1-18 in einem Zustand, in dem die Intensität bei einer hohen Intensität S2-5-5 konstant ist, in einen Purkinje-Detektionsmodus M2-10, der ein Moment ist, an dem sich die Intensität von der hohen Intensität S2-5-5 in eine niedrige Intensität S1-5-5 verändert, und anschließend erfolgt ein Übergang vom Purkinje-Detektionsmodus M2-10 in einen Ereignismodus M1-19 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-5-5 konstant ist. Anschließend erfolgt ein Übergang vom Ereignismodus M1-19 in einen Purkinje-Detektionsmodus M2-11, der ein Moment ist, an dem sich die Intensität von der niedrigen Intensität S1-5-5 in die hohe Intensität S2-5-5 verändert, und anschließend erfolgt ein Übergang in einen Ereignismodus M1-20 in einem Zustand, in dem die Intensität bei der hohen Intensität S2-5-5 konstant ist. Es erfolgt ein Übergang vom Ereignismodus M1-20 in einen Purkinje-Detektionsmodus M3-5, der ein Moment ist, an sich die Intensität von der hohen Intensität S2-5-5 in die niedrige Intensität S1-5-5 verändert, und es erfolgt ein Übergang vom Purkinje-Detektionsmodus M3-5 in einen Ereignismodus M1-21 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-5-5 konstant ist.
Eine LED 6 wird als Licht emittierende Vorrichtung verwendet. Im Übergangsmuster 105-3 erfolgt ein Übergang von einem Ereignismodus M1-22 in einem Zustand, in dem die Intensität bei einer hohen Intensität S2-5-6 konstant ist, in einen Purkinje-Detektionsmodus M2-12, der ein Moment ist, an dem sich die Intensität von der hohen Intensität S2-5-6 in eine niedrige Intensität S1-5-6 verändert, und anschließend erfolgt ein Übergang vom Purkinje-Detektionsmodus M2-12 in einen Ereignismodus M1-23 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-5-6 konstant ist. Anschließend erfolgt ein Übergang vom Ereignismodus M1-23 in einen Purkinje-Detektionsmodus M2-13, der ein Moment ist, an dem sich die Intensität von der niedrigen Intensität S1-5-6 in die hohe Intensität S2-5-6 verändert, und anschließend erfolgt ein Übergang in einen Ereignismodus M1-24 in einem Zustand, in dem die Intensität bei der hohen Intensität S2-5-6 konstant ist. Es erfolgt ein Übergang vom Ereignismodus M1-24 in einen Purkinje-Detektionsmodus M3-7, der ein Moment ist, an sich die Intensität von der hohen Intensität S2-5-6 in die niedrige Intensität S1-5-6 verändert, und es erfolgt ein Übergang vom Purkinje-Detektionsmodus M3-7 in einen Ereignismodus M1-25 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-5-6 konstant ist.
Wie oben beschrieben wird der Pupillendetektionsmodus erzeugt, wenn die drei LEDs (LED 4 bis LED 6) gleichzeitig eingeschaltet werden, um die Intensitäten zu verändern und gleichzeitig in die drei Purkinje-Detektionsmodi M3-4, M3-5 bzw. M.3-6 in den jeweiligen Übergangsmustern 105-1, 105-2 und 105-3 überzugehen, und dadurch erfolgt ein Übergang in den Pupillendetektionsmodus.
Wenn beispielsweise ein Intensitätsunterschied (Verschiebungsmenge) zwischen der hohen Intensität S2-5-4 und der niedrigen Intensität S1-5-4 α beträgt, ein Intensitätsunterschied (Verschiebungsmenge) zwischen der hohen Intensität S2-5-5 und der niedrigen Intensität S1-5-5 α beträgt und ein Intensitätsunterschied (Verschiebungsmenge) zwischen der hohen Intensität S2-5-6 und der niedrigen Intensität S1-5-6 α beträgt, verändert sich die Intensität insgesamt um 3α, so dass der Übergang in den Pupillendetektionsmodus erfolgt. Es sei angemerkt, dass es möglich ist, in den Pupillendetektionsmodus überzugehen, wenn sich die Intensität um 2α oder mehr verändert.
Es sei angemerkt, dass die drei LEDs (LEDs 4 bis 6) beschrieben wurden, dass aber die Anzahl der LEDs (beispielsweise kann die Anzahl der LEDs zwei oder vier oder mehr betragen) keinen Einschränkungen unterliegt, solange beispielsweise eine Vielzahl der LEDs gleichzeitig eingeschaltet wird, sich die Intensität um 2α oder mehr verändert und der Übergang in den Pupillendetektionsmodus möglich ist.
Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der fünften Ausführungsform (Beispiel 5 der Sichtliniendetektionsvorrichtung und Beispiel 5 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den ersten bis vierten Ausführungsformen gemäß der vorliegenden Technologie wie oben beschrieben, und die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den sechsten bis zehnten Ausführungsformen gemäß der vorliegenden Technologie wie später noch beschrieben wird angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<7. Sechste Ausführungsform (Beispiel 6 der Sichtliniendetektionsvorrichtung und Beispiel 6 des Verfahrens zur Erkennung eines Augapfels)>
Die Sichtliniendetektionsvorrichtung in der sechsten Ausführungsform (Beispiel 6 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; ein Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt, und sie weist ferner eine Licht emittierende Vorrichtung auf. In der Sichtliniendetektionsvorrichtung in der sechsten Ausführungsform (Beispiel 6 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie wird ein Signal in Synchronisation mit einem Zeitstempel einer Veränderung einer Lichtemissionsintensität der Licht emittierenden Vorrichtung im Purkinje-Detektionsmodus und im Pupillendetektionsmodus erfasst und ein Signal wird durch Durchführung von Zeitstempelakkumulation im ereignisgesteuerten Modus erfasst.
Das Verfahren zur Erkennung eines Augapfels in der sechsten Ausführungsform (Beispiel 6 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus, und es umfasst ferner: Erfassen eines Signals in Synchronisation mit einem Zeitstempel einer Veränderung der Lichtemissionsintensität einer Licht emittierenden Vorrichtungen im Purkinje-Detektionsmodus und im Pupillendetektionsmodus; und Durchführen von Zeitstempelakkumulation zum Erfassen eines Signals im ereignisgesteuerten Modus. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der sechsten Ausführungsform (Beispiel 6 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der sechsten Ausführungsform (Beispiel 6 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der sechsten Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 8 beschrieben.
8 ist eine Ansicht eines Beispiels eines Detektionsverfahrens in drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) in der Sichtliniendetektionsvorrichtung und dem Verfahren zur Erkennung eines Augapfels in der sechsten Ausführungsform gemäß der vorliegenden Technologie. Auf der linken Seite von 8 werden ein schematisches Bild MP1-2, wenn der Augapfel im ereignisgesteuerten Modus unter Verwendung der Sichtliniendetektionsvorrichtung in der sechsten Ausführungsform gemäß der vorliegenden Technologie erkannt wird, ein schematisches Bild MP2-5, wenn der Augapfel im Purkinje-Detektionsmodus erkannt wird, und ein schematisches Bild MP3-3, wenn der Augapfel im Pupillendetektionsmodus erkannt wird, in der Reihenfolge von der oberen Seite in 8 gezeigt.
Eine Pupille wird im ereignisgesteuerten Modus erkannt, Purkinje wird im Purkinje-Detektionsmodus erkannt und eine Pupille wird im Pupillendetektionsmodus erkannt. Sichtliniendetektion wird unter Verwendung der Pupillenerkennung im ereignisgesteuerten Modus durchgeführt und Purkinje-Detektion wird im Purkinje-Detektionsmodus durchgeführt. Die Sichtliniendetektion wird unter Verwendung der Pupillenerkennung im Pupillendetektionsmodus durchgeführt und Purkinje-Detektion wird im Purkinje-Detektionsmodus durchgeführt.
Im ereignisgesteuerten Modus (Bild MP1-2) wird ein Zeitstempel in Schritt S1000-1 als ein Verfahren zur Erfassung eines Signals und zur Durchführung von Signalverarbeitung akkumuliert. Der Zeitstempel wird zum Erfassen eines Signals (durch eine Signalerfassungseinheit) akkumuliert. Merkmalsdetektion wird durch Einzelbildverarbeitung in Schritt S1002 durchgeführt und Pupillenerkennung wird in Schritt S1003 durchgeführt. Alternativ wird im ereignisgesteuerten Modus Echtzeitverarbeitung in Schritt S1001-2 durchgeführt, Merkmalsdetektion wird in Schritt S1002 durchgeführt und Pupillenerkennung wird in Schritt S1003 durchgeführt. Für die Merkmalsdetektion in Schritt S1002 wird beispielsweise Ellipsendetektion oder ein neuronales Netzwerk wie DNN oder RNN verwendet.
Im Purkinje-Detektionsmodus (Bild MP2-5) wird Zeitstempelextraktion in Synchronisation mit einer Änderung einer LED in Schritt S1004 als ein Verfahren zur Erfassung eines Signals und zur Durchführung von Signalverarbeitung durchgeführt. Ein Signal wird in Synchronisation mit einem Zeitstempel einer Intensitätsveränderung erfasst (durch die Signalerfassungseinheit). Die gleiche Merkmalsdetektion wie oben beschrieben wird unter Verwendung von Ereignisdaten zwischen den erhaltenen Zeitstempeln in Schritt S1005 durchgeführt und Purkinje-Detektion wird in Schritt S1006 durchgeführt.
Im Pupillendetektionsmodus (Bild MP3-3) wird Zeitstempelextraktion in Synchronisation mit einer Änderung der LED in Schritt S1007 als ein Verfahren zur Erfassung eines Signals und zur Durchführung von Signalverarbeitung durchgeführt. Ein Signal wird in Synchronisation mit einem Zeitstempel einer Intensitätsveränderung erfasst (durch die Signalerfassungseinheit). Die gleiche Merkmalsdetektion wie oben beschrieben wird an Ereignisdaten zwischen den erhaltenen Zeitstempeln in Schritt S1008 durchgeführt und Pupillenerkennung wird in Schritt S1009 durchgeführt.
Sichtliniendetektion wird in Schritt S1010 unter Verwendung der Pupillenerkennung in Schritt S1003 und der Purkinje-Detektion in Schritt 1006 durchgeführt.
Sichtliniendetektion wird in Schritt S1011 unter Verwendung der Pupillenerkennung in Schritt S1009 und der Purkinje-Detektion in Schritt 1006 durchgeführt.
Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der sechsten Ausführungsform (Beispiel 6 der Sichtliniendetektionsvorrichtung und Beispiel 6 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den ersten bis fünften Ausführungsformen gemäß der vorliegenden Technologie wie oben beschrieben, und die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den siebten bis zehnten Ausführungsformen gemäß der vorliegenden Technologie wie später noch beschrieben wird angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<8. Siebte Ausführungsform (Beispiel 7 der Sichtliniendetektionsvorrichtung und Beispiel 7 des Verfahrens zur Erkennung eines Augapfels)>
Die Sichtliniendetektionsvorrichtung in der siebten Ausführungsform (Beispiel 7 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; eine Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt. In der Sichtliniendetektionsvorrichtung der siebten Ausführungsform (Beispiel 7 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie erzeugt die Einheit zum Erzeugen eines zweiten Modus den Pupillendetektionsmodus, wenn die Erkennung im ereignisgesteuerten Modus nicht mehr möglich ist oder wenn eine Erkennungswahrscheinlichkeit des ereignisgesteuerten Modus geringer als ein vorgegebener Wert (Referenzwert) ist.
Das Verfahren zur Erkennung eines Augapfels in der siebten Ausführungsform (Beispiel 7 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus, und es umfasst ferner das Übergehen in den Pupillendetektionsmodus, wenn die Detektion im ereignisgesteuerten Modus nicht mehr möglich ist oder wenn eine Erkennungswahrscheinlichkeit im ereignisgesteuerten Modus geringer als ein vorgegebener Wert ist. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der siebten Ausführungsform (Beispiel 7 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der siebten Ausführungsform (Beispiel 7 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der siebten Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 9 und 10 beschrieben.
9 ist eine Ansicht eines Beispiels eines Pupillenerkennungsablaufs in der Sichtliniendetektionsvorrichtung und dem Verfahren zur Erkennung eines Augapfels in der siebten Ausführungsform gemäß der vorliegenden Technologie.
In Schritt S101 in 9 erfolgt ein Übergang in einen Ereignismodus (der ereignisgesteuerte Modus) (der Ereignismodus (ereignisgesteuerte Modus) wird erzeugt).
Pupillenerkennung wird in Schritt S102 durchgeführt und der Ablauf fährt mit Schritt S103 in einem Fall fort, wenn die Pupillenerkennung erfolgreich ist (Ja), oder er fährt mit Schritt 104 in einem Fall fort, wenn die Pupillenerkennung versagt hat (Nein).
In Schritt S103 (im Fall, wenn die Pupillenerkennung erfolgreich ist (Ja)) wird bestimmt, ob eine Pupillenerkennungswahrscheinlichkeit größer als ein Referenzwert ist oder nicht. Der Ablauf fährt mit Schritt S105 in einem Fall fort, in dem die Pupillenerkennungswahrscheinlichkeit größer als der Referenzwert ist (Ja), oder er fährt mit Schritt S104 in einem Fall fort, in dem die Pupillenerkennungswahrscheinlichkeit nicht größer als der Referenzwert ist (Nein).
In Schritt S105 (im Fall, in dem die Pupillenerkennungswahrscheinlichkeit größer als der Referenzwert ist (Ja)) wird eine Pupillenposition bestimmt. Falls notwendig kehrt der Ablauf zu Schritt S103 zurück und es wird bestimmt, ob die Pupillenerkennungswahrscheinlichkeit größer als der Referenzwert ist oder nicht. In einem Fall, in dem der Ablauf nicht zu Schritt S103 zurückkehrt, erfolgt Ausstreichen (Sweep-out) der Pupillenposition in Schritt S107.
Wie oben beschrieben fährt in dem Fall, in dem die Pupillenerkennung versagt hat (Nein), der Ablauf mit Schritt 104 fort und der Pupillendetektionsmodus wird in Schritt 104 erzeugt (es erfolgt ein Übergang in den Pupillendetektionsmodus). Als nächstes wird in Schritt S106 Pupillenerkennung durchgeführt. Als nächstes wird in Schritt S105 eine Pupillenposition bestimmt. Falls notwendig fährt der Ablauf mit Schritt S103 fort und es wird bestimmt, ob die Pupillenerkennungswahrscheinlichkeit größer als der Referenzwert ist oder nicht. In einem Fall, in dem der Ablauf nicht zu Schritt S103 zurückkehrt, erfolgt Ausstreichen (Sweep-out) der Pupillenposition in Schritt S107.
Wie oben beschrieben fährt in dem Fall, in dem die Pupillenerkennungswahrscheinlichkeit nicht größer als der Referenzwert (Nein), der Ablauf mit Schritt 104 fort und der Pupillendetektionsmodus wird in Schritt 104 erzeugt (es erfolgt der Übergang in den Pupillendetektionsmodus). Als nächstes wird in Schritt S106 Pupillenerkennung durchgeführt. Als nächstes wird in Schritt S105 eine Pupillenposition bestimmt. Falls notwendig fährt der Ablauf mit Schritt S103 fort und es wird bestimmt, ob die Pupillenerkennungswahrscheinlichkeit größer als der Referenzwert ist oder nicht. In einem Fall, in dem der Ablauf nicht zu Schritt S103 zurückkehrt, erfolgt Ausstreichen (Sweep-out) der Pupillenposition in Schritt S107.
In dem Fall, in dem die Pupillenerkennungswahrscheinlichkeit nicht größer als der Referenzwert ist (Nein), wird ein Kreislauf von Schritt S104 (Pupillendetektionsmodus) -> Schritt S106 (Pupillenerkennung) -> Schritt 105 (Pupillenpositionsbestimmung) -> Schritt S103 (Bestimmung, ob die Pupillenerkennungswahrscheinlichkeit größer als der Referenzwert ist oder nicht) -> Schritt 104 (Pupillendetektionsmodus) wiederholt.
Wie oben beschrieben erfolgt der Übergang in den Pupillendetektionsmodus (der Pupillendetektionsmodus wird erzeugt), wenn die Bestimmung der Pupillenposition im Ereignismodus versagt. Dadurch wird der Übergang in den Pupillendetektionsmodus (die Erzeugung des Pupillendetektionsmodus) auf ein notwendiges Minimum unterdrückt und es ist möglich, den Stromverbrauch zu verringern und die Geschwindigkeit der Pupillenerkennung und dergleichen zu erhöhen.
10 ist eine Ansicht zur Beschreibung der Bestimmung einer Position einer Pupille unter Verwendung eines optischen Flusses zur Wahrscheinlichkeitsschätzung in der Sichtliniendetektionsvorrichtung und im Verfahren zur Erkennung eines Augapfels in der siebten Ausführungsform gemäß der vorliegenden Technologie. Insbesondere sind in 10A, 10B und 10C gezeigte Bilder schematische Ansichten, wenn der Augapfel im ereignisgesteuerten Modus erkannt wird. Mit verstreichender Zeit (t) (wenn 10A, 10B und 10C in dieser Reihenfolge fortfahren) wird die in 10A, 10B und 10C gezeigte Pupille von einer linken Position im Bild (10A) in eine mittlere Position (10B) verschoben und dann aus der mittleren Position (10B) in eine rechte Position (10C) verschoben.
In einer in 10D gezeigten Grafik ist die horizontale Achse die Zeit (t) und die vertikale Achse ist eine Position (x) der Pupille. Eine in 10D gezeigte Linie G1 ist eine Kurve, die auf eine wahrscheinliche Verschiebung der Pupille 45 hinweist, und eine Linie G2 ist eine Linie, die auf einen Detektionsfehler der Pupille 45 hinweist. Die Position der in 10A gezeigten Pupille 45 entspricht einem kreisförmigen Bereich G1-1 auf der Linie G1, die Position der in 10B gezeigten Pupille 45 entspricht einem kreisförmigen Bereich G1-2 auf der Linie 1 und die Position der in 10C gezeigten Pupille 45 entspricht einem kreisförmigen Bereich G1-3 auf der Linie G1. Das heißt, es kann bestätigt werden, dass die Verschiebungen der Pupille in 10A bis 10C der wahrscheinlichen Verschiebung entsprechen.
Wie oben beschrieben kann der optische Fluss für die Wahrscheinlichkeitsschätzung verwendet werden. Beispielsweise während eines Sakkadenzeitraums oder dergleichen zieht eine Pupillenverschiebung in der Zeitachsenrichtung eine wahrscheinliche Kurve (beispielsweise die Linie G1 in Fig. 110D). Abweichungen von der Verschiebung werden als Detektionsfehler identifiziert (beispielsweise die Linie G2 in 10D). Dann kann die in 10D gezeigte Grafik in dem in der oben beschriebenen 9 gezeigten Schritt S103 (Bestimmung, ob die Pupillenerkennungswahrscheinlichkeit größer als der Referenzwert ist oder nicht) verwendet werden.
Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der siebten Ausführungsform (Beispiel 7 der Sichtliniendetektionsvorrichtung und Beispiel 7 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den ersten bis sechsten Ausführungsformen gemäß der vorliegenden Technologie wie oben beschrieben, und die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den achten bis zehnten Ausführungsformen gemäß der vorliegenden Technologie wie später noch beschrieben wird angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<9. Achte Ausführungsform (Beispiel 8 der Sichtliniendetektionsvorrichtung und Beispiel 8 des Verfahrens zur Erkennung eines Augapfels)>
Die Sichtliniendetektionsvorrichtung in der achten Ausführungsform (Beispiel 8 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; eine Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt. In der Sichtliniendetektionsvorrichtung der achten Ausführungsform (Beispiel 8 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie erzeugt die Einheit zum Erzeugen eines zweiten Modus den Pupillendetektionsmodus, wenn ein Ende einer Sakkade im ereignisgesteuerten Modus erkannt wird.
Das Verfahren zur Erkennung eines Augapfels in der achten Ausführungsform (Beispiel 8 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus, und es umfasst ferner das Übergehen in den Pupillendetektionsmodus, wenn ein Ende einer Sakkade im ereignisgesteuerten Modus erkannt wird. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der achten Ausführungsform (Beispiel 8 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der achten Ausführungsform (Beispiel 8 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der achten Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 11 beschrieben.
11 ist eine Ansicht eines Beispiels eines Pupillenerkennungsablaufs in einer Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der achten Ausführungsform gemäß der vorliegenden Technologie.
In Schritt S201 in 11 erfolgt ein Übergang in einen Ereignismodus (der ereignisgesteuerte Modus). (Der Ereignismodus (ereignisgesteuerte Modus) wird erzeugt).
In Schritt S202 erfolgt Ausstreichen (Sweep-out) einer Pupillenposition.
Sakkadendetektion wird in Schritt S203 durchgeführt und eine Sakkade wird in Schritt S204 beendet.
Nach Vollendung der Sakkade erfolgt ein Übergang in den Pupillendetektionsmodus in Schritt S205 (der Pupillendetektionsmodus wird erzeugt).
Ein Übergang kann vom Pupillendetektionsmodus in Schritt S204 in den Ereignismodus (ereignisgesteuerter Modus) erfolgen (der Ereignismodus (ereignisgesteuerter Modus) kann erzeugt werden) (Schritt S201).
Da der Übergang in den Pupillendetektionsmodus (Schritt S205) zu dem Zeitpunkt erfolgt, wenn die Sakkade als ein Ergebnis der Pupillenerkennung im Ereignismodus vollendet ist (Schritt S204), kann die Detektionsgenauigkeit mit minimaler Latenz verbessert werden.
Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der achten Ausführungsform (Beispiel 8 der Sichtliniendetektionsvorrichtung und Beispiel 8 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den ersten bis siebten Ausführungsformen gemäß der vorliegenden Technologie wie oben beschrieben, und die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den neunten und zehnten Ausführungsformen gemäß der vorliegenden Technologie wie später noch beschrieben wird angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<10. Neunte Ausführungsform (Beispiel 9 der Sichtliniendetektionsvorrichtung und Beispiel 9 des Verfahrens zur Erkennung eines Augapfels)>
Die Sichtliniendetektionsvorrichtung in der neunten Ausführungsform (Beispiel 9 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; ein Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt, und sie weist ferner eine Licht emittierende Vorrichtung auf. Das Bildgebungselement mit der ereignisgesteuerten Funktion, das in der Sichtliniendetektionsvorrichtung in der neunten Ausführungsform gemäß der vorliegenden Technologie bereitgestellt wird, weist ein erstes Pixel und ein zweites Pixel mit unterschiedlichen Schwellenwerten auf. Das erste Pixel und das zweite Pixel sind in einer Bayer-Anordnung angeordnet. Die Anordnung in der Bayer-Anordnung bezieht sich beispielsweise auf eine Anordnung der ersten Pixel und der zweiten Pixel in einer Matrix, in der die ersten Pixel und die zweiten Pixel abwechselnd jeweils in einer Reihenrichtung und einer Spaltenrichtung angeordnet sind. Dann weist die in der Sichtliniendetektionsvorrichtung in der neunten Ausführungsform gemäß der vorliegenden Technologie bereitgestellte Licht emittierende Vorrichtung zwei Lichtemissionsintensitäten auf.
Das Verfahren zur Erkennung eines Augapfels in der neunten Ausführungsform (Beispiel 9 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus, und es umfasst ferner das Wechseln zu zwei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung. Das Bildgebungselement mit der ereignisgesteuerten Funktion, das in dem Verfahren zur Erkennung eines Augapfels in der neunten Ausführungsform gemäß der vorliegenden Technologie verwendet wird, weist ein erstes Pixel und ein zweites Pixel mit unterschiedlichen Schwellenwerten auf. Das erste Pixel und das zweite Pixel sind in einer Bayer-Anordnung angeordnet. Die Anordnung in der Bayer-Anordnung bezieht sich beispielsweise auf eine Anordnung der ersten Pixel und der zweiten Pixel in einer Matrix, in der die ersten Pixel und die zweiten Pixel abwechselnd jeweils in einer Reihenrichtung und einer Spaltenrichtung angeordnet sind. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der neunten Ausführungsform (Beispiel 9 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der neunten Ausführungsform (Beispiel 9 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der neunten Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 12 beschrieben.
12 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) in der Sichtliniendetektionsvorrichtung und dem Verfahren zur Erkennung eines Augapfels in der neunten Ausführungsform gemäß der vorliegenden Technologie. Insbesondere ist 12A eine Ansicht, die ein Übergangsmuster 109 der drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) zeigt. 12B ist eine Ansicht, die ein Konfigurationsbeispiel von Pixeln zeigt, die im Bildgebungselement mit der ereignisgesteuerten Funktion enthalten sind, das in der Sichtliniendetektionsvorrichtung in der neunten Ausführungsform gemäß der vorliegenden Technologie bereitgestellt ist, und insbesondere zeigt sie Pixel a (die ersten Pixel) und Pixel b (die zweiten Pixel), die in einer Bayer-Anordnung angeordnet sind. Das heißt, die Pixel a und die Pixel b sind in einer Matrix angeordnet und die Pixel a und die Pixel b sind abwechselnd jeweils in einer Reihenrichtung (Richtung von links nach rechts in 12B) und in einer Spaltenrichtung (Richtung von oben nach unten in 12B) angeordnet.
In einem Übergangsmuster 109 erfolgt ein Übergang von einem Ereignismodus M1-26 in einem Zustand, in dem die Intensität bei einer hohen Intensität S2-9 konstant ist, in einen Pupillendetektionsmodus M4-1a im Pixel an und in einem Purkinje-Detektionsmodus M4-1b im Pixel b zu einem Moment, an dem sich die Intensität von der hohen Intensität S2-9 in eine niedrige Intensität S1-9 verändert, und anschließend erfolgt ein Übergang vom Pupillendetektionsmodus M4-1a und vom Purkinje-Detektionsmodus M4-1b in einen Ereignismodus M1-27 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-9 konstant ist. Anschließend erfolgt ein Übergang vom Ereignismodus M1-27 in einen Pupillendetektionsmodus M4-2a im Pixel a und in einem Purkinje-Detektionsmodus M4-2b im Pixel b zu einem Moment, an dem sich die Intensität von der niedrigen Intensität S1-9 in die hohe Intensität S2-9 verändert, und anschließend erfolgt ein Übergang in einen Ereignismodus M1-28 in einem Zustand, in dem die Intensität bei der hohen Intensität S2-9 konstant ist. Es erfolgt ein Übergang vom Ereignismodus M1-28 in einen Pupillendetektionsmodus M4-3a im Pixel a und in einen Purkinje-Detektionsmodus M4-3b im Pixel b zu einem Moment, an dem sich die Intensität von der hohen Intensität S2-9 in die niedrige Intensität S1-9 verändert, und es erfolgt ein Übergang vom Pupillendetektionsmodus M4-3a und vom Purkinje-Detektionsmodus M4-3b in einen Ereignismodus M1-29 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-9 konstant ist.
Wie es im Übergangsmuster 109 gezeigt wird, ist es möglich, die drei Modi zu erzeugen, indem die Pixel a und b mit zwei verschiedene Schwellenwerten in der Bayer-Anordnung mit den zwei Intensitäten erzeugt werden (niedrige Intensität S1-9 und hohe Intensität S2-9).
Das Obige wird wie folgt zusammengefasst.

Pixel a (mit dem niedrigeren Schwellenwert): Erzeugung des Pupillendetektionsmodus und Ereignismodus.
Pixel b (mit dem höheren Schwellenwert): Erzeugung des Purkinje-Detektionsmodus und Ereignismodus.

Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der neunten Ausführungsform (Beispiel 9 der Sichtliniendetektionsvorrichtung und Beispiel 9 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf die Sichtliniendetektionsvorrichtungen und die Verfahren zur Erkennung eines Augapfels in den ersten bis achten Ausführungsformen gemäß der vorliegenden Technologie wie oben beschrieben, und die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der zehnten Ausführungsform gemäß der vorliegenden Technologie wie später noch beschrieben wird angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<11. Zehnte Ausführungsform (Beispiel 10 der Sichtliniendetektionsvorrichtung und Beispiel 10 des Verfahrens zur Erkennung eines Augapfels)>
Die Sichtliniendetektionsvorrichtung in der zehnten Ausführungsform (Beispiel 10 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ist eine Sichtliniendetektionsvorrichtung, aufweisend: ein Bildgebungselement (beispielsweise ein dynamischer Vision-Sensor (DVS)) mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; ein Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt, und sie weist ferner eine Licht emittierende Vorrichtung auf. Das Bildgebungselement mit der ereignisgesteuerten Funktion, das in der Sichtliniendetektionsvorrichtung in der zehnten Ausführungsform gemäß der vorliegenden Technologie bereitgestellt wird, weist zwei Schwellenwerte mit Zeitwechsel auf. Dann weist die in der Sichtliniendetektionsvorrichtung in der zehnten Ausführungsform gemäß der vorliegenden Technologie bereitgestellte Licht emittierende Vorrichtung zwei Lichtemissionsintensitäten auf.
Das Verfahren zur Erkennung eines Augapfels in der zehnten Ausführungsform (Beispiel 10 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie ist ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus, und es umfasst ferner das Wechseln zu zwei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung. Ein Bildgebungselement mit einer ereignisgesteuerten Funktion, das in dem Verfahren zur Erkennung eines Augapfels in der neunten Ausführungsform gemäß der vorliegenden Technologie verwendet wird, weist zwei Schwellenwerte basierend auf einer zeitlichen Änderung auf. Währenddessen kann das Verfahren zur Erkennung eines Augapfels in der zehnten Ausführungsform (Beispiel 10 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie mit der Sichtliniendetektionsvorrichtung in der zehnten Ausführungsform (Beispiel 10 der Sichtliniendetektionsvorrichtung) gemäß der vorliegenden Technologie ausgeführt werden.
Die Sichtliniendetektionsvorrichtung und das Verfahren zur Erkennung eines Augapfels in der zehnten Ausführungsform gemäß der vorliegenden Technologie werden mit Bezug auf 13 beschrieben.
13 ist eine Ansicht eines Beispiels eines Übergangsverfahrens von drei Modi (ereignisgesteuerter Modus, Purkinje-Detektionsmodus und Pupillendetektionsmodus) in der Sichtliniendetektionsvorrichtung und dem Verfahren zur Erkennung eines Augapfels in der neunten Ausführungsform gemäß der vorliegenden Technologie. Insbesondere ist 13 eine Ansicht, die ein Übergangsmuster 110 von drei Modi (Purkinje-Detektionsmodus, Pupillendetektionsmodus und ereignisgesteuerter Modus) zeigt, wenn ein Schwellenwert von einem Schwellenwert S1 in einen Schwellenwert S1 verändert wird (> Schwellenwert S1, das heißt der Schwellenwert S2 ist höher als der Schwellenwert S1) und dann vom Schwellenwert S2 (> Schwellenwert S1) in den Schwellenwert S1 mit Ablauf der Zeit verändert wird.
Im Übergangsmuster 110 erfolgt ein Übergang von einem Ereignismodus M1-30 in einem Zustand, in dem die Intensität bei einer hohen Intensität S2-10 konstant ist, wenn sich der Schwellenwert S1 in den Schwellenwert S2 verändert (zu diesem Zeitpunkt verändert sich der Schwellenwert S1 in den Schwellenwert S2) in einen Purkinje-Detektionsmodus M2-13 zu einem Moment, an dem sich die Intensität von der hohen Intensität S2-10 in eine niedrige Intensität S1-10 verändert (zu diesem Zeitpunkt wird der Schwellenwert S2 angelegt) und anschließend erfolgt ein Übergang vom Purkinje-Detektionsmodus M2-13 in einen Ereignismodus M1-31 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-10 konstant ist (zu diesem Zeitpunkt wird der Schwellenwert S2 angelegt). Anschließend erfolgt ein Übergang vom Ereignismodus M1-31 in einen Purkinje-Detektionsmodus M2-14, der ein Moment ist, an dem sich die Intensität von der niedrigen Intensität S1-10 in die hohe Intensität S2-10 verändert (zu diesem Zeitpunkt wir der Schwellenwert S1 angelegt), und anschließend erfolgt ein Übergang in einen Ereignismodus M1-32 in einem Zustand, in dem die Intensität bei der hohen Intensität S2-5-4 konstant ist (zu diesem Zeitpunkt verändert sich der Schwellenwert S2 in den Schwellenwert S1). Es erfolgt ein Übergang vom Ereignismodus M1-32 in Pupillendetektionsmodus M3-8, der ein Moment ist, an dem sich die Intensität von der hohen Intensität S2-10 in die niedrige Intensität S1-10 verändert (zu diesem Zeitpunkt wird der Schwellenwert S1 angelegt) und es erfolgt ein Übergang vom Pupillendetektionsmodus M2-8 in einen Ereignismodus M1-33 in einem Zustand, in dem die Intensität bei der niedrigen Intensität S1-10 konstant ist (zu diesem Zeitpunkt wird der Schwellenwert S1 angelegt).
Wie es im Übergangsmuster 110 gezeigt wird, können die drei Modi durch Verändern der zwei verschiedenen Schwellenwerte im Zeitverlauf mit den zwei Intensitäten erzeugt werden (niedrige Intensität S1-10 und hohe Intensität S2-10) .
Das Obige wird wie folgt zusammengefasst.
Niedriger Schwellenwert (Schwellenwert S1): Erzeugung des Pupillendetektionsmodus und Ereignismodus.
Hoher Schwellenwert (Schwellenwert S2): Erzeugung des Purkinje-Detektionsmodus.
Wie oben beschrieben können Inhalte, die bezüglich der Sichtliniendetektionsvorrichtung und des Verfahrens zur Erkennung eines Augapfels in der zehnten Ausführungsform (Beispiel 10 der Sichtliniendetektionsvorrichtung und Beispiel 10 des Verfahrens zur Erkennung eines Augapfels) gemäß der vorliegenden Technologie beschrieben wurden, auf Sichtliniendetektionsvorrichtungen und Verfahren zur Erkennung eines Augapfels in den ersten bis neunten Ausführungsformen gemäß der vorliegenden Technologie wie oben beschrieben angewendet werden, insbesondere solange kein technischer Widerspruch vorliegt.
<12. Elfte Ausführungsform (Beispiel 1 der Anzeigevorrichtung)>
Eine Anzeigevorrichtung einer elften Ausführungsform (Beispiel 1 der Anzeigevorrichtung) gemäß der vorliegenden Technologie ist eine Anzeigevorrichtung, die mindestens eine Sichtliniendetektionsvorrichtung einer Ausführungsform unter den Sichtliniendetektionsvorrichtungen der ersten bis zehnten Ausführungsformen gemäß der vorliegenden Technologie aufweist. Die Anzeigevorrichtung der elften Ausführungsform gemäß der vorliegenden Technologie kann beispielsweise auf eine Brillen-Anzeigevorrichtung, ein Head-Mounted Display und dergleichen angewendet werden.
Hiernach wird die Anzeigevorrichtung der elften Ausführungsform (Beispiel 1 der Anzeigevorrichtung) gemäß der vorliegenden Technologie mit Bezug auf 14 bis 16 beschrieben.
Zunächst wird ein Konfigurationsbeispiel der Anzeigevorrichtung der elften Ausführungsform gemäß der vorliegenden Technologie mit Bezug auf 14 und 15 beschrieben. 14 ist eine Draufsicht auf die Anzeigevorrichtung gemäß der vorliegenden Technologie in einem Zustand, in dem sie an einem Kopf eines Benutzers getragen wird. 15 ist eine Vorderansicht der Anzeigevorrichtung gemäß der vorliegenden Technologie in einem Zustand, in dem sie am Kopf des Benutzers getragen wird. Die in 14 gezeigte Anzeigevorrichtung weist auf: eine Videoanzeigeeinheit (auch als Bildanzeigeeinheit bezeichnet); einen Sensor, der eine Positionsveränderung der Anzeigevorrichtung bezüglich des Kopfes erkennt (der Sensor, der die Positionsveränderung der Anzeigevorrichtung bezüglich des Kopfes erkennt, wird auch als „Verschiebungssensor“ oder als „Sensor“ in der vorliegenden Spezifikation bezeichnet); eine Sichtliniendetektionsvorrichtung (eine Sichtliniendetektionsvorrichtung einer Ausführungsform unter den Sichtliniendetektionsvorrichtungen in den ersten bis zehnten Ausführungsformen gemäß der vorliegenden Technologie, und das gleiche gilt nachfolgend); einen Projektionspositionsanpassungsmechanismus; eine Steuereinheit; und eine Speichereinheit. Diese konstituierenden Elemente werden hiernach beschrieben.
(Videoanzeigeeinheit)
Wie es in 14 gezeigt wird, weist eine Anzeigevorrichtung 100 eine Brillenform auf und ist dazu ausgelegt, Videoanzeigelicht (manchmal als Bildanzeigelicht bezeichnet) auf jedes der zwei Augen zu projizieren. Das heißt, die Anzeigevorrichtung 100 weist eine Videoanzeigeeinheit auf, die Videoanzeigelicht auf das linke Auge projiziert, und eine Videoanzeigeeinheit, die Videoanzeigelicht auf das rechte Auge projiziert. Die Videoanzeigeeinheit, die das Videoanzeigelicht auf das linke Auge projiziert, weist eine Lichtquelleneinheit 101L, ein optisches Projektionssystem 102 und ein optisches holografisches Element (hiernach auch als HOE bezeichnet) 103L auf.
Die Lichtquelleneinheit 101L sendet Videoanzeigelicht aus. Als eine Konfiguration zum Aussenden des Videoanzeigelichts kann die Lichtquelleneinheit 101L beispielsweise eine Laserlichtquelle 120L, einen Spiegel 121L und einen Abtastspiegel 122L aufweisen. Von der Laserlichtquelle 120L ausgesendetes Licht wird vom Spiegel 121L reflektiert und erreicht dann den Abtastspiegel 122L. Der Abtastspiegel 122L tastet das Laserlicht zweidimensional ab. Der Abtastspiegel 122L kann beispielsweise ein MEMS-Spiegel sein. Der Abtastspiegel 122L kann eine Richtung des Laserlichts mit hoher Geschwindigkeit bewegen, so dass ein Bild auf einer Netzhaut gebildet wird.
Das optische Projektionssystem 102L passt eine Richtung des Videoanzeigelichts an, so dass das Videoanzeigelicht einen gewünschten Bereich und/oder eine gewünschte Position des HOE 103L erreicht. Beispielsweise wird das vom Abtastspiegel 122L abgetastete Videoanzeigelicht so angepasst, dass es paralleles Licht ist.
Das HOE 103L beugt das in der Nähe einer Pupille des Benutzers zu kondensierende und an die Netzhaut ausgestrahlte Videoanzeigelicht. Das HOE 103L kann beispielsweise ein Beugungselement vom Reflexionstyp sein. Das HOE 103L kann optische Eigenschaften aufweisen, indem es als eine Linse für Licht mit einem Wellenlängenbereich des Videoanzeigelichts fungiert und Licht mit einer Wellenlänge außerhalb des Wellenlängenbereichs überträgt. Mit den optischen Eigenschaften kann der Benutzer beispielsweise eine vor ihm liegende Landschaft in einer Sichtlinienrichtung über das HOE 103L erkennen und er kann ein Bild des Videoanzeigelichts erkennen. Das heißt, das Bild des Videoanzeigelichts kann auf die Landschaft der Außenwelt überlagert werden. Als HOE 103L kann eine Hologrammlinse, vorzugsweise eine filmförmige Hologrammlinse und bevorzugter eine transparente filmförmige Hologrammlinse verwendet werden. Die filmförmige Hologrammlinse kann verwendet werden, indem sie beispielsweise auf Glas oder dergleichen geklebt wird. Gewünschte optische Eigenschaften können der Hologrammlinse mit im Stand der Technik bekannten Techniken verliehen werden. Dann kann eine handelsübliche Hologrammlinse als Hologrammlinse verwendet werden, oder die Hologrammlinse kann mit im Stand der Technik bekannten Techniken hergestellt werden.
Wie oben beschrieben verursachen die Lichtquelleneinheit 101L, das optische Projektionssystem 102L und die HOE 103L, dass das Videoanzeigelicht das linke Auge des Benutzers erreicht.
Die Anzeigevorrichtung 100 weist einen Bügelabschnitt 109L und einen Randabschnitt 108L auf, die jeweils Teil der Brillenform sind. Die Lichtquelleneinheit 101L und das optische Projektionssystem 102L sind auf dem Bügelabschnitt 109L angeordnet. Das HOE 103L wird vom Randabschnitt 108L gehalten. Insbesondere wird ein innerer Randabschnitt 106L vom Randabschnitt 108L über einen Projektionspositionsanpassungsmechanismus 105L-2 gehalten und das HOE 103L wird vom inneren Randabschnitt 106L über einen Projektionspositionsanpassungsmechanismus 105L-1 gehalten.
Die Videoanzeigeeinheit, die das Videoanzeigelicht auf das rechte Auge des Benutzers projiziert, weist eine Lichtquelleneinheit 101R, ein optisches Projektionssystem 102R und ein HOE 103R auf.
Die Beschreibung bezüglich der Lichtquelleneinheit 101L, des optischen Projektionssystems 102L und des HOE 103L trifft auch auf die Lichtquelleneinheit 101R, das optische Projektionssystem 102R und das HOE 103R zu.
Die Lichtquelleneinheit 101R und das optische Projektionssystem 102R sind in einem Bügelabschnitt 109R angeordnet, ähnlich wie bei der Videoanzeigeeinheit für das linke Auge. Das HOE 103R wird von einem Randabschnitt 108R gehalten. Insbesondere wird ein innerer Randabschnitt 106R vom Randabschnitt 108R über einen Projektionspositionsanpassungsmechanismus 105R-2 gehalten und das HOE 103R wird vom inneren Randabschnitt 106R über einen Projektionspositionsanpassungsmechanismus 105R-1 gehalten.
Die Randabschnitte 108L und 108R der Anzeigevorrichtung 100 sind über einen Brückenabschnitt 110 miteinander verbunden. Der Brückenabschnitt 110 ist ein Abschnitt, der auf eine Nase des Benutzers gesetzt wird, wenn der Benutzer die Anzeigevorrichtung 100 trägt. Ferner sind beide Randabschnitte 108L und 108R der Anzeigevorrichtung 100 mit einem Kopfbandabschnitt 111 verbunden. Wie es in 15 zu sehen ist, ist der Kopfbandabschnitt 111 ein Abschnitt, der mit der Oberseite des Kopfes des Benutzers in Kontakt kommt, wenn der Benutzer die Anzeigevorrichtung 100 trägt.
Obwohl die in 14 gezeigte Lichtquelleneinheit 101L eine Laserlichtquelle 120L aufweist, kann die Anzahl der in der Lichtquelleneinheit 101L enthaltenen Laserlichtquellen zwei oder mehr betragen und kann beispielsweise zwei bis fünf betragen. Eine Vielzahl dieser Laserlichtquellen kann zum Ausgeben von Strahlen von Laserlicht mit unterschiedlichen Wellenlängen ausgelegt sein. Obwohl die Lichtquelleneinheit 101R eine Laserlichtquelle 120R aufweist, kann analog die Anzahl der in der Lichtquelleneinheit 101R enthaltenen Laserlichtquellen zwei oder mehr betragen und kann beispielsweise zwei bis fünf betragen. Eine Vielzahl dieser Laserlichtquellen kann zum Ausgeben von Strahlen von Laserlicht mit unterschiedlichen Wellenlängen ausgelegt sein. Da die Laserlichtquelle 120L und die Laserlichtquelle 120R verwendet werden, kann ein Reiz mit einer bestimmten Wellenlänge präsentiert werden.
Die Anzeigevorrichtung 100 kann ferner ein Wellenlängendispersionskompensationselements aufweisen, das aber nicht gezeigt wird. Das Wellenlängendispersionskompensationselement ist beispielsweise ein Volumenhologramm vom Reflexionstyp oder Transmissionstyp, ein Reliefhologramm vom Reflexionstyp oder Transmissionstyp oder dergleichen. Das Wellenlängendispersionskompensationselement kann in der Peripherie des Spiegels 121L und/oder 121R angeordnet sein, beispielsweise zwischen dem Spiegel 121L und dem Abtastspiegel 122L und/oder zwischen dem Spiegel 121R und dem Abtastspiegel 122R. Wenn das Wellenlängendispersionskompensationselement in der Anzeigevorrichtung 100 verwendet wird, ist es möglich, einen beliebigen Punkt (vorgegebener Punkt) auf der Netzhaut genau zu stimulieren, weil eine Wellenlängendispersion kompensiert wird.
(Sensor)
Die Anzeigevorrichtung 100 weist ferner Sensoren 104L, 104R, 104C und 104T auf, die eine Positionsveränderung der Anzeigevorrichtung 100 bezüglich des Kopfes des Benutzers erkennen. Die von diesen Sensoren erkannte Positionsveränderung kann beispielsweise eine Richtung der Positionsveränderung und/oder eine Menge der Positionsveränderung sein. Es sei angemerkt, dass die Sensoren 104L, 104R, 104C und 104T gemeinsam als ein Sensor 104 in der vorliegenden Spezifikation bezeichnet werden können.
Die Sensoren 104L und 104R erkennen eine Positionsveränderung der Anzeigevorrichtung 100 bezüglich des Kopfes des Benutzers in einer horizontalen Richtung, der Sensor 104C erkennt eine Positionsveränderung der Anzeigevorrichtung 100 bezüglich des Kopfes des Benutzers in einer Richtung von vorne nach hinten, und der Sensor 104T erkennt eine Positionsveränderung der Anzeigevorrichtung 100 bezüglich des Kopfes des Benutzers in einer Richtung von oben nach unten. Deshalb kann eine Montageabweichung dreidimensional erfasst werden.
(Sichtliniendetektionsvorrichtung)
Die Anzeigevorrichtung 100 weist Sichtliniendetektionsvorrichtungen 107L und 107R auf, die eine Sichtlinie des Benutzers erkennen. In der vorliegenden Spezifikation können die Sichtliniendetektionsvorrichtungen 107L und 107R gemeinsam als eine Sichtliniendetektionsvorrichtung 107 bezeichnet werden. Eine Sichtliniendetektionsvorrichtung einer Ausführungsform unter den Sichtliniendetektionsvorrichtungen der ersten bis zehnten Ausführungsformen gemäß der vorliegenden Technologie, wie oben beschrieben, kann auf die Sichtliniendetektionsvorrichtung 107 (die Sichtliniendetektionsvorrichtungen 107L und 107R) angewendet werden.
(Projektionspositionsanpassungsmechanismus)
Die Projektionspositionsanpassungsmechanismen 105L-1 und 105L-2 und 105R-1 und 105R-2, die eine Projektionsposition des von der Anzeigevorrichtung 100 ausgesendeten Videoanzeigelichts anpassen, können ferner enthalten sein. Es sei angemerkt, dass diese vier Projektionspositionsanpassungsmechanismen manchmal gemeinsam als ein Projektionspositionsanpassungsmechanismus 105 in der vorliegenden Spezifikation bezeichnet werden. Der Projektionspositionsanpassungsmechanismus 105 kann zur Anpassung der Projektionsposition des Videoanzeigelichts ausgelegt sein, damit dieses beispielsweise der Sichtlinie folgt. Der Projektionspositionsanpassungsmechanismus 105 kann die Projektionsposition des Videoanzeigelichts gemäß einer Montageabweichung anpassen.
Zusätzlich kann der Projektionspositionsanpassungsmechanismus 105 die Projektionsposition des Videoanzeigelichts gemäß einer Drehbewegung eines Augapfels oder einer Bewegung der Sichtlinie anpassen. Wenn die Anzeigevorrichtung 100 beispielsweise den Projektionspositionsanpassungsmechanismus 105 aufweist, kann eine Position eines Bildes, das dem Benutzer präsentiert wird, zu einer angemesseren Position angepasst werden. In einem Fall, in dem ein von der Anzeigevorrichtung 100 zu präsentierendes Bild beispielsweise auf einem Bild der Außenwelt überlagert wird, ist es möglich, das Bild durch Erkennung der Sichtlinie des Benutzers an einer genaueren Position anzuzeigen. Das heißt, es ist bevorzugt, wenn die Sichtliniendetektionsvorrichtung 107 im Hinblick auf die Präsentation von AR-Informationen enthalten ist. Ferner ist es auch möglich, eine Position anzupassen, an der das Videoanzeigelicht kondensiert wird, in Bildanzeige in einer Maxwell-Ansicht, durch diese Projektionspositionsanpassungsmechanismen.
Die Projektionspositionsanpassungsmechanismen 105L-1 und 105L-2 passen die Projektionsposition des Videoanzeigelichts, das auf das linke Auge projiziert wird an. Der Projektionspositionsanpassungsmechanismus 105L-1 passt eine Positionsbeziehung zwischen dem inneren Randabschnitt 106L und dem Randabschnitt 108L in einer Z-Achsenrichtung an. Beispielsweise bewegt der Projektionspositionsanpassungsmechanismus 105L-1 den inneren Randabschnitt 106L in der Z-Achsenrichtung bezüglich des Randabschnitts 108L. Deshalb wird eine Position des HOE 103L in der Z-Achsenrichtung angepasst. Der Projektionspositionsanpassungsmechanismus 105L-2 passt eine Positionsbeziehung zwischen dem HOE 103L und dem inneren Randabschnitt 106L in einer x-Achsenrichtung an. Beispielsweise bewegt der Projektionspositionsanpassungsmechanismus 105L-2 das HOE 103L in der x-Achsenrichtung bezüglich des inneren Randabschnitts 106L. Deshalb wird eine Position des HOE 103L in der x-Achsenrichtung angepasst.
Ein Antriebselement, das zum Antreiben der Anpassung der Positionsbeziehung zwischen dem inneren Randabschnitt 106L und dem Randabschnitt 108L in der z-Achsenrichtung durch den Projektionspositionsanpassungsmechanismus 105L-1 ausgelegt ist, kann beispielsweise ein Piezoelement, ein Aktor oder ein Bimetall sein, ist aber nicht darauf beschränkt. Ein Antriebselement, das zur Anpassung der Positionsbeziehung zwischen dem HOE 103L und dem inneren Randabschnitt 106L in der x-Achsenrichtung durch den Projektionspositionsanpassungsmechanismus 105L-2 ausgelegt ist, kann ebenfalls beispielsweise ein Piezoelement, ein Aktor oder ein Bimetall sein, ist aber nicht darauf beschränkt.
Der Projektionspositionsanpassungsmechanismus 105L-1 kann die Positionsbeziehung zwischen dem inneren Randabschnitt 106L und dem Randabschnitt 108L in der z-Achsenrichtung beispielsweise basierend auf einer Positionsveränderung der Anzeigevorrichtung 100, die von einem, zwei, drei oder allen vier Sensoren 104L, 104R, 104C und 104T erkannt wurde, anpassen. Ferner kann der Projektionspositionsanpassungsmechanismus 105L-1 die Positionsbeziehung basierend auf der Positionsveränderung und der von der Sichtliniendetektionsvorrichtung 107L erkannten Sichtlinie anpassen. Der Projektionspositionsanpassungsmechanismus 105L-2 kann die Positionsbeziehung zwischen HOE 103L und dem inneren Randabschnitt 106L in der x-Achsenrichtung beispielsweise basierend auf einer Positionsveränderung der Anzeigevorrichtung 100, die von einem, zwei, drei oder allen vier Sensoren 104L, 104R, 104C und 104T erkannt wurde, anpassen. Ferner kann der Projektionspositionsanpassungsmechanismus 105L-2 die Positionsbeziehung basierend auf der Positionsveränderung und der von der Sichtliniendetektionsvorrichtung 107L erkannten Sichtlinie anpassen.
Die Projektionspositionsanpassungsmechanismen 105R-1 und 105R-2 passen die Projektionsposition des Videoanzeigelichts, das auf das rechte Auge projiziert wird an. Die Anpassung kann ähnlich wie die der Projektionspositionsanpassungsmechanismen 105L-1 und 105L-2 durchgeführt werden.
(Steuereinheit und Speichereinheit)
Es erfolgt eine Beschreibung mit Bezug auf 16. Die Anzeigevorrichtung 100 weist eine Steuereinheit 112 auf. Wie es in 16 zu sehen ist, die ein Blockdiagramm ist, das Hauptkomponenten der Anzeigevorrichtung 100 zeigt, weist die Steuereinheit 112 eine Bildsteuereinheit 181, eine Projektionspositionssteuereinheit 182 und eine Sichtlinienkorrektureinheit 183 auf.
Die Bildsteuereinheit 181 steuert die Projektion des Bildanzeigelichts durch die Bildanzeigeeinheit. Die Bildsteuereinheit 181 treibt beispielsweise die Lichtquelleneinheiten 101L und 101R, insbesondere die Laserlichtquellen und die Abtastspiegel, die in diesen Lichtquelleneinheiten enthalten sind, zur Ausgabe von Bildanzeigelicht an. Die Bildsteuereinheit 181 kann Bilddaten erfassen, die beispielsweise in einer Speichereinheit 184 gespeichert sind, und sie kann verursachen, dass die Lichtquelleneinheiten 101L und 101R das Bildanzeigelicht basierend auf den Bilddaten ausgeben. Die Bildsteuereinheit 181 kann die Bilddaten basierend auf einer Positionsveränderung, die vom Sensor 104 erkannt wurde, der Anzeigevorrichtung 100 bezüglich des Kopfes korrigieren. Die Bildsteuereinheit 181 kann verursachen, dass die Lichtquelleneinheiten 101L und 101R das Bildanzeigelicht basierend auf den korrigierten Bilddaten ausgeben. Das heißt, die Anzeigevorrichtung 100 kann ein Bild basierend auf der Positionsveränderung korrigieren, die von dem Sensor erkannt wurde, der eine Positionsveränderung einer am Kopf befestigten Anzeigevorrichtung bezüglich des Kopfes erkennt.
Die Projektionspositionssteuereinheit 182 steuert die Projektionspositionsanpassungsmechanismen 105L-1, 195L-2, 105R-1 und 105R-2, wobei eine Projektionsposition der Bildanzeigelichts gesteuert werden kann. Beispielsweise kann die Projektionspositionssteuereinheit 182 ein bis vier der Projektionspositionsanpassungsmechanismen 105L-1, 105L-2, 105R-1 und 105R-2 basierend auf einer von Sichtliniendetektionsvorrichtungen 107L und 107R erkannten Sichtlinie antreiben, um die Projektionsposition des Bildanzeigelichts anzupassen. Beispielsweise kann die Projektionsposition des Bildanzeigelichts so angepasst werden, dass sie der Sichtlinie folgt. Die Projektionspositionssteuereinheit 182 kann die Projektionsposition des Bildanzeigelichts durch Antreiben von ein bis vier der Projektionspositionsanpassungsmechanismen 105L-1, 105L-2, 105R-1 und 105R-2 basierend auf der Sichtlinie die von der Sichtlinienkorrektureinheit 183 korrigiert wurde antreiben, wie später noch beschrieben wird. Beispielsweise kann die Projektionsposition des Bildanzeigelichts so angepasst werden, dass sie der korrigierten Sichtlinie folgt. Die Projektionspositionssteuereinheit 182 kann die Projektionsposition des Bildanzeigelichts durch Antreiben von ein bis vier der Projektionspositionsanpassungsmechanismen 105L-1, 105L-2, 105R-1 und 105R-2 basierend auf Daten (hiernach auch als „Verschiebungsdaten“ bezeichnet) bezüglich der Positionsveränderung der Anzeigevorrichtung 100 bezüglich des Kopfes, die von ein bis vier der Sensoren 104L, 104R, 104C und 104T erkannt wurde, anpassen.
Beispielsweise kann die Projektionspositionssteuereinheit 182 eine Positionsanpassungsmenge, die von jedem der Projektionspositionsanpassungsmechanismen erhalten wurde, basierend auf den Verschiebungsdaten und einem Korrekturkoeffizienten berechnen. Die Projektionspositionssteuereinheit 182 kann jeden Projektionspositionsanpassungsmechanismus so antreiben, dass eine Positionsbeziehung um die berechnete Positionsanpassungsmenge verändert wird. Die Projektionspositionssteuereinheit 182 kann einen Korrekturkoeffizient aus einer Korrekturtabelle erfassen, die im Voraus beispielsweise in der Speichereinheit 184 gespeichert wird, und den Korrekturkoeffizienten zur Berechnung der Positionsanpassungsmenge verwenden. Die Korrekturtabelle kann beispielsweise eine Vielzahl von Korrekturkoeffizienten aufweisen, und die Projektionspositionssteuereinheit 182 kann einen vorgegebenen Korrekturkoeffizienten gemäß den Verschiebungsdaten unter der Vielzahl von Korrekturkoeffizienten auswählen. Ferner kann die Korrekturtabelle beispielsweise für jeden der Projektionspositionsanpassungsmechanismen bereitgestellt werden. Die Korrekturtabelle kann im Voraus für die Anzeigevorrichtung 100 bereitgestellt werden, oder sie kann gemäß der Benutzung der Anzeigevorrichtung 100 durch den Benutzter aktualisiert werden. Die Genauigkeit der Projektionspositionssteuerung kann durch Auswahl oder Aktualisierung der Korrekturtabelle oder des Korrekturkoeffizienten verbessert werden. Die Projektionspositionssteuereinheit 182 kann die von der Sichtliniendetektionsvorrichtung erkannte Sichtlinie oder die von der Sichtlinienkorrektureinheit 183 korrigierte Sichtlinie zur Berechnung der Positionsanpassungsmenge verwenden.
Die Sichtlinienkorrektureinheit 183 korrigiert die von den Sichtliniendetektionsvorrichtungen 107L und 107R erkannte Sichtlinie basierend auf den Verschiebungsdaten. Deshalb kann die Sichtlinienkorrektureinheit 183 eine Sichtlinie unter Berücksichtigung einer Montageabweichung identifizieren und die Sichtliniendetektionsgenauigkeit wird verbessert. Die Korrektur kann bezüglich einer optische Achse eines Augapfels durchgeführt werden, sie kann auf einer Sehachse des Augapfels durchgeführt werden oder sie kann bezüglich einer anderen Bezugsachse durchgeführt werden. Die Sichtlinienkorrektureinheit 183 kann auch einen Korrekturkoeffizient aus einer Korrekturtabelle erfassen, die im Voraus beispielsweise in der Speichereinheit 184 gespeichert wird, und den Korrekturkoeffizienten für die Sichtlinienkorrektur verwenden. Die Korrekturtabelle kann beispielsweise eine Vielzahl von Korrekturkoeffizienten aufweisen, und die Sichtlinienkorrektureinheit 183 kann einen vorgegebenen Korrekturkoeffizienten gemäß den Verschiebungsdaten unter der Vielzahl von Korrekturkoeffizienten auswählen. Die Korrekturtabelle kann im Voraus für die Anzeigevorrichtung 100 bereitgestellt werden, oder sie kann gemäß der Benutzung der Anzeigevorrrichtung 100 durch den Benutzter aktualisiert werden. Die Genauigkeit der Sichtlinienkorrektur kann durch Auswahl oder Aktualisierung der Korrekturtabelle oder des Korrekturkoeffizienten verbessert werden.
Die Anzeigevorrichtung 100 kann ferner die Steuereinheit 184 aufweisen. Die Speichereinheit kann Daten bezüglich des Bildanzeigelichts, das von der Bildanzeigeeinheit projiziert wurde, die für die Projektionspositionssteuerung, die von der Projektionspositionssteuereinheit 122 durchgeführt wurde, verwendete Korrekturtabelle und die für die Sichtlinienkorrektur, die von der Sichtlinienkorrektureinheit 123 durchgeführt wurde, verwendete Korrekturtabelle speichern.
Es sei angemerkt, dass Ausführungsformen gemäß der vorliegenden Technologie nicht auf die oben beschriebenen jeweiligen Ausführungsformen beschränkt sind und dass verschiedene Abwandlungen innerhalb eines Umfangs durchgeführt werden können, der nicht vom Geist der vorliegenden Technologie abweicht.
Ferner sind die in der vorliegenden Spezifikation beschriebenen Wirkungen lediglich Beispiele und unterliegen keinen Einschränkungen, und es können andere Wirkungen vorhanden sein.
Ferner kann die vorliegende Technologie auch die folgenden Konfigurationen aufweisen.

[1] Eine Sichtliniendetektionsvorrichtung, aufweisend:
- ein Bildgebungselement mit einer ereignisgesteuerten Funktion;
- eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt;
- eine Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und
- eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt.
[2] Die Sichtliniendetektionsvorrichtung nach [1], ferner aufweisend eine Licht emittierende Vorrichtung, wobei die Licht emittierende Vorrichtung drei Lichtemissionsintensitäten aufweist.
[3] Die Sichtliniendetektionsvorrichtung nach [1], ferner aufweisend eine Licht emittierende Vorrichtung, wobei die Licht emittierende Vorrichtung zwei Lichtemissionsintensitäten aufweist, das Bildgebungselement mit der ereignisgesteuerten Funktion ein erstes Pixel und ein zweites Pixel mit unterschiedlichen Schwellenwerten aufweist, und das erste Pixel und das zweite Pixel in einer Bayer-Anordnung angeordnet sind.
[4] Die Sichtliniendetektionsvorrichtung nach [1], ferner aufweisend eine Licht emittierende Vorrichtung, wobei die Licht emittierende Vorrichtung zwei Lichtemissionsintensitäten aufweist, und das Bildgebungselement mit der ereignisgesteuerten Funktion zwei Schwellenwerte mit Zeitwechsel aufweist.
[5] Die Sichtliniendetektionsvorrichtung nach einem von [1] bis [4], ferner aufweisend eine Vielzahl von Licht emittierenden Vorrichtungen, wobei die Einheit zur Erzeugung des ersten Modus den Purkinje-Detektionsmodus erzeugt, wenn jede der Vielzahl von Licht emittierenden Vorrichtungen sequentiell eingeschaltet wird.
[6] Die Sichtliniendetektionsvorrichtung nach einem von [1] bis [5], ferner aufweisend eine Licht emittierende Vorrichtung, wobei die Licht emittierenden Vorrichtungen drei Lichtemissionsintensitäten aufweisen, die drei Lichtemissionsintensitäten eine hohe Intensität, eine mittlere Intensität und eine niedrige Intensität sind, und ein Intensitätsunterschied zwischen der hohen Intensität und der mittleren Intensität im Wesentlichen mit einem Intensitätsunterschied zwischen der mittleren Intensität und der niedrigen Intensität identisch ist.
[7] Die Sichtliniendetektionsvorrichtung nach einem von [1] bis [6], ferner aufweisend eine Vielzahl von Licht emittierenden Vorrichtungen, wobei die Einheit zum Erzeugen eines zweiten Modus den Pupillendetektionsmodus erzeugt, wenn die Vielzahl von Licht emittierenden Vorrichtungen im Wesentlichen gleichzeitig die Lichtemissionsintensitäten verändert.
[8] Die Sichtliniendetektionsvorrichtung nach einem von [1] bis [7], ferner aufweisend: eine Licht emittierende Vorrichtung; und eine Signalerfassungseinheit, wobei die Signalerfassungseinheit ein Signal in Synchronisation mit einem Zeitstempel einer Änderung einer Lichtemissionsintensität der Licht emittierenden Vorrichtung im Purkinje-Detektionsmodus und im Pupillendetektionsmodus erfasst, und Zeitstempelakkumulation zum Erfassen eines Signals im ereignisgesteuerten Modus durchführt.
[9] Die Sichtliniendetektionsvorrichtung nach einem von [1] bis [8], wobei die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugt, wenn Detektion im ereignisgesteuerten Modus nicht mehr möglich ist.
[10] Die Sichtliniendetektionsvorrichtung nach einem von [1] bis [9], wobei die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugt, wenn eine Detektionswahrscheinlichkeit im ereignisgesteuerten Modus geringer als ein vorgegebener Wert ist.
[11] Die Sichtliniendetektionsvorrichtung nach einem von [1] bis [10], wobei die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugt, wenn ein Ende einer Sakkade im ereignisgesteuerten Modus erkannt wird.
[12] Eine Anzeigevorrichtung, die mindestens die Sichtliniendetektionsvorrichtung nach einem von [1] bis [11] aufweist.
[13] Ein Verfahren zur Erkennung eines Augapfels, das Folgendes beinhaltet:
- unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion,
- Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und
- Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus.
[14] Das Verfahren zur Erkennung eines Augapfels nach [13], ferner aufweisend den Wechsel zu drei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung.
[15] Das Verfahren zur Erkennung eines Augapfels nach [13], ferner aufweisend Wechseln zu zwei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung, wobei das Bildgebungselement mit der ereignisgesteuerten Funktion ein erstes Pixel und ein zweites Pixel mit unterschiedlichen Schwellenwerten aufweist, und das erste Pixel und das zweite Pixel in einer Bayer-Anordnung angeordnet sind.
[16] Das Verfahren zur Erkennung eines Augapfels nach [13], ferner aufweisend Wechseln zu zwei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung, wobei das Bildgebungselement mit der ereignisgesteuerten Funktion zwei Schwellenwerte mit Zeitwechsel aufweist.
[17] Das Verfahren zur Erkennung eines Augapfels nach einem von [13] bis [16], ferner aufweisend den sequentiellen Übergang in den Purkinje-Detektionsmodus durch sequentielles Einschalten jeder einer Vielzahl von Licht emittierenden Vorrichtungen unter Verwendung der Vielzahl von Licht emittierenden Vorrichtung.
[18] Das Verfahren zur Erkennung eines Augapfels nach einem von [13] bis [17], ferner aufweisend Wechseln zu drei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung, wobei die drei Lichtemissionsintensitäten eine hohe Intensität, eine mittlere Intensität und eine niedrige Intensität sind, und ein Intensitätsunterschied zwischen der hohen Intensität und der mittleren Intensität im Wesentlichen mit einem Intensitätsunterschied zwischen der mittleren Intensität und der niedrigen Intensität identisch ist.
[19] Das Verfahren zur Erkennung eines Augapfels nach einem von [13] bis [18], ferner aufweisend den im Wesentlichen gleichzeitigen Wechsel von Lichtemissionsintensitäten einer Vielzahl von Licht emittierenden Vorrichtungen unter Verwendung der Vielzahl von Licht emittierenden Vorrichtungen für den Übergang in den Pupillendetektionsmodus.
[20] Das Verfahren zur Erkennung eines Augapfels nach einem von [13] bis [19], ferner aufweisend:
- Erfassen eines Signals in Synchronisation mit einem Zeitstempel einer Änderung einer Lichtemissionsintensität einer Licht emittierenden Vorrichtung im Purkinje-Detektionsmodus und im Pupillendetektionsmodus; und
- Durchführen von Zeitstempelakkumulation zum Erfassen eines Signals im ereignisgesteuerten Modus.
[21] Das Verfahren zur Erkennung eines Augapfels nach einem von [13] bis [20], ferner aufweisend Übergehen in den Pupillendetektionsmodus, wenn Detektion im ereignisgesteuerten Modus nicht mehr möglich ist.
[22] Das Verfahren zur Erkennung eines Augapfels nach einem von [13] bis [21], ferner aufweisend Übergehen in den Pupillendetektionsmodus, wenn eine Detektionswahrscheinlichkeit im ereignisgesteuerten Modus geringer als ein vorgegebener Wert ist.
[23] Das Verfahren zur Erkennung eines Augapfels nach einem von [13] bis [22], ferner aufweisend Übergehen in den Pupillendetektionsmodus, wenn ein Ende einer Sakkade im ereignisgesteuerten Modus erkannt wird.

Bezugszeichenliste

41: Purkinje-Bild
43: Grenze (Rand) zwischen Pupille und Iris
44: Grenze (Rand) zwischen Iris und Sklera
45: Pupille
46: Iris
47: Sklera
102, 103, 103-1, 104-1, 104-2, 104-3, 105-1, 105-2, 105-3,109, 110: Übergangsmuster
100: Anzeigevorrichtung
1000: Intensitätsmuster von reflektiertem Licht des Auges
1001: Intensitätsmuster von reflektiertem Licht des Auges im ereignisgesteuerten Modus
1002: Intensitätsmuster von reflektiertem Licht des Auges im Purkinje-Modus
1003: Intensitätsmuster von reflektiertem Licht des Auges im Pupillendetektionsmodus

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2019/067731 [0004]

Claims

Sichtliniendetektionsvorrichtung, umfassend: ein Bildgebungselement mit einer ereignisgesteuerten Funktion; eine Einheit zum Erzeugen eines ersten Modus, die einen Purkinje-Detektionsmodus erzeugt; eine Einheit zum Erzeugen eines zweiten Modus, die einen Pupillendetektionsmodus erzeugt; und eine Einheit zum Erzeugen eines dritten Modus, die einen ereignisgesteuerten Modus erzeugt.
Sichtliniendetektionsvorrichtung nach Anspruch 1, ferner umfassend eine Licht emittierende Vorrichtung, wobei die Licht emittierende Vorrichtung drei Lichtemissionsintensitäten aufweist.
Sichtliniendetektionsvorrichtung nach Anspruch 1, ferner umfassend eine Licht emittierende Vorrichtung, wobei die Licht emittierende Vorrichtung zwei Lichtemissionsintensitäten aufweist, das Bildgebungselement mit der ereignisgesteuerten Funktion ein erstes Pixel und ein zweites Pixel mit unterschiedlichen Schwellenwerten aufweist, und das erste Pixel und das zweite Pixel in einer Bayer-Anordnung angeordnet sind.
Sichtliniendetektionsvorrichtung nach Anspruch 1, ferner umfassend eine Licht emittierende Vorrichtung, wobei die Licht emittierende Vorrichtung zwei Lichtemissionsintensitäten aufweist, und das Bildgebungselement mit der ereignisgesteuerten Funktion zwei Schwellenwerte mit Zeitwechsel aufweist.
Sichtliniendetektionsvorrichtung nach Anspruch 1, ferner umfassend eine Vielzahl von Licht emittierenden Vorrichtungen, wobei die Einheit zur Erzeugung des ersten Modus den Purkinje-Detektionsmodus erzeugt, wenn jede der Vielzahl von Licht emittierenden Vorrichtungen sequentiell eingeschaltet wird.
Sichtliniendetektionsvorrichtung nach Anspruch 1, ferner umfassend eine Licht emittierende Vorrichtung, wobei die Licht emittierende Vorrichtung drei Lichtemissionsintensitäten aufweist, die drei Lichtemissionsintensitäten eine hohe Intensität, eine mittlere Intensität und eine niedrige Intensität sind, und ein Intensitätsunterschied zwischen der hohen Intensität und der mittleren Intensität im Wesentlichen mit einem Intensitätsunterschied zwischen der mittleren Intensität und der niedrigen Intensität identisch ist.
Sichtliniendetektionsvorrichtung nach Anspruch 1, ferner umfassend eine Vielzahl von Licht emittierenden Vorrichtungen, wobei die Einheit zum Erzeugen eines zweiten Modus den Pupillendetektionsmodus erzeugt, wenn die Vielzahl von Licht emittierenden Vorrichtungen im Wesentlichen gleichzeitig die Lichtemissionsintensitäten verändert.
Sichtliniendetektionsvorrichtung nach Anspruch 1, ferner umfassend: eine Licht emittierende Vorrichtung; und eine Signalerfassungseinheit, wobei die Signalerfassungseinheit ein Signal in Synchronisation mit einem Zeitstempel einer Änderung einer Lichtemissionsintensität der Licht emittierenden Vorrichtung im Purkinje-Detektionsmodus und im Pupillendetektionsmodus erfasst, und Zeitstempelakkumulation zum Erfassen eines Signals im ereignisgesteuerten Modus durchführt.
Sichtliniendetektionsvorrichtung nach Anspruch 1, wobei die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugt, wenn Detektion im ereignisgesteuerten Modus nicht mehr möglich ist.
Sichtliniendetektionsvorrichtung nach Anspruch 1, wobei die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugt, wenn eine Detektionswahrscheinlichkeit im ereignisgesteuerten Modus geringer als ein vorgegebener Wert ist.
Sichtliniendetektionsvorrichtung nach Anspruch 1, wobei die Einheit zum Erzeugen des zweiten Modus den Pupillendetektionsmodus erzeugt, wenn ein Ende einer Sakkade im ereignisgesteuerten Modus erkannt wird.
Anzeigevorrichtung, umfassend die Sichtliniendetektionsvorrichtung nach Anspruch 1.
Verfahren zur Erkennung eines Augapfels, umfassend: unter Verwendung eines Bildgebungselements mit einer ereignisgesteuerten Funktion, Erzeugen eines Purkinje-Detektionsmodus, Erzeugen eines Pupillendetektionsmodus und Erzeugen eines ereignisgesteuerten Modus; und Übergehen in den Purkinje-Detektionsmodus, Übergehen in den Pupillendetektionsmodus und Übergehen in den ereignisgesteuerten Modus.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend Wechseln zu drei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend Wechseln zu zwei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung, wobei das Bildgebungselement mit der ereignisgesteuerten Funktion ein erstes Pixel und ein zweites Pixel mit unterschiedlichen Schwellenwerten aufweist, und das erste Pixel und das zweite Pixel in einer Bayer-Anordnung angeordnet sind.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend Wechseln zu zwei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung, wobei das Bildgebungselement mit der ereignisgesteuerten Funktion zwei Schwellenwerte mit Zeitwechsel aufweist.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend den sequentiellen Übergang in den Purkinje-Detektionsmodus durch sequentielles Einschalten jeder einer Vielzahl von Licht emittierenden Vorrichtungen unter Verwendung der Vielzahl von Licht emittierenden Vorrichtungen.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend Wechseln zu drei Lichtemissionsintensitätszuständen unter Verwendung einer Licht emittierenden Vorrichtung, wobei die drei Lichtemissionsintensitäten eine hohe Intensität, eine mittlere Intensität und eine niedrige Intensität sind, und ein Intensitätsunterschied zwischen der hohen Intensität und der mittleren Intensität im Wesentlichen mit einem Intensitätsunterschied zwischen der mittleren Intensität und der niedrigen Intensität identisch ist.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend den im Wesentlichen gleichzeitigen Wechsel von Lichtemissionsintensitäten einer Vielzahl von Licht emittierenden Vorrichtungen unter Verwendung der Vielzahl von Licht emittierenden Vorrichtungen für den Übergang in den Pupillendetektionsmodus.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend: Erfassen eines Signals in Synchronisation mit einem Zeitstempel einer Änderung einer Lichtemissionsintensität einer Licht emittierenden Vorrichtung im Purkinje-Detektionsmodus und im Pupillendetektionsmodus; und Durchführen von Zeitstempelakkumulation zum Erfassen eines Signals im ereignisgesteuerten Modus.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend Übergehen in den Pupillendetektionsmodus, wenn Detektion im ereignisgesteuerten Modus nicht mehr möglich ist.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend Übergehen in den Pupillendetektionsmodus, wenn eine Detektionswahrscheinlichkeit im ereignisgesteuerten Modus geringer als ein vorgegebener Wert ist.
Verfahren zur Erkennung eines Augapfels nach Anspruch 13, ferner umfassend Übergehen in den Pupillendetektionsmodus, wenn ein Ende einer Sakkade im ereignisgesteuerten Modus erkannt wird.