-
Technisches Gebiet
-
Die vorliegende Technologie bezieht sich auf eine Sichtlinien-Detektionsvorrichtung, eine Anzeigevorrichtung, ein Sichtlinien-Detektionssystem und ein Sichtlinien-Detektionsverfahren.
-
Hintergrundtechnik
-
Man erwartet, dass eine Augenerfassungstechnologie für verschiedene Technologien genutzt wird. Beispielsweise erwartet man, dass die Augenerfassungstechnologie für Hirn- und Neurowissenschaften, biologisches Engineering und medizinische Wissenschaften auf dem Gebiet der Forschung verwendet wird. Man erwartet, dass eine Eye-Tracking- bzw. Blickerfassungstechnologie für einen Technologietransfer und eine UX-Verbesserung etc. auf industriellen Gebieten genutzt wird. Außerdem erwartet man, dass eine Iriserkennungstechnologie für Sicherheitstechnologien genutzt wird.
-
Darüber hinaus wird die Augenerfassungstechnologie in den letzten Jahren unter Verwendung einer am Kopf getragenen Anzeige für Fovea-Rendering, eine Erweiterung des sichtbaren Bereichs (Eyebox) und dergleichen in Technologien wie etwa der erweiterten Realität (AR; augmented reality) und der virtuellen Realität (VR) verwendet, wo der Entwicklungswettbewerb sehr hart ist.
-
Patentliteratur 1 offenbart beispielsweise eine Technologie zum Durchführen einer Blickerfassung, während Lichtquellen zum Emittieren von Licht sequentiell geschaltet werden.
-
Zitatliste
-
Patentliteratur
-
Patentliteratur 1:
WO 2019/067731 -
Offenbarung der Erfindung
-
Technisches Problem
-
Die in der Patentliteratur 1 offenbarte Technologie kann jedoch in einigen Fällen beispielsweise keine augenbezogenen Positionsinformationen zu einem geeigneten Zeitpunkt erhalten.
-
Im Hinblick darauf besteht ein Hauptziel der vorliegenden Technologie darin, eine Sichtlinien-Detektionsvorrichtung, die augenbezogene Positionsinformationen zu einem geeigneten Zeitpunkt erhält, eine Anzeigevorrichtung, die solch eine Sichtlinien-Detektionsvorrichtung enthält, ein Sichtlinien-Detektionssystem und ein Sichtlinien-Detektionsverfahren bereitzustellen.
-
Lösung für das Problem
-
Die vorliegende Technologie stellt eine Sichtlinien-Detektionsvorrichtung bereit, die umfasst: eine Beleuchtungseinheit, die ein Auge mit einer Vielzahl von Beleuchtungslichtstrahlen beleuchtet; eine Bestimmungseinheit, die einen Zeitpunkt bestimmt, um zu veranlassen, dass die Beleuchtungseinheit das Auge beleuchtet; eine Beleuchtungs-Steuerungseinheit, die die Beleuchtungseinheit steuert; ein Bildaufnahmeelement, das eine ereignisgetriebene Funktion aufweist; und eine arithmetische Einheit, die augenbezogene Positionsinformationen berechnet, worin die Belichtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis eines Bestimmungsergebnisses der Bestimmungseinheit beleuchtet, das Bildaufnahmeelement Ereignisinformationen erzeugt, indem vom Auge reflektiertes Licht empfangen wird, und die arithmetische Einheit die augenbezogenen Positionsinformationen auf der Basis der Ereignisinformationen berechnet.
-
Die Bestimmungseinheit kann das Bestimmungsergebnis, dass eine Bewegung eines Nutzers stattgefunden hat, auf der Basis der Ereignisinformationen erhalten, und die Beleuchtungs-Steuerungseinheit kann veranlassen, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
-
Die Bewegung des Nutzers kann eine Öffnungs-/Schließbewegung eines Augenlids umfassen, und die Bestimmungseinheit kann das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat, in einem Fall erhalten, in dem die Öffnungs-/Schließbewegung des Augenlids ausgeführt wurde.
-
Die Bewegung des Nutzers kann eine Änderung der Pupillendurchmessergröße umfassen, und die Bestimmungseinheit kann das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat, in einem Fall erhalten, in dem ein Betrag einer Änderung der Pupillendurchmessergröße gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist.
-
Die Bewegung des Nutzers kann eine Sakkade umfassen, und das Bestimmungsergebnis kann das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat, in einem Fall erhalten, in dem eine Geschwindigkeit der Sakkade gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist.
-
Die Sichtlinien-Detektionsvorrichtung kann ferner eine Umgebungs-Detektionseinheit enthalten, die eine Umgebung eines Nutzers detektiert, worin die Bestimmungseinheit das Bestimmungsergebnis, dass sich die Umgebung des Nutzers geändert hat, auf der Basis eines Detektionsergebnisses der Umgebungs-Detektionseinheit erhalten kann und die Beleuchtungs-Steuerungseinheit veranlassen kann, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
-
Das Detektionsergebnis der Umgebungs-Detektionseinheit kann eine Beleuchtungsstärke enthalten, und die Bestimmungseinheit kann das Bestimmungsergebnis, dass sich die Umgebung des Nutzers geändert hat, in einem Fall erhalten, in dem ein Betrag einer Änderung der Beleuchtungsstärke gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist.
-
Außerdem stellt die vorliegende Technologie eine Anzeigevorrichtung bereit, die zumindest die Sichtlinien-Detektionsvorrichtung enthält.
-
Die Anzeigevorrichtung kann ferner eine Handlungs- bzw. Aktions-Detektionseinheit enthalten, die eine Aktion eines Nutzers detektiert, worin die Bestimmungseinheit das Bestimmungsergebnis, dass eine Aktion des Nutzers ausgeführt wurde, auf der Basis eines Detektionsergebnisses der Aktions-Detektionseinheit erhalten kann und die Beleuchtungs-Steuerungseinheit veranlassen kann, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
-
Die Aktion des Nutzers kann beinhalten, dass die Anzeigevorrichtung am Kopf des Nutzers getragen wird, und die Bestimmungseinheit kann das Bestimmungsergebnis, dass die Aktion des Nutzers ausgeführt wurde, in einem Fall erhalten, in dem die Anzeigevorrichtung am Kopf des Nutzers getragen wird.
-
Die Aktion des Nutzers kann eine an der Anzeigevorrichtung vorgenommene Bedienung des Nutzers einschließen, und die Bestimmungseinheit kann das Bestimmungsergebnis, dass die Aktion des Nutzers ausgeführt wurde, erhalten, falls die Bedienung des Nutzers an der Anzeigevorrichtung durchgeführt wird.
-
Die Anzeigevorrichtung kann ferner eine Video-Detektionseinheit enthalten, die ein von der Anzeigevorrichtung angezeigtes Video detektiert, worin die Bestimmungseinheit das Bestimmungsergebnis, dass sich das Video geändert hat, auf der Basis eines Detektionsergebnisses der Video-Detektionseinheit erhalten kann und die Beleuchtungs-Steuerungseinheit veranlassen kann, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
-
Das Detektionsergebnis der Video-Detektionseinheit kann eine Luminanz des Videos enthalten, und die Bestimmungseinheit kann das Bestimmungsergebnis, dass sich das Video geändert hat, erhalten, falls ein Betrag einer Änderung der Luminanz gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist.
-
Darüber hinaus stellt die vorliegende Technologie ein Sichtlinien-Detektionssystem bereit, das umfasst: eine Beleuchtungseinheit, die ein Auge mit einer Vielzahl von Beleuchtungslichtstrahlen beleuchtet; eine Bestimmungseinheit, die einen Zeitpunkt bestimmt, um zu veranlassen, dass die Beleuchtungseinheit das Auge beleuchtet; eine Beleuchtungs-Steuerungseinheit, die die Beleuchtungseinheit steuert; ein Bildaufnahmeelement, das eine ereignisgetriebene Funktion aufweist; und eine arithmetische Einheit, die augenbezogene Positionsinformationen berechnet, worin die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis eines Bestimmungsergebnisses der Bestimmungseinheit beleuchtet, das Bildaufnahmeelement Ereignisinformationen erzeugt, indem vom Auge reflektiertes Licht empfangen wird, und die arithmetische Einheit die augenbezogenen Positionsinformationen auf der Basis der Ereignisinformationen berechnet.
-
Außerdem stellt die vorliegende Technologie ein Sichtlinien-Detektionsverfahren bereit, das umfasst: Bestimmen eines Zeitpunkts, um ein Auge zu beleuchten; Beleuchten des Auges mit einer Vielzahl von Beleuchtungslichtstrahlen auf der Basis eines Ergebnisses der Bestimmung; Erzeugen von Ereignisinformationen, indem vom Auge reflektiertes Licht empfangen wird, durch ein Bildaufnahmeelement, das eine ereignisgetriebene Funktion aufweist; und Berechnen augenbezogener Positionsinformationen auf der Basis der Ereignisinformationen.
-
Gemäß der vorliegenden Technologie können augenbezogene Positionsinformationen zu einem geeigneten Zeitpunkt erhalten werden. Es sollte besonders erwähnt werden, dass die hierin dargelegten Effekte nicht notwendigerweise beschränkt sind und ein beliebiger der in der vorliegenden Offenbarung beschriebenen Effekte sein können.
-
Kurze Beschreibung der Zeichnungen
-
- [1] Ein schematisches Diagramm, das ein Konfigurationsbeispiel einer Sichtlinien-Detektionsvorrichtung 107 gemäß einer ersten Ausführungsform der vorliegenden Technologie darstellt.
- [2] Ein Flussdiagramm, das ein Beispiel eines Ablaufs einer Verarbeitung der Sichtlinien-Detektionsvorrichtung 107 gemäß der ersten Ausführungsform der vorliegenden Technologie darstellt.
- [3] Ein vereinfachtes Diagramm, das eine Konfiguration bzw. Struktur eines Auges 20 darstellt.
- [4] Ein schematisches Diagramm, das ein Konfigurationsbeispiel einer Sichtlinien-Detektionsvorrichtung 107 gemäß einer zweiten Ausführungsform der vorliegenden Technologie darstellt.
- [5] Eine Draufsicht einer Anzeigevorrichtung 100 gemäß einer dritten Ausführungsform der vorliegenden Technologie, die am Kopf eines Nutzers getragen wird.
- [6] Eine Vorderansicht der Anzeigevorrichtung 100 gemäß der dritten Ausführungsform der vorliegenden Technologie, die am Kopf des Nutzers getragen wird.
- [7] Ein Blockdiagramm, das ein Konfigurationsbeispiel der Anzeigevorrichtung 100 gemäß der dritten Ausführungsform der vorliegenden Technologie darstellt.
- [8] Ein schematisches Diagramm, das ein Konfigurationsbeispiel einer Sichtlinien-Detektionsvorrichtung 107 gemäß einer fünften Ausführungsform der vorliegenden Technologie darstellt.
- [9] Ein schematisches Diagramm, das ein Konfigurationsbeispiel eines Sichtlinien-Detektionssystems 200 gemäß einer sechsten Ausführungsform der vorliegenden Technologie darstellt.
- [10] Ein Flussdiagramm, das ein Beispiel eines Sichtlinien-Detektionsverfahrens gemäß einer siebten Ausführungsform der vorliegenden Technologie darstellt.
-
Modus (Modi) zum Ausführen der Erfindung
-
Im Folgenden werden hierin vorteilhafte Modi zum Ausführen der vorliegenden Technologie beschrieben. Im Folgenden beschriebene Ausführungsformen zeigen Beispiele typischer Ausführungsformen der vorliegenden Technologie. Der Umfang der vorliegenden Technologie sollte aufgrund dieser Ausführungsformen nicht eng verstanden werden.
-
Die Beschreibungen werden in der folgenden Reihenfolge gegeben.
- 1. Überblick über die vorliegende Technologie
- 2. Erste Ausführungsform (Beispiel 1 einer Sichtlinien-Detektionsvorrichtung)
- 3. Zweite Ausführungsform (Beispiel 2 einer Sichtlinien-Detektionsvorrichtung)
- 4. Dritte Ausführungsform (Beispiel 1 einer Anzeigevorrichtung)
- 5. Vierte Ausführungsform (Beispiel 2 einer Anzeigevorrichtung)
- 6. Fünfte Ausführungsform (Beispiel 3 einer Anzeigevorrichtung)
- 7. Sechste Ausführungsform (Beispiel eines Sichtlinien-Detektionssystems)
- 8. Siebte Ausführungsform (Beispiel eines Sichtlinien-Detektionsverfahrens) .
-
<1. Überblick über die vorliegende Technologie>
-
Herkömmlicherweise wird eine Technologie verwendet, um augenbezogene Positionsinformationen zu erhalten, indem ein Auge mit Infrarotlicht bestrahlt und reflektiertes Licht von einem Bildaufnahmeelement wie etwa einem Bildsensor empfangen wird. Die Augenbestrahlung mit Infrarotlicht ermöglicht die Unterscheidung zwischen einer Pupille und einer Iris.
-
Außerdem ist es wünschenswert, den Strom- bzw. Leistungsverbrauch einer tragbaren Vorrichtung, z. B. einer am Kopf getragenen Anzeige, die augenbezogene Positionsinformationen erhält, zu reduzieren. Im Hinblick darauf nutzt die vorliegende Technologie ein Bildaufnahmeelement mit einer ereignisgetriebenen Funktion, z. B. einen Dynamik-Vision-Sensor (DVS). Der DVS kann zu einer Reduzierung des Leistungsverbrauchs beitragen, da nur Pixel, deren Luminanz sich geändert hat, Ereignisinformationen im DVS erzeugen. Außerdem kann der DVS Ereignisinformationen sehr genau erzeugen, da der DVS eine hohe zeitliche Auflösung hat.
-
Der DVS kann jedoch starkes Rauschen erzeugen, da die jeweiligen Pixel des DVS Ereignisinformationen jedes Mal erzeugen, wenn sich die Luminanz der jeweiligen Pixel ändert. Es besteht insofern ein Problem, als dieses Rauschen es dem DVS unmöglich macht, augenbezogene Positionsinformationen sehr genau zu erhalten.
-
Außerdem besteht auch insofern ein Problem, als das Blinzeln von Augen, eine schnelle Bewegung des Augapfels (Sakkade) oder dergleichen es zeitweise unmöglich macht, augenbezogene Positionsinformationen zu erhalten. Außerdem besteht auch ein Problem insofern, als die Genauigkeit beim Erhalten augenbezogener Positionsinformationen abnimmt, da der DVS bei feinen bzw. subtilen Augenbewegungen weniger Ereignisinformationen erzeugt.
-
Als eine der Lösungen für solche Probleme wird die Luminanz durch Strahlung auf das Auge zwangsweise verändert, um augenbezogene Positionsinformationen zwangsweise zu erhalten bzw. zu erzwingen.
-
Jedoch werden mehrere hunderttausend Mal mehr Ereignisinformationen als normal erzeugt, da nahezu alle Pixel Ereignisinformationen erzeugen, wenn die Luminanz zwangsweise geändert wird. Es besteht insofern ein Problem, als das Auslesen verzögert wird, wenn nahezu alle Pixel Ereignisinformationen erzeugen, da die von den Pixeln erzeugten Ereignisinformationen für jede Abtast- bzw. Scan-Zeile sequentiell ausgelesen werden. Aufgrund der hohen zeitlichen Auflösung des DVS können außerdem die jeweiligen Pixel eine Vielzahl von Stücken von Ereignisinformationen in einem einzigen Bestrahlungsschuss erzeugen, was die Verzögerung erhöht. Außerdem besteht auch insofern ein Problem, als der Leistungsverbrauch zunimmt, wenn nahezu alle Pixel Ereignisinformationen erzeugen, da die Erzeugung von Ereignisinformationen elektrische Leistung verbraucht.
-
In Anbetracht dessen stellt die vorliegende Technologie eine Sichtlinien-Detektionsvorrichtung bereit, die augenbezogene Positionsinformationen zu einem geeigneten Zeitpunkt mit einer Bestimmungseinheit erhält, die einen Zeitpunkt, um das Auge zu bestrahlen, bestimmt. Dementsprechend kann die Sichtlinien-Detektionsvorrichtung gemäß der vorliegenden Technologie augenbezogene Positionsinformationen sehr genau erhalten. Darüber hinaus kann die Sichtlinien-Detektionsvorrichtung gemäß der vorliegenden Technologie beispielsweise zu einer Reduzierung der Verarbeitungsverzögerung und einer Reduzierung des Leistungsverbrauchs beitragen.
-
Im Folgenden werden hierin mit Verweis auf die Zeichnungen vorteilhafte Modi zum Ausführen der vorliegenden Technologie im Detail beschrieben. Es sollte besonders erwähnt werden, dass in den Zeichnungen der Begriff „oben bzw. oberer“ eine obere Richtung oder obere Seite in der Abbildung meint, der Begriff „unten bzw. unterer“ eine untere Richtung oder untere Seite in der Abbildung meint, der Begriff „links“ eine Richtung nach links oder linke Seite in der Abbildung meint und der Begriff „rechts“ eine Richtung nach rechts oder rechte Seite in der Abbildung meint, sofern hier nicht anders angegeben. Außerdem werden in der auf die Zeichnungen verweisenden Beschreibung identische oder äquivalente Elemente oder Bauteile mit den gleichen Bezugszeichen bezeichnet und wird eine doppelte Beschreibung unterlassen.
-
<2. Erste Ausführungsform (Beispiel 1 einer Sichtlinien-Detektionsvorrichtung)>
-
Eine Sichtlinien-Detektionsvorrichtung gemäß einer ersten Ausführungsform ist eine Sichtlinien-Detektionsvorrichtung, die eine Beleuchtungseinheit, die ein Auge mit einer Vielzahl von Beleuchtungslichtstrahlen beleuchtet, eine Bestimmungseinheit, die einen Zeitpunkt bestimmt, um zu veranlassen, dass die Beleuchtungseinheit das Auge beleuchtet, eine Beleuchtungs-Steuerungseinheit, die die Beleuchtungseinheit steuert, ein Bildaufnahmeelement, das eine ereignisgetriebene Funktion aufweist, und eine arithmetische Einheit umfasst, die die augenbezogenen Positionsinformationen berechnet, worin die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis eines Bestimmungsergebnisses der Bestimmungseinheit beleuchtet, das Bildaufnahmeelement Ereignisinformationen erzeugt, indem vom Auge reflektiertes Licht empfangen wird, und die arithmetische Einheit die augenbezogenen Positionsinformationen auf der Basis der Ereignisinformationen berechnet.
-
Die Sichtlinien-Detektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Technologie wird mit Verweis auf 1 beschrieben. 1 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel einer Sichtlinien-Detektionsvorrichtung 107 gemäß der ersten Ausführungsform der vorliegenden Technologie darstellt.
-
Wie in 1 dargestellt ist, enthält die Sichtlinien-Detektionsvorrichtung 107 gemäß der ersten Ausführungsform der vorliegenden Technologie eine Beleuchtungseinheit 1, die ein Auge 20 mit einer Vielzahl von Beleuchtungslichtstrahlen bestrahlt, eine Bestimmungseinheit 2, die einen Zeitpunkt bestimmt, um zu veranlassen, dass die Beleuchtungseinheit 1 das Auge beleuchtet, eine Beleuchtungs-Steuerungseinheit 3, die die Beleuchtungseinheit 1 steuert, ein Bildaufnahmeelement 4, das eine ereignisgetriebene Funktion aufweist, und eine arithmetische Einheit 5, die auf das Auge 20 bezogene Positionsinformationen berechnet.
-
Zunächst bestimmt die Bestimmungseinheit 2 einen Zeitpunkt, um zu veranlassen, dass die Beleuchtungseinheit 1 das Auge beleuchtet. Verschiedene Bestimmungsmittel werden später beschrieben. Beispielsweise kann eine in einem Computer bereitgestellte zentrale Verarbeitungseinheit (CPU) für die Bestimmungseinheit 2 genutzt werden. Die ein Programm lesende CPU kann die Bestimmungseinheit 2 realisieren. Es sollte besonders erwähnt werden, dass ein Lernmodell in einem tiefen neuronalen Netzwerk oder dergleichen als Beispiel für das Programm genutzt werden kann.
-
Als Nächstes veranlasst die Beleuchtungs-Steuerungseinheit 3, dass die Beleuchtungseinheit 1 das Auge 20 auf der Basis eines Bestimmungsergebnisses der Bestimmungseinheit 2 beleuchtet. Die Beleuchtungs-Steuerungseinheit 3 kann beispielsweise unter Verwendung eines Modulators realisiert werden.
-
Die Beleuchtungseinheit 1 beleuchtet dann das Auge 20 mit einer Vielzahl von Beleuchtungslichtstrahlen. Die Beleuchtungseinheit 1 kann unter Verwendung beispielsweise einer LED realisiert werden. Wie oben beschrieben wurde, handelt es sich bei dem Beleuchtungslicht vorteilhafterweise um Infrarotlicht. Es sollte besonders erwähnt werden, dass das Lichtemissionsmuster der Beleuchtungseinheit 1 nicht auf eine Kreisform beschränkt ist.
-
Zwei oder mehr Beleuchtungslichtstrahlen werden vorteilhaft verwendet, und vier oder mehr Beleuchtungslichtstrahlen werden vorteilhafter verwendet. Dies kann einen Fall verhindern, bei dem reflektiertes Licht beispielsweise je nach Orientierung des Augapfels nicht vollständig empfangen werden kann. Aufgrund der Vielzahl von Beleuchtungslichtstrahlen kann zumindest ein Beleuchtungslichtstrahl empfangen werden.
-
Das Bildaufnahmeelement 4 mit der ereignisgetriebenen Funktion erzeugt dann Ereignisinformationen, indem vom Auge 20 reflektiertes Licht empfangen wird. Beispielsweise kann für das Bildaufnahmeelement 4 mit der ereignisgetriebenen Funktion ein DVS genutzt werden.
-
Schließlich berechnet die arithmetische Einheit 5 Positionsinformationen in Bezug auf das Auge 20 auf der Basis der Ereignisinformationen. Insbesondere berechnet die arithmetische Einheit 5 Informationen über die Augenbewegungen und/oder Informationen über Pupillenpositionen. Beispielsweise kann eine in einem Computer bereitgestellte CPU für die arithmetische Einheit 5 genutzt werden. Die ein Programm lesende CPU kann die arithmetische Einheit 5 realisieren. Es sollte besonders erwähnt werden, dass ein Lernmodell in einem tiefen neuronalen Netzwerk oder dergleichen als Beispiel für das Programm genutzt werden kann.
-
Ein Ablauf einer Verarbeitung der Sichtlinien-Detektionsvorrichtung 107 gemäß der ersten Ausführungsform der vorliegenden Technologie wird mit Verweis auf 2 beschrieben. 2 ist ein Flussdiagramm, das ein Beispiel eines Ablaufs einer Verarbeitung der Sichtlinien-Detektionsvorrichtung 107 gemäß der ersten Ausführungsform der vorliegenden Technologie darstellt.
-
Wie in 2 dargestellt ist, erhält in Schritt S11 die arithmetische Einheit 5 Ereignisinformationen, die vom Bildaufnahmeelement 4 erzeugt werden, das vom Auge reflektiertes Licht empfängt.
-
In Schritt S12 führt die arithmetische Einheit 5 eine Segmentierung in Bezug auf das Auge auf der Basis der erhaltenen Ereignisinformationen durch. Diese Segmentierung wird mit Verweis auf 3 beschrieben. 3 stellt eine Konfiguration eines vereinfachten Diagramms des Auges 20 dar. Wie in 3 dargestellt ist, weist das Auge 20 eine Pupille 21 und eine Iris 22 auf. Außerdem werden durch reflektiertes Licht des Bestrahlungslichts von der Beleuchtungseinheit 1 erzeugte Purkinje-Bilder 23 detektiert.
-
Die arithmetische Einheit 5 führt eine Segmentierung für jeweilige Bereiche der Purkinje-Bilder 23, der Pupille 21 und der Iris 22 beispielsweise auf der Basis eingegebener Ereignisinformationen durch.
-
Auf 2 zurückverweisend bestimmt in Schritt S13 die Bestimmungseinheit 2, ob eine Bewegung eines Nutzers stattgefunden hat oder nicht. Beispiele der Bewegung des Nutzers können eine Öffnungs-/Schließbewegung eines Augenlids, eine Änderung der Pupillendurchmessergröße, eine Sakkade, das Tragen der Vorrichtung und eine Bedienung an der Vorrichtung umfassen. Die Öffnungs-/Schließbewegung des Augenlids kann unwillkürliches Blinzeln und absichtliches Zwinkern einschließen. Es besteht die Möglichkeit, dass die Sichtlinien-Detektionsvorrichtung 107 Positionen der Pupille 21 und dergleichen aufgrund solch einer Bewegung des Nutzers nicht erhalten kann. Daher ist der Zeitpunkt, zu dem solch eine Bewegung des Nutzers stattfindet, ein geeigneter Zeitpunkt, um die augenbezogenen Positionsinformationen zu erhalten.
-
Obwohl die in die Bestimmungseinheit 2 eingegebenen Informationen nicht sonderlich beschränkt sind, können beispielsweise durch das Bildaufnahmeelement 4 erzeugte Ereignisinformationen in die Bestimmungseinheit 2 eingegeben werden. Die Bestimmungseinheit 2 kann ein Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat, auf der Basis der Ereignisinformationen erhalten. Wenn beispielsweise Ereignisinformationen mit einer spezifischen Wellenform in die Bestimmungseinheit 2 eingegeben werden, bestimmt die Bestimmungseinheit 2, dass die Öffnungs-/Schließbewegung des Augenlids stattgefunden hat, und erhält das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat. Das erhaltene Bestimmungsergebnis ermöglicht der Sichtlinien-Detektionsvorrichtung 107, die augenbezogenen Positionsinformationen zu einem geeigneten Zeitpunkt zu erhalten. Infolgedessen kann die Sichtlinien-Detektionsvorrichtung 107 augenbezogene Positionsinformationen sehr genau erhalten.
-
Beispielsweise kann eine in der Nicht-Patentliteratur 1 unten offenbarte Technologie als Technologie zum Bestimmen der Öffnungs-/Schließbewegung des Augenlids genutzt werden.
-
Nicht-Patentliteratur 1: „Real-Time Face & Eye Tracking and Blink Detection using Event Cameras“, 2020, https://arxiv.org/abs/2010.08278
-
Alternativ dazu erhält in einem Fall, in dem ein Betrag einer Änderung der Pupillendurchmessergröße gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist, die Bestimmungseinheit 2 das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat. In einem Fall beispielsweise, in dem der Betrag einer Änderung der Pupillendurchmessergröße gleich oder größer als 2 mm ist, erhält die Bestimmungseinheit 2 das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat.
-
Das erhaltene Bestimmungsergebnis ermöglicht der Sichtlinien-Detektionsvorrichtung 107, die augenbezogenen Positionsinformationen zu einem geeigneten Zeitpunkt zu erhalten. Infolgedessen kann die Sichtlinien-Detektionsvorrichtung 107 augenbezogene Positionsinformationen sehr genau erhalten.
-
Alternativ dazu erhält in einem Fall, in dem eine Geschwindigkeit der Sakkade gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist, die Bestimmungseinheit 2 das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat. Falls beispielsweise die Geschwindigkeit der Sakkade gleich oder größer als 20 Grad/s ist, erhält die Bestimmungseinheit 2 das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat.
-
Das erhaltene Bestimmungsergebnis ermöglicht der Sichtlinien-Detektionsvorrichtung 107, die augenbezogenen Informationen zu einem geeigneten Zeitpunkt zu erhalten. Infolgedessen kann die Sichtlinien-Detektionsvorrichtung 107 augenbezogene Positionsinformationen sehr genau erhalten.
-
Anschließend steuert in Schritt S14 die Beleuchtungs-Steuerungseinheit 3 die Beleuchtungseinheit 1, um das Auge auf der Basis des Bestimmungsergebnisses zu beleuchten. In einem Fall, in dem die Bestimmungseinheit 2 das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat, erhält (Schritt S13: Ja), steuert die Beleuchtungs-Steuerungseinheit 3 die Beleuchtungseinheit 1, um das Auge zu beleuchten.
-
In Schritt S15 beleuchtet die Beleuchtungseinheit 1 das Auge mit einer Vielzahl von Beleuchtungslichtstrahlen.
-
In Schritt S16 erhält die arithmetische Einheit 5 Ereignisinformationen, die von dem Bildaufnahmeelement 4, das vom Auge reflektiertes Licht empfängt, erzeugt werden.
-
In Schritt S17 berechnet die arithmetische Einheit 5 beispielsweise Positionsinformationen des Bereichs sowohl der Purkinje-Bilder 23, der Pupille 21 als auch der Iris 22 auf der Basis der Ereignisinformationen.
-
In Schritt S18 bestimmt die arithmetische Einheit 5 einen Bereich von Interesse (ROI) beispielsweise auf der Basis der Positionsinformationen des Bereichs sowohl der Purkinje-Bilder 23, der Pupille 21 als auch der Iris 22. Der ROI ist ein als Analyseziel in Bilddaten bestimmter Bereich.
-
In Schritt S19 berechnet die arithmetische Einheit 5 dreidimensionale Positionsinformationen in Bezug auf das Auge auf der Basis der Positionsinformationen der Purkinje-Bilder 23 und/oder der Pupille 21. Diese Positionsinformationen können zum Bestimmen des ROI als vorherige Frame-Informationen genutzt werden (Schritt S18).
-
In Schritt S20 gibt die arithmetische Einheit 5 die dreidimensionalen Positionsinformationen in Bezug auf das Auge aus.
-
Es sollte besonders erwähnt werden, dass in Schritt S13 in einem Fall, in dem die Bestimmungseinheit 2 das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat, nicht erhält (Schritt S13: Nein), die Verarbeitung nach Schritt S18 durchgeführt wird.
-
Die oben erwähnten Inhalte der Sichtlinien-Detektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Technologie können auf andere Ausführungsformen der vorliegenden Technologie angewendet werden, sofern keine technischen Widersprüche erzeugt werden.
-
<3. Zweite Ausführungsform (Beispiel 2 einer Sichtlinien-Detektionsvorrichtung)>
-
Eine Sichtlinien-Detektionsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Technologie ist eine Sichtlinien-Detektionsvorrichtung, die ferner eine Umgebungs-Detektionseinheit enthält, die eine Umgebung des Nutzers detektiert, worin die Bestimmungseinheit ein Bestimmungsergebnis, dass sich die Umgebung des Nutzers geändert hat, auf der Basis eines Detektionsergebnisses der Umgebungs-Detektionseinheit erhält und die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
-
Die Sichtlinien-Detektionsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Technologie wird mit Verweis auf 4 beschrieben. 4 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel einer Sichtlinien-Detektionsvorrichtung 107 gemäß der zweiten Ausführungsform der vorliegenden Technologie darstellt.
-
Wie in 4 dargestellt ist, enthält die Sichtlinien-Detektionsvorrichtung 107 gemäß der zweiten Ausführungsform der vorliegenden Technologie ferner eine Umgebungs-Detektionseinheit 6, die eine Umgebung des Nutzers detektiert. Beispielsweise kann ein Sensor, der eine Helligkeit als numerischen Wert erhält, wie etwa ein Beleuchtungsstärkemesser und ein Bildsensor, als die Umgebungs-Detektionseinheit 6 verwendet werden.
-
Die Bestimmungseinheit 2 erhält das Bestimmungsergebnis, dass sich die Umgebung des Nutzers geändert hat, auf der Basis eines Detektionsergebnisses der Umgebungs-Detektionseinheit 6. In einem Fall beispielsweise, in dem der Beleuchtungsstärkemesser als Umgebungs-Detektionseinheit 6 genutzt wird, enthält das Detektionsergebnis die Beleuchtungsstärke. Die Bestimmungseinheit 2 erhält das Bestimmungsergebnis, dass sich die Umgebung des Nutzers geändert hat, falls ein Betrag einer Änderung der Beleuchtungsstärke gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist. Falls beispielsweise die geänderte Beleuchtungsstärke zehnmal so hoch wie die Beleuchtungsstärke vor der Änderung oder höher ist oder falls die geänderte Beleuchtungsstärke gleich 1/10 der Beleuchtungsstärke vor der Änderung oder niedriger ist, erhält die Bestimmungseinheit 2 das Bestimmungsergebnis, dass sich die Umgebung des Nutzers geändert hat.
-
Die Beleuchtungs-Steuerungseinheit 3 veranlasst, dass die Beleuchtungseinheit 1 das Auge auf der Basis des Bestimmungsergebnisses beleuchtet. Dementsprechend kann die Sichtlinien-Detektionsvorrichtung 107 die augenbezogenen Positionsinformationen zu einem geeigneten Zeitpunkt erhalten. Infolgedessen kann die Sichtlinien-Detektionsvorrichtung 107 augenbezogene Positionsinformationen sehr genau erhalten.
-
Die Pupillendurchmessergröße des Nutzers ändert sich zum Beispiel, wenn sich der Nutzer von einem dunklen Ort zu einem hellen Ort bewegt. Daher kann die Beleuchtungs-Steuerungseinheit 3 veranlassen, dass die Beleuchtungseinheit 1 das Auge beleuchtet.
-
Die oben erwähnten Inhalte der Sichtlinien-Detektionsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Technologie können auf andere Ausführungsformen der vorliegenden Technologie angewendet werden, sofern keine technischen Widersprüche erzeugt werden.
-
<4. Dritte Ausführungsform (Beispiel 1 einer Anzeigevorrichtung)>
-
Eine Anzeigevorrichtung gemäß einer dritten Ausführungsform der vorliegenden Technologie ist eine Anzeigevorrichtung, die zumindest die Sichtlinien-Detektionsvorrichtung gemäß der ersten oder zweiten Ausführungsform der vorliegenden Technologie enthält. Die Anzeigevorrichtung gemäß der dritten Ausführungsform der vorliegenden Technologie kann für beispielsweise eine Brillenanzeige oder eine am Kopf getragene Anzeige verwendet werden.
-
Die Anzeigevorrichtung gemäß der dritten Ausführungsform der vorliegenden Technologie umfasst beispielsweise eine Video-Anzeigeeinheit, einen Sensor (worauf auch als Verschiebungssensor verwiesen wird), der einen Betrag einer Änderung der Position der Anzeigevorrichtung in Bezug auf den Kopf des Nutzers detektiert, die Sichtlinien-Detektionsvorrichtung gemäß der ersten oder zweiten Ausführungsform der vorliegenden Technologie, einen Projektionspositions-Einstellungsmechanismus, eine Steuerungseinheit und eine Speichereinheit.
-
Ein Konfigurationsbeispiel der Anzeigevorrichtung gemäß der dritten Ausführungsform der vorliegenden Technologie wird mit Verweis auf 5 und 6 beschrieben. 5 ist eine Draufsicht einer Anzeigevorrichtung 100 gemäß der dritten Ausführungsform der vorliegenden Technologie, die am Kopf des Nutzers getragen wird. 6 ist eine Vorderansicht der Anzeigevorrichtung 100 gemäß der dritten Ausführungsform der vorliegenden Technologie, die am Kopf des Nutzers getragen wird.
-
(Video-Anzeigeeinheit)
-
Wie in 5 und 6 dargestellt ist, umfasst die Anzeigevorrichtung 100 einen Bügelteil 109L und einen Fassungsteil 108L, welche Teile der Brillenform sind. Eine Lichtquelleneinheit 101L und ein optisches Projektionssystem 102L sind im Bügelteil 109L angeordnet. Ein holografisches optisches Element (HOE) 103L wird im Fassungsteil 108L gehalten. Genauer gesagt wird ein interner Fassungsteil 106L im Fassungsteil 108L über einen Projektionspositions-Einstellungsmechanismus 105L-2 gehalten. Das HOE 103L wird im internen Fassungsteil 106L über einen Projektionsbestimmungs-Einstellungsmechanismus 105L-1 gehalten.
-
Beispielsweise kann eine holografische Linse, vorteilhafterweise eine filmartige holografische Linse und noch vorteilhafter eine transparente, filmartige holografische Linse, als das HOE 103L verwendet werden. Die filmartige holografische Linse kann beispielsweise auf ein Glas geklebt genutzt werden. Gewünschte optische Eigenschaften können der holografischen Linse durch eine bekannte Technik im Stand der Technik verliehen werden. Eine handelsüblich erhältliche holografische Linse kann dann als die holografische Linse verwendet werden, oder die holografische Linse kann mittels einer allgemein bekannten Technik im Stand der Technik hergestellt werden.
-
Die Anzeigevorrichtung 100 ist so konfiguriert, dass sie ein Video-Anzeigelicht auf jedes der beiden Augen des Nutzers projiziert. Das heißt, die Anzeigevorrichtung 100 umfasst eine Video-Anzeigeeinheit für das linke Auge, die Video-Anzeigelicht auf das linke Auge projiziert, und eine Video-Anzeigeeinheit für das rechte Auge, die Video-Anzeigelicht auf das rechte Auge projiziert.
-
Die Video-Anzeigeeinheit für das linke Auge umfasst die Lichtquelleneinheit 101L, das optische Projektionssystem 102L und das HOE 103L.
-
Die Lichtquelleneinheit 101L emittiert Video-Anzeigelicht. Die Lichtquelleneinheit 101L kann beispielsweise eine Laserlichtquelle 120L, einen Spiegel 121L und einen Abtast- bzw. Scan-Spiegel 122L als Komponenten zum Emittieren des Video-Anzeigelichts umfassen.
-
Von der Laserlichtquelle 120L emittiertes Laserlicht wird durch den Spiegel 121L reflektiert und erreicht den Scan-Spiegel 122L. Der Scan-Spiegel 122L scannt das Laserlicht zweidimensional. Der Scan-Spiegel 122L kann beispielsweise ein MEMS-Spiegel sein. Der Scan-Spiegel 122L kann die Richtung des Laserlichts mit hoher Geschwindigkeit so bewegen, dass auf der Netzhaut ein Bild erzeugt wird.
-
Das optische Projektionssystem 102L stellt die Richtung des Video-Anzeigelichts so ein, dass das Video-Anzeigelicht einen gewünschten Bereich und/oder eine gewünschte Position des HOE 103L erreicht. Beispielsweise wandelt das optische Projektionssystem 102L das durch den Scan-Spiegel 122L gescannte Video-Anzeigelicht in paralleles Licht um.
-
Das HOE 103L beugt das Video-Anzeigelicht so, dass das Video-Anzeigelicht in der Nähe der Pupille des Nutzers konzentriert und dann auf die Netzhaut gestrahlt wird. Das HOE 103L kann beispielsweise ein reflektierendes Beugungselement sein. Das HOE 103L kann optische Eigenschaften insofern aufweisen, als das HOE 103L in Bezug auf Licht in einem Wellenlängenbereich des Video-Anzeigelichts als Linse wirkt und Licht mit Wellenlängen außerhalb des Wellenlängenbereichs dort hindurchlässt. Die optischen Eigenschaften ermöglichen, dass der Nutzer ein durch das Video-Anzeigelicht erzeugtes Bild erkennt, während eine Landschaft in der Sichtlinienrichtung beispielsweise durch das HOE 103L erkannt wird. Das heißt, die Anzeigevorrichtung 100 ermöglicht eine Überlagerung des durch das Video-Anzeigelicht erzeugten Bildes auf der externen Landschaft.
-
Wie oben beschrieben wurde, ermöglichen die Lichtquelleneinheit 101L, das optische Projektionssystem 102L und das HOE 103L, dass das Video-Anzeigelicht das linke Auge des Nutzers erreicht.
-
Die Video-Anzeigeeinheit für das rechte Auge umfasst eine Lichtquelleneinheit 101R, ein optisches Projektionssystem 102R und ein HOE 103R. Für die Lichtquelleneinheit 101R, das optische Projektionssystem 102R und das HOE 103R gilt die gleiche Beschreibung wie die Beschreibung der Lichtquelleneinheit 101L, des optischen Projektionssystems 102L und des HOE 103L.
-
Die Lichtquelleneinheit 101R und das optische Projektionssystem 102R sind wie in der Video-Anzeigeeinheit für das linke Auge in einem Bügelteil 109R angeordnet. Das HOE 103R wird im Fassungsteil 108R gehalten. Genauer gesagt wird ein interner Fassungsteil 106R über einen Projektionspositions-Einstellungsmechanismus 105R-2 im Fassungsteil 108R gehalten. Das HOE 103R wird über einen Projektionspositions-Einstellungsmechanismus 105R-1 im internen Fassungsteil 106R gehalten.
-
Die Verwendung der Laserlichtquelle 120L und einer Laserlichtquelle 120R ermöglicht die Präsentation der Stimulation mit einer bestimmten Wellenlänge. Obwohl die in 6 dargestellte Lichtquelleneinheit 101L die einzelne Laserlichtquelle 120L enthält, können zwei oder mehr Laserlichtquellen der Laserlichtquelleneinheit 101L vorgesehen werden. Beispielsweise können zwei oder mehr und fünf oder weniger Laserlichtquellen vorgesehen werden. Diese Laserlichtquellen können Laserlicht mit unterschiedlichen Wellenlängen abgeben. Zwei oder mehr Laserlichtquellen der Lichtquelleneinheit 101R können ebenfalls vorgesehen werden. Beispielsweise können zwei oder mehr und fünf oder weniger Laserlichtquellen vorgesehen werden. Diese Laserlichtquellen können Laserlicht mit unterschiedlichen Wellenlängen abgeben.
-
Die Fassungsteile 108L und 108R der Anzeigevorrichtung 100 sind über einen Brücken- bzw. Stegteil 110 verbunden. Der Stegteil 110 ist ein Teil, der auf die Nase des Nutzers gesetzt wird, wenn der Nutzer die Anzeigevorrichtung 100 trägt.
-
Die Fassungsteile 108L und 108R der Anzeigevorrichtung 100 sind mit einem Kopfbandteil 111 verbunden. Der Kopfbandteil 111 ist ein Teil, der in Kontakt mit der Oberseite des Kopfes des Nutzers gehalten wird, wenn der Nutzer die Anzeigevorrichtung 100 trägt.
-
Obgleich es in der Abbildung nicht dargestellt ist, kann die Anzeigevorrichtung 100 ferner ein eine Wellenlängendispersion kompensierendes Bauteil enthalten. Da das eine Wellenlängendispersion kompensierende Bauteil eine Wellenlängendispersion kompensiert, kann eine Stimulation an einem beliebigen Punkt (einem vorbestimmten Punkt) auf der Netzhaut korrekt durchgeführt werden. Das eine Wellenlängendispersion kompensierende Bauteil kann beispielsweise ein reflektierendes oder durchlässiges Volumenhologramm oder ein reflektierendes oder durchlässiges Reliefhologramm sein. Das eine Wellenlängendispersion kompensierende Bauteil kann in der Peripherie des Spiegels 121L und/oder 121R angeordnet sein. Das eine Wellenlängendispersion kompensierende Bauteil kann beispielsweise zwischen dem Spiegel 121L und dem Scan-Spiegel 122L und/oder zwischen dem Spiegel 121R und einem Scan-Spiegel 122R angeordnet sein.
-
(Sensor)
-
Die Anzeigevorrichtung 100 kann ferner Sensoren 104L, 104R, 104C und 104T enthalten, die eine Änderung der Position der Anzeigevorrichtung 100 in Bezug auf den Kopf des Nutzers detektieren. Bei der durch diese Sensoren detektierten Änderung der Position kann es sich beispielsweise um eine Richtung der Positionsänderung und/oder einen Betrag einer Positionsänderung handeln. Es sollte besonders erwähnt werden, dass in der vorliegenden Beschreibung die Sensoren 104L, 104R, 104C und 104T manchmal zusammen als Sensor 104 bezeichnet werden.
-
Die Sensoren 104L und 104R detektieren eine Positionsänderung der Anzeigevorrichtung 100 in Bezug auf den Kopf des Nutzers in der horizontalen Richtung. Der Sensor 104C detektiert eine Positionsänderung der Anzeigevorrichtung 100 in Bezug auf den Kopf des Nutzers in der Richtung nach vorne und hinten. Der Sensor 104T detektiert eine Positionsänderung der Anzeigevorrichtung 100 in Bezug auf den Kopf des Nutzers in die obere und untere Richtung. Der Sensor 104 kann beispielsweise einen Tragefehler in drei Dimensionen der Anzeigevorrichtung 100 oder ein Weitertragen (engl.: re-wearing) der Anzeigevorrichtung 100 durch den Nutzer detektieren.
-
(Sichtlinien-Detektionsvorrichtung)
-
Die Anzeigevorrichtung 100 kann ferner Sichtlinien-Detektionsvorrichtungen 107L und 107R enthalten, die Sichtlinien des Nutzers detektieren. Es sollte besonders erwähnt werden, dass in der vorliegenden Beschreibung die Sichtlinien-Detektionsvorrichtungen 107L und 107R manchmal zusammen als Sichtlinien-Detektionsvorrichtung 107 bezeichnet werden. Die Sichtlinien-Detektionsvorrichtung gemäß der ersten oder zweiten Ausführungsform der vorliegenden Technologie kann für diese Sichtlinien-Detektionsvorrichtung 107 verwendet werden.
-
(Projektionspositions-Einstellungsmechanismus)
-
Die Projektionspositions-Einstellungsmechanismen 105L-1 und 105L-2 und 105R-1 und 105R-2 stellen eine Projektionsposition des von der Anzeigevorrichtung 100 emittierten Video-Anzeigelichts ein. Es sollte besonders erwähnt werden, dass in der vorliegenden Beschreibung diese vier Projektionspositions-Einstellungsmechanismen manchmal zusammen als Projektionspositions-Einstellungsmechanismus 105 bezeichnet werden. Der Projektionspositions-Einstellungsmechanismus 105 kann dafür konfiguriert sein, die Projektionsposition des Video-Anzeigelichts beispielsweise der Sichtlinie folgend einzustellen. Alternativ dazu ist der Projektionspositions-Einstellungsmechanismus 105 beispielsweise imstande, die Projektionsposition des Video-Anzeigelichts gemäß einem Tragefehler einzustellen.
-
Außerdem ist der Projektionspositions-Einstellungsmechanismus 105 imstande, die Projektionsposition des Video-Anzeigelichts gemäß einer Drehbewegung des Augapfels oder einer Bewegung der Sichtlinie einzustellen. Mit dem bereitgestellten Projektionspositions-Einstellungsmechanismus 105 ist die Anzeigevorrichtung 100 beispielsweise imstande, die Position des dem Nutzer präsentierten Bildes auf eine geeignetere Position einzustellen. Wenn beispielsweise ein dem Nutzer präsentiertes Bild auf der externen Landschaft überlagert wird, kann das Bild durch die Sichtlinien-Detektionsvorrichtungen 107L und 107R, die Sichtlinien des Nutzers detektieren, an einer geeigneteren Position angezeigt werden. Das heißt, das Bereitstellen der Sichtlinien-Detektionsvorrichtung 107 ist beispielsweise für eine Präsentation von AR-Information vorteilhaft.
-
Außerdem kann der Projektionspositions-Einstellungsmechanismus 105 auch zum Einstellen einer Position genutzt werden, an der das Video-Anzeigelicht in der Bildanzeige in der Maxwellschen Ansicht konzentriert wird.
-
Die Projektionspositions-Einstellungsmechanismen 105L-1 und 105L-2 stellen eine Projektionsposition eines auf das linke Auge projizierten Video-Anzeigelichts ein.
-
Der Projektionspositions-Einstellungsmechanismus 105L-1 stellt eine Positionsbeziehung zwischen dem internen Fassungsteil 106L und dem Fassungsteil 108L in einer z-Achsenrichtung ein. Beispielsweise bewegt der Projektionspositions-Einstellungsmechanismus 105L-1 den internen Fassungsteil 106L in Bezug auf den Fassungsteil 108L in der z-Achsenrichtung. Dementsprechend wird die Position des HOE 103L in der z-Achsenrichtung eingestellt.
-
Der Projektionspositions-Einstellungsmechanismus 105L-2 stellt eine Positionsbeziehung zwischen dem HOE 103L und dem internen Fassungsteil 106L in einer x-Achsenrichtung ein. Beispielsweise bewegt der Projektionspositions-Einstellungsmechanismus 105L-2 das HOE 103L in Bezug auf den internen Fassungsteil 106L in der x-Achsenrichtung. Dementsprechend wird die Position des HOE 103L in der x-Achsenrichtung eingestellt.
-
Antriebselemente zum Bewegen des internen Fassungsteils 106L und des HOE 103L können beispielsweise piezoelektrische Elemente, Aktuatoren oder Bimetallstreifen sein, sind aber nicht darauf beschränkt.
-
Der Projektionspositions-Einstellungsmechanismus 105L-1 ist imstande, eine Positionsbeziehung zwischen dem internen Fassungsteil 106L und dem Fassungsteil 108L in der z-Achsenrichtung beispielsweise basierend auf einer Änderung(en) der Position der Anzeigevorrichtung 100 einzustellen, die durch einen, zwei, drei oder vier der Sensoren 104L, 104R, 104C und 104T detektiert wird (werden). Außerdem kann der Projektionspositions-Einstellungsmechanismus 105L-1 die Positionsbeziehung basierend auf der (den) Änderung(en) der Position und der durch die Sichtlinien-Detektionsvorrichtung 107L detektierten Sichtlinie einstellen.
-
Ähnlich ist der Projektionspositions-Einstellungsmechanismus 105L-2 imstande, eine Positionsbeziehung zwischen dem HOE 103L und dem internen Fassungsteil 106L in der x-Achsenrichtung beispielsweise basierend auf einer Änderung(en) der Position der Anzeigevorrichtung 100 einzustellen, die durch einen, zwei, drei oder vier der Sensoren 104L, 104R, 104C und 104T detektiert wird (werden). Darüber hinaus kann der Projektionspositions-Einstellungsmechanismus 105L-2 die Positionsbeziehung basierend auf der (den) Änderung(en) der Position und der durch die Sichtlinien-Detektionsvorrichtung 107L detektierten Sichtlinie einstellen.
-
Die Projektionspositions-Einstellungsmechanismen 105R-1 und 105R-2 stellen eine Projektionsposition eines auf das rechte Auge projizierten Video-Anzeigelichts ein. Die Einstellung kann wie bei den Projektionspositions-Einstellungsmechanismen 105L-1 und 105L-2 durchgeführt werden.
-
(Steuerungseinheit und Speichereinheit)
-
Die Steuerungseinheit und die Speichereinheit werden mit Verweis auf 7 beschrieben. 7 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Anzeigevorrichtung 100 gemäß der dritten Ausführungsform der vorliegenden Technologie darstellt. Wie in 7 dargestellt ist, weist die Anzeigevorrichtung 100 eine Steuerungseinheit 112 auf. Die Steuerungseinheit 112 umfasst beispielsweise eine Bild-Steuerungseinheit 181, eine Projektionspositions-Steuerungseinheit 182 und eine Sichtlinien-Korrektureinheit 183.
-
Die Bild-Steuerungseinheit 181 steuert eine Projektion des Video-Anzeigelichts durch die Video-Anzeigeeinheit. Die Bild-Steuerungseinheit 181 steuert beispielsweise die Lichtquelleneinheiten 101L und 101R und insbesondere die Laserlichtquelle und den Scan-Spiegel, der in diesen Lichtquelleneinheiten enthalten ist, an, um das Video-Anzeigelicht abzugeben. Die Bild-Steuerungseinheit 181 kann beispielsweise in einer Speichereinheit 184 gespeicherte Bilddaten erhalten und veranlassen, dass die Lichtquelleneinheiten 101L und 101R das Video-Anzeigelicht auf der Basis der Bilddaten abgeben.
-
Die Bild-Steuerungseinheit 181 kann die Bilddaten auf der Basis einer Änderung der Position der Anzeigevorrichtung 100 in Bezug auf den Kopf des Nutzers, die durch den Sensor 104 detektiert wird, korrigieren. Die Bild-Steuerungseinheit 181 kann veranlassen, dass die Lichtquelleneinheiten 101L und 101R das Video-Anzeigelicht auf der Basis der korrigierten Bilddaten abgeben. Das heißt, die Anzeigevorrichtung 100 kann das Bild auf der Basis einer Änderung der Position korrigieren, die durch einen Sensor detektiert wird, der eine Änderung der Position einer am Kopf getragenen Anzeigevorrichtung in Bezug auf den Kopf des Nutzers detektiert.
-
Die Projektionspositions-Steuerungseinheit 182 steuert die Projektionsposition des Video-Anzeigelichts, indem die Projektionspositions-Einstellungsmechanismen 105L-1, 105L-2, 105R-1 und 105R-2 gesteuert werden. Beispielsweise kann die Projektionspositions-Steuerungseinheit 182 ein bis vier der Projektionspositions-Einstellungsmechanismen 105L-1, 105L-2, 105R-1 und 105R-2 auf der Basis von durch die Sichtlinien-Detektionsvorrichtungen 107L und 107R detektierten Sichtlinien ansteuern, um die Projektionsposition des Video-Anzeigelichts zu steuern. Beispielsweise kann die Projektionsposition des Video-Anzeigelichts so gesteuert werden, dass sie den Sichtlinien folgt.
-
Die Projektionspositions-Steuerungseinheit 182 kann ein bis vier der Projektionspositions-Einstellungsmechanismen 105L-1, 105L-2, 105R-1 und 105R-2 auf der Basis von durch die später zu beschreibende Sichtlinien-Korrektureinheit 183 korrigierten Sichtlinien ansteuern und die Projektionsposition des Video-Anzeigelichts steuern. Beispielsweise kann die Projektionsposition des Video-Anzeigelichts so gesteuert werden, dass sie den korrigierten Sichtlinien folgt.
-
Die Projektionspositions-Steuerungseinheit 182 kann ein bis vier der Projektionspositions-Einstellungsmechanismen 105L-1, 105L-2, 105R-1 und 105R-2 ansteuern und die Projektionsposition des Video-Anzeigelichts auf der Basis der Daten (worauf hier im Folgenden auch als „Verschiebungsdaten“ verwiesen wird) in Bezug auf eine Änderung(en) der Position der Anzeigevorrichtung 100 in Bezug auf den Kopf des Nutzers steuern, die durch ein bis vier der Sensoren 104L, 104R, 104C und 104T detektiert wurde (wurden).
-
Basierend auf solchen Verschiebungsdaten und einem Korrekturkoeffizienten kann beispielsweise die Projektionspositions-Steuerungseinheit 182 einen Betrag einer Positionseinstellung mittels jedes der Projektionspositions-Einstellungsmechanismen berechnen. Die Projektionspositions-Steuerungseinheit 182 kann jeden Projektionspositions-Einstellungsmechanismus ansteuern, um die Positionsbeziehung um den berechneten Betrag der Positionseinstellung zu ändern. Die Projektionspositions-Steuerungseinheit 182 kann einen Korrekturkoeffizienten aus einer beispielsweise in der Speichereinheit 184 vorher gespeicherten Korrekturtabelle erhalten und den Korrekturkoeffizienten zum Berechnen des Betrags einer Positionseinstellung nutzen. Die Korrekturtabelle kann beispielsweise eine Vielzahl von Korrekturkoeffizienten enthalten, und die Projektionspositions-Steuerungseinheit 182 kann einen vorbestimmten Korrekturkoeffizienten aus diesen Korrekturkoeffizienten gemäß den Verschiebungsdaten auswählen. Außerdem kann die Korrekturtabelle beispielsweise für jeden Projektionspositions-Einstellungsmechanismus bereitgestellt werden. Die Korrekturtabelle kann in der Anzeigevorrichtung 100 vorher bereitgestellt werden oder kann entsprechend der Nutzung der Anzeigevorrichtung 100 durch den Nutzer aktualisiert werden. Das Auswählen oder Aktualisieren der Korrekturtabelle oder Korrekturkoeffizienten kann die Genauigkeit einer Steuerung der Projektionsposition verbessern. Die Projektionspositions-Steuerungseinheit 182 kann durch die Sichtlinien-Detektionsvorrichtung detektierte Sichtlinien oder durch die Sichtlinien-Korrektureinheit 183 korrigierte Sichtlinien zum Berechnen des Betrags einer Positionseinstellung nutzen.
-
Die Sichtlinien-Korrektureinheit 183 korrigiert die durch die Sichtlinien-Detektionsvorrichtungen 107L und 107R detektierten Sichtlinien auf der Basis der Verschiebungsdaten. Dementsprechend ermöglicht die Sichtlinien-Korrektureinheit 183 eine Identifizierung von Sichtlinien unter Berücksichtigung eines Tragefehlers, was die Genauigkeit einer Detektion der Sichtlinie verbessert. Die Korrektur kann in Bezug auf die optischen Achsen der Augäpfel durchgeführt werden, kann in Bezug auf die visuellen Achsen der Augäpfel durchgeführt werden oder kann in Bezug auf andere Bezugsachsen durchgeführt werden. Wie bei der Projektionspositions-Steuerungseinheit 182 kann auch die Sichtlinien-Korrektureinheit 183 Korrekturkoeffizienten aus einer beispielsweise in der Speichereinheit 184 vorher gespeicherten Korrekturtabelle erhalten und die Korrekturkoeffizienten zum Korrigieren der Sichtlinien nutzen.
-
Die Anzeigevorrichtung 100 kann ferner die Speichereinheit 184 enthalten. Die Speichereinheit kann Daten in Bezug auf das durch die Video-Anzeigeeinheit projizierte Video-Anzeigelicht, eine Korrekturtabelle, die für die Steuerung der Projektionsposition durch die Projektionspositions-Steuerungseinheit 122 genutzt wird, und eine Korrekturtabelle speichern, die für die Sichtlinienkorrektur durch die Sichtlinien-Korrektureinheit 123 genutzt wird.
-
Die oben erwähnten Inhalte der Anzeigevorrichtung gemäß der dritten Ausführungsform der vorliegenden Technologie können auf andere Ausführungsformen der vorliegenden Technologie angewendet werden, sofern keine technischen Widersprüche erzeugt werden.
-
<5. Vierte Ausführungsform (Beispiel 2 einer Anzeigevorrichtung)>
-
Eine Anzeigevorrichtung gemäß einer vierten Ausführungsform der vorliegenden Technologie ist eine Anzeigevorrichtung, die eine Aktions-Detektionseinheit enthält, die eine Aktion des Nutzers detektiert, worin die Bestimmungseinheit das Bestimmungsergebnis, dass die Aktion die Nutzers ausgeführt wurde, auf der Basis eines Detektionsergebnisses der Aktions-Detektionseinheit erhält und die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
-
Beispielsweise können als die Aktions-Detektionseinheit ein Beschleunigungssensor, ein Winkelgeschwindigkeitssensor und eine Trägheitsmesseinheit (IMU) verwendet werden.
-
Durch die Aktions-Detektionseinheit, die die Aktion des Nutzers detektiert, kann die Sichtlinien-Detektionsvorrichtung 107 die augenbezogenen Positionsinformationen zu einem geeigneten Zeitpunkt erhalten. Infolgedessen kann die Sichtlinien-Detektionsvorrichtung 107 augenbezogene Positionsinformationen sehr genau erhalten.
-
Die Aktion des Nutzers kann einschließen, dass die Anzeigevorrichtung 100 am Kopf des Nutzers getragen wird. Beispielsweise kann der oben in der dritten Ausführungsform beschriebene Sensor 104 auch die Aktions-Detektionseinheit bilden. Der Sensor 104 detektiert eine Aktion des Nutzers, bei der die Anzeigevorrichtung 100 am Kopf des Nutzers getragen wird.
-
Die Bestimmungseinheit 2 erhält das Bestimmungsergebnis, dass die Aktion des Nutzers ausgeführt wurde, falls die Anzeigevorrichtung 100 am Kopf des Nutzers getragen wird. Dementsprechend kann die Sichtlinien-Detektionsvorrichtung 107 die augenbezogenen Positionsinformationen zu einem geeigneten Zeitpunkt erhalten. Infolgedessen kann die Sichtlinien-Detektionsvorrichtung 107 augenbezogene Positionsinformationen sehr genau erhalten.
-
Beispielsweise ist der Zeitpunkt, zu dem der Nutzer die falsch getragene Anzeigevorrichtung 100 in eine korrekte Position korrigiert, ein geeigneter Zeitpunkt, um die augenbezogenen Positionsinformationen zu erhalten.
-
Außerdem kann die Aktion des Nutzers beinhalten, dass eine Bedienung bzw. Operation des Nutzers in Bezug auf die Anzeigevorrichtung 100 durchgeführt wird.
-
Die Bestimmungseinheit 2 erhält das Bestimmungsergebnis, dass die Aktion des Nutzers ausgeführt wurde, falls die Operation des Nutzers in Bezug auf die Anzeigevorrichtung 100 durchgeführt wurde. Dementsprechend kann die Sichtlinien-Detektionsvorrichtung 107 die augenbezogenen Positionsinformationen zu einem geeigneten Zeitpunkt erhalten. Infolgedessen kann die Sichtlinien-Detektionsvorrichtung 107 augenbezogene Positionsinformationen sehr genau erhalten.
-
Beispielsweise ist der Zeitpunkt, zu dem der Nutzer die Anzeigevorrichtung 100 über einen Controller oder dergleichen bedient, ein geeigneter Zeitpunkt, um die augenbezogenen Positionsinformationen zu erhalten, da dies der Zeitpunkt ist, zu dem der Nutzer ein bestimmtes Objekt zu sehen versucht.
-
Die oben erwähnten Inhalte der Anzeigevorrichtung gemäß der vierten Ausführungsform der vorliegenden Technologie können auf andere Ausführungsformen der vorliegenden Technologie angewendet werden, sofern keine technischen Widersprüche erzeugt werden.
-
<6. Fünfte Ausführungsform (Beispiel 3 einer Anzeigevorrichtung)>
-
Eine Anzeigevorrichtung gemäß einer fünften Ausführungsform der vorliegenden Technologie ist eine Anzeigevorrichtung, die ferner eine Video-Detektionseinheit enthält, die ein von der Anzeigevorrichtung angezeigtes Video anzeigt, worin die Bestimmungseinheit das Bestimmungsergebnis, dass sich das Video geändert hat, auf der Basis eines Detektionsergebnisses der Video-Detektionseinheit erhält und die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
-
Mit Verweis auf 8 wird eine in der Anzeigevorrichtung gemäß der fünften Ausführungsform der vorliegenden Technologie bereitgestellte Sichtlinien-Detektionsvorrichtung beschrieben. 8 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel der Sichtlinien-Detektionsvorrichtung 107 gemäß der fünften Ausführungsform der vorliegenden Technologie darstellt.
-
Wie in 8 dargestellt ist, enthält die Sichtlinien-Detektionsvorrichtung 107 gemäß der fünften Ausführungsform der vorliegenden Technologie ferner eine Video-Detektionseinheit 7, die das mittels der Anzeigevorrichtung 100 angezeigte Video detektiert. Die Video-Detektionseinheit 7 erhält insbesondere die Helligkeit des mittels der Anzeigevorrichtung 100 angezeigten Videos als numerischen Wert. Beispielsweise kann als die Video-Detektionseinheit 7 eine Fotodiode genutzt werden.
-
Die Bestimmungseinheit 2 erhält ein Bestimmungsergebnis, dass sich das Video geändert hat, auf der Basis eines Detektionsergebnisses der Video-Detektionseinheit 7. Falls beispielsweise die Fotodiode als die Video-Detektionseinheit 7 genutzt wird, enthält das Detektionsergebnis eine Luminanz des Videos. Falls ein Betrag einer Änderung der Luminanz gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist, erhält die Bestimmungseinheit 2 das Bestimmungsergebnis, dass sich das Video geändert hat. Falls beispielsweise die geänderte Luminanz um das Zehnfache oder mehr höher als die Luminanz vor der Änderung ist oder falls die geänderte Luminanz gleich oder niedriger als 1/10 der Luminanz vor der Änderung ist, erhält die Bestimmungseinheit 2 das Bestimmungsergebnis, dass sich das Video geändert hat.
-
Die Beleuchtungs-Steuerungseinheit 3 veranlasst, dass die Beleuchtungseinheit 1 das Auge auf der Basis des Bestimmungsergebnisses beleuchtet. Dementsprechend kann die Sichtlinien-Detektionsvorrichtung 107 die augenbezogenen Positionsinformationen zu einem geeigneten Zeitpunkt erhalten. Infolgedessen kann die Sichtlinien-Detektionsvorrichtung 107 augenbezogene Positionsinformationen sehr genau erhalten.
-
Die Pupillendurchmessergröße des Nutzers ändert sich beispielsweise, wenn ein dunkles Video auf ein helles Video umgeschaltet wird. Daher wird die Beleuchtungseinheit 1 veranlasst, das Auge zu beleuchten.
-
Die oben erwähnten Inhalte der Anzeigevorrichtung gemäß der fünften Ausführungsform der vorliegenden Technologie können auf andere Ausführungsformen der vorliegenden Technologie angewendet werden, sofern keine technischen Widersprüche erzeugt werden.
-
<7. Sechste Ausführungsform (Beispiel eines Sichtlinien-Detektionssystems)>
-
Ein Sichtlinien-Detektionssystem gemäß einer sechsten Ausführungsform der vorliegenden Technologie ist ein Sichtlinien-Detektionssystem, das eine Beleuchtungseinheit, die ein Auge mit einer Vielzahl von Beleuchtungslichtstrahlen beleuchtet, eine Bestimmungseinheit, die einen Zeitpunkt bestimmt, um zu veranlassen, dass die Beleuchtungseinheit das Auge beleuchtet, eine Beleuchtungs-Steuerungseinheit, die die Beleuchtungseinheit steuert, ein Bildaufnahmeelement, das eine ereignisgetriebene Funktion aufweist, und eine arithmetische Einheit umfasst, die augenbezogene Positionsinformationen berechnet, worin die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis eines Bestimmungsergebnisses der Bestimmungseinheit beleuchtet, das Bildaufnahmeelement Ereignisinformationen erzeugt, indem vom Auge reflektiertes Licht empfangen wird, und die arithmetische Einheit die augenbezogenen Positionsinformationen auf der Basis der Ereignisinformationen berechnet.
-
Das Sichtlinien-Detektionssystem gemäß der sechsten Ausführungsform der vorliegenden Technologie wird mit Verweis auf 9 geschrieben. 9 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel des Sichtlinien-Detektionssystems 200 gemäß der sechsten Ausführungsform der vorliegenden Technologie darstellt.
-
Wie in 9 dargestellt ist, umfasst das Sichtlinien-Detektionssystem 200 gemäß der sechsten Ausführungsform der vorliegenden Technologie eine Beleuchtungseinheit 1, die ein Auge mit einer Vielzahl von Beleuchtungslichtstrahlen beleuchtet, eine Bestimmungseinheit 2, die einen Zeitpunkt bestimmt, um zu veranlassen, dass die Beleuchtungseinheit 1 das Auge beleuchtet, und eine Beleuchtungs-Steuerungseinheit 3, die die Beleuchtungseinheit 1 steuert, ein Bildaufnahmeelement 4, das die ereignisgetriebene Funktion aufweist, und eine arithmetische Einheit 5, die die augenbezogenen Positionsinformationen berechnet.
-
Die Beleuchtungs-Steuerungseinheit 3 veranlasst, dass die Beleuchtungseinheit 1 das Auge auf der Basis eines Bestimmungsergebnisses der Bestimmungseinheit 2 beleuchtet.
-
Die Bildaufnahmeelement 4 erzeugt Ereignisinformationen, indem vom Auge reflektiertes Licht empfangen wird.
-
Die arithmetische Einheit 5 berechnet augenbezogene Positionsinformationen auf der Basis der Ereignisinformationen.
-
Die oben erwähnten Inhalte des Sichtlinien-Detektionssystems gemäß der sechsten Ausführungsform der vorliegenden Technologie können auf andere Ausführungsformen der vorliegenden Technologie angewendet werden, sofern keine technischen Widersprüche erzeugt werden.
-
<8. Siebte Ausführungsform (Beispiel eines Sichtlinien-Detektionsverfahrens)>
-
Ein Sichtlinien-Detektionsverfahren gemäß einer siebten Ausführungsform der vorliegenden Technologie ist ein Sichtlinien-Detektionsverfahren, das das Bestimmen eines Zeitpunkts, um das Auge zu beleuchten, das Beleuchten des Auges mit einer Vielzahl von Beleuchtungslichtstrahlen auf der Basis eines Ergebnisses der Bestimmung, das Erzeugen von Ereignisinformationen, indem vom Auge reflektiertes Licht durch ein Bildaufnahmeelement mit einer ereignisgetriebenen Funktion empfangen wird, und das Berechnen augenbezogener Positionsinformationen auf der Basis der Ereignisinformationen umfasst.
-
Das Sichtlinien-Detektionsverfahren gemäß der siebten Ausführungsform der vorliegenden Technologie wird mit Verweis auf 10 beschrieben. 10 ist ein Flussdiagramm, das ein Beispiel des Sichtlinien-Detektionsverfahrens gemäß der siebten Ausführungsform der vorliegenden Technologie darstellt.
-
Wie in 10 dargestellt ist, bestimmt im Sichtlinien-Detektionsverfahren gemäß der siebten Ausführungsform der vorliegenden Technologie in Schritt S1 beispielsweise die Bestimmungseinheit 2 gemäß der anderen Ausführungsform einen Zeitpunkt, um das Auge zu beleuchten.
-
Als Nächstes beleuchtet in Schritt S2 beispielsweise die Beleuchtungseinheit 1 gemäß der anderen Ausführungsform das Auge mit einer Vielzahl von Beleuchtungslichtstrahlen auf der Basis eines Ergebnisses der Bestimmung.
-
In Schritt S3 erzeugt als Nächstes beispielsweise das Bildaufnahmeelement 4, das die ereignisgetriebene Funktion aufweist, gemäß der anderen Ausführungsform Ereignisinformationen, indem vom Auge reflektiertes Licht empfangen wird.
-
Als Nächstes berechnet in Schritt S4 beispielsweise die arithmetische Einheit 5 gemäß der anderen Ausführungsform augenbezogene Positionsinformationen auf der Basis der Ereignisinformation.
-
Die oben erwähnten Inhalte des Sichtlinien-Detektionsverfahrens gemäß der siebten Ausführungsform der vorliegenden Technologie können auf andere Ausführungsformen der vorliegenden Technologie angewendet werden, sofern keine technischen Widersprüche erzeugt werden.
-
Es sollte besonders erwähnt werden, dass die Ausführungsformen gemäß der vorliegenden Technologie nicht auf jede der oben erwähnten Ausführungsformen beschränkt sind und verschiedene Modifikationen vorgenommen werden können, ohne vom Geist der vorliegenden Technologie abzuweichen.
-
Außerdem sind die in der vorliegenden Beschreibung beschriebenen Effekte nur beispielhaft und nicht einschränkend und können andere Effekte geliefert werden.
-
Darüber hinaus kann die vorliegende Technologie auch die folgenden Konfigurationen annehmen.
- [1] Eine Sichtlinien-Detektionsvorrichtung, aufweisend:
- eine Beleuchtungseinheit, die ein Auge mit einer Vielzahl von Beleuchtungslichtstrahlen beleuchtet;
- eine Bestimmungseinheit, die einen Zeitpunkt bestimmt, um zu veranlassen, dass die Beleuchtungseinheit das Auge beleuchtet;
- eine Beleuchtungs-Steuerungseinheit, die die Beleuchtungseinheit steuert;
- ein Bildaufnahmeelement, das eine ereignisgetriebene Funktion aufweist; und
- eine arithmetische Einheit, die augenbezogene Positionsinformationen berechnet, worin
- die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis eines Bestimmungsergebnisses der Bestimmungseinheit beleuchtet,
- das Bildaufnahmeelement Ereignisinformationen erzeugt, indem vom Auge reflektiertes Licht empfangen wird, und
- die arithmetische Einheit die augenbezogenen Positionsinformationen auf der Basis der Ereignisinformationen berechnet.
- [2] Die Sichtlinien-Detektionsvorrichtung gemäß [1], worin die Bestimmungseinheit das Bestimmungsergebnis, dass eine Bewegung eines Nutzers stattgefunden hat, auf der Basis der Ereignisinformationen erhält und
die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
- [3] Die Sichtlinien-Detektionsvorrichtung gemäß [2], worin
die Bewegung des Nutzers eine Öffnungs-/Schließbewegung eines Augenlids umfasst und
die Bestimmungseinheit das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat, erhält, falls die Öffnungs-/Schließbewegung des Augenlids ausgeführt wurde.
- [4] Die Sichtlinien-Detektionsvorrichtung gemäß [2] oder [3], worin
die Bewegung des Nutzers eine Änderung der Pupillendurchmessergröße umfasst und
die Bestimmungseinheit das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat, erhält, falls ein Betrag einer Änderung der Pupillendurchmessergröße gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist.
- [5] Die Sichtlinien-Detektionsvorrichtung gemäß einem von [2] bis [4], worin
die Bewegung des Nutzes eine Sakkade umfasst und
die Bestimmungseinheit das Bestimmungsergebnis, dass die Bewegung des Nutzers stattgefunden hat, erhält, falls eine Geschwindigkeit der Sakkade gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist.
- [6] Die Sichtlinien-Detektionsvorrichtung gemäß einem von [1] bis [5], ferner umfassend
eine Umgebungs-Detektionseinheit, die eine Umgebung des Nutzers detektiert, worin
die Bestimmungseinheit das Bestimmungsergebnis, dass sich die Umgebung des Nutzers geändert hat, auf der Basis eines Detektionsergebnisses der Umgebungs-Detektionseinheit erhält und
die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
- [7] Die Sichtlinien-Detektionsvorrichtung gemäß [6], worin
das Bestimmungsergebnis der Umgebungs-Detektionseinheit eine Beleuchtungsstärke enthält und
die Bestimmungseinheit das Bestimmungsergebnis, dass sich die Umgebung des Nutzers geändert hat, erhält, falls ein Betrag einer Änderung der Beleuchtungsstärke gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist.
- [8] Eine Anzeigevorrichtung, zumindest umfassend
eine Sichtlinien-Detektionsvorrichtung gemäß einem von [1] bis [7] .
- [9] Die Anzeigevorrichtung gemäß [8], ferner umfassend
eine Aktions-Detektionseinheit, die eine Aktion eines Nutzers detektiert, worin
die Bestimmungseinheit das Bestimmungsergebnis, dass eine Aktion des Nutzers ausgeführt wurde, auf der Basis eines Detektionsergebnisses der Aktions-Detektionseinheit erhält und
die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
- [10] Die Anzeigevorrichtung gemäß [9], worin
die Aktion des Nutzers beinhaltet, dass die Anzeigevorrichtung an einem Kopf des Nutzers getragen wird, und
die Bestimmungseinheit das Bestimmungsergebnis, dass die Aktion des Nutzers ausgeführt wurde, erhält, falls die Anzeigevorrichtung am Kopf des Nutzers getragen wird.
- [11] Die Anzeigevorrichtung gemäß [9] oder [10], worin
die Aktion des Nutzers beinhaltet, dass eine Bedienung des Nutzers an der Anzeigevorrichtung durchgeführt wurde, und
die Bestimmungseinheit das Bestimmungsergebnis, dass die Aktion des Nutzers ausgeführt wurde, erhält, falls die Bedienung des Nutzers an der Anzeigevorrichtung durchgeführt wird.
- [12] Die Anzeigevorrichtung gemäß einem von [8] bis [11], ferner umfassend
eine Video-Detektionseinheit, die ein mittels der Anzeigevorrichtung angezeigtes Video detektiert, worin
die Bestimmungseinheit das Bestimmungsergebnis, dass sich das Video geändert hat, auf der Basis eines Detektionsergebnisses der Video-Detektionseinheit erhält und
die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis des Bestimmungsergebnisses beleuchtet.
- [13] Die Anzeigevorrichtung gemäß [12], worin
das Detektionsergebnis der Video-Detektionseinheit eine Luminanz des Videos enthält und
die Bestimmungseinheit das Bestimmungsergebnis, dass sich das Video geändert hat, erhält, falls ein Betrag einer Änderung der Luminanz gleich einem vorbestimmten Schwellenwert oder größer als ein solcher ist.
- [14] Ein Sichtlinien-Detektionssystem, umfassend:
- eine Beleuchtungseinheit, die ein Auge mit einer Vielzahl von Beleuchtungslichtstrahlen beleuchtet;
- eine Bestimmungseinheit, die einen Zeitpunkt bestimmt, um zu veranlassen, dass die Beleuchtungseinheit das Auge beleuchtet;
- eine Beleuchtungs-Steuerungseinheit, die die Beleuchtungseinheit steuert;
- ein Bildaufnahmeelement, das eine ereignisgetriebene Funktion aufweist; und
- eine arithmetische Einheit, die augenbezogene Positionsinformationen berechnet, worin
- die Beleuchtungs-Steuerungseinheit veranlasst, dass die Beleuchtungseinheit das Auge auf der Basis eines Bestimmungsergebnisses der Bestimmungseinheit beleuchtet,
- das Bildaufnahmeelement Ereignisinformationen erzeugt, indem vom Auge reflektiertes Licht empfangen wird, und
- die arithmetische Einheit die augenbezogenen Positionsinformationen auf der Basis der Ereignisinformationen berechnet.
- [15] Ein Sichtlinien-Detektionsverfahren, umfassend:
- Bestimmen eines Zeitpunkts, um ein Auge zu beleuchten;
- Beleuchten des Auges mit einer Vielzahl von Beleuchtungslichtstrahlen auf der Basis eines Ergebnisses der Bestimmung;
- Erzeugen von Ereignisinformationen, indem vom Auge reflektiertes Licht empfangen wird, durch ein Bildaufnahmeelement mit einer ereignisgetriebenen Funktion; und
- Berechnen augenbezogener Positionsinformationen auf der Basis der Ereignisinformationen.
-
Bezugszeichenliste
-
- 1
- Beleuchtungseinheit
- 2
- Bestimmungseinheit
- 3
- Beleuchtungs-Steuerungseinheit
- 4
- Bildaufnahmeelement
- 5
- arithmetische Einheit
- 6
- Umgebungs-Detektionseinheit
- 7
- Video-Detektionseinheit
- 20
- Auge
- 21
- Pupille
- 22
- Iris
- 23
- Purkinje-Bild
- 100
- Anzeigevorrichtung
- 101L, 101R
- Lichtquelleneinheit
- 102L, 102R
- optisches Projektionssystem
- 103L, 103R
- HOE
- 104
- Sensor
- 105
- Projektionspositions-Einstellungsmechanismus
- 106L, 106R
- interner Fassungsteil
- 107
- Sichtlinien-Detektionsvorrichtung
- 108L, 108R
- Fassungsteil
- 109L, 109R
- Bügelteil
- 110
- Stegteil
- 111
- Kopfbandteil
- 112
- Steuerungseinheit
- 181
- Bild-Steuerungseinheit
- 182
- Projektionspositions-Steuerungseinheit
- 183
- Sichtlinien-Korrektureinheit
- 184
- Speichereinheit
- 200
- Sichtlinien-Detektionssystem
- S1
- Zeitpunkt bestimmen, um ein Auge zu beleuchten
- S2
- ein Auge mit einer Vielzahl von Beleuchtungslichtstrahlen beleuchten
- S3
- Ereignisinformationen erzeugen
- S4
- augenbezogene Positionsinformationen berechnen
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
