DE112018006367T5

DE112018006367T5 - Informationsverarbeitungseinrichtung, Informationsverarbeitungsverfahren und Programm.

Info

Publication number: DE112018006367T5
Application number: DE112018006367.4T
Authority: DE
Inventors: Yuki Yamamoto
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-12-15
Filing date: 2018-09-26
Publication date: 2020-10-01
Also published as: US20210181836A1; WO2019116675A1

Abstract

Der Zweck der vorliegenden Erfindung ist es, dass die Sichtlinie gemäß Eigenschaften von Einzelpersonen genau geschätzt wird. Es wird eine Informationsverarbeitungseinrichtung bereitgestellt, die mit einer Kalkulationsverarbeitungseinheit zum Ausführen eines Berechnungsprozesses zur Schätzung der Sichtlinie von Benutzern unter Nutzung eines Augapfelmodells versehen ist. Die Kalkulationsverarbeitungseinheit schätzt für jeden der Benutzer dynamisch einen auf das Augapfelmodell bezogenen individuellen Parameter. Der individuelle Parameter enthält Informationen zu einer in einem dreidimensionalen Raum befindlichen relativen Position einer Struktur, die den Augapfel bildet. Es wird auch ein Informationsverarbeitungsverfahren bereitgestellt, das einschließt, dass durch einen Prozessor eine Berechnung zum Schätzen der Sichtlinie der Benutzer unter Nutzung des Augapfelmodells ausgeführt wird, wobei diese Berechnungsausführung ferner einschließt, dass für jeden der Benutzer der auf das Augapfelmodell bezogene individuelle Parameter dynamisch geschätzt wird. Dieser individuelle Parameter enthält Informationen zur in einem dreidimensionalen Raum befindlichen relativen Position der Struktur, die den Augapfel bildet.

Description

Gebiet der Technik
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
Stand der Technik
Seit einigen Jahren wird eine Technik zum Schätzen der Sichtlinie eines Benutzers und zum Nutzen der geschätzten Sichtlinie für verschiedenartige Einsatzzwecke weithin genutzt. Ferner sind bereits etliche Techniken zum Verbessern der Genauigkeit der Sichtlinienerkennung entwickelt worden. Die Patentliteratur 1 offenbart zum Beispiel eine Technik zum Verbessern der Genauigkeit der Erkennung eines Bilds einer Hornhautreflexion auf einer Hornhaut bei der Sichtlinienschätzung unter Nutzung eines Hornhautreflexionsverfahrens.
Liste der Anführungen
Patentliteratur
Patentliteratur 1: japanische Offenlegungsschrift Nr. 2016-106668
Kurze Darstellung der Erfindung
Technische Aufgabe
Wenn eine Sichtlinienschätzung unter Nutzung eines Augapfelmodells wie des Hornhautreflexionsverfahrens durchgeführt wird, ist es wichtig, dass ein Augapfelmodell, das einer für einen Benutzer eindeutigen Augapfelstruktur stark ähnelt, genutzt wird, um ein Ergebnis einer Sichtlinienschätzung mit hoher Genauigkeit zu erhalten. Bei der Technik, die in der Patentliteratur 1 beschrieben wird, wird die Sichtlinienschätzung jedoch unter Nutzung eines vorab festgelegten Augapfelmodells durchgeführt, sodass in manchen Fällen das Verfahren mit einem neuen Benutzer möglicherweise schwierig ist.
Deshalb in der vorliegenden Offenbarung eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm, die neu, modifiziert und zum Realisieren einer Sichtlinienschätzung mit hoher Genauigkeit gemäß einer individuellen Eigenschaft ausgelegt sind.
Technische Lösung
Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die Folgendes enthält: eine Arithmetikverarbeitungseinheit, die eine auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogene Arithmetikverarbeitung durchführt, wobei die Arithmetikverarbeitungseinheit einen auf das Augapfelmodell bezogenen individuellen Parameter für jeden von mehreren Benutzern dynamisch schätzt und der individuelle Parameter Informationen zu einer relativen Position einer Struktur, die einen Augapfel bildet, in einem dreidimensionalen Raum enthält.
Außerdem wird gemäß der vorliegenden Offenbarung ein Informationsverarbeitungsverfahren bereitgestellt, das Folgendes enthält: Durchführen einer auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogenen Arithmetikverarbeitung durch einen Prozessor, wobei das Durchführen der Arithmetikverarbeitung dynamisches Schätzen eines auf das Augapfelmodell bezogenen individuellen Parameters für jeden von mehreren Benutzern enthält und der individuelle Parameter Informationen zu einer relativen Position einer Struktur, die einen Augapfel bildet, in einem dreidimensionalen Raum enthält.
Außerdem wird gemäß der vorliegenden Offenbarung ein Programm bereitgestellt, das bewirkt, dass ein Computer als eine Informationsverarbeitungsvorrichtung fungiert, die Folgendes enthält: eine Arithmetikverarbeitungseinheit, die eine auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogene Arithmetikverarbeitung durchführt, wobei die Arithmetikverarbeitungseinheit einen auf das Augapfelmodell bezogenen individuellen Parameter für jeden von mehreren Benutzern dynamisch schätzt und der individuelle Parameter Informationen zu einer relativen Position einer Struktur, die einen Augapfel bildet, in einem dreidimensionalen Raum enthält.
Vorteilhafte Wirkungen der Erfindung
Wie oben beschrieben, ist es gemäß der vorliegenden Offenbarung möglich, eine Sichtlinienschätzung mit hoher Genauigkeit gemäß einer individuellen Eigenschaft zu realisieren.
Die oben beschriebenen Wirkungen unterliegen keinen Beschränkungen, vielmehr können in Verbindung mit den obigen Wirkungen oder an ihrer Stelle jegliche der Wirkungen, die in dieser Patentbeschreibung beschrieben werden, oder noch andere Wirkungen, die aus dieser Patentbeschreibung hervorgehen, erzielt werden.
Figurenliste

1 ist ein Diagramm zum Erläutern eines Ablaufs einer Sichtlinienschätzung unter Nutzung eines Hornhautreflexionsverfahrens.
2 ist ein Diagramm zum Erläutern von Faktoren zur Verringerung der Sichtlinienschätzungsgenauigkeit bei dem Hornhautreflexionsverfahren.
3 ist ein Diagramm, das eine beispielhafte Anordnung von Hardware in einem Fall, in dem eine Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung ein Wearable ist, veranschaulicht.
4 ist eine schematische Seitenansicht, die eine Positionsbeziehung zwischen einem Augapfel eines Benutzers und der Informationsverarbeitungsvorrichtung in einem Fall, in dem die Informationsverarbeitungsvorrichtung gemäß der Ausführungsform am Kopf des Benutzers getragen wird, veranschaulicht.
5 ist ein Blockdiagramm, das eine beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung gemäß der Ausführungsform veranschaulicht.
6 ist ein Diagramm, das eine beispielhafte Verringerung der Sichtlinienschätzungsgenauigkeit aufgrund eines individuellen Unterschieds einer Augapfelstruktur veranschaulicht.
7 ist ein Diagramm zum Erläutern einer Minimierung einer Fehlervarianz in einem Zielkoordinatensystem gemäß einer Ausführungsform der vorliegenden Offenbarung.
8 ist ein Diagramm zum Erläutern einer Wirkung der Sichtlinienschätzung unter Nutzung eines individuellen Parameters, der durch ein Vollsuchverfahren gemäß der Ausführungsform geschätzt wird.
9 ist ein Diagramm zum Erläutern einer Kalkulation eines Hornhaut-Pupille-Abstands d durch eine geschlossene Lösung gemäß der Ausführungsform.

10 ist ein Diagramm, das einen Grad eines Einflusses des Faktors zur Verringerung der Sichtlinienschätzungsgenauigkeit, wenn die Schätzung eines individuellen Parameters gemäß der Ausführungsform und eine Kalibrierung durchgeführt werden, veranschaulicht.
11 ist ein Ablaufschema, das einen Ablauf eines Sichtlinienschätzprozesses gemäß der Ausführungsform veranschaulicht.
12 ist ein Ablaufschema, das einen Ablauf einer Schätzung eines individuellen Parameters unter Nutzung einer Vielzahl von Zielpunkten gemäß der Ausführungsform veranschaulicht.
13 ist ein Ablaufschema, das einen Ablauf einer Schätzung eines individuellen Parameters unter Nutzung der geschlossenen Lösung gemäß der Ausführungsform veranschaulicht.
14 ist ein Diagramm, das eine beispielhafte Hardwarekonfiguration gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.

Beschreibung der Ausführungsformen
Unten werden bevorzugte Ausführungsformen der vorliegenden Offenbarung mit Bezug auf die beiliegenden Zeichnungen ausführlich beschrieben. In dieser Patentbeschreibung und den Zeichnungen sind Strukturelemente, die im Wesentlichen dieselben Funktionen und Konfigurationen aufweisen, mit denselben Bezugszeichen versehen, und die Strukturelemente werden nicht mehrmals erläutert.
Darüber hinaus wird bei der nachfolgenden Erläuterung diese Reihenfolge eingehalten.

1. Ausführungsform
- 1.1. Überblick
- 1.2. Beispielhafte Anordnung von zu einer Informationsverarbeitungsvorrichtung 10 gehörender Hardware
- 1.3. Beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10
- 1.4. Details der Sichtlinienschätzung
- 1.5. Ablauf von Prozessen
2. Beispielhafte Hardwarekonfiguration
3. Schlussbemerkungen

<Ausführungsform>
«Überblick»
Unten wird ein beispielhafter Ablauf einer Sichtlinienschätzung unter Nutzung eines Hornhautreflexionsverfahrens beschrieben. Das Hornhautreflexionsverfahren (auch als Pupille-HornhautReflexionsverfahren bezeichnet) ist ein Verfahren zum Applizieren von Licht von einer Lichtquelle auf einen Augapfel eines Benutzers und zum Erkennen von reflektiertem Licht und einer Position einer Pupille auf einer Hornhautoberfläche, um dadurch die Richtung der Sichtlinie eines Benutzers zu schätzen.
1 ist ein Diagramm zum Erläutern des Ablaufs der Sichtlinienschätzung unter Nutzung des Hornhautreflexionsverfahrens. Wie in 1 unten links veranschaulicht, appliziert eine Informationsverarbeitungsvorrichtung, die die Sichtlinienschätzung unter Nutzung des Hornhautreflexionsverfahrens durchführt, zunächst Licht von einer Lichtquelle 103 auf einen Augapfel E eines Benutzers und bewirkt, dass eine Abbildungseinheit 104 ein Bild, das ein Hornhautreflexionsbild (auch als Purkinjebild oder heller Punkt bezeichnet) auf einer Hornhautoberfläche enthält, aufnimmt.
In 1 oben links ist ein Augapfelbild I veranschaulicht, das durch die oben beschriebene Vorgehensweise erhalten wird. Anschließend erkennt die Informationsverarbeitungsvorrichtung im Augapfelbild I durch eine Bildverarbeitung eine Pupille PU und einen hellen Punkt s. In diesem Fall kann die Informationsverarbeitungsvorrichtung die Pupille PU und den hellen Punkt s unter Nutzung eines statistischen Verfahrens, etwa durch maschinelles Lernen, erkennen.
Danach kalkuliert die Informationsverarbeitungsvorrichtung unter Nutzung der erkannten Pupille PU, des erkannten hellen Punkts s und eines dreidimensionalen Augapfelmodells (nachstehend auch einfach als Augapfelmodell bezeichnet) einen Vektor der Sichtlinie des Benutzers. Auf der rechten Seite in 1 ist eine Sichtlinienvektorkalkulation, bei der das Augapfelmodell genutzt wird, überblicksartig veranschaulicht.
Die Informationsverarbeitungsvorrichtung schätzt zum Beispiel eine dreidimensionale Position eines Hornhautkrümmungsmittelpunkts c, der mit dem Mittelpunkt einer Hornhaut korrespondiert, wenn davon ausgegangen wird, dass die Hornhaut eine sphärische Struktur ist, basierend auf einer Position des erkannten hellen Punkts und einer Position der Lichtquelle 103. In diesem Fall kann die Informationsverarbeitungsvorrichtung die dreidimensionale Position des Hornhautkrümmungsmittelpunkts c unter Nutzung eines Hornhautkrümmungsradius r, bei dem es sich um einen von auf das Augapfelmodell bezogenen Parametern (im Folgenden auch als Augapfelparameter bezeichnet) handelt, erhalten.
Anschließend schätzt die Informationsverarbeitungsvorrichtung eine dreidimensionale Position eines Pupillenmittelpunkts p basierend auf der dreidimensionalen Position des Hornhautkrümmungsmittelpunkts c und einem Hornhaut-Pupille-Abstand d, bei dem es sich um einen der Augapfelparameter handelt. Beim Hornhaut-Pupille-Abstand d handelt es sich um einen Augapfelparameter, der den Abstand zwischen dem Pupillenmittelpunkt p und dem Hornhautkrümmungsmittelpunkt c angibt.
Danach schätzt die Informationsverarbeitungsvorrichtung eine Optikachse aus dem Hornhautkrümmungsmittelpunkt c und dem Pupillenmittelpunkt p, die durch die oben beschriebenen Vorgehensweisen geschätzt werden. Die Informationsverarbeitungsvorrichtung schätzt als Optikachse zum Beispiel eine gerade Linie, die den Hornhautkrümmungsmittelpunkt c und den Pupillenmittelpunkt p verbindet, und schätzt als Optikachsenvektor OA einen Vektor, der vom Hornhautkrümmungsmittelpunkt c durch den Pupillenmittelpunkt p verläuft. Der Optikachsenvektor OA wird beim Hornhautreflexionsverfahren als eine Richtung der Sichtlinie des Benutzers erkannt.
Jedoch weichen der Optikachsenvektor OA, der so wie oben beschrieben geschätzt wird, und die tatsächliche Richtung der Sichtlinie des Benutzers (ein Sichtlinienvektor VA) voneinander ab. Denn der Blickpunkt (Zielpunkt M), auf den der Benutzer tatsächlich blickt, liegt auf einer visuellen Achse, die eine Fovea centralis f und den Hornhautkrümmungsmittelpunkt c verbindet, und gewöhnlich ist mit einer Differenz (Abweichung) von etwa 4° bis 8° zwischen dem Optikachsenvektor OA und dem Sichtlinienvektor VA zu rechnen. Deshalb ist es bei der Sichtlinienschätzung unter Nutzung des Hornhautreflexionsverfahrens üblich, eine Kalibrierung zum Korrigieren von Abweichungen zwischen dem Optikachsenvektor OA und dem Sichtlinienvektor VA durchzuführen, um die Genauigkeit der Sichtlinienschätzung zu verbessern.
Bei der obigen Erläuterung anhand von 1 wurde ein Beispiel beschrieben, in dem der Informationsverarbeitungsvorrichtung der Vektor, der den Pupillenmittelpunkt p und den Hornhautkrümmungsmittelpunkt c verbindet, als Schätzungsergebnis dient, jedoch kann der Informationsverarbeitungsvorrichtung zum Beispiel auch ein Vektor, der den Hornhautkrümmungsmittelpunkt c und einen Augapfelmittelpunkt O (Rotationsmittelpunkt) verbindet, als Schätzungsergebnis dienen.
Ferner ist bekannt, dass bei der Sichtlinienschätzung unter Nutzung des Hornhautreflexionsverfahrens verschiedene Faktoren zu einer Verringerung der Sichtlinienschätzungsgenauigkeit führen. 2 ist ein Diagramm zum Erläutern von Faktoren zur Verringerung der Sichtlinienschätzungsgenauigkeit bei dem Hornhautreflexionsverfahren. In 2 repräsentiert eine Abszissenachse die Faktoren zur Verringerung der Sichtlinienschätzungsgenauigkeit, und eine Ordinatenachse repräsentiert den Betrag eines Winkelfehlers, der aufgrund eines jeglichen der Faktoren auftritt.
Die Faktoren zur Verringerung mit Bezug auf 2 werden überwiegend nach drei Arten klassifiziert. Mit anderen Worten, die Faktoren enthalten einen Erkennungsfehler aufgrund einer Bildverarbeitung, die eine Pupillenerkennung und eine Erkennung heller Punkte enthält, einen Fehler des Augapfelparameters, der den Hornhaut-Pupille-Abstand und den Hornhautkrümmungsradius enthält, und einen Fehler aufgrund einer Hardwareeinbauposition, die eine LED-Position, eine Kameraposition und eine Kameralage enthält.
Ferner wird mit Bezug auf 2 in den oben beschriebenen zwei Arten von Faktoren zur Verringerung angegeben, dass der Fehler des Augapfelparameters, der den Hornhaut-Pupille-Abstand enthält, den höchsten Einflussgrad aufweist. Der Fehler aufgrund des Augapfelparameters, wie oben beschrieben, ist auf einen Unterschied zwischen einer Augapfelstruktur des Benutzers und einem bei der Sichtlinienschätzung genutzten Augapfelmodell zurückführbar. Es ist allgemein, dass die Augapfelstrukturen von Menschen unterschiedlich sind und der Hornhaut-Pupille-Abstand und der Hornhautkrümmungsradius von Benutzer zu Benutzer variieren. Wenn die Sichtlinienschätzung zum Beispiel unter Nutzung eines gewöhnlichen Augapfelmodells durchgeführt wird, kann deshalb die tatsächliche Augapfelstruktur eines bestimmten Benutzers von dem gewöhnlichen Augapfelmodell stark abweichen, und die Sichtlinienschätzungsgenauigkeit kann sich dadurch letztlich verringern.
Der technische Ansatz gemäß einer Ausführungsform der vorliegenden Offenbarung berücksichtigt den vorhergehenden Aspekt und ermöglicht die Realisierung einer Sichtlinienschätzung mit hoher Genauigkeit gemäß einer individuellen Eigenschaft. Deshalb dient eines der Merkmale der Informationsverarbeitungsvorrichtung, des Informationsverarbeitungsverfahrens und des Programms gemäß einer Ausführungsform der vorliegenden Offenbarung dazu, einen auf ein Augapfelmodell bezogenen individuellen Parameter für jeden von mehreren Benutzern dynamisch zu schätzen. Ferner handelt es sich bei dem oben beschriebenen individuellen Parameter um einen Augapfelparameter, der für einen Benutzer eindeutig und auf das Augapfelmodell bezogen ist, und er kann Informationen zu einer relativen Position einer Struktur eines Augapfels in einem dreidimensionalen Raum enthalten.
Mit dem Merkmal der Informationsverarbeitungsvorrichtung, des Informationsverarbeitungsverfahrens und des Programms gemäß einer Ausführungsform der vorliegenden Offenbarung, wie oben beschrieben, ist es möglich, die Sichtlinienschätzung unter Nutzung eines hochgenauen Augapfelmodells für jeden von mehreren Benutzern durchzuführen, sodass es möglich ist, die Genauigkeit der Sichtlinienschätzung zu verbessern.
Das oben beschriebene Merkmal der Informationsverarbeitungsvorrichtung, des Informationsverarbeitungsverfahrens und des Programms gemäß der Ausführungsform und die Wirkungen, die durch das Merkmal erzielt werden, werden unten ausführlich beschrieben.
«Beispielhafte Anordnung von zu einer Informationsverarbeitungsvorrichtung 10 gehörender Hardware»
Unten wird eine beispielhafte Anordnung von Hardware einer Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform der vorliegenden Offenbarung beschrieben. Die Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform ist zum Beispiel möglicherweise ein Head Mounted Display, das am Kopf eines Benutzers getragen wird, oder ein brillenartiges Wearable. 3 ist ein Diagramm, das eine beispielhafte Hardware-Anordnung in einem Fall, in dem die Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform ein Wearable ist, veranschaulicht. Ferner ist 4 eine schematische Seitenansicht, die eine Positionsbeziehung zwischen einem Augapfel E eines Benutzers und der Informationsverarbeitungsvorrichtung 10 in einem Fall, in dem die Informationsverarbeitungsvorrichtung 10 am Kopf des Benutzers getragen wird, veranschaulicht.
3 veranschaulicht eine Konfiguration der Informationsverarbeitungsvorrichtung 10, die von einer den Augen des Benutzers zugewandten Seite betrachtet wird. Die Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform mit Bezug auf 3 enthält ein Display 102R und ein Display 102L an Positionen, die mit dem rechten Auge bzw. dem linken Auge des Benutzers korrespondieren. Wie in 3 veranschaulicht, können die Displays 102R und 102L gemäß der Ausführungsform annähernd rechteckförmig ausgebildet sein. Ferner kann in einem Körper 101 zwischen den Displays 102R und 102L ein vertiefter Abschnitt 101a, an dem sich die Nase des Benutzers befindet, ausgebildet sein.
Die Displays 102R und 102L gemäß der Ausführungsform sind zum Beispiel möglicherweise Flüssigkristallanzeigen, OLED-Anzeigen oder Linsen, auf denen Informationen durch eine Projektionseinrichtung angezeigt werden.
Ungefähr jeweils in der Mitte der vier Seiten um das Display 102R herum sind vier Lichtquellen 103Ra bis 103Rd angeordnet. Ebenso sind jeweils ungefähr in der Mitte der vier Seiten um das Display 102L herum vier Lichtquellen 103La bis 103Ld angeordnet. Bei den Lichtquellen 103Ra bis 103Rd und 103La bis 103d gemäß der Ausführungsform handelt es sich zum Beispiel möglicherweise um Infrarot-Leuchtdioden (IR-LEDs), die Infrarotlicht emittieren. Die Lichtquellen 103Ra bis 103Rd und 103La bis 103d emittieren Infrarotlicht zum gegenüberliegenden rechten Auge bzw. zum gegenüberliegenden linken Auge des Benutzers.
Die Lichtquellen 103Ra bis 103Rd und 103La bis 103d gemäß der Ausführungsform müssen jedoch nicht immer IR-LEDs sein, sondern können auch Lichtquellen sein, die Licht mit einer zum Erkennen des hellen Punkts geeigneten Wellenlänge emittieren.
Ferner sind Abbildungseinheiten 104R und 104L, die Bilder von den Augäpfeln E des Benutzers aufnehmen, in den Umgebungsbereichen der Displays 102R und 102L angeordnet. Die Abbildungseinheiten 104R und 104L sind zum Beispiel unterhalb der Displays 102R und 102L (unterhalb der Lichtquellen 103Rc und 103Lc) angeordnet, wie in 3 veranschaulicht.
Ferner sind die Abbildungseinheiten 104R und 104L, wie in 4 veranschaulicht, so angeordnet, dass mindestens die Pupillen PU der Augäpfel E, die aufgenommen werden sollen, in den Abbildungsbereichen enthalten sind. Die Abbildungseinheiten 104R und 104L können zum Beispiel in einem vorher festgelegten Elevationswinkel 9 angeordnet sein. Der Elevationswinkel 9 beträgt zum Beispiel möglicherweise 30°.
Die Informationsverarbeitungsvorrichtung 10 ist so konfiguriert, dass die Displays 102R und 102L, wenn die Informationsverarbeitungsvorrichtung am Körper des Benutzers getragen wird, um einen vorher festgelegten Abstand von den Augäpfeln E des Benutzers entfernt sind. Mit dieser Konfiguration ist der Benutzer, der die Informationsverarbeitungsvorrichtung 10 trägt, in der Lage, Anzeigeregionen der Displays 102R und 102L im Gesichtsfeld des Benutzers zu sehen, ohne sich dabei unbehaglich zu fühlen. In diesem Fall kann der Abstand zwischen jedem der Displays 102R und 102L und den Augäpfeln E des Benutzers bestimmt werden, sodass sogar dann, wenn der Benutzer eine Brille G trägt, die Informationsverarbeitungsvorrichtung 10 über der Brille G in einer übereinandergesetzten Weise getragen werden kann. Die Abbildungseinheiten 104R und 104L sind so angeordnet, dass die Pupillen PU der Augäpfel E des Benutzers in den Abbildungsbereichen im oben beschriebenen Zustand enthalten sind.
Oben ist hiermit die beispielhafte Anordnung der Hardware der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform beschrieben worden. In dem oben beschriebenen Beispiel ist die Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform als ein am Kopf des Benutzers zu tragendes Wearable implementiert, jedoch ist die Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform nicht auf dieses Beispiel begrenzt. Die Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform kann ein Server, ein Universalcomputer, ein Smartphone, ein Tablet oder dergleichen für die Durchführung einer Arithmetikverarbeitung basierend auf einem aufgenommenen Bild sein. Bei der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform handelt es sich möglicherweise um verschiedene Vorrichtungen, die eine auf eine Sichtlinienschätzung bezogene Arithmetikverarbeitung durchführen.
«Beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10»
Als Nächstes wird eine beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform beschrieben. 5 ist ein Blockdiagramm, das die beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform veranschaulicht. Die Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform mit Bezug auf 5 enthält eine Beleuchtungseinheit 110, eine Bilderfassungseinheit 120, eine Arithmetikverarbeitungseinheit 130, eine Anzeigeeinheit 140 und eine Speichereinheit 150.
(Beleuchtungseinheit 110)
Die Beleuchtungseinheit 110 gemäß der Ausführungsform hat die Funktion, Licht an die Augäpfel E des Benutzers, der die Informationsverarbeitungsvorrichtung 10 trägt, zu emittieren. Hierzu enthält die Beleuchtungseinheit 110 gemäß der Ausführungsform die Lichtquelle 103, die oben mit Bezug auf 3 beschrieben worden ist. Die Beleuchtungseinheit 110 kann Licht basierend auf einer durch die Arithmetikverarbeitungseinheit 130 durchgeführten Steuerung emittieren.
(Bilderfassungseinheit 120)
Die Bilderfassungseinheit 120 gemäß der Ausführungsform nimmt Bilder von den Augäpfeln E des Benutzers, der die Informationsverarbeitungsvorrichtung 10 trägt, auf. Genauer erfasst die Bilderfassungseinheit 120 Bilder von den Augäpfeln E, die die hellen Punkte auf der jeweiligen Hornhaut des Benutzers enthalten. Hierzu enthält die Bilderfassungseinheit 120 gemäß der Ausführungsform die Abbildungseinheit 104, die oben mit Bezug auf 3 beschrieben worden ist. Die Bilderfassungseinheit 120 kann die Bilder von den Augäpfeln E basierend auf einer durch die Arithmetikverarbeitungseinheit 130 durchgeführten Steuerung aufnehmen.
(Arithmetikverarbeitungseinheit 130)
Die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform hat die Funktion, eine auf die Sichtlinienschätzung für den Benutzer unter Nutzung des dreidimensionalen Augapfelmodells bezogene Arithmetikverarbeitung durchzuführen. Ferner kann die Arithmetikverarbeitungseinheit 130 als eine Steuereinheit, die jede der in der Informationsverarbeitungsvorrichtung 10 enthaltenen Komponenten steuert, fungieren. Mit der Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform ist es möglich, eine Sichtlinienschätzung mit hoher Genauigkeit zu realisieren, indem ein auf das Augapfelmodell bezogener individueller Parameter für jeden von mehreren Benutzern geschätzt wird. Dabei gibt der individuelle Parameter gemäß der Ausführungsform einen Augapfelparameter an, der für den Benutzer eindeutig ist und von einer Eigenschaft einer Augapfelstruktur abhängt. Die Funktionen der Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform werden später noch ausführlich beschrieben.
(Anzeigeeinheit 140)
Die Anzeigeeinheit 140 gemäß der Ausführungsform hat die Funktion, visuelle Informationen anzuzeigen. Die Anzeigeeinheit 140 zeigt zum Beispiel möglicherweise visuelle Informationen an, die mit der durch die Arithmetikverarbeitungseinheit 130 geschätzten Sichtlinie eines Benutzers korrespondieren. Ferner zeigt die Anzeigeeinheit 140 gemäß der Ausführungsform einen Zielpunkt, bei dem es sich um ein Ziel, auf das der Benutzer blickt, handelt, basierend auf einer durch die Arithmetikverarbeitungseinheit 130 durchgeführten Steuerung an. Die Anzeigeeinheit 140 gemäß der Ausführungsform enthält die Anzeige 102, die oben mit Bezug auf 3 beschrieben worden ist.
(Speichereinheit 150)
Die Speichereinheit 150 gemäß der Ausführungsform speichert verschiedenartige Informationen, die für die Sichtlinienschätzung durch die Arithmetikverarbeitungseinheit 130 genutzt werden. Die Speichereinheit 150 speichert zum Beispiel die Augapfelparameter (individuelle Parameter) wie den Hornhaut-Pupille-Abstand und den Hornhautkrümmungsradius, die durch die Arithmetikverarbeitungseinheit 130 geschätzt werden, verschiedene Programme, Kalkulationsergebnisse und dergleichen.
Oben ist hiermit die Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform beschrieben worden. Die Konfiguration, wie oben mit Bezug auf 5 beschrieben, ist lediglich ein Beispiel, denn die Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform ist nicht auf dieses Beispiel begrenzt. Zum Beispiel muss die Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform die Beleuchtungseinheit 110, die Bilderfassungseinheit 120, die Anzeigeeinheit 140 oder dergleichen nicht enthalten. Wie oben beschrieben, handelt es sich bei der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform möglicherweise um einen Server, der eine auf die Sichtlinienschätzung bezogene Arithmetikverarbeitung basierend auf einem durch eine andere Einrichtung wie etwa ein Wearable aufgenommenen Bild durchführt. Die Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform kann abhängig von Spezifikationen oder vom Betrieb flexibel verändert werden.
«Details der Sichtlinienschätzung»
Unten werden Details der durch die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform durchgeführten Sichtlinienschätzung beschrieben. Wie oben mit Bezug auf 2 beschrieben worden ist, können bei der Sichtlinienschätzung unter Nutzung des Hornhautreflexionsverfahrens individuelle Unterschiede, die auf die Augapfelparameter wie den Hornhaut-Pupille-Abstand und den Hornhautkrümmungsradius bezogen sind, zu Faktoren werden, die erheblich zur Verringerung der Sichtlinienschätzungsgenauigkeit beitragen.
Unten wird eine beispielhafte Verringerung der Sichtlinienschätzungsgenauigkeit aufgrund des individuellen Unterschieds der Augapfelstruktur beschrieben. 6 ist ein Diagramm, das eine beispielhafte Verringerung der Sichtlinienschätzungsgenauigkeit aufgrund des individuellen Unterschieds der Augapfelstruktur veranschaulicht. Im oberen Teil von 6 stimmt eine Positionsbeziehung zwischen einem Zielpunkt M und einer geschätzten Blickpunktposition ep überein, wenn die Augapfelstruktur des Benutzers mit einem gebräuchlichen Augapfelmodell übereinstimmt und die Sichtlinienschätzung unter Nutzung des gebräuchlichen Augapfelmodells durchgeführt wird. Im unteren Teil von 6 stimmt ferner eine Positionsbeziehung zwischen dem Zielpunkt M und der geschätzten Blickpunktposition ep überein, wenn die Augapfelstruktur des Benutzers nicht mit dem gebräuchlichen Augapfelmodell übereinstimmt und die Sichtlinienschätzung unter Nutzung des gebräuchlichen Augapfelmodells durchgeführt wird. Sowohl im oberen als auch im unteren Teil von 6 werden von links nach rechts eine Positionsbeziehung, die erhalten wird, wenn der Benutzer durchgehend in eine horizontale Richtung blickt, eine Positionsbeziehung, die erhalten wird, wenn der Benutzer durchgehend in eine Richtung nach oben blickt, eine Positionsbeziehung, die erhalten wird, wenn der Benutzer durchgehend in eine Richtung nach unten blickt, und ein Fehler, der erhalten wird, indem eine Normierung unter Nutzung einer Zielkoordinate durchgeführt wird, veranschaulicht.
Hierbei wird von einem Hornhautkrümmungsradius r von 7,7 mm und einem Hornhaut-Pupille-Abstand d von 4,5 mm bei dem oben beschriebenen gebräuchlichen Augapfelmodell ausgegangen. Ferner handelt es sich beim Zielpunkt M um eine visuelle Information, die bei der Kalibrierung als Punkt, auf den der Benutzer blickt, auf der Anzeigeeinheit 140 angezeigt wird. Zur Vereinfachung der Erläuterung veranschaulicht 6 schematisch einen Fall, in dem davon ausgegangen wird, dass kein Unterschied (keine Abweichung) zwischen der Optikachse und einer visuellen Achse vorliegt.
Wird das Augenmerk auf den oberen Teil von 6 gerichtet und sind der Hornhautkrümmungsradius r und der Hornhaut-Pupille-Abstand d des Benutzers so wie in dem gebräuchlichen Augapfelmodell, stimmt auch dann, wenn der Benutzer auf den in einer beliebigen Richtung angezeigten Zielpunkt M blickt, die geschätzte Blickpunktposition ep mit dem Zielpunkt M überein. Wenn das Augapfelmodell mit der Augapfelstruktur des Benutzers übereinstimmt, kann eine Sichtlinienschätzung mit hoher Genauigkeit realisiert werden.
Wird das Augenmerk hingegen auf den unteren Teil von 6 gerichtet und ist der Hornhaut-Pupille-Abstand d (4,0 mm) anders als in dem Augapfelmodell, wird dadurch angegeben, dass ein großer Fehler an der geschätzten Blickpunktposition ep auftritt, wenn der Benutzer auf den Zielpunkt M blickt, etwa einen oberen oder einen unteren Teil, für den eine Winkeldifferenz mit Bezug auf eine Richtung nach vorne vorliegt. Wenn der auf das Augapfelmodell bezogene Augapfelparameter wie etwa der Hornhaut-Pupille-Abstand d oder der Hornhautkrümmungsradius r von der Augapfelstruktur des Benutzers abweicht, wird ein Fehler zwischen dem Zielpunkt M und der geschätzten Blickpunktposition ep dadurch größer, und die Sichtlinienschätzungsgenauigkeit wird stark verringert.
Hierzu realisiert die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform die Sichtlinienschätzung mit hoher Genauigkeit, indem sie den für den Benutzer eindeutigen Augapfelparameter (einen individuellen Parameter) für jeden Benutzer dynamisch schätzt. Mit anderen Worten, die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform kann die Faktoren zur Verringerung mit dem größten Einfluss auf die Verringerung der Sichtlinienschätzungsgenauigkeit eliminieren, indem sie die Sichtlinienschätzung unter Nutzung eines eindeutigen und zu einer Eigenschaft der Augapfelstruktur jedes von mehreren Benutzern passenden Augapfelmodells durchführt.
Der individuelle Parameter als eines der Merkmale des individuellen Parameters, der durch die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform geschätzt wird, enthält Informationen zu einer relativen Position einer Struktur, die den Augapfel bildet, in einem dreidimensionalen Raum. Hierbei enthält die oben beschriebene Struktur zwei sphärische Strukturen und eine Pupille. Ferner enthalten die zwei sphärischen Strukturen eine Hornhaut und einen Augapfelkörper, der ein Corpus vitreum enthält.
Die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform schätzt als individuellen Parameter zum Beispiel möglicherweise den Hornhaut-Pupille-Abstand d, bei dem es sich um eine Differenz zwischen dem Pupillenmittelpunkt p und dem Hornhautkrümmungsmittelpunkt c, also einem Mittelpunkt einer Hornhaut, handelt, wenn davon ausgegangen wird, dass die Hornhaut eine sphärische Struktur ist, und schätzt die Sichtlinie eines Benutzers unter Nutzung des Hornhaut-Pupille-Abstands d.
Wenn ferner zum Beispiel ein Vektor, der den Hornhautkrümmungsmittelpunkt c und einen Augapfelmittelpunkt O, also den Mittelpunkt des Augapfelkörpers, verbindet, als Schätzungsergebnis dient, kann die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform einen Abstand zwischen dem Hornhautkrümmungsmittelpunkt c und dem Augapfelmittelpunkt O als individuellen Parameter schätzen.
Im Folgenden wird die Erläuterung anhand des Beispiels fortgesetzt, in dem die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform den Hornhaut-Pupille-Abstand d als individuellen Parameter schätzt. Die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform ist in der Lage, einen Optikachsenvektor durch Schätzen einer Position des Pupillenmittelpunkts in einem dreidimensionalen Raum unter Nutzung des geschätzten Hornhaut-Pupille-Abstands d zu kalkulieren.
In diesem Fall kann die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform den Hornhaut-Pupille-Abstand d oder den Hornhautkrümmungsradius, der einen Fehler zwischen dem Zielpunkt M, auf den der Benutzer blickt, und der visuellen Achse oder der Optikachse minimiert, kalkulieren. Hierbei kann der oben beschriebene Fehler ein Abstand oder ein Winkel zwischen einem Vektor, der vom Hornhautkrümmungsmittelpunkt c zum Zielpunkt verläuft, und dem Sichtlinienvektor oder dem Optikachsenvektor sein.
Die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform kalkuliert zum Beispiel den Hornhaut-Pupille-Abstand, der den oben beschriebenen Fehler minimiert, basierend auf einem Vektor, der vom Hornhautkrümmungsmittelpunkt c zum Zielpunkt M verläuft, und einem Vektor, der vom Hornhautkrümmungsmittelpunkt c zum Pupillenmittelpunkt p verläuft.
In diesem Fall ist die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform in der Lage, den Hornhaut-Pupille-Abstand d und den Hornhautkrümmungsradius r, bei denen sich um individuelle Parameter, die für den Benutzer eindeutig sind, handelt, zum Beispiel durch Formulieren eines Problems mit einer Minimierung der Fehlervarianz im Zielkoordinatensystem und Erhalten einer Lösung zu schätzen.
7 ist ein Diagramm zum Erläutern einer Minimierung der Fehlervarianz im Zielkoordinatensystem gemäß der Ausführungsform. 7 veranschaulicht ein Diagramm, in dem ein Fehler zwischen dem Zielpunkt M und der geschätzten Blickpunktposition ep im Zielkoordinatensystem normiert wird.
In diesem Fall erhält die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform durch ein Vollsuchverfahren einen Greedy-Algorithmus oder dergleichen, den Hornhautkrümmungsradius r und den Hornhaut-Pupille-Abstand d, die einen Vektor V_err (hinzugefügt mit einem Pfeil nach rechts über V), also eine Differenz zwischen einem Vektor V_target _n (hinzugefügt mit einem Pfeil nach rechts über V), der zum Zielpunkt M, auf den der Benutzer blickt, verläuft, und einem Vektor V_opt _n (hinzugefügt mit einem Pfeil nach rechts über V), der zur geschätzten Blickpunktposition ep verläuft, minimieren.
Die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform ist in der Lage, den Hornhautkrümmungsradius r und den Hornhaut-Pupille-Abstand d, die den Fehler zum Beispiel durch den Ausdruck (1) unten minimieren, zu erhalten.
$\begin{array}{l} \underset{r, d}{arg min} \sum_{n} {({\bar{V}}_{e r r n} - {\bar{V}}_{e r r m e a n})}^{2} \\ {\bar{V}}_{e r r n} = \frac{V_{o p t n}}{| {\vec{V}}_{o p t n} |} - \frac{ {\vec{V}}_{t a r g e t n}}{| {\vec{V}}_{t a r g e t n} |} \end{array}$
Dadurch, dass die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform den Hornhaut-Pupille-Abstand d und den Hornhautkrümmungsradius r für jeden von mehreren Benutzern kalkuliert, ist es möglich, ein zur Augapfelstruktur des Benutzers passendes Augapfelmodell zu erzeugen und eine Sichtlinienschätzung mit hoher Genauigkeit zu realisieren.
8 ist ein Diagramm zum Erläutern einer Wirkung der Sichtlinienschätzung unter Nutzung des individuellen Parameters, der durch das Vollsuchverfahren gemäß der Ausführungsform geschätzt wird. Eine Abszissenachse in 8 repräsentiert einen Fehler zwischen einem Vektor, der zum Zielpunkt M verläuft, und dem geschätzten Sichtlinienvektor, und eine Ordinatenachse in 8 repräsentiert die Rate der Erkennung jedes der Fehler.
Ferner repräsentiert in 8 ein durchgehendes Segment C1 ein Ergebnis der Sichtlinienschätzung in einem Fall, in dem der individuelle Parameter durch das Vollsuchverfahren gemäß der Ausführungsform geschätzt wird, und ein gestricheltes Segment C2 repräsentiert ein Ergebnis der Sichtlinienschätzung in einem Fall, in dem der individuelle Parameter nicht geschätzt wird.
Werden hierbei zum Beispiel die Erkennungsraten für einen Fehler von 1,5° verglichen, wird angegeben, dass eine Verbesserung von mindestens 10 % erzielt wird, wenn anders als in dem Fall, in dem der individuelle Parameter nicht geschätzt wird, der individuelle Parameter hierbei durch das Vollsuchverfahren gemäß der Ausführungsform geschätzt wird.
Mit der Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform kann so eine Sichtlinienschätzung mit hoher Genauigkeit realisiert werden, indem der individuelle Parameter, etwa der Hornhaut-Pupille-Abstand d oder der Hornhautkrümmungsradius r, für jeden von mehreren Benutzern geschätzt und ein für den Benutzer eindeutiges Augapfelmodell erzeugt wird.
Bei dem oben beschriebenen Vollsuchverfahren werden Eingabeinformationen für eine Vielzahl von Zielpunkten M benötigt, um den Hornhaut-Pupille-Abstand d und den Hornhautkrümmungsradius r zu schätzen. Wenn der individuelle Parameter durch das Vollsuchverfahren geschätzt wird, wird deshalb ein Prozess zum Präsentieren eines Zielpunkts gegenüber dem Benutzer und zum Erfassen des Augapfelbilds, während der Benutzer auf den Zielpunkt blickt, mehrmals wiederholt.
Ferner wird bei dem Vollsuchverfahren eine iterative Kalkulation durchgeführt, um den Hornhaut-Pupille-Abstand d und den Hornhautkrümmungsradius r, die den Fehler minimieren, zu erhalten, weshalb das Durchführen der Arithmetikverarbeitung relativ lang dauert.
Deshalb kann die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform den individuellen Parameter wie etwa den Hornhaut-Pupille-Abstand d durch eine geschlossene Form, die keine iterative Kalkulation erfordert, kalkulieren. Mittels der oben beschriebenen Funktion der Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform kann der Hornhaut-Pupille-Abstand d analytisch erhalten und die Geschwindigkeit der Arithmetikverarbeitung erheblich erhöht werden.
Ferner ist es mit der geschlossenen Lösung gemäß der Ausführungsform möglich, den Hornhaut-Pupille-Abstand d nur unter Nutzung visueller Informationen des Benutzers zu einem einzigen Zielpunkt zu kalkulieren. Mit anderen Worten, die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform ist in der Lage, den Hornhaut-Pupille-Abstand d basierend auf einem einzigen Augapfelbild, das erhalten wird, wenn der Benutzer auf den Zielpunkt blickt, zu kalkulieren. Mittels der oben beschriebenen Funktion der Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform lässt sich ein Prozess bei der Kalibrierung vereinfachen und eine Sichtlinienschätzung mit hoher Genauigkeit realisieren.
9 ist ein Diagramm zum Erläutern einer Kalkulation des Hornhaut-Pupille-Abstands d durch die geschlossene Lösung gemäß der Ausführungsform. 9 ist eine schematische Darstellung einer Hornhautsphäre CB, bei der es sich um eine sphärische Struktur, die den Augapfel E des Benutzers bildet, handelt.
Mittels der geschlossenen Lösung gemäß der Ausführungsform ist die Arithmetikverarbeitungseinheit 130 in der Lage, den Hornhaut-Pupille-Abstand d basierend auf Eingabeinformationen zum Zielpunkt, die dem Benutzer bei der Kalibrierung gegeben werden, zu erhalten. Die oben beschriebenen Eingabeinformationen enthalten Ortsinformationen zum Zielpunkt M, Ortsinformationen zur Abbildungseinheit 104, das Augapfelbild und sekundäre Informationen, die aus jeder der Informationen erhalten werden. Sekundäre Informationen sind beispielsweise Informationen zu einem Vektor p_s (Hutsymbol), der von einem optischen Mittelpunkt der Abbildungseinheit 104 zum Pupillenmittelpunkt p_s auf der Hornhautoberfläche verläuft.
Ferner wird davon ausgegangen, dass die dreidimensionale Position des Hornhautkrümmungsmittelpunkts c und der Hornhautkrümmungsradius r bereits geschätzt worden sind. Zum Schätzen des Hornhautkrümmungsradius r kann ein Verfahren, das zum Beispiel im Dokument „Beyond Alhazen's problem: Analytical Projection Model for Non-Central Catadioptric Cameras with Quadric Mirrors“ (A Agrawal et al., 2011) beschrieben wird, genutzt werden.
Wenn hier der Abstand zwischen p_s und dem Pupillenmittelpunkt p im dreidimensionalen Raum mit t bezeichnet wird, kann der Pupillenmittelpunkt p durch den Ausdruck (2) unten basierend auf einem bekannten Lichtbrechungsindex dargestellt werden. R im Ausdruck (2) stellt hingegen eine Menge reeller Zahlen dar. Durch den Ausdruck (3) unten kann ferner eine Beziehung zwischen dem Abstand t, der zwischen dem Pupillenmittelpunkt p_s auf der Hornhautoberfläche und dem Pupillenmittelpunkt p im dreidimensionalen Raum vorliegt, und dem Hornhaut-Pupille-Abstand d dargestellt werden.
$p = p_{s} + t \hat{σ} f o r t \in R$
$‖ p - c ‖ = d^{2}$
Wenn hierbei der Ausdruck (2) dem Ausdruck (3) oben zugewiesen wird, wird der Ausdruck in den Ausdruck (4) unten modifiziert. Wenn hierbei T₁ und T₂ durch den Ausdruck (5) bzw. den Ausdruck (6) unten definiert werden, kann der Abstand t zwischen dem Pupillenmittelpunkt p_s auf der Hornhautoberfläche und dem Pupillenmittelpunkt p im dreidimensionalen Raum durch eine Funktion des Hornhaut-Pupille-Abstands d wie im Ausdruck (7) dargestellt werden.
$\begin{array}{l} ‖ p_{s} + t \hat{σ} - c ‖ = d^{2} \\ \Leftrightarrow t^{2} + 2 (p_{s} - c) \cdot \hat{σ} t + {‖ p_{s} - c ‖}^{2} - d^{2} = 0 \end{array}$
$T_{1} = (p_{s} - c) \cdot \hat{σ}$
$T_{2} = {‖ p_{s} - c ‖}^{2}$
$t = - T_{1} \pm \sqrt{T_{1}^{2} - T_{2} + d^{2}}$
Hierbei wird durch den Ausdruck (8) unten eine Evaluierungsfunktion L zum Kalkulieren eines Quadrats einer Differenz zwischen 1,0 und einem Skalarprodukt eines Einheitsvektors, der vom Hornhautkrümmungsmittelpunkt c zum Zielpunkt M verläuft, und eines Einheitsvektors, der vom Hornhautkrümmungsmittelpunkt c zum Pupillenmittelpunkt p verläuft, definiert, und der Hornhaut-Pupille-Abstand d, der die Evaluierungsfunktion minimiert, wird erhalten. Mit anderen Worten, der Hornhaut-Pupille-Abstand d wird durch den Ausdruck (9) unten definiert.
$L = \frac{(p - c)}{‖ p - c ‖} \cdot \frac{(m - c)}{‖ m - c ‖} - I= \frac{(p - c) \cdot (m - c)}{d ‖ m - c ‖} - I$
$d = \underset{d}{arg min L^{2}}$
Anschließend wird die durch den Ausdruck (8) oben dargestellte Evaluierungsfunktion L erweitert und durch eine Funktion des oben beschriebenen Abstands t und des Hornhaut-Pupille-Abstands d dargestellt. Genauer gesagt, wenn der Ausdruck (2) dem Ausdruck (8) zugewiesen wird, ist es möglich, die Evaluierungsfunktion L, wie durch den Ausdruck (10) unten dargestellt, zu erweitern. Wenn K_t,d, K_d, K₁ durch den Ausdruck (11) unten definiert werden, wird hierbei die Evaluierungsfunktion L durch den Ausdruck (12) unten als Funktion des Abstands t und des Hornhaut-Pupille-Abstands d dargestellt. $\begin{array}{l} L = \frac{1}{d ‖ m - c ‖} ((p_{s} + t \hat{σ} - c) \cdot (m - c)) - 1 \\ = \frac{1}{d ‖ m - c ‖} (t \hat{σ} \cdot (m - c) + (p_{s} - c)) - 1 \\ = \frac{1}{‖ m - c ‖} (\frac{t}{d} \hat{σ} \cdot (m - c) + \frac{1}{d} (p_{s} - c) \cdot (m - c) - ‖ m - c ‖) \end{array}$
$\begin{array}{l} K_{t, d} = \hat{σ} \cdot (m - c), \\ K_{d} = (p_{s} - c) \cdot (m - c), \\ K_{1} = - ‖ m - c ‖ \end{array}$
$L = \frac{1}{‖ m - c ‖} (K_{t, d} \frac{t}{d} + K_{d} \frac{1}{d} + K_{1})$
Anschließend kalkuliert die Arithmetikverarbeitungseinheit 130 den Hornhaut-Pupille-Abstand d, mit dem eine Ableitungsfunktion der Evaluierungsfunktion null erreicht. In diesem Fall, wie durch den Ausdruck (13) dargestellt, führt die Arithmetikverarbeitungseinheit 130 zunächst eine Erweiterung durch, um die Ableitungsfunktion der Evaluierungsfunktion L durch den Hornhaut-Pupille-Abstand d darzustellen. Wenn ferner beide Seiten des Ausdrucks (4) oben durch den Hornhaut-Pupille-Abstand d differenziert werden, wird der Ausdruck (14) unten erhalten. Wenn darüber hinaus der Ausdruck (7) dem Ausdruck (14) zugewiesen wird, ist es möglich, den Ausdruck (16) in den Ausdruck (17) unten zu modifizieren.
$\begin{array}{l} \frac{d L}{d d} = 0 \\ \Leftrightarrow \frac{d}{d d} (K_{t, d} \frac{t}{d} + K_{d} \frac{1}{d} + K_{1}) = 0 \\ \Leftrightarrow K_{t, d} \frac{d}{d d} (\frac{t}{d}) + k_{d} \frac{d}{d d} + K_{d} \frac{d}{d d} (\frac{1}{d}) = 0 \\ \Leftrightarrow k_{t, d} (\frac{dt}{d d} \frac{1}{d} - \frac{t}{d^{2}}) - K_{d} \frac{1}{d^{2}} = 0 \end{array}$
$\begin{array}{l} 2 t \frac{d t}{d d} + 2 T_{1} \frac{d L}{d d} - 2 d = 0 \\ \Leftrightarrow \frac{d t}{d d} (t + T_{1}) = d \\ \Leftrightarrow \frac{d t}{d d} = \frac{d}{t + T_{1}} \end{array}$
$\frac{d t}{d d} = \pm \frac{d}{\sqrt{T_{1}^{2} - T_{2} + d^{2}}}$
Anschließend weist die Arithmetikverarbeitungseinheit 130 den Ausdruck (13) dem Ausdruck (15) oben zu und erhält den Hornhaut-Pupille-Abstand d, mit dem die Ableitungsfunktion der Evaluierungsfunktion L null erreicht. In diesem Fall kann der Hornhaut-Pupille-Abstand d durch den Ausdruck (16) unten dargestellt werden. Jedoch werden T₁, T₂, K_t,d, K_d, K₁ im Ausdruck (16) durch die Ausdrücke (5), (6) und (11) oben definiert.
$\begin{array}{l} K_{t, d} (\frac{d t}{d d} \frac{1}{d} - \frac{t}{d^{2}}) - K_{d} \frac{1}{d^{2}} = 0 \\ \Leftrightarrow K_{t, d} (\pm \frac{1}{\sqrt{T_{1}^{2} - T_{2} + d^{2}}} - \frac{- T_{1} \sqrt{T_{1}^{2} - T_{2} + d^{2}}}{d^{2}}) - K_{d} \frac{1}{d^{2}} = 0 \\ \Leftrightarrow k_{t, d} (d^{2} - {\sqrt{T_{1}^{2} - T_{2} + d^{2}}}^{2}) \pm (K_{t, d} T_{1} - K_{d}) \sqrt{T_{1}^{2} - T_{2} + d^{2}} = 0 \\ \Leftrightarrow K_{t, d} (T_{1}^{2} - T_{2}) = \pm (K_{t, d} T_{1} - K_{d}) \sqrt{T_{1}^{2} - T_{2} + d^{2}} \\ \Leftrightarrow K_{t, d}^{2} {(T_{1}^{2} - T_{2})}^{2} = {(K_{t, d} T_{1} - K_{d})}^{2} (T_{1}^{2} - T_{2} + d^{2}) \\ \Leftrightarrow \frac{K_{t, d}^{2}}{{(K_{t, d} T_{1} - K_{d})}^{2}} {(T_{1}^{2} - T_{2})}^{2} = T_{1}^{2} - T_{2} + d^{2} \\ \Leftrightarrow d = \pm \sqrt{\frac{K_{t, d}^{2}}{{(K_{t, d} T_{1} - K_{d})}^{2}} {(T_{1}^{2} - T_{2})}^{2} - (T_{1}^{2} - T_{2})} \end{array}$
So kann die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform durch Erhalten des Hornhaut-Pupille-Abstands d, mit dem die Ableitungsfunktion der Evaluierungsfunktion L null erreicht, den Hornhaut-Pupille-Abstand d, der den Fehler minimiert, also den mit der Augapfelstruktur des Benutzers korrespondierenden Hornhaut-Pupille-Abstand d, erhalten, ohne eine iterative Kalkulation durchzuführen.
Als Nächstes werden Wirkungen beschrieben, die durch eine Schätzung eines individuellen Parameters gemäß der Ausführungsform realisiert werden. 10 ist ein Diagramm zum Erläutern einer Verbesserung der Sichtlinienschätzungsgenauigkeit durch die Schätzung eines individuellen Parameters gemäß der Ausführungsform. 10 ist ein Diagramm, das einen Grad eines Einflusses des Faktors zum Verringern der Sichtlinienschätzungsgenauigkeit, wenn die Schätzung eines individuellen Parameters gemäß der Ausführungsform und die Kalibrierung durchgeführt werden, veranschaulicht. In 10 repräsentiert ähnlich wie in 2 eine Abszissenachse Faktoren zur Verringerung der Sichtlinienschätzungsgenauigkeit, und eine Ordinatenachse repräsentiert den Betrag des Winkelfehlers, der aufgrund eines jeglichen der Faktoren auftritt.
Hierbei ergibt ein Vergleich zwischen 2 und 10, dass der Winkelfehler aufgrund des Hornhaut-Pupille-Abstands und der Winkelfehler aufgrund des Hornhautkrümmungsradius stark verringert werden, wenn die Schätzung eines individuellen Parameters gemäß der Ausführungsform durchgeführt wird. Genauer gesagt, wenn die Schätzung eines individuellen Parameters gemäß der Ausführungsform durchgeführt wird, wird der Winkelfehler aufgrund des Hornhaut-Pupille-Abstands von etwa 3° auf etwa 0,1° verringert, und der Winkelfehler aufgrund des Hornhautkrümmungsradius wird von etwa 0,4° auf etwa 0,1° verringert.
So kann mittels des Verfahrens zum Schätzen des individuellen Parameters gemäß der Ausführungsform der Winkelfehler aufgrund des Hornhaut-Pupille-Abstands, der als Faktor zur Verringerung der Sichtlinienschätzungsgenauigkeit den größten Einfluss hat, erheblich verbessert werden.

Ferner ist Tabelle 1 unten eine Tabelle, in der Ergebnisse von Messungen der zur Verarbeitung der Schätzung eines individuellen Parameters gemäß der Ausführungsform benötigten Zeit aufgeführt sind. Bei diesem Beispiel wird der individuelle Parameter geschätzt, indem eine Schätzung des Hornhautkrümmungsradius durch ein bekanntes Verfahren und das Verfahren zum Schätzen des Hornhaut-Pupille-Abstands gemäß der Ausführungsform kombiniert werden und die zur Verarbeitung der Schätzung benötigte Zeit gemessen wird. Dabei kommt es aufgrund keiner der unten aufgeführten Kombinationen zu großen Fehlerschwankungen bei der Sichtlinienschätzung. Tabelle 1

	Schätzung des Hornhautkrümmungsradius	Verfahren zum Schätzen des Hornhaut-Pupille-Abstands	Verarbeitungszeit [ms]
1	Nicht durchgeführt	Geschlossene Lösung	0,20
2	Durchgeführt	Geschlossene Lösung	2, 53
3	Durchgeführt	Vollsuchverfahren	23, 62

Zunächst führt der Vergleich eines Falls, in dem eine Schätzung des Hornhautkrümmungsradius und eine Schätzung des Hornhaut-Pupille-Abstands unter Nutzung des Vollsuchverfahrens gemäß der Ausführungsform durchgeführt werden, und eines Falls, in dem eine Schätzung des Hornhautkrümmungsradius und eine Schätzung des Hornhaut-Pupille-Abstands unter Nutzung der geschlossenen Lösung gemäß der Ausführungsform durchgeführt werden, zu dem Ergebnis, dass die Verarbeitungsgeschwindigkeit auf etwa ein Zehntel verringert wird, wenn statt des Vollsuchverfahrens die geschlossene Lösung genutzt wird.
Wenn ferner die Schätzung des Hornhaut-Pupille-Abstands unter Nutzung der geschlossenen Lösung gemäß der Ausführungsform durchgeführt wird und die Schätzung des Hornhautkrümmungsradius nicht durchgeführt wird, kann hierdurch die Verarbeitungsgeschwindigkeit weiter erhöht werden. Wie oben beschrieben, verringert sich auch dann, wenn die Schätzung des Hornhautkrümmungsradius nicht durchgeführt wird, die Sichtlinienschätzungsgenauigkeit nicht.
Wie oben beschrieben, kann dadurch, dass die Schätzung eines individuellen Parameters durch die Arithmetikverarbeitungseinheit 130 gemäß der Ausführungsform durchgeführt wird, die Sichtlinienschätzung unter Nutzung eines zum Benutzer passenden Augapfelmodells durchgeführt werden, und die Genauigkeit der Sichtlinienschätzung kann erheblich verbessert werden.
Ferner kann dadurch, dass der Hornhaut-Pupille-Abstand unter Nutzung der geschlossenen Lösung gemäß der Ausführungsform geschätzt wird, der Hornhaut-Pupille-Abstand analytisch erhalten werden, ohne dass eine iterative Kalkulation durchgeführt wird, während die Sichtlinienschätzungsgenauigkeit verbessert und die Verarbeitungszeit erheblich verkürzt werden kann.
«Ablauf von Prozessen»
Unten wird ein Ablauf eines durch die Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform durchgeführten Sichtlinienschätzprozesses beschrieben. 11 ist ein Ablaufschema, das den Ablauf des Sichtlinienschätzprozesses gemäß der Ausführungsform veranschaulicht.
Zunächst präsentiert die Anzeigeeinheit 140 mit Bezug auf 11 dem Benutzer einen Zielpunkt als Blickziel (S1101).
Anschließend bestrahlt die Beleuchtungseinheit 110 den Augapfel des Benutzers mit Infrarotlicht (S1102).
Danach nimmt die Bilderfassungseinheit 120 ein Bild vom Augapfel des Benutzers, der auf den bei Schritt S1101 angezeigten Zielpunkt blickt, auf (S1103).
Anschließend erkennt die Arithmetikverarbeitungseinheit 130 die Pupille und den hellen Punkt in dem bei Schritt S1203 aufgenommenen Augapfelbild und erfasst die Ortsinformationen oder dergleichen (S1104).
Danach führt die Arithmetikverarbeitungseinheit 130 einen auf den individuellen Parameter wie den Hornhaut-Pupille-Abstand oder den Hornhautkrümmungsradius bezogenen Schätzprozess durch (S1105).
Anschließend speichert die Arithmetikverarbeitungseinheit 130 den bei Schritt S1105 erhaltenen individuellen Parameter in der Speichereinheit 150 (S1106).
Als Nächstes wird der Ablauf der Schätzung eines individuellen Parameters unter Nutzung einer Vielzahl von Zielpunkten wie etwa des Vollsuchverfahrens oder des Greedy-Algorithmus ausführlich beschrieben. 12 ist ein Ablaufschema, das einen Ablauf der Schätzung eines individuellen Parameters unter Nutzung der Vielzahl von Zielpunkten gemäß der Ausführungsform veranschaulicht.
Die Arithmetikverarbeitungseinheit 130 schätzt mit Bezug auf 12 zunächst jede der Optikachsen, wenn n Zielpunkte präsentiert werden (S1201).
Anschließend bestimmt die Arithmetikverarbeitungseinheit 130 einen nächsten in Frage kommenden, auf eine optimale Lösung bezogenen individuellen Parameter (S1202). Der oben beschriebene individuelle Parameter ist beispielsweise der Hornhaut-Pupille-Abstand oder der Hornhautkrümmungsradius.
Danach kalkuliert die Arithmetikverarbeitungseinheit 130 die Varianz eines Winkelfehlers zwischen jeder der Optikachsen und dem Zielpunkt (S1203).
Anschließend bestimmt die Arithmetikverarbeitungseinheit 130, ob der individuelle Parameter, mit dem die Varianz des Winkelfehlers minimiert wird, erhalten worden ist (S1204).
Bestimmt die Arithmetikverarbeitungseinheit 130 hierbei, dass der individuelle Parameter, mit dem die Varianz des Winkelfehlers minimiert wird, noch nicht erhalten worden ist (S1204: Nein), wechselt die Arithmetikverarbeitungseinheit 130 zum Schritt S1202 zurück und wiederholt die anschließenden Prozesse.
Bestimmt die Arithmetikverarbeitungseinheit 130 hingegen, dass der individuelle Parameter, mit dem die Varianz des Winkelfehlers minimiert wird, erhalten worden ist (S1204: Ja), beendet die Arithmetikverarbeitungseinheit 130 den auf die Schätzung eines individuellen Parameters bezogenen Prozess.
Als Nächstes wird ein Ablauf der Schätzung eines individuellen Parameters unter Nutzung der geschlossenen Lösung gemäß der Ausführungsform beschrieben. 13 ist ein Ablaufschema, das den Ablauf der Schätzung eines individuellen Parameters unter Nutzung der geschlossenen Lösung gemäß der Ausführungsform veranschaulicht.
Die Arithmetikverarbeitungseinheit 130 erfasst mit Bezug auf 13 zunächst Eingabeinformationen zu mindestens einem der Zielpunkte (S1301).
Anschließend kalkuliert die Arithmetikverarbeitungseinheit 130 eine dreidimensionale Position des Hornhautkrümmungsmittelpunkts basierend auf den bei Schritt S1301 erfassten Informationen (S1302).
Danach führt die Arithmetikverarbeitungseinheit 130 die auf die Evaluierungsfunktion L bezogene Kalkulation durch, wie oben beschrieben (S1303).
Anschließend kalkuliert die Arithmetikverarbeitungseinheit 130 die Ableitungsfunktion der Evaluierungsfunktion L (S1304).
Danach kalkuliert die Arithmetikverarbeitungseinheit 130 den Hornhaut-Pupille-Abstand d, mit dem die bei Schritt S1304 kalkulierte Ableitungsfunktion null erreicht (S1305).
<Beispielhafte Hardwarekonfiguration>
Unten wird eine beispielhafte Hardwarekonfiguration für einen Fall beschrieben, in dem die Informationsverarbeitungsvorrichtung 10 gemäß einer Ausführungsform der vorliegenden Offenbarung durch einen Server oder dergleichen realisiert wird. 14 ist ein Blockdiagramm, das eine beispielhafte Hardwarekonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht. Die Informationsverarbeitungsvorrichtung 10 enthält mit Bezug auf 14 zum Beispiel einen Prozessor 871, einen Festwertspeicher (ROM) 872, einen Arbeitsspeicher (RAM) 873, einen Hostbus 874, eine Brücke 875, einen externen Bus 876, eine Schnittstelle 877, eine Eingabevorrichtung 878, eine Ausgabevorrichtung 879, einen Speicher 880, ein Laufwerk 881, einen Verbindungsport 882 und eine Kommunikationseinrichtung 883. Die hierin beschriebene Hardwarekonfiguration ist rein beispielhaft, und ein Teil der Komponenten kann auch weggelassen werden. Ferner können außer den Komponenten, die unten beschrieben werden, noch weitere Komponenten darin enthalten sein.
(Prozessor 871)
Der Prozessor 871 fungiert zum Beispiel als eine Arithmetikverarbeitungsvorrichtung oder als eine Steuervorrichtung und steuert die gesamten Abläufe aller Komponenten oder einen Teil dieser Abläufe basierend auf verschiedenen im ROM 872, im RAM 873, im Speicher 880 oder in einem Wechselspeichermedium 901 gespeicherten Programmen.
(ROM 872, RAM 873)
Das ROM 872 ist ein Mittel zum Speichern eines durch den Prozessor 871 gelesenen Programms, von für Kalkulationen genutzten Daten oder dergleichen. Das RAM 873 speichert vorübergehend oder dauerhaft zum Beispiel ein durch den Prozessor 871 gelesenes Programm, verschiedene Parameter, die sich mit der Ausführung des Programms entsprechend ändern, oder dergleichen.
(Hostbus 874, Brücke 875, externer Bus 876, Schnittstelle 877)
Der Prozessor 871, das ROM 872 und das RAM 873 sind zum Beispiel über den Hostbus 874, der Hochgeschwindigkeitsdatenübertragungen durchführen kann, miteinander verbunden. Dahingegen ist der Hostbus 874 mit dem externen Bus 876, für den die Datenübertragungsgeschwindigkeit relativ gering ist, zum Beispiel über die Brücke 875 verbunden.
(Eingabevorrichtung 878)
Als Eingabevorrichtung 878 wird zum Beispiel möglicherweise eine Maus, eine Tastatur, ein berührungsempfindlicher Bildschirm, ein Knopf, ein Schalter, ein Hebel oder dergleichen genutzt. Ferner kann als Eingabevorrichtung 878 eine Fernsteuerung (nachstehend als Fernbedienung bezeichnet), die Steuersignale unter Nutzung von Infrarotstrahlen oder Funkwellen übertragen kann, genutzt werden. Darüber hinaus enthält die Eingabevorrichtung 878 eine Spracheingabevorrichtung, etwa ein Mikrofon.
(Ausgabevorrichtung 879)
Die Ausgabevorrichtung 879 ist eine Vorrichtung wie eine Anzeigevorrichtung, die eine Kathodenstrahlröhre (CRT), ein Flüssigkristalldisplay (LCD) oder ein OLED-Display, eine Audioausgabevorrichtung wie etwa einen Lautsprecher oder Kopfhörer, einen Drucker, ein Mobiltelefon oder ein Faxgerät mit der Fähigkeit, einem Benutzer die erfassten Informationen visuell oder akustisch mitzuteilen, enthält. Ferner enthält die Ausgabevorrichtung 879 gemäß der vorliegenden Offenbarung verschiedene Vibrationselemente, die haptische Reize ausgeben können.
(Speicher 880)
Der Speicher 880 ist eine Vorrichtung zum Speichern verschiedener Daten. Als Speicher 880 wird zum Beispiel möglicherweise ein Magnetspeicherelement wie ein Festplattenspeicher (HDD), ein Halbleiterspeicherelement, ein optisches Speicherelement oder eine magnetooptische Speicherplatte genutzt.
(Laufwerk 881)
Das Laufwerk 881 ist eine Vorrichtung, die Informationen, die im Wechselspeichermedium 901 wie einer Magnetspeicherplatte, einer optischen Speicherplatte, einer magnetooptischen Speicherplatte oder einem Halbleiterspeicher gespeichert sind, liest oder das Wechselspeichermedium 901 mit Informationen beschreibt.
(Wechselspeichermedium 901)
Das Wechselspeichermedium 901 ist zum Beispiel ein DVD-Medium (DVD = Digital Versatile Disk), ein Blu-ray™-Medium, ein HD-DVD-Medium oder eines von verschiedenen Halbleiterspeichermedien. Das Wechselspeichermedium 901 kann selbstverständlich auch eine Chipkarte, die mit einem kontaktlosen IC-Chip ausgestattet ist, eine elektronische Einrichtung oder dergleichen sein.
(Verbindungsport 882)
Der Verbindungsport 882 ist zum Beispiel ein Port wie etwa ein USB-Port (USB = Universal Serial Bus), ein IEEE-1394-Port, ein Small Computer System Interface (SCSI), ein RS-232C-Port oder ein optischer Audioanschluss für die Verbindung mit einer extern angeschlossenen Vorrichtung 902.
(Extern angeschlossene Vorrichtung 902)
Die extern angeschlossene Vorrichtung 902 ist zum Beispiel ein Drucker, ein tragbarer Musikplayer, eine Digitalkamera, eine Digitalvideokamera, ein IC-Recorder oder dergleichen.
(Kommunikationseinrichtung 883)
Die Kommunikationseinrichtung 883 ist eine Kommunikationseinrichtung für die Verbindung mit einem Netz und ist zum Beispiel eine Kommunikationskarte für ein verkabeltes LAN oder ein WLAN, Bluetooth (eingetragene Marke) oder Wireless USB (WUSB), ein Router für optische Kommunikation, ein ADSL-Router (ADSL = Asymmetrie Digital Subscriber Line) oder ein Modem für verschiedene Kommunikationsarten oder dergleichen.
<Schlussbemerkungen>
Wie oben beschrieben, enthält die Informationsverarbeitungsvorrichtung 10 gemäß einer Ausführungsform der vorliegenden Offenbarung die Arithmetikverarbeitungseinheit 130, die eine auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogene Arithmetikverarbeitung durchführt. Ferner weist die Arithmetikverarbeitungseinheit 130 gemäß einer Ausführungsform der vorliegenden Offenbarung ein Merkmal zum dynamischen Schätzen eines auf das Augapfelmodell bezogenen individuellen Parameters für jeden von mehreren Benutzern auf. Darüber hinaus enthält der oben beschriebene individuelle Parameter Informationen zu einer relativen Position einer Struktur, die den Augapfel bildet, in einem dreidimensionalen Raum. Mit dieser Konfiguration ist es möglich, eine Sichtlinienschätzung mit hoher Genauigkeit gemäß einer individuellen Eigenschaft zu realisieren.
Oben sind hiermit bevorzugte Ausführungsformen der vorliegenden Offenbarung mit Bezug auf die beiliegenden Zeichnungen ausführlich beschrieben worden, jedoch ist der Schutzbereich der vorliegenden Offenbarung nicht auf dieses Beispiel begrenzt. Für den Fachmann sind verschiedene Abwandlungen und Modifikationen im Schutzbereich der Erfindungsgedanken der beigefügten Ansprüche erkennbar, und es versteht sich, dass diese natürlich ebenfalls in den Schutzbereich der vorliegenden Offenbarung fallen.
Zum Beispiel wurde in der oben beschriebenen Ausführungsform vor allem auf ein Beispiel eingegangen, in dem die Informationsverarbeitungsvorrichtung 10 die Sichtlinienschätzung unter Nutzung eines Hornhautreflexionsverfahrens durchführt, jedoch ist der Erfindungsgedanke gemäß der vorliegenden Offenbarung auf verschiedene Vorrichtungen wie eine Irisauthentifizierungsvorrichtung oder eine chirurgische Pupillenverfolgungsvorrichtung, die ein dreidimensionales Augapfelmodell nutzen, vielseitig anwendbar.
Ferner sind die Wirkungen, die in dieser Patentbeschreibung beschrieben werden, rein beispielhafte oder der Veranschaulichung dienende Wirkungen und unterliegen keinen Beschränkungen. Das heißt, mit der Technologie gemäß der vorliegenden Offenbarung können ausgehend von dieser Patentbeschreibung zusammen mit den obigen Wirkungen oder an ihrer Stelle auch noch andere Wirkungen, die für den Fachmann offensichtlich sind, erzielt werden.
Darüber hinaus ist es möglich, ein Programm zu erzeugen, das bewirkt, dass in einen Computer eingebaute Hardware wie eine CPU, ein ROM oder ein RAM dieselben Funktionen wie die Informationsverarbeitungsvorrichtung 10 erfüllt, und es ist möglich, ein computerlesbares Speichermedium, in dem das Programm gespeichert ist, bereitzustellen.
Außerdem müssen nicht alle Schritte der Prozesse, die durch die Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Patentbeschreibung durchgeführt werden, immer in chronologischer Reihenfolge, wie im Ablaufschema veranschaulicht, verarbeitet werden. Zum Beispiel kann jeder der Schritte, die auf die durch die Informationsverarbeitungsvorrichtung 10 ausführbaren Prozesse bezogen sind, auch in einer anderen Abfolge als derjenigen, die im Ablaufschema veranschaulicht ist, oder parallel durchgeführt werden.
Außerdem sind die Ausdrücke, die in der vorliegenden Patentbeschreibung beschrieben werden, lediglich beispielhaft, und die Informationsverarbeitungsvorrichtung 10 gemäß einer Ausführungsform der vorliegenden Offenbarung muss nicht immer Prozesse unter Nutzung der oben beschriebenen Ausdrücke durchführen. Ferner versteht es sich, dass modifizierte Ausdrücke ebenfalls in den Schutzbereich der vorliegenden Offenbarung fallen.
Des Weiteren liegen folgende Konfigurationen ebenfalls im Schutzbereich der vorliegenden Offenbarung.

(1) Informationsverarbeitungsvorrichtung, umfassend:
- eine Arithmetikverarbeitungseinheit, die eine auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogene Arithmetikverarbeitung durchführt, wobei
- die Arithmetikverarbeitungseinheit einen auf das Augapfelmodell bezogenen individuellen Parameter für jeden von mehreren Benutzern dynamisch schätzt und
- der individuelle Parameter Informationen zu einer relativen Position einer Struktur, die einen Augapfel bildet, in einem dreidimensionalen Raum enthält.
(2) Informationsverarbeitungsvorrichtung gemäß Abschnitt (1), wobei die Struktur zwei sphärische Strukturen und eine Pupille enthält.
(3) Informationsverarbeitungsvorrichtung gemäß Abschnitt (1) oder Abschnitt (2), wobei der individuelle Parameter einen Hornhaut-Pupille-Abstand, bei dem es sich um einen Abstand zwischen einem Pupillenmittelpunkt und einem Hornhautkrümmungsmittelpunkt handelt, enthält und die Arithmetikverarbeitungseinheit die Sichtlinie des Benutzers unter Nutzung des Hornhaut-Pupille-Abstands schätzt.
(4) Informationsverarbeitungsvorrichtung gemäß Abschnitt (3), wobei die Arithmetikverarbeitungseinheit eine Position des Pupillenmittelpunkts in einem dreidimensionalen Raum unter Nutzung des Hornhaut-Pupille-Abstands schätzt.
(5) Informationsverarbeitungsvorrichtung gemäß Abschnitt (3) oder Abschnitt (4), wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand, mit dem ein Fehler zwischen einem Zielpunkt, auf den der Benutzer blickt, und einer visuellen Achse und/oder einer Optikachse minimiert wird, kalkuliert.
(6) Informationsverarbeitungsvorrichtung gemäß Abschnitt (5), wobei der Fehler einen Abstand oder einen Winkel zwischen einem Vektor, der von einem Hornhautkrümmungsmittelpunkt zum Zielpunkt verläuft, und einem Sichtlinienvektor und/oder einem Optikachsenvektor enthält.
(7) Informationsverarbeitungsvorrichtung gemäß Abschnitt (5) oder Abschnitt (6), wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand, mit dem der Fehler minimiert wird, basierend auf einem Vektor, der vom Hornhautkrümmungsmittelpunkt zum Zielpunkt verläuft, und einem Vektor, der vom Hornhautkrümmungsmittelpunkt zum Pupillenmittelpunkt verläuft, kalkuliert.
(8) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (5) bis (7), wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand basierend auf Eingabeinformationen zum einzigen Zielpunkt kalkuliert.
(9) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (5) bis (8), wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand basierend auf einem einzigen Augapfelbild, das erhalten wird, wenn der Benutzer auf den Zielpunkt blickt, kalkuliert.
(10) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (5) bis (8), wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand unter Nutzung einer geschlossenen Form kalkuliert.
(11) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (5) bis (8), wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand unter Nutzung einer Evaluierungsfunktion, die den Fehler minimiert, kalkuliert.
(12) Informationsverarbeitungsvorrichtung gemäß Abschnitt (11), wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand durch eine Differenzoperation an der Evaluierungsfunktion kalkuliert.
(13) Informationsverarbeitungsvorrichtung gemäß Abschnitt (12), wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand, mit dem eine Ableitungsfunktion der Evaluierungsfunktion null erreicht, kalkuliert.
(14) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (1) bis (13), wobei der individuelle Parameter einen Hornhautkrümmungsradius enthält und die Arithmetikverarbeitungseinheit die Sichtlinie des Benutzers unter Nutzung des geschätzten Hornhautkrümmungsradius schätzt.
(15) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (1) bis (14), wobei die Arithmetikverarbeitungseinheit die Sichtlinie des Benutzers durch ein Hornhautreflexionsverfahren schätzt.
(16) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (1) bis (15), ferner umfassend:
- eine Bilderfassungseinheit, die ein Bild, das einen hellen Punkt auf einer Hornhaut des Benutzers enthält, erfasst.
(17) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (5) bis (13), ferner umfassend:
- eine Anzeigeeinheit, die den Zielpunkt anzeigt.
(18) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (1) bis (17), wobei die Informationsverarbeitungsvorrichtung eine am Kopf des Benutzers getragene Einrichtung ist.
(19) Informationsverarbeitungsverfahren, umfassend:
- Durchführen einer auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogenen Arithmetikverarbeitung durch einen Prozessor, wobei
- das Durchführen der Arithmetikverarbeitung dynamisches Schätzen eines auf das Augapfelmodell bezogenen individuellen Parameters für jeden von mehreren Benutzern enthält und
- der individuelle Parameter Informationen zu einer relativen Position einer Struktur, die einen Augapfel bildet, in einem dreidimensionalen Raum enthält.
(20) Programm, das bewirkt, dass ein Computer als eine Informationsverarbeitungsvorrichtung fungiert, die Folgendes enthält:
- eine Arithmetikverarbeitungseinheit, die eine auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogene Arithmetikverarbeitung durchführt, wobei
- die Arithmetikverarbeitungseinheit einen auf das Augapfelmodell bezogenen individuellen Parameter für jeden von mehreren Benutzern dynamisch schätzt und
- der individuelle Parameter Informationen zu einer relativen Position einer Struktur, die einen Augapfel bildet, in einem dreidimensionalen Raum enthält.

Bezugszeichenliste

10: Informationsverarbeitungsvorrichtung
110: Beleuchtungseinheit
120: Bilderfassungseinheit
130: Arithmetikverarbeitungseinheit
140: Anzeigeeinheit
150: Speichereinheit
c: Hornhautkrümmungsmittelpunkt
p: Pupillenmittelpunkt
d: Hornhaut-Pupille-Abstand
r: Hornhautkrümmungsradius

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016106668 [0003]

Claims

Informationsverarbeitungsvorrichtung, umfassend: eine Arithmetikverarbeitungseinheit, die eine auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogene Arithmetikverarbeitung durchführt, wobei die Arithmetikverarbeitungseinheit einen auf das Augapfelmodell bezogenen individuellen Parameter für jeden von mehreren Benutzern dynamisch schätzt und der individuelle Parameter Informationen zu einer relativen Position einer Struktur, die einen Augapfel bildet, in einem dreidimensionalen Raum enthält.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Struktur zwei sphärische Strukturen und eine Pupille enthält.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der individuelle Parameter einen Hornhaut-Pupille-Abstand, bei dem es sich um einen Abstand zwischen einem Pupillenmittelpunkt und einem Hornhautkrümmungsmittelpunkt handelt, enthält und die Arithmetikverarbeitungseinheit die Sichtlinie des Benutzers unter Nutzung des Hornhaut-Pupille-Abstands schätzt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 3, wobei die Arithmetikverarbeitungseinheit eine Position des Pupillenmittelpunkts in einem dreidimensionalen Raum unter Nutzung des Hornhaut-Pupille-Abstands schätzt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 3, wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand, mit dem ein Fehler zwischen einem Zielpunkt, auf den der Benutzer blickt, und einer visuellen Achse und/oder einer Optikachse minimiert wird, kalkuliert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei der Fehler einen Abstand oder einen Winkel zwischen einem Vektor, der von einem Hornhautkrümmungsmittelpunkt zum Zielpunkt verläuft, und einem Sichtlinienvektor und/oder einem Optikachsenvektor enthält.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand, mit dem der Fehler minimiert wird, basierend auf einem Vektor, der vom Hornhautkrümmungsmittelpunkt zum Zielpunkt verläuft, und einem Vektor, der vom Hornhautkrümmungsmittelpunkt zum Pupillenmittelpunkt verläuft, kalkuliert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand basierend auf Eingabeinformationen zum einzigen Zielpunkt kalkuliert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand basierend auf einem einzigen Augapfelbild, das erhalten wird, wenn der Benutzer auf den Zielpunkt blickt, kalkuliert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand unter Nutzung einer geschlossenen Form kalkuliert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand unter Nutzung einer Evaluierungsfunktion, die den Fehler minimiert, kalkuliert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 11, wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand durch eine Differenzoperation an der Evaluierungsfunktion kalkuliert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 12, wobei die Arithmetikverarbeitungseinheit den Hornhaut-Pupille-Abstand, mit dem eine Ableitungsfunktion der Evaluierungsfunktion null erreicht, kalkuliert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der individuelle Parameter einen Hornhautkrümmungsradius enthält und die Arithmetikverarbeitungseinheit die Sichtlinie des Benutzers unter Nutzung des geschätzten Hornhautkrümmungsradius schätzt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Arithmetikverarbeitungseinheit die Sichtlinie des Benutzers durch ein Hornhautreflexionsverfahren schätzt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, ferner umfassend: eine Bilderfassungseinheit, die ein Bild, das einen hellen Punkt auf einer Hornhaut des Benutzers enthält, erfasst.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, ferner umfassend: eine Anzeigeeinheit, die den Zielpunkt anzeigt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Informationsverarbeitungsvorrichtung eine am Kopf des Benutzers getragene Einrichtung ist.
Informationsverarbeitungsverfahren, umfassend: Durchführen einer auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogenen Arithmetikverarbeitung durch einen Prozessor, wobei das Durchführen der Arithmetikverarbeitung dynamisches Schätzen eines auf das Augapfelmodell bezogenen individuellen Parameters für jeden von mehreren Benutzern enthält und der individuelle Parameter Informationen zu einer relativen Position einer Struktur, die einen Augapfel bildet, in einem dreidimensionalen Raum enthält.
Programm, das bewirkt, dass ein Computer als eine Informationsverarbeitungsvorrichtung fungiert, die Folgendes enthält: eine Arithmetikverarbeitungseinheit, die eine auf eine Schätzung einer Sichtlinie eines Benutzers unter Nutzung eines Augapfelmodells bezogene Arithmetikverarbeitung durchführt, wobei die Arithmetikverarbeitungseinheit einen auf das Augapfelmodell bezogenen individuellen Parameter für jeden von mehreren Benutzern dynamisch schätzt und der individuelle Parameter Informationen zu einer relativen Position einer Struktur, die einen Augapfel bildet, in einem dreidimensionalen Raum enthält.