CN107665040A - 视线检测系统、偏移检测方法、偏移检测程序 - Google Patents

视线检测系统、偏移检测方法、偏移检测程序 Download PDF

Info

Publication number
CN107665040A
CN107665040A CN201710623538.1A CN201710623538A CN107665040A CN 107665040 A CN107665040 A CN 107665040A CN 201710623538 A CN201710623538 A CN 201710623538A CN 107665040 A CN107665040 A CN 107665040A
Authority
CN
China
Prior art keywords
mentioned
user
center
vector
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710623538.1A
Other languages
English (en)
Inventor
赵柱安
洛克拉因·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fove Ltd By Share Ltd
Fove Inc
Original Assignee
Fove Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017143702A external-priority patent/JP6485819B2/ja
Application filed by Fove Ltd By Share Ltd filed Critical Fove Ltd By Share Ltd
Publication of CN107665040A publication Critical patent/CN107665040A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

本发明提供视线检测系统、偏移检测方法、偏移检测程序，用于检测装戴到用户的头部使用的装戴件的偏移。视线检测系统包括用户装戴使用的装戴件，包括多个发射部，向用户的眼睛发射不可见光；摄像头，根据不可见光来拍摄用户的眼睛；瞳孔确认部，从摄像头拍摄得到的拍摄图像中确认用户的瞳孔中心；取得部，根据多个发射部的配置位置、从多个发射部向用户的眼睛发射的发射光的发射位置以及摄像头的配置位置，来取得与用户的眼角膜曲率的中心位置有关的信息；向量确认部，确认将拍摄图像中的用户的眼角膜曲率中心和瞳孔中心连结起来的向量；偏移检测部，根据向量来对用户装戴的装戴件的装戴状态的偏移进行检测。

Description

视线检测系统、偏移检测方法、偏移检测程序
技术领域
本发明涉及视线检测系统，特别涉及利用头戴式显示器的视线检测技术。
背景技术
以往，在进行用于确认用户凝视位置的视线检测时，事先进行校准，并预先取得用户的视线的基本信息。在专利文献1公开了一种进行校准后进行视线检测的技术。
近年来，用户装戴到头部使用的头戴式显示器或眼镜显示器等也在尝试进行视线检测。这种情况也是在进行上述校准之后进行视线检测。
现有技术文献
专利文献
专利文献1：日本特开2001－134371号公报
然而，前提是用户与头戴式显示器或眼镜显示器之间的相对位置关系保持不变。因此，例如在使用头戴式显示器过程中发生如图13所示的物理偏移的情况下，存在视线检测的检测位置精度下降的问题。因此，检测头戴式显示器被用户装戴的状态的偏移对发现视线检测的精度下降来讲是一项非常重要的课题。在图13所示的例子中示出了装戴到用户的头部的头戴式显示器100从虚线150t1的状态向实线150t2所示的状态偏移的情况。这只不过是其中一种偏移例子，还包括向下发生偏移、单侧向上下发生偏移的情况，不管发生哪一种偏移，都存在视线检测的检测位置精度下降的问题。因此，期待开发出检测这种偏移的方法。
发明内容
本发明是鉴于上述问题而提出的，其目的在于，提供一种在头戴式显示器等用户装戴到头部使用的装戴件发生偏移等的情况下能够检测这种偏移的视线检测系统。
为了解决上述技术问题，根据本发明的一实施方式，提供一种视线检测系统，包括用户装戴使用的装戴件，其包括：多个发射部，向用户的眼睛发射不可见光；摄像头，根据不可见光来拍摄用户的眼睛；瞳孔确认部，从摄像头拍摄得到的拍摄图像中确认用户的瞳孔中心；取得部，根据多个发射部的配置位置、从多个发射部向用户的眼睛发射的发射光的发射位置以及摄像头的配置位置，来取得与用户的眼角膜曲率的中心位置有关的信息；向量确认部，确认将拍摄图像中的用户的眼角膜曲率中心和瞳孔中心连结起来的向量；偏移检测部，根据向量来对用户装戴的装戴件的装戴状态的偏移进行检测。
在上述视线检测系统中，视线检测系统还可包括用于对表示多个发射部与摄像头的配置位置的配置信息进行存储的存储部，取得部可根据存储在存储部中的多个发射部之中的第一发射部的配置信息、从第一发射部发射的不可见光相对于用户的眼睛的第一发射位置、存储在存储部中的多个发射部之中的与第一发射部不同的第二发射部的配置信息、从第二发射部发射的不可见光相对于用户的眼睛的第二发射位置以及摄像头的配置位置，来取得与用户的眼角膜曲率的中心位置有关的信息。
在上述视线检测系统中，取得部可取得包括从摄像头的中心位置朝向第一发射部的第一向量和从摄像头的中心位置朝向第一发射位置的第二向量的第一平面以及包括从摄像头的中心位置朝向第二发射部的第三向量和从摄像头的中心位置朝向第二发射位置的第四向量的第二平面之间的交线作为与用户的眼角膜曲率的中心位置有关的信息。
在上述视线检测系统中，向量确认部将交线与摄像头的图像传感器之间的交点作为拍摄图像中的用户的眼角膜曲率的中心来确认向量。
在上述视线检测系统中，在第一时刻由向量确认部确认的作为向量的第一向量的位置和在第一时刻开始规定时间内的第二时刻由向量确认部确认的作为向量的第二向量的位置处于不同位置的情况下，偏移检测部可检测出偏移。
在上述视线检测系统中，装戴件可为头戴式显示器，
视线检测系统还可包括视线检测装置，装戴件可包括发射部、摄像头以及用于将拍摄图像发送给视线检测装置的发送部，视线检测装置可包括用于接收拍摄图像的接收部、瞳孔确认部、取得部、向量确认部以及偏移检测部。
在上述视线检测系统中，装戴件还可包括用于向用户提示图像的显示部，视线检测装置还可包括根据拍摄图像来检测出凝视图像的用户的凝视位置的视线检测部。
在上述视线检测系统中，视线检测装置还可包括校正部，校正部根据偏移检测部检测出的偏移，来校正视线检测部检测出的用户的凝视位置。
并且，本发明的一实施方式提供一种偏移检测方法，用于对用户装戴的装戴件的装戴状态的偏移进行检测，包括如下步骤：发射步骤，从多个发射部向用户的眼睛发射不可见光；拍摄步骤，根据不可见光来拍摄用户的眼睛；瞳孔确认步骤，从通过拍摄步骤拍摄得到的拍摄图像中确认用户的瞳孔中心；取得步骤，根据多个发射部的配置位置、从多个发射部向用户的眼睛发射的发射光的发射位置以及摄像头的配置位置，来取得与用户的眼角膜曲率的中心的位置有关的信息；向量确认步骤，确认将拍摄图像中的用户的眼角膜曲率的中心与瞳孔中心连结起来的向量；偏移检测步骤，根据向量检测出用户装戴的装戴件的装戴状态的偏移。
并且，本发明一实施方式提供一种偏移检测程序，用于检测出用户装戴使用的装戴件的装戴状态的偏移，使计算机实现如下功能：拍摄图像取得功能，取得根据从用于向用户的眼睛发射不可见光的多个发射部发射的不可见光来拍摄用户的眼睛的摄像头拍摄得到的拍摄图像；瞳孔确认功能，从拍摄图像中确认用户的瞳孔中心；取得功能，根据多个发射部的配置位置、从多个发射部向用户的眼睛发射的发射光的发射位置、摄像头的配置位置，来取得与用户的眼角膜曲率的中心的位置有关的信息；向量确认功能，确认将拍摄图像中的用户的眼角膜曲率的中心和瞳孔中心连结起来的向量；偏移检测功能，根据向量来检测出用户装戴的装戴件的装戴状态的偏移。
其中，以上结构要素的任意组合以及利用方法、装置、系统、计算机程序、数据结构、记录介质等之间转换本发明的表现的方式也都有效地作为本发明的方式。
根据本发明，提供一种在以头戴式显示器等为代表的装戴件能够检测出其装戴状态的偏移的技术。
附图说明
图1为表示视线检测系统的结构的图。
图2为用户装戴头戴式显示器的状态的外观图。
图3为示意性地示出头戴式显示器的图像显示系统的大致外观的立体图。
图4为示意性地示出头戴式显示器的图像显示系统的光学结构的图。
图5为示出视线检测系统的结构的框图。
图6为说明用于视线方向检测的校准的示意图。
图7为说明用户的眼角膜的位置坐标的示意图。
图8为示意性地说明偏移检测的概要的立体图。
图9为表示眼球图像的图。
图10为用于示意性地说明偏移检测的概要的俯视图。
图11为表示头戴式显示器的偏移与向图像传感器进行的映射的关系例的图。
图12为表示视线检测系统的动作的流程图。
图13为表示头戴式显示器的偏移状态的图。
图14为表示视线检测系统的结构的图。
附图标记的说明
1：视线检测系统
100：头戴式显示器
103a：红外线光源(第二红外线发射部)
103b：红外线光源(第一红外线发射部)
105：亮点
108：图像显示组件
112：热反射镜
114、114a、114b：凸透镜
116：摄像头
118：第一通信部
120：显示部
121：发射部
122：拍摄部
123：图像处理部
130：图像显示系统
150：框体
152a、152b：透镜支持部
160：装戴件
170：头戴式耳机
200：视线检测装置
220：第二通信部
221：视线检测部
222：影像生成部
223：瞳孔确认部
224：取得部
225：向量确认部
226：偏移检测部
227：校正部
228：存储部
具体实施方式
以下、参照附图对本发明的视线检测系统进行说明。
实施方式1
结构
如图1所示，本发明的视线检测系统1包括装戴件100。
装戴件100作为用户装戴使用的设备，例如有头戴式显示器、穿戴式眼镜等作为代表的可穿戴终端。
视线检测系统1包括发射部121、摄像头116、瞳孔确认部223、取得部224、向量确认部225以及偏移检测部226。
发射部121向装戴着装戴件的用户的眼睛发射不可见光。发射部121具有多个发射源。发射部121发射的不可见光例如是不对用户的眼睛造成伤害的范围的近红外线。并且，发射源例如为发光二极管(LED)灯。
摄像头116根据发射部121所发射的不可见光来拍摄用户的眼睛。
瞳孔确认部223从摄像头116拍摄得到的拍摄图像中确认用户的瞳孔中心。在这里，瞳孔中心可以是相当于用户300的瞳孔的中心位置的位置，除了中心以外也可以是重心。
取得部224根据发射部121的多个发射源的配置位置、从多个发射源向用户的眼睛发射的发射光的发射位置和摄像头116的配置位置，来取得与用户的眼角膜曲率的中心位置有关的信息。在这里表述成了眼角膜曲率的中心，但也可以是眼角膜曲率的重心位置。配置位置或发射位置可以是能够在视线检测系统中确认各种位置的坐标信息，也可以是表示始于基本位置(例如在视线检测系统上设定的原点)的方向和距离的信息。并且，所谓用户的眼角膜曲的中心率是指，包括用户的眼角膜所形成的圆弧(球)的圆(球)的中心。
向量确认部225确认将摄像头116拍摄得到的拍摄图像中的用户的角膜曲的中心和瞳孔中心连结起来的向量。
偏移检测部226根据向量确认部225确认的向量，来检测用户装戴着的装戴件100的装戴状态的偏移。
以下，对视线检测系统1进行更详细的说明。
图2是示意性地表示实施方式的视线检测系统1的大致外观的图。实施方式的视线检测系统1包括作为装戴件100的一例的头戴式显示器100和视线检测装置200。下面，将装戴件100表述成头戴式显示器100。如图2所示，头戴式显示器100装戴到用户300的头部使用。
视线检测装置200用于检测装戴了头戴式显示器100的用户的右眼及左眼中的至少一侧的视线方向，并且确认用户的焦点，即，显示在头戴式显示器的三维图像中的用户所凝视的位置。并且，视线检测装置200还用作生成头戴式显示器100所显示的影像的影像生成装置来发挥功能。虽然没有限制，但举例而言，视线检测装置200为桌上型的游戏机、便携式游戏机、PC、平板电脑、智能手机、平板手机、视频播放器、电视机等能够播放影像的装置。视线检测装置200以无线或有线的方法与头戴式显示器100相连接。在图2所示的例子中，视线检测装置200以无线的方式与头戴式显示器100相连接。视线检测装置200与头戴式显示器100之间的无线连接可利用例如已知的Wi-Fi(注册商标)或蓝牙(Bluetooth，注册商标)等无线通信技术实现。虽然没有限制，但举例而言，头戴式显示器100与视线检测装置200之间的影像的传递根据Miracast(商标)或WiGig(商标)、WHDI(商标)等标准执行。
此外，图2示出了头戴式显示器100与视线检测装置200为不同装置的情况时的例。然而，视线检测装置200可内置于头戴式显示器100。
头戴式显示器100包括框体150、装戴件160以及头戴式耳机170。框体150用于收容图像显示组件等用于提供给用户300影像的图像显示系统或未图示的Wi-Fi模块或蓝牙(Bluetooth，注册商标)模块等无线传递模块。装戴件160用于将头戴式显示器100装戴在用户300的头部。装戴件160例如由带子、有伸缩性的带等实现。若用户300利用装戴件160装戴头戴式显示器100，框体150则配置于覆盖用户300的眼睛的位置。因此，若用户300装戴头戴式显示器100，则用户300的视界被框体150遮挡。
头戴式耳机170用于输出视线检测装置200所播放的影像的声音。头戴式耳机170可以不固定于头戴式显示器100。即使在用户300利用装戴件160装戴了头戴式显示器100的状态下，也能够自由装卸头戴式耳机170。
图3为示意性地示出实施方式的头戴式显示器100的图像显示系统130的大致外观的立体图。更为具体地，图3为表示在实施方式的框体150之中的与装戴了头戴式显示器100时的用户300的眼角膜302相向的区域的图。
如图3所示，当用户300装戴了头戴式显示器100时，左眼用凸透镜114a将处于与用户300的左眼的眼角膜302a相向的位置。同样，当用户300装戴了头戴式显示器100时，右眼用凸透镜114b将处于与用户300的右眼的眼角膜302b相向的位置。左眼用凸透镜114a和右眼用凸透镜114b分别由左眼用透镜支持部152a和右眼用透镜支持部152b夹持。
以下说明书中，除了要特别区分左眼用凸透镜114a和右眼用凸透镜114b的情况之外，皆简单地表示成“凸透镜114”。同样，除了要特别区分用户300的左眼的眼角膜302a和用户300的右眼的眼角膜302b的情况之外，皆简单地表示成“眼角膜302”。左眼用透镜支持部152a和右眼用透镜支持部152b也是一样地，除了要特别区分的情况之外，皆表示成“透镜支持部152”。
在透镜支持部152设有多个红外线光源103。为了避免说明复杂，在图3中，将对用户300的左眼的眼角膜302a发射红外线的红外线光源统称为红外线光源103a，将对用户300的右眼的眼角膜302b发射红外线的红外线光源统称为红外线光源103b。下面，除了要特别区分红外线光源103a和红外线光源103b的情况之外，皆简单地表示成“红外线光源103”。在图3所示的例子中，左眼用透镜支持部152a具有6个红外线光源103a。同样，右眼用透镜支持部152b也具有6个红外线光源103b。像这样，通过将红外线光源103配置于用于夹持凸透镜114的透镜支持部152，而不是直接配置于凸透镜114，更容易装戴红外线光源103。由于透镜支持部152通常由树脂等构成，因而比由玻璃等构成的凸透镜114更容易进行用于装戴红外线光源103的加工。
如上所述，透镜支持部152是一种用于夹持凸透镜114的部件。因此，设在透镜支持部152的红外线光源103配置于凸透镜114的周围。此外，在这里说明的是对每只眼睛发射红外线的红外线光源103为6个，但并不仅限于此数目，只要有至少一个对应于各眼睛的红外线光源即可，设置两个以上会更好。
图4为示意性地示出实施方式的框体150所收纳的图像显示系统130的光学结构，是从左眼侧的侧面所看到的图3中示出的框体150的情况的图。图像显示系统130包括红外线光源103、图像显示组件108、热反射镜112、凸透镜114、摄像头116及第一通信部118。
红外线光源103可发射近红外(700nm～2500nm程度)的波长谱带的光的光源。一般而言，近红外线为用户300的肉眼无法察觉的不可见光的波长谱带的光。
图像显示组件108显示用于提供给用户300的图像。图像显示组件108所显示的图像由视线检测装置200内的影像输出部222生成。关于影像输出部222将在下文中进行说明。图像显示组件108，例如可由已知的液晶显示器(LCD，Liquid Crystal Display)或有机电致发光显示器(Organic Electro Luminescence Display)来实现。
当用户300装戴了头戴式显示器100时，热反射镜112配置于图像显示组件108与用户300的眼角膜302之间。热反射镜112具有穿过图像显示组件108所生成的可见光而反射近红外线的性质。
相对于热反射镜112，凸透镜114配置于图像显示组件108的相反侧。换言之，当用户300装戴了头戴式显示器100时，凸透镜114配置于热反射镜112与用户300的眼角膜302之间。即，当用户300装戴了头戴式显示器100时，凸透镜114配置于与用户300的眼角膜302相向的位置。
凸透镜114汇聚穿过热反射镜112的图像显示光。为此，凸透镜114具有当作将图像显示组件108所生成的图像放大后提供给用户300的图像放大部的功能。此外，为了方便说明，在图3中仅示出了一个凸透镜114，但凸透镜114也可以是结合各种透镜所组成的透镜组，或者，也可以是一面为曲面、而另一面为平面的单凸透镜。
多个红外线光源103配置于凸透镜114的周围。红外线光源103向用户300的眼角膜302发射红外线。
虽然未图示，实施方式的头戴式显示器100的图像显示系统130具有两个图像显示组件108，而能够独立地生成用于提供给用户300的右眼的图像和用于提供给左眼的图像。因此，实施方式的头戴式显示器100能够分别提供右眼用视差图像和左眼用视差图像给用户300的右眼和左眼。由此，实施方式的头戴式显示器100能够对用户300提示具有层次感的立体影像。
如上所述，热反射镜112可让可见光穿过，而将近红外线加以反射。因此，图像显示组件108所发射的图像光穿过热反射镜112而到达至用户300的眼角膜302。并且，由红外线光源103所发射而在凸透镜114的内部的反射区域被反射的红外线到达至用户300的眼角膜302。
到达用户300的眼角膜302的红外线被用户300的眼角膜302反射而再度射向凸透镜114的方向。此红外线穿过凸透镜114，而被光学装置112反射。摄像头116具有用以滤除可见光的滤光片，而拍摄被光学装置112反射的近红外线。即，摄像头116为近红外摄像头，其对由红外线光源103所发射而在用户300的眼睛处被眼角膜反射的近红外线进行拍摄。
此外，虽然未图示，实施方式的头戴式显示器100的图像显示系统130可具有两个摄像头116，即，用于拍摄包含被右眼反射的红外线的图像的第一拍摄部和用于拍摄包含被左眼反射的红外线的图像的第二拍摄部。由此，用于检测出用户300的右眼和左眼双眼的视线方向的图像。
第一通信部118将摄像头116拍摄的图像输出到用于检测用户300的视线方向的视线检测装置200。具体地，第一通信部118将摄像头116拍摄的图像传递给视线检测装置200。至于具有当作视线方向检测部的功能的视线检测部221，将在下文中进行详细说明，可通过视线检测装置200的中央处理器(CPU，Central Processing Unit)所运行的视线检测程序实现。此外，头戴式显示器100具有中央处理器或存储器等计算资源的情况下，头戴式显示器100的中央处理器也可运行用于实现视线方向检测部的程序。
虽然以下将详细说明，在由摄像头116拍摄到的图像中，由在用户300的眼角膜302处被反射的近红外线而来的亮点以及包含以近红外线的波长谱带所观测到的用户300的眼角膜302的眼睛的影像将被拍到。来自红外线光源的近红外线具有某种程序的指向性，发射某种程度的扩散光，用户300的眼睛的图像利用该扩散光被拍摄到。
如上所述，在实施方式的图像显示系统130之中，虽然主要就用以提供给用户300的左眼的影像的结构加以说明，但用以提供给用户300的右眼的影像的结构也与上述相同。
图5为表示视线检测系统1中的头戴式显示器100和视线检测装置200的详细结构的框图。
如图5所示，头戴式显示器100包括第一通信部118、显示部120、发射部121、拍摄部122、图像处理部123。
第一通信部118为具有与视线检测装置200的第二通信部220进行通信的功能的通信界面。如上所述，第一通信部118通过有线通信或无线通信来与第二通信部220进行通信。可使用的通信标准的例为如上所述。第一通信部118将从拍摄部124或图像处理部123传递的用于视线检测的图像数据(拍摄图像的数据)发送给第二通信部220。并且，第一通信部118将从视线检测装置200发送的图像数据或标记图像传递给显示部120。作为一例，图像数据可以是用于显示虚拟空间图像的数据或游戏内容物图像。并且，作为图像数据，也可以为由用于显示三维图像的右眼用视差图像和左眼用视差图像形成的视差图像对。
显示部120具有将作为从第一通信部118传递的图像数据的、由影像生成部222生成的图像数据显示在图像显示组件108的功能。并且，显示部120将从影像生成部222输出的标记图像显示在图像显示组件108的指定的坐标。
发射部121控制红外线光源103，并向用户的右眼或左眼发射近红外线。
拍摄部122利用摄像头116拍摄包含被各只眼睛反射的近红外线的图像。并且，拍摄部122拍摄凝视显示在图像显示组件108的标记图像的用户的眼睛在内的图像。拍摄部122将拍摄得到的图像传递给第一通信部118或图像处理部123。
以上是对头戴式显示器100的结构进行的说明。接着，对视线检测装置200进行详细说明。
如图5所示，视线检测装置200包括第二通信部220、视线检测部221、影像生成部222、瞳孔确认部223、取得部224、向量确认部225、偏移检测部226、校正部227以及存储部228。
第二通信部220为具有与头戴式显示器100的第一通信部118进行通信的功能的通信界面。如上所述，第二通信部220通过有线通信或无线通信来与第一通信部118进行通信。第二通信部220向头戴式显示器100发送用于显示从影像生成部222传递的包含一个以上广告的虚拟空间图像的图像数据或为了标准而利用的标记图像等。并且，将凝视从戴式显示器100传递的由拍摄部122拍摄得到的标记图像的用户的眼睛在内的图像或将根据观看从影像生成部222输出的图像数据显示的图像的用户的眼睛拍摄得到的拍摄图像传递给视线检测部221或瞳孔确认部223、取得部224。
从第二通信部220接收用户的右眼的视线检测用的图像数据(拍摄图像)，对用户的右眼的视线方向进行检测。同样，从第二通信部220接收用户的左眼的视线检测用的图像数据，对用户300的左眼的视线方向进行检测。更具体地，视线检测部221通过后文中的视线检测方法来确认用户凝视的显示在图像显示组件108的图像上的位置。视线检测部221将用户凝视的位置(图像显示组件108中的凝视坐标)传递给影像生成部222。
影像生成部222生成显示于头戴式显示器100的显示部120的图像数据，并向第二通信部220传递。并且，影像生成部222生成用以进行用于视线检测的校准的标记图像，并与其显示坐标位置一同传递给第二通信部220，而发送给头戴式显示器100。并且，影像生成部222根据从视线检测部221或校正部227输出的用户的凝视来生成影像，并将其数据传递给第二通信部220。例如，影像生成部222生成凝视位置的分辨率高的影像数据并传递给第二通信部。
瞳孔确认部223从第二通信部220接收拍摄用户的眼睛得到的拍摄图像并进行分析。瞳孔确认部223确认拍摄图像中的瞳孔中心的坐标位置并将所确认的坐标位置传递给向量确认部225。
取得部224利用存储在存储部228中的从摄像头116的中心到第一红外线光源的位置为止的向量和从摄像头116的中心到拍摄图像中的发自第一红外线光源的发射位置的向量，来确认穿过两个向量的平面。该平面上的某一处存在用户300的眼睛的眼角膜曲率的中心。同样，取得部224利用存储在存储部228中的从摄像头116的中心到第二红外线光源位置为止的向量和从摄像头116的中心到拍摄图像中的发自第二红外线光源的发射位置的向量，来确认穿过两个向量的平面。该平面上的某一处存在用户300的眼睛的眼角膜曲率的中心。然后，确认表示所确认的两个平面的交线的交线向量。取得部224将通过眼角膜曲率的中心的交线向量的信息作为与用户300的眼角膜曲率的中心有关的信息传递给向量确认部225。
向量确认部225利用瞳孔确认部223所确认的瞳孔中心的坐标位置、从取得部224传递的交线向量来确认从拍摄图像中的用户的眼睛的眼角膜曲率的中心到瞳孔中心的向量V。向量确认部225确认取得部224所取得的交线向量与摄像头116的图像传感器的虚拟交点，即，拍摄图像上的坐标位置。然后，将交线向量与图像传感器的交点作为眼角膜曲率的中心，确认该中心到瞳孔中心为止的向量V。该向量V包含向量的起始端(眼角膜曲率的中心)和向量的末端(瞳孔中心)的信息。向量确认部225将所确认的向量V传递给偏移检测部226。
偏移检测部226对向量确认部225在第一时间t1确认的向量V1和在第二时间t2确认的向量V2各自的位置坐标进行比较，来判定用户装载着的头戴式显示器100是否发生了偏移。偏移检测部226在向量V1和向量V2的长度和方向在规定范围内(误差范围内)一致且位置坐标不一致程度在规定以上的情况下，判定为用户装戴着的头戴式显示器100的装戴状态发生了偏移。除此之外的情况下，偏移检测部226判定为用户装戴着的头戴式显示器100未发生偏移。
校正部227具有根据偏移检测部226检测出的偏移量来校正视线检测部221检测出的用户300的凝视位置的功能。因此，即使用户300装戴着的头戴式显示器100发生偏移，经过对所检测的用户的凝视位置进行校正，也能够正确计算出用户的凝视位置。
存储部228为对视线检测装置200工作过程中所需的各种程序或数据进行记录的记录介质。存储部228可通过例如硬盘驱动器(HDD，Hard Disc Drive)、固态硬盘(SSD，Solid State Drive)等来实现。。存储部228中存储有视线检测部221进行视线检测所需的视线检测程序、瞳孔确认部223、取得部224、向量确认部225、偏移检测部226所使用的偏移检测程序或从摄像头116朝向各红外线光源的向量信息等。
以上对视线检测装置200的结构进行了说明。接着，对用户的凝视点的检测进行说明。
图6为说明用于实施方式的视线方向的检测的校准的示意图。用户300的视线方向通过视线检测装置200内的视线检测部221对摄像头116拍摄且从第一通信部118向各视线检测装置200输出的影像进行分析来实现。
影像生成部222生成如图6所示的点Q1至点Q9的9个点(标记图像)，并显示于头戴式显示器100的图像显示组件108。视线检测装置200依照点Q1至点Q9的顺序让用户300凝视各点。此时，用户300被要求保持脖子不动而尽可能地仅借助眼球的移动去凝视各点。摄像头116对包含用户300凝视着点Q1至点Q9这9个点时的用户300的眼角膜302的图像进行拍摄。
图7为说明用户300的眼角膜302的位置坐标的示意图。视线检测装置200内的视线检测部221分析摄像头116拍摄的图像来检测出源于红外线的亮点。当用户300仅借助眼球的移动而凝视着各点时，则即使用户凝视着任一点的情况时，亮点105的位置被认为并不会变动。如此一来，视线检测部221会以检测出的亮点105为基准在摄像头116拍摄的图像中设定出二维坐标系306。
视线检测部221再通过分析摄像头116拍摄的图像来检测出用户300的眼角膜302的中心P。这可通过例如霍夫变换、边缘抽取处理等已知的图像处理技术而得以实现。由此，视线检测部221能够取得所设定的二维坐标系306中的用户300的眼角膜302的中心P的坐标。
在图6中，图像显示组件108所显示的显示画面之中设定的二维坐标系中的点Q1至点Q9的坐标分别显示为Q1(x1、y1)T、Q2(x2、y2)T……，Q9(x9、y9)T。各坐标是以例如位在各点的中心的像素为编号。此外，将用户300凝视着点Q1至点Q9时的用户300眼角膜302的中心P分别显示为点P1至点P9。此时，分别将二维坐标系306之中的点P1至点P9的坐标显示为P1(X1、Y1)T、P2(X2、Y2)T、……、P9(Z9、Y9)T。此外，T表示向量或矩阵的转置。
现在，将大小为2×2的矩阵M定义成以下的公式(1)
[数学式1]
此时，如果矩阵M满足以下公式(2)，则矩阵M为用户300的视线方向投影到图像显示组件108所显示的图像面的矩阵。
QN＝MPN(N＝1，……，9) (2)
如果详细地写出上述公式(2)，将如以下公式(3)。
[数学式2]
如果改变公式(3)的型态的话，则可得到以下的公式(4)。
[数学式3]
在此，如果进行以下的替换，
[数学式4]
则可得到以下公式(5)。
y＝Ax (5)
公式(5)中，因为向量y的元素是视线检测部221使图像显示组件108所显示的点Q1至点Q9的坐标，故为已知。并且，因为矩阵A的元素是用户300的眼角膜302的顶点P的坐标，因此也能够取得。由此，视线检测部221能够取得向量y及矩阵A。此外，将作为转换矩阵M的元素排列而成的向量的向量x为未知。因此，在向量y与矩阵A为已知时，推算矩阵M的问题为求出未知的向量x的问题。
公式(5)中，如果公式的数目(即，视线检测部221在校准时提供给用户300的点Q的数目)比未知数的数目(即向量x的元素数4)多的话，则公式(5)为超定(overdetermined)问题。在公式(5)所示的例子中，因为公式的数目为9个，所以是超定问题。
将向量y和向量Ax的误差向量作为向量e。即，e＝y-Ax。此时，代表向量e的元素的平方和为最小的意义的最佳的向量Xopt可由以下公式(6)求得。
Xopt＝(ATA)-1ATy (6)
其中，“-1”表示反矩阵。
视线检测部221利用所求得的向量Xopt的元素来构成公式(1)的矩阵M。由此，视线检测部221利用用户300的眼角膜302的顶点P的坐标的矩阵M，根据公式(2)可推算出用户300的右眼存在凝视图像显示组件108所显示的动态图像上的何处。其中，视线检测部221还从头戴式显示器100接收用户的眼睛与图像显示组件108之间的距离信息，并根据上述距离信息对推算出的用户所凝视的坐标值进行修改。并且，基于用户的眼睛与图像显示组件108之间的距离的凝视位置的推算不一致属于误差的范围，可以无视。由此，视线检测部221能够计算出链接图像显示组件108上的右眼的凝视点和用户的右眼的眼角膜的顶点的右眼视线向量。同样地，视线检测部221能够计算出链接图像显示组件108上的左眼的凝视点和用户的左眼的眼角膜的顶点的左眼视线向量。并且，可以仅通过一只眼睛的视线向量来确认二维平面上的用户的凝视点，可通过获得两只眼睛的视线向量来计算至用户的凝视点的深度方向信息。由此，视线检测装置200可确认用户的凝视点。并且，在此表示的凝视点确认方法为一例，也可利用本实施方式所表示的方法之外的其他方法来确认用户的凝视点。
接着，对基于偏移检测部226的偏移检测进行说明。
图8为表示本发明中的拍摄系统统的示意图，是示意性地说明偏移检测部226检测装戴偏移时使用的向量840的图。
图8为表示摄像头116拍摄用户的眼睛的状态的示意图。并且，图10为俯视图8时的俯视图。在这里示出的是利用摄像头116拍摄从红外线光源L1、L2向用户的眼睛(右眼)发射不可见光(近红外线)的状态的例子。红外线光源L1、L2是红外线光源103a之中的任意的红外线光源。本来，凸透镜114或热反射镜112介于摄像头116之间。然后，如图3所示，摄像头116拍摄被热反射镜112反射一次的图像，但这里为了简化说明，示出了未被反射的状态。在图8示出了拍摄用户300的眼睛的摄像头116和向在其内部的图像传感器116p映射的图像。摄像头11为小型摄像头，拍摄光轴向摄像头116的中心116m汇聚。在图8中省略了其他红外线光源，以确保容易观察附图。
图8或图10中均示出了图像传感器116p在摄像头116的外部，但这是为了容易区分附图和说明内容。实际上，图像传感器116p在摄像头116的内部。同样，图10中的摄像头116的中心116m也在摄像头116的内部。并且，图10中的XY轴表示的坐标系是虚拟的。
偏移检测部226利用图8中示出的向量840来检测头戴式显示器100的装戴状态的偏移。该向量840是从用户300的眼角膜曲率中心朝向瞳孔中心的向量向图像传感器116p的映射。如图9所示，用户300的眼球不是正圆而具有眼角膜突出的结构是众所周知的。如图9所示，眼球801的端部有眼角膜302，成为凸透镜，该中心成为瞳孔中心804。并且，假设将眼角膜302划成正球的情况的球体成为眼角膜球802。该眼角膜球802的中心成为眼角膜302的眼角膜曲率的中心805。上述向量840是从眼角膜曲率的中心805连结瞳孔中心804的向量向图像传感器116p的映射(应当注意，实际映在图像传感器116p的只是瞳孔中心804的映射)。
如图8所示，从红外线光源L1发射的近红外线如向量832的光轴所示只向用户300的眼睛的发射位置806发射。该发射光被用户300的眼角膜302反射，穿过与图8的向量826反向的向量的光轴而朝向摄像头116的中心116m。映在用户300的眼睛的发射光作为映射816在图像传感器116p上成像。
同样，从红外线光源L2发射的近红外线如向量834的光轴所示向用户300的眼睛的发射位置803发射。该发射光被用户300的眼角膜302反射，穿过与图8的向量823反向的向量的光轴而朝向摄像头116的中心116m。映在用户300的眼睛的发射光作为映射813在图像传感器116p上成像。
并且，根据发自红外线光源L1、L2的扩散光，用户300的瞳孔中心804也在图像传感器116p上作为瞳孔映射814成像。
图8中，向量831为从摄像头116的中心116m朝向红外线光源L1的向量，向量833为从摄像头116的中心116m朝向红外线光源L2的向量。
图8中，向量831、向量832、向量826构成一个平面(以下称作第一平面)，该第一平面穿过用户的眼角膜曲率的中心805。如上所述，向量831是从摄像头116的中心116m朝向红外线光源L1的向量，是已知向量(实测值)。向量831的信息预先存储在存储部228中。向量826为从摄像头116的中心116m朝向发射位置806的向量，如图8、图10所示，从摄像头116的中心116m在图像传感器116p的映射816的延长上。摄像头116的中心116m与图像传感器116p之间的相对位置关系为已知的值(预先设定的值)，存储在存储部228中。因此，向量826通过计算出从摄像头116的中心116m朝向图像传感器116p上的映射816的向量，能够计算出向量826。因此，向量831是已知的值，向量826能够通过运算计算出，因此能够由向量826和向量831定义第一平面。
同样，向量833、向量834、向量823构成一个平面(以下称作第二平面)，该第二平面穿过用户的眼角膜曲率的中心805。如上所述，向量833是从摄像头116的中心116m朝向红外线光源L2的向量，是已知向量(实测值)。向量833的信息预先存储在存储部228中。向量823为从摄像头116的中心116m朝向发射位置803的向量，如图8、图10所示，从摄像头116的中心116m在图像传感器116p的映射813的延长上。摄像头116的中心116m与图像传感器116p之间的相对位置关系为已知的值(预先设定的值)，存储在存储部228中。因此，向量823通过计算出从摄像头116的中心116m朝向图像传感器116p上的映射813的向量，能够计算出向量823。因此，向量833是已知的值，向量823能够通过运算计算出，因此能够由向量823と、向量833定义第二平面。
两个平面共同穿过用户300的眼角膜曲率的中心805，第一平面和第二平面所形成的交线825也穿过用户300的眼角膜曲率的中心805。因此，只要能够求出第一平面和第二平面的交线825，就能够计算出眼角膜曲率的中心805在图像传感器116p上的虚拟的映射815作为交线825和图像传感器116p的交点。并且，只要能够计算出映射815在图像传感器116p上的坐标。就能够计算出向量840。这样一来，视线检测装置200(瞳孔确认部223、取得部224、向量确认部225)计算出向量840。此外，第一平面和第二平面平行的情况下，无计计算出向量840，因而这种情况下，视线检测装置200会将用于计算出平面的光源变更为其他红外线光源103。
图11是表示偏移在图像传感器上如何表现出的例子的侧视图。图11示出的是用户的眼睛从虚线表示的状态向实线表示的状态发生偏移的情况。虚线表示的状态的时间点设为t1，实线表示的状态的时间点设为t2。图11的例子示出了头戴式显示器100相对于用户300的装戴状态向上方向发生偏移的情况的例子。
假设，在时间点t1从眼角膜曲率的中心朝向瞳孔中心的向量901经由凸透镜114以及未图示的热反射镜112作为摄像头116的图像传感器116p上的向量840t1被检测到。同样，假设，在时间点t2从眼角膜曲率的中心朝向瞳孔中心的向量902经由凸透镜114以及未图示的热反射镜112作为摄像头116的图像传感器116p上的向量840t2被检测到。偏移检测部226对向量840t1和向量840t2进行比较，如果长度和方向一致且坐标位置不同，则检测为头戴式显示器100的装戴状态发生偏移。
以下，具体说明如何计算出向量840。
将定义上述第一平面的坐标集合设为Π。坐标集合Π可通过公式(7)定义。
[数学式5]
上述公式(7)中，向量CGi1是从摄像头116的中心116m朝向发射位置的向量，即图8、图10中的向量826。并且，向量CL1是从摄像头116的中心116m朝向红外线光源L1的向量，即图8、图10中的向量831。并且，定义第一平面的最后要素可将摄像头116的中心116m设为假设原点(0、0、0)利用以下公式(8)计算出。
Π1d＝d1＝－(a1x0+b1y0+c1z0)＝－(a1·0+b1·0+c1·0)＝0(8)
平面可通过X轴、Y轴、Z轴三轴的斜率和始于原点的距离来进行定义。第一平面穿过原点，能够将始于原点的距离设为0。因此，第一平面Π1能够按以下公式(9)定义。
[数学式6]
同样，第二平面Π2也能够按以下公式(10)定义。
[数学式7]
根据上述公式(9)以及公式(10)，第一平面与第二平面之间的交线l12(交线825)能够按以下公式(11)定义。
[数学式8]
眼角膜曲率的中心805的映射815作为公式(11)表示的交线825与图像传感器116p之间的交点能被计算出。因此，能够确认向量840为从上述交点朝向瞳孔映射814的向量。
动作
以下，利用图12的流程图对视线检测装置200的动作进行说明。图12是表示视线检测装置200进行检测用户装戴到头部的头戴式显示器100的装戴状态的偏移的处理的流程图。
步骤S1201
在步骤S1201中，视线检测装置200从头戴式显示器100取得时刻t的拍摄图像。第二通信部220接收到时刻t的拍摄图像后，存储到存储部228，并传递给视线检测部221、瞳孔确认部223、取得部224。视线检测部221利用接收到的拍摄图像，来确认用户300的凝视位置。之后，视线检测装置200的处理转移到步骤S1202。
步骤S1202
在步骤S1202中，接收到拍摄图像的瞳孔确认部223对拍摄图像进行图像分析，来确认拍摄图像中的用户的眼睛的瞳孔中心的坐标。瞳孔确认部223将所确认的瞳孔中心的坐标传递给向量确认部225，转移到步骤S1203。
步骤S1203
在步骤S1203中，接收到拍摄图像的取得部224利用上述方法来确认穿过用户300的眼角膜曲率的中心的交线。取得部224将所确认的交线传递给向量确认部225，并转移到步骤S1204。
步骤S1204
在步骤S1204中，接收到瞳孔中心和穿过眼角膜曲率的中心的交线的向量确认部225确认穿过眼角膜曲率的中心的交线与摄像头116的图像传感器相交的交点的坐标。然后，向量确认部225利用所确认的交点来计算出朝向接收到的瞳孔中心的向量V1。向量确认部225将所确认的向量V1传递给偏移检测部226，转移到步骤S1205。
步骤S1205
在步骤S1205中，第二通信部220判定是否取得了将新用户的眼睛拍摄得到的拍摄图像。待机至取得新的时刻t+1的拍摄图像(“否”)。取得新的时刻t+1的拍摄图像的情况(“是”)下，转移到步骤S1206。
步骤S1206
在步骤S1206中，接收到新的拍摄图像的瞳孔确认部223对拍摄图像进行图像分析，来确认拍摄图像中的用户的眼睛的瞳孔中心的坐标。瞳孔确认部223将所确认的瞳孔中心的坐标传递给向量确认部225，转移到步骤S1207。
步骤S1207
在步骤S1207中，接收到新的拍摄图像的取得部224利用上述方法来确认穿过用户300的眼角膜曲率的中心的交线。取得部224将所确认的交线传递给向量确认部225，转移到步骤S1208。
步骤S1208
在步骤S1208中，接收到瞳孔中心和穿过眼角膜曲率的中心的交线的向量确认部225首先确认穿过眼角膜曲率的中心的交线与摄像头116的图像传感器相交的交点的坐标，然后，向量确认部225计算出所确认的交点朝向接收到的瞳孔中心的向量V1。向量确认部225将所确认的向量V1传递给偏移检测部226，转移到步骤S1209。
步骤S1209
从步骤S1209至步骤S1210为止，偏移检测部226判定用户300装戴着的头戴式显示器100是否发生偏移。在步骤S1209中，偏移检测部226判定在步骤S1204确认的向量V1和在步骤S1208确认的向量V2的长度(在误差范围内)是否相等。在向量V1和向量V2的长度相等的情况(“是”)下，转移到步骤S1210，在不相等的情况(“否”)下，结束处理。
步骤S1210
在步骤S1210中，偏移检测部226判定向量V1的方向和向量V2的方向(在误差范围内)是否相同。在向量V1的方向和向量V2的方向相同的情况(“是”)下，转移到步骤S1211，在不相同的情况(“否”)下，结束处理。
步骤S1211
在步骤S1211中，偏移检测部226判定向量V1和向量V2的坐标位置是否相同。偏移检测部226可通过判定向量V1与向量V2之间的距离是否在规定距离以上，来判定坐标位置是否相同，或者向量V1和向量V2的起始端(或末端)的坐标位置是否不同。向量V1的坐标位置和向量V2的坐标位置不同的情况(“是”)下，转移到步骤S1212，并不不同，即，向量V1和向量V2的坐标位置(在误差范围内)相同的情况(“否”)下，结束处理。
步骤S1212
在步骤S1212中，从步骤S1209至步骤S1211的判定结果，偏移检测部226判定为用户300装戴着的头戴式显示器100从初始状态(从进行校准的时间点的装戴状态)就发生了偏移。偏移检测部226将向量V1和向量V2之间的偏移量传递给校正部227，转移到步骤S1213。在这里，偏移量为从向量V1朝向向量V2的向量，利用从向量V1的起始点(或终止点)朝向向量V2的起始点(或者终止点)的向量表示出。
步骤S1213
在步骤S1213中，校正部227根据从偏移检测部226传递的偏移量来校正视线检测部221检测出的凝视位置。具体地，校正部227将在视线检测部221检测出的凝视位置的坐标上把由偏移量表示的向量的反向量相加的坐标位置作为凝视位置输出。
从校正部227输出的凝视位置例如用于影像生成部222要生成的影像的生成。具体地，影像生成部222生成将所确认的凝视位置作为中心的规定范围的图像的分辨率调成高分辨率的图像并经由第二通信部220发送给头戴式显示器100。并且除此之外，凝视位置例如在视线检测系统1中例如可利用于游戏等应用程序运行时的输入位置，或者利用于通过确认图像中的注目位置的营销等。并且，在偏移检测部226判定为用户300装戴的头戴式显示器100未发生偏移的情况下，视线检测装置200不进行任何特殊处理。
视线检测装置200在视线检测系统1运行期间依次执行图12中示出的处理。
综合
如上所述，视线检测系统1利用拍摄得到的拍摄图像中的用户300的眼角膜曲率的中心805朝向摄像头116的图像传感器116p的虚拟的映射815，根据朝向瞳孔中心804的向图像传感器116p的瞳孔映射814的向量840，检测出用户300装戴头戴式显示器100的状态的偏移。用户300在头戴式显示器100发生偏移的瞬间，用户300的眼睛与刚好之前保持相同状态。因此，刚好之前的拍摄图像中的向量840和发生偏移的瞬间的拍摄图像中的向量840应该具有相同的长度和相同的方向。通过像这样对不同时间的向量840的长度、方向和坐标进行比较，偏移检测部226能够检测出用户300装戴头戴式显示器100的状态的偏移。在检测该偏移时，不需要诸如计算出眼角膜曲率的中心805的三维空间上的坐标或眼球801的中心的三维空间上的坐标的复杂计算。因此，能够通过计算量少的演算来检测用户300装戴头戴式显示器100的状态的偏移。并且，该检测具有头戴式显示器100不需要设置接触传感器等新的传感器的优点。
实施方式2
在上述实施方式1中说明了基于视线检测装置200的偏移检测及校正。然而，上述实施方式1的偏移检测及校正适用于特定的透镜。因此，在本实施方式2中将说明对任意形状的透镜检测装戴的头戴式显示器的偏移并进行校正的方法。
例1
首先，例1中表述了对一用户30进行校准。在例1中，与在上述实施方式1中示出的情况相同地，显示9个标记图像，拍摄凝视各个标记图像的用户30的眼睛，确认此时的瞳孔中心的拍摄系统中的坐标值，并与标记图像的拍摄系统中的坐标值建立关联来取得校准数据。
将拍摄图像系统中的用户的瞳孔中心的坐标设为X(x1、x2)，将对应的图像显示组件108中的映射的坐标设为Y(y1、y2)。此外要考虑能够变换为f1(X)＝y1、f2(X)＝y2的映射函数(mapping function)f1主函数f2。此外，函数f1及函数f2均为二次多项式。
作为上述二次多项式，构建利用平方核(kernel)的径向基函数(radial basisfunction)。根据该函数，利用所拍摄的图像系统中的用户的眼睛的瞳孔中心的坐标值推算出图像显示组件的坐标系中的用户的瞳孔中心的映射坐标值。
将与拍摄用户的眼睛得到的瞳孔中心的坐标有关的数据组设为Xn(0＜n≦N)，将平方核如下定义。此外，在这里，N为9，但该数不限定于9。
[数学式9]
于是，f1(X)及f2(X)能够如下定义。
[数学式10]
[数学式11]
在这里，上述公式中的未知系数a1及a2可如下定义。
[数学式12]
[数学式13]
为了求出未知系数，利用最小平方法。具体地，解开以下数学式。
[数学式14]
[数学式15]
在这里，A为N×N的正方矩阵。
如上所述，将与拍摄用户的眼睛得到的瞳孔中心的坐标有关的数据组设为Xn(0＜n≦N)时，将与图像显示组件的显示系统中的用户的瞳孔中心的坐标有关的数据组设为Yn(0＜n≦N)。Xn及Yn是通过测量得出的，因此是已知值。该数据通过进行上述实施方式表述的校准来得出。即，用户凝视在图像显示组件108的特定的坐标位置显示的标记图像。通过拍摄凝视该标记图像的用户的眼睛，来得出拍摄图像中的用户的瞳孔中心的坐标和图像显示组件108的特定的坐标位置之间的对应关系。
此时，平方核如下定义。
[数学式16]
其中，i∈n，j∈n
于是，能够用以下公式表示矩阵A。
[数学式17]
分解矩阵A，其伪逆矩阵(pseudo-inverse matrix)A+与A－1近似。于是，可通过以下数学式计算出a1、a2。
[数学式18]
[数学式19]
上述式中，T表示转置。如上所述，Xn、Yn均为已知的值，因而A－1也能够作为已知的矩阵计算出。并且，y11～y1N及y21～y2N也由于是标记图像的显示坐标位置，因而是已知的值。因此，a1及a2均可利用已知的值计算出。
根据以上说明的方法，视线检测装置200的视线检测部221能够利用计算出的系数a1、a2来计算出映射坐标值Yn。即，视线检测部221可通过利用从拍摄图像取得的瞳孔中心Xout演算出f1(Xout)和f2(Xout)来推算出凝视点Yout。
例2
上述例1中说明的是利用在用户自身的校准时的数据来进行推测，但在例2中说明的是即使是用户自身的校准数据少的状态也能够推算凝视位置的例子。
为了实现上述结构，视线检测装置200的存储部中预先存储好对多个用户进行校准时的校准数据(拍摄图像的数据和其拍摄时在图像显示组件108凝视着的坐标位置的数据)。并且，从中使用实际上接近装戴使用头戴式显示器100的用户30的校准数据来对其进行校正，来确认实际的凝视点。这利用了一种在视线检测时人的眼睛转动往往与他人的眼睛转动相似的事实，通过校正他人的校准数据，能够确认用户30的凝视点。因此，例2中，预先将多人的校准数据存储到视线检测装置200的存储部，关于实际装戴头戴式显示器100的用户30，利用凝视在两个不同坐标位置显示的标记图像的用户30的眼睛的拍摄图像，相比于对9个标记图像进行校准的情况能够缩减校准所需时间。以下，对该方法进行详细说明。
首先，假设最初观测到的第一瞳孔中心的拍摄图像中的坐标值和标记图像的显示位置的坐标值为(X1、Y1)。那么，假设hf(X′、Y)＝0，其变换函数能够用以下公式表示。
[数学式20]
ΔX＝X1-X′1
另一方面，假设第二瞳孔中心的显示位置的坐标值和标记图像的显示位置的坐标值为(X2、Y2)。此时，两个坐标值满足以下公式。
[数学式21]
标记图像的坐标值没有误差的情况下，变换系统λ成为1。在这里，变换系数λ是为了将他人的校准数据用于用户30的数据进行校正的系数。
然而，预先利用一个校准数据，从所拍摄的瞳孔中心变换为朝向图像显示组件108的映射位置(确认凝视点)的情况下，利用该最佳化也不能准确地确认凝视点，而致使凝视点发生错误。因此，为了进而确保准确性，从多人的校准数据选择最适合于装戴头戴式显示器100的用户30的校准数据，来抑制这种错误。
条件1
上述最佳化后的变换系数选择了最适合的校准数据的情况下，接近1。即，满足以下公式。
[数学式22]
条件2
利用上述最佳化后的变换系数变换成凝视两个标记图像的凝视点的误差最小(最小接近0)。即，满足以下数学式。
[数学式23]
条件3
推算的瞳孔中心的坐标位置和变换的瞳孔中心的坐标位置之间的误差成为最小(最小接近0)。即，满足以下公式。
[数学式24]
按照以下三个条件，从多个校准数据之中选择满足上述三个条件的校准数据。即，确认满足以下数学式的校准数据。
[数学式25]
视线检测装置200的视线检测部221从多个校准数据之中选择最接近用户30的校准数据，并对所选择的校准数据套用上述变换系数来进行视线检测。
此外，在这里说明的是利用三个条件选择最接近用户30的校准数据，但不限定于此，也可利用上述条件1至条件3之中的一个或两个来选择最接近用户30的校准数据。
如上所述，在例2的情况下，在将装戴使用头戴式显示器100的用户的校准次数尽量减少的状态下，实现视线检测，因而能够缩减校准所需时间和过程，同时，例如，使用头戴式显示器100玩游戏时的游戏开始时间能比进行校准的情况提前。
并且，从多个校准数据之中选择最适合于用户30的校准数据时，可以这样构成：按类似的校准数据分为多个群组，并设定好各个群组中作为代表的校准数据，从中确定最接近用户的群组，从包含在所确认的群组中的校准数据之中选择最接近用户30的校准数据。
例3
在上述例1及例2中说明了用户装戴的HMD(头戴式显示器)处于固定状态时进行校准的情况下计算出映射坐标位置的方法。在例3中将对HMD未固定的情况进行说明。在例3中，作为前提，在以下条件下进行校准。
例3的校准中，对于在4个位置显示的标记图像，用户一边一点点错开头戴式显示器100，一边维持凝视一个标记图像的状态，并拍摄该状态。优选地，此时的标记图像的位置的4点使用上述实施方式1中的9个标记图像的四个角落。在进行拍摄时，为了即使头戴式显示器处于偏移状态也能够正确地确认凝视点，取得规定帧数(例如100帧)。至于规定帧数，不管用户30装戴头戴式显示器100的状态如何，取得足以确认凝视点的帧数。对于4点，一边错开HMD，一边取得100帧的拍摄图像，来取得校准数据(表示拍摄图像中的瞳孔中心的坐标值、眼角膜曲率的中心的坐标值、此时用户凝视着的标记图像的图像显示组件108中的显示坐标之间的对应关系的数据)。并且，使用瞳孔中心的坐标值、眼角膜曲率的中心的坐标值来取得图像显示组件108中的凝视点的坐标值。以下，对进行这种校准时的凝视点的推算方法进行说明。
X＝{x1、x2、x3、x4}、Y＝{y1、y2}。
(x1、x2)＝(CCx、CCy)，表示瞳孔中心的拍摄坐标系中的坐标值。并且，(x1、x2)＝(PCx、PCy)，表示拍摄坐标系中的眼角膜曲率中心的坐标值。并且，(y1、y2)＝(Sx、Sy)，表示图像显示组件108的坐标系中的瞳孔中心的坐标值。
在这里，根据能够从拍摄图像取得的X，将X变换为图像显示组件108的坐标系的坐标值的变换函数g1、g2，即g1(X)＝y1、g2(X)＝y2表现为二次14项构成的多项式。
[数学式26]
[数学式27]
在上述数学式中，未知系数b1及b2如下表示。
[数学式28]
[数学式29]
在上述公式中，T表示转置。
为了确定该系数，能够利用最小二乗法进行计算。
即，能够利用以下两个公式计算出。
[数学式30]
[数学式31]
在这里，矩阵A为N×14的矩阵。在这里，假设观察得到的是Xn、Yn(n为0＜n≦N)，则矩阵A如下表示。
[数学式32]
分解该矩阵A，其伪逆矩阵A+与A－1近似。于是，能够通过以下数学式计算出b1、b2。
[数学式33]
[数学式34]
根据以上所示的内容，b1及b2可根据已知的值计算出。因此，根据从拍摄图像取得的X(瞳孔中心和眼角膜曲率的中心各自的坐标值)，对于图像显示组件108中的坐标Y使用上述变换式g1及g2，因而即使头戴式显示器的装戴状态发生偏移，也能够正确确认凝视点。
进而，至于预测的瞳孔中心(Pc′)，只要存在与眼角膜曲率的坐标值有关的信息，就能够利用目的函数hf通过以下数学式计算出。
[数学式35]
hf(P′C,Y)＝∑i＝1,2(fi(P′C)-yi)2
并且，至于图像显示组件108中的凝视点的坐标值，例如即使没有眼角膜曲率的中心的坐标。利用上述的函数f，也能够按以下数学式推算出。
[数学式36]
[数学式37]
[数学式38]
如上所述，通过建立好图像显示组件108中的4点的坐标值和拍摄图像之间的对应关系，能够进行这种校正。在例3的校准中，用户实际上一边错开头戴式显示器，一边进行校正，还能够取得假设偏移状态的校准数据。因此。实际使用时，即使头戴式显示器的装戴状态发生变化，也能够吸收其偏移，来确认凝视点。
例4
例4是上述例3的变形例。例4是例3的偏移检测简易版，与例2相同，示出利用他人的校准数据吸收头戴式显示器的装戴的偏移来确认凝视点的方法。例4中说明利用所取得的瞳孔中心和图像显示组件108中的映射坐标将眼角膜曲率的中心最佳化的方法。这是由于，相对于瞳孔中心的眼角膜曲率的中心因人而异，在利用他人的校准数据时，需要校正眼角膜曲率的中心。
在例4的校准时，以使用户30的瞳孔中心在来自左右配置的两个光源的光点的中心的方式，移动标记图像，设定显示屏坐标。在这种情况下，标记图像在中心显示，通过调整其位置能够设定显示屏坐标系。
用于将用以变换眼角膜曲率的中心的变换系数最佳化的目的函数hg能够通过利用用于视线检测的任意校准数据g(X)实现。
[数学式39]
hg(x′1,x′2,x3,x4,Y)＝∑i＝1,2(gi(x′1,x′2,x3,x4)-yi)2
在上述数学式中，当hg＝0时，可利用已知的值x3、x4、y1、y2计算出(x1′、x2′)。具体地，能够如下设定变换系数。
[数学式40]
[数学式41]
此时，上述λ1及λ2满足以下公式。
[数学式42]
[数学式43]
并且，利用计算出的λ1及λ2，利用以下的数学式，最终能够计算出图像显示组件108中的凝视点。
[数学式44]
此外，对多个(n个)标记进行测定的情况下，以下公式成立，如上所述，能够通过计算出未知的系数λ1及λ2来确认凝视点。
[数学式45]
hg(x′1,x′2,x3,x4,Y)＝∑n＝1∑i＝1,2(gi(x′n1,x′n2,xn3,xn4)-yni)2
此外，在这里示出的各种例子中，能够通过以下的组合来确认凝视点和校正装戴偏移的凝视点。即，例1、例2是用于确认凝视点的方法，例3、例4示出的是检测偏移，在偏移情况下确认凝视点的方法。因此。有必要运用以下组合。
即，可考虑如下组合：
例1)+例3)
例2)+例3)
例1)+例4)
例2)+例4)
的组合。例1和例2的组合能够确认最适合于用户的凝视点，因此视线检测的精度最高。即，将头戴式显示器100利用于个人是最适合。另一方面，能够缩短校准所需时间的是例2和例4的组合。在这种情况下，在多个用户使用的情况，例如将头戴式显示器100应用于活动的情况下，能够短时间内校准头戴式显示器100。
补充
本发明的视线检测系统不限定于上述实施方式，当然可以通过用于实现本发明思想的其他方法实现。以下，对各种变形例进行说明。
(1)在上述实施方式中，显示标记图像(亮点)的位置为一例，只要在用于进行用户的视线检测的不同位置显示，取得凝视各个位置的用户的眼睛的图像，确认此时的用户的眼睛的中心，就不限定于上述实施方式中的显示位置是不言而喻的。并且，此时显示标记图像的数量也不限定于9个，而且确认上述矩阵x的4个因素，只要成立4个公式即可，因而只要确认关于至少4个点的标记图像的用户的眼角膜中心就足矣。
(2)在上述实施方式中，为了检测用户300的视线，作为拍摄用户300的眼睛的方法，拍摄的是被热反射镜112反射的影像，但也可以不通过热反射镜112而直接拍摄用户300的眼睛。
(3)在上述实施方式中，步骤S1202和步骤S1203可以并列执行，也可以先处理步骤S1203之后处理步骤S1202。
(4)在上述实施方式中，虽未作特殊限定，但至于用户300的眼角膜曲率的中心，可通过利用来自三个红外线光源的发射位置确认穿过第三个眼角膜曲率的中心的平面，来计算出3个穿过眼角膜曲率的中心的平面的交点作为眼角膜曲率的中心坐标。
(5)在上述实施方式中，关于凸透镜114的曲率未作特殊记载，但有时候需要与向量840映射的显示位置相对应地进行与凸透镜114的曲率相对应的校正。进行这种校正时，可预先在存储部228中存储好校正有关的校正函数。这种校正函数可通过事前的模拟利用视线检测装置200的操作符计算出适当的函数进行输入即可。此外，如果凸透镜114是接近平板的透镜，则不需要进行这种校正。
(6)在上述实施方式中，向量840可以是相反向量。即，向量840可以是从用户300的瞳孔中心的瞳孔映射814朝向用户300的眼角膜曲率的中心805的映射815的向量。即使是这种向量，偏移检测部226也能够与上述实施方式同样地检测出头戴式显示器100的装戴状态的偏移。
(7)在上述实施方式中，视线检测部221、影像生成部222、瞳孔确认部223、取得部224、向量确认部225、偏移检测部226、校正部227可由一个控制部，即一个处理器实现，也可由多个控制部实现。
(8)并且，在上述实施方式中，作为检测用户装戴的装戴件(头戴式显示器100)的偏移的偏移检测方法，通过视线检测装置200的处理器运行偏移检测程序等来确认用户凝视着的位置，但这也可借助形成于集成电路(IC；Integrated Circuit)芯片、大规模集成电路(LSI，Large Scale Integration)等的逻辑电路(hardware)或专用电路来实现。并且，这些电路可由一个或多个集成电路实现，也可由一个集成电路实现上述实施方式中示出的多个功能部的功能。LSI根据集成度的不同而可分别称为VLSI、超级LSI、特级LSI等。即，如图14所示，视线检测系统1可由发射回路120a、摄像头116、瞳孔确认回路223a、取得回路224a、向量确认回路225a、偏移检测回路226a构成，各自的功能与在上述实施方式中示出的名称相同的各个部分相同。
并且，上述偏移检测程序可被记录在处理器可读取的记录介质，作为记录介质，可利用“非暂时性的有形的介质”，例如磁带、磁盘、半导体存储器、可程序化的逻辑电路等。并且，上述偏移检测程序可经由能够传输该偏移检测程序任意的传输介质(通信网络或播放信号等)向上述处理器供给。本发明中，上述偏移检测程序还可由电子格式的传送所具体执行的嵌埋于载波数据信号的方式得以实现。
此外，上述偏移检测程序可以利用例如ActionScript、JavaScript(注册商标)等脚本语言、Objective-C、Java(注册商标)等编译语言、HTML5等标记语言来进行安装。
并且，本发明的视线检测方法用于通过包括用户装戴使用的头戴式显示器和用于检测上述用户的视线的视线检测装置的视线检测系统进行视线检测，其特征在于，上述视线检测装置向上述头戴式显示器输出标记图像，上述头戴式显示器显示上述标记图像，拍摄凝视上述标记图像的用户的眼睛，将包含拍摄得到的用户的眼睛的图像输出给上述视线检测装置，上述视线检测装置生成将上述标记图像以及包含凝视着上述拍摄得到的上述标记图像的用户的眼睛在内的图像重叠起来的合成图像，并输出所生成的合成图像。
(9)上述实施方式中示出的结构及各补充可适当组合。

Claims (10)

1.一种视线检测系统，包括用户装戴使用的装戴件，其特征在于，包括：
多个发射部，向用户的眼睛发射不可见光；
摄像头，根据上述不可见光来拍摄上述用户的眼睛；
瞳孔确认部，从上述摄像头拍摄得到的拍摄图像中确认上述用户的瞳孔中心；
取得部，根据上述多个发射部的配置位置、从上述多个发射部向上述用户的眼睛发射的发射光的发射位置以及上述摄像头的配置位置，来取得与上述用户的眼角膜曲率的中心位置有关的信息；
向量确认部，确认将上述拍摄图像中的上述用户的眼角膜曲率中心和上述瞳孔中心连结起来的向量；
偏移检测部，根据上述向量来对上述用户装戴的上述装戴件的装戴状态的偏移进行检测。
2.根据权利要求1所述的视线检测系统，其特征在于，
上述视线检测系统还包括用于对表示上述多个发射部与上述摄像头的配置位置的配置信息进行存储的存储部，
上述取得部根据存储在上述存储部中的上述多个发射部之中的第一发射部的配置信息、从上述第一发射部发射的不可见光相对于上述用户的眼睛的第一发射位置、存储在上述存储部中的上述多个发射部之中的与上述第一发射部不同的第二发射部的配置信息、从上述第二发射部发射的不可见光相对于上述用户的眼睛的第二发射位置以及上述摄像头的配置位置，来取得与上述用户的眼角膜曲率的中心位置有关的信息。
3.根据权利要求2所述的视线检测系统，其特征在于，上述取得部取得包括从上述摄像头的中心位置朝向上述第一发射部的第一向量和从上述摄像头的中心位置朝向上述第一发射位置的第二向量的第一平面以及包括从上述摄像头的中心位置朝向上述第二发射部的第三向量和从上述摄像头的中心位置朝向上述第二发射位置的第四向量的第二平面之间的交线作为与上述用户的眼角膜曲率的中心位置有关的信息。
4.根据权利要求3所述的视线检测系统，其特征在于，上述向量确认部将上述交线与上述摄像头的图像传感器之间的交点作为上述拍摄图像中的上述用户的眼角膜曲率的中心来确认上述向量。
5.根据权利要求1至4中任一项所述的视线检测系统，其特征在于，在第一时刻由上述向量确认部确认的作为上述向量的第一向量的位置和在上述第一时刻开始规定时间内的第二时刻由上述向量确认部确认的作为上述向量的第二向量的位置处于不同位置的情况下，上述偏移检测部检测出偏移。
6.根据权利要求1至5中任一项所述的视线检测系统，其特征在于，
上述装戴件为头戴式显示器，
上述视线检测系统还包含视线检测装置，
上述装戴件包括上述发射部、上述摄像头以及用于将上述拍摄图像发送给上述视线检测装置的发送部，
上述视线检测装置包括用于接收上述拍摄图像的接收部、上述瞳孔确认部、上述取得部、上述向量确认部以及上述偏移检测部。
7.根据权利要求6所述的视线检测系统，其特征在于，
上述装戴件还包括用于向上述用户提示图像的显示部，
上述视线检测装置还包括视线检测部，上述视线检测部根据上述拍摄图像来检测出凝视上述图像的用户的凝视位置。
8.根据权利要求7所述的视线检测系统，其特征在于，
上述视线检测装置还包括校正部，上述校正部根据上述偏移检测部检测出的偏移，来校正上述视线检测部检测出的用户的凝视位置。
9.一种偏移检测方法，其特征在于，包括如下步骤：
发射步骤，从多个发射部向用户的眼睛发射不可见光；
拍摄步骤，根据上述不可见光来拍摄上述用户的眼睛；
瞳孔确认步骤，从通过上述拍摄步骤拍摄得到的拍摄图像中确认上述用户的瞳孔中心；
取得步骤，根据上述多个发射部的配置位置、从上述多个发射部向上述用户的眼睛发射的发射光的发射位置以及上述摄像头的配置位置，来取得与上述用户的眼角膜曲率的中心的位置有关的信息；
向量确认步骤，确认将上述拍摄图像中的上述用户的眼角膜曲率的中心与上述瞳孔中心连结起来的向量；
偏移检测步骤，根据上述向量检测出上述用户装戴的装戴件的装戴状态的偏移。
10.一种偏移检测程序，用于检测出用户装戴使用的装戴件的装戴状态的偏移，其特征在于，使计算机实现如下功能：
拍摄图像取得功能，取得根据从用于向用户的眼睛发射不可见光的多个发射部发射的上述不可见光来拍摄上述用户的眼睛的摄像头拍摄得到的拍摄图像；
瞳孔确认功能，从上述拍摄图像中确认上述用户的瞳孔中心；
取得功能，根据上述多个发射部的配置位置、从上述多个发射部向上述用户的眼睛发射的发射光的发射位置、上述摄像头的配置位置，来取得与上述用户的眼角膜曲率的中心的位置有关的信息；
向量确认功能，确认将上述拍摄图像中的上述用户的眼角膜曲率的中心和上述瞳孔中心连结起来的向量；
偏移检测功能，根据上述向量来检测出上述用户装戴的上述装戴件的装戴状态的偏移。
CN201710623538.1A 2016-07-27 2017-07-27 视线检测系统、偏移检测方法、偏移检测程序 Pending CN107665040A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-147519 2016-07-27
JP2016147519 2016-07-27
JP2017-143702 2017-07-25
JP2017143702A JP6485819B2 (ja) 2016-07-27 2017-07-25 視線検出システム、ずれ検出方法、ずれ検出プログラム

Publications (1)

Publication Number Publication Date
CN107665040A true CN107665040A (zh) 2018-02-06

Family

ID=61009896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710623538.1A Pending CN107665040A (zh) 2016-07-27 2017-07-27 视线检测系统、偏移检测方法、偏移检测程序

Country Status (2)

Country Link
US (1) US10409368B2 (zh)
CN (1) CN107665040A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111528787A (zh) * 2020-04-30 2020-08-14 苏州亿格视觉科技有限公司 一种基于虚拟现实的中央眼测试方法
CN111684394A (zh) * 2018-03-15 2020-09-18 欧姆龙株式会社 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
CN112306229A (zh) * 2019-08-02 2021-02-02 佳能株式会社 电子装置、控制方法和计算机可读介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496166B2 (en) * 2016-04-12 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Eye tracking device and eye tracking method
US9874934B1 (en) * 2016-07-29 2018-01-23 International Business Machines Corporation System, method, and recording medium for tracking gaze with respect to a moving plane with a camera with respect to the moving plane
CN106873159A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US20180356885A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
CN110032271B (zh) * 2018-01-12 2020-07-24 京东方科技集团股份有限公司 对比度调节装置及其方法、虚拟现实设备及存储介质
WO2019143864A1 (en) * 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
AU2019209930B2 (en) 2018-01-17 2023-08-03 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
US10591737B2 (en) * 2018-04-20 2020-03-17 Dell Products L.P. Systems and methods for automatic adjustment of head mounted display straps
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示系统和方法
CN111124103A (zh) * 2018-10-31 2020-05-08 托比股份公司 检测头戴式装置的重新定位
CN110135290B (zh) * 2019-04-28 2020-12-08 中国地质大学（武汉） 一种基于SSD和AlphaPose的安全帽佩戴检测方法及系统
CN110083251A (zh) * 2019-06-03 2019-08-02 北京七鑫易维科技有限公司 眼球追踪装置及眼球追踪设备
US11914764B2 (en) * 2021-03-26 2024-02-27 Htc Corporation Head mounted display device
WO2023102500A1 (en) * 2021-12-01 2023-06-08 Magic Leap, Inc. Methods for controlling performance of extended reality display systems

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19953835C1 (de) * 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
CA2545202C (en) * 2003-11-14 2014-01-14 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
JPWO2012137801A1 (ja) * 2011-04-07 2014-07-28 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 入力装置及び入力方法並びにコンピュータプログラム
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
EP2979635B1 (en) * 2014-07-31 2018-10-24 JVC KENWOOD Corporation Diagnosis supporting device, diagnosis supporting method, and computer-readable recording medium
US9798383B2 (en) * 2014-09-19 2017-10-24 Intel Corporation Facilitating dynamic eye torsion-based eye tracking on computing devices
JP2016149660A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6586991B2 (ja) * 2015-02-23 2019-10-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6693105B2 (ja) * 2015-12-01 2020-05-13 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
JP6638354B2 (ja) * 2015-12-01 2020-01-29 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111684394A (zh) * 2018-03-15 2020-09-18 欧姆龙株式会社 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
US11903647B2 (en) 2018-03-15 2024-02-20 Omron Corporation Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, and storage medium
CN112306229A (zh) * 2019-08-02 2021-02-02 佳能株式会社 电子装置、控制方法和计算机可读介质
CN111528787A (zh) * 2020-04-30 2020-08-14 苏州亿格视觉科技有限公司 一种基于虚拟现实的中央眼测试方法

Also Published As

Publication number Publication date
US20180032133A1 (en) 2018-02-01
US10409368B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
CN107665040A (zh) 视线检测系统、偏移检测方法、偏移检测程序
CN107547796A (zh) 外部拍摄系统、外部拍摄方法及外部拍摄程序
US10242504B2 (en) Head-mounted display device and computer program
CN107850937A (zh) 视线检测系统、头戴式显示器、视线检测方法
US11200646B2 (en) Compensation for deformation in head mounted display systems
CN110321773A (zh) 使用校准参数的用于三维（3d）注视预测的神经网络训练
CN107450720A (zh) 视线检测系统
JP6485819B2 (ja) 視線検出システム、ずれ検出方法、ずれ検出プログラム
CN107111381A (zh) 视线检测系统、凝视点确认方法以及凝视点确认程序
WO2020014700A1 (en) Systems and methods for display binocular deformation compensation
CN109151301A (zh) 包括相机模块的电子装置
CN109557669B (zh) 头戴显示设备的图像漂移量的确定方法及头戴显示设备
CN108600576A (zh) 图像处理装置、方法和系统以及计算机可读记录介质
CN108139806A (zh) 相对于可穿戴设备跟踪穿戴者的眼睛
CN107847128A (zh) 确定瞳孔距离的装置、系统和方法
US11665334B2 (en) Rolling shutter camera pipeline exposure timestamp error determination
CN104615233A (zh) 信息处理设备以及信息处理方法
CN107560637B (zh) 头戴显示设备校准结果验证方法及头戴显示设备
TWI406694B (zh) 應用於３ｄ互動系統之互動模組及其方法
US11575874B2 (en) Sensor misalignment compensation
CN109429061A (zh) 影像显示系统、影像显示方法及影像显示程序
JP2019054463A (ja) 撮像装置
JPWO2019026287A1 (ja) 撮像装置および情報処理方法
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
CN109587471A (zh) 图像显示系统、图像显示方法及图像显示程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180206

WD01 Invention patent application deemed withdrawn after publication