CN107111381A - 视线检测系统、凝视点确认方法以及凝视点确认程序 - Google Patents

视线检测系统、凝视点确认方法以及凝视点确认程序 Download PDF

Info

Publication number
CN107111381A
CN107111381A CN201580038932.8A CN201580038932A CN107111381A CN 107111381 A CN107111381 A CN 107111381A CN 201580038932 A CN201580038932 A CN 201580038932A CN 107111381 A CN107111381 A CN 107111381A
Authority
CN
China
Prior art keywords
user
sight
left eye
right eye
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580038932.8A
Other languages
English (en)
Inventor
洛克拉因·威尔逊
濑古圭
濑古圭一
小岛由香
金子大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fove Ltd By Share Ltd
Original Assignee
Fove Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove Ltd By Share Ltd filed Critical Fove Ltd By Share Ltd
Publication of CN107111381A publication Critical patent/CN107111381A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种视线检测系统，其用于检测装戴了头戴式显示器的用户的视线方向来确认凝视点，其中，被装戴在用户的头部上使用的头戴式显示器显示三维影像，对所述用户的右眼及左眼发射红外线，并对被发射所述红外线的所述用户的右眼及左眼摄影，将摄影所得到的影像数据输出到检测用户的视线的视线检测装置，所述视线检测装置基于对所述右眼所摄影到的影像确认所述用户的右眼的视线方向，基于对所述左眼所摄影到的影像确认所述用户的左眼的视线方向，基于所述右眼的视线方向与所述左眼的视线方向，而确认用户于所述三维影像中所凝视着的场所。

Description

视线检测系统、凝视点确认方法以及凝视点确认程序
技术领域
本发明涉及一种头戴式显示器。
背景技术
将近红外线等不可见光发射到用户的眼睛，并藉由分析包含其反射光的用户的眼睛的影像而检测出用户的视线方向的技术乃是已知技术。使检测出的用户的视线方向的信息反映在，例如PC(Personal Computer)、游戏机等的显示器上，而当作指向装置使用，也已成为实际的技术。
[专利文献]
[专利文献1]日本专利公开公报第2-264632号
发明内容
有鉴于此，本发明的目的之一，在于提供一种头戴式显示器，为用以对装戴了此头戴式显示器的用户提供三维的影像的影像显示设备。一般而言，以覆盖住用户的视野的方法装戴头戴式显示器而加以使用。因此，装戴了头戴式显示器的用户将被遮住外界的影像。如果将头戴式显示器当作电影、游戏等的影像的显示设备使用时，用户将难以察看控制器等的输入设备。
因此，如果能够检测装戴了头戴式显示器的用户的视线方向，而当作指向装置的替代方法加以使用的话，将较方便。
有鉴于此课题，本发明的目的在于，提供一种检测装戴了头戴式显示器的用户的视线方向的技术。
[解决课题的手段]
为了解决上述的课题，本发明的一实施方式为一种视线检测系统，包含被装戴在用户的头部上使用的头戴式显示器、以及检测所述用户的视线的视线检测装置，其中所述头戴式显示器具有第一红外线发射部，其对所述用户的右眼发射红外线、第二红外线发射部，其对所述用户的左眼发射红外线、第一摄影组件，其就被发射所述红外线的所述右眼进行摄影、第二摄影组件，其就被发射所述红外线的所述左眼进行摄影、及显示部，其显示三维影像，且所述视线检测装置具有第一检测部，其基于由所述第一摄影组件所摄影到的影像检测所述右眼的视线方向、第二检测部，其基于由所述第二摄影组件所摄影到的影像检测所述左眼的视线方向、及确认部，其基于所述右眼的视线方向与所述左眼的视线方向，而确认所述用户于所述三维影像之中所凝视着的场所。
再者，第一检测部也可计算表示该右眼视线方向的右眼视线向量，而作为所述右眼的视线方向，且第二检测部也可计算表示该左眼视线方向的左眼视线向量，而作为所述左眼的视线方向。
再者，显示部也可在纵深方向上显示出由多个层所形成的三维影像，且确认部也可确认右眼视线向量和左眼视线向量与各层相交的交点间的距离为最短的层，而将该层视为用户所凝视着的场所的层。
再者，确认部也可基于右眼视线向量与左眼视线向量的交点，而确认用户所凝视着的场所。
再者，确认部也可基于以右眼视线向量为中心的预定半径的圆柱体、与以左眼视线向量为中心的预定半径的圆柱体的交差区域，而确认用户所凝视着的场所。
再者，确认部也可基于与右眼视线向量平行的多个第一平行视线向量和与左眼视线向量平行的多个第二平行视线向量的交点，而确认用户所凝视着的场所。
再者，即使任意地组合以上的组成组件、或即使将本发明的表现型态改变成方法、装置、系统、计算器程序、数据结构、记录媒体等，仍可有效地当作本发明的实施方式。
[发明的效果]
藉由本发明的话，可提供一种检测装戴了头戴式显示器的用户的视线方向的技术。
附图说明
图1为绘示出用户装戴了根据本实施方式的头戴式显示器的模样的外观图。
图2为绘示出根据本实施方式的头戴式显示器的影像显示系统的外观的透视示意图。
图3为绘示出根据本实施方式的头戴式显示器的影像显示系统的光学配置的示意图。
图4为绘示出根据本实施方式的头戴式显示器的构造的方块图。
图5为说明用以校准根据本实施方式的视线方向的检测的示意图。
图6为说明用户的眼角膜的位置坐标的示意图。
图7为说明与本第一实施例有关的确认用户所凝视着的场所的方法的概念图。
图8为绘示出与第一实施例有关的头戴式显示器系统的动作的流程图。
图9为说明与本第二实施例有关的确认用户所凝视着的场所的方法的概念图。
图10为绘示出与第二实施例有关的头戴式显示器系统的动作的流程图。
图11为说明与本第三实施例有关的确认用户所凝视着的场所的方法的概念图。
图12为绘示出与第三实施例有关的头戴式显示器系统的动作的流程图。
附图标记说明
1：影像系统
100：头戴式显示器
103、103a、103b、103c、103d、103e、103f：红外线光源
105、105a、105b、105c、105d、105e、105f：亮点
108：影像显示组件
112：热反射镜
114、114a、114b：凸透镜
116：摄影机
118：第一通信部
121：显示部
122：红外线发射部
123：图像处理部
124：摄影部
130：影像显示系统
150：框体
152、152a、152b：透镜支持部
160：装戴件
170：头戴式耳机
200：影像再生装置
220：第二通信部
221：第一检测部
222：第二检测部
223：确认部
224：影像输出部
225：记录部
230：视线方向检测部
300：用户
302、302a、302b：眼角膜
306：二维坐标系
701a：右眼视线向量
701b：左眼视线向量
702、911a、911b、921a、921b：交点
910、920：选单影像
1101a、1101b：圆柱体
1102：相交的区域
P：中心
Q1、Q2、Q3、Q4、Q5、Q6、Q7、Q8、Q9：点
S801、S802、S803、S804、S805、S1003、S1004、S1005、S1203、S1204、S1205：步骤
X1、Y1：坐标
具体实施方式
图1为绘示出根据本实施方式的影像系统1的外观的示意图。根据本实施方式的影像系统1，包含头戴式显示器100与影像再生装置200。如图1所示，头戴式显示器100被装戴在用户300的头部上使用。
影像再生装置200形成由头戴式显示器100所显示的影像。虽然没有限制，但举例而言，影像再生装置200为桌上型的游戏机、携带式游戏机、PC、平板计算器、智能手机、平板手机、视频播放器、电视机等可再生影像的装置。影像再生装置200以无线或有线的方法与头戴式显示器100连接。在图1所示的例子中，影像再生装置200以无线的方法与头戴式显示器100连接。影像再生装置200与头戴式显示器100的无线连接，利用例如已知的Wi-Fi(注册商标)、蓝芽(Bluetooth，注册商标)等的无线通信技术而可加以实现。虽然没有限制，但举例而言，头戴式显示器100与影像再生装置200之间的影像的传送乃依据Miracast(商标)、WiGig(商标)、WHDI(商标)等的规格运作。
再者，图1绘示出头戴式显示器100与影像再生装置200为不同的装置的情况的例子。然而，也可将影像再生装置200内建在头戴式显示器100之中。
头戴式显示器100包括框体150、装戴件160、以及头戴式耳机170。框体150收纳影像显示组件、用以提供影像给用户300的影像显示系统、未绘示的Wi-Fi模块、蓝芽(Bluetooth，注册商标)模块等的无线传送模块等。装戴件160将头戴式显示器100装戴在用户300的头部。例如藉由带子、有伸缩性的带子等实现装戴件160。如果用户300利用装戴件160装戴上头戴式显示器100时，框体150就会覆盖住用户300的眼睛。因此，当用户300装戴上头戴式显示器100时，用户300的视野就被框体150所遮盖。
头戴式耳机170输出影像再生装置200所再生的影像的声音。头戴式耳机170也可非固定在头戴式显示器100之上。即使在用户300利用装戴件160装戴了头戴式显示器100的状态下，也可自由地装卸头戴式耳机170。
图2为绘示出根据本实施方式的头戴式显示器100的影像显示系统130的外观的透视示意图。更具体而言，图2绘示出：在根据本实施方式的框体150之内，装戴了头戴式显示器100时的用户300的眼角膜302与相对的区域的关系图。
如图2所示，当用户300装戴了头戴式显示器100的时候，左眼用凸透镜114a将位在面对着用户300的左眼的眼角膜302a的位置上。同样地，当用户300装戴了头戴式显示器100的时候，右眼用凸透镜114b将位在面对着用户300的右眼的眼角膜302b的位置上。左眼用凸透镜114a与右眼用凸透镜114b分别由左眼用透镜支持部152a与右眼用透镜支持部152b所夹持。
在本说明书的以下内容中，除了要特别区分左眼用凸透镜114a与右眼用凸透镜114b的情况以外，皆简单地表示成“凸透镜114”。同样地，除了要特别区分用户300的左眼的眼角膜302a与用户300的右眼的眼角膜302b的情况以外，皆简单地表示成“眼角膜302”。左眼用透镜支持部152a与右眼用透镜支持部152b也是一样地，除了要特别区分的情况以外，皆表示成“透镜支持部152”。
在透镜支持部152之上，设有多个红外线光源103。为了避免说明复杂起见，在图2之中，虽然仅对第一红外线光源103a、第二红外线光源103b、以及第3红外线光源103c(以下，除了要特别区分的情况以外，皆表示成“红外线光源103”)附加标号，具有与图中附加有标号的组件相同形状者也代表红外线光源103。在图2所示的例子中，左眼用透镜支持部152a之上设有六个红外线光源103。同样地，右眼用透镜支持部152b之上也设有六个红外线光源103。如此，免于将红外线光源103直接设在凸透镜114之上，而是将其设在用以夹持凸透镜114的透镜支持部152之上，藉此，可以简化红外线光源103的安装。一般而言，因为透镜支持部152由树脂等所形成，故相较于由玻璃等所形成的凸透镜114而言，将容易在其上进行用以安装红外线光源103所需的加工。
如上所述，透镜支持部152为用以夹持凸透镜114的构件。因此，设在透镜支持部152之上的红外线光源103将位在凸透镜114的周围的位置上。再者，在此，虽然对各眼睛发射红外线光的红外线光源103定作六个，但并不仅限于此数目，只要有至少一个对应于各眼睛的红外线光源即可，设置二个以上会更好。
图3为绘示出根据本实施方式的框体150所收纳的影像显示系统130的光学配置的示意图，也是从左眼侧的侧面所看到的图2的框体150的图形。影像显示系统130包括红外线光源103、影像显示组件108、热反射镜(Hot mirror)112、凸透镜114、摄影机116、以及第一通信部118。
红外线光源103为可发射近红外线(700nm-2500nm程度)的波长谱带的光线的光源。一般而言，近红外线为用户300的肉眼无法察觉的不可见光的波长谱带的光线。
影像显示组件108显示用以提供给用户300的影像。影像显示组件108所显示的影像是由视线检测装置200之中的影像输出部224所产生。以下将就影像输出部224加以说明。例如，利用已知的LCD(Liquid Crystal Display)、有机EL显示器(OrganicElectroluminescent Display)可以实现影像显示组件108。
当用户300装戴了头戴式显示器100时，热反射镜112将位在影像显示组件108与用户300的眼角膜302之间。热反射镜112具有以下特性，即供影像显示组件108所产生的可见光穿过，但将近红外线反射。
相对于热反射镜112而言，凸透镜114位在影像显示组件108的相反侧。换言之，当用户300装戴了头戴式显示器100时，凸透镜114将位在热反射镜112与用户300的眼角膜302之间。亦即，当头戴式显示器100被装戴到用户300时，凸透镜114将位在面对着用户300的眼角膜302的位置上。
凸透镜114汇聚穿过热反射镜112的影像显示光线。因此，凸透镜114具有当作将影像显示组件108所产生的影像放大而提供给用户300的影像拡大部的机能。再者，为了方便说明起见，虽然在图2之中仅绘示出一个凸透镜114，凸透镜114也可以是结合各种透镜所组成的透镜组，或者，也可以是一面为曲面、而另一面为平面的单凸透镜。
多个红外线光源103被设置在凸透镜114的周围。红外线光源103朝向用户300的眼角膜302发射红外线。
虽然未绘示，根据本实施方式的头戴式显示器100的影像显示系统130具备二个影像显示组件108，而可单独地产生用以提供给用户300的右眼的影像与用以提供给左眼的影像。因此，根据本实施方式的头戴式显示器100可以分别提供右眼用的视差影像与左眼用的视差影像给用户300的右眼与左眼。藉此，根据本实施方式的头戴式显示器100可以对用户300提供具有层次感的立体影像。
如上所述，热反射镜112可让可见光穿过，而将近红外线加以反射。因此，影像显示组件108所发射的影像光会穿过热反射镜112而到达用户300的眼角膜302。此外，由红外线光源103所发射、而在凸透镜114的内部的反射区域被反射的红外线会到达用户300的眼角膜302。
到达用户300的眼角膜302的红外线会被用户300的眼角膜302反射，而再度射向凸透镜114的方向。此红外线会穿过凸透镜114，而被热反射镜112反射。摄影机116具备用以滤除可见光的滤光片，而将被热反射镜112反射的近红外线加以摄影。亦即，摄影机116为近红外线摄影机，其对由红外线光源103所发射、而在用户300的眼睛处被眼角膜反射的近红外线进行摄影。
再者，虽然未绘示，根据本实施方式的头戴式显示器100的影像显示系130具有二个摄影机116，亦即，将包含被右眼所反射的红外线的影像摄影的第一摄影部、将包含被左眼所反射的红外线的影像摄影的第二摄影部。藉此，可以获得用以检测用户300的右眼以及左眼的两眼的视线方向的影像。
第一通信部118将摄影机116所摄影到的影像输出到用以检测用户300的视线方向的视线检测装置200。具体而言，第一通信部118将摄影机116所摄影到的影像传送到视线检测装置200。虽然以下将就作为视线方向检测部的第一检测部221、第二检测部222的细节加以说明，其可藉由视线检测装置200的CPU(Central Processing Unit)所执行的视线检测程序而加以实现。再者，在头戴式显示器100具备CPU、记录体等的计算资源的情况时，头戴式显示器100的CPU也可执行用以实现视线方向检测部的程序。
虽然以下将详细说明，在摄影机116所摄影到的影像之中，由在用户300的眼角膜302处被反射的近红外线而来的亮点、以及包含以近红外线的波长谱带所观测到的用户300的眼角膜302的眼睛的影像将被拍到。
如上所述，在根据本实施方式的影像显示系统130之中，虽然主要就用以提供给用户300的左眼的影像的构造加以说明，但用以提供给用户300的右眼的影像的构造也与上述相同。
图4为和视线检测系统1有关的头戴式显示器100与视线检测装置200的方块图。如图4所示，再者，如上所述地，视线检测系统1包含可互相实施通信的头戴式显示器100与视线检测装置200。
如图4所示，头戴式显示器100具有第一通信部118、显示部121、红外线发射部122、图像处理部123、摄影部124。
第一通信部118为具备可与视线检测装置200的第二通信部220实施通信的机能的通信界面。如上所述地，第一通信部118可藉由有线通信或无线通信而与第二通信部220实施通信。可使用的通信规格的例子为以上所述者。第一通信部118将从摄影部116或图像处理部123传送而来、用以检测视线的影像数据发送给第二通信部220。再者，第一通信部118将从视线检测装置200发送而来的三维影像数据传输到显示部121。
显示部121具备使影像显示组件108显示从第一通信部118传输而来的三维影像数据的机能。三维影像数据报含右眼用视差影像与左眼用视差影像，而那些则成为视差影像对。
红外线发射部122控制红外线光源103，而向用户的右眼或左眼发射红外线。
图像处理部123则视需要地对摄影部116所摄影到的影像进行图像处理，而传输到第一通信部118。
摄影部124利用右眼用的摄影机116与左眼用的摄影机117，对包含被各眼所反射的近红外线影像加以摄影。摄影部124将摄影得到的影像传输到第一通信部118或图像处理部123。
如图4所示，视线检测装置200具有第二通信部220、第一检测部221、第二检测部222、确认部223、影像输出部224、记录部225。
第二通信部220为具备可与头戴式显示器100的第一通信部118实施通信的机能的通信界面。如上所述地，第二通信部220可藉由有线通信或无线通信而与第一通信部118实施通信。
第一检测部221接收从第二通信部220而来的用以检测用户的右眼的视线的影像数据，而检测用户的右眼的视线方向。第一检测部221利用以下所述的方法计算出表示用户的右眼的视线方向的右眼视线向量，而传输到确认部223。
第二检测部222接收从第二通信部220而来的用以检测用户的左眼的视线的影像数据，而检测用户的左眼的视线方向。第二检测部222利用以下所述的方法计算出表示用户的左眼的视线方向的左眼视线向量，而传输到确认部223。
确认部223基于从第一检测部221传输而来的右眼视线向量、与从第二检测部222传输而来的左眼视线向量，而确认用户所凝视着的头戴式显示器100的显示组件108所显示的三维影像之中的场所。在本实施例之中，确认部223求出右眼视线向量与左眼视线向量的交点，并将此交点的坐标转换到三维影像的坐标系，而确认出所凝视着的三维影像的场所。
影像输出部224产生使头戴式显示器100的显示部121所显示出的三维影像数据，而传输到第二通信部220。再者，影像输出部224产生用于校准视线检测用的标记影像数据，而传输到第二通信部220。影像输出部224于输出的三维影像的坐标系以及该坐标系中，保有表示被显示出的物体的三维的位置坐标的信息。
记录部225为记录着视线检测装置200之动作所需的各种程序、数据的记录媒体。
接着，就根据本实施方式的视线方向的检测加以说明。
图5为说明用以校准根据本实施方式的视线方向的检测的示意图。用户300的视线方向是藉由：视线检测装置200内的第一检测部221以及第二检测部222对摄影机116所摄影到、而由第一通信部118输出到视线检测装置200的影像进行分析而加以实现。在此，虽然就第一检测部221的情况加以说明，但第二检测部222的情况也是相同的。
投射输出部224产生如图5所示般的点Q1到点Q9的九个点(标记影像)，而使头戴式显示器100的影像显示组件108加以显示。视线检测装置200依照点Q1到点Q9的顺序使用户300凝视各点。此时，用户300被要求保持脖子不动而尽可能地仅藉由眼球的移动去凝视各点。摄影机116对包含当用户300凝视着点Q1到点Q9的九个点时的用户300的眼角膜302的影像加以摄影。
图6为说明用户300的眼角膜302的位置坐标的示意图。视线检测装置200内的第一检测部221分析摄影机116所摄影到的影像而检测由红外线而来的亮点105。当用户300仅借着眼球的移动而凝视着各点的时候，则即使用户凝视着任一点的情况时，亮点105的位置被认为并不会变动。如此一来，第一检测部221会以检测出的亮点105为基准，而在摄影机116所摄影到的影像中定出二维坐标系306。
第一检测部221再藉由分析摄影机116所摄影到的影像，而检测用户300的眼角膜302的中心P。这可藉由，例如利用霍夫变换(Hough transformation)、边缘抽取处理等已知的图像处理技术而加以实现。藉此，第一检测部221可获得预定出的二维坐标系306之中的用户300的眼角膜302的中心P的坐标。
在图5之中，将影像显示组件108所显示的显示画面之中预定出的二维坐标系之中的点Q1到点Q9的坐标分别显示为Q1(x1，y1)T、Q2(x2，y2)T…，Q9(x9，y9)T。各坐标是以，例如位在各点的中心的像素为编号。此外，分别将用户300凝视着点Q1到点Q9的时候的用户300的眼角膜302的中心P显示为点P1到点P9。此时，分别将二维坐标系306之中的点P1到点P9的坐标显示为P1(X1，Y1)T，P2(X2，Y2)T，…，P9(X9，Y9)T。再者，T显示向量或矩阵的转置。
现在，将大小为2x2的矩阵M定义成如以下的公式(1)。
[数学式1]
此时，如果矩阵M满足以下的公式(2)，则矩阵M为用户300的视线方向投影到影像显示组件108所显示的影像面的矩阵。
PN＝MQN(N＝1，…，9) (2)
如果详细地写出上述的公式(2)时，将如以下的公式(3)。
[数学式2]
如果改变公式(3)的型态的话，则可得到以下的公式(4)。
[数学式3]
在此，如果进行以下的替换，
[数学式4]
则可得到以下的公式(5)。
y＝Ax (5)
在公式(5)之中，因为向量y的元素是视线方向检测部使影像显示组件108所显示的点Q1到点Q9的坐标，故为已知。此外，因为矩阵A的元素是用户300的眼角膜302的顶点P的坐标，因此可以获得。因此，第一检测部221可以获得向量y以及矩阵A。再者，将转换矩阵M的元素排列而成的向量的向量x为未知。因此，在向量y与矩阵A为已知时，推算矩阵M的问题为求出未知的向量x的问题。
如果公式的数目(亦即，第一检测部221在校准时提供给用户300的点Q的数目)比未知数的数目(亦即向量x的元素数目4)多的话，则公式(5)为优势判定问题。在式(5)所示的例子中，因为公式的数目为九个，所以是优势判定问题。
将向量y与向量Ax的误差向量作为向量e。亦即，e＝y-Ax。此时，代表向量e的元素的平方和为最小的意义的最佳的向量xopt可由以下的公式(6)求得。
xopt＝(ATA)-1ATy (7)
在此“-1”代表反矩阵。
第一检测部221藉由利用求得的向量xopt的元素，而形成公式(1)的矩阵M。藉此，依据公式(2)，第一检测部221藉由利用用户300的眼角膜302的顶点P的坐标与矩阵M，而可推算出用户300的右眼正在凝视影像显示组件108所显示的动态影像面上的二维的范围的何处。藉此，第一检测部221可计算出链接影像显示组件108上的右眼的凝视点与用户的右眼的角膜的顶点的右眼视线向量。同样地，第二检测部222可计算出链接影像显示组件108上的左眼的凝视点与用户的左眼的角膜的顶点的左眼视线向量。
图7为绘示出与本第一实施例有关的确认用户所凝视着的场所的方法的概念图。在图7之中，绘示出用户300的左眼302a、右眼302b、与用户由被显示在头戴式显示器100之中的三维影像所辨识出的三维影像的一个例子的示意图。该影像由影像输出部224所产生，并由第二通信部220发送给头戴式显示器100，而藉由显示部121在影像显示组件108上显示出来。
如图7所示，依据被显示在头戴式显示器100的三维影像，男孩子、狗、女性、汽车、以及车内的驾驶人被收纳在用户300的视野之中。在图7之中，为了方便说明，故为了清楚地表现出三维影像而绘示出x轴、y轴、z轴的三轴，但这些轴并非显示出来作为影像的。
基于图7所示的用户300的左眼302a的视线方向所获得的右眼视线向量701a、与基于右眼302b的视线方向所获得的左眼视线向量701b，在交点702处相交。亦即，交点702为用户的焦点，也就是所谓用户在三维影像之中所凝视着的场所。藉由计算两眼的视线向量、并求出其交点，则即使从用户300所见的三维影像的正面还显示着别的物体(男孩子)，仍可检测出：用户正注视着比那更远程所显示出的汽车的驾驶人。
以下利用图8的流程图说明于该检测中的视线检测系统1的动作。图8为绘示出根据本实施方式的视线检测系统1的动作的流程图。
头戴式显示器100的摄影机116分别对包含被右眼所反射的红外线的右眼影像、与包含被左眼所反射的红外线的左眼影像加以摄影(步骤S801)。摄影部124将从各摄影机116所取得的右眼影像与左眼影像传输到图像处理部123。图像处理部123对传输而来的影像数据进行预定的处理，并传输到第一通信部118。接着，第一通信部118将从图像处理部123传输而来的处理后的影像数据发送到视线检测装置200。
视线检测装置200的第二通信部210在接收到影像数据之后，就将右眼影像传输给第一检测部221，并将左眼影像传输给第二检测部222。
第一检测部221参考传输而来的右眼影像，并利用以上的数学式，确认相对于用户的右眼的影像显示组件108的凝视点。接着，就连结计算出的凝视点的坐标、与用户300的右眼的角膜的顶点P的右眼视线向量加以计算(步骤S802)。第一检测部221将计算出的右眼视线向量传输给确认部223。
第二检测部222参考传输而来的左眼影像，并利用以上的数学式，确认相对于用户的左眼的影像显示组件108的凝视点。接着，就连结计算出的凝视点的坐标、与用户300的左眼的角膜的顶点P的左眼视线向量加以计算(步骤S802)。第二检测部222将计算出的左眼视线向量传输给确认部223。
确认部223就传输而来的右眼视线向量与左眼视线向量的交点加以计算(步骤S803)。
确认部223将计算出的交点转换到影像输出部224所输出的三维影像的三维空间的坐标系(步骤S804)。
确认部223将转换后的交点坐标确认为用户在三维影像空间中所凝视着的场所(步骤S805)。
逐步地进行图8所示的处理，则视线检测系统1可正确地确认出用户所凝视着的场所。
依据本实施例的话，视线检测系统1可获得用户的右眼的视线方向、与左眼的视线方向的两眼的视线方向。因此，由于可以确认三维影像之中的纵深方向上的交差点，因此即使以三维影像的形式使各种的物体重叠地显示，在那些重叠显示的物体当中，仍可确认用户所凝视着的物体。
＜第二实施例＞
在上述第一实施例中，说明了：基于用户300的右眼的视线方向的右眼视线向量、与左眼的视线方向的左眼视线向量的交点而确认出用户300于头戴式显示器100所显示的三维影像中所凝视着的场所。
然而，由第一检测部221与第二检测部222所计算出的右眼视线向量与左眼视线向量并不一定具有交点。
在此，于本实施例中，即使是右眼视线向量与左眼视线向量不具有交点的情况，将就可一定程度地确认出用户所凝视着的场所的方法加以说明。
再者，本第二实施例仅在于确认部224的确认方法有所不同，而其它的组成皆与上述第一实施例相同，故在此省略确认部224以外的说明。
于本第二实施例之中，将三维影像作为显示在多个层的影像。接着，与本第二实施例有关的确认部224基于用户的右眼视线向量和左眼视线向量与各层相交的交点间的距离，确认那些交点间的距离为最短的层，而作为用户所凝视着的场所(层)。现在，更具体地说明的话，有层L1、L2、L3存在，而将层L1、L2、L3、…与右眼视线向量的交点定作为Pr1、Pr2、Pr3、…、并将层L1、L2、L3、…与左眼视线向量的交点定作为Pl1、Pl2、Pl3。接着，将交点Pr1与交点Pl1之间的距离定作为D1、将交点Pr2与交点Pl2之间的距离定作为D2、将交点Pr3与交点Pl3之间的距离定作为D3。
图9为绘示出与本第二实施例有关的确认用户300所凝视着的场所的方法的概念的示意图。于本实施例之中，在头戴式显示器100之中，以图9所示的影像作为所显示的影像。与第一实施例不同的是：在三维影像中，显示出各种的信息的选单影像910以及选单影像920被显示在三维影像上。于三维影像之中，此种选单影像910、920可利用具备由多个层而成的构造加以显示。该影像由影像输出部224所产生，并藉由第二通信部220发送到头戴式显示器100，而藉由显示部121在影像显示组件108上显示出来。
在此，于本第二实施例之中，基于用户300的左眼视线向量701a与右眼视线向量701b分别与选单影像910、920相交的交点，以确认用户所凝视着的选单影像(层)为例加以说明。
具体而言，如图9所示，将用户300的右眼视线向量701a与选单影像910的交点定作为交点911a。再者，将用户300的左眼视线向量701b与选单影像910的交点定作为交点911b。接着，将交点911a与交点911b之间的距离定作为D1。
另一方面，如图9所示，将用户300的右眼视线向量701a与选单影像920的交点定作为交点921a。再者，将用户300的左眼视线向量701b与选单影像920的交点定作为交点921b。接着，将交点921a与交点921b之间的距离定作为D2。
将如此所计算出的距离D1与D2的较短的一方确认成用户300所凝视着的场所(层)。这是因为：交点之间的距离较短的一方被认为是较靠近用户的焦点之故。
图10为绘示出与本第二实施例有关的视线检测系统1的动作的流程图。于本流程图中，因为到步骤S802为止皆与第一实施例相同，故在此省略到步骤S802为止的说明。
当用户的右眼视线向量以及左眼视线向量传输而来时，确认部224就其与三维影像上所显示的各层的交点加以计算(步骤S1003)。亦即，以图9的例子而言，确认部224计算出与选单画面910和选单画面920的交点。
确认部224计算出于各层中的与右眼视线向量的交点、和与左眼视线向量的交点之间的交点间的距离(步骤S1004)。
确认部224从计算出的各交点间的距离之中，确认出最短的距离。接着，将对应于确认成最短的交点间的距离的层确认为用户所凝视着的场所(层)(步骤S1005)。
再者，于本第二实施例之中，虽然将选单等的影像数据绘示成层构造的例子加以显示，但于图9所示的三维影像的x轴方向(纵深方向)上，考虑三维影像是由多个层所形成时，也可作为确认凝视场所。
亦即，例如，于x轴方向上的坐标x1、x2、x3中，假设存在有与y-z平面平行的一平面而将其视为一层时，则利用上述的方法，也可确认与那一层相交的交点间的距离较短的层而视为用户300所凝视着的层。接着，如上述般地，也可确认那个交点与交点的中点而视为用户300的凝视点。
依据本第二实施例的话，在计算出的用户的右眼视线向量与左眼视线向量没有交点的情况时，以视线检测系统1作为确认用户于三维影像中所凝视着的场所的方法是具有效果的。再者，考虑三维影像具有由多个层所形成的构造时，藉由计算交点间距离的所谓的简单的组成，可确认用户所凝视着的场所。
＜第三实施例＞
于上述第二实施例之中，于三维影像中，在具有多个层的情况时，求出用户300的视线向量与各层的交点，并将对应于交点间的距离为最短的层确认成用户所凝视着的层。
于本第三实施例之中，于三维影像中，在没有层构造的情况、且在右眼视线向量与左眼视线向量没有交点时，将就确认用户所凝视着的场所的方法加以说明。
再者，本第三实施例仅在于确认部224的确认方法有所不同，而其它的组成皆与上述第一实施例、第二实施例相同，故在此省略确认部224以外的说明。
确认部224与上述第一实施例、第二实施例不同，在于：确认以左眼视线向量701a为中心的预定半径的圆柱体、与以右眼视线向量701b为中心的预定半径的圆柱体相交的区域，而以最靠近该区域的位置的三维影像中的物体作为用户所凝视着的场所。
图11为绘示出与本第三实施例有关的确认用户300所凝视着的场所的方法的概念的示意图。该影像由影像输出部224所产生，并由第二通信部220发送给头戴式显示器100，而藉由显示部121在影像显示组件108上显示出来。如图11所示，假设有以用户的左眼视线向量701a为中心的预定半径的圆柱体1101a。同样地，假设有以用户的右眼视线向量701b为中心的预定半径的圆柱体1101b。接着，可确认圆柱体1101a与圆柱体1101b相交的区域1102，而作为用户300在三维影像中所凝视着的场所。藉此，可得知用户300所凝视的是三维影像中的男孩子。
图12为绘示出与本第三实施例有关的视线检测系统1的动作的流程图。于本流程图中，因为到步骤S802为止皆与第一实施例相同，故在此省略到步骤S802为止的说明。
确认部224在左眼视线向量与右眼视线向量传输来了之后，就计算表示以左眼视线向量为中心的圆柱体1101a的数学式F。再者，确认部224计算表示以右眼视线向量为中心的圆柱体1101b的数学式G(步骤S1203)。
确认部224基于数学式F与数学式G，而确认出圆柱体1101a与圆柱体1102b的相交区域1102(步骤S1204)。
接着，确认部224就最靠近确认出的区域的层或物体加以确认，而作为用户所凝视着的场所(步骤S1205)。
再者，于本第三实施例中，以上述的方法计算两个圆柱体的函数公式、并且计算其交差的区域的处理时，可以想象的是：运算数量将变多，且视线检测装置200的处理负担将变大。因此，可以考虑利用以下的方法，而作为减少运算数量的方法。
亦即、确认部224以右眼视线向量为中心，而计算与右眼视线向量平行的多个右眼平行向量。同样地，确认部224以左眼视线向量为中心，而计算与左眼视线向量平行的多个左眼平行向量。接着，就各右眼平行向量计算与各左眼平行向量的交点。确认部224计算如此求得的多个交点的中心点。接着，确认部224也可确认对应于计算出的中心点的三维影像上的坐标，而作为用户300所凝视着的场所。
依据本第三实施例的话，即使在用户300的左眼视线向量701a与右眼视线向量701b没有交点的情况，且三维影像没有层构造的情况，仍可确认用户300的凝视着的场所。
＜补充说明＞
与本发明有关的视线检测系统并非仅限于上述第一实施例至第三实施例，更不用说，也可藉由可实现发明的精神的其它的方式加以实现。
例如，于上述第三实施例之中，虽然确认着圆柱体与圆柱体相交的区域，但这并不仅限于圆柱体，也可以是其它的形状，例如，也可以视为长方体加以计算。相较于圆柱体的情况，视为长方体的情况将比较容易进行运算处理。
再者，于上述实施的型态之中，为了检测用户300的视线，虽然以对受热反射镜112反射的影像摄影的方法作为摄影用户300的眼睛的方法，但也可以不经过热反射镜112而直接对用户300的眼睛摄影。
再者，于上述实施的型态之中，虽然藉由视线检测装置200的处理器执行视线检测程式等而确认用户所凝视着的场所的方法作为视线检测的方法，但这也可以藉由视线检测装置200之中由积体电路(IC(Integrated Circuit)晶片、LSI(Large Scale Integration)等所构成的逻辑电路(硬体)、专用电路加以实现。再者，这些电路可以藉由一个或多个集成电路加以实现，也可以藉由一个集成电路实现上述实施的型态所示的多个机能部的机能。LSI依积聚度的不同而可分别称为VLSI、超级LSI、特级LSI(ultra LSI)。
再者，上述视线检测程序可以被储存在可由处理器读取的记录媒体之中，而可作为上述记录媒体的是：“非暂时性的有形的媒体”，例如，碟带，盘片，插卡，半导体记录体，可程序化之逻辑电路等。再者，上述检测程序也可以是经由能传送上述检测程序的任意传送媒体(通信网路或者播放信号等)供给至上述处理器。在本发明中，上述视线检测程式也可以是以藉由电子格式的传送所具体执行之嵌埋于载波之中的资料信号的格式的。
再者，上述视线检测程序系可利用，例如ActionScript语言、JavaScript语言(注册商标)等Script语言，Objective-C、Java(注册商标)等面向对象程序设计语言，HTML5等标记式语言等而可加以实现。
[产业上的利用可能性]
本发明可利用于头戴式显示器。
虽然本发明已以优选实施例披露如上，然其并非用以限定本发明，任何一般技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视权利要求所界定为准。

Claims (8)

1.一种视线检测系统，包含被装戴在用户的头部上使用的头戴式显示器、以及检测所述用户的视线的视线检测装置，其中所述头戴式显示器具有：
第一红外线发射部，其对所述用户的右眼发射红外线；
第二红外线发射部，其对所述用户的左眼发射红外线；
第一摄影组件，其就被发射所述红外线的所述右眼进行摄影；
第二摄影组件，其就被发射所述红外线的所述左眼进行摄影；及
显示部，其显示三维影像，
其中所述视线检测装置具有：
第一检测部，其基于由所述第一摄影组件所摄影到的影像检测所述右眼的视线方向；
第二检测部，其基于由所述第二摄影组件所摄影到的影像检测所述左眼的视线方向；及
确认部，其基于所述右眼的视线方向与所述左眼的视线方向，而确认所述用户于所述三维影像之中所凝视着的场所。
2.如权利要求1所述的视线检测系统，其中所述第一检测部计算表示该右眼视线方向的右眼视线向量，而作为所述右眼的视线方向，及
所述第二检测部计算表示该左眼视线方向的左眼视线向量，而作为所述左眼的视线方向。
3.如权利要求2所述的视线检测系统，其中所述显示部在纵深方向上显示出由多个层所形成的三维影像，及
所述确认部确认所述右眼视线向量和所述左眼视线向量与各层相交的交点间的距离为最短的层，而将该层视为所述用户所凝视着的场所的层。
4.如权利要求2所述的视线检测系统，所述确认部基于所述右眼视线向量与所述左眼视线向量的交点，而确认所述用户所凝视着的场所。
5.如权利要求2所述的视线检测系统，所述确认部基于以所述右眼视线向量为中心的预定半径的圆柱体、与以所述左眼视线向量为中心的预定半径的圆柱体交差的区域，而确认所述用户所凝视着的场所。
6.如权利要求2所述的视线检测系统，所述确认部基于与所述右眼视线向量平行的多个第一平行视线向量和与所述左眼视线向量平行的多个第二平行视线向量的交点，而确认所述用户所凝视着的场所。
7.一种凝视点确认方法，确认视线检测系统所检测的用户的凝视点，而该视线检测系统包含被装戴在用户的头部上使用的头戴式显示器与检测所述用户的视线的视线检测装置，其中所述头戴式显示器：
显示三维影像；
对所述用户的右眼以及左眼发射红外线；
对被发射红外线的所述用户的右眼以及左眼摄影；及
将摄影所得到的影像数据输出到所述视线检测装置，
其中所述视线检测装置：
基于对所述右眼所摄影到的影像确认所述用户的右眼的视线方向；
基于对所述左眼所摄影到的影像确认所述用户的左眼的视线方向；
基于所述右眼的视线方向与所述左眼的视线方向，而确认用户于所述三维影像中所凝视着的场所。
8.一种用户的凝视点确认程序，由用以检测装戴了显示三维影像的头戴式显示器的用户的视线的视线检测装置的计算器所执行，其中所述计算器用以实现以下机能：
影像数据的获得机能，获得对所述装戴了头戴式显示器的用户的右眼以及左眼发射红外线时所摄影到的影像数据；
右眼的视线方向的检测机能，基于所述右眼的影像数据，而检测所述用户的右眼的视线方向；
左眼的视线方向的检测机能，基于所述左眼的影像数据，而检测所述用户的左眼的视线方向；
确认机能，基于所述右眼的视线方向与所述左眼的视线方向，而确认用户于所述三维影像中所凝视着的场所。
CN201580038932.8A 2015-11-27 2015-11-27 视线检测系统、凝视点确认方法以及凝视点确认程序 Withdrawn CN107111381A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/083484 WO2017090203A1 (ja) 2015-11-27 2015-11-27 視線検出システム、注視点特定方法及び注視点特定プログラム

Publications (1)

Publication Number Publication Date
CN107111381A true CN107111381A (zh) 2017-08-29

Family

ID=58763231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580038932.8A Withdrawn CN107111381A (zh) 2015-11-27 2015-11-27 视线检测系统、凝视点确认方法以及凝视点确认程序

Country Status (5)

Country Link
US (2) US9880384B2 (zh)
KR (1) KR101862499B1 (zh)
CN (1) CN107111381A (zh)
TW (1) TW201717840A (zh)
WO (1) WO2017090203A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125930A (zh) * 2016-06-27 2016-11-16 上海乐相科技有限公司 一种虚拟现实设备及主视角画面校准的方法
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
CN110134222A (zh) * 2018-02-02 2019-08-16 上海集鹰科技有限公司 一种vr头显定位瞄准系统及其定位瞄准方法
CN113711107A (zh) * 2019-05-27 2021-11-26 三星电子株式会社 根据用户的视线方向调整聚焦区域的增强现实设备及其操作方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9880384B2 (en) * 2015-11-27 2018-01-30 Fove, Inc. Gaze detection system, gaze point detection method, and gaze point detection program
CN205594581U (zh) 2016-04-06 2016-09-21 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
CN106932905A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
DE102017129795A1 (de) 2017-06-30 2019-01-03 Lg Display Co., Ltd. Anzeigevorrichtung und gate-treiberschaltkreis davon, ansteuerungsungsverfahren und virtuelle-realität-vorrichtung
KR101922343B1 (ko) * 2017-07-13 2018-11-26 광운대학교 산학협력단 동체 시력 검사 방법 및 시스템
KR102495234B1 (ko) * 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US10254832B1 (en) * 2017-09-28 2019-04-09 Microsoft Technology Licensing, Llc Multi-item selection using eye gaze
JP6897467B2 (ja) * 2017-10-02 2021-06-30 富士通株式会社 視線検出装置、視線検出プログラム、及び視線検出方法
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
US10521013B2 (en) * 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
US11163166B1 (en) * 2018-05-23 2021-11-02 Facebook Technologies, Llc Removable frames for head-mounted display systems
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
US10838132B1 (en) 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
US10996748B2 (en) 2018-09-10 2021-05-04 Apple Inc. Gaze-dependent display encryption
US10725302B1 (en) 2018-11-02 2020-07-28 Facebook Technologies, Llc Stereo imaging with Fresnel facets and Fresnel reflections
US10852817B1 (en) 2018-11-02 2020-12-01 Facebook Technologies, Llc Eye tracking combiner having multiple perspectives
CN109756723B (zh) 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
US10771774B1 (en) * 2019-03-22 2020-09-08 Varjo Technologies Oy Display apparatus and method of producing images having spatially-variable angular resolutions
US11314383B2 (en) * 2019-03-24 2022-04-26 Apple Inc. Stacked media elements with selective parallax effects
US11467370B2 (en) * 2019-05-27 2022-10-11 Samsung Electronics Co., Ltd. Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
US20210011550A1 (en) * 2019-06-14 2021-01-14 Tobii Ab Machine learning based gaze estimation with confidence
CN110426845B (zh) * 2019-08-09 2021-03-23 业成科技（成都）有限公司 眼球追踪架构
FR3100704B1 (fr) * 2019-09-13 2021-08-27 E Swin Dev Dispositif de mesure ophtalmologique polyvalent
US11809622B2 (en) 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
KR20220111575A (ko) * 2021-02-02 2022-08-09 삼성전자주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
US11880504B2 (en) * 2021-09-28 2024-01-23 Ramot At Tel-Aviv University Ltd. Automatic preference quantification of displayed objects based on eye tracker data
DE102022203677A1 (de) * 2022-04-12 2023-10-12 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Bestimmung einer momentanen Blickrichtung eines Nutzers einer Datenbrille mit einer virtuellen Netzhautanzeige und Datenbrille
CN116027910B (zh) * 2023-03-29 2023-07-04 广州视景医疗软件有限公司 一种基于vr眼动追踪技术的眼位图生成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103020983A (zh) * 2012-09-12 2013-04-03 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
WO2014033306A1 (en) * 2012-09-03 2014-03-06 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
JP2015130173A (ja) * 2014-01-03 2015-07-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
CN104834381A (zh) * 2015-05-15 2015-08-12 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2939988B2 (ja) 1989-04-05 1999-08-25 キヤノン株式会社 視線検出装置
JPH06337756A (ja) * 1993-05-28 1994-12-06 Daikin Ind Ltd ３次元位置指定方法および仮想空間立体視装置
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
US6806898B1 (en) * 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
DE102005023126B4 (de) * 2005-05-19 2022-06-30 Rodenstock Gmbh Serie von Brillengläsern, Verfahren zur Herstellung
WO2012077713A1 (ja) * 2010-12-08 2012-06-14 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
EP3055754B1 (en) * 2013-10-11 2023-08-02 InterDigital Patent Holdings, Inc. Gaze-driven augmented reality
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
JP6002286B1 (ja) * 2015-07-14 2016-10-05 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US9880384B2 (en) * 2015-11-27 2018-01-30 Fove, Inc. Gaze detection system, gaze point detection method, and gaze point detection program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
WO2014033306A1 (en) * 2012-09-03 2014-03-06 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
CN103020983A (zh) * 2012-09-12 2013-04-03 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
JP2015130173A (ja) * 2014-01-03 2015-07-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
CN104834381A (zh) * 2015-05-15 2015-08-12 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李阳，郑华兵，史册，冯煜: "《安全驾驶中驾驶员视线方向的检测研究》", 《计算机测量与控制》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125930A (zh) * 2016-06-27 2016-11-16 上海乐相科技有限公司 一种虚拟现实设备及主视角画面校准的方法
CN110134222A (zh) * 2018-02-02 2019-08-16 上海集鹰科技有限公司 一种vr头显定位瞄准系统及其定位瞄准方法
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
WO2019206187A1 (zh) * 2018-04-28 2019-10-31 京东方科技集团股份有限公司 几何量测量方法及其装置、增强现实设备和存储介质
US11385710B2 (en) 2018-04-28 2022-07-12 Boe Technology Group Co., Ltd. Geometric parameter measurement method and device thereof, augmented reality device, and storage medium
CN113711107A (zh) * 2019-05-27 2021-11-26 三星电子株式会社 根据用户的视线方向调整聚焦区域的增强现实设备及其操作方法

Also Published As

Publication number Publication date
KR101862499B1 (ko) 2018-05-29
WO2017090203A1 (ja) 2017-06-01
US9880384B2 (en) 2018-01-30
KR20170082457A (ko) 2017-07-14
US20180106999A1 (en) 2018-04-19
TW201717840A (zh) 2017-06-01
US20170285337A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
CN107111381A (zh) 视线检测系统、凝视点确认方法以及凝视点确认程序
US11886633B2 (en) Virtual object display interface between a wearable device and a mobile device
US11747915B2 (en) Smart ring for manipulating virtual objects displayed by a wearable device
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
CN106796354A (zh) 头戴式显示器
US12010286B2 (en) Separable distortion disparity determination
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US20180182124A1 (en) Estimation system, estimation method, and estimation program
US10296098B2 (en) Input/output device, input/output program, and input/output method
US20220103734A1 (en) Pose tracking for rolling shutter camera
US20230117720A1 (en) Dual system on a chip eyewear
US20230109916A1 (en) Dual system on a chip eyewear
US11997249B2 (en) Dual system on a chip eyewear
US11829312B2 (en) Debug access of eyewear having multiple socs
US11960783B2 (en) Method and apparatus for extended reality head mounted display device
US20230063078A1 (en) System on a chip with simultaneous usb communications
KR20240090409A (ko) 칩 아이웨어 상의 듀얼 시스템
US11580300B1 (en) Ring motion capture and message composition system
CN107665041A (zh) 信息处理系统、操作方法及操作程序
JP2017032870A (ja) 画像投影装置及び画像表示システム
US11994751B1 (en) Dual system on a chip eyewear
US20230124748A1 (en) Dual system on a chip eyewear
US20240153217A1 (en) Electronic device for displaying multimedia content and method thereof
CN117406849A (zh) 信息显示方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170829