CN106796354A - 头戴式显示器 - Google Patents

头戴式显示器 Download PDF

Info

Publication number
CN106796354A
CN106796354A CN201580035048.9A CN201580035048A CN106796354A CN 106796354 A CN106796354 A CN 106796354A CN 201580035048 A CN201580035048 A CN 201580035048A CN 106796354 A CN106796354 A CN 106796354A
Authority
CN
China
Prior art keywords
user
cornea
light sources
head mounted
convex lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580035048.9A
Other languages
English (en)
Inventor
洛克拉因·威尔逊
濑古圭
濑古圭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fove Ltd By Share Ltd
Original Assignee
Fove Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove Ltd By Share Ltd filed Critical Fove Ltd By Share Ltd
Publication of CN106796354A publication Critical patent/CN106796354A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Abstract

本发明公开一种头戴式显示器，被装戴在用户的头部上使用，其中，将一凸透镜设置在装戴了该头戴式显示器时，与该用户的眼角膜相对的位置上。将多个红外线光源设置在该凸透镜的周围，而对着该用户的眼角膜发射红外线。一摄影机，对包含该用户的眼角膜的被摄影物的影像加以摄影。一框体，收纳该凸透镜、该红外线光源、以及该摄影机。在此，将该凸透镜的周围等分成该用户的外眼角侧的区域的第一区域、内眼角侧的区域的第二区域、头顶侧的区域的第三区域、下巴侧的区域的第四区域的四个区域时，该多个红外线光源分别被设置在该第一区域或该第二区域的其中之一中。

Description

头戴式显示器
技术领域
本发明涉及一种头戴式显示器。
背景技术
将近红外线等不可见光发射到用户的眼睛，并藉由分析包含其反射光的用户的眼睛的影像而检测出用户的视线方向的技术乃是已知技术。使检测出的用户的视线方向的信息反映在，例如PC(Personal Computer)、游戏机等的显示器上，而当作指向装置使用，也已成为实际的技术。
[专利文献]
[专利文献1]日本专利公开公报第2-264632号
发明内容
有鉴于此，本发明的目的之一，在于提供一种头戴式显示器，为用以对装戴了此头戴式显示器的用户提供三维的影像的影像显示设备。一般而言，以覆盖住用户的视野的方式装戴头戴式显示器而加以使用。因此，装戴了头戴式显示器的用户将被遮住外界的影像。在将头戴式显示器当作电影、游戏等的影像的显示设备使用时，用户将难以察看控制器等的输入设备。
因此，如果能够检测装戴了头戴式显示器的用户的视线方向，而当作指向装置的替代方式加以使用的话，将较方便。
有鉴于此课题，本发明的目的在于，提供一种检测装戴了头戴式显示器的用户的视线方向的技术。
[解决课题的手段]
为了解决上述的课题，本发明的一种实施方式为，装戴在用户的头部上使用的头戴式显示器。此头戴式显示器包括一凸透镜，设置在装戴了该头戴式显示器时，与该用户的眼角膜相对的位置上、多个红外线光源，设置在该凸透镜的周围，而对着该用户的眼角膜发射红外线、一摄影机，对包含该用户的眼角膜的被摄影物的影像加以摄影、以及一框体，收纳该凸透镜、该红外线光源、以及该摄影机。将该凸透镜的周围等分成该用户的外眼角侧的区域的第一区域、内眼角侧的区域的第二区域、头顶侧的区域的第三区域、下巴侧的区域的第四区域的四个区域时，该多个红外线光源分别被设置在该第一区域或该第二区域的其中之一中。
在上述的头戴式显示器中，也可再包括一透镜支持部，用以支持该凸透镜。也可将该多个红外线光源装设在该透镜支持部上。
在上述的头戴式显示器中，也可再包括一输出部，将该摄影机所摄影到的影像输出到用以检测该用户的视线方向的视线方向检测部。该框体也可收纳该输出部。
再者，即使任意地组合以上的构成组件、或即使将本发明的表现型态改变成方法、装置、系统、计算机程序、数据结构、记录媒体等，仍可有效地当作本发明的实施方式。
[发明的效果]
藉由本发明，可提供一种检测装戴了头戴式显示器的用户的视线方向的技术。
附图说明
图1为绘示出根据本实施方式的影像系统的外观的示意图。
图2为绘示出根据本实施方式的头戴式显示器的影像显示系统的外观的透视示意图。
图3为绘示出根据本实施方式的框体所收纳的影像显示系统的光学配置的示意图。
图4(a)-图4(b)为绘示出用户的眼睛的大小与眼角膜的露出程度的关系的示意图。
图5为说明圆周的局部区域的示意图。
图6(a)-图6(b)为说明根据本实施方式的比较例的红外线光源的设置位置、与在用户的眼角膜处被反射的红外线的亮点的关系的示意图。
图7(a)-图7(b)为说明根据本实施方式的红外线光源的设置位置、与在用户的眼角膜处被反射的红外线的亮点的关系的示意图。
图8为说明用以校准根据本实施方式的视线方向的检测的示意图。
图9为说明用户的眼角膜的位置坐标的示意图。
图10(a)至图10(f)为根据本实施方式的变化例的头戴式显示器之中的红外线光源的设置位置的示意图。
具体实施方式
图1为绘示出根据本实施方式的影像系统1的外观的示意图。根据本实施方式的影像系统1，包含头戴式显示器100与影像再生装置200。如图1所示，头戴式显示器100被装戴在用户300的头部上使用。
影像再生装置200形成由头戴式显示器100所显示的影像。虽然没有限制，但举例而言，影像再生装置200为桌上型的游戏机、携带式游戏机、PC、平板计算机、智能手机、平板手机、视频播放器、电视机等可再生影像的装置。影像再生装置200以无线或有线的方式与头戴式显示器100连接。在图1所示的例子中，影像再生装置200以无线的方式与头戴式显示器100连接。影像再生装置200与头戴式显示器100的无线连接，利用例如已知的Wi-Fi(注册商标)、蓝芽(Bluetooth，注册商标)等的无线通信技术而可加以实现。虽然没有限制，但举例而言，头戴式显示器100与影像再生装置200之间的影像的传送乃依据Miracast(商标)、WiGig(商标)、WHDI(商标)等的规格运作。
再者，图1绘示出头戴式显示器100与影像再生装置200为不同的装置的情况的例子。然而，也可将影像再生装置200内建在头戴式显示器100之中。
头戴式显示器100包括框体150、装戴件160、以及头戴式耳机170。框体150收纳影像显示组件、用以提供影像给用户300的影像显示系统、未绘示的Wi-Fi模块、蓝芽(Bluetooth，注册商标)模块等的无线传送模块等。装戴件160将头戴式显示器100装戴在用户300的头部。例如藉由带子、有伸缩性的带子等实现装戴件160。在用户300利用装戴件160装戴上头戴式显示器100时，框体150就会覆盖住用户300的眼睛。因此，当用户300装戴上头戴式显示器100时，用户300的视野就被框体150所遮盖。
头戴式耳机170输出影像再生装置200所再生的影像的声音。头戴式耳机170也可非固定在头戴式显示器100之上。即使在用户300利用装戴件160装戴了头戴式显示器100的状态下，也可自由地装卸头戴式耳机170。
图2为绘示出根据本实施方式的头戴式显示器100的影像显示系统130的外观的透视示意图。更具体而言，图2绘示出：在根据本实施方式的框体150之内，装戴了头戴式显示器100时的用户300的眼角膜302与相对的区域的关系图。
如图2所示，当用户300装戴了头戴式显示器100的时候，左眼用凸透镜114a将位在面对着用户300的左眼的眼角膜302a的位置上。同样地，当用户300装戴了头戴式显示器100的时候，右眼用凸透镜114b将位在面对着用户300的右眼的眼角膜302b的位置上。左眼用凸透镜114a与右眼用凸透镜114b分别由左眼用透镜支持部152a与右眼用透镜支持部152b所夹持。
在本说明书的以下内容中，除了要特别区分左眼用凸透镜114a与右眼用凸透镜114b的情况以外，皆简单地显示成“凸透镜114”。同样地，除了要特别区分用户300的左眼的眼角膜302a与用户300的右眼的眼角膜302b的情况以外，皆简单地显示成“眼角膜302”。左眼用透镜支持部152a与右眼用透镜支持部152b也是一样地，除了要特别区分的情况以外，皆显示成“透镜支持部152”。
在透镜支持部152之上，设有多个红外线光源103。为了避免说明复杂起见，在图2之中，虽然仅对第1红外线光源103a、第2红外线光源103b、以及第3红外线光源103c(以下，除了要特别区分的情况以外，皆显示成“红外线光源103”)附加标号，具有与图中附加有标号的组件相同形状者也代表红外线光源103。在图2所示的例子中，左眼用透镜支持部152a之上设有六个红外线光源103。同样地，右眼用透镜支持部152b之上也设有六个红外线光源103。如此，免于将红外线光源103直接设在凸透镜114之上，而是将其设在用以夹持凸透镜114的透镜支持部152之上，藉此，可以简化红外线光源103的安装。一般而言，因为透镜支持部152由树脂等所形成，故相较于由玻璃等所形成的凸透镜114而言，将容易在其上进行用以安装红外线光源103所需的加工。
如上所述，透镜支持部152为用以夹持凸透镜114的构件。因此，设在透镜支持部152之上的红外线光源103将位在凸透镜114的周围的位置上。再者，以下将详细说明红外线光源103的设置位置。
图3为绘示出根据本实施方式的框体150所收纳的影像显示系统130的光学配置的示意图，也是从左眼侧的侧面所看到的图2的框体150的图形。影像显示系统130包括红外线光源103、影像显示组件108、热反射镜(Hot mirror)112、凸透镜114、摄影机116、以及输出部118。
红外线光源103为可发射近红外线(700nm‐2500nm程度)的波长谱带的光线的光源。一般而言，近红外线为用户300的肉眼无法察觉的不可见光的波长谱带的光线。
影像显示组件108显示用以提供给用户300的影像。由影像再生装置200之中的未绘示的GPU(Graphic Processing Unit)产生影像显示组件108所显示的影像。例如，利用已知的LCD(Liquid Crystal Display)、有机EL显示器(Organic ElectroluminescentDisplay)可以实现影像显示组件108。
当用户300装戴了头戴式显示器100时，热反射镜112将位在影像显示组件108与用户300的眼角膜302之间。热反射镜112具有以下特性，即供影像显示组件108所产生的可见光穿过，但将近红外线反射。
相对于热反射镜112而言，凸透镜114位在影像显示组件108的相反侧。换言之，当用户300装戴了头戴式显示器100时，凸透镜114将位在热反射镜112与用户300的眼角膜302之间。亦即，当头戴式显示器100被装戴到用户300时，凸透镜114将位在面对著用户300的眼角膜302的位置上。
凸透镜114汇聚穿过热反射镜112的影像显示光线。因此，凸透镜114具有当作将影像显示组件108所产生的影像放大而提供给用户300的影像拡大部的功能。再者，为了方便说明起见，虽然在图2之中仅绘示出一个凸透镜114，凸透镜114也可以是结合各种透镜所构成的透镜组，或者，也可以是一面为曲面、而另一面为平面的单凸透镜。
多个红外线光源103被设置在凸透镜114的周围。红外线光源103朝向用户300的眼角膜302发射红外线。
虽然未绘示，根据本实施方式的头戴式显示器100的影像显示系统130具备二个影像显示组件108，而可单独地产生用以提供给用户300的右眼的影像与用以提供给左眼的影像。因此，根据本实施方式的头戴式显示器100可以分别提供右眼用的视差影像与左眼用的视差影像给用户300的右眼与左眼。藉此，根据本实施方式的头戴式显示器100可以对用户300提供具有层次感的立体影像。
如上所述，热反射镜112可让可见光穿过，而将近红外线加以反射。因此，影像显示组件108所发射的影像光会穿过热反射镜112而到达用户300的眼角膜302。此外，由红外线光源103所发射、而在凸透镜114的内部的反射区域被反射的红外线会到达用户300的眼角膜302。
到达用户300的眼角膜302的红外线会被用户300的眼角膜302反射，而再度射向凸透镜114的方向。此红外线会穿过凸透镜114，而被热反射镜112反射。摄影机116具备用以滤除可见光的滤光片，而将被热反射镜112反射的近红外线加以摄影。亦即，摄影机116为近红外线摄影机，其对由红外线光源103所发射、而在用户300的眼睛处被眼角膜反射的近红外线进行摄影。
输出部118将摄影机116所摄影到的影像输出到用以检测用户300的视线方向的视线方向检测部。具体而言，输出部118将摄影机116所摄影到的影像传送到影像再生装置200。虽然以下将就视线方向检测部加以说明，其可藉由影像再生装置200的CPU(CentralProcessing Unit)所执行的视线检测程序而加以实现。再者，在头戴式显示器100具备CPU、内存等的计算资源的情况时，头戴式显示器100的CPU也可执行用以实现视线方向检测部的程序。
虽然以下将详细说明，在摄影机116所摄影到的影像之中，由在用户300的眼角膜302处被反射的近红外线而来的亮点、以及包含以近红外线的波长谱带所观测到的用户300的眼角膜302的眼睛的影像将被拍到。
如上所述，在根据本实施方式的影像显示系统130之中，虽然主要就用以提供给用户300的左眼的影像的构造加以说明，但用以提供给用户300的右眼的影像的构造也与上述相同。
接着，将就根据本实施方式的红外线光源103的设置位置加以说明。
图4(a)-图4(b)为绘示出用户300的眼睛的大小与眼角膜302的露出程度的关系的示意图。更具体而言，图4(a)为绘示出眼睛较大的用户300的眼角膜302的外形的图形、图4(b)为绘示出眼睛较小的用户300的眼角膜302的外形的图形。
如图4(a)所示，在用户300的眼睛较大的情况时，从外界将可看见用户300的全部的眼角膜302。另一方面，如图4(b)所示，在用户300的眼睛较小的情况时，由于用户300的眼角膜302的一部分会被眼皮等遮住而从外界无法看见全部的眼角膜。一般而言，用户300的眼睛在用户300为直立时，在横方向(水平方向)上将较长。因此，假设用户300的眼角膜302的一部分被眼皮等遮住时，被遮住的部分被认为至少是眼角膜302的上方区域与下方区域的其中之一。
图5为说明圆周的局部区域的示意图，也是从用户300的正面看用户300的眼睛时的图形。一般而言，人间的眼角膜呈圆形，其边缘为圆周。如图5所示，将圆周四等分，并将外眼角侧的区域当作第一区域304a、内眼角侧的区域当作第二区域304b、头顶侧的区域当作第三区域304c、下巴侧的区域当作第四区域304d。在此情况下，当用户300的眼睛较小、眼角膜302的被眼皮等遮住而从外界无法看见的一部分区域将可说是第三区域304c以及第四区域304d。第一区域304a以及第二区域304b可说是难以被眼皮等遮住的区域。
图6(a)至图6(b)为说明根据本实施方式的比较例的红外线光源103的设置位置、与在用户300的眼角膜302处被反射的红外线的亮点的关系的示意图。更具体而言，图6(a)为绘示出根据本实施方式的比较例的红外线光源103的设置位置的示意图、且图6(b)为绘示出从图6(a)所示的红外线光源103发射出而在用户300的眼角膜302处被反射的红外线的亮点的示意图。
如上所述，凸透镜114被设置在：当用户300装戴了头戴式显示器100时，面对着用户300的眼角膜302的位置上。因此，在本说明书的以下内容中，在凸透镜114的周围之中，在与用户300的眼角膜302的周围之中的第一区域304a、第二区域304b、第三区域304c、以及第四区域304d相对应的位置上，也分别同样地表示成第一区域304a、第二区域304b、第三区域304c、以及第四区域304d。
在图6(a)所示的例子中，在凸透镜114的周围，设有第1红外线光源103a、第2红外线光源103b、第3红外线光源103c、以及第4红外线光源103d的四个红外线光源103。在此，第1红外线光源103a、第2红外线光源103b、第3红外线光源103c、以及第4红外线光源103d分别被设在凸透镜114的周围之中的第一区域304a、第二区域304b、第三区域304c、以及第四区域304d之中。
如图6(b)所示，从分别设在第一区域304a以及第二区域304b之中的第1红外线光源103a以及第2红外线光源103b发射出的红外线会到达用户300的眼角膜302。然而，从分别设在第三区域304c以及第四区域304d之中的第3红外线光源103c以及第4红外线光源103d发射出的红外线，因为被用户300的眼皮遮住而无法到达眼角膜302。
一般而言，到达用户300的眼角膜302的红外线将因为被眼角膜302镜面反射而为较强的亮点。另一方面，到达用户300的肌肉的红外线将因为被肌肉漫反射，而相较于眼角膜302之中的反射为较弱的反射。如以下所述般地，從红外线光源103发射出的红外线而来的亮点，将当作用以检测用户300的视线方向的基准使用。因此，红外线较佳地在用户300的眼角膜302之中被强烈地反射。
因此，在根据本实施方式的头戴式显示器100之中，红外线光源103被设置在凸透镜114之中的第一区域304a以及第二区域304b之中。
图7(a)-图7(b)为说明根据本发明的实施例的红外线光源103的设置位置、与在用户300的眼角膜302处被反射的红外线的亮点的关系的示意图。更具体而言，图7(a)为绘示出根据本实施方式的红外线光源103的设置位置的示意图、图7(b)为绘示出从图7(a)所示的红外线光源103发射出而在用户300的眼角膜302处被反射的红外线的亮点的示意图、且绘示出上述的摄影机116所拍到的影像的一个例子的图形。
如图7(a)所示，根据本实施方式的红外线光源103被设在凸透镜114的周围之中的第一区域或第二区域的其中之一中。换言之，根据本实施方式的红外线光源103被设置在凸透镜114的侧边侧(从横边到水平方向的边缘)。一般而言，因为用户300的眼睛为横长形的椭圆形，故用户300的眼角膜302之中的第一区域304a以及第二区域304b为不易被眼皮等遮住的区域。因此，藉由在凸透镜114的侧面上设置红外线光源103，则如图7(b)所示，将可在用户300的眼角膜302上产生由红外线而来的亮点。因为能够在用户300的眼角膜302上产生更多作为检测视线方向的标准的亮点，故可提高检测视线方向的稳固性。
接着，就根据本实施方式的视线方向的检测加以说明。
图8为说明用以校准根据本实施方式的视线方向的检测的示意图。用户300的视线方向是藉由：影像再生装置200内的未绘示的视线方向检测部对摄影机116所摄影到、而由输出部118输出到影像再生装置200的影像进行分析而加以实现。
影像再生装置200产生如图8所示般的点Q1到点Q9的九个点，而使头戴式显示器100的影像显示组件108加以显示。影像再生装置200依照点Q1到点Q9的顺序使用户300凝视各点。此时，用户300被要求保持脖子不动而尽可能地仅藉由眼球的移动去凝视各点。摄影机116对包含当用户300凝视着点Q1到点Q9的九个点时的用户300的眼角膜302的影像加以摄影。
图9为说明用户300的眼角膜302的位置坐标的示意图。影像再生装置200内的视线方向检测部分析摄影机116所摄影到的影像而检测由红外线而来的亮点105。当用户300仅借着眼球的移动而凝视着各点的时候，则即使用户凝视着任一点的情况时，亮点105的位置被认为并不会变动。如此一来，视线方向检测部会以检测出的亮点105为基准，而在摄影机116所摄影到的影像中定出二维坐标系306。
视线方向检测部再藉由分析摄影机116所摄影到的影像，而检测用户300的眼角膜302的中心P。这可藉由，例如利用霍夫变换(Hough transformation)、边缘抽取处理等已知的图像处理技术而加以实现。藉此，视线方向检测部可获得所定出的二维坐标系306之中的用户300的眼角膜302的中心P的坐标。
在图8之中，将影像显示组件108所显示的显示画面之中所定出的二维坐标系之中的点Q1到点Q9的坐标分别表示为Q1(x1，y1)T、Q2(x2，y2)T…，Q9(x9，y9)T。各坐标是以，例如位在各点的中心的像素为编号。此外，分别将用户300凝视着点Q1到点Q9的时候的用户300的眼角膜302的中心P表示为点P1到点P9。此时，分别将二维坐标系306之中的点P1到点P9的坐标表示为P1(X1，Y1)T，P2(X2，Y2)T，…，P9(X9，Y9)T。再者，T表示向量或矩阵的转置。
现在，将大小为2×2的矩阵M定义成如以下的公式(1)。
[数学式1]
此时，如果矩阵M满足以下的公式(2)，则矩阵M为用户300的视线方向投影到影像显示组件108所显示的影像面的矩阵。
PN＝MQN(N＝1，…，9) (2)
如果详细地写出上述的公式(2)时，将如以下的公式(3)所示。
[数学式2]
如果改变公式(3)的型态，则可得到以下的公式(4)。
[数学式3]
在此，如果进行以下的替换，
[数学式4]
则可得到以下的公式(5)。
y＝Ax (5)
在公式(5)之中，因为向量y的元素是视线方向检测部使影像显示组件108所显示的点Q1到点Q9的坐标，故为已知。此外，因为矩阵A的元素是用户300的眼角膜302的顶点P的坐标，因此可以获得。因此，视线方向检测部可以获得向量y以及矩阵A。再者，将转换矩阵M的元素排列而成的向量的向量x为未知。因此，在向量y与矩阵A为已知时，推算矩阵M的问题为求出未知的向量x的问题。
如果公式的数目(亦即，视线方向检测部230在校准时提供给用户300的点Q的数目)比未知数的数目(亦即向量x的元素数目4)多的话，则公式(5)为优势判定问题。在式(5)所示的例子中，因为公式的数目为九个，所以是优势判定问题。
将向量y与向量Ax的误差向量作为向量e。亦即，e＝y-Ax。此时，代表向量e的元素的平方和为最小的意义的最佳的向量xopt可由以下的公式(6)求得。
xopt＝(ATA)-1ATy (7)
在此“-1”代表反矩阵。
视线方向检测部藉由利用求得的向量xopt的元素，而形成公式(1)的矩阵M。藉此，依据公式(2)，视线方向检测部藉由利用用户300的眼角膜302的顶点P的坐标与矩阵M，而可推算用户300正在凝视影像显示组件108所显示的动态影像面上的何处。
如以上所述般地，如果依据本实施方式的头戴式显示器100的话，将可提供检测装戴了头戴式显示器的用户的视线方向的技术。
特别地，根据本实施方式的头戴式显示器100，红外线光源103被设置在使其所发射的红外线准确地到达用户300的眼角膜302的位置上。因此，可以使决定出用户300的眼角膜302的位置坐标的基准点准确地出现在眼角膜302上。所以，可以提高检测用户300的视线方向的稳固性。
以上，基于本实施方式而说明了本发明。本实施方式为例示性，而本技术领域的人士应当了解：那些各构成组件、各处理流程可被任意地组合而构成各种的变化例，此外，如此所得变化例也属本发明的范围。
在以上说明当中，已就分别在凸透镜114的周围的第一区域304a以及第二区域304b之中各设置三个红外线光源103的情况加以说明。然而，红外线光源103，也可在凸透镜114的周围的第一区域304a或第二区域304b的其中之一中设置红外线光源，此外，其数量也不仅限于三个。以下，就红外线光源103的设置的变化例加以说明。
图10(a)至图10(f)为根据本实施方式的变化例的头戴式显示器100之中的红外线光源103的设置位置的示意图。
图10(a)为根据第1变化例的红外线光源103的设置状态、及图10(b)为绘示出图10(a)所示的设置状态的亮点105的位置的图形。如图10(a)所示，根据第1变化例的红外线光源103的各个分别被设置在凸透镜114的周围的第一区域304a以及第二区域304b的中心位置。如此一来，如图10(b)所示，在用户300的眼角膜302之中的第一区域304a以及第二区域304b之中，分别各出现一个亮点105。
图10(c)为根据第2变化例的红外线光源103的设置状态、及图10(d)为绘示出图10(c)所示的设置状态的亮点105的位置的图形。如图10(c)所示，根据第2变化例的红外线光源103的各个分别被设置在凸透镜114的周围的第一区域304a以及第二区域304b的中心位置、以及该中心位置的下方。如此一来，如图10(d)所示，在用户300的眼角膜302之中的第一区域304a以及第二区域304b之中，分别各出现二个亮点105。
图10(e)为根据第3变化例的红外线光源103的设置状态、及图10(f)为绘示出图10(e)所示的设置状态的亮点105的位置的图形。如图10(e)所示，根据第3变化例的红外线光源103的各个分别被设置在凸透镜114的周围的夹着第一区域304a以及第二区域304b的中心位置的上方与下方的位置。如此一来，如图10(f)所示，在用户300的眼角膜302之中的第一区域304a以及第二区域304b之中，皆分别各出现二个亮点105。
在图10(a)至图10(f)所示的例子中，红外线光源103的任一个被设置在凸透镜114的周围的第一区域304a或第二区域304b的其中之一区域中。藉此，将不会被用户300的眼皮等所遮盖，而可以使从红外线光源103发射出的红外线而来的亮点出现在用户300的眼角膜302上。
附图标记说明
1：影像系统
100：头戴式显示器
103、103a、103b、103c、103d、103e、103f：红外线光源
105、105a、105b、105c、105d、105e、105f：亮点
108：影像显示组件
112：热反射镜
114、114a、114b：凸透镜
116：摄影机
118：输出部
130：影像显示系统
150：框体
152、152a、152b：透镜支持部
160：装戴件
170：头戴式耳机
200：影像再生装置
230：视线方向检测部
300：用户
302、302a、302b：眼角膜
304a：第一区域
304b：第二区域
304c：第三区域
304d：第四区域
306：二维坐标系
P：中心
Q1、Q2、Q3、Q4、Q5、Q6、Q7、Q8、Q9：点
X1、Y1：坐标
[产业上的利用可能性]
本发明可利用于头戴式显示器。
虽然本发明已以优选实施例披露如上，然其并非用以限定本发明，任何一般技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视权利要求所界定为准。

Claims (3)

1.一种头戴式显示器，被装戴在用户的头部上使用，包括：
一凸透镜，设置在装戴了该头戴式显示器时，与该用户的眼角膜相对的位置上；
多个红外线光源，设置在该凸透镜的周围，而对着该用户的眼角膜发射红外线；
一摄影机，对包含该用户的眼角膜的被摄影物的影像加以摄影；以及
一框体，收纳该凸透镜、该红外线光源、以及该摄影机；
其中将该凸透镜的周围等分成该用户的外眼角侧的区域的第一区域、内眼角侧的区域的第二区域、头顶侧的区域的第三区域、下巴侧的区域的第四区域的四个区域时，该多个红外线光源分别被设置在该第一区域或该第二区域的其中之一中。
2.如权利要求1所述的头戴式显示器，再包括：
一透镜支持部，用以支持该凸透镜；
其中将该多个红外线光源装设在该透镜支持部上。
3.如权利要求1或2所述的头戴式显示器，再包括：
一输出部，将该摄影机所摄影到的影像输出到用以检测该用户的视线方向的视线方向检测部；
其中该框体也收纳该输出部。
CN201580035048.9A 2015-04-01 2015-04-01 头戴式显示器 Pending CN106796354A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060397 WO2016157485A1 (ja) 2015-04-01 2015-04-01 ヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
CN106796354A true CN106796354A (zh) 2017-05-31

Family

ID=57004128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580035048.9A Pending CN106796354A (zh) 2015-04-01 2015-04-01 头戴式显示器

Country Status (5)

Country Link
US (1) US10460165B2 (zh)
JP (1) JP6112583B2 (zh)
KR (1) KR101883090B1 (zh)
CN (1) CN106796354A (zh)
WO (1) WO2016157485A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI646356B (zh) * 2018-01-05 2019-01-01 宏碁股份有限公司 頭戴式顯示器
CN112703441A (zh) * 2018-09-20 2021-04-23 索尼互动娱乐股份有限公司 显示系统，程序，显示方法和头戴式设备
CN112782853A (zh) * 2019-11-07 2021-05-11 宏达国际电子股份有限公司 头戴式显示设备
CN113661431A (zh) * 2019-08-29 2021-11-16 苹果公司 头戴式设备的光学模块
US11885965B1 (en) 2019-09-23 2024-01-30 Apple Inc. Head-mounted display and display modules thereof

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091477A1 (en) * 2015-11-25 2017-06-01 Google Inc. Prism-based eye tracking
US10545347B2 (en) 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
CN106932904A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873158A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10522110B1 (en) * 2017-08-30 2019-12-31 Facebook Technologies, Llc Apparatuses, systems, and methods for measuring and adjusting the luminance of a head-mounted display
CN108398788B (zh) * 2018-03-23 2024-04-16 京东方科技集团股份有限公司 眼睛跟踪装置及虚拟现实成像设备
US11119321B2 (en) * 2018-09-10 2021-09-14 Apple Inc. Electronic device with a display attached to a lens element
KR20230017601A (ko) 2021-07-28 2023-02-06 국방과학연구소 저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치
WO2023067424A1 (ja) * 2021-10-19 2023-04-27 株式会社半導体エネルギー研究所 光学装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220361A (en) * 1991-06-05 1993-06-15 Allergan Humphrey Gaze tracking for field analyzer
EP0903661A1 (en) * 1997-08-27 1999-03-24 Canon Kabushiki Kaisha Apparatus and method to input data based on visual-axis detection

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2939988B2 (ja) 1989-04-05 1999-08-25 キヤノン株式会社 視線検出装置
JPH09179062A (ja) 1995-12-25 1997-07-11 Canon Inc コンピュータシステム
US6204974B1 (en) * 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JPH1173274A (ja) * 1997-08-27 1999-03-16 Canon Inc 視線入力意思伝達装置、方法および記憶媒体
EP1194806A4 (en) * 1999-06-21 2008-07-23 Microoptical Corp LENS SYSTEM FOR GOGGLES WITH EXCEPTIONAL OPTICAL DESIGN
JP2004233425A (ja) 2003-01-28 2004-08-19 Mitsubishi Electric Corp 画像表示装置
JP2006095008A (ja) * 2004-09-29 2006-04-13 Gen Tec:Kk 視線検出方法
JP2008241822A (ja) 2007-03-26 2008-10-09 Mitsubishi Electric Corp 画像表示装置
JP5290092B2 (ja) * 2009-08-31 2013-09-18 オリンパス株式会社 眼鏡型画像表示装置
US20140035451A1 (en) * 2011-04-11 2014-02-06 Bob And Ahmed Enterprises Pty Ltd Adjustable food covering support device
US9684374B2 (en) * 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
WO2013117999A1 (en) * 2012-02-06 2013-08-15 Sony Ericsson Mobile Communications Ab Gaze tracking with projector
JP5867186B2 (ja) * 2012-03-09 2016-02-24 セイコーエプソン株式会社 虚像表示装置
CN103777351A (zh) * 2012-10-26 2014-05-07 鸿富锦精密工业（深圳）有限公司 多媒体眼镜
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
US10228561B2 (en) 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
JP6338328B2 (ja) * 2013-07-02 2018-06-06 キヤノン株式会社 インプリント装置、インプリント方法および物品の製造方法
JP6175945B2 (ja) * 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
JPWO2015012280A1 (ja) 2013-07-24 2017-03-02 コニカミノルタ株式会社 視線検出装置
US9613506B2 (en) * 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
US9625989B2 (en) * 2015-04-01 2017-04-18 Fove, Inc. Head mounted display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220361A (en) * 1991-06-05 1993-06-15 Allergan Humphrey Gaze tracking for field analyzer
EP0903661A1 (en) * 1997-08-27 1999-03-24 Canon Kabushiki Kaisha Apparatus and method to input data based on visual-axis detection

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI646356B (zh) * 2018-01-05 2019-01-01 宏碁股份有限公司 頭戴式顯示器
US10650713B2 (en) 2018-01-05 2020-05-12 Acer Incorporated Head mounted display
CN112703441A (zh) * 2018-09-20 2021-04-23 索尼互动娱乐股份有限公司 显示系统，程序，显示方法和头戴式设备
US11906740B2 (en) 2018-09-20 2024-02-20 Sony Interactive Entertainment Inc. Display system, program, display method, and head mounted device
CN113661431A (zh) * 2019-08-29 2021-11-16 苹果公司 头戴式设备的光学模块
US11822081B2 (en) 2019-08-29 2023-11-21 Apple Inc. Optical module for head-mounted device
CN113661431B (zh) * 2019-08-29 2024-04-02 苹果公司 头戴式设备的光学模块
US11885965B1 (en) 2019-09-23 2024-01-30 Apple Inc. Head-mounted display and display modules thereof
CN112782853A (zh) * 2019-11-07 2021-05-11 宏达国际电子股份有限公司 头戴式显示设备
US11442243B2 (en) 2019-11-07 2022-09-13 Htc Corporation Head mounted display device
CN112782853B (zh) * 2019-11-07 2024-02-02 宏达国际电子股份有限公司 头戴式显示设备

Also Published As

Publication number Publication date
KR20170039621A (ko) 2017-04-11
WO2016157485A1 (ja) 2016-10-06
JPWO2016157485A1 (ja) 2017-04-27
KR101883090B1 (ko) 2018-07-27
JP6112583B2 (ja) 2017-04-12
US10460165B2 (en) 2019-10-29
US20170262703A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
CN106796354A (zh) 头戴式显示器
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
WO2016157486A1 (ja) ヘッドマウントディスプレイ
US11747915B2 (en) Smart ring for manipulating virtual objects displayed by a wearable device
CN107111381A (zh) 视线检测系统、凝视点确认方法以及凝视点确认程序
US11792500B2 (en) Eyewear determining facial expressions using muscle sensors
US11506902B2 (en) Digital glasses having display vision enhancement
US20180182124A1 (en) Estimation system, estimation method, and estimation program
CN109587471A (zh) 图像显示系统、图像显示方法及图像显示程序
US11900058B2 (en) Ring motion capture and message composition system
US20230204981A1 (en) Eyewear waveguide with reflector
US20230063078A1 (en) System on a chip with simultaneous usb communications
US11829312B2 (en) Debug access of eyewear having multiple socs
US20230123344A1 (en) Dual system on a chip eyewear
US20230109916A1 (en) Dual system on a chip eyewear
US20230262207A1 (en) Dual system on a chip eyewear having a mipi bridge
US11792371B2 (en) Projector with field lens
US20230034649A1 (en) Electronic device virtual machine operating system
US11852500B1 (en) Navigation assistance for the visually impaired
US20230204958A1 (en) Eyewear electronic tinting lens with integrated waveguide
US20230113076A1 (en) Synchronizing systems-on-chip using gpio timestamps
WO2023064125A1 (en) Dual system on a chip eyewear
JP2017045068A (ja) ヘッドマウントディスプレイ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170531

WD01 Invention patent application deemed withdrawn after publication