CN107852474A - 头戴式显示器 - Google Patents

头戴式显示器 Download PDF

Info

Publication number
CN107852474A
CN107852474A CN201680045546.6A CN201680045546A CN107852474A CN 107852474 A CN107852474 A CN 107852474A CN 201680045546 A CN201680045546 A CN 201680045546A CN 107852474 A CN107852474 A CN 107852474A
Authority
CN
China
Prior art keywords
user
eyes
unit
light
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680045546.6A
Other languages
English (en)
Other versions
CN107852474B (zh
Inventor
石冈学
只正太郎
楠俊宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN107852474A publication Critical patent/CN107852474A/zh
Application granted granted Critical
Publication of CN107852474B publication Critical patent/CN107852474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

本发明提供了一种易于拍摄穿戴头戴式显示器的用户的眼睛的头戴式显示器(HMD)。由用户穿戴的HMD(10)包括：设置在用户眼睛前方的显示单元(14)；设置在显示单元(14)和用户的眼睛(30)之间的光学系统(17)；以及设置在显示单元(14)和光学系统(17)之间的成像单元(16)，所述成像单元对反射了用户的眼睛的图像(40)的显示单元进行成像。

Description

头戴式显示器
技术领域
本发明涉及头戴式显示器。
背景技术
在如专利文献1至4中公开的穿戴于用户的头部并在其中观看视频等的头戴式显示器等中，已知有如下技术：从相机拍摄的用户的眼睛的图像中检测用户的视线方向或眼睛的位置。
[引用列表]
[专利文献]
[专利文献1]
JP 2015-508182T
[专利文献2]
JP 2002-301030A
[专利文献3]
JP 1997-127459A
[专利文献4]
JP 2012-515579T
发明内容
[技术问题]
当拍摄穿戴头戴式显示器的用户的眼睛时，相机被安装在用户的眼睛和光学系统之间的空间的位置(例如，光学系统的上部或下部)，光学系统设置在显示单元和用户的眼睛之间，并且用户观看显示单元时没有阻碍。
这里，在穿戴在头部的头戴式显示器中，光学系统与穿戴头戴式显示器的用户的眼睛之间的距离变小。而且，实际状态是为了扩大用户的视野而优选光学系统的尺寸较大。然后，出现相机对用户的眼睛的拍摄角度变浅的问题，并且难以拍摄具有眼皮、睫毛等成为阻碍物的用户的眼睛。
鉴于上述情况，本发明的目的是提供一种易于拍摄穿戴头戴式显示器的用户的眼睛的头戴式显示器。
[问题的解决方案]
为了解决上述问题，根据本发明的由用户穿戴的头戴式显示器包括：设置在用户眼睛前方的显示单元，设置在显示单元和用户的眼睛之间的光学系统，以及设置在显示单元和光学系统之间的成像单元，所述成像单元对反射了用户的眼睛的图像的显示单元进行成像。
在本发明的一个模式中，可以假设头戴式显示器还包括：将光照射到用户的眼睛上的光照单元，以及通过由用户的眼睛反射由光照单元照射的光，对在显示单元中反射的用户的眼睛的图像进行成像的成像单元。
在这种模式中，可以假设光照单元设置在光学系统和用户的眼睛之间，并将光直接照射到用户的眼睛上。
此外，可以假设光照单元设置在显示单元和光学系统之间，并将反射光照射到用户的眼睛上，所述反射光是被反射的照射到显示单元上的光。
此外，可以假设光照单元照射红外光，并且成像单元是能够对红外光成像的红外相机。
此外，在本发明的一个模式中，可以假设头戴式显示器还包括视线检测单元，其基于包括由成像单元成像的用户的眼睛的图像的图像来检测用户的视线方向。
附图说明
图1是示出根据本发明实施例的头戴式显示器(HMD)的硬件配置的示例的图。
图2是示出根据本实施例的HMD的配置的第一示例的示意图。
图3是示出根据对比例的HMD的配置的示意图。
图4是示出根据本实施例的HMD的配置的第二示例的示意图。
图5是示出根据本实施例的HMD的配置的第一修改示例的示意图。
图6是示出根据本实施例的HMD的配置的第二修改示例的示意图。
具体实施方式
在下文中，将参照附图描述本发明的实施例。
图1是示出根据本发明实施例的HMD 10的硬件配置的示例的图。图2是示出根据本实施例的HMD 10的配置的第一示例的示意图。
如图1所示，根据本实施例的HMD 10包括例如控制单元11、存储单元12、输入/输出单元13、显示单元14、光照单元15和成像单元16。
控制单元11包括诸如中央处理单元(CPU)的程序控制设备，并且根据存储在存储单元12中的程序执行各种类型的信息处理。
存储单元12包括诸如随机存取存储器(RAM)或只读存储器(ROM)的存储设备，并且存储由控制单元11执行的程序等。此外，存储单元12还用作控制单元11的工作存储器。
输入/输出单元13例如是诸如高分辨率多媒体接口(HDMI)(注册商标)端口或通用串行总线(USB)端口的输入/输出接口。
显示单元14例如是诸如液晶显示器或有机电致发光(EL)显示器的显示器。根据本实施例的显示单元14显示例如经由输入/输出单元13从诸如家庭游戏机、数字多功能盘(DVD)播放器或蓝光(注册商标)播放器的娱乐装置接收的视频信号表示的视频等。此外，根据本实施例的显示单元14能够显示三维视频。
光照单元15是诸如发光二极管(LED)的光学设备。假设根据本实施例的光照单元15照射被称为红外光的、可见光波段以外的波段的光；然而，光照单元15不限于该示例，并且可以假设照射可见光波段的光。
成像单元16是例如诸如数码相机的相机，用于生成对对象成像的图像。假设根据本实施例的成像单元16是能够对红外光成像的红外相机；然而，成像单元16不限于该示例，并且可以是能够对可见光成像的相机。此外，如图2所示，根据本实施例的成像单元16被设置以对显示单元14进行成像，并且对反射了用户的眼睛的图像40的显示单元14进行成像，所述用户的眼睛的图像40是通过使用由用户的眼睛30反射的红外光而获得的。另外，可以假设成像单元16对反射了用户的眼睛的图像40的显示单元14进行成像，所述用户的眼睛的图像40是通过使用由用户的眼睛30反射的可见光而获得的。
控制单元11还从包括由成像单元16成像的用户的眼睛的图像40的图像中检测用户的眼睛的位置或用户的视线方向。假设控制单元11是通过使用已知的视线检测技术来检测用户的眼睛的位置或视线方向。例如，控制单元11基于用户的瞳孔与通过用户的角膜反射红外光获得的基点之间的位置关系来检测用户的眼睛的位置或用户的视线方向。可替换地，控制单元11可以基于虹膜或瞳孔的位置来检测用户的眼睛的位置或用户的视线方向。另外，成像单元16可以包括检测用户的眼睛的位置或用户的视线方向的功能。
如上所述，从包括由成像单元16成像的用户的眼睛的图像40的图像中检测到的用户的眼睛的位置或用户的视线方向适用于HMD 10的校准或用户的视线追踪功能。HMD 10的校准用于在启动HMD 10时、在启动应用程序等时调整显示单元14中的视频的显示位置；例如，可以通过使用检测到的用户眼睛的位置来调整视频的显示位置，使得视频显示在显示单元14上用户眼睛的位置上。在HMD 10的视线追踪功能中，例如，可以通过使用检测到的用户的视线方向来执行视线追踪。
另外，可以假设包括由成像单元16成像的用户的眼睛的图像40的图像经由输入/输出单元13被传送到外部信息处理装置。在这种情况下，假设可以通过使用包括由外部信息处理装置接收的用户的眼睛的图像40的图像来检测用户的眼睛的位置或用户的视线方向。
在图2所示的根据本实施例的HMD 10的配置的第一示例中，示出了用户穿戴HMD10的状态。如图2所示，在根据本实施例的HMD 10中，显示单元14和包括诸如反光镜、透镜或棱镜的至少一个光学构件的光学系统17被设置在用户的眼睛的前方。也就是说，光学系统17设置在用户的眼睛的前方，并且显示单元14通过光学系统17被设置在用户的眼睛30的前表面。此外，假设当从显示单元14到光学系统17的距离是X，并且从光学系统17到用户的眼睛30的距离是Y时，距离Y比距离X短。特别地，在用户穿戴的HMD 10时，距离Y趋于变短。在根据本实施例的上述HMD 10中，从显示单元14输出的视频光通过光学系统17并入射在用户的眼睛30上，并且由此用户可以观看显示在显示单元14上的视频。此外，光照单元15被设置在光学系统17和用户的眼睛30之间，并将红外光照射到用户的眼睛30上。成像单元16是能够对红外光进行成像的相机，并且在显示单元14和光学系统17之间与显示单元14相对地设置。这里，假设成像单元16与从用户的眼睛30垂直入射在显示单元14上的直线之间垂直距离是H1，并且显示单元14和成像单元16之间的垂直距离是L1。
在图2所示的根据本实施例的HMD 10中，如图2所示，由光照单元15照射到用户的眼睛30上的红外光被用户的眼睛30反射，此外，反射光通过光学系统17并入射在显示单元14上，并且由此用户的眼睛的图像40被红外光反射到显示单元14中。然后，成像单元16对通过红外光反射用户的眼睛的图像40的显示单元14进行成像。另外，通过红外光的用户眼睛的图像40可以只需要指示用户的瞳孔和通过用户的角膜反射红外光而获得的基点；此外，成像单元16可以被设置为对反射用户眼睛的上述图像40的显示单元14的一部分进行成像。如上所述，在图2所示的根据本实施例的HMD 10中，成像单元16对在显示单元14中反射的用户的眼睛的图像40的拍摄角度是θ1。应该注意的是，在图2中，在显示单元14中反射的到用户眼睛的图像40的中心的拍摄角度θ1作为示例示出。
随后，将描述与图2中所示的根据本实施例的HMD 10的对比例。图3示出了根据对比例的HMD 110的配置的示意图。在图3所示的根据对比例的HMD 110中，显示单元114和包括诸如反光镜、透镜或棱镜的至少一个光学构件的光学系统117被设置在用户的眼睛的前方。也就是说，光学系统117设置在用户的眼睛的前方，并且显示单元114通过光学系统117被设置在用户的眼睛130的前表面。此外，光照单元115被设置在光学系统117和用户的眼睛130之间，并且将红外光照射到用户的眼睛130上。成像单元116是能够对红外光进行成像的相机，并且被设置在光学系统117和用户的眼睛130之间面对用户的眼睛130。另外，假设图3所示的根据对比例的HMD 110的显示单元114、光照单元115、成像单元116和光学系统117分别与图2所示的根据本实施例的HMD 10的显示单元14、光照单元15、成像单元16和光学系统17相同。因此，假设从显示单元114到光学系统117的距离X以及从光学系统117到用户的眼睛130的距离Y与图2所示的根据本实施例的HMD 10的相同。
在图3所示的根据对比例的HMD 110中，由光照单元115照射到用户的眼睛130上的红外光被用户的眼睛130反射，并且反射光入射在成像单元116上。如上所述，根据对比例的HMD 110的成像单元116能够对用户的瞳孔和通过由用户的角膜反射由光照单元115照射的红外光而获得的基点进行成像。此外，在图3所示的根据对比例的HMD 110中，成像单元116对用户的眼睛130的拍摄角度是θ2。应该注意的是，在图3中，以用户眼睛130的中心的拍摄角度θ2作为示例示出。
这里，图2所示的根据本实施例的HMD 10与图3所示的根据对比例的HMD 110相互对比。
首先，在根据本实施例的HMD 10中，成像单元16优选地设置在易于对在显示单元14中反射的用户的眼睛的图像40进行成像的位置，并且不妨碍用户观看显示单元14上显示的视频。在如图2所示的根据本实施例的HMD 10中，例如，成像单元16被设置在光学系统17的靠近光学系统17的位置的端部处。也就是说，在根据本实施例HMD 10中的显示单元14和成像单元16之间的垂直距离L1是近似于距离X的值。此外，成像单元16与从用户的眼睛30垂直入射到显示单元14上的直线之间的垂直距离H1是根据光学系统17的尺寸以及用户的眼睛的位置的值，并且例如大约是光学系统17的高度的一半。
随后，在根据对比例的HMD 110中，成像单元116优选地设置在易于对用户的眼睛130进行成像的位置，并且不妨碍用户观看显示单元114上显示的视频。在如图3所示的根据对比例的HMD 110中，例如，成像单元116被设置在光学系统117的靠近光学系统117的位置的端部处。也就是说，在根据对比例的HMD 110中的用户的眼睛30与成像单元116之间的垂直距离L2是近似于距离Y的值。此外，成像单元116与从用户的眼睛130垂直入射到显示单元114上的直线之间的垂直距离H2是根据光学系统117的尺寸以及用户眼睛的位置的值，并且例如大约是光学系统117的高度的一半。应该注意的是，在如图3所示的根据对比例的HMD110中，随着距离Y越短，并且随着光学系统117的尺寸越大，成像单元116对用户的眼睛130的拍摄角度θ2越浅，并且用户的睫毛、眼睑等变为成像的阻碍。
如上所述，在图2和图3中，根据本实施例的HMD 10中的垂直距离H1与根据对比例的HMD 110中的垂直距离H2大约相同。此外，在根据本实施例的HMD 10中的垂直距离L1比在根据对比例的HMD 110中的垂直距离L2长。因此，根据本实施例的在成像单元16对显示单元14中反射的用户的眼睛的图像40的拍摄角度θ1大于根据对比例的成像单元116对用户的眼睛130的拍摄角度θ2。如上所述，根据本实施例的成像单元16对反射了用户的眼睛的图像40的显示单元14进行成像，并且由此可以加深成像单元16对用户的眼睛的图像40的拍摄角度，并且易于拍摄用户的眼睛的图像40。
在上述示例中，提供了根据本实施例的HMD 10中的垂直距离H1与根据对比例的HMD 110中的垂直距离H2大约相同的示例，并且根据本实施例的HMD 10中的垂直距离H1比根据对比例的HMD 110中的垂直距离H2长；然而，本实施例不限于此示例。例如，根据本实施例的HMD 10中的垂直距离H1可以大于光学系统17的高度的一半。此外，根据本实施例的HMD10中的垂直距离L1可以比距离X短或者可以比距离Y短。即使在这种情况下，根据本实施例的成像单元16对反射了用户的眼睛的图像40的显示单元14进行成像，并且由此在根据对比例的HMD 110中不存在诸如用户的睫毛或眼睑的成像的阻碍，因此易于对用户的眼睛的图像40进行成像。
成像单元16还对通过红外光反射用户的眼睛的图像40的显示单元14进行成像，并且由此即使在从娱乐装置接收的视频等被显示在显示单元14期间，也可以对用户的眼睛的图像40进行成像。也就是说，红外光被照射到用户的眼睛上，并且由此用户的眼睛的图像40可以在不阻碍显示在显示单元14上的视频的情况下在显示单元14中反射。通过该处理，即使当用户观看从娱乐装置接收的视频等时，控制单元11能够检测用户的眼睛的位置或者用户的视线方向以及执行校准或视线追踪。例如，可以使用视线输入操作作为在显示单元14上显示从娱乐装置接收到的视频等的同时被接受的用户输入操作；此外，娱乐装置能够根据用户的眼睛的位置或用户的视线方向执行与输入操作有关的处理。
此外，在图2所示的根据本实施例的HMD 10中，可以假设成像单元16是能够对可见光进行成像的相机。在这种情况下，假设成像单元16对通过对显示单元14进行成像而获得的图像执行诸如滤波处理的图像处理，并且由此通过红外光提取用户眼睛的图像40。
此外，在图2所示的根据本实施例的HMD 10中，可以假设成像单元16是能够对可见光进行成像的相机，并且还不设置光照单元15。即使没有设置光照单元15，通过由用户的眼睛30反射可见光而获得的反射光通过光学系统17并入射在显示单元14上，并且由此通过可见光的用户的眼睛的图像40被反射在显示单元14中。然后，可以假设成像单元16对通过可见光反射用户的眼睛的图像40的显示单元14进行成像。这里，当成像单元16对通过可见光反射用户的眼睛的图像40的显示单元14进行成像时，成像单元16优选地在从娱乐装置接收到的视频等不显示在显示单元14期间对显示单元14进行成像。
图4是示出根据本实施例的HMD 10的配置的第二示例的示意图。图4所示的根据本实施例的HMD 10是通过使图2所示的根据本实施例的HMD 10的光照单元15的位置不同而获得的。图4所示的根据本实施例的HMD 10的光照单元15被设置在显示单元14和光学系统17之间，并且将被称为红外激光的红外光照射到显示单元14上。其他配置与图2所示的根据本实施例的HMD 10的配置类似，因此在此省略重复的描述。
在图4所示的根据本实施例的HMD 10中，由光照单元15照射到显示单元14上的红外光被显示单元14反射；此外，反射光通过光学系统17并照射到用户的眼睛30上。然后，照射到用户的眼睛30上的红外光被用户的眼睛30反射，此外，反射光再次通过光学系统17并入射到显示单元14上，并且由此通过红外光的用户眼睛的图像40在显示单元14中被反射。然后，成像单元对反射了用户的眼睛的图像40的显示单元进行成像。如上所述，通过反射照射到显示单元14上的红外光而获得的反射光照射到用户的眼睛30上，并且由此红外光从前侧入射到用户的眼睛30上。因此，由于用户的眼睛的图像40易于在显示单元14中被反射，所以成像单元16易于对反射了用户的眼睛的图像40的显示单元14进行成像。因此，提高了通过控制单元11的用户眼睛位置或用户视线方向的检测的精度。
另外，图2和图4所示的HMD 10的配置始终是一个示例，并且不限于此示例。在上述示例中，在图2和图4中，提供了光照单元15和成像单元16被设置在HMD 10的上侧的示例；另外，例如，光照单元15和成像单元16可以被设置在HMD 10的下侧，或者可以设置在HMD 10的表面侧上。这些设置可以根据显示单元14或光学系统17的特性、从显示单元14到光学系统17的距离X、从光学系统17到用户的眼睛30的距离X2等来适当地设置。
修改示例
图5是示出根据本实施例的HMD 10的配置的第一修改示例的示意图。图5示出了用户穿戴HMD 10的状态。在图5所示的根据修改示例的HMD 10中，光学系统17被设置在用户的眼睛的前方，并且成像单元16通过光学系统17被设置在用户的眼睛30的前表面。光学系统17包括反射可见光以及传送红外光的反光镜27，并且被设置在成像单元16和用户的眼睛30之间。显示单元14被设置为使得从显示单元14输出的视频光被反光镜27反射并且入射在用户的眼睛30上。光照单元15被设置在光学系统17与用户的眼睛30之间，并将红外光照射到用户的眼睛30上。假设成像单元16是能够对红外光进行成像的红外相机。
在图5所示的修改示例的HMD 10中，由光照单元15照射到用户的眼睛30上的红外光被用户的眼睛30反射，并且反射的光通过反光镜27传送并入射在成像单元16上。该处理允许成像单元16从前侧将用户的眼睛30成像到用户的眼睛30上。
图6是示出根据本实施例的HMD 10的配置的第二修改示例的示意图。图6所示的根据修改示例的HMD 10是通过使图5所示的根据修改示例的HMD 10的光照单元15的位置不同而获得的。图6所示的根据修改示例的HMD 10的光照单元15通过光学系统17被设置在用户的眼睛的前方。其他配置与图5所示的根据修改示例的HMD 10的配置类似，因此在此省略重复的描述。
在图6所示的修改示例的HMD 10中，由光照单元15照射的红外光通过反光镜27传送并照射到用户的眼睛30上。然后，照射到用户的眼睛30上的红外光被用户的眼睛30反射，此外，反射光通过反光镜27传送并入射到成像单元16上。该处理允许光照单元15从前侧将红外光照射到用户的眼睛30上，并且允许成像单元16从前侧将用户的眼睛30成像到用户的眼睛30上。

Claims (6)

1.一种由用户穿戴的头戴式显示器，包括：
显示单元，设置在所述用户的眼睛的前方；
光学系统，设置在所述显示单元和所述用户的眼睛之间；以及
成像单元，设置在所述显示单元和所述光学系统之间，所述成像单元对反射了所述用户的眼睛的图像的显示单元进行成像。
2.如权利要求1所述的头戴式显示器，还包括：
光照单元，将光照射到所述用户的眼睛上，其中
所述成像单元通过由所述用户的眼睛反射由所述光照单元照射的光，对在所述显示单元中反射的所述用户的眼睛的图像进行成像。
3.如权利要求2所述的头戴式显示器，其中
所述光照单元设置在所述光学系统和所述用户的眼睛之间，并将光直接照射到所述用户的眼睛上。
4.如权利要求2所述的头戴式显示器，其中
所述光照单元设置在所述显示单元和所述光学系统之间，并将反射光照射到所述用户的眼睛上，所述反射光是被反射的照射到所述显示单元上的光。
5.如权利要求2-4中的任一个所述的头戴式显示器，其中
所述光照单元照射红外光，并且
所述成像单元是能够对所述红外光成像的红外相机。
6.如权利要求1-5中的任一个所述的头戴式显示器，还包括：
视线检测单元，其基于包括由所述成像单元成像的所述用户的眼睛的图像的图像来检测所述用户的视线方向。
CN201680045546.6A 2015-08-11 2016-08-04 头戴式显示器 Active CN107852474B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-158976 2015-08-11
JP2015158976 2015-08-11
PCT/JP2016/072967 WO2017026371A1 (ja) 2015-08-11 2016-08-04 ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
CN107852474A true CN107852474A (zh) 2018-03-27
CN107852474B CN107852474B (zh) 2021-01-08

Family

ID=57984508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680045546.6A Active CN107852474B (zh) 2015-08-11 2016-08-04 头戴式显示器

Country Status (6)

Country Link
US (2) US10635901B2 (zh)
EP (1) EP3337164B1 (zh)
JP (2) JP6474900B2 (zh)
KR (1) KR102091055B1 (zh)
CN (1) CN107852474B (zh)
WO (1) WO2017026371A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109031672A (zh) * 2018-10-19 2018-12-18 山东济大象外创新科技有限公司 一种具有视线追踪功能的近眼显示器
CN112703441A (zh) * 2018-09-20 2021-04-23 索尼互动娱乐股份有限公司 显示系统，程序，显示方法和头戴式设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545347B2 (en) * 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
CN106873159A (zh) 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873158A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106932905A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10816810B1 (en) * 2019-04-08 2020-10-27 Htc Corporation Head mounted display apparatus
WO2020213509A1 (ja) 2019-04-19 2020-10-22 日本電産株式会社 駆動装置
DE112020003781T5 (de) 2019-08-09 2022-07-07 Semiconductor Energy Laboratory Co., Ltd. Verfahren zum Betreiben einer Anzeigevorrichtung
JPWO2021084367A1 (zh) 2019-11-01 2021-05-06
FI130771B1 (fi) * 2020-07-03 2024-03-07 Seetrue Tech Oy Katseen seuranta
TWI792033B (zh) * 2020-08-10 2023-02-11 見臻科技股份有限公司 穿戴式眼動追蹤系統
US20230317894A1 (en) 2020-08-21 2023-10-05 Semiconductor Energy Laboratory Co., Ltd. Display device, electronic device, and head-mounted display
JP2022084180A (ja) * 2020-11-26 2022-06-07 ソニーグループ株式会社 画像表示装置及び表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6634749B1 (en) * 1998-11-02 2003-10-21 Leica Microsystems (Schweiz) Ag Eye tracking system
CN102928979A (zh) * 2011-08-30 2013-02-13 微软公司 调整混合现实显示器以供瞳孔间距对准
CN103809687A (zh) * 2012-11-06 2014-05-21 索尼电脑娱乐公司 头戴式显示器、运动检测器及方法、图像呈现系统和程序
CN104793337A (zh) * 2014-01-16 2015-07-22 中强光电股份有限公司 虚像显示模块与光学镜头
CN106797422A (zh) * 2014-06-27 2017-05-31 Fove股份有限公司 视线检测用的装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089205A (ja) * 1994-06-17 1996-01-12 Canon Inc 画像モニタ装置
JPH09127459A (ja) 1995-11-02 1997-05-16 Canon Inc 視線検出系を有した表示装置
JP3717653B2 (ja) * 1998-01-20 2005-11-16 株式会社リコー 頭部搭載型画像表示装置
JP3460643B2 (ja) * 1999-09-29 2003-10-27 ミノルタ株式会社 デジタルカメラ
JP2002301030A (ja) 2001-04-09 2002-10-15 Canon Inc 視線検出機能付き機器
US6529331B2 (en) * 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
JP2002328330A (ja) * 2001-04-27 2002-11-15 Sony Corp 映像表示装置
US7907150B2 (en) * 2003-08-09 2011-03-15 Doubleshot, Inc. Method of fusion or merging imagery data for improved visual perception using monoscopic and stereographic fusion and retinal decay techniques
US7432917B2 (en) * 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
JP2006053321A (ja) 2004-08-11 2006-02-23 Olympus Corp 投影観察装置
JP2008241822A (ja) 2007-03-26 2008-10-09 Mitsubishi Electric Corp 画像表示装置
DK2389095T3 (da) * 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
WO2011060525A1 (en) * 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display
TWI490753B (zh) * 2010-04-06 2015-07-01 Hon Hai Prec Ind Co Ltd 觸控裝置
US20120176474A1 (en) * 2011-01-10 2012-07-12 John Norvold Border Rotational adjustment for stereo viewing
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US9720232B2 (en) 2012-01-24 2017-08-01 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compact eye-tracked head-mounted display
JP5958922B2 (ja) * 2012-06-01 2016-08-02 国立大学法人高知大学 近赤外蛍光を発する医療品、および医療品の使用状況確認装置
EP2903675B1 (en) 2012-10-02 2018-08-01 Koninklijke Philips N.V. Customizable cushion utilizing fitted plug inserts
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
US10228561B2 (en) * 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
KR101821284B1 (ko) * 2013-08-22 2018-01-23 비스포크, 인코포레이티드 커스텀 제품을 생성하기 위한 방법 및 시스템
US10191279B2 (en) * 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150206173A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
WO2016103525A1 (ja) 2014-12-27 2016-06-30 株式会社Ｆｏｖｅ ヘッドマウントディスプレイ
US20160239985A1 (en) * 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6634749B1 (en) * 1998-11-02 2003-10-21 Leica Microsystems (Schweiz) Ag Eye tracking system
CN102928979A (zh) * 2011-08-30 2013-02-13 微软公司 调整混合现实显示器以供瞳孔间距对准
CN103809687A (zh) * 2012-11-06 2014-05-21 索尼电脑娱乐公司 头戴式显示器、运动检测器及方法、图像呈现系统和程序
CN104793337A (zh) * 2014-01-16 2015-07-22 中强光电股份有限公司 虚像显示模块与光学镜头
CN106797422A (zh) * 2014-06-27 2017-05-31 Fove股份有限公司 视线检测用的装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONG HUA ET AL: "Video-based eyetracking methods and algorithms in head-mounted display", 《OPTICS EXPRESS》 *
ROLF R. HAINICH ET AL: "Chapter 10.12: Adaptive Displays and Eye Tracking", 《DISPLAYS: FUNDAMENTALS AND APPLICATIONS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703441A (zh) * 2018-09-20 2021-04-23 索尼互动娱乐股份有限公司 显示系统，程序，显示方法和头戴式设备
US11906740B2 (en) 2018-09-20 2024-02-20 Sony Interactive Entertainment Inc. Display system, program, display method, and head mounted device
CN109031672A (zh) * 2018-10-19 2018-12-18 山东济大象外创新科技有限公司 一种具有视线追踪功能的近眼显示器

Also Published As

Publication number Publication date
JP6474900B2 (ja) 2019-02-27
JPWO2017026371A1 (ja) 2018-03-15
KR102091055B1 (ko) 2020-03-20
US20180218211A1 (en) 2018-08-02
EP3337164B1 (en) 2021-10-27
EP3337164A1 (en) 2018-06-20
CN107852474B (zh) 2021-01-08
US10635901B2 (en) 2020-04-28
WO2017026371A1 (ja) 2017-02-16
US11126840B2 (en) 2021-09-21
JP2019080354A (ja) 2019-05-23
KR20180023983A (ko) 2018-03-07
EP3337164A4 (en) 2019-04-10
US20200218891A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
CN107852474A (zh) 头戴式显示器
US10817721B2 (en) Gaze detection device
JP6886510B2 (ja) 視線追跡情報に基づく画像領域内の適応パラメータ
US10698482B2 (en) Gaze tracking using non-circular lights
US9916005B2 (en) Gaze tracking with projector
CN113729611B (zh) 使用眼球中心位置的眼睛追踪
JP6628793B2 (ja) 眼球輻輳に基づいたディスプレイ視認性
US10481403B2 (en) Contact lens with retinal camera
US10061384B2 (en) Information processing apparatus, information processing method, and program
JP6631951B2 (ja) 視線検出装置及び視線検出方法
WO2015035822A1 (en) Pickup of objects in three-dimensional display
JP6903998B2 (ja) ヘッドマウントディスプレイ
US20210019493A1 (en) Information processing apparatus, information processing method, and program
CN108697321B (zh) 用于在限定操作范围内进行视线跟踪的装置
US11624907B2 (en) Method and device for eye metric acquisition
JP7046347B2 (ja) 画像処理装置及び画像処理方法
JP6687195B2 (ja) 眼部画像処理装置
EP3801196B1 (en) Method and system for glint/reflection identification
JP2022113973A (ja) 表示方法、表示装置、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant