CN116711297A - 图像显示设备和图像显示系统 - Google Patents

Abstract

为了将头部佩戴的图像显示设备的佩戴状态引导到作为正确设计位置的能够视觉识别的区域，头部佩戴的图像显示设备100包括用于获取可以从中估计用户眼球的瞳孔位置和用户的视觉可识别区域之间的位置关系的位置关系图像的图像获取单元104和由此入射光被投影的投影系统103，并且，视觉可识别区域是投影系统103的焦点位置。并且，图像显示设备100具有成像元件，并且成像元件获取三维位置关系图像。

Description

图像显示设备和图像显示系统

技术领域

本技术涉及图像显示设备和图像显示系统，更具体地，涉及能够在图像显示设备被佩戴在用户的头部上时调整佩戴位置的头部佩戴的图像显示设备和图像显示系统。

背景技术

常规上，已知作为头部佩戴的图像显示设备的示例的头部佩戴显示器(HMD)使用利用视网膜直接描绘方式(Maxwell观察法)的图像显示方式。例如，专利文献1公开了通过使用激光在眼睛的视网膜上显示图像的直视图像显示设备。

这种视网膜直接描绘方式用细光线束(束直径)将图像直接投影到视网膜上。因此，不管作为角膜的焦点调整能力“视力”如何，都能够在视觉上识别对焦图像。因此，在视网膜起作用的情况下，即使以视力下降的弱视也能够观看视频。

然而，视网膜直接描绘方式具有在放置眼球时用作视觉可识别区域的眼盒狭窄的问题，并且需要将收集显示图像的光线束的投影系统的焦点位置与瞳孔位置物理匹配。为了移动图像显示位置，需要三维地移动投影系统的焦点位置，以在XYZ平面内的水平方向、垂直方向和深度方向上移动焦点位置。如上所述，使用视网膜直接描绘方式的HMD存在这样一种问题，即，除非用户将HMD佩戴为使得用户的瞳孔中心到达HMD的设计眼盒位置，否则不能观看整个图像。

同时，已知存在在通过使用视线操作计算机的视线界面中检测眼睛移动的视线的技术。作为一般方法，存在通过使用成像照相机获取瞳孔中心和照明光源的Purkinje图像并通过图像处理检测视线方向的方法。例如，专利文献2公开了通过在通过使用Purkinje图像检测视线时添加复杂的校正手段来检测精确视线的技术。

并且，作为视线检测方法，还已知存在通过使用光电二极管(PD)检测红外照明光等的来自眼球的反射光量的变化的方法。例如，专利文献3公开了通过使用框架上的多个PD检测来自眼球的反射光量的变化以基于来自各个PD的输出的和(sum)或差(difference)的信号检测视线的移动方向的技术。

并且，已知存在在眼镜型图像显示设备中出现佩戴偏移的情况下通过校正显示图像来显示高度校正的图像的方法。例如，专利文献4公开了当在使用虚拟图像方式的HMD中在眼盒的范围内出现佩戴偏移时校正显示图像的投影状态(诸如亮度的图像质量)以显示具有高图像质量的图像的技术。在使用虚拟图像方式的护目镜(eyewear)的情况下，眼盒通常被设计为大于瞳孔直径，因此，在瞳孔存在于眼盒中的情况下，能够观看显示图像的整个范围，并且护目镜能够容忍初始佩戴位置的偏移。因此，图像质量可能劣化，但只要瞳孔存在于眼盒的范围内，就可以观看图像。

并且，已知存在在图像的显示位置在深度方向上偏移的情况下精确地调整佩戴位置的方法。例如，专利文献5公开了在HMD的左显示单元和右显示单元上显示图像以使得佩戴者他/她自己基于偏移量或模糊程度调整其在深度方向上的位置的技术。

引文列表

专利文件

专利文献1：日本专利申请公开No.4-100088

专利文献2：日本专利申请公开No.2003-79577

专利文献3：日本专利申请公开No.2003-29198

专利文献4：日本专利申请公开No.2017-135605

专利文献5：日本专利申请公开No.2017-129755

发明内容

本发明要解决的问题

然而，在专利文献2中公开的分析图像的技术具有以下问题：在HMD被佩戴时HMD从最有利的设计位置偏移的情况下，需要通过初始校准校正偏移，但是，由于位置偏离理想条件，因此，即使在偏移被校正的情况下，检测精度也降低，因此需要尽可能地保持正确的设计佩戴位置。

并且，专利文献3的技术能够以轻重量、小尺寸和快速响应检测视线，但是具有当眼球和框架上的PD之间的位置关系与设计值不同时出现误差的问题。并且，由于不使用图像信息，因此不能够确定是眼球旋转移动还是头部和HMD的框架的位置移位(即，佩戴状态偏移)。并且，偏移的方向和偏移的量是未知的，并因此导致误差。在最坏的情况下，不能观看图像。

并且，专利文献4的技术存在这样一种问题，即，在使用利用Maxwell观察法的视网膜直接描绘方式的HMD的情况下，或者在即使在采用虚拟图像方式的情况下眼盒对于瞳孔直径也不够的情况下，视场缺失。

并且，专利文献5的技术存在这样一种问题，即，在佩戴者由于弱视或缺乏判断等而不能识别偏移本身的情况下，佩戴者不能适当地佩戴HMD。

因此，本技术的主要目的是，提供能够将图像显示设备的佩戴状态引导到作为正确设计位置的视觉可识别区域的头部佩戴的图像显示设备。

问题的解决方案

根据本技术的头部佩戴的图像显示设备包括图像获取单元，图像获取单元获取位置关系图像，根据该位置关系图像，能够估计用户眼球的瞳孔位置和用户的视觉可识别区域之间的位置关系。根据本技术的图像显示设备还可以包括入射光被投影到其上面的投影系统，其中，视觉可识别区域可以是投影系统的焦点位置。并且，根据本技术的图像显示设备可以包括：基于来自位置关系图像的信息确定从正确佩戴状态的偏移的量和/或方向的佩戴偏移确定单元；和基于佩戴偏移确定单元的确定结果将佩戴位置调整信息呈现给用户或佩戴助理的信息呈现单元。

图像显示方式可以是视网膜直接描绘方式或视觉可识别区域的大小与瞳孔直径的大小基本上相同的虚拟图像方式。图像获取单元可以包括成像元件，并且成像元件可以获取三维位置关系图像。根据本技术的图像显示设备还可以包括被布置在相对于视觉可识别区域与成像元件对称的位置处的光源。成像元件可以具有切换成像范围的功能。图像获取单元可以包括多个成像元件，并且，成像元件的光轴可以在视觉可识别区域中彼此相交。

根据本技术的图像显示设备还可以包括检测用户的视线的视线检测单元。视线检测单元可以通过成像方式或光电二极管方式检测用户的视线。并且，根据本技术的图像显示设备还可以包括衍射或透射入射光的全息光学元件，其中，视线检测单元可以通过光电二极管方式检测用户的视线。

图像显示设备还可以包括跟踪用户的视线的视线跟踪单元，或者还可以包括反馈基于位置关系图像的信息的反馈控制单元。视线检测单元可以基于从反馈控制单元获取的反馈信号校正佩戴偏移量。视线跟踪单元可以通过从反馈控制单元接收校正了佩戴偏移量的反馈信号跟踪视线。

图像显示设备的形状可以是眼镜型、防护镜型、头盔型、单眼型和双眼型中的任何一种。并且，信息呈现单元还可以通过在佩戴时和佩戴期间呈现诸如视频或声音的信息发出关于佩戴状态的指令。并且，根据本技术的图像显示设备可以用于包括呈现使用图像显示设备的动作辅助信息的信息呈现设备的图像显示系统。

本发明的效果

本技术可以提供能够将图像显示设备的佩戴状态引导到作为正确设计位置的视觉可识别区域的头部佩戴的图像显示设备。注意，上述效果不一定是受限的，并且，除了上述效果之外或者代替上述效果，可以表现出在本说明书中描述的效果或者可以从本说明书中掌握的其它效果中的任一个。

附图说明

图1是示出根据本技术的第一实施例的图像显示设备的构成示例的俯视图。

图2是示出根据本技术的第一实施例的图像显示设备的构成示例的正视图。

图3是示出根据本技术的第一实施例的图像显示设备的构成示例的框图。

图4是示出在根据本技术的第一实施例的图像显示设备中使用的视网膜直接描绘方式的示意图。

图5是示出根据本技术的第一实施例的图像显示设备的光学系统的构成示例的示意图。

图6是示出根据本技术的第一实施例的图像显示设备的焦点位置调整功能的示意图。

图7是表示根据本技术的第一实施例的图像显示设备的佩戴动作示例的流程图。

图8是示出根据本技术的第二实施例的图像显示设备的光学系统的构成示例的示意图。

图9是示出根据本技术的第三实施例的图像显示设备的光学系统的构成示例的示意图。

图10是示出根据本技术的第四实施例的图像显示设备的光学系统的构成示例的示意图。

图11是示出根据本技术的第五实施例的图像显示设备的构成示例的正视图。

图12示出实现根据本技术的图像显示设备或图像显示系统的信息处理设备的示意性硬件构成示例。

具体实施方式

以下，将参照附图描述用于本技术的优选实施方式。以下描述的实施例表示本技术的代表性实施例的示例，并且，任何实施例可以被组合。并且，本技术的范围不基于实施例被狭义地解释。注意，将按以下顺序提供描述。

1.第一实施例

(1)图像显示设备100的构成示例

(2)图像显示设备100的块构成示例

(3)视网膜直接描绘方式的概要

(4)图像显示设备100的焦点位置调整功能的示例

(5)图像显示设备100的佩戴动作示例

2.第二实施例

3.第三实施例

4.第四实施例

5.第五实施例

6.第六实施例

7.第七实施例

8.第八实施例

9.第九实施例

10.第十实施例

11.第十一实施例

12.第十二实施例

13.第十三实施例

14.第十四实施例

15.其它构成

16.硬件构成示例

1.第一实施例

(1)图像显示设备100的构成示例

首先，将参照图1和图2描述根据本技术的第一实施例的图像显示设备100的构成示例。图1是示出佩戴在用户的头部上的图像显示设备100的构成示例的俯视图。图2是示出佩戴在用户的头部上的图像显示设备100的构成示例的正视图。注意，图像显示设备100的图像显示方式可以使用视网膜直接描绘方式或视觉可识别区域的大小与瞳孔直径的大小基本上相同的虚拟图像方式。

如图1所示，图像显示设备100具有眼镜形状，并且将视频显示光(也称为图像显示光)投影到两只眼睛中的每一只上。即，图像显示设备100包括将视频显示光投影到左眼睛上的视频显示单元(也称为图像显示单元)和将视频显示光投影到右眼睛上的视频显示单元。将视频显示光投影到左眼睛上的视频显示单元包括光源单元101L、投影光学系统102L和用作入射光被投影到其上的投影系统的全息光学元件(以下，也称为HOE)103L。尽管未示出，但是组合器可以作为跟踪单元包含于图像显示设备100中，并且组合器可以在结构上包括衍射或透射入射光的全息光学元件103L和单向镜等。用作跟踪单元的中继系统驱动单元(未示出)可以包含于投影光学系统102L中。尽管未示出，但是用作跟踪单元的镜子驱动单元和相位差面板可以被设置在光源单元101L和投影光学系统102L之间，或者被设置在投影光学系统102和全息光学元件103L之间。

光源单元101L发射视频显示光。作为用于发射视频显示光的构成，光源单元101L可以包括例如多个激光光源120L-1～120L-3、多个反射镜121L-1～121L-3、反射镜122L和扫描镜123L。从激光光源120L-1～120L-3发射的激光被反射镜121L-1～121L-3和反射镜122L反射，并且到达扫描镜123L。扫描镜123L对激光进行二维扫描。扫描镜123L可以是例如MEMS镜子。扫描镜123L可以高速移动激光的方向，以在视网膜上形成图像。

投影光学系统102L调整视频显示光的方向，使得视频显示光到达全息光学元件(HOE)103L的期望区域和/或位置。例如，由扫描镜123L扫描的视频显示光被转换为平行光。

HOE 103L衍射视频显示光，以在用户的瞳孔附近收集视频显示光并且将视频显示光发射到视网膜。HOE 103L可以为例如反射型衍射元件。HOE 103L可以具有用作视频显示光的波长范围内的光的透镜并且透射具有所述波长范围外的波长的光的光学特性。利用光学特性，用户可以经由HOE 103L识别例如视线方向上的前方风景，并且可以识别由视频显示光形成的图像。即，由视频显示光形成的图像可以叠加在外部世界的风景上。

HOE 103L的例子可以包括全息透镜、优选膜形全息透镜、更优选透明膜形全息透镜。膜形全息透镜可以通过附接到例如玻璃等上被使用。可以通过在本技术领域中已知的技术将期望的光学特性赋予全息透镜。并且，HOE 103L可以是例如体积全息(volumehologram)或表面起伏全息(surface relief hologram)。并且，可以使用市售的全息透镜作为全息透镜，或者可以通过在本技术领域中已知的技术制造全息透镜。

如上所述，光源单元101L、投影光学系统102L和HOE 103L导致视频显示光到达用户的左眼睛。

图像显示设备100具有用作眼镜形状的一部分的镜腿部分109L和外缘部分108L。光源单元101L和投影光学系统102L被布置在镜腿部分109L上。HOE 103L由外缘部分108L保持。更具体地，HOE 103L经由跟踪用户视线的视线跟踪单元105L-1由内缘部分106L保持，并且，内缘部分106经由跟踪用户视线的视线跟踪单元105L-2由外缘部分108L保持。

视线跟踪单元105L-1和105L-2的示例可以包括致动器、压电元件和双金属。

将视频显示光投影到用户的右眼睛上的视频显示单元包括光源单元101R、投影光学系统102R和用作投影系统的HOE 103R。尽管未示出，但是组合器可以作为跟踪单元包含于图像显示设备100中，并且，组合器可以在结构上包括HOE 103R和单向镜等。用作跟踪单元的中继系统驱动单元(未示出)可以包含于投影光学系统102R中。尽管未示出，但是用作跟踪单元的镜子驱动单元和相位差面板可以被设置在光源单元101R和投影光学系统102R之间，或者被设置在投影光学系统102R和HOE 103R之间。

光源单元101L、投影光学系统102L和HOE 103L的描述也适用于光源单元101R、投影光学系统102R和HOE 103。

与用于左眼睛的视频显示单元一样，光源单元101R和投影光学系统102R被布置在镜腿部分109R上。HOE 103R由外缘部分108R保持。更具体地，HOE 103R经由跟踪用户视线的视线跟踪单元105R-1由内缘部分106R保持，并且内缘部分106经由跟踪用户视线的视线跟踪单元105R-2由外缘部分108R保持。

图像显示设备100的外缘部分108L和108R经由桥接部分110彼此连接。桥接部分110是当用户佩戴图像显示设备100时被放在用户鼻子上的部分。并且，图像显示设备100的外缘部分108L和108R均连接到头带部分111。如图2所示，头带部分111是当用户佩戴图像显示设备100时与用户的头顶接触的部分。

图1中的光源单元101L包括三个激光光源120L-1～120L-3，但是包含于光源单元101L中的激光光源的数量可以是一个、两个或四个或更多。多个激光光源可以输出具有不同波长的激光束。类似地，光源单元101R包括三个激光光源120R-1～120R-3，但是包含于光源单元101R中的激光光源的数量可以是一个、两个或四个或更多。多个激光光源可以输出具有不同波长的激光束。通过使用激光光源120L-1～120L-3和激光光源120R-1～120R-3，可以呈现特定波长的刺激。

尽管未示出，但是图像显示设备100还可以包括波长分散补偿构件。波长分散补偿构件为例如反射或透射体积全息、反射或透射起伏全息、或者包括超表面(metasurface)的第一光学元件等。波长分散补偿构件可以被设置在反射镜122L和/或122R周围，例如，在反射镜122L和扫描镜123L之间和/或在反射镜122R和扫描镜123R之间。当波长分散补偿构件被用于图像显示设备100时，由于波长分散被补偿，因此能够精确地刺激视网膜上的预定点或任意点。

图像显示设备100还包括作为获取位置关系图像的图像获取单元的示例的照相机104L-1、104L-2、104R-1和104R-2，根据该位置关系图像，能够估计用户眼球的瞳孔位置和用户的视觉可识别区域之间的位置关系。注意，在本说明书中，照相机104L-1、104L-2、104R-1和104R-2可以统称为照相机104。视觉可识别区域可以是入射光被投影到其上的投影系统的焦点位置。

照相机104包括成像元件，并且成像元件获取三维位置关系图像。并且，照相机104还可以包括多个成像元件，并且多个成像元件的光轴可以在视觉可识别区域中彼此相交。

图像显示设备100包括检测用户视线的视线检测单元107L和107R。在本说明书中，视线检测单元107L和107R可以统称为视线检测单元107。视线检测单元107可以通过使用角膜反射或眼底反射检测眼球的视线。由于图像显示设备100包括视线检测单元107，因此要呈现给用户的图像的位置可以被调整到更合适的位置。例如，在由图像显示设备100呈现的图像叠加在外部世界的图像上的情况下，能够通过检测用户的视线在更合适的位置处显示图像。即，优选包括用于呈现AR信息的视线检测单元107。

作为示例，视线检测单元107可以使用成像方式或光电二极管(PD)方式。特别地，在图像显示设备100包括衍射或透射入射光的HOE 103的情况下，视线检测单元107可以通过光电二极管方式检测用户的视线。作为示例，视线检测单元107可以包括光源和照相机的组合或者光源和光电检测器(PD)的组合。在下文中，将更详细地描述视线检测单元107。

视线检测单元107L检测用户的左眼睛的视线。视线检测单元107L可以被设置在例如外缘部分108L的任何位置处，但是可以被设置在诸如内缘部分106L的另一部件的任何位置处，只要视线检测单元可以检测左眼睛的视线即可。

视线检测单元107L可以是例如光电二极管方式的视线检测单元。光电二极管方式的视线检测单元可以包括例如光源和光电二极管的组合。光源用光照射左眼睛。光源优选为红外光照明光源。这使得能够防止光源影响用户对外部世界的图像的识别和对视频显示光的识别。

光电二极管检测从光源发射的光(特别是红外光)中的来自眼球的反射光。光电二极管可以检测例如虹膜(瞳孔)中的反射光量和眼白(巩膜)中的反射光量之间的差异。光电二极管方式的视线检测单元可以基于例如由光电二极管检测的虹膜的面积比和眼白的面积比检测视线。

即使在出现佩戴偏移的情况下，光电二极管方式的视线检测单元也不能检测佩戴偏移。因此，在出现佩戴偏移的情况下，视线检测单元的视线检测精度可能降低。如上所述，图像显示设备100包括获取位置关系图像的照相机104，根据该位置关系图像，能够估计用户眼球的瞳孔位置和用户的视觉可识别区域之间的位置关系。因此，可以检测佩戴偏移。通过基于由照相机104检测的佩戴偏移校正视线，通过视线检测单元107的视线检测精度得到提高。图像显示设备100能够以例如3mm或更小、特别是2mm或更小、更特别是1mm或更小的精度检测视线。具有这种精度的视线检测对于通过Maxwell观察法呈现图像是特别优选的。

或者，视线检测单元107L可以是成像方式的视线检测单元。成像方式的视线检测单元可以包括例如光源和成像元件的组合。与光电二极管方式的情况一样，光源用光照射左眼睛。光源优选为红外光照明光源。成像元件可以获得如下图像，例如可以从所述图像获取眼球(特别是角膜)中的光源的反射图像(所谓的Purkinje图像)和瞳孔的重心。成像元件可以是例如红外成像元件。成像方式的视线检测单元可以基于例如所述图像和Purkinje图像估计眼球的光轴。视线检测单元可以通过将估计的光轴转换为视轴来检测视线。

在基于所述图像和Purkinje图像的视线检测中，在光源和眼球之间的位置关系固定的情况下，形成Purkinje图像的位置是固定的。佩戴偏移可能导致位置关系中的偏移。这可能改变形成Purkinje图像的位置。并且，视线检测容易受到眨眼、头发或睫毛等的影响。并且，通常在视线检测中执行用于校正个体差异的校准，但是，在出现佩戴偏移的情况下，需要再次执行校准。

如上所述，图像显示设备100包括获取位置关系图像的照相机104，根据该位置关系图像，能够估计用户眼球的瞳孔位置和用户的视觉可识别区域之间的位置关系。因此，可以检测佩戴偏移。因此，例如，对应于佩戴偏移量的校正值被预先准备，并且被存储在储存单元等中，并且，当出现佩戴偏移时，通过使用校正值执行校正。这使得能够以高精度检测视线。并且，佩戴偏移的检测几乎不受眨眼、头发或睫毛等的影响。并且，可以通过基于检测的佩戴偏移执行校正来减少校准的次数。

包含于图像显示设备100中的投影系统还可以包括调整从图像显示设备100发射的视频显示光的投影位置并跟踪用户的视线的视线跟踪单元105L-1、105L-2、105R-1和105R-2。注意，在本说明书中，四个视线跟踪单元可以被统称为视线跟踪单元105。例如，视线跟踪单元105可以跟踪视线以调整视频显示光的投影位置。视线跟踪单元105可以根据佩戴偏移调整视频显示光的投影位置。

并且，视线跟踪单元105可以根据眼球的旋转移动或视线的移动调整视频显示光的投影位置。例如，由于图像显示设备100包括视线跟踪单元105，因此要呈现给用户的图像的位置可以被调整到更合适的位置。例如，在由图像显示设备100呈现的图像叠加在外部世界的图像上的情况下，能够通过检测用户的视线在更合适的位置处显示图像。即，优选包括用于呈现AR信息的视线检测单元107。并且，视线检测单元107可以调整在通过Maxwell观察法的图像显示中收集视频显示光的位置。

视线跟踪单元105L-1和105L-2调整投影到左眼睛上的视频显示光的投影位置。视线跟踪单元105L-1调整内缘部分106L和外缘部分108L之间在Y轴方向上的位置关系。例如，视线跟踪单元105L-1使内缘部分106L相对于外缘部分108L在Y轴方向上移动。因此，HOE103L在Y轴方向上的位置被调整。

视线跟踪单元105L-2调整HOE 103L和内缘部分106L之间在X轴方向上的位置关系。例如，视线跟踪单元105L-2使HOE 103L相对于内缘部分106L在X轴方向上移动。因此，HOE 103L在X轴方向上的位置被调整。

用于驱动视线跟踪单元105L-1对内缘部分106L和外缘部分108L之间在Y轴方向上的位置关系的调整的驱动元件可以是例如压电元件、致动器或双金属(bimetal)，但不限于此。用于驱动视线跟踪单元105L-2对HOE 103L和内缘部分106L之间在X轴方向上的位置关系的调整的驱动元件也可以是例如压电元件、致动器或双金属，但不限于此。

视线跟踪单元105L-1可以基于例如由照相机104检测的图像显示设备100的位置的变化调整内缘部分106L和外缘部分108L之间在Y轴方向上的位置关系。并且，视线跟踪单元105L-1可以基于位置的变化和由视线检测单元107L检测的视线来调整位置关系。

视线跟踪单元105L-2可以基于例如由照相机104检测的图像显示设备100的位置的变化调整HOE 103L和内缘部分106L之间在X轴方向上的位置关系。并且，视线跟踪单元105L-2可以基于位置的变化和由视线检测单元107L检测的视线来调整位置关系。

视线跟踪单元105R-1和105R-2调整投影到右眼睛上的视频显示光的投影位置。能够以与视线跟踪单元105L-1和105L-2类似的方式执行调整。

(2)图像显示设备100的块构成示例

接下来，将参照图3描述根据本实施例的图像显示设备100的块构成示例。图3是示出图像显示设备100的主要构成示例的框图。

如图3所示，图像显示设备100包括控制单元112。控制单元112包括佩戴偏移确定单元181、信息呈现单元182和反馈控制单元183。

并且，如上所述，图3中的图像显示设备100包括光源单元101、图像获取单元104、视线跟踪单元105和视线检测单元107。注意，图像显示设备100可以包括投影系统，该投影系统包括设置在眼睛前方的透视构件(例如，反射或透射体积全息或反射、或者透射起伏全息等)。储存单元184可以被设置在图像显示设备100中，或者可以被设置在图像显示设备100以外的外部设备中。

佩戴偏移确定单元181基于来自位置关系图像的信息确定从正确佩戴状态的偏移的量和/或方向。信息呈现单元182基于佩戴偏移确定单元181的确定结果将佩戴位置调整信息呈现给用户或佩戴助理。

反馈控制单元183反馈基于位置关系图像的信息。视线检测单元107基于从反馈控制单元183获取的反馈信号校正佩戴偏移的量。视线跟踪单元105通过从反馈控制单元183接收校正了佩戴偏移的量的反馈信号来跟踪视线。

(3)视网膜直接描绘方式的概要

接下来，将参照图4描述用于根据本实施例的图像显示设备100的视网膜直接描绘方式的概要。图4是示出用于图像显示设备100的视网膜直接描绘方式的示意图。

在使用视网膜直接描绘方式(Maxwell观察法)的图像显示方式中，整个入射光线束需要被用户的眼睛的瞳孔捕获。因此，需要按以下精度将瞳孔位置放置在投影系统的焦点位置处。

如图4所示，例如，明亮位置的瞳孔直径为2mm，并且，在光束直径为1mm的激光束S1、S2和S3在这种条件下以±30度的视角入射到瞳孔上的情况下，光束宽度在瞳孔上为约1.15mm。在这种状态下，可以在视觉上识别整个视角而不丢失的允许偏移量是在XY方向上高达±0.43mm的偏移和在深度Z方向上高达±0.74mm的偏移。不能在以上范围以外观看图像的总视场。并且，随着视角变大或瞳孔变小(环境变亮)，该条件变得更严格。

并且，在视网膜直接描绘方式中，在入射光束直径减小的情况下，显示图像的分辨率减小。因此，不能使得入射光束直径太细。例如，在光束直径为约0.75mm的情况下，分辨率显示对应于0.5的视力。因此，当入射光束直径进一步减小时，在许多情况下实际上出现问题。

当使用视网膜直接描绘方式或具有窄眼盒的虚拟图像显示方式的HMD佩戴在用户的头部上时，还存在解决由于个体差异而导致的可视位置的问题。人头的形状和大小、瞳孔距离和基于眼睛凹陷的瞳孔位置(所谓的轮廓特征)不仅具有诸如种族、性别和年龄等的个体差异，还具有诸如发型和体型等的个体差异。因此，即使在通过例如头带等将HMD佩戴在头部上的佩戴的情况下，也需要在佩戴HMD之后将硬件调整到瞳孔位置，以在视觉上识别图像。为此，需要使收集显示图像的光线束的投影系统的焦点位置与瞳孔位置物理匹配。因此，基本上不可能以软件方式移动图像显示位置。

在这种情况下，佩戴者通常他/她自己进行操作以调整佩戴位置，以观看视频。然而，如上所述，所述位置是极小范围，因此调整位置是极其困难的。并且，佩戴者他/她自己确定佩戴位置是否已经被调整到可以观看整个图像的位置。因此，对于辅助佩戴的人来说，代为适当地调整显示位置也是极其困难的。即，在佩戴者有身体残疾(特别是手部残疾、视力障碍(弱视)和听力障碍)的情况下，或者在佩戴者不能充分交流或解释情况(幼儿、老人和其它语言等)的情况下，佩戴者极难操作调整机构以观看图像。

并且，佩戴偏移的问题也影响视线检测功能。使用照相机方法的视线检测存在这样一种问题，即，当瞳孔与护目镜的照相机和光源(框架)之间的位置关系在初始校准之后改变时，精度降低。因此，需要重新校准。并且，为了精确地获取Purkinje图像，还需要诸如杂散光去除的信号处理，并且，存在例如由运动引起的佩戴位置的偏移的影响。

在PD方法中，读取来自眼球的反射光量的变化，因此，即使在眼球的位置由于运动动作而出现佩戴偏移的情况下，该偏移也不能首先与眼球的运动区分开来。因此，不允许从初始佩戴位置的偏移。为了使这些视线检测机构正确工作，希望HMD本身可以检测由于运动动作而从初始佩戴位置出现多少佩戴偏移。

并且，为了增强可佩戴性，HMD具有期望轻且小的一般问题。同时，HMD的基本组件包括HMD主体(例如，头部的固定单元、带子、皮带和眼镜框架)、佩戴位置调整机构和图像显示单元(例如，向眼睛呈现图像或信息的光学系统、图像光源和光源操作单元)。HMD不仅包括上述构成，还包括用于呈现AR信息的诸如视线检测机构(检测眼球的视线或瞳孔的移动；例如照相机、PD和光源)和视线跟踪机构(根据眼睛的移动来移动图像显示单元的机构；例如致动器、压电元件和双金属)的部件。这趋于增加设备的重量。

由于设备的重量如上面描述的那样趋于增加，因此惯性矩等增加。结果，即使在正确地确定HMD和头部之间的位置关系使得可以观看图像并且执行视线检测功能的初始校准之后，也可能由于运动动作出现佩戴之后的佩戴偏移。这里，由运动引起的佩戴偏移表示在佩戴时校正佩戴偏移(通过佩戴时的校准校正；也称为初始对准调整)之后由于上述运动动作等改变HMD和眼球之间的位置关系的偏移。

作为示例，当通过使用具有约130g～600g的设备重量的HMD测量由运动引起的佩戴偏移的量时，偏移的量最大为约3mm(约1～3mm的范围)，并且需要再次执行校准。因此，在使用视网膜直接描绘方式的图像显示方式中，特别地，即使约1mm的偏移量也可能引起问题。因此，准确地掌握佩戴偏移的量并管理佩戴状态是重要的。

HMD的形状的示例包括眼镜型、防护镜型、头盔型、单眼型和双眼型。为了确保视线检测的精度并长时间稳定地佩戴HMD，需要将任何形状的HMD牢固地固定到头部。因此，HMD通常通过一些固定方法固定，例如，通过用固定带等夹持和紧固头部。

然而，尽管需要将HMD牢固地附接到头部，但是用户的头部形状和发型在个体上是不同的，因此用户他/她自己难以确定应当将带子紧固多少以防止带子的紧固调整等中的偏移。尤其是在初次佩戴时，需要习惯佩戴。并且，在超过必要程度地执行紧固的情况下，血液流动停止，并且HMD不能被长时间佩戴。因此，以适当的固定力(紧固的量或缓冲材料＝衬垫)佩戴HMD。因此，更有可能出现由运动动作引起的佩戴偏移。

并且，在紧固不足并且出现佩戴偏移的情况下，佩戴者在佩戴者不能观看图像的情况下不知道佩戴偏移的移动方向以及偏移量。因此，在佩戴者不能观看显示图像的情况下，佩戴者不知道HMD应向哪个方向移动以及移动多少以观看图像。

这里，以下将描述直到HMD佩戴在用户的头部上的佩戴时的校准(初始校准)的一般过程。

作为第一步骤，HMD被临时佩戴在头部上。作为第二步骤，HMD的显示设备的位置相对于头部被调整，使得可以观看投影图像。此时，用于位置调整的标记等可以显示在HMD上。作为第三步骤，当确定可以很好地观看图像的位置时，HMD通过使用固定机构最终被固定到头部(通常，使用带子等的紧固机构；然而，眼镜形或其它形状的HMD在某些情况下不包括固定机构)。如果需要，该工作可以由手动精细移动调整机构执行，或者可以由电动机等自动调整。作为第四步骤，可以观看整个图像的位置被设定为初始位置，并且被存储在视线跟踪机构或视线检测机构等中。作为第五步骤，当确认可以根据设定值检测和跟踪视线时，处理结束。如果最终固定没有足够的精度，则重复第二步骤至第五步骤。

在上述过程之后，在HMD和头部之间的位置关系改变的情况下(在位置关系由于运动等而偏移的情况下＝佩戴偏移)，需要再次执行校准。作为此时的过程，通常重复第二步骤至第五步骤。因此，当出现佩戴偏移时，在不进行重新校准的情况下，当前使用的应用的视线检测精度可能降低。因此，确定佩戴偏移出现在哪个方向以及出现了多少是有用的信息。

关于上述问题，根据本实施例的图像显示设备100的使用使得能够将使用视网膜直接描绘方式的头部佩戴的图像显示设备的佩戴状态引导到作为正确设计位置的视觉可识别区域。

(4)图像显示设备100的焦点位置调整功能的示例

接下来，将参照图5和图6描述图像显示设备100的焦点位置调整功能的示例。图5是示出图像显示设备100的光学系统的构成示例的示意图。

如图5所示，在作为使用视网膜直接描绘方式的HMD的图像显示设备100中，至少两个照相机104R-1和104R-2被布置在用作投影系统的组合器的两端附近。这些照相机的数量不限于两个，并且可以是三个或更多。在图像显示设备100中，照相机104R-1和104R-2的照相机透镜的光轴彼此相交的位置和组合器的焦点位置被预先调整，以彼此匹配。在视网膜直接描绘方式中存在唯一的一个匹配位置。

图6是示出图像显示设备100的右眼睛侧的焦点位置调整功能的示意图。图6A示出由照相机104R-2捕获的眼球的图像，图6B示出由照相机104R-1捕获的眼球的图像。图6C示出在执行位置调整之后当照相机104R-1和104R-2的光轴彼此相交的位置以及组合器的焦点位置彼此匹配时捕获的眼球的图像。

如图6A所示，在照相机104R-2的光轴与组合器的焦点位置匹配的情况下，位置调整对于照相机104R-2是OK的。如图6B所示，在照相机104R-1的光轴与组合器的焦点位置不匹配的情况下，位置调整对于照相机104R-1是失败的。因此，在观看捕获的图像时调整佩戴位置，使得照相机104R-1的光轴与组合器的焦点位置匹配。并且，如图6C所示，当照相机104R-1和104R-2的光轴彼此相交的位置以及组合器的焦点位置彼此匹配时，位置调整是OK的。因此，能够将图像显示设备100佩戴在用户的头部上，以可靠地观看视场。

在视网膜直接描绘方式中，视觉可识别区域极窄，并且仅存在于极小范围(pinpoint)处，因此难以在极小范围处调整位置。然而，图像显示设备100通过利用调整位置被唯一确定的事实调整佩戴位置。

(5)图像显示设备100的佩戴动作示例

接下来，将参照图7描述将图像显示设备100佩戴在用户头部上的动作示例。图7是表示图像显示设备100的佩戴动作示例的流程图。

在步骤S1中，作为用户的佩戴者面向前方并开始佩戴图像显示设备100。

在步骤S2中，照相机104R-1和104R-2中的每一个捕获佩戴者的眼球的图像以获取捕获图像。

在步骤S3中，佩戴偏移确定单元181基于由照相机104R-1和104R-2捕获的各个眼球的捕获图像计算偏移的方向和量，并且确定佩戴者的佩戴位置是否出现偏移。当出现偏移时(YES)，处理进行到步骤S4。当没有出现偏移时(NO)，处理进行到步骤S5，并且佩戴完成。

在步骤S4中，佩戴者从图像显示设备100接收基于关于佩戴偏移的信息的关于调整方向的指令，并且调整佩戴位置。当佩戴位置可以被调整到没有偏移的位置时，处理进行到步骤S5，并且佩戴完成。如果即使在调整之后佩戴位置仍然移位，则进一步确定佩戴移位，并且再次调整佩戴位置。

如上所述，图像显示设备100接收基于佩戴偏移信息的关于调整方向的指令，并且调整佩戴位置。这使得能够大大减少初始佩戴时间。

根据本实施例的图像显示设备100，佩戴者和佩戴者以外的佩戴助理均可以在在监视器上观看照相机104的捕获图像的同时调整佩戴偏移的位置。因此，即使在佩戴者第一次使用图像显示设备即不习惯佩戴图像显示设备、有身体残疾或交流困难的情况下，助理也可以帮助佩戴。因此，图像显示设备100可以将头部佩戴的图像显示设备100的佩戴状态引导到作为正确设计位置的视觉可识别区域。

并且，图像显示设备100可以检测由于佩戴之后的移动而引起的佩戴位置的偏移。并且，由于图像显示设备100可以找到偏移的方向，因此佩戴者可以容易地响应于来自图像显示设备100的指令再次佩戴图像显示设备，并且还通过使用跟踪机构校正位置。并且，图像显示设备100可以通过将一只眼睛设定为基准测量瞳孔间距离(IPD)。因此，也能够初始地调整瞳孔间距离。

并且，图像显示设备100即使在不能观看目标图像的情况下(即使在不显示目标图像的情形下)也可以仅通过观看眼球的图像被佩戴，并且还可以具有简单的视线检测功能。并且，佩戴者不确定佩戴者是否可以在视觉上识别图像，并因此可以仅通过图像显示设备100执行自动佩戴对准。并且，在预先测量用户的头部形状的情况下，可以在发货之前针对个人定制图像显示设备100。

2.第二实施例

接下来，将参照图8描述根据本技术的第二实施例的图像显示设备。图8是示出根据本实施例的图像显示设备200的光学系统的构成示例的示意图。图像显示设备200与根据第一实施例的图像显示设备100的不同之处在于，图像显示设备200仅包括捕获用户的眼球的图像的一个照相机。本实施例的其它点与第一实施例的点类似。

如图8所示，在图像显示设备200中，一个照相机204R被布置在用作投影系统的组合器的两端附近。捕获用户的眼球的图像的照相机204R可以仅是一个照相机，只要该照相机可以检测Z轴方向上的深度信息即可。作为示例，光场照相机、单眼时分照相机、TOF传感器或用于AF的相位差信息获取传感器等可以被应用于照相机204R。

根据本实施例的图像显示设备200可以获得与根据第一实施例的图像显示设备100类似的效果，并且，头部佩戴的图像显示设备200的佩戴状态可以被引导到作为正确设计位置的视觉可识别区域。并且，由于图像显示设备200仅包括一个照相机204R作为图像传感器，因此能够在有助于减小尺寸和减轻重量的同时，几乎不引起佩戴偏移。并且，图像显示设备200可以实现低功耗，并因此可以长时间地被驱动和佩戴。

3.第三实施例

接下来，将参照图9描述根据本技术的第三实施例的图像显示设备。图9A是示出根据本实施例的图像显示设备300的光学系统的构成示例的示意图。图9B是示出由图像显示设备300捕获的Purkinje图像P1的示意图。图像显示设备300与根据第一实施例的图像显示设备100的不同之处在于，图像显示设备300包括捕获用户的眼球的图像的一个照相机和对应于第二照相机的光源。本实施例的其它点与第一实施例的点类似。

如图9A和9B所示，在图像显示设备300中，一个照相机304R被布置在用作投影系统的组合器的一端附近，并且光源单元301被布置在组合器的另一端附近的与第二照相机等效的位置处。即，图像显示设备300包括被布置在相对于视觉可识别区域与照相机304R(成像元件)对称的位置处的光源单元301。

捕获用户的眼球的图像的图像显示设备300捕获第一Purkinje图像(角膜反射光)P1的图像。第一Purkinje图像P1出现在由照相机304R、光源单元301和眼球的位置唯一确定的位置处，因此，即使在仅设置一个照相机304R的情况下，图像显示设备300也可以测量眼球的位置。

根据本实施例的图像显示设备300可以获得与根据第一实施例的图像显示设备100的效果类似的效果，并且，头部佩戴的图像显示设备300的佩戴状态可以被引导到作为正确设计位置的视觉可识别区域。这里，使用Purkinje图像的视线检测方法假设图像传感器、光源和眼球(瞳孔)的位置不改变。因此，当出现佩戴偏移时，视线检测精度降低。鉴于此，图像显示设备300具有确定佩戴偏移的功能，并因此可以更稳定地检测视线。

4.第四实施例

接下来，将参照图10描述根据本技术第四实施例的图像显示设备。图10是示出根据本实施例的图像显示设备400的光学系统的构成示例的示意图。图像显示设备400与根据第一实施例的图像显示设备100的不同之处在于，图像显示设备400包括具有切换成像范围的功能的两个成像元件。本实施例的其它点与第一实施例的点类似。

如图10所示，在图像显示设备200中，照相机404R-1和404R-2被布置在用作投影系统的组合器的两端附近。照相机404R-1和404R-2是用于获取外部信息的照相机，在这些照相机中，插入了用于切换光路的翻转器(flip)或元件(例如，反射镜或棱镜)。

在捕获眼球的图像的情况下，图像显示设备200通过用翻转器或插入的元件使照相机404R-1和404R-2指向眼球来捕获图像。并且，在捕获外部信息的图像的情况下，图像显示设备200通过使用翻转器或插入的元件将照相机404R-1和404R-2移动到照相机404R-11和404R-12的位置，并然后捕获图像。

根据本实施例的图像显示设备400可以获得与根据第一实施例的图像显示设备100的效果类似的效果，并且，头部佩戴的图像显示设备400的佩戴状态可以被引导到作为正确设计位置的视觉可识别区域。HMD通常用于捕获外部世界的图像，并且将HMD的显示图像叠加在外部视频上。然而，在没有剧烈运动(手术、站立工作或当坐在轮椅或椅子上时佩戴HMD)的情况下，几乎不出现由运动引起的佩戴偏移。鉴于此，在辅助佩戴后，图像显示设备400使用用于捕获外部世界的图像的照相机404R-1和404R-2，由此减少传感器的数量。这使得能够减少功耗和重量。

5.第五实施例

接下来，将参照图11描述根据本技术的第五实施例的图像显示设备。图11是示出根据本实施例的图像显示设备500的构成示例的正视图。图像显示设备500与根据第一实施例的图像显示设备100的不同之处在于，图像显示设备500包括用户双眼眼球上方和下方的视线检测单元。本实施例的其它点与第一实施例的点类似。

如图11所示，图像显示设备500包括作为双眼眼球瞳孔下方的视线检测单元107L和107R的两个成像元件。并且，图像显示设备500包括作为双眼眼球瞳孔上方的视线检测单元501L和501R的两个成像元件。视线检测单元107L和107R以及视线检测单元501L和501R分别被布置在相对于瞳孔垂直对称的位置处。

根据本实施例的图像显示设备500可以获得与根据第一实施例的图像显示设备100的效果类似的效果，并且还可以精确地测量瞳孔间距离(IPD)EW的值。瞳孔间距离的值不变，只要该值是同一个人的值，除非这个人长大了(成年人的值不变)。因此，当获取个体瞳孔间距离作为信息时，图像显示设备500基于该信息不需要在下一次佩戴时调整瞳孔间距离，由此大大减少了直到佩戴完成为止的时间。

6.第六实施例

接下来，将描述根据本技术的第六实施例的图像显示设备。根据本实施例的图像显示设备具有在外部监视器上显示照相机图像的功能。本实施例的其它点与第一实施例的点类似。

根据本实施例的图像显示设备可以在物理上唯一地检测HMD和头部(瞳孔)之间的位置关系。因此，佩戴者和除佩戴者以外的佩戴助理均可以在在监视器上观看照相机图像的同时调整佩戴位置。因此，即使在佩戴者第一次使用图像显示设备即不习惯佩戴图像显示设备、有身体残疾或交流困难的情况下，助理也可以帮助佩戴。根据本实施例的图像显示设备，不能观看HMD的显示图像的佩戴者以外的人可以在不观看(不管)HMD的显示图像的情况下在正确的位置处准确地执行佩戴工作。

7.第七实施例

接下来，将描述根据本技术的第七实施例的图像显示设备。根据本实施例的图像显示设备具有用于调整佩戴位置的专用投影位置调整机构或眼睛跟踪的眼球跟踪功能。本实施例的其它点与第一实施例的点类似。

根据本实施例的图像显示设备不需要佩戴者观看图像，并因此可以基于获取的信息使佩戴机构自动化。

8.第八实施例

接下来，将描述根据本技术的第八实施例的图像显示设备。根据本实施例的图像显示设备具有测量HMD框架和头部的位置变化(诸如由佩戴时校准后的运动引起的佩戴偏移)的功能，并且将其数值反馈给应用。本实施例的其它点与第一实施例的点类似。

根据本实施例的图像显示设备预先存储例如根据佩戴偏移量的各种校正系数(表)作为对应用的反馈内容，并且具有每当佩戴偏移量改变时自动选择校正表的功能，或者例如在佩戴位置以某个量偏移的情况下显示部分地缺失的条件下通过使用眼睛跟踪机构或自动位置调整功能使位置返回到预定位置的功能。

9.第九实施例

接下来，将描述根据本技术的第九实施例的图像显示设备。根据本实施例的图像显示设备具有接收从在佩戴时获取的设计值的偏移量(偏移值)的反馈的功能。本实施例的其它点与第一实施例的点类似。

根据本实施例的图像显示设备测量并存储例如瞳孔间距离(IPD)的调整量和佩戴时的个人初始位置的调整量，并因此可以在多个用户使用同一HMD的情况下通过调用个人的调整量减少调整时间。相对于框架的视觉可识别区域(眼盒)作为机械设计信息是预先已知的，并因此能够确定视觉可识别区域相对于头部存在于哪个位置，并且可以反馈确定结果。根据本实施例的图像显示设备可以存储由根据第五实施例的图像显示设备500获取的值或者预先测量的瞳孔间距离的值。

10.第十实施例

接下来，将描述根据本技术的第十实施例的图像显示设备。根据本实施例的图像显示设备具有用诸如缓冲材料(衬垫)的带子固定头部以提高佩戴舒适性的功能。本实施例的其它点与第一实施例的点类似。

在根据本实施例的图像显示设备中，即使在头部形状存在个体差异的情况下，也能够以一定的固定力(紧固力)佩戴图像显示设备。因此，能够长时间保持佩戴时的舒适性，并且在不过度紧固头部的情况下适当地抑制佩戴偏移量。

11.第十一实施例

接下来，将描述根据本技术的第十一实施例的图像显示设备。根据本实施例的图像显示设备包括跟踪视线的旋转移动的视线跟踪机构。本实施例的其它点与第一实施例的点类似。

根据本实施例的图像显示设备可以具有将眼球的移动量反馈到跟踪视线的旋转移动的视线跟踪机构的功能。

12.第十二实施例

接下来，将描述根据本技术的第十二实施例的图像显示设备。根据本实施例的图像显示设备包括跟踪视线的移动的视线跟踪机构和视线检测机构。视线检测机构可以是通过光电二极管(PD)方法的视线检测功能。本实施例的其它点与第一实施例的点类似。

使用PD方法的视线检测功能包括具有从反馈位置偏移量的功能获得信息并提高检测精度的功能的视线跟踪反馈控制单元。控制单元预先存储要针对各佩戴偏移量反馈的视线校正值，由此提高视线方向的检测精度。PD方法使用虹膜(瞳孔)和眼白(巩膜)之间的反射率差，并且通过PD检测通过由眼球的旋转移动引起的虹膜与眼白的比率的变化导致的反射光量的变化。

根据本实施例的图像显示设备可以在PD与光源和眼球之间的位置关系不改变的情况下唯一地检测视线方向，但是在出现佩戴偏移的情况下，图像显示设备执行其校正，由此保持精度。PD本身不能确定佩戴偏移和视线移动之间的差异。鉴于此，根据本实施例的图像显示设备可以确定佩戴偏移，由此提高视线检测的精度。

13.第十三实施例

接下来，将描述根据本技术的第十三实施例的图像显示设备。根据本实施例的图像显示设备包括视网膜直接描绘方式的HOE组合器。HOE组合器在透视显示方面是有利的，并且可以将图像叠加在外部世界上。本实施例的其它点与第一实施例的点类似。

根据本实施例的图像显示设备可以反馈佩戴偏移量，并因此可以高精度地将AR图像叠加在外部世界上。

14.第十四实施例

接下来，将描述根据本技术的第十四实施例的包括图像显示设备的图像显示系统。根据本实施例的图像显示系统包括根据上述实施例中的每一个的图像显示设备和呈现使用图像显示设备的动作辅助信息的信息呈现设备。

根据本实施例的图像显示系统是具有通过使用根据上述实施例中的每一个的图像显示设备呈现关于动作辅助(教学、导航和游戏)等的信息的功能的应用系统。根据本实施例的图像显示系统使用根据上述各个实施例的图像显示设备中的任一个，这些图像显示设备检测佩戴偏移并且因此可以校正在涉及运动动作的应用中可能出现的运动期间的佩戴偏移。因此，能够实现能够执行令人满意的图像显示的应用或设备。

15.其它构成

根据本技术的图像显示设备可以具有单眼(任意的右眼睛或左眼睛)构成。并且，不需要如在例如视频透视中那样直接观看外部世界。在这种情况下，AR图像在许多情况下叠加在外部世界上，因此检测视线的精度是特别重要的。因此，本实施例中的任一个的构成可以将瞳孔位置精确地调整到设计值，由此执行适当的叠加。并且，根据本技术的图像显示设备可以具有包括覆盖整个头部的固定单元的形状(头盔等的形状)。根据本技术的图像显示设备由于当其重量相对较重时可能出现佩戴偏移，因此是特别适合的。

根据本技术的图像显示设备不仅可以使用视网膜直接描绘方式，还可以使用具有窄眼盒的虚拟图像方式。并且，根据本技术的图像显示设备特别适合于HMD具有宽视角的显示区域并且眼盒的尺寸与瞳孔的尺寸基本上相同的情况。并且，由于佩戴者不需要观看图像，因此根据本技术的图像显示设备具有预先掌握关于佩戴者的头部形状的信息的功能。因此，也可以在制造阶段(在装运之前)针对个人定制根据本技术的图像显示设备的调整机构。

本技术不限于上述实施例的构成，并且可以被应用于具有检测HMD框架和头部(面部)之间的位置关系并且只要瞳孔位置可以被引导到具有设计值的佩戴位置即使通过HMD的眼盒极小的方法也能够实现适当的视觉识别的功能的图像显示设备和图像显示系统。

16.硬件构成示例

以下，将参照图12描述实现根据本技术的图像显示设备或图像显示系统的信息处理设备的硬件构成的示例。图12示出实现根据本技术的图像显示设备或图像显示系统的信息处理设备的示意性硬件构成示例。

图12中的信息处理设备1000包括中央处理单元(CPU)1001、RAM 1002和ROM 1003。CPU 1001、RAM 1002和ROM 1003经由总线1004相互连接，并且还经由总线1004连接到信息处理设备1000的其它组件。

CPU 1001控制并计算信息处理设备1000。任意的处理器可以被用作CPU 1001，并且，其示例包括Xeon(注册商标)系列、Core(商标)系列或Atom(商标)序列的处理器。通过例如CPU 1001实现根据上述本技术的图像显示设备或图像显示系统的各组件。

RAM 1002包括例如高速缓冲存储器和主存储器，并且可以临时存储由CPU 1001使用的程序等。ROM 1003只能写入数据一次，并且只能在使用时读取存储的数据。

信息处理设备1000可以包括通信设备1006、投影光学系统1007、驱动器1008、输入单元1009和输出单元1010。这些组件中的任一个可以连接到总线1004。

通信设备1006以有线或无线方式将信息处理设备1000连接到网络1011。通信设备1006是可以经由网络1011与数据库和终端进行通信的设备。本领域技术人员可以适当地选择通信设备1006的类型。

投影光学系统1007调整视频显示光的方向，使得视频显示光到达全息光学元件(HOE)的期望区域和/或位置。例如，由扫描镜扫描的视频显示光被转换为平行光。

驱动器1008可以读取记录在记录介质中的信息，将信息输出到RAM 1003，并且/或者将各种类型的数据写入记录介质中。记录介质为例如DVD介质、快闪存储器或SD存储卡，但不限于此。

输入单元1009是供用户(例如，佩戴者)操作信息处理设备1000的构成。输入单元1009的示例包括鼠标和键盘，但不限于此。

输出单元1010可以输出信息处理设备1000的处理结果。输出单元1010的示例包括诸如显示器的显示设备、诸如扬声器的音频输出设备和打印机，但不限于此。

注意，本技术可以具有以下构成。

(1)

一种头部佩戴的图像显示设备，包括：

图像获取单元，图像获取单元获取位置关系图像，根据该位置关系图像，能够估计用户眼球的瞳孔位置和用户的视觉可识别区域之间的位置关系。

(2)

根据(1)所述的图像显示设备，还包括：

投影系统，入射光被投影到投影系统上，其中，

视觉可识别区域是投影系统的焦点位置。

(3)

根据(1)或(2)所述的图像显示设备，还包括：

佩戴偏移确定单元，佩戴偏移确定单元基于来自位置关系图像的信息确定从正确佩戴状态的偏移的量和/或方向；和

信息呈现单元，信息呈现单元基于佩戴偏移确定单元的确定结果将佩戴位置调整信息呈现给用户或佩戴助理。

(4)

根据(1)～(3)中的任一项所述的图像显示设备，其中，

图像显示方式是视网膜直接描绘方式或视觉可识别区域的大小与瞳孔直径的大小基本上相同的虚拟图像方式。

(5)

根据(1)～(4)中的任一项所述的图像显示设备，其中，

图像获取单元包括成像元件，以及

成像元件获取三维位置关系图像。

(6)

根据(5)所述的图像显示设备，还包括：

光源，光源被布置在相对于视觉可识别区域与成像元件对称的位置处。

(7)

根据(5)所述的图像显示设备，其中，

成像元件具有切换成像范围的功能。

(8)

根据(1)～(7)中的任一项所述的图像显示设备，其中，

图像获取单元包括多个成像元件，以及

成像元件的光轴在视觉可识别区域中彼此相交。

(9)

根据(1)～(8)中的任一项所述的图像显示设备，还包括：

视线检测单元，视线检测单元检测用户的视线。

(10)

根据(1)～(9)中的任一项所述的图像显示设备，其中，

视线检测单元通过成像方式或光电二极管方式检测用户的视线。

(11)

根据(9)所述的图像显示设备，还包括：

全息光学元件，全息光学元件衍射或透射入射光，其中，

视线检测单元通过光电二极管方式检测用户的视线。

(12)

根据(1)～(11)中的任一项所述的图像显示设备，还包括：

视线跟踪单元，视线跟踪单元跟踪用户的视线。

(13)

根据(1)～(12)中的任一项所述的图像显示设备，还包括：

反馈控制单元，反馈控制单元反馈基于位置关系图像的信息。

(14)

根据(9)所述的图像显示设备，还包括：

反馈控制单元，反馈控制单元反馈基于位置关系图像的信息，其中，

视线检测单元基于从反馈控制单元获取的反馈信号校正佩戴偏移量。

(15)

根据(12)所述的图像显示设备，还包括：

反馈控制单元，反馈控制单元反馈基于位置关系图像的信息，其中，

视线跟踪单元通过从反馈控制单元接收校正了佩戴偏移量的反馈信号来跟踪视线。

(16)

根据(1)～(15)中的任一项所述的图像显示设备，其中，

图像显示设备的形状是眼镜型、防护镜型、头盔型、单眼型和双眼型中的任何一种。

(17)

根据(3)所述的图像显示设备，其中，

信息呈现单元通过在佩戴时和佩戴期间呈现诸如视频或声音的信息来发出关于佩戴状态的指令。

(18)

一种图像显示系统，包括：

头部佩戴的图像显示设备，头部佩戴的图像显示设备包含获取位置关系图像的图像获取单元，根据该位置关系图像，能够估计用户眼球的瞳孔位置和用户的视觉可识别区域之间的位置关系；和

信息呈现设备，信息呈现设备呈现使用图像显示设备的动作辅助信息。

附图标记列表

100、200、300、400、500图像显示设备

101、301 光源单元

102 投影光学系统

103全息光学元件(HOE)

104、204、304、404照相机(图像获取单元)

105 视线跟踪单元

106 内缘部分

107、501 视线检测单元

108 外缘部分

109 镜腿部分

110 桥接部分

111 头带部分

112 控制单元

120 激光光源

121、122 反射镜

123 扫描镜

181 佩戴偏移确定单元

182 信息呈现单元

183 反馈控制单元

184储存单元

Claims (18)

1.一种头部佩戴的图像显示设备，包括：

图像获取单元，图像获取单元获取位置关系图像，根据该位置关系图像，能够估计用户眼球的瞳孔位置和用户的视觉可识别区域之间的位置关系。

2.根据权利要求1所述的图像显示设备，还包括：

投影系统，入射光被投影到投影系统上，其中，

视觉可识别区域是投影系统的焦点位置。

3.根据权利要求1所述的图像显示设备，还包括：

佩戴偏移确定单元，佩戴偏移确定单元基于来自位置关系图像的信息确定从正确佩戴状态的偏移的量和/或方向；和

信息呈现单元，信息呈现单元基于佩戴偏移确定单元的确定结果将佩戴位置调整信息呈现给用户或佩戴助理。

4.根据权利要求1所述的图像显示设备，其中，

图像显示方式是视网膜直接描绘方式或视觉可识别区域的大小与瞳孔直径的大小基本上相同的虚拟图像方式。

5.根据权利要求1所述的图像显示设备，其中，

图像获取单元包括成像元件，以及

成像元件获取三维位置关系图像。

6.根据权利要求5所述的图像显示设备，还包括：

光源，光源被布置在相对于视觉可识别区域与成像元件对称的位置处。

7.根据权利要求5所述的图像显示设备，其中，

成像元件具有切换成像范围的功能。

8.根据权利要求1所述的图像显示设备，其中，

图像获取单元包括多个成像元件，以及

成像元件的光轴在视觉可识别区域中彼此相交。

9.根据权利要求1所述的图像显示设备，还包括：

视线检测单元，视线检测单元检测用户的视线。

10.根据权利要求9所述的图像显示设备，其中，

视线检测单元通过成像方式或光电二极管方式检测用户的视线。

11.根据权利要求9所述的图像显示设备，还包括：

全息光学元件，全息光学元件衍射或透射入射光，其中，

视线检测单元通过光电二极管方式检测用户的视线。

12.根据权利要求1所述的图像显示设备，还包括：

视线跟踪单元，视线跟踪单元跟踪用户的视线。

13.根据权利要求1所述的图像显示设备，还包括：

反馈控制单元，反馈控制单元反馈基于位置关系图像的信息。

14.根据权利要求9所述的图像显示设备，还包括：

反馈控制单元，反馈控制单元反馈基于位置关系图像的信息，其中，

视线检测单元基于从反馈控制单元获取的反馈信号校正佩戴偏移量。

15.根据权利要求12所述的图像显示设备，还包括：

反馈控制单元，反馈控制单元反馈基于位置关系图像的信息，其中，

视线跟踪单元通过从反馈控制单元接收校正了佩戴偏移量的反馈信号来跟踪视线。

16.根据权利要求1所述的图像显示设备，其中，

图像显示设备的形状是眼镜型、防护镜型、头盔型、单眼型和双眼型中的任何一种。

17.根据权利要求3所述的图像显示设备，其中，

信息呈现单元通过在佩戴时和佩戴期间呈现诸如视频或声音的信息来发出关于佩戴状态的指令。

18.一种图像显示系统，包括：

头部佩戴的图像显示设备，头部佩戴的图像显示设备包含获取位置关系图像的图像获取单元，根据该位置关系图像，能够估计用户眼球的瞳孔位置和用户的视觉可识别区域之间的位置关系；和

信息呈现设备，信息呈现设备呈现使用图像显示设备的动作辅助信息。