CN107450720A - 视线检测系统 - Google Patents

Abstract

本发明提供可在校准时确定用户是否正在察看的视线检测系统。视线检测系统包括被用户装戴而使用的头戴式显示器及检测用户的视线的视线检测装置，头戴式显示器包括：显示部，用于显示图像；拍摄部，用于拍摄用户的眼部；以及图像输出部，将拍摄部所拍摄的包括用户的眼部的图像向视线检测装置输出，视线检测装置包括：标记图像输出部，输出要显示于显示部的标记图像；合成图像生成部，将标记图像输出部所输出的标记图像及通过拍摄部所拍摄的包括凝视着标记图像的用户的眼部的图像重叠而生成合成图像。

Description

视线检测系统

技术领域

本发明涉及视线检测系统，尤其涉及使用头戴式显示器的视线检测技术。

背景技术

以往，当进行用于确认用户正在凝视何处的视线检测时，需要进行校准。在这里，所谓校准，是指使用户凝视特定标志，来确认该特定标志所显示的位置与凝视该标志的用户的眼角膜中心之间的位置关系。通过进行该校准，用于进行视线检测的视线检测系统可确认用户正在凝视何处。

在专利文献1中公开有通过校准来进行视线检测的技术(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2012-216123号公报

然而，上述校准由于是在确定用户正在凝视特定标志的情况条件下的事前准备，因而在用户未凝视特定标志的状态下取得信息的情况下，无法准确地进行实际的视线检测。在用户的眼部的周围被装置所覆盖且无法察看内部状态的头戴式显示器的情况下，操作人员无法从周围确认实际上用户是否在凝视着特定标志，因而上述问题尤为显著。

发明内容

因此，本发明鉴于如上所述的问题而提出，其目的在于，提供可准确地进行用于实现装戴了头戴式显示器的用户的视线检测的校准的技术。

为了解决上述问题，本发明的一个实施方式为视线检测系统，其包括被用户装戴而使用的头戴式显示器及检测用户的视线的视线检测装置，头戴式显示器包括：显示部，用于显示图像；拍摄部，用于拍摄用户的眼部；以及图像输出部，将拍摄部所拍摄的包括用户的眼部的图像向视线检测装置输出，视线检测装置包括：标记图像输出部，输出要显示于显示部的标记图像；合成图像生成部，将标记图像输出部所输出的标记图像及拍摄部所拍摄的包括凝视着标记图像的用户的眼部的图像重叠而合成图像；以及合成图像输出部，输出合成图像。

并且，标记图像输出部依次变更标记图像的显示位置并进行输出，至少在每次变更显示位置时，拍摄部可对凝视标记图像的用户的眼部进行拍摄。

并且，标记图像输出部将标记图像的显示位置变更为在标记图像预先设定的多个坐标位置中的任一个位置并进行输出，视线检测装置还可包括视线检测部，上述视线检测部分别基于拍摄部所拍摄的用户的眼部的图像和包括对应每个显示位置地凝视标记图像的用户的眼部的各个图像，来检测用户的视线方向。

并且，判定部还基于拍摄部所拍摄的用户的眼部的图像，来判定该用户是否凝视显示的标记图像，视线检测系统还可包括报告部，当判定为用户为凝视标记图像时，报告部向用户报告凝视标记图像。

并且，当判定部判定为用户凝视着显示的标记图像时，标记图像输出部可对标记图像的显示位置进行变更。

并且，视线检测系统还包括判定部，判定部用于判定包括凝视标记图像的用户的眼部的图像是否可用作基于视线检测部的视线检测用的图像，当判定部判定为无法用作视线检测用的图像时，标记图像输出部将拍摄与该判定相对应的图像时显示的标记图像的显示位置变更为靠近显示部的中央来进行显示，拍摄部对凝视经变更的显示位置的标记图像的用户的眼部进行拍摄，判定部还可判定重新拍摄的对比图像是否可用作视线检测用的图像。

此外，通过本发明的方法、装置、系统、计算机程序、数据结构、记录介质等之间的转换来将以上的结构要素的任意组合、本发明的表达用作本发明的实施方式也是有效的。

根据本发明，可提供用于检测装戴了头戴式显示器的用户的视线方向的技术。

附图说明

图1为示出用户装戴实施方式的头戴式显示器的样子的外观图。

图2为示意性地示出实施方式的头戴式显示器的图像显示系统的大致外观的立体图。

图3为示意性地示出实施方式的头戴式显示器的图像显示系统的光学结构的图。

图4为示出实施方式的视线检测系统的结构的框图。

图5为说明用于实施方式的视线方向的检测的校准的示意图。

图6为说明用户的眼角膜的位置坐标的示意图。

图7的(a)部分至图7的(c)部分为实施方式的凝视标记图像的用户的眼部的影像图。

图8为示出实施方式的视线检测系统的工作的流程图。

图9的(a)部分为示出相对于修改前的标记图像的显示画面的输出位置的影像图。图9的(b)为示出标记图像的输出位置的修正例的影像图。

图10为示出视线检测系统的结构的框图。

图11为示出第二实施方式的视线检测系统的结构的框图。

图12为示出第二实施方式的有效视野图表的显示例的图。

图13为示出第二实施方式的视线检测系统的工作的流程图。

图14为示出第二实施方式的视线检测系统的工作的流程图。

图15为示出第三实施方式的有效视野图表的显示例的图。

图16为示出第三实施方式的视线检测系统的工作的流程图。

图17为示意性地示出第四实施方式的标记图像的显示例的图。

图18为示出第四实施方式的视线检测系统的工作的流程图。

图19为示出第五实施方式的视线检测系统的结构的框图。

图20为第五实施方式的头戴式显示器，图20的(a)部分为驱动部的俯视图。图20的(b)部分为驱动部的立体图。

图21为示出第五实施方式的视线检测系统的工作的流程图。

图22为示出第五实施方式的视线检测系统的工作的流程图。

附图标记的说明：

1：视线检测系统

100：头戴式显示器

103a：红外线光源(第二红外线发射部)

103b：红外线光源(第一红外线发射部)

105：亮点 108：图像显示组件

112：热反射镜 114、114a、114b：凸透镜

116：摄影机 118：第一通信部

121：第一显示部 122：红外线发射部

123：图像处理部 124：拍摄部

130：图像显示系统 150：框体

152a、152b：透镜支持部 160：装戴件

170：头戴式耳机 200：视线检测装置

220：第二通信部 221：视线检测部

222：影像输出部 223：标记图像输出部

224：判定部 225：合成图像输出部

226：第二显示部 227：存储部

具体实施方式

第一实施方式

结构

图1为示意性地示出实施方式的视线检测系统1的大致外观的图。实施方式的视线检测系统1包括头戴式显示器100及视线检测装置200。如图1所示，头戴式显示器100装戴在用户300的头部来使用。

视线检测装置200用于检测装戴了头戴式显示器100的用户的右眼及左眼的视线方向，并且确认用户的焦点，即，显示在头戴式显示器的三维图像中的用户所凝视的位置。并且，视线检测装置200还用作生成头戴式显示器100所显示的影像的影像生成装置来发挥功能。虽然没有限制，但作为一例，视线检测装置200为桌上型的游戏机、便携式游戏机、PC、平板电脑、智能手机、平板手机、视频播放器、电视机等能够再生影像的装置。视线检测装置200以无线或有线的方法与头戴式显示器100相连接。在图1所示的例子中，视线检测装置200以无线的方式与头戴式显示器100相连接。视线检测装置200与头戴式显示器100之间的无线连接可利用例如已知的Wi-Fi(注册商标)或蓝牙(Bluetooth，注册商标)等无线通信技术实现。虽然没有限制，但作为一例，头戴式显示器100与视线检测装置200之间的影像的传输依据Miracast(商标)或WiGig(商标)、WHDI(商标)等标准执行。

此外，图1示出了头戴式显示器100与视线检测装置200为不同装置的情况时的例。然而，视线检测装置200可内置于头戴式显示器100。

头戴式显示器100包括框体150、装戴件160及头戴式耳机170。框体150用于收纳图像显示组件等用于提供给用户300影像的图像显示系统或未图示的Wi-Fi模块或蓝牙(Bluetooth，注册商标)模块等无线传输模块。装戴件160用于将头戴式显示器100装戴在用户300的头部。装戴件160例如由带子、有伸缩性的带等实现。若用户300利用装戴件160装戴头戴式显示器100，框体150则配置于覆盖用户300的眼睛的位置。因此，若用户300装戴头戴式显示器100，则用户300的视界被框体150遮挡。

头戴式耳机170用于输出视线检测装置200所再生的影像的声音。头戴式耳机170可以不固定于头戴式显示器100。即使在用户300利用装戴件160装戴了头戴式显示器100的状态下，也能够自由装卸头戴式耳机170。

图2为示意性地示出实施方式的头戴式显示器100的图像显示系统130的大致外观的立体图。更为具体地，图2为表示在实施方式的框体150之中的与装戴了头戴式显示器100时的用户300的眼角膜302相向的区域的图。

如图2所示，当用户300装戴了头戴式显示器100时，左眼用凸透镜114a将处于与用户300的左眼的眼角膜302a相向的位置。同样，当用户300装戴了头戴式显示器100时，右眼用凸透镜114b将处于与用户300的右眼的眼角膜302b相向的位置。左眼用凸透镜114a和右眼用凸透镜114b分别由左眼用透镜支持部152a和右眼用透镜支持部152b夹持。

以下说明书中，除了要特别区分左眼用凸透镜114a和右眼用凸透镜114b的情况之外，皆简单地表示成“凸透镜114”。同样，除了要特别区分用户300的左眼的眼角膜302a和用户300的右眼的眼角膜302b的情况之外，皆简单地表示成“眼角膜302”。左眼用透镜支持部152a和右眼用透镜支持部152b也是一样地，除了要特别区分的情况之外，皆表示成“透镜支持部152”。

在透镜支持部152设有多个红外线光源103。为了避免说明复杂，在图2中，将对用户300的左眼的眼角膜302a发射红外线的红外线光源统称为红外线光源103a，将对用户300的右眼的眼角膜302b发射红外线的红外线光源统称为红外线光源103b。下面，除了要特别区分红外线光源103a和红外线光源103b的情况之外，皆简单地表示成“红外线光源103”。在图2所示的例子中，左眼用透镜支持部152a具有6个红外线光源103a。同样，右眼用透镜支持部152b也具有6个红外线光源103b。像这样，通过将红外线光源103配置于用于夹持凸透镜114的透镜支持部152，而不是直接配置于凸透镜114，更容易装戴红外线光源103。由于透镜支持部152通常由树脂等构成，因而比由玻璃等构成的凸透镜114更容易进行用于装戴红外线光源103的加工。

如上所述，透镜支持部152是一种用于夹持凸透镜114的部件。因此，设在透镜支持部152的红外线光源103配置于凸透镜114的周围。此外，在这里说明的是对每只眼睛发射红外线的红外线光源103为6个，但并不仅限于此数目，只要有至少一个对应于各眼睛的红外线光源即可，设置两个以上会更好。

图3为示意性地示出实施方式的框体150所收纳的图像显示系统130的光学结构，是从左眼侧的侧面所看到的图2中示出的框体150的情况的图。图像显示系统130包括红外线光源103、图像显示组件108、热反射镜112、凸透镜114、摄影机116及第一通信部118。

红外线光源103可发射近红外(700nm～2500nm程度)的波长谱带的光的光源。一般而言，近红外线为用户300的肉眼无法察觉的不可见光的波长谱带的光。

图像显示组件108显示用于提供给用户300的图像。图像显示组件108所显示的图像由视线检测装置200内的影像输出部222生成。关于影像输出部222将在下文中进行说明。图像显示组件108例如可由已知的液晶显示器(LCD，Liquid Crystal Display)或有机电致发光显示器(Organic Electro Luminescence Display)来实现。

当用户300装戴了头戴式显示器100时，热反射镜112配置于图像显示组件108与用户300的眼角膜302之间。热反射镜112包括穿过图像显示组件108所生成的可见光而将近红外线则反射的性质。

相对于热反射镜112，凸透镜114配置于图像显示组件108的相反侧。换言之，当用户300装戴了头戴式显示器100时，凸透镜114配置于热反射镜112与用户300的眼角膜302之间。即，当用户300装戴了头戴式显示器100时，凸透镜114配置于与用户300的眼角膜302相向的位置。

凸透镜114汇聚穿过热反射镜112的图像显示光。为此，凸透镜114具有当作将图像显示组件108所生成的图像放大后提供给用户300的图像放大部的功能。此外，为了方便说明，在图2中仅示出了一个凸透镜114，但凸透镜114也可以是结合各种透镜所组成的透镜组，或者，也可以是一面为曲面、而另一面为平面的单凸透镜。

多个红外线光源103配置于凸透镜114的周围。红外线光源103向用户300的眼角膜302发射红外线。

虽然未图示，实施方式的头戴式显示器100的图像显示系统130具有两个图像显示组件108，而能够独立地生成用于提供给用户300的右眼的图像和用于提供给左眼的图像。因此，实施方式的头戴式显示器100能够分别提供右眼用视差图像和左眼用视差图像给用户300的右眼和左眼。由此，实施方式的头戴式显示器100能够对用户300提示具有层次感的立体影像。

如上所述，热反射镜112可让可见光穿过，而将近红外线加以反射。因此，图像显示组件108所发射的图像光穿过热反射镜112而到达至用户300的眼角膜302。并且，由红外线光源103所发射而在凸透镜114的内部的反射区域被反射的红外线到达至用户300的眼角膜302。

到达用户300的眼角膜302的红外线被用户300的眼角膜302反射而再度射向凸透镜114的方向。此红外线穿过凸透镜114，而被热反射镜112反射。摄影机116具有用以滤除可见光的滤光片，而拍摄被热反射镜112反射的近红外线。即，摄影机116为近红外摄影机，其对由红外线光源103所发射而在用户300的眼睛处被眼角膜反射的近红外线进行拍摄。

此外，虽然未图示，实施方式的头戴式显示器100的图像显示系统130可具有两个摄影机116，即，用于拍摄包含被右眼反射的红外线的图像的第一拍摄部和用于拍摄包含被左眼反射的红外线的图像的第二拍摄部。由此，能够取得用于检测出用户300的右眼和左眼双眼的视线方向的图像。

第一通信部118将摄影机116所拍摄的图像输出到用于检测用户300的视线方向的视线检测装置200。具体地，第一通信部118将摄影机116所拍摄的图像传输给视线检测装置200。至于具有当作视线方向检测部的功能的视线检测部221，将在下文中进行详细说明，可通过视线检测装置200的中央处理器(CPU，Central Processing Unit)所运行的影像显示程序实现。此外，头戴式显示器100具有中央处理器或存储器等计算资源的情况下，头戴式显示器100的中央处理器也可运行用于实现视线方向检测部的程序。

虽然以下将详细说明，在摄影机116所拍摄到的图像中，由在用户300的眼角膜302处被反射的近红外线而来的亮点以及包含以近红外线的波长谱带所观测到的用户300的眼角膜302的眼睛的影像将被拍到。

如上所述，在实施方式的图像显示系统130之中，虽然主要就用以提供给用户300的左眼的影像的结构加以说明，但用以提供给用户300的右眼的影像的结构也与上述相同。

图4为根据视线检测系统1的头戴式显示器100及视线检测装置200之间的框图。如图4所示，并且，如上所述，视线检测系统1包括相互进行通信的头戴式显示器100及视线检测装置200。

如图4所示，头戴式显示器100包括第一通信部118、第一显示部121、红外线发射部122、图像处理部123及拍摄部124。

第一通信部118为具有与视线检测装置200的第二通信部220进行通信的功能的通信界面。如上所述，第一通信部118通过有线通信或无线通信来与第二通信部220进行通信。可使用的通信标准的例为如上所述。第一通信部118将从拍摄部124或图像处理部123传输的用于视线检测的图像数据发送给第二通信部220。并且，第一通信部118将从视线检测装置200发送的三维图像数据或标记图像传输给第一显示部121。

第一显示部121具有将从第一通信部118传输的三维图像数据显示于图像显示组件108的功能。三维图像数据包括右眼用视差图像和左眼用视差图像，它们成为视差图像对。第一显示部121将从标记图像输出部223输出的标记图像显示于图像显示组件108的指定的坐标。

红外线发射部122控制红外线光源103，向用户的右眼或左眼发射红外线。

图像处理部123根据需要对拍摄部124所拍摄的图像进行图像处理并传输给第一通信部118。

拍摄部124利用摄影机116拍摄包含被各只眼睛反射的近红外线的图像。并且，拍摄部124拍摄包含凝视图像显示组件108中所显示的标记图像的用户的眼睛的图像。拍摄部124将拍摄得到的图像传输给通信控制部118或图像处理部123。拍摄部124可拍摄动态图像，还可在适当的时间点(例如，发射近红外线的时间点或显示标记图像的时间点)拍摄静态图像。

如图4所示，视线检测装置200包括第二通信部220、视线检测部221、影像输出部222、标记图像输出部223、判定部224、合成图像输出部225、第二显示部226及存储部227。

第二通信部220为具有与头戴式显示器100的第一通信部118进行通信的功能的通信界面。如上所述，第二通信部220通过有线通信或无线通信来与第一通信部118进行通信。第二通信部220向头戴式显示器100传输从影像输出部222传输的三维图像数据或从标记图像输出部223传输的标记图像及其显示坐标位置。并且，将从头戴式显示器100传输的由拍摄部124所拍摄的包括凝视标记图像的用户的眼部的图像传输给判定部224及合成图像输出部225，将对察看基于影像输出部222所输出的三维图像数据来显示的图像的用户的眼部进行拍摄而得的图像传输到视线检测部221。

视线检测部221从第二通信部220接收用户的右眼的视线检测用的图像数据，对用户的右眼的视线方向进行检测。视线检测部221利用后述的方法，计算出表示用户的右眼的视线方向的右眼视线向量及表示用户的左眼的视线方向的左眼视线向量，并且确认用户所凝视的图像显示组件108中显示的图像的位置。

影像输出部222用于生成显示在头戴式显示器100的第一显示部121的三维图像数据，并传输给第二通信部220。影像输出部222保持如下的信息，即，与输出的三维图像的坐标系及显示在该坐标系的对象的三维位置坐标的信息。

标记图像输出部223具有生成标记图像并决定其显示位置的功能，上述标记图像是用于实施作为视线检测的事前准备的校准的指标。标记图像输出部223用于生成标记图像并确定要在图像显示组件108显示标记图像的显示坐标位置。标记图像输出部223将所生成的标记图像和其显示坐标位置传输给第二通信部220，并指示其发送到头戴式显示器100。此外，在本实施方式中，标记图像输出部223根据视线检测装置200的操作人员所输入的指示，来变更标记图像的显示位置。

并且，标记图像输出部223在判定部224收到包括用户的眼部的图像不能作为视线检测的图像来使用的主旨和此时的标记图像的显示坐标位置时，将把其显示坐标位置变更为图像显示组件108的靠近中心的坐标位置的新显示坐标位置和标记图像传输给第二通信部220，并指示其发送到头戴式显示器100。

判定部224具有如下的功能，即，基于凝视从第二通信部220传输的标记图像的用户的眼部的图像，判定该图像的用户的眼部的图像能否作为用于视线检测的图像。具体地，判定部224在从第二通信部220传输的包括凝视标记图像的用户的眼部的图像中，确认用户的虹膜(眼角膜)，根据能否确认其中心位置进行判定。在判定为从第二通信部220传输的包括凝视标记图像的用户的眼部的图像不能作为用于视线检测的图像使用，即，判定为不能确认虹膜的中心的情况下，判定部224将该标记图像的显示坐标位置与其主旨一同传输给标记图像输出部223。

合成图像输出部225具有如下的功能，即，通过合成标记图像输出部223所输出的标记图像、对其显示位置的左右进行翻转的图像、从第二通信部220传输的包括凝视标记图像的用户的眼部的拍摄图像，来生成合成图像。合成图像输出部225向第二显示部226输出所生成的合成图像。

第二显示部226包括显示图像的显示器，且具有显示从合成图像输出部225传输的合成图像的功能。即，第二显示部226用于显示合成图像，上述合成图像为将凝视标记图像的用户的眼部的图像及与显示在此时相对应的位置的标记图像重叠的合成图像。

储存部227为用于储存视线检测装置200工作所需的各种程序和数据的储存介质。此外，在图4中，没有示出存储部227与其他功能部的连接线，但各功能部可将必要的程序、数据访问存储部227来进行参照。

然后，对实施方式的视线方向的检测进行说明。

图5为说明用于实施方式的视线方向的检测的校准的示意图。用户300的视线方向通过视线检测装置200内的视线检测部221及视线检测部221对摄影机116拍摄且从第一通信部118向各视线检测装置200输出的影像进行分析来实现。

标记图像输出部223生成如图5所示的点Q₁至点Q₉的9个点(标记图像)，并使头戴式显示器100的图像显示组件108加以显示。视线检测装置200依照点Q₁至点Q₉的顺序让用户300凝视各点。此时，用户300被要求保持脖子不动而尽可能地仅借助眼球的移动去凝视各点。摄影机116对包含用户300凝视着点Q₁至点Q₉这9个点时的用户300的眼角膜302的图像进行拍摄。

图6为说明用户300的眼角膜302的位置坐标的示意图。视线检测装置200内的视线检测部221分析摄影机116所拍摄的图像来检测出源于红外线的亮点。当用户300仅借助眼球的移动而凝视着各点时，则即使用户凝视着任一点的情况，亮点105的位置被认为并不会变动。如此一来，视线检测部221会以检测出的亮点105为基准在摄影机116所拍摄的图像中设定出二维坐标系306。

视线检测部221再通过分析摄影机116所拍摄的图像来检测出用户用户300的眼角膜302的中心P。这可通过例如霍夫变换、边缘抽取处理等已知的图像处理技术而加以实现。由此，视线检测部221能够取得所设定的二维坐标系306中的用户300的眼角膜302的中心P的坐标。

在图5中，图像显示组件108所显示的显示画面之中设定的二维坐标系中的点Q₁至点Q₉的坐标分别显示为Q₁(x₁，y₁)^T、Q2(x₂，y₂)^T……，Q₉(x₉，x₉)^T。各坐标是以例如位在各点的中心的像素为编号。此外，将用户300凝视着点Q₁至点Q₉时的用户300眼角膜302的中心P分别显示为点P₁至点P₉。此时，分别将二维坐标系306之中的点P₁至点P₉的坐标显示为P₁(X₁，Y₁)^T、P2(X₂，Y₂)^T、……、P₉(Z₉，Y₉)^T。此外，T表示向量或矩阵的转置。

现在，将大小为2×2的矩阵M定义成以下的公式(1)

[公式1]

此时，如果矩阵M满足以下公式(2)，则矩阵M为将用户300的视线方向投影到图像显示组件108所显示的图像面的矩阵。

QN＝MPN(N＝1，……，9) (2)

如果详细地写出上述公式(2)，将如以下公式(3)。

[公式2]

如果改变公式(3)的型态的话，则可得到以下的公式(4)。

[公式3]

在此，如果进行以下的替换，

[公式4]

则可得到以下公式(5)。

y＝Ax (5)

公式(5)中，因为向量y的元素是视线检测部221使图像显示组件108所显示的点Q₁至点Q₉的坐标，故为已知。并且，因为矩阵A的元素是用户300的眼角膜302的顶点P的坐标，因此也能够取得。由此，视线检测部221能够取得向量y及矩阵A。此外，将转换矩阵M的元素排列而成的向量的向量x为未知。因此，在向量y与矩阵A为已知时，推算矩阵M的问题为求出未知的向量x的问题。

如果公式的数目(即，视线检测部221在校准时提供给用户300的点Q的数目)比未知数的数目(即向量x的元素数4)多的话，则公式(5)为优势判定问题。在公式(5)所示的例子中，因为公式的数目为9个，所以是优势判定问题。

将向量y和向量Ax的误差向量作为向量e。即，e＝y-Ax。此时，代表向量e的元素的平方和为最小的意义的最佳的向量X_opt可由以下公式(6)求得。

X_opt＝(A^TA)^-1A^Ty (6)

其中，「-1」表示反矩阵。

视线检测部221利用所求得的向量X_opt的元素来构成公式(1)的矩阵M。由此，根据公式(2)，视线检测部221利用用户300的眼角膜302的顶点P的坐标的矩阵M，可在二维的范围推算出用户300的右眼存在凝视图像显示组件108所显示的动态图像上的何处。由此，视线检测部221能够计算出链接图像显示组件108上的右眼的凝视点和用户的右眼的眼角膜的顶点的右眼视线向量。同样地，视线检测部221能够计算出链接图像显示组件108上的左眼的凝视点和用户的左眼的眼角膜的顶点的左眼视线向量。

图7为示出用于输出合成图像输出部225的合成图像的例的图。

图7的(a)部分示出的例子是：当在头戴式显示器100中从用户的角度来看位于右上角时，即当在图5中的点Q₃的位置显示出标记图像时，对拍摄凝视该标记图像的用户的左眼的图像和显示在相对于此时的画面的相对位置的标记图像进行合成处理，来形成合成图像。进而，在凝视用户的眼的状态中，标记图像的位置处于左右对称状态。

图7的(b)部分示出的例子是：当在头戴式显示器100中从用户的角度来看位于画面中央上部时，即当在图5中的点Q₂的位置显示标记图像时，对拍摄凝视该标记图像的用户的左眼的图像和显示在相对于此时的画面的相对位置的标记图像进行合成处理，来形成合成图像。进而，在凝视用户的眼睛的状态中，标记图像的位置处于左右对称状态。

图7的(c)部分示出的例子是：当在头戴式显示器100中从用户的角度来看位于左上角时，即当在图5中的点Q₁的位置显示标记图像是时，对拍摄凝视该标记图像的用户的左眼的图像和显示在相对于此时的画面的相对位置的标记图像进行合成处理，来形成合成图像。

由于这种合成图像显示在第二显示部226，因此视线检测系统1的操作人可以确认出当装戴了头戴式显示器100的用户进行校准时是否凝视标记图像。进而，在图7中虽未图示，但这种合成图像分别生成在图5中示出的9个点Q₁～Q₉之后显示。而且，在图7中示出了用户的左眼的例子，但也可以在用户的右眼上获得相同的合成图像。

工作

图8为示出校准视线检测系统1时的工作的流程图。利用图8，对视线检测系统1的工作进行说明。

视线检测装置200的标记图像输出部223假设要显示的标记图像Q_i满足如下条件，即i＝1(步骤S801)。

在标记图像输出部223中，在第i显示坐标位置上将标记图像显示于头戴式显示器100的图像显示组件108(步骤S802)。即，标记图像输出部223生成标记图像，并决定其显示坐标位置。例如，当i＝1时，将点Q₁作为显示坐标位置来决定。标记图像输出部223向第二通信部220传输生成在第二通信部220的标记图像和其显示坐标位置。第二通信部220向头戴式显示器100发送所接收的标记图像和其显示坐标位置。

头戴式显示器100的第一通信部118接收标记图像和其显示坐标位置并向第一显示部121传输。第一显示部121在指定已传输的标记图像的显示坐标位置上显示图像显示组件108。用户凝视已显示的标记图像。拍摄部124拍摄包括凝视已显示的标记图像的用户的眼睛的图像(步骤S803)。拍摄部124向第一通信部118传输所拍摄的图像。第一通信部118向视线检测装置200传输拍摄凝视已传输的标记图像的用户的眼睛的图像的图像数据。

当视线检测装置200的第二通信部220接收拍摄凝视着标记图像的用户的眼睛的图像而取得的图像数据时，向合成图像输出部225传输。合成图像输出部225通过在拍摄凝视已传输的标记图像的用户的眼睛的图像上，将此时显示的标记图像重叠在反转其显示位置的左右的位置并进行合成，来生成合成图像(步骤S804)。

合成图像输出部225向第二显示部226传输所生成的合成图像，第二显示部226显示所传输的合成图像(步骤S805)。由此，视线检测系统1的操作人可以确认出装戴了头戴式显示器100的用户是否凝视着标记图像，在未进行凝视的情况下，可以向用户指示以能够凝视标记图像。

标记图像输出部223判定i是否是9(步骤S806)。当i不是9时，标记图像输出部223在i中添加1，并返回步骤S802。当i为9时，判定部224对于通过拍摄来获得的9张图像，判定出是否分别可以用作视线检测用数据(步骤S807)。即，判定部224对于拍摄凝视显示在各显示坐标位置的标记图像的用户的眼睛的各个图像，判定出是否能够确认用户的眼角膜中心。在能够确认的情况下，将该坐标位置存储在存储部227，并用于上述行列式。在无法确认的情况下，判定部224向标记图像输出部223传输，无法确认用户的眼角膜中心时被显示的标记图像的显示坐标位置和从凝视该标记图像的用户的眼睛的图像无法确认用户的眼角膜中心的情况。

标记图像输出部223以靠近画面(图像显示组件108)的中央的方式修正当拍摄无法确认用户的眼角膜中心的图像时标记图像的显示坐标位置。并且，向第二通信部220传输修正后的显示坐标位置。第二通信部220向头戴式显示器100发送所接收的显示坐标位置。第一通信部118向第一显示部121传输已接收并修正后的显示坐标位置。第一显示部121通过在所传输的修正后的显示坐标位置显示标记图像，来使用户凝视。拍摄部124拍摄凝视显示在修正后的显示坐标位置的标记图像的用户的眼睛(步骤S809)。拍摄部124向第一通信部118传输所拍摄的图像，第一通信部118向视线检测装置200发送该图像。并且，返回步骤S808的处理。

另一方面，当判定部224判定为所拍摄的所有图像可以作为视线检测用的数据来使用时，即，当从所有的图像可以确认用户的眼角膜中心时，计算出上述行列x的要素，来完成校准处理。

以上，对校准视线检测系统1时的工作进行了说明。

图9为示出根据标记图像输出部223的标记图像的显示坐标位置的变更例的状态图。图9的(a)部分为示出标记图像的图像显示组件108中的显示位置的基本位置的图。在图9的(a)部分中，概括显示了9个标记图像，但实际情况为，这些以单一的顺序来显示在图像显示组件108。即，可以获得拍摄用户的眼睛的9张图像。

此时，作为一例，在如图9的(a)部分所示的标记图像中，分别将标记图像901a、902a、903a显示在图9的(a)部分中示出的坐标显示位置时，被视为用户所凝视的该标记图像无法用作视线检测，即，被视为判定部224无法确认用户的眼角膜中心。判定部224向标记图像输出部223传输该主旨。

接收此主旨之后，标记图像输出部223以靠近画面中央的方式修正当无法确认用户的眼角膜中心时显示的标记图像的显示坐标位置。即，如图9的(b)部分所示，将标记图像901a的显示坐标位置修正在标记图像901b中示出的显示坐标位置，并将标记图像902a的显示坐标位置修正在标记图像902b中示出的显示坐标位置，并将标记图像903a的显示坐标位置修正在标记图像903b中示出的显示坐标位置。并且，在修正后的显示坐标位置上使各个标记图像显示在头戴式显示器100的图像显示组件108，来拍摄包括凝视这些用户的眼睛的图像。而且，判定部224判定出是否在重新拍摄的图像中确认出用户的眼角膜中心。

进而，在图9的(b)部分中，在标记图像的显示坐标位置中，x轴方向和y轴方向均靠近中央，但也能够以靠近中央的方式仅对一侧的轴进行修正。并且，当从通过使用户凝视仅对一侧的轴进行了显示位置的修正的标记图像来拍摄的图像中，无法确认用户的眼角膜中心时，进而，可以对其他轴以靠近中央的方式对标记图像的显示坐标位置进行修正。

总结

如上所述，根据本发明的视线检测系统1通过重叠标记图像和拍摄凝视上述标记图像的用户的眼睛的图像，来生成合成图像之后输出这些，由此视线检测系统1的操作人可以确认出当进行校准时用户是否凝视标记图像。而且，在拍摄时，用户的眼角膜成为用户的下眼睑的影子，从被拍摄的图像中，对应于无法确认用户的眼角膜中心时的情况，视线检测系统1对显示标记图像的显示坐标位置进行修正，从而可以容易地确认用户的眼角膜中心。

第二实施方式

在上述第一实施方式中示出了当为了实施视线检测而进行校准时有助于视线检测装置200的操作人的结构。在本第二实施方式中，进而对能够获得用户300的特性的结构进行说明。装戴头戴式显示器100来使用的用户300的观看方式或观看的范围可根据个人差异而有所不同。因此，希望根据每个人的特性来提供影像，来提供受到用户的广泛使用的系统。在本第二实施方式中，对这些视线检测系统进行说明。

结构

图11为示出第二实施方式的视线检测系统的结构的框图。如图11所示，视线检测系统包括头戴式显示器100和视线检测装置200。如图11所示，头戴式显示器100包括第一通信部118、第一显示部121、红外线发射部122、图像处理部123及拍摄部124。而且，视线检测装置200包括第二通信部220、视线检测部221、影像输出部222、接收部228、确认部229及存储部227。在图11中示出的头戴式显示器100及视线检测装置200分别与在第一实施方式中示出的头戴式显示器100及视线检测装置200包括相同的功能。进而，在图11中，省略了与本第二实施方式无关的结构。以下，对与第一实施方式的功能相同的功能省略其说明，仅对不同的功能进行说明。

影像输出部222借助第二通信部220向头戴式显示器100发送有效视野确认图表的显示图像，头戴式显示器100的第一显示部121显示向图像显示组件108传输的有效视野确认图表。

视线检测装置200的接收部228接收装戴了头戴式显示器100的用户300在显示在图像显示组件108的有效视野确认图表中，向用户300示出对象的观看方法的视觉信息。接收部可以为利用例如，包括在视线检测装置200的或者连接在视线检测装置200的输入用界面，来接收视觉信息的输入的结构，也可以为从第二通信部220接收通过通信来接收的视觉信息的结构。输入用界面可以为，例如，设置在视线检测装置的输入面板的硬件，也可以为连接在视线检测装置200的键盘或触摸板等。而且，或者接收部228可以为接收从用户300发出的声音的输入的结构，此时，也可以为通过基于所谓的声音识别处理来分析声音，来接收来自用户300的视觉信息的输入的结构。接收部228，向确认部229传输已接收的视觉信息。

有效视野确认图表为用于确认以装戴头戴式显示器100的方式来使用的用户300的有效视野的显示图像。在图12中示出有效视野确认图表的一例。图12为示出显示在头戴式显示器100的图像显示组件108的状态的显示图像1200的图。

如图12所示，有效视野确认图表为以用户显示应该凝视的凝视点的凝视点标记1202和以凝视点标记1202为中心，以呈环状的方式在该周边配置多个对象的图像。其中，作为各个多个对象，示出了排列平假名的例子，但这属于一例，可以为其他文字或图像。多个对象为对应于离凝视点标记1202(的中心)的距离的大小的图像，离凝视点标记1202的距离越长，设定的图像就越大。即，当将对象的中心坐标与凝视点标记的中心坐标之间的距离设定为l，将此时的对象的图像大小设定为x×y时，当在显示的对象的中心坐标与凝视点标记1202的中心坐标之间的距离为2l时，对象的图像大小为2x×2y。

确认部229基于从接收部228传输的视觉信息，来确认用户300的有效视野。

用户300在凝视显示在图像显示组件108的图12的有效视野确认图表的凝视点标记1202的状态下，确认能够清晰地确认出的对象的范围。用户300在凝视凝视点标记1202的情况下，能够清晰可见的对象的信息成为本第二实施方式中的视觉信息。例如，在对用户来说清晰可见的对象中，当离凝视点标记1202最远的对象为“X、Q、R、S、T、U、V、W”时，在图12的虚线中示出的圆1201成为用户300的有效视野。

确认部229确认用从接收部228传输的视觉信息来显示的用户300可见的对象的信息。确认部229基于影像输出部222向头戴式显示器100发送的有效视野图表的坐标系和头戴式显示器100中的显示位置，来确认用户300的有效视野范围(坐标范围)。具体地，用视觉信息来显示的用户300在凝视凝视点标记的状态下，确认清晰可见的对象的显示坐标。而且，确认将在确认的对象的显示坐标范围中的离凝视点标记1202最远的距离的坐标为止的距离作为半径的圆内作为用户的有效视野。

影像输出部222基于确认部229确认的有效视野和视线检测部221确认的凝视点，来生成高分辨率影像。影像输出部222以视线检测部221确认的凝视点为中心，生成显示在确认部229确认的有效视野内的范围的影像部分的高分辨率影像。而且，影像输出部222生成画面整体部分的低分辨率影像。而且，借助第二通信部220向头戴式显示器100发送生成的低分辨率影像和有效视野范围内的高分辨率影像。进而，在影像输出部222中，可对于低分辨率影像仅生成有效视野以外的范围部分。

由此，视线检测装置200可以向头戴式显示器100发送对应于各用户的有效视野的范围的高分辨率影像。即，能够对应于各用户的视力特性来提供高画质的图像。而且，通过将发送高分辨率影像的范围缩小在用户的有效视野，来比发送全画面部分的高分辨率影像时相比更容易控制数据容量，因此可以抑制在头戴式显示器100-视线检测装置200之间的数据传输量。这些在例如，视线检测装置200从外部的影像分发服务器收到影像之后向头戴式显示器100传输的情况下，可以期待相同的效果。即，在视线检测装置200中确认用户的视线位置和有效视野，并将该信息发送至影像分发服务器，由此影像分发服务器通过发送被指定的范围内的高分辨率影像和全画面部分的低分辨率影像，来可以抑制从影像分发服务器开始至视线检测装置200的数据传输量。

工作

图13为示出确认根据视线检测装置200的用户的有效视野时的工作的流程图。

视线检测装置200在进行第一实施方式中示出的校准之后，影像输出部222从存储部227读取有效视野确认图表。并且，借助第二通信部220，同显示命令一起向头戴式显示器100发送已读取的有效视野确认图表(步骤S1301)。由此，头戴式显示器100的第一显示部121借助第一通信部118接收有效视野确认图表，并显示在图像显示组件108。用户300在凝视所显示的有效视野确认图表的凝视点标记的状态下，在该周边显示的对象中，确认清晰可见的对象。

接着，视线检测装置200的接收部228在用户300显示的有效视野确认图表中，接收用户300在凝视凝视点标记的情况下可见的对象的信息的视觉信息(步骤S1302)。这些可以为用户300直接输入的信息，也可以为通过从用户300传输视线检测装置200的操作人可见的对象的信息来进行输入的信息，或者，可以采取如下的形态，即，使各个对象按照顺序闪烁之后，在用户300凝视该引起闪烁的对象的状态下，为了判定是否得到了清晰可见的信息，而利用闪烁时的简单的按钮等来接收输入，来输入于接收部228。接收部228当接收用户300的视觉信息时，向确认部229传输所接收的视觉信息。

确认部229当从接收部228接收用户300的视觉信息时，确认用户300的有效视野。用户的有效视野的确认技巧为如上所述。确认部229生成确认的用户的有效视野信息(显示以用户300的凝视点为中心的坐标范围的信息)之后，存储在存储部227(步骤S1303)，从而完成处理过程。

通过以上的处理，视线检测装置200确认装戴了头戴式显示器100的用户300的有效视野。

其次，对特定的有效视野的利用方法进行说明。图14为示出基于借助视线检测装置200被特定的用户的有效视野，来生成显示在头戴式显示器100的图像时的工作的流程图。在图14中示出的工作为发送必须从视线检测装置200显示至头戴式显示器100的影像时的工作。

影像输出部222为显示在头戴式显示器100的图像显示组件108的影像，用于生成低分辨率的影像。并且，影像输出部222借助第二通信部220向头戴式显示器100发送生成的低分辨率影像(步骤S1401)。

视线检测装置200的第二通信部220接收拍摄观看从头戴式显示器100显示在图像显示组件108的影像的用户的眼睛的拍摄图像。第二通信部220向视线检测部221传输接收的拍摄图像。而且，如第一实施方式所示，视线检测部221特定用户300的凝视位置(步骤S1402)。视线检测部221向影像输出部222传输特定的凝视位置。

影像输出部222当从视线检测部221接收用户300的凝视位置时，从存储部227读取显示有确认部229特定的用户300的有效视野的有效视野信息。并且，以被传输的凝视位置为中心，生成显示在有效视野信息的有效视野的范围为止的高分辨率影像(步骤S1403)。

影像输出部222借助第二通信部220来向头戴式显示器100发送生成的高分辨率影像(步骤S1404)。

视线检测装置200判定影像输出部222输出的影像是否已结束(是否达到最后的结构)，而且是否从用户300或视线检测装置200的操作人接收了影像的再生结束的输入(步骤S1405)。在影像未结束，且未从用户300或操作人接收再生结束输入的情况下(步骤S1405中的“否”)，返回步骤S1401。在影像已结束，但未从用户300或操作人接收再生结束输入的情况下(步骤S1405中的“是”)，结束处理。

由此，视线检测装置200可以通过向头戴式显示器100继续发送低分辨率的影像，来提供不存在中断的影像，同时也可以发送以用户的凝视点为中心的高分辨率图像，因此可以向用户提供画质良好的影像。而且，在视线检测装置200中，对于向头戴式显示器100提供影像的结构来看，在用户300的有效视野之内提供高分辨率的影像，在有效视野之外提供低分辨率的影像，因此将从视线检测装置200发送至头戴式显示器100的高分辨率的影像控制在所需的最小限度，由此，可以控制从视线检测装置200发送至头戴式显示器100的数据传输量。第三实施方式

在上述第二实施方式中，对以凝视点标记为中心，按照离凝视点标记的距离且按照多个对象的可见程度，来确认用户300的有效视野的技巧进行了说明。在本第三实施方式中，对与第二实施方式包括不同的形式的用户300的有效视野的确认方法进行说明。在本第三实施方式中，仅对与第二实施方式不同的要素进行说明。

图15为示出将第三实施方式的有效视野图表显示在头戴式显示器100的图像显示组件108的状态的图。

在影像输出部222中，在规定的周期内使在图15中示出的有效视野图表的各个圆闪烁。即，在规定的周期内反复进行从显示的状态逐渐消失，从消失的状态恢复显示的过程。当用户300看见该状态时，即使头戴式显示器100的系统中的所有的圆同时显示，并同时消失，也按个人差异而不一定看得出同时显示，并同时消失的现象。在本第三实施方式中，根据按用户的差异而有所不同的同心圆的观看方法，来确认该有效视野。

结构

第三实施方式的视线检测系统的结构与在第二实施方式中示出的视线检测系统的结构相同。

其不同点在于，影像输出部222显示了图12中示出的有效视野图表，但在本第三实施方式中，以闪烁的方式显示了在图15中示出的有效视野图表。在图15中示出的有效视野图表为以相同间隔来显示以凝视点标记的中心作为中心的多个同心圆的图像。各个同心圆均包括相同间隔，而且包括相同的线宽。影像输出部222以在规定的周期内闪烁该同心圆的方式显示。并且，以稍微变更该规定的周期的方式显示。

接收部228作为视觉信息，接收能够确认用户感觉到在图15中示出的多个同心圆均同时显现、均同时消失时的周期信息。

确认部229基于显示在从接收部228接收的视觉信息的周期，来确认头戴式显示器100的有效视野。确认部229基于预先在存储部227中存储的、显示周期与有效视野之间的关系的有效视野计算函数，来确认用户300的有效视野(离凝视点的有效视野距离)。其中，有效视野计算函数为，周期越短，用户300的有效视野越广(有效视野距离长)，周期越长，用户300的有效视野越狭窄(有效视野短)的函数。即，在有效视野狭窄的用户的情况下，即使显示与非显示之间的切换周期慢，也感受到该变化同时发生。即，可以推定这种用户通常对图像的变化不敏感。在有效视野广的用户的情况下，当在显示示与非显示之间的周期慢时，容易感觉到该变化。即，可以推定这种用户通常对图像的变化敏感。

工作

图16为示出用于确认第三实施方式的视线检测装置200的用户300的视野的工作的流程图。

如图16所示，影像输出部222以在规定的周期内闪烁多个同心圆的方式显示(步骤S1601)。即，在图15中示出的有效视野图表中，以使各个圆同时在规定的周期内反复进行显示之后消失，消失之后显示的过程方式来显示。在规定周期受到初始值的影响，影像输出部222逐渐变更该规定周期。

用户300在变更规定周期的同时反复进行从同心圆组的显示至消失、消失至再显示的过程中，将所有同心圆同时被显示，并同时消失的时间作为视觉信息来输入(步骤S1602)。接收部228接收该时间之后，向确认部229传输在此时的影像输出部222反复进行同心圆组的显示/非显示的规定周期。

确认部229从被传输的规定周期中，利用存储在存储部227的有效视野函数，来确认用户300的有效视野(步骤S1603)。

可以通过这种结构，来视线检测装置200确认用户300的有效视野，并可以起到与在第二实施方式中示出的效果相同的效果。

第四实施方式

在本第四实施方式中，对与第一实施方式不同的标记图像的显示方法，以及此时的视线检测方法进行说明。

在上述第一实施方式中，示出了按顺序显示9个标记图像之后，实施拍摄凝视这些的用户的眼睛的校准的例子，但在本第四实施方式中，仅对利用1个标记图像来进行校准的例子进行说明。

结构

本实施方式的视线检测系统的基本结构与在第一实施方式中的结构相同。因此，包括与在图4中示出的框图相同的结构。以下，对第一实施方式中的变更点进行说明。

第四实施方式中的影像输出部222当进行校准时，向头戴式显示器100发送整个周边影像。此时，该周边影像(或一定程度的广范围，即，比图像显示组件108的显示范围广的影像)至少包括一个标记图像。即，头戴式显示器100的第一显示部121在世界坐标系的预定的坐标上显示标记图像。世界坐标是指，表示以三维的方式显示图像时的整个空间的坐标系。而且，在基本上，整个周边影像是指，在世界坐标系只能够显示的360度影像。由于头戴式显示器100包括加速度传感器，因此可以确认用户朝向哪个方向，因此影像输出部222通过从头戴式显示器100接收加速度传感器的信息，来决定需要传输的范围的影像之后，传输影像数据。

用户300在装戴了头戴式显示器100的状态下，移动自身的头，由此将标记图像以包括在头戴式显示器100的显示范围的方式显示，此时，将标记图像至少从两个不同的方向来凝视。头戴式显示器100的摄像机116拍摄此时的用户的眼睛，作为校准用图像来获取。即，在本第一实施方式中，为了使用户的眼睛与标记图像处于不同的位置关系，而在9个位置上显示了标记图像之后让用户凝视，但在本第四实施方式中，显示的标记图像为一个，而且用户将此从各种角度来观看，因此可以获得多个校准用图像。

图17的(a)部分、图17的(b)部分为示意性示出整个周边影像与显示在头戴式显示器100的显示画面之间的对应关系的图。在图17的(a)部分、图17的(b)部分中，示出了用户300装戴了头戴式显示器100的状态，而且是在此时对从视线检测装置200发送的整个周边影像1701，示意性地示出显示在头戴式显示器100的图像显示组件108的显示范围1702和整个周边影像1701中的标记图像1703的图。在图17的(a)部分、图17的(b)部分中示出的整个周边影像1701、显示范围1702或标记图像1703是虚拟的，需要注意的是，实际上不会像图17的(a)部分、图17的(b)部分一样出现。标记图像1703的世界坐标中的位置为固定状态。另一方面，当显示在图像显示组件108时，根据用户300的脸的朝向，显示位置不同。进而，标记图像1703为记号，该形状当然不限于圆形。

图17的(a)部分示出了在头戴式显示器100的显示图像组件的显示范围1702内不包括标记图像1703的状态，图17的(b)部分示出了在显示范围1702内包括标记图像1703的状态。在图17的(b)部分的状态中，头戴式显示器100的摄像机116拍摄将近红外线作为光源的用户的眼睛。而且，用户300通过移动自身的头，来移动显示范围1702，进而在显示范围1702中的与图17的(b)部分中示出的位置不同的其他位置上，使标记图像1703显现，从而凝视此时的标记图像。并且，头戴式显示器100的摄像机116同样拍摄用户的眼睛。在本第四实施方式中，通过这种方式，可以获得多个校准用图像，并利用在第一实施方式中示出的各个数式，可以确认用户的凝视点。

因此，根据本第四实施方式的标记图像输出部223具有决定世界坐标系中的标记图像的显示位置的功能。

工作

利用图18的流程图，对第四实施方式的视线检测系统的工作进行说明。

如图18所示，标记图像输出部223决定世界坐标系中的标记图像的显示坐标(步骤S1801)。

视线检测装置200的影像输出部222借助第二通信部220向图像显示组件108发送需要显示的影像。而且，同样，标记图像输出部223同该显示坐标一起向头戴式显示器100发送标记图像。头戴式显示器100的第一显示部121从装戴在头戴式显示器100的加速度传感器的值，检测出对应于头戴式显示器100的世界坐标系的向头，进而判定在该方向上的图像范围内，而且显示在图像显示组件108的范围内是否包括标记图像(步骤S1802)。

当显示范围内包括标记图像时(步骤S1802中的“是”)，第一显示部121在对应于图像显示组件108的位置显示标记图像(步骤S1803)。当显示范围内不包括标记图像时(步骤S1803中的“否”)，移动到步骤S1805的处理。

摄像机116将不可见光作为光源拍摄凝视显示在图像显示组件108的标记图像的用户300的眼睛(步骤S1804)。头戴式显示器100向视线检测装置200发送所拍摄的图像，视线检测装置200将该拍摄图像作为校准用图像存储在存储部227。

视线检测装置200的视线检测部221判定在进行校准时所需的拍摄图像是否达到规定张数(例如，定为9张，但不限定于此)(步骤S1805)。当达到规定张数时(步骤S1805中的“是”)，结束校准处理。另一方面，当规未达到定张数时(步骤S1805中的“否”)，返回步骤S1802的处理。

即使利用如上所述的方式，也如同第一实施方式可以进行用于视线检测的校准。进而，在第四实施方式中的校准中，例如，在影像与影像之间的中断中，可以在下一个影像的加载中进行，或者也可以在一般的游戏载入画面中进行。而且，在这种情况下，通过移动标记图像，来使用户凝视该移动的标记图像。在这种情况下，标记图像可以为出现在观看的影像或实行的游戏等中的人物的图像。

补充1

本发明的视线检测系统可由如下的结构形成。

(a)视线检测系统可以包括被用户装戴而使用的影像显示装置，且包括显示画面，用于将对象提供给上述用户；显示部，按照上述显示画面的预定的显示位置为中心环状放大的方式将对象显示在上述显示画面；接收部，在上述用户凝视上述预定的显示位置的状态下，接收显示上述用户的上述对象的察看方向的察看信息；确认部，用于根据上述察看信息来确认上述用户的有效视野。

(b)上述(a)所述的视线检测系统包括如下的特征，即，上述显示部以上述预定的显示位置为中心，显示对应于与该预定显示位置之间的距离的大小的对象，上述察看信息为在上述用户凝视上述预定显示位置的状态下，表示能够让用户清楚地察看上述对象的范围内的信息。

(c)并且，上述(a)所述的视线检测系统可包括如下的特征，即，上述显示部使以上述预定的显示位置为中心的多个圆以规定的间距且规定的周期闪烁的方式进行显示，上述察看信息为在上述用户凝视上述预定的显示位置的状态下，若上述闪烁的多个圆同时进行显示或消失，则可确认上述用户所能够识别的上述规定的周期的信息。

(d)并且，上述(a)～(c)中任一项所述的视线检测系统可包括如下的特征，即，上述视线检测系统还包括视线检测部，上述视线检测部用于检测上述用户察看显示在上述显示画面的图像时的凝视位置，上述显示部以上述凝视位置为中心，在上述确认部所确认的有效视野内显示高分辨率的图像，在上述有效视野外显示低分辨率的图像。

(e)并且，在上述(d)所述的视线检测系统中，上述影像显示装置为头戴式显示器，上述视线检测系统还可包括影像生成部，上述影像生成部生成要显示在设置于上述头戴式显示器的上述显示画面的图像，并将其传输至上述头戴式显示器，上述影像生成部生成以上述凝视位置为中心显示在上述确认部所确认的有效视野内的高分辨率的图像，来将其进行传输，且通过生成至少显示在上述有效视野外的低分辨率的图像，来将其进行传输。

(f)并且，在上述(e)所述的视线检测系统中，上述影像生成部可与上述有限视野的位置无关地生成显示图像整体的低分辨率图像，来进行传输。

(g)并且，视线检测系统包括被装戴在用户的头部而使用的影像显示装置，且包括：显示画面，用于显示提供给上述用户的图像；显示部，在上述显示画面的显示坐标系内包含特定坐标位置的情况下，显示配置于世界坐标系上的上述特定坐标位置的标记图像；拍摄部，在上述显示画面正在显示上述标记图像的情况下，对凝视上述标记图像的状态时的上述用户的眼部进行拍摄；以及视线检测部，基于上述拍摄部所拍摄的2张不同的拍摄图像，检测上述显示画面的用户的凝视位置。

(h)并且，在本发明的有效视野确认方法适用于被装戴在用户的头部而使用的、包括具有用于显示要提供给上述用户的图像显示画面的影像显示装置的视线检测系统，包括：显示步骤，按照以上述显示画面的预定的显示位置为中心环状放大的方式将对象显示在上述显示画面；接收步骤，在上述用户凝视上述预定的显示位置的状态下，接收用于示出上述用户的上述对象的察看方向的察看信息；以及确认步骤，根据上述察看信息，确认上述用户的有效视野。

(i)并且，在本发明的视线检测方法适用于被装戴在用户的头部而使用的、包括具有用于显示要提供给上述用户的图像的显示画面的影像显示装置的视线检测系统，包括：显示步骤，在上述显示画面的显示坐标系内包含特定坐标位置的情况下，在上述显示画面显示配置于世界坐标系上的上述特定坐标位置的标记图像；拍摄步骤，上述显示画面正在显示上述标记图像的情况下，对凝视上述标记图像的状态时的上述用户的眼部进行拍摄；以及视线检测步骤，基于在上述拍摄步骤进行拍摄的至少2张不同的拍摄图像，检测上述显示画面的用户的凝视位置。

(j)并且，本发明的有效视野确认程序使被装戴在用户的头部而使用的、包括具有用于显示要提供给上述用户的图像的显示画面的影像显示装置的视线检测系统中所包括的计算机实现如下的功能：显示功能，按照上述显示画面的预定的显示位置为中心环状放大的方式将对象显示在上述显示画面；接收功能，在上述用户凝视上述预定的显示位置的状态下，接收显示上述用户的上述对象的察看方向的察看信息；确认功能，根据上述察看信息，确认上述用户的有效视野。

(k)并且，本发明的视线检测程序使被装戴在用户的头部而使用的、包括具有用于显示要提供给上述用户的图像的显示画面的影像显示装置的视线检测系统中所包括的计算机实现如下的功能：显示功能，在上述显示画面的显示坐标系内包含特定坐标位置的情况下，在上述显示画面显示配置于世界坐标系上的上述特定坐标位置的标记图像；拍摄功能，上述显示画面正在显示上述标记图像的情况下，对凝视上述标记图像的状态时的上述用户的眼部进行拍摄；以及视线检测功能，基于在上述拍摄步骤进行拍摄的至少2张不同的拍摄图像，检测上述显示画面的用户的凝视位置。

第五实施方式

在上述实施方式中，说明了各种校准方法，但在本实施方式中追加说明减轻用户的疲劳的方法。其中，首先对疲劳进行说明。

在头戴式显示器中，存在显示三维图像的情况。但是，当收看三维图像时，存在用户感觉到疲劳的问题。当显示三维图像时，用户看到的显示物与实际显示器位置相比显得更为突出。为此，用户的眼球试图将焦点对准显示物的显示位置(深度)。但是，实际上，由于显示器的位置位于与该显示物的显示位置相比更深的地方，因而眼球会发现实际显示器的位置，并试图将焦点再次对准那个位置。当观看三维图像时，由于交替发生这种眼球的自动对焦，因而用户会感觉到疲劳。

为此，在本第五实施方式中，公开了当进行立体观看时，可减轻用户的疲劳的视线检测系统。

结构

图19为视线检测系统1的头戴式显示器100和视线检测装置200的框图。在本实施方式中，视线检测系统可被称为立体影像显示系统。如图19所示，并且如上所述，视线检测系统1包括相互进行通信的头戴式显示器100和视线检测装置200。在这里，对与上述实施方式不同的结构进行说明。

如图19所示，头戴式显示器100包括第一通信部118、显示部121、红外线发射部122、图像处理部123、拍摄部124、驱动部125以及驱动控制部126。

第一通信部118除了在上述实施方式中示出的各种功能以外，向驱动控制部126传输三维图像数据。这种三维图像数据包括示出被显示的对象的显示深度的信息。其中，显示深度为从用户的眼部至对象借助立体视觉来以疑似的方式进行显示的显示位置的距离。并且，三维图像数据包括右眼用视差图像和左眼用视差图像，这些形成视差图像对。

驱动部125包括如下的功能，即，根据从驱动控制部126传输的控制信号，来驱动马达，上述马达用于移动图像显示组件108，使得能够变动与用户的眼部之间的相对距离。

驱动控制部126具有如下的功能，即，通过利用从第一通信部118传输的影像数据，来生成根据被显示的对象的显示深度移动图像显示组件108的控制信号，并对驱动部125进行传输。作为生成控制信号的方法，驱动控制部126按照以下的驱动例来生成控制信号。

驱动例1：若被显示的显示对象的显示深度与图像显示组件108的深度之间的差分大于规定的阈值，则生成使图像显示组件108的深度接近显示深度的控制信号。并且，在这里，虽然以超过规定的阈值来进行了说明，但无需做比较，也可生成使图像显示组件108的深度接近对象的显示深度的控制信号。

驱动例2：对在第一时间显示的显示对象的第一显示深度与在第二时间显示的显示对象的第二显示深度进行比较，若第二显示深度大于第一显示深度，则使用户300看起来在第二时间显示的显示对象与在第一时间显示的表示对象相比，显示在里侧。

对于驱动部的工作的更加详细的说明，将在后面进行描述。

图20为示出图像显示组件108，即，用于移动显示器的结构的一例的图。图20的(a)部分为示出头戴式显示器100的图像显示组件108的驱动部的俯视图，示出头戴式显示器100的内部结构的图。图20的(b)部分为在图20的(a)部分的箭头711示出的方向从斜下方观察该驱动部的立体图。

如图20的(a)部分、图20的(b)部分所示，在图像显示组件108中，其端部(附图中为右侧)与支柱701相连接，支柱701的端部以能够自由滑动的方式固定在轨道702。图像显示组件108的端部由于设置有齿，因而装配与皮带巷703的齿。如图20所示，在皮带巷703的表面设置有齿，借助马达704的旋转，该齿也进行移动。因此，图像显示组件108也在箭头710所示出的方向进行移动。若马达704向右旋转，则图像显示组件108从用户300的眼部远离的方向进行移动，若马达704向左旋转，则图像显示组件108从用户300的眼部接近的方向进行移动。其中，马达704根据驱动控制部126的控制、借助驱动125来进行旋转。作为一例，根据这种结构，戴式显示器100的图像显示组件108可进行移动，使得能够变动与用户300的眼部的相对距离。并且，这种移动图像显示组件108的方法仅为一个例子，也可使用其他方法来实现。

工作

以下，对于移动头戴式显示器100的图像显示组件108的驱动方法进行说明。

驱动例1

图21为示出实施方式的头戴式显示器100的工作的流程图。

视线检测装置200的影像输出部222向第二通信部220传输显示在图像显示组件108的立体影像。第二通信部220向头戴式显示器100传输所接收的影像数据。

当接收到影像数据时，第一通信部118将其传输至驱动控制部126。驱动控制部126从所接收的影像数据抽取显示对象的显示深度信息(步骤S2101)。

驱动控制部126判定所抽取的显示深度信息所示出的显示深度与从图像显示组件108的位置到规定的深度之间的距离是否大于阈值(步骤S2102)。即，驱动控制部126对显示对象与图像显示组件108之间的距离是否脱离规定距离进行判定。在驱动控制部126判定为显示深度与图像显示组件108之间的距离大于规定的阈值的情况下(步骤S2102的“是”)，移动至步骤S2103，在判定为小于规定的阈值的情况下(步骤S2102的“否”)，移动至步骤S2104。

驱动控制部126利用抽取的显示深度信息，确认显示对象映在用户的眼部的显示深度。而且，在接近确认的显示深度的方向生成用于移动显示器，即图像显示组件108的控制信号，并向驱动部125传输。基于传输至驱动部125的控制信号，来驱动马达704，并移动图像显示组件108(步骤S2103)。驱动部125向显示部121传输图像显示组件108的移动信息。

当显示部121从驱动部125接收移动图像显示组件108的主旨时，将对应的影像显示在图像显示组件108(步骤S2104)

通过重复图21所示的处理，每次都能够与显示图像显示组件108的对象的显示深度相对应地移动。即，可减少对象的显示深度与图像显示组件108的位置的差。因此，由于借助用户300的眼球运动来抑制产生焦点调整，从而可抑制对用户300赋予的疲劳感。

驱动例2

图22为示出实施方式的头戴式显示器100的工作的细节的流程图。在这里对驱动控制部126被传输作为动态图像的影像数据的步骤，进行说明。

驱动控制部126从影像数据抽取显示在影像数据中的第一时间的显示对象的显示深度信息(以下，第一显示深度信息)(步骤S2201)。

之后，驱动控制部126从影像数据抽取显示在影像数据中的紧接着第一时间的第二时间的显示对象的显示深度信息(以下，第二显示深度信息)(步骤S2202)。并且，其中，第二时间不必紧接着第一时间(一帧之后)，也可以是规定时间(例如，一秒)之后。

驱动控制部126判定第二显示深度信息所示出的第二显示深度是否大于(深于)在第一显示深度信息示所出的第一显示深度(步骤S2203)。对于用户而言，这与判定在第二时间显示的对象与在第一时间显示的情况相比是事看起来显示在里侧的情况具有相同的含义。

在第二显示深度大于第一显示深度的情况下(步骤S2203的“是”)，驱动控制部126向驱动部125传输控制信号，使得图像显示组件108，即显示器从用户的眼部远离的方向进行移动。驱动部125根据该控制信号，使图像显示组件108从用户的眼部远离的方向进行移动(步骤S2204)。

在第二显示深度小于第一显示深度的情况下(步骤S2203的“否”)，驱动控制部126向驱动部125传输控制信号，使得图像显示组件108，即，显示器接近用户的眼部的方向进行移动。驱动部125根据该控制信号，使接近用户的眼部图像显示组件朝接近的方向进行移动(步骤S2206)。

当移动图像显示组件108时，驱动部125向显示部121传输移动图像显示组件108的主旨。而且，显示部121在图像显示组件108显示第二时间应当显示的影像(步骤S2205)。

头戴式显示器100重复图22所示出的处理，直至从视线检测装置200的影像输出部222输出的影像数据全部显示完毕(或被用户中断再生影像)为止。

由此，当连续显示图像的动态图像等的情况的对象的显示深度与图像显示组件108之间的距离有所变动时，容易产生用户300的焦点调整功能，且借助图22所示的处理，来可抑制其的产生频度。

总结

如上所述，在本发明的视线检测系统1中，根据显示的立体影像的对象的显示深度，可移动图像显示组件108，即显示器。具体地，可使图像显示组件108的位置与立体影像的显示深度接近。图像显示组件108的位置与立体影像的显示深度的距离越大，越容易产生眼球的焦点调整，但通过包括本实施方式的结构，头戴式显示器100可抑制眼球的焦点调整运动的产生频度。因此，基于对象的虚拟显示位置与显示器的实际位置的区别，可或多或少地减轻眼球功能的焦点调整的产生，从而可抑制用户的眼球的疲劳。

并且，若将本发明的视线检测系统1装载在头戴式显示器100来使用，容易移动显示器的同时，可实现视线的检测。因此，可实现如下的视线检测的两种效果，能够以尽量不对用户赋予疲劳感的方式提供立体影像，并且，在其立体影像中，可实现能够确认用户所看到的部分。

并且，在本第五实施方式中，运行图像显示组件108的结构并不局限于上述图20所示的结构。只要是朝向图20的(a)部分的箭头710所示出的方向，形成能够移动图像显示组件108的结构，也可使用其他的结构。例如，也可借助蜗轮等来实现相同的结构。并且，在上述实施方式中，图20所示的结构为在头戴式显示器100的左右(用户所装戴的状态中的左右，图像显示组件108的长度方向上的左右)设置的结构，只要是在左右无违和感地对图像显示组件108进行移动的结构，也可使用仅一侧的结构。

在本第五实施方式中，图像显示组件108为一个，但不局限与此。也可在头戴式显示器100设置与用户300的左眼相对的图像显示组件和与用户300的右眼相对的图像显示组件等的2个图像显示组件，分别对其进行驱动。由此，可进行对于用户300的左右眼的视力的焦点调整等的微妙的控制。

在本第五实施方式中，为检测用户300的视线，作为对用户300的眼部进行拍摄的方法，对反射在热反射镜112影像进行拍摄，但这也可以是不通过热反射镜112直接对用户300的眼部进行拍摄。

补充2

本第五实施方式的视线检测系统，作为立体影像显示系统，也可由以下的方式表示。

(1)本第五实施方式的立体影像显示系统包括：显示器，用于显示要提供给用户的立体影像；驱动部，使上述显示器移动，以使与上述用户的眼部的相对距离发生变化；控制部，根据显示在上述显示器的立体影像的深度，来控制上述驱动部。

并且，本第五实施方式的控制方法为用于减轻立体视的用户的疲劳的立体影像显示系统的控制方法，包括：显示步骤，在显示器显示要提供给用户的立体影像；以及控制步骤，根据显示在上述显示器的立体影像的深度，来移动上述显示器，以使与上述用户的眼部的相对距离发生变化。

本第五实施方式的控制程序能够使立体影像显示系统的计算机实现如下功能：显示功能，在显示器显示要提供给用户的立体影像；以及控制功能，根据显示在上述显示器的立体影像的深度，控制用于移动上述显示器的驱动部，以使与上述用户的眼部的相对距离发生变化。

(m)在上述(1)的立体影像显示系统中，上述控制部的特征可朝向使上述显示器接近上述立体影像的显示深度的方向控制上述驱动部。

(n)在有关上述(1)或(m)的立体影像显示系统中，上述控制部的特征也可以是，在紧接着第一时间的第二时间显示的立体影像的深度浅于在上述第一时间显示的立体影像的深度的情况下，按照使上述显示器向接近上述用户的眼部的方向，来控制上述驱动部。

(o)在上述(1)～(n)中任一项所述的立体影像显示系统中，上述控制部在紧接着第一时间的第二时间显示的立体影像的深度深于在上述第一时间显示的立体影像的深度的情况下，按照使上述显示器向远离上述用户的眼部的方向，来控制上述驱动部。

(p)在上述(1)～(o)中任一项所述的立体影像显示系统中，上述立体影像显示系统装载于被装戴在用户的头部而使用的头戴式显示器，上述头戴式显示器还可包括：不可见光发射部，用于向用户的眼部发射不可见光；拍摄部，用于对包括借助上述不可见光发射部来发射的不可见光的用户的眼部进行拍摄；输出部，将借助上述拍摄部拍摄的图像，对实施视线检测的视线检测装置进行输出。

补充3

本发明的视线检测系统并不局限于上述实施方式，也可通过用于实现本发明的思想的其他方法来实现。

在上述实施方式中，显示标记图表(亮点)的位置为一例，为了实施用户的视线检测，而显示在不同的位置上，获取凝视各个位置的用户的眼部的图像，只要能够特定此时用户的眼部的中心，不局限于在上述实施方案中示出的显示位置。并且，显示此时的标记图像的数量也并不局限于9个，为确认上述行列x的4个要素，只要能够使4个式成立即可，因而只要能够确认对于至少4点的标记图像的用户的眼角膜中心即可。

在上述实施方式中，为检测用户300的视线，作为对用户300的眼部进行拍摄的方法，对被热反射镜112反射的影像进行了拍摄，但这也可以是不通过热反射镜112而直接对用户300的眼部进行拍摄。

在上述实施方式中，标记图像输出部223根据从视线检测装置200的操作者的输入指示，来变更标记图像的显示位置，但标记图像输出部223可以自动变更标记图像的显示位置。例如，每次经过规定时间(例如，3秒)时，标记图像输出部223均可变更标记图像的显示位置。

更优选地，视线检测系统1通过分析从头戴式显示器100得到的拍摄图像，来判定用户是否凝视标记图像，若判定为用户正在凝视标记图像，则可变更标记图像的显示位置。

即，储存部227预先储存用户正在凝视图像显示组件108的中央的状态的图像(对用户正在凝视9个标记图像中的中央的标记图像的状态进行拍摄)。而且，通过判定部224对被储存的该图像与拍摄图像的眼角膜(虹膜)的中心位置进行比较，来根据是否从存储有拍摄图像的用户的眼角膜中心的图像的用户的眼角膜中心朝向标记图像的显示方向隔开规定距离(例如，在图像显示组件108的像素坐标单位系统上的30像素)以上，来判定用户是否正在凝视标记图像。而且，判定结果，判定为用户正在凝视标记图像的情况下，判定部224对标记图像输出部223发出变更标记图像的显示位置的指示，标记图像输出部223根据该指示来变更标记图像的显示位置。

在判定为用户没有凝视标记图像的情况下，标记图像输出部223可以强调显示(例如，在其显示位置上闪烁，或借助箭头灯的图表来指示标记图像，或显示“请看标记”等内容的句子)标记图像的方式进行通知，以将用户被引导至关注标记图像。与语音导航相比，该通知也可由从头戴式显示器100的头戴式耳机170进行“请看标记”等的通告来实现。为此，储存部227储存该语音数据，当判定为用户没有凝视标记图像时，标记图像输出部223向头戴式显示器100发送上述语音数据，头戴式显示器100对接收的语音数据从头戴式耳机170进行输出。并且，在判定部224判定出成功取得用于校准的拍摄图像的情况下，提示用户没有问题(提示成功校准)，头戴式显示器100还可以对标记图像显示如“〇”或“OK”等的图像。

像这样由于视线检测系统1包括如下的结构，即，判定装戴了头戴式显示器100的用户是否凝视标记图像，因而可以实现校准的自动化。因此，与装戴头戴式显示器100的用户无关地，现有的校准需要操作者，但本发明则可不需要操作者，也能够进行校准。

并且，当头戴式显示器100显示三维图像时，图像显示组件108可具有能够变更(移动)与用户的眼部之间的距离的结构。若从用户的眼部到显示的三维图像的虚拟距离(深度)与实际的用户的眼部与图像显示组件108之间的距离隔开，则会成为导致用户的眼部疲劳的一个原因，由于该结构，头戴式显示器100可减轻用户的眼部的疲劳。

并且，在视线检测系统1中，在进行校准时，也可确认用户的有效视野。用户的有效视野是指，在用户观看某一点的状态下，从那里朝端部方向，用户能够明确识别图像的范围。在视线检测系统1中，在进行校准时，也可以从画面的中心以圆形显示标记图像，从而确认有效视野。并且，在用户观看某一点的状态下，以闪烁的方式显示以那一点为中心的多个同心圆，可通过确认成为看起来同时消失的时刻的周期，来确认用户的有效视野。若能够确认每个用户的有效视野，则在有效视野外的图像中，即使降低画质，用户也难以识别，因而可抑制从视线检测装置200传输至头戴式显示器100的图像的数据传输量。

并且，在上述实施方式中，作为视线检测的校准方法，通过视线检测装置200的处理器实施视线检测程序等，来确认用户正在凝视的地方，但这也可以由视线检测装置200借助形成于集成电路(IC；Integrated Circuit)芯片、大规模集成电路(LSI，Large ScaleIntegration)等的逻辑电路(hardware)或专用电路来实现。并且，这些电路可由一个或多个集成电路实现，也可由一个集成电路实现上述实施方式中示出的多个功能部的功能。LSI根据集成度的不同而可分别称为VLSI、超级LSI、特级LSI等。即，如图10所示，头戴式显示器100可包括第一通信电路118a、第一显示电路121a、红外线发射电路122a、图像处理电路123a以及拍摄电路124a，各个功能与在上述实施方式中示出的名称相同的各个部分相同。并且，视线检测装置200可包括第二通信电路220a、视线检测电路221a、影像输出电路222a、标记图像输出电路223a、判定电路224a、合成图像输出电路225a、第二显示电路226a、以及储存电路227a，各个功能与在上述实施方式中示出的名称相同的各个部分相同。并且，图10中示出第一实施方式的借助电路来实现视线检测系统的例，虽然没有进行图示，图11和图19中示出的视线检测系统也同样可借助电路来实现。

并且，上述视线检测程序可储存在处理器可读取的储存介质，作为储存介质可使用“非暂时性的有形的介质”，例如磁带、磁盘、半导体存储器、可程序化的逻辑电路等。并且，上述检测程序可经由能够传输上述检测程序的任意的传输介质(通信网络或广播波等)向上述处理器供给。本发明中，上述影像显示程序还可由电子格式的传送所具体执行的嵌埋于载波之中的数据信号的格式加以实现。

并且，上述视线检测系统可使用例如ActionScript语言、JavaScript(注册商标)等脚本语言、Objective-C、Java(注册商标)等编译语言、HTML5等的标记语言等来进行安装。

并且，本发明的视线检测方法借助被用户装戴而使用的头戴式显示器及检测上述用户的视线的视线检测装置来进行视线检测，其特征在于，上述视线检测装置向上述头戴式显示器输出标记图像；上述头戴式显示器显示上述标记图像，对凝视上述标记图像的用户的眼部进行拍摄，将包括被拍摄的用户的眼部的图像输出给上述视线检测装置；上述视线检测装置通过将上述标记图像及包括正在凝视上述标记图像的用户的眼部进行拍摄得到的图像重叠而生成合成图像，并将生成的合成图像进行输出。

并且，本发明的视线检测程序可以使计算机实现如下功能：标记图像输出功能，输出要显示于头戴式显示器的标记图像；取得功能，取得对凝视显示在上述头戴式显示器的标记图像的用户的眼部进行拍摄而得到的拍摄图像；生成功能，将上述标记图像及上述拍摄图像重叠而生成合成图像；以及合成图像输出功能，用于输出上述合成图像。

产业上的可利用性

本发明可适用于头戴式显示器。

Claims (6)

1.一种视线检测系统，包括被用户装戴而使用的头戴式显示器及检测上述用户的视线的视线检测装置，其特征在于，

上述头戴式显示器包括：

显示部，用于显示图像；

拍摄部，用于拍摄上述用户的眼部；以及

图像输出部，将上述拍摄部拍摄的包括上述用户的眼部的图像向上述视线检测装置输出，

上述视线检测装置包括：

标记图像输出部，输出要显示于上述显示部的标记图像；

合成图像生成部，将上述标记图像输出部所输出的标记图像及上述拍摄部所拍摄的包括凝视着上述标记图像的用户的眼部的图像重叠而生成合成图像；以及

合成图像输出部，输出上述合成图像。

2.根据权利要求1所述的视线检测系统，其特征在于，

上述标记图像输出部依次变更上述标记图像的显示位置并进行输出，

至少在每次变更上述显示位置时，上述拍摄部对凝视标记图像的用户的眼部进行拍摄。

3.根据权利要求2所述的视线检测系统，其特征在于，

上述标记图像输出部将上述标记图像的显示位置变更为在上述标记图像预先设定的多个坐标位置中的任一个位置并进行输出，

上述视线检测装置还包括视线检测部，上述视线检测部分别基于上述拍摄部所拍摄的用户的眼部的图像和包括对应每个上述显示位置地凝视标记图像的用户的眼部的各个图像，来检测用户的视线方向。

4.根据权利要求3所述的视线检测系统，其特征在于，

上述视线检测系统还包括判定部，上述判定部用于判定包括凝视上述标记图像的用户的眼部的图像是否能够用作基于上述视线检测部的视线检测用的图像，

当上述判定部判定为无法用作视线检测用的图像时，上述标记图像输出部将拍摄与该判定相对应的图像时显示的标记图像的显示位置变更为靠近上述显示部的中央位置来进行显示，

上述拍摄部对凝视经变更的显示位置的标记图像的用户的眼部进行拍摄，

上述判定部判定重新拍摄的对比图像是否能够用作视线检测用的图像。

5.根据权利要求4所述的视线检测系统，其特征在于，

上述判定部还基于上述拍摄部所拍摄的用户的眼部的图像，来判定该用户是否凝视着显示的标记图像，

上述视线检测系统还包括报告部，当判定为用户未凝视着标记图像时，上述报告部向用户报告凝视标记图像。

6.根据权利要求5所述的视线检测系统，其特征在于，当上述判定部判定为上述用户凝视着显示的标记图像时，上述标记图像输出部对标记图像的显示位置进行变更。