CN108475492B - 头戴式显示器协作显示系统、包括显示装置和头戴式显示器的系统及其显示装置 - Google Patents

Abstract

本发明的目的在于，即使在佩戴者发生了移动或视线从主显示装置离开的情况下，也能够将显示在主显示装置上的一次信息的二次信息适当地显示在头戴式显示器上。为了实现上述目的，根据从头戴式显示器获取的摄像图像和头戴式显示器的佩戴者对拍摄图像的注视点，计算佩戴者对一次信息的注视点的位置信息，选择与该位置信息关联的二次信息进行显示，并且，根据佩戴者看着一次信息的情况和没有在看一次信息的情况，改变显示二次信息的显示方法。

Description

头戴式显示器协作显示系统、包括显示装置和头戴式显示器 的系统及其显示装置

技术领域

本发明涉及使用了头戴式显示器的显示系统和显示装置。

背景技术

当前提出了一种技术，针对显示在主显示装置上的第一信息(以下称为“一次信息”)，将与其关联的第二信息(以下称为二次信息)显示在头部佩戴式显示装置(头戴式显示器，Head Mounted Display，以下称为HMD)上。

作为本技术领域的背景技术，有日本特开2001-215920号公报(专利文献1)。专利文献1说明的技术是，在HMD的佩戴者观看显示在主显示装置的屏幕上的一次信息时，根据由HMD检测出的佩戴者的头部的方向和视线的方向，在HMD上显示与位于该方向上的一次信息关联的二次信息。利用该技术，能够减少要在主显示装置上显示的信息(一次信息)，避免装置的大型化，并且佩戴者只要移动头部或视线就能够确认必要的信息(二次信息)，能够提高装置的操作便利性。

另外，背景技术还有日本特开2010-237522号公报(专利文献2)。专利文献2说明的技术是，在HMD的佩戴者观看投影在大型屏幕上的一次信息时，根据佩戴者的座位与屏幕的位置关系，在与一次信息相邻的适当的位置上显示二次信息。利用该技术能够实现这样的效果，即，在看电影(一次信息)等情况下，以仅HMD的佩戴者能够看到的方式显示其母语的字幕(二次信息)。

现有技术文献

专利文献

专利文献1：日本特开2001-215920号公报

专利文献2：日本特开2010-237522号公报

发明内容

发明要解决的技术问题

专利文献1记载了，显示由HMD检测出的佩戴者的注视点处的信息的二次信息。不过，HMD检测的注视点表示的是佩戴者的视野中的位置。即，因为该视野除了主显示装置显示的一次信息外还包括周围的风景，并且佩戴者并不一定位于主显示装置的正面，所以根据佩戴者站立位置的不同，一次信息为不同的形状。因此，为了知道佩戴者注视着一次信息内部的哪个位置，必须要通过某种方法将HMD检测出的注视点变换为一次信息内的坐标，但是专利文献1对于这样的方法没有任何记载。

在专利文献2中，基于佩戴者的座位与屏幕的位置关系进行坐标变换，来计算HMD上的二次信息的显示位置，但是其不能应对佩戴者离开座位并从其他位置观看一次信息的情况。

另外，由于专利文献1和2均是仅在观看一次信息的期间中显示二次信息，因此当佩戴者的视线从一次信息离开时，将无法观看二次信息。

本发明鉴于上述问题而完成，其公开了一种技术，即使在HMD的佩戴者发生了移动或视线从主显示装置离开的情况下，也能够将显示在主显示装置上的一次信息的二次信息适当地显示在HMD上。

解决问题的技术手段

为了解决上述问题，本发明之一例为一种包括显示装置和头戴式显示器的系统，其构成为，显示装置包括：能够显示图像的第一显示部或能够投影图像的投影部，和能够与头戴式显示器通信的第一通信部，头戴式显示器包括：显示头戴式显示器的佩戴者能够观赏的图像的第二显示部，检测头戴式显示器的佩戴者的视线方向的视线检测部，和能够与显示装置通信的第二通信部，显示装置和头戴式显示器的任一者具有注视点检测部，其基于经第一通信部和第二通信部收发的信息，检测头戴式显示器的佩戴者的视线在显示装置的第一显示部所显示的图像或投影部所投影的图像上的注视点的位置，注视点检测部在注视点位于图像上时，计算与注视点的位置对应的图像内的位置信息，头戴式显示器通过与显示装置的通信或其他通信，获取与图像中显示在计算出的位置上的对象数据关联的关联数据，将其显示在第二显示部上。

发明效果

采用本发明具有这样的效果，即，无论HMD的佩戴者的位置和视线的方向如何，都能够选择适当的二次信息进行显示，能够提高HMD的佩戴者的行动自由度，能够以更自然的状态观看二次信息。

附图说明

图1是说明实施例1的HMD协作型显示系统的动作概要的图。

图2是实施例1的HMD协作型显示系统的整体结构图。

图3是实施例1的一次信息数据库的结构图。

图4是实施例1的二次信息数据库的结构图。

图5是说明实施例1的一次信息的选择操作的图。

图6是实施例1的一次信息选择处理的流程图。

图7是说明实施例1的摄像图像和摄像图像内注视点的图。

图8是实施例1的基于注视点的二次信息选择处理的流程图。

图9是实施例1的一次信息内注视点的计算处理的流程图。

图10是说明实施例1的投影变换之概要的图。

图11是另一说明实施例1的投影变换之概要的图。

图12是实施例1的二次信息清除处理的流程图。

图13是说明实施例1的按照声音选择二次信息的动作概要的图。

图14是实施例1的基于声音的二次信息选择处理的流程图。

图15是说明实施例2的HMD协作型显示系统的动作概要的图。

图16是表示实施例2的HMD协作型显示系统的整体概况的图。

图17是实施例2的HMD协作型显示系统的整体结构图。

图18是说明实施例2的二次信息数据库之结构的图。

图19是说明实施例2的摄像图像和摄像图像内注视点的图。

图20是实施例2的基于注视点的二次信息选择处理的流程图。

具体实施方式

以下，使用附图说明本发明的实施例。

实施例1

本实施例要说明的例子是，在教学场景下，将与投影仪投影到屏幕上的教学用内容(一次信息)关联的补充信息(二次信息)显示在教师佩戴的HMD上。采用本实施例，教师能够一边以自然的状态对学生进行授课，一边察看(观看)与教学用内容关联的补充信息。

图1是说明本实施例的HMD协作型显示系统的动作概要的图。在图1中，投影装置100将教学用内容(例如世界地图)投影到屏幕930上。教师910一边透过HMD300或看着投影的内容或看着学生920，一边进行授课。这时，教师910透过HMD300看到的景象起初如画面351所示仅仅是教学用内容(世界地图)和用于对内容的显示进行操作的按钮(例如“上一个”“下一个”)。接着，当教师910注视世界地图上的格陵兰附近时，如画面352所示，显示补充信息(例如国名、首都(主要城市)、通用语言)。接着，当教师910看向学生920的方向时，如画面353所示，将用于对内容的显示进行操作的按钮清除，但即使没有在看世界地图也继续显示补充信息。之后，在经过一定时间后，如画面354所示，将补充信息也清除。通过这样的动作，能够进行授课不会做出不自然的动作——例如为了获得补充信息而逐个重新看向教学用内容的方向并注视相应位置这样的动作。

图2是本实施例的HMD协作型显示系统的整体结构图。在图2中，本系统包括投影装置100、显示装置200和HMD300。投影装置100和显示装置200以及显示装置200和HMD300通过通信而连接。

投影装置100包括用于输入要显示的一次信息的信号输入部110、对显示进行控制的控制部120和将一次信息投影到屏幕上的显示部130。

显示装置200包括记录部210、控制部220、信号输出部230、通信部240、注视点计算部250、声音识别部260、操作部270和显示部280，其中记录部210保存一次信息数据库510和二次信息数据库520，控制部220进行一次信息或二次信息的输出等各种处理，信号输出部230对投影装置100输出一次信息，通信部240与HMD300进行通信，注视点计算部250构成基于从HMD300取得的信息检测一次信息内的注视点位置的注视点检测部，用于计算注视点的位置信息的坐标，声音识别部260识别HMD佩戴者等的声音，操作部270用于进行显示装置200的操作。其中，注视点计算部250和声音识别部260可以由专用的硬件实现，也可以由控制部220执行的软件实现。另外，注视点计算部250也可以设置在HMD300。

HMD300包括摄像部310、摄像图像内注视点检测部320、声音获取部330、控制部340、通信部350和显示部360，其中摄像部310拍摄佩戴者正在看的方向的风景，摄像图像内注视点检测部320用于检测注视点，并构成对拍摄的摄像图像内的佩戴者的视线方向进行检测的视线检测部，声音获取部330获取HMD佩戴者等的声音，控制部340进行将取得的摄像图像540、摄像图像内注视点550和声音数据560发送到显示装置200等各种控制处理，通信部350与显示装置200进行通信，显示部360将从显示装置取得的二次信息570显示为佩戴者能够观看或者观赏的图像。

此外，在本实施例中，投影装置100对应于投影仪，显示装置200对应于与投影仪连接的PC(Personal Computer，个人电脑)，但本发明并不限于使用投影仪的情形，也能够应用于投影装置100为通常的显示器装置的情况，或使用由投影装置100和显示装置200一体化而构成的专用的装置的情况。另外，HMD300可以分体为戴在头部主要进行显示的装置，和佩戴在腰部等主要进行HMD的控制的装置。

图3是表示本实施例的一次信息数据库510的结构图。图3中，一次信息数据库510包括一次信息标识符511、一次信息的名称512、保存一次信息的文件名称513和表示一次信息是否正在显示的显示中标志514。此外，关于显示中标志514，“1”表示显示中，“0”表示非显示的情况，以此来进行以下的说明。

图4的上图表示本实施例中的二次信息数据库520的结构图。图4的上图中，二次信息数据库520包括用于标识相关联的一次信息的一次信息标识符521，用于根据HMD佩戴者的注视点选择二次信息的注视点范围522，用于根据声音选择二次信息的关键词523，二次信息524，和二次信息的属性525。此外，如图4下方给出的地图所示，本实施例中，一次信息的坐标系将左上角定义为(0，0)，右下角定义为(1920，1080)，图4上图的二次信息数据库第一行的注视点范围(1680，70)～(1880，250)意味着表示格陵兰附近的坐标，第二行的注视点范围(700，720)～(1000，870)意味着表示澳大利亚附近的坐标。二次信息数据库第三行和第四行的注视点范围(0，0)～(1920，1080)意味着，只要注视点位于一次信息的范围内，就始终显示二次信息(例如“上一个”按钮和“下一个”按钮)。

以上是本实施例的HMD协作型显示系统的结构。以下按照本系统的动作流程说明本实施例。

图5是说明本实施例的显示在显示装置的显示部280上、要投影到屏幕930上的教学用内容(一次信息)的选择操作的图。在图5中，画面281是教学用内容的选择画面，显示了多个图标，其中包括用于显示世界地图的图标282。这里，当选择了图标282时，如图5下方所示，显示世界地图283。在世界地图283中，四角显示有由斜线表示的标记284。这是用于确定一次信息的显示区域的标识信息，在后文中详细说明。

图6是表示本实施例的选择一次信息时的控制部220的处理流程图。图6中，控制部220从一次信息数据库510读取一次信息的一览，显示由表征各内容的图标构成的选择画面281(步骤S2201)。接着，在步骤S2202中等待直至用户选择内容。然后，读取与用户选中的一次信息对应的文件513，经由信号输出部230和投影装置100将其投影到屏幕930上(步骤S2203)。最后，将选中的一次信息的显示中标志514设置为1，结束处理(步骤S2204)。

图7是表示教师910透过HMD300观看屏幕930时，HMD300的摄像部310和摄像图像内注视点检测部320获取的摄像图像540和摄像图像内注视点550，其中，屏幕930在图6的步骤S2203中被投影了教学用内容。图中表示的状态下，教师910面向屏幕930从稍靠右侧的位置观看一次信息，并注视着格陵兰附近。

图8是在本实施例中，在从HMD300接收到图7所示的摄像图像540和摄像图像内注视点550时，在显示装置200的控制部220中执行的选择二次信息的处理流程。图8中，控制部220首先参照一次信息数据库510，判断是否存在显示中标志被设置为1的一次信息(步骤S2211)。其中，通过图5所示的操作，一次信息数据库510第一行(世界地图)的显示中标志被设置为1。接着，判断摄像图像内注视点550在一定时间是否相同，即判断教师910的注视点是否停留在某特定的部位(步骤S2212)。该判断例如通过这样的处理实现，即，判断当前接收与上次接收的摄像图像内注视点的距离差小于规定阈值的状态是否持续了一定时间。接着，使用注视点计算部250计算一次信息内注视点(步骤S2213)。该处理的详细内容后述。

接着，判断一次信息内注视点的计算是否已经成功(步骤S2214)。在一次信息内注视点的计算已成功的情况下，即教师910的注视点位于一次信息的方向(即，屏幕930的方向)的情况下，存储步骤S2213中计算出的一次信息内注视点(步骤S2215)。接着，参照二次信息数据库520显示与正在显示的一次信息相关的二次信息之中的下述二次信息(步骤S2216)，其中，步骤S2213所存储的一次信息内注视点位于二次信息数据库520的该要显示的二次信息的注视点范围522的范围内。另一方面，在步骤S2214中，在一次信息内注视点的计算失败的情况下，即，在教师注视着一次信息的标记范围外时，对于与步骤S2215中存储的一次信息内注视点对应的二次信息(即，当前正显示的二次信息)，根据二次信息的属性525设置清除计时(步骤S2217)。清除计时指的是多长时间后将HMD300上显示的二次信息清除，例如设置为，当二次信息的属性525为文本时，在60秒之后清除，当二次信息的属性525为按钮时，在0秒后(即立即)清除。由此成为这样的动作，即，在教师910看向学生920的方向的情况下，按钮立即被清除，而文本则继续显示一定时间。此外，在该二次信息选择流程的最开始，一次信息内注视点的计算失败的情况下，由于不存在已存储的一次信息内注视点，所以不设置清除计时。像这样，根据判断为佩戴者的注视点的位置信息处于一次信息内的情况和判断为没有处于一次信息内的情况，改变显示方法——是继续显示二次信息或是立即清除。换言之，也可以改变显示布局或者显示菜单。

图9是表示上述步骤S2213中执行的使用注视点计算部250计算一次信息内注视点的处理的流程图。注视点计算部250首先检测标注在一次信息的四角的标记284(步骤S2501)。接着，判断是否已检测出了标记(步骤S2502)。在没有检测出标记时，认为计算失败，结束处理，在检测出标记时，通过后述的投影变换计算一次信息内的注视点的坐标(步骤S2503)，结束处理。

图10是说明上述步骤S2503中执行的投影变换之概要的图。通过以下说明的计算，能够将摄像图像中的坐标系251下的注视点的坐标变换为一次信息内的坐标系252下的坐标。

在图10中，摄像图像中的坐标系251是左上角为(0，0)、右下角为(100，100)的平面。另一方面，一次信息内的坐标系252是左上角为(0，0)、右下角为(1920，1080)的平面。在此，将根据步骤S2501中检测出的4角的标记而确定的摄像图像内的一次信息的区域253，变换为一次信息内的坐标系下的区域。该变换有各种各样的计算公式，在本实施例中，使用通常的投影变换公式254。在此，(x，y)为变换前(摄像图像中的坐标系251)的坐标，(u，v)为变换后(一次信息内的坐标系252)的坐标。投影变换公式254的未知数有8个(a1、b1、c1、a2、b2、c2、a0、b0)。从而，通过将2个坐标系下对应的已知坐标的4个点代入该公式得到8个等式，能够导出未知数。坐标的对应表255表示图9的步骤S2501中检测出的4个标记的坐标(x，y)与变换后的坐标(u，v)的对应。左上角的坐标(10，20)对应于(0，0)，右上角的坐标(70，18)对应于(1920，0)，左下角的坐标(12，80)对应于(0，1080)，右下角的坐标(65，82)对应于(1920，1080)。将这些值代入投影变换公式254，能够得到8个等式构成的方程组，求解该方程组能够得到未知数的计算结果256。注视点的坐标变换结果257表示，使用未知数的计算结果256利用投影变换公式254进行计算，结果从(60，28)变换成(1635，148)(这里计算结果四舍五入为整数)。通过以上的计算，摄像图像中的坐标系下的注视点被变换为一次信息内的坐标系下的坐标。

此外，在本实施例中，如图5、图7中记载的例子那样，设想了在一次信息的四角显示斜线图样的标记，对其进行图像识别来检测一次信息的区域之情况，但作为这样的标记，也能够利用其他各种技术。例如，可以使用斜线以外的图样，也可以根本不显示标记而是采用在屏幕930一侧嵌入区域检测用的物理性器件的方式。另外，也可以使用人眼不可见的图样——使用了红外线摄像机等的不可见的标记。

另外，图10记载了使用一次信息的区域的四角之坐标进行投影变换的例子，但投影变换的方式不限于此。例如，图11是投影变换的另一方法的概念图。在HMD佩戴者观看一次信息时，若其站立在靠近屏幕930的位置，则如图11所示的摄像图像541那样，存在四角的标记不在摄像图像内的情况。在这样的情况下，在摄像图像中的坐标系258与一次信息内的坐标系259之间，不使用一次信息的区域的四角之坐标的对应，而是基于一个标记的四角之坐标求取投影变换公式254的未知数，能够进行注视点的坐标变换。除此之外，不使用预先设定的4点的坐标，而是对摄像图像与一次信息这两者进行图像识别，动态地提取4个特征性的点(特征点)，基于该4个点能够导出投影变换的未知数。这样的方法例如在从各个角度识别人脸时的处理等中被广泛使用。

最后，图12是表示将二次信息清除的处理的流程图，其中，在图8的步骤S2217中设置的清除计时到达规定的时刻时，该处理启动。在图12中，当清除计时到达规定的时刻时，控制部220将HMD上显示的二次信息清除(步骤S2221)。如上所述，根据二次信息的属性改变清除计时的值，从而能够实现这样的动作，即，当视线从屏幕930离开而看向学生920时，按钮立即被清除但文本(补充信息)则继续显示。

通过以上说明的内容，能够实现图1所示的动作。即，教师910透过HMD300看向屏幕930的方向时，其景象起初是图1的画面351。接着，当注视世界地图上的格陵兰附近时，由于图8的步骤S2216为止的处理，成为图1的画面352。接着当看向学生920的方向时，成为图1的画面353并继续显示文本(补充信息)，直至经过了图8的步骤S2217中设置的清除计时的时间。最后，当经过了对文本设定的清除计时的时间后，成为图1的画面354。

此外，除了在图8的步骤S2217中设置清除计时之外，还可以进一步根据二次信息的属性525改变HMD上显示的二次信息的透射率。例如可以是，当教师910看向屏幕930的方向时，如图1的画面352所示，使补充信息的透射率为0％，即以非透射的方式进行显示，而在教师910看向学生920的方向时，如图1的画面353所示，使补充信息的透射率为50％，即以半透明的方式进行显示。通过像这样显示补充信息，能够避免无法看到学生920的状况。

接着，作为本实施例的其他的动作，说明在未在观看一次信息时通过声音来显示二次信息的动作的例子。

图13是说明本实施例中通过声音进行二次信息的显示的动作之概要的图。图13表示的是这样的状况，其中，在目前为止说明的动作之后，接着，教师910看向学生920的方向，学生920提问“大概居住着多少人”，教师910回答“人口是……”。这时，教师910透过HMD300看到的景象起初如画面355所示，仅能够看到学生，接着当说出“人口是……”时，如画面356所示显示补充信息(例如国名、人口、人口密度)。此外，也可以响应来自学生的声音而显示补充信息。另外，这时也可以采集所说的话而显示关键词，通过注视该关键词来显示补充信息。

图14是本实施例的对二次信息进行选择的处理的流程图，其中，在通过HMD300的声音获取部获取该教师910说的话，并且显示装置200的控制部220接收到其声音数据560时，执行该处理。在图14中，与图8同样，控制部220首先参照一次信息数据库510，判断是否存在显示中标志被设置为1的一次信息(步骤S2311)。接着，对接收到的声音数据560执行声音识别处理(步骤S2313)。其中，该声音识别处理并不限定于在显示装置200内部执行，也可以经互联网等与进行声音识别的服务器通信来执行该处理。另外，关于声音识别处理的触发，可以按规定的周期始终进行处理，或者当规定的按钮被按下时进行处理。接着，判断由声音识别处理进行的声音数据560到文本的转换处理是否已成功(步骤S2314)。该判断可以简单地根据声音识别可否执行来判断，也可以根据通常的声音识别技术输出的转换结果的可靠性来判断。另外，也可以一并使用声纹分析等技术来识别说话人，从而忽略学生920说的话而仅在检测到教师910说话时判断为成功。接着，当声音到文本的转换成功时，参照二次信息数据库520显示与当前正在显示的一次信息相关的二次信息中的下述二次信息，其中，图8的步骤S2215所存储的一次信息内注视点位于二次信息数据库内的该要显示的二次信息的注视点范围522的范围内，并且转换后的文本中包含二次信息数据库520的该要显示的二次信息的关键词523所示的语言(步骤S2315)。在图4所示的二次信息数据库的例子中，示出了关键词设定为“人口”的第五行的二次信息。

另外，这里例示了在说话内容包含特定的关键词时立即显示二次信息的例子，但也可以不在识别出声音后立即显示，而是在按钮上显示识别出的关键词并将按钮显示在HMD上，通过选择该按钮来显示二次信息。另外也可以是，即使说话内容与关键词不完全一致，通过判断字符串的相似度，在说话内容与关键词相似时显示二次信息。

通过以上的处理，能够实现图13所示的动作。即，教师910透过HMD300看向学生920的方向时，其景象起初为图1的画面355。接着，当教师910说出“人口是……”时，由于图14的步骤S2315为止的处理，成为图1的画面356。

以上，本实施例根据从HMD获取的摄像图像和HMD的佩戴者对摄像图像的注视点，计算佩戴者对一次信息的注视点的位置信息，选择与该位置信息关联的二次信息进行显示，并且，按照HMD的佩戴者看着一次信息的情况和没有在看一次信息的情况，改变HMD上显示的二次信息的显示方法。由此，教师能够以自然的状态对学生授课，同时能够得到投影在屏幕上的教学用内容的补充信息。

换言之，本实施例是一种包括显示装置和头戴式显示器的系统，其构成为，显示装置包括能够显示图像的第一显示部或者能够投影图像的投影部，和能够与头戴式显示器通信的第一通信部，头戴式显示器包括显示头戴式显示器的佩戴者能够观赏的图像的第二显示部，检测头戴式显示器的佩戴者的视线方向的视线检测部，和能够与显示装置通信的第二通信部，其中，在显示装置和头戴式显示器的任一者具有注视点检测部，其基于经第一通信部和第二通信部收发的信息，检测头戴式显示器的佩戴者的视线在显示装置的第一显示部显示的图像或者投影部投影的图像上的注视点的位置，注视点检测部在注视点位于图像上时计算与注视点的位置对应的图像内的位置信息，头戴式显示器通过与显示装置的通信或者其他通信，获取与图像中显示在计算出的位置上的对象数据关联的关联数据，将其显示在第二显示部上。

另外，本实施例是一种包括显示装置和头戴式显示器的头戴式显示器协作显示系统，其构成为，显示装置包括：显示一次信息的第一显示部、投影一次信息的投影部或者输出图像信号的信号输出部，能够与头戴式显示器通信的第一通信部，和注视点计算部，其计算头戴式显示器的佩戴者对一次信息的注视点的位置信息，头戴式显示器包括：显示佩戴者能够观看的二次信息的第二显示部，能够与显示装置通信的第二通信部，拍摄佩戴者所朝向的方向的摄像图像的摄像部，和检测佩戴者对摄像图像的注视点的摄像图像内注视点检测部，其中，显示装置基于经第一通信部和第二通信部收发的检测到的注视点，利用注视点计算部计算佩戴者对一次信息的注视点的位置信息，选择与该位置信息关联的二次信息，并根据判断为位置信息位于一次信息的情况和判断为不位于一次信息的情况，改变第二显示部上的二次信息的显示方法。

由此，无论HMD的佩戴者的位置和视线方向如何都能够选择适当的二次信息进行显示，具有可提高HMD的佩戴者的行动自由度，使其能够以更加自然的方式观看二次信息的效果。

实施例2

本实施例说明在普通的家庭等中，将与TV上显示的广播内容(一次信息)关联的补充信息(二次信息)显示在TV观众佩戴的HMD上的例子。采用本实施例，在观看TV时，能够获得仅根据广播内容无法得到的补充信息，并且即使视线从TV离开也能够观看二次信息。

图15是说明本实施例的HMD协作型显示系统的动作之概要的图。在图15中，显示装置400在屏幕上显示TV广播的内容。图15所示的画面表示的状态是，作为TV广播的内容，广播着提供商品A、商品B、商品C、商品D这4个商品的信息的节目。观众911透过HMD300观看该显示的画面。这时，观众911透过HMD300看到的景象起初如画面357所示，仅能够看到TV画面和用于操作TV的按钮(例如用于调节TV音量的按钮“音量+”、“音量-”)。接着，当观众911注视TV画面上显示的商品A时，如画面358所示，显示补充信息(例如销售商品A的店铺、价格、电话号码)。接着，当视线从TV画面离开时，如画面359所示，将用于操作TV的按钮清除，但即使没有在看TV画面，也继续显示补充信息。通过采用这样的动作，例如即使在为了向显示在补充信息中的店铺打电话而离开TV附近的情况下，也能够确认补充信息。

图16是说明本实施例的HMD协作型显示系统的整体概况的图。在图16中，本系统包括通过信号发送天线950发送广播信号的广播设备940，接收并显示该广播信号的显示装置400，和HMD300。显示装置400除了接收通常的广播信号外，还能够经互联网等通信网960接收通信数据。作为这种接收广播信号和通信数据两者进行显示的装置，例如有支持Hybridcast(注册商标)的TV等。本实施例中，通过使用这样的装置，利用经互联网的通信来获取与通过广播信号接收的TV广播(一次信息)关联的二次信息数据库。

图17是本实施例的HMD协作型显示系统的整体结构图。图17中，本实施例的显示装置400相对于实施例1记载的显示装置200，增加了包括能够收看广播信号和通信数据这两者的TV等装置在内的数个模块。显示装置400包括接收广播信号的调谐器部420，将接收到的广播信号分离为影像、声音、数据等各种信号来输出的分离部430，进行接收到的影像信号的解调等处理的显示控制部440，显示影像的显示部450，进行接收到的声音信号的解调等处理的声音控制部460，输出声音的扬声器470。这些模块是为了收看广播信号而在通常的TV中必须的模块。在这些模块以外，显示装置400还包括IP(Internet Protocol，互联网协议)通信部410、记录部210、控制部220、通信部240、注视点计算部250和声音识别部260，其中，IP通信部410经互联网等通信网接收通信数据，记录部210保存节目标识信息580和二次信息数据库590，节目标识信息580保存当前收看的频道号等，控制部220进行一次信息和二次信息的输出等各种处理，通信部240与HMD300进行通信，注视点计算部250基于从HMD300取得的信息计算一次信息内的注视点的坐标，声音识别部260识别HMD佩戴者等的声音。其中，注视点计算部250和声音识别部260可以由专用的硬件实现，也可以由控制部220执行的软件模块实现。HMD300的结构与实施例1相同。

图18是说明本实施例的二次信息数据库590的结构的图。图18中，二次信息数据库590包括节目标识信息591，表示二次信息有效的期间的时间段592，用于基于HMD佩戴者的注视点来选择二次信息的注视点范围593，二次信息594，和二次信息的属性595。此外，如图18下方的画面所示，在本实施例中，一次信息的坐标系按照左上角为(0，0)、右下角为(1920，1080)来定义，二次信息数据库第一行的注视点范围(300，50)～(900，450)是表示包括商品A的图像的矩形范围的坐标，第二行的注视点范围(1000，50)～(1600，450)是表示包括商品B的图像的矩形范围的坐标。

以上是本实施例的HMD协作型显示系统的结构。以下，按照本系统的动作流程说明本实施例。其中，对显示装置400进行操作来收看TV广播的操作，与通常使用的TV操作方法相同，故省略说明。另外，以下假定收看频道1的情况进行说明。

图19是表示当观众911透过HMD300看向显示装置400的方向时，HMD300的摄像部310和摄像图像内注视点检测部320获得的摄像图像540和摄像图像内注视点550的图。图19表示的状态是，观众911面向显示装置400从稍靠右侧的位置观看一次信息，并注视着商品A。

图20是本实施例的对二次信息进行选择的处理的流程图，其中，在从HMD300接收到摄像图像540和摄像图像内注视点550时，在显示装置400的控制部220中执行该处理。在图20中，控制部220首先判断记录部210是否记录有节目标识信息580(步骤S2411)。由于当前正在收看频道1，所以存在节目标识信息580，并且记载了频道1作为收看中的节目。接着，判断摄像图像内注视点550在一定时间是否相同，即判断观众911的注视点是否停留在某特定的部位(步骤S2412)。接着，使用注视点计算部250计算一次信息内注视点(步骤S2413)。该处理的细节与使用实施例1的图9到图11说明的内容相同。

接着，判断一次信息内注视点的计算是否已经成功(步骤S2414)。在一次信息内注视点的计算已成功的情况下，即观众911的注视点位于一次信息的方向(即，显示装置400的方向)的情况下，存储步骤S2413中计算出的一次信息内注视点(步骤S2415)。接着，参照二次信息数据库590显示与当前正在收看的节目相关的二次信息中的下述二次信息(步骤S2416)，其中，已存储的一次信息内注视点位于二次信息数据库内的该要显示的二次信息的注视点范围593的范围内，并且当前时刻处于二次信息数据库的该要显示的二次信息的时间段592的范围内。

另一方面，在步骤S2414中，在一次信息内注视点的计算失败的情况下，对于与步骤S2415中存储的一次信息内注视点对应的二次信息(即，当前正显示的二次信息)，根据二次信息的属性595设置清除计时(步骤S2417)。例如设置为，当二次信息的属性595为文本时，在60秒后清除，当二次信息的属性595为按钮时，在0秒后(即，立即)清除。由此成为这样的动作，即，在观众911的视线从显示装置400离开的情况下，按钮立即被清除，而文本则继续显示一定时间。之后的处理与实施例1相同。

通过以上的处理，能够实现图15所示的动作。即，观众911透过HMD300看到的景象起初为图15的画面357。接着当注视商品A时，由于图20的步骤S2416为止的处理，成为图15的画面358。接着当视线从显示装置400离开而移向其他部位时，成为图15的画面359。

以上，本实施例是一种与头戴式显示器连接的显示装置，其构成为，包括：显示一次信息的显示部、投影一次信息的投影部或者输出一次信息的信号输出部，能够与头戴式显示器通信的通信部，和计算头戴式显示器的佩戴者注视一次信息的注视点的位置信息的注视点计算部，其中，基于经通信部接收到的信息，按照规定的步骤计算佩戴者注视一次信息的注视点的位置信息，并选择与位置信息关联的二次信息，根据判断为位置信息位于一次信息的方向的情况，和判断为位置信息不位于一次信息的方向的情况，改变头戴式显示器上显示的二次信息。

由此，在观看TV时，能够获得仅根据广播内容无法得到的补充信息，并且即使视线从TV离开也能够观看二次信息，能够提高观众的行动自由度。

本发明并不限于上述实施例，还包括各种变形例。例如，上述实施例中，为了便于理解本发明而详细地进行了说明，但本发明并不限于必须具有所说明的全部结构。另外，也可以在某实施例的结构中增加其他实施例的结构。并且，对于各实施例的一部分也能够进行其他结构的增加、删除或替换。

附图标记说明

100：投影装置，110：信号输入部，120：控制部(投影装置)，130：显示部(投影装置)，200：显示装置，210：记录部，220：控制部(显示装置)，230：信号输出部，240：通信部(显示装置)，250：注视点计算部，260：声音识别部，270：操作部，280：显示部(显示装置)，300：头戴式显示器，310：摄像部，320：摄像图像内注视点检测部，330：声音获取部，340：控制部(头戴式显示器)，350：通信部(头戴式显示器)，360：显示部(头戴式显示器)，400：显示装置，410：IP通信部，420：调谐器部，430：分离部，440：显示控制部，450：显示部(显示装置)，460：声音控制部，470：扬声器，510：一次信息数据库，520：二次信息数据库，530：一次信息，540：摄像图像，550：摄像图像内注视点，560：声音数据，570：二次信息，580：节目标识信息，590：二次信息数据库，910：教师，911：观众，920：学生，930：屏幕，940：广播设备，950：信号发送天线，960：互联网。

Claims (14)

1.一种包括显示装置和头戴式显示器的头戴式显示器协作显示系统，其特征在于：

所述显示装置包括：

显示一次信息的第一显示部或投影一次信息的投影部；

能够与所述头戴式显示器通信的第一通信部；和

注视点计算部，其计算所述头戴式显示器的佩戴者对所述一次信息的注视点的位置信息，

所述头戴式显示器包括：

显示所述佩戴者能够观看的二次信息的第二显示部；

能够与所述显示装置通信的第二通信部；

拍摄所述佩戴者所朝向的方向的摄像图像的摄像部；和

检测所述佩戴者对所述摄像图像的注视点的摄像图像内注视点检测部，

所述显示装置，基于经所述第一通信部和所述第二通信部收发的所检测到的注视点，利用所述注视点计算部计算佩戴者对所述一次信息的注视点的位置信息，选择与该位置信息关联的二次信息，并根据判断为所述位置信息位于所述一次信息的情况和判断为不位于所述一次信息的情况，改变所述第二显示部上的所述二次信息的显示方法，

其中，在判断为所述位置信息不位于所述一次信息的方向时，根据所述二次信息的各种属性，改变将所述二次信息清除前的时间。

2.如权利要求1所述的头戴式显示器协作显示系统，其特征在于：

所述注视点计算部确定所述摄像图像中的所述一次信息的显示区域，基于与所述一次信息固有的坐标对应的所确定的显示区域上的坐标来导出变换公式，对于所述头戴式显示器的佩戴者对所述摄像图像的所述注视点，利用所述变换公式进行坐标变换，计算所述头戴式显示器的佩戴者对所述一次信息的注视点的位置信息。

3.如权利要求2所述的头戴式显示器协作显示系统，其特征在于：

通过检测配置在所述一次信息固有的坐标上的标识图像来确定所述一次信息的显示区域，导出所述变换公式。

4.如权利要求1所述的头戴式显示器协作显示系统，其特征在于：

所述注视点计算部，在所述头戴式显示器的佩戴者对所述摄像图像的注视点停留在固定部位时，计算所述头戴式显示器的佩戴者对所述一次信息的注视点的位置信息。

5.如权利要求1所述的头戴式显示器协作显示系统，其特征在于：

所述显示装置包括将声音数据转换为文本的声音识别部，

所述头戴式显示器包括声音获取部，其获取所述头戴式显示器的佩戴者周围的声音，

所述第二显示部在所述文本中检测出特定的关键词的情况下，显示与所述关键词关联的二次信息。

6.一种包括显示装置和头戴式显示器的头戴式显示器协作显示系统，其特征在于：

所述显示装置包括：

显示一次信息的第一显示部或投影一次信息的投影部；

能够与所述头戴式显示器通信的第一通信部；和

注视点计算部，其计算所述头戴式显示器的佩戴者对所述一次信息的注视点的位置信息，

所述头戴式显示器包括：

显示所述佩戴者能够观看的二次信息的第二显示部；

能够与所述显示装置通信的第二通信部；

拍摄所述佩戴者所朝向的方向的摄像图像的摄像部；和

检测所述佩戴者对所述摄像图像的注视点的摄像图像内注视点检测部，

所述显示装置，基于经所述第一通信部和所述第二通信部收发的所检测到的注视点，利用所述注视点计算部计算佩戴者对所述一次信息的注视点的位置信息，选择与该位置信息关联的二次信息，并根据判断为所述位置信息位于所述一次信息的情况和判断为不位于所述一次信息的情况，改变所述第二显示部上的所述二次信息的显示方法，

其中，在判断为所述位置信息不位于所述一次信息的方向时，根据所述二次信息的各种属性，改变显示所述二次信息时的透射率。

7.如权利要求6所述的头戴式显示器协作显示系统，其特征在于：

所述注视点计算部确定所述摄像图像中的所述一次信息的显示区域，基于与所述一次信息固有的坐标对应的所确定的显示区域上的坐标来导出变换公式，对于所述头戴式显示器的佩戴者对所述摄像图像的所述注视点，利用所述变换公式进行坐标变换，计算所述头戴式显示器的佩戴者对所述一次信息的注视点的位置信息。

8.如权利要求7所述的头戴式显示器协作显示系统，其特征在于：

通过检测配置在所述一次信息固有的坐标上的标识图像来确定所述一次信息的显示区域，导出所述变换公式。

9.如权利要求6所述的头戴式显示器协作显示系统，其特征在于：

所述注视点计算部，在所述头戴式显示器的佩戴者对所述摄像图像的注视点停留在固定部位时，计算所述头戴式显示器的佩戴者对所述一次信息的注视点的位置信息。

10.如权利要求6所述的头戴式显示器协作显示系统，其特征在于：

所述显示装置包括将声音数据转换为文本的声音识别部，

所述头戴式显示器包括声音获取部，其获取所述头戴式显示器的佩戴者周围的声音，

所述第二显示部在所述文本中检测出特定的关键词的情况下，显示与所述关键词关联的二次信息。

11.一种与头戴式显示器连接的显示装置，其特征在于，包括：

显示一次信息的显示部或投影一次信息的投影部；

能够与所述头戴式显示器通信的通信部；和

计算所述头戴式显示器的佩戴者对所述一次信息的注视点的位置信息的注视点计算部，

其中，基于经所述通信部接收的信息，按照规定的步骤计算所述佩戴者对所述一次信息的注视点的位置信息，

选择与所述位置信息关联的二次信息，

根据判断为所述位置信息位于所述一次信息的方向的情况，和判断为所述位置信息不位于所述一次信息的方向的情况，改变所述头戴式显示器上显示的二次信息，

其中，在判断为所述位置信息不位于所述一次信息的方向时，根据所述二次信息的各种属性，改变将所述二次信息清除前的时间。

12.如权利要求11所述的显示装置，其特征在于，包括：

接收一次信息的调谐器部；

分离部，其将包含在所述一次信息中的各种信号分离，获取用于标识一次信息的信息；和

IP通信部，其经通信网络接收记载有与所述一次信息关联的二次信息的数据库。

13.一种与头戴式显示器连接的显示装置，其特征在于，包括：

显示一次信息的显示部或投影一次信息的投影部；

能够与所述头戴式显示器通信的通信部；和

计算所述头戴式显示器的佩戴者对所述一次信息的注视点的位置信息的注视点计算部，

其中，基于经所述通信部接收的信息，按照规定的步骤计算所述佩戴者对所述一次信息的注视点的位置信息，

选择与所述位置信息关联的二次信息，

根据判断为所述位置信息位于所述一次信息的方向的情况，和判断为所述位置信息不位于所述一次信息的方向的情况，改变所述头戴式显示器上显示的二次信息，

其中，在判断为所述位置信息不位于所述一次信息的方向时，根据所述二次信息的各种属性，改变显示所述二次信息时的透射率。

14.如权利要求13所述的显示装置，其特征在于，包括：

接收一次信息的调谐器部；

分离部，其将包含在所述一次信息中的各种信号分离，获取用于标识一次信息的信息；和

IP通信部，其经通信网络接收记载有与所述一次信息关联的二次信息的数据库。

Images