CN104221077B

CN104221077B - 头戴式显示器

Info

Publication number: CN104221077B
Application number: CN201480001045.9A
Authority: CN
Inventors: 石川博隆; 岩津健
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-02-22
Filing date: 2014-02-24
Publication date: 2017-07-14
Anticipated expiration: 2034-02-24
Also published as: JPWO2014129204A1; WO2014128810A1; JPWO2014128810A1; US11513353B2; CN104246864A; US11885971B2; JP6406293B2; EP2960896A1; WO2014129204A1; US10534183B2; US20150130837A1; JP2019008319A; JP6287849B2; JP7268692B2; US20190250410A1; US9709806B2; US20230041942A1; JP2016153899A; US9910281B2; CN104246864B

Abstract

头戴式显示器提供有显示单元、检测单元和第一控制单元。显示单元设计为可安装到用户的头部且能够向所述用户提供实际空间的视场。检测单元检测显示单元环绕至少一个轴的定位。第一控制单元具有区域限制单元、存储单元和显示控制单元。区域限制单元配置为能够在围绕显示单元的三维坐标中沿着上述视场的上述轴的方向限制显示区域。存储单元与所述三维坐标相关联地存储包括关于呈现在视场中的预定目标对象的信息的图像。显示控制单元配置为基于来自检测器的输出在对应于上述方位的三维坐标显示在视场中的图像。

Description

头戴式显示器

技术领域

本发明涉及能够在数据视场中显示包括特殊信息的图像的头戴式显示器。

背景技术

已知将相应的图像添加到实际空间的、被称为增强现实性(AR)的技术。例如，专利文件1描述了能够显示观察者属于的实际空间中任意对象的三维形状信息的虚拟图像立体合成装置。另外，专利文件2描述了能够显示关于呈现在由用户观看的外部世界中的目标的对象的头戴式显示器。

专利文件1：日本专利申请特开No.2000-184398

专利文件2：日本专利申请特开No.2012-053643

发明内容

技术问题

近年来，在透明型头戴式显示器中，例如，存在需要在保证透明区域的同时限制信息显示区域的情况。在该情况下，存在对象难以进入显示器的视场或者难以保持其中对象在视场内的状态的担心。

考虑到上述情况，本技术的目的是提供能够增强对象的可搜索性或者可见性的头戴式显示器。

技术方案

根据本技术的实施例的头戴式显示器包括显示单元、检测器和第一控制单元。

显示单元可安装在用户的头部且配置为能够向用户提供实际空间的视场。

检测器检测显示单元环绕至少一个轴的方位。

第一控制单元包括区域限制器、存储单元和显示控制单元。区域限制器配置为能够沿着围绕显示单元的三维坐标中所述一个轴的方向限制视场的显示区域。存储单元存储包括关于呈现在视场中的预定目标的信息的图像，而所述图像被使得对应于三维坐标。显示控制单元配置为基于检测器的输出在视场中显示对应于方位的以三维坐标的图像。

根据头戴式显示器，根据环绕所述一个轴的姿态的改变显示的图像进入用户的视场的概率较高，因此可以增强图像的可搜索性。另外，可以容易地保持图像在视场中的状态，因此也可以增强图像的可见性。

“显示单元的方位”典型地指的是显示单元的前面方向。关于头戴式显示器，显示单元的前面方向可以定义为用户的前面方向。因此，“显示单元的方位”可以解释为与用户的面部的方向相同。

“显示单元环绕所述一个轴的方位”指的是显示单元以所述一个轴为中心的方位。例如，在所述一个轴是纵轴的情况下，东、西、南和北的水平方向对应于其。在该情况下，例如，如果北设置为基准方位，则与该方位的角度可以指示显示单元的方位。另一方面，如果所述一个轴是横轴，则显示单元环绕所述一个轴的方位可以由以水平面作为基准的仰角或者俯角指示。该一个轴不限于这种实例。该一个轴可以是与纵轴和横轴相交的另一个轴。

显示控制单元可以配置为获取关于显示单元和预定目标之间的相对位置的信息，并根据相对位置的变化控制在视场中显示的图像的显示模式。通过此，可以保持或者增强在视场中显示的图像的可见性。

关于相对位置的信息可以包括关于显示单元和预定目标之间的相对距离的信息。在该情况下，显示控制单元可以配置为根据相对距离的变化改变在视场中显示的图像的位置和尺寸中的至少一个。

替代地，关于相对位置的信息可以包括关于显示单元以预定目标作为中心的角位置的信息。在该情况下，显示控制单元可以配置为根据角位置的变化三维地改变在视场中显示的图像的定位。

显示控制单元可以配置为从存储单元提取包括满足由用户设置的至少一个显示条件的信息的图像，并在视场中选择性地显示所提取的图像。通过此，可以仅显示对于在视场中的用户重要的信息。

显示控制单元可以配置为当应该在视场中显示的图像包括多个图像时，交替地显示多个图像中的每一个。通过此，可以增加在视场中显示的单独图像的区分力。

存储单元可以存储关于预定目标的多个图像。在该情况下，显示控制单元可以配置为根据用户操作从多个图像当中选择应该在视场中显示的图像。通过此，可以单独地显示包括关于同一目标的信息的多个图像。

检测器可以检测显示单元环绕纵轴的方位，且区域限制器可以根据垂直方向上视场的区域，以环绕纵轴的圆柱形坐标在高度方向上限制区域。通过此，可以增强在用户的水平视场中的图像的可搜索性和可见性。

显示控制单元可以当方位改变第一预定角度或者更大时，根据方位的变化移动在视场中的图像，并当方位的变化小于第一预定角度时决定在视场中的图像的显示位置。通过此，可以调节由环绕纵轴的用户的姿态的有意变化导致的图像的移动，并增强图像的可见性。

检测器可以配置为进一步检测显示单元环绕横轴的姿态的变化。在该情况下，显示控制单元当姿态的变化等于或者大于第二预定角度时，根据姿态的变化移动在视场中的图像，并当姿态的变化小于第二预定角度时，固定在视场中的图像的显示位置。通过此，可以调节由环绕横轴的用户的姿态的无意变化导致的图像的移动，并进一步增强图像的可见性。

显示控制单元可以当检测器的输出的变化在预定时间上等于或者小于预定值时，移动图像到在视场中的预定位置。也就是，如果检测器的输出在预定时间上不改变，则用户参考在视场中显示的图像的概率高，由此通过移动图像到在视场中的预定位置来增加图像的可见性。预定位置例如可以是视场的中心。另外，移动之后的图像可以以放大的状态显示。

显示控制单元可以当检测到根据用户操作产生的预定信号的输入时，移动图像到在视场中的预定位置。也通过该配置，可以如上所述增加图像的可见性，并根据用户的意图控制图像的显示。

显示控制单元可以当在其中在视场中的预定位置显示图像的状态中，检测器的输出的变化等于或者高于预定频率时，取消等于或者高于预定频率的检测器的输出的频率分量。例如，预定频率设置为与用户的面部的摇动对应的频率。通过此，可以保证图像的可见性而不接收用户的面部的轻微摇动的影响。

第一控制单元可以配置为当检测到根据用户操作产生的预定信号的输入时，根据该一个轴的方向上视场的区域限制三维坐标中高度方向上的区域，并将在视场中显示的所有图像调整到在视场中的同一高度。通过此，可以进一步增强在视场中显示的图像的可见性。

图像可以包括关于呈现在视场中的预定目标的信息。通过此，可以提供关于目标的信息给用户。另外，图像可以是静止图像或者可以是比如动画图像之类的运动图像。

不特别限制检测器，只要其可以检测显示单元的方位或者姿态的变化即可。例如，可以采用地磁传感器、运动传感器、其组合等。

头戴式显示器还可以包括第二控制单元，该第二控制单元包括获取存储单元中存储的多个图像的图像获取单元。

第一控制单元可以配置为请求第二控制单元发送从多个图像当中选出的一个或多个图像。可以以该方式以需要的次序主要由第一控制单元获取需要的图像，由此可以构造克服第一和第二控制单元之间的通信速度、从发出传输请求到图像的实际传输的时间(延迟)等问题的系统。

在该情况下，第一控制单元可以配置为请求第二控制单元优先地发送使得与最接近三维坐标中视场的显示区域的坐标位置对应的图像。

注意到，在图像是动画图像的情况下，仅需要考虑当前时间和动画帧时间来执行优先级设置。例如，第一控制单元可以配置为请求第二控制单元集合地发送构成动画图像的所有图像的至少一些图像。

第一控制单元可以配置为相对于存储单元中存储的所有图像，规则地评估坐标位置和视场的显示区域之间的距离，并从存储单元除去在距视场的显示区域最远的坐标位置的图像。通过此，可以减小存储单元的容量。

第二控制单元还可以包括位置信息获取单元，其能够获取显示单元的位置信息。图像获取单元获取与可以被发送到第一控制单元的位置信息对应的图像。通过此，第二控制单元可以根据用户的当前位置获取最优图像。

根据本技术的另一实施例的头戴式显示器包括显示单元、检测器和控制单元。

检测器检测显示单元环绕至少一个轴的方位。

控制单元包括存储单元和显示控制单元。存储单元存储包括关于呈现在视场中的预定目标的信息的图像，而所述图像被使得与围绕显示单元的三维坐标对应。显示控制单元配置为基于检测器的输出在视场中显示对应于方位的三维坐标中的图像。

显示控制单元可以配置为沿着所述一个轴的方向将存储单元中存储的预定图像转换为落入视场的显示区中的坐标值，并在视场中显示其。通过此，可以增加使得对应于每个方位的图像的可搜索性。

技术效果

如上所述，根据本技术，可以增强对象图像的可搜索性或者可见性。

注意到，不必要地限制在这里描述的效果，且可以是本公开中描述的任意效果。

附图说明

图1是用于描述根据本技术的实施例的头戴式显示器的功能的示意图；

图2是示出头戴式显示器的总的图；

图3是示出包括头戴式显示器的系统的配置的框图；

图4是头戴式显示器中的控制单元的功能框图；

图5A是示出作为头戴式显示器中的世界坐标系的示例的柱坐标的示意图；

图5B是示出作为头戴式显示器中的世界坐标系的示例的柱坐标的示意图；

图6A是图5A所示的柱坐标的展开图；

图6B是图5B所示的柱坐标的展开图；

图7是柱坐标系中的坐标位置的说明图；

图8是概念地示出视场和对象之间的关系的柱坐标的展开图；

图9A是用于描述将柱坐标(世界坐标)转换为视场(局部坐标)的方法的图；

图9B是用于描述将柱坐标(世界坐标)转换为视场(局部坐标)的方法的图；

图10A是用于描述头戴式显示器中的图像稳定功能的概念图；

图10B是用于描述头戴式显示器中的图像稳定功能的概念图；

图11A是示出使得与限制其区域的柱坐标对应的对象和视场之间的相对位置关系的示意图；

图11B是示出使得与限制其区域的柱坐标对应的对象和视场之间的相对位置关系的示意图；

图12A是用于描述在限制其区域的柱坐标中布置对象的过程的概念图；

图12B是用于描述在限制其区域的柱坐标中布置对象的过程的概念图；

图13是用于描述在限制其区域的柱坐标中布置对象的过程的序列图；

图14是用于描述系统的操作的概括的流程图；

图15是示出由控制单元接收对象数据项的过程的实例的流程图；

图16是示出由控制单元在视场中绘制对象的过程的实例的流程图；

图17是用于描述头戴式显示器中的应用实例的视场的示意图；

图18是用于描述头戴式显示器中的应用实例的视场的示意图；

图19是用于描述头戴式显示器中的应用实例的视场的示意图；

图20是用于描述头戴式显示器中的应用实例的视场的示意图；

图21是用于描述头戴式显示器中的应用实例的视场的示意图；

图22是用于描述头戴式显示器中的应用实例的视场的示意图；

图23是示出头戴式显示器中的显示控制实例的流程图；

图24是用于描述显示控制实例的视场的示意图；

图25A是用于描述另一显示控制实例的视场的示意图；

图25B是用于描述另一显示控制实例的视场的示意图；

图26是用于描述根据本技术的另一实施例的头戴式显示器的动作的示意图；

图27A是用于描述头戴式显示器的动作的示意图；

图27B是用于描述头戴式显示器的动作的示意图；

图27C是用于描述头戴式显示器的动作的示意图；

具体实施方式

在下文中，将参考附图描述根据本技术的实施例。在本实施例中，将描述其中本技术应用于作为图像显示设备的头戴式显示器的实例。

<第一实施例>

图1是用于描述根据本技术的实施例的头戴式显示器(以下，称为HMD)的功能的示意图。首先，参考图1，将描述根据该实施例的HMD的基本功能的概述。

在图1中，X轴方向和Y轴方向示出彼此正交的水平方向，且Z轴方向示出纵轴方向。这种XYZ正交坐标系表示用户属于的实际空间的坐标系(实际三维坐标系)。X轴箭头指示北方向且Y轴箭头指示东方向。另外，Z轴箭头指示重力方向。

[HMD的功能的概述]

根据该实施例的HMD 100安装在用户U的头部上，且配置为能够在用户U的实际空间的视场V(显示视场)中显示虚拟图像。在视场V中显示的图像包括关于呈现在视场V中的预定目标A1、A2、A3和A4的信息。这些预定目标例如是围绕用户U的风景、商店或者商品。

HMD 100存储使得与围绕佩戴HMD的用户U的虚拟世界坐标系对应的图像(以下，称为对象)B1、B2、B3和B4。世界坐标系是等效于用户属于的实际空间的坐标系。在世界坐标系中，以用户U的位置和预定轴方向作为基准来定位目标A1到A4。虽然以纵轴为轴的中心的柱坐标C0在本实施例中采用为世界坐标，但可以采用比如以用户U为中心的天体坐标之类的其他三维坐标。

可以任意地设置柱坐标C0的半径R和高度H。虽然在这里半径R设置为比从用户U到目标A1到A4的距离短，但是半径R可以比该距离长。另外，该高度H设置为等于或者大于通过HMD 100提供的用户U的视场V的高度(垂直长度)Hv。

对象B1到B4是示出关于呈现在世界坐标系中的目标A1到A4的信息的图像。对象B1到B4可以是包括字母、图案等的图像或者可以是动画图像。替代地，该对象可以是二维图像或者可以是三维图像。另外，对象形状可以是矩形形状、圆形形状或者另一几何形状，且可以取决于对象的种类适当地设置。

例如使得对象B1到B4在柱坐标C0中的坐标位置对应于注视目标A1到A4的用户的视线L和柱坐标C0的相交位置。虽然在图示的实例中使得对象B1到B4的中心位置与相交位置一致，但是其不限于此并且可以使得对象的外围部分(例如，四个角的部分)与相交位置一致。替代地，可以使得对象B1到B4的坐标位置对应于与相交位置分开的任何位置。

柱坐标C0具有在以北方向是0°表示环绕纵轴的角度的圆周方向上的坐标轴(θ)和在以用户U的水平视线Lh作为基准表示在上下方向上的角度的高度方向上的坐标轴(h)。坐标轴(θ)具有从西到东的正方向。坐标轴(h)使用俯角作为正方向并使用仰角作为反方向。

如后所述，HMD 100包括用于检测用户U的眼睛的方向的检测器，且基于检测器的输出确定用户U的视场V对应于柱坐标C0中的哪个区域。如果任意对象(例如，对象B1)呈现在形成视场V的xy坐标系的相应区域中，则HMD 100在相应区域中显示(绘制)对象B1。

如上所述，根据该实施例的HMD 100在与实际空间中的目标A1重叠的同时在视场V中显示对象B1，由此向用户U提供关于目标A1的信息。另外，HMD 100可以根据用户U的眼睛的方位或者方向，将关于预定目标A1到A4的对象(B1到B4)提供给用户U。

接下来，将具体描述HMD 100。图2是示出HMD 100的总的图，而图3是示出其配置的框图。

[HMD的配置]

HMD 100包括显示单元10、检测显示单元10的姿态的检测器20和控制显示单元10的驱动的控制单元30。在本实施例中，HMD 100由能够向用户提供实际空间的视场V的透明型HMD(see-through-type HMD)构成。

(显示单元)

显示单元10配置为可安装在用户U的头部上。显示单元10包括第一和第二显示表面11R和11L、第一和第二图像发生器12R和12L和支架13。

第一和第二显示表面11R和11L由具有可以向用户U的右眼和左眼提供实际空间(外部视场)的透明度的光学元件构成。第一和第二图像发生器12R和12L配置为能够生成要经由第一和第二显示表面11R和11L呈现给用户U的图像。支架13支撑显示表面11R和11L以及图像发生器12R和12L。第一和第二显示表面11L和11R具有适当的形状，以使得它们可安装在用户的头部上以分别与用户U的右眼和左眼相对。

由此配置的显示单元10配置为能够通过显示表面11R和11L向用户U提供具有与实际空间重叠的预定图像(或者虚拟图像)的视场V。在该情况下，设置右眼的柱坐标C0和左眼的柱坐标C0，且将在每一个柱坐标中绘制的对象投射到显示表面11R和11L。

(检测器)

检测器20配置为能够检测显示单元10环绕至少一个轴的方位或者姿态的变化。在本实施例中，检测器20配置为检测显示单元10环绕X-、Y-和Z轴的方位或者姿态的变化。

显示单元10的方位典型地指的是显示单元的前面方向。在本实施例中，显示单元10的方位定义为用户U的面部方向。

检测器20可以由比如角速度传感器和加速度传感器或者其组合之类的运动传感器构成。在该情况下，检测器20可以由在其中以三个轴方向布置角速度传感器和加速度传感器或者不同传感器可以用于每个轴的传感器构成。例如，角速度传感器的输出的综合值(integrated value)可以用于显示单元10的姿态的改变、改变的方向、其改变量等。

另外，可以采用地磁传感器以检测显示单元10环绕纵轴(Z轴)的方位。替代地，可以组合地磁传感器和运动传感器。通过此，变得可以以高精度检测方位或者姿态的变化。

检测器20位于显示单元10中的适当位置。不特别限制检测器20的位置。例如，检测器20位于图像发生器12R和12L的任何一个上或者位于支架13的一部分上。

(控制单元)

控制单元30(第一控制单元)基于检测器20的输出生成用于控制显示单元10(图像发生器12R和12L)的驱动的控制信号。在本实施例中，控制单元30经由连接线缆30a电连接到显示单元10。当然，控制单元30不限于此。控制单元30可以通过无线通信连接到显示单元10。

如图3所示，控制单元30包括CPU 301、存储器302(存储单元)、发射器/接收器303、内部电源304和输入操作单元305。

CPU 301控制整个HMD 100的操作。存储器302包括只读存储器(ROM)、随机存取存储器(RAM)等，并存储用于由CPU 301控制HMD 100的程序和各种参数、应该显示在显示单元10上的图像(对象)和其它需要的数据。发射器/接收器303构成用于与将在之后描述的便携式信息终端200通信的接口。内部电源304供应驱动HMD 100所需的电力。

输入操作单元305用于根据用户操作控制在显示单元10上显示的图像。输入操作单元305可以由机械开关构成或者可以由触摸传感器构成。输入操作单元305可以提供于显示单元10中。

HMD 100还可以包括比如扬声器、相机之类的音频输出单元。在该情况下，音频输出单元和相机典型地提供于显示单元10中。另外，可以向控制单元30提供显示显示单元10的输入操作屏幕等的显示装置。在该情况下，输入操作单元305可以由提供于显示装置中的触摸板构成。

(便携式信息终端)

便携式信息终端200(第二控制单元)配置为可通过无线通信与控制单元30相互通信。便携式信息终端200用于获取应该在显示单元10上显示的图像，并发送获取的图像到控制单元30。便携式信息终端200通过与HMD 100有机地组合来构造HMD系统。

虽然便携式信息终端200由佩戴显示单元10的用户U携带且由比如个人计算机(PC)、智能电话、蜂窝电话、平板PC和个人数字助理(PDA)之类的信息处理设备构成，便携式信息终端200可以是专用于HMD 100的终端设备。

如图3所示，便携式信息终端200包括CPU 201、存储器202、发射器/接收器203、内部电源204、显示单元205、相机206和位置信息获取单元207。

CPU 201控制整个便携式信息终端200的操作。存储器202包括ROM、RAM等，并存储用于由CPU 201控制便携式信息终端200的程序和各种参数、要被发送到控制单元30的图像(对象)和其他需要的数据。内部电源204供应驱动便携式信息终端200所需的电力。

发射器/接收器203使用用于便携式通信的比如无线保真(WiFi)和3G或者4G网络之类的无线LAN(IEEE802.11等)，与服务器N、控制单元30和另一相邻的便携式信息终端等通信。便携式信息终端200经由发射器/接收器203从服务器N下载应该发送到控制单元30的图像(对象)和用于显示它们的应用，并将其存储在存储器202中。

服务器N典型地由包括CPU、存储器等的计算机构成，且响应于用户U的请求或者自动地发送预定信息到便携式信息终端200，而不考虑用户U的意图。

显示单元205例如由LCD或者OLED构成，并显示各种菜单、应用的GUI等。典型地，显示单元205与触摸板集成，且可以接收用户的触摸操作。便携式信息终端200可以配置为能够通过显示单元205的触摸操作输入预定操作信号到控制单元30。

位置信息获取单元207典型地包括全球定位系统(GPS)接收器。便携式信息终端200配置为能够使用位置信息获取单元207测量用户U(显示单元10)的当前位置(经度、纬度、高度)和从服务器N获取需要的图像(对象)。也就是，服务器N获取关于用户的当前位置的信息并将与位置信息对应的图像数据、应用软件等发送到便携式信息终端200。

(控制单元的细节)

接下来，将具体描述控制单元30。

图4是CPU 301的功能框图。CPU 301包括坐标设置单元311、图像管理单元312、坐标确定单元313和显示控制单元314。CPU 301根据存储器302中存储的程序，执行坐标设置单元311、图像管理单元312、坐标确定单元313和显示控制单元314中的处理。

坐标设置单元311配置为执行围绕用户U(显示单元10)设置三维坐标的处理。在该实例中，以纵轴Az作为中心的柱坐标C0(参见图1)用作三维坐标。坐标设置单元311设置柱坐标C0的半径R和高度H。坐标设置单元311典型地取决于应该呈现给用户U的对象的数目和种类来设置柱坐标C0的半径R和高度H。

虽然柱坐标C0的半径R可以是固定值，半径R可以是可以取决于应该显示的图像的尺寸(像素尺寸)等任意地设置的可变值。柱坐标C0的高度H例如设置为大于应该由显示单元10提供给用户U的垂直方向(垂直方向)上视场V的高度Hv(参见图1)的一到三倍。高度H的上限不限于大于Hv的三倍且可以大于Hv的三倍或更多倍。

图5A示出具有等于视场V的高度Hv的高度H1的柱坐标C0。图5B示出具有大于视场V的高度Hv三倍的高度H2的柱坐标C0。

图6A和图6B是示出展开状态下的柱坐标C0的示意图。如上所述，柱坐标C0包括在以北方向是0°示出环绕纵轴的角度的圆周方向上的坐标轴(θ)和在以用户U的水平视线Lh作为基准示出在上下方向上的角度的高度方向上的坐标轴(h)。坐标轴(θ)具有从西到东的正方向，且坐标轴(h)使用俯角作为正方向且使用仰角作为反方向。高度h指示当视场V的高度Hv的幅值设置为100％时的幅值。柱坐标C0的原点OP1设置为在北方向上的方位(0°)与用户U的水平视线Lh(h＝0％)的交点。

坐标设置单元311用作能够在围绕显示单元10的三维坐标中沿着一个轴的方向限制视场V的显示区域的区域限制器。在本实施例中，坐标设置单元311在围绕显示单元10的柱坐标C0中在高度方向上限制视场V的视场区域(Hv)。具体地，坐标设置单元311当高度(H)的额定值大于视场V的高度Hv时，在高度方向上限制视场V的区域中柱坐标的高度(H)。另外，坐标设置单元311例如根据用户U的操作限制柱坐标的高度从H2(图5B)到H1(图5A)。

图像管理单元312用于管理存储在存储器302中的图像。例如，图像管理单元312配置为执行在存储器302中存储经由显示单元10显示的一个或多个图像，且选择性地除去存储在存储器302中的图像的处理。从便携式信息终端200发送存储在存储器302中的图像。图像管理单元312也请求便携式信息终端200经由发射器/接收器303发送图像。

存储器302配置为能够存储应该在视场V中显示的一个或多个图像(对象)，其中使得一个或多个图像(对象)与柱坐标C0对应。也就是，存储器302与柱坐标C0的坐标位置一起存储在图1所示的柱坐标C0下的各个对象B1到B4。

如图7所示，柱坐标系(θ,h)和正交坐标系(X,Y,Z)具有X＝rcosθ,Y＝rsinθ和Z＝h的关系。如图1所示，应该与视场V的方位或者姿态对应地显示的对象B1到B4占据柱坐标C0中的特定坐标区域并与区域中的特殊坐标位置P(θ,h)一起存储在存储器302中。

使得柱坐标C0中的对象B1到B4的坐标(θ,h)对应于在链接每个由正交系(X,Y,Z)定义的目标位置A1到A4和用户的位置的直线与柱坐标C0的圆柱表面的相交处的柱坐标系的坐标。也就是，对象B1到B4的坐标对应于从实际三维坐标转换为柱坐标C0的目标A1到A4的坐标。这种对象的坐标转换例如在图像管理单元312中执行，且对象与其坐标位置一起存储在存储器302中。在世界坐标系中采用柱坐标C0，由此可以以平坦方式绘制对象B1到B4。

对象B1到B4的坐标位置可以设置在任何位置，只要它们在对象B1到B4中的每一个的显示区域内。每个对象可以设置特定点(例如，中心位置)或者两个或更多个点(例如，两个对角的点或者四个角的点)。

另外，如图1所示，当使得对象B1到B4的坐标位置对应于注视着目标A1到A4的用户的视线L和柱坐标C0的相交位置时，用户U观看在与目标A1到A4重叠的位置的对象B1到B4。代替此，可以使得对象B1到B4的坐标位置对应于与相交位置分开的任何位置。通过此，可以在相对于目标A1到A4的要求位置显示或者绘制对象B1到B4。

坐标确定单元313配置为执行基于检测器20的输出确定用户U的视场V对应于柱坐标C0中的哪个区域的处理。也就是，视场V由于用户U(显示单元10)的姿态的变化而在柱坐标C0中移动，且基于检测器20的输出计算移动方向和移动量。坐标确定单元313基于检测器20的输出计算显示单元10的移动方向和移动量，并确定视场V属于柱坐标C0中的哪个区域。

图8是概念地示出柱坐标C0中视场V和对象B1到B4之间的关系的展开图。视场V几乎是矩形且包括以左上角为原点OP2的xy坐标(局部坐标)。X轴是在水平方向上从原点OP2延伸的轴且Y轴是在垂直方向上从原点OP2延伸的轴。然后，坐标确定单元313配置为执行确定是否任意对象B1到B4呈现在视场V的相应区域中的处理。

显示控制单元314配置为执行基于检测器20的输出(即，坐标确定单元313的确定结果)在视场V中显示(绘制)对应于显示单元10的方位的在柱坐标C0中的对象的处理。例如，如图8所示，当视场V的当前方位与柱坐标C0中的对象B1和B2的每一显示区域重叠时，对应于其重叠区域B10和B20的图像显示在视场V中(局部呈现)。

图9A和图9B是用于描述将柱坐标C0(世界坐标)转换为视场V(局部坐标)的方法的图。

如图9A所示，假定柱坐标C0中视场V的参考点的坐标由(θv,hv)表示，且位于视场V的区域中的对象B的参考点的坐标由(θ0,h0)表示。视场V和对象B的参考点可以设置为任意点。在该实例中，参考点设置为每个具有矩形形状的视场V和对象B的左上角。αv[°]是世界坐标中视场V的宽度角，且取决于显示单元10的设计或者规范确定该值。

显示控制单元314将柱坐标系(θ,h)转换为局部坐标系(x,y)，由此确定对象B在视场V中的显示位置。如图9B所示，假定局部坐标系中视场V的高度和宽度分别由Hv和Wv表示，且局部坐标系(x,y)中对象B的参考点的坐标由(x0,y0)表示，则转换表达式如下。

x0＝(θ0-θv)*Wv/αv…(1)

y0＝(h0-hv)*Hv/100…(2)

显示控制单元314典型地遵循显示单元10的方位或者姿态的变化改变在视场V中对象B的显示位置。继续该控制，只要对象B的至少一部分呈现在视场V中。

但是，近年来，显示区域趋向于由于HMD的尺寸缩小而更窄。另外，在透明型头戴式显示器中，例如，存在需要在保证透明区域的同时限制信息显示区域的情况。在这种情况下，当对象B的显示位置如上所述地遵循显示单元10的方位或者姿态的变化而在视场V中变化时，存在变得难以将对象B保持在视场V中的担心。为了解决这种问题，根据该实施例的HMD 100具有以下将要描述的对象显示固定功能。

<对象显示固定功能>

(1)非严格属性的引入

显示控制单元314配置为能够执行根据当显示单元10的方位或者姿态改变预定角度或者更大角度时的方位或者姿态的变化而在视场V中移动对象，并且当方位或者姿态的变化小于预定角度时固定在视场V中的对象的显示位置的处理。

在本实施例中，非严格属性可以被引入对象中。也就是，如果对象B不固定在世界坐标系(柱坐标C0)的一个位置上，且用户U的眼睛的方向落入某个角度范围内，则可以在显示单元10的局部坐标系(x,y)中固定和显示对象。通过执行这种处理，可以容易地保持对象在视场V中的状态。由此，调节由于环绕纵轴或者横轴的用户U的姿态的无意变化导致的对象的移动，可以增加对象的可见性。

该预定角度可以是环绕纵轴(Z轴)的角度，可以是环绕横轴(X轴和/或Y轴)的角度或者可以是两者。可以适当地设置预定角度的值且例如是±15°。该预定角度可以在环绕纵轴的角度(第一预定角度)和环绕横轴的角度(第二预定角度)之间相同或者可以在其间不同。

(2)第一抓取功能

显示控制单元314配置为能够执行当检测器20的输出的变化在预定时间上等于或者小于预定值时移动对象B到在视场V中的预定位置的处理。

在本实施例中，如果检测器20的输出在预定时间上不改变，则用户参考在视场V中显示的对象的概率高，由此可以通过移动对象到在视场中的预定位置来增加图像的可见性。

预定时间不特别限制，且例如设置为大约五秒。另外，预定位置不特别限制预定，且例如是视场V的中心或者角，或者是上、下、左和右位置的任何一个的偏离位置。另外，可以以扩大状态(例如，放大状态)显示移动之后的对象。

例如，如果对于预定时间没有以对象在视场V的中心识别出检测器20的输出的变化，则该功能可以在视场V的局部坐标系(x,y)的预定位置固定地显示对象B。在该情况下，当检测器20的输出超过预定值时，解除固定地显示对象的功能。在此时检测器20的输出值可以是与等于或者大于显示单元10环绕预定轴的预定角度的姿态的变化对应的输出的变化量，或者可以是输出的另一变化量。

(3)第二抓取功能

当检测到根据用户U的操作产生的预定信号的输入时，显示控制单元314配置为能够执行移动对象到在视场V中的预定位置的处理。也通过这种配置，可以如上所述地增加图像的可见性，并根据用户的意图控制图像的显示。

在该处理中，例如，通过调整对象到视场V的中心并在输入操作单元305或者便携式信息终端200上执行预定输入操作，对象固定到视场V的局部坐标系(x,y)。然后，通过再次操作输入操作单元305等，对象被恢复到世界坐标系且解除固定地显示对象的功能。

(4)图像稳定功能

当在对象显示在视场V中的预定位置的情况下检测器20的输出的变化等于或者高于预定频率时，显示控制单元314配置为能够执行取消等于或者高于预定频率的检测器20的输出的频率分量的处理。

当在视场V中的对象遵循显示单元10的方位或者姿态的变化而移动时，存在其也遵循用户U的面部的轻微摇动而对象的可见性恶化的担心。为了避免该问题，可以对于等于或者高于预定值的高频分量防止对象遵循显示单元10的姿态的变化，且可以对于低于预定值的低频分量在视场V(局部坐标系)中固定对象显示位置。例如，预定频率设置为与用户的面部的摇动对应的频率。通过此，可以保证图像的可见性而不接收用户的面部的轻微摇动的影响。

图10A和图10B是用于描述图像稳定功能的概念图。在图中，V1表示在某个时点的局部坐标系且V2表示对应于V1的图像稳定坐标系。OP和OP’示出V1和V2的原点。

当使能图像稳定功能时，对象放置在图像稳定坐标系中。图像稳定坐标系通过PD控制经历相对于视场V的局部坐标系(x,y)的后续控制(follow-up control)。PD控制是一种反馈控制，且总的来说涉及通过组合比例控制和微分控制而收敛到设定值的控制。在图10A和图10B中，关于每个在视场V视场V’之间连接的弹簧(p)和阻尼(d)，弹簧(p)对应于PD控制的P分量且阻尼(d)对应于PD控制的D分量。

作为计算后续控制的方法的示例，假定在某个点t的局部坐标系V1中的点表示为(x(t),y(t))且对应于其的图像稳定坐标系V2中的点表示为(x’(t),y’(t))。另外，在采样周期(Δt)之前的局部坐标系V1中的点表示为(x(t-Δt),y(t-Δt))且对应于其的图像稳定坐标系V2中的点表示为(x’(t-Δt),y’(t-Δt))。假定对应点之间的差值表示为(Δx(t),Δy(t))，其表示为如下。

Δx(t)＝x’(t)-x(t)…(3)

Δy(t)＝y’(t)-y(t)…(4)

假定对应点之间的速度差表示为(Δvx(t),Δvy(t))，其表示为如下。

Δvx(t)＝{Δx’(t)-Δx’(t-Δt)}-{Δx(t)-Δx(t-Δt)}…(5)

Δvy(t)＝{Δy’(t)-Δy’(t-Δt)}-{Δy(t)-Δy(t-Δt)}…(6).

图像稳定坐标系V1’遵循在那时的局部坐标系V1应该移动的量(Δp(t),Δq(t))表示如下。

Δp(t)＝Px×Δx(t)+Dx×Δvx(t)…(7)

Δq(t)＝Py×Δy(t)+Dy×Δvy(t)…(8)

其中，Px和Py是x和y的差值增益常数，且Dx和Dy是x和y的速度增益常数。

即使局部坐标系V1旋转，图像稳定坐标系V1’不遵循旋转分量(图10B)。也就是，即使用户在用户的前面和后面方向上环绕轴倾斜面部，也调节对象的倾斜。

上述对象显示固定功能(1)到(4)可以单独地应用或者可以适当地组合和应用。例如，可应用以上的(1)到(3)以及以上的(4)中的任何一个的组合。

<区域限制功能>

接下来，将描述HMD 100的区域限制功能。

近年来，在透明型头戴式显示器中，例如，存在需要在保证透明区域的同时限制信息显示区域的情况。在该情况下，存在对象图像难以进入视场的担心。因此，在本实施例中，为了增加对象的可搜索性的目的，提供世界坐标系的区域限制功能。

如上所述，坐标设置单元311用作能够根据视场V的高度方向上的区域(Hv)限制在柱坐标C0中围绕显示单元10的沿着Z轴方向的区域(H)的区域限制器(参见图5A)。通过限制柱坐标C0的高度H，可以增加用户的水平视场中图像的可搜索性和可见性。

不特别限制高度方向上柱坐标C0的限制量。在本实施例中，柱坐标C0的高度限于等于视场V的高度Hv的高度(H1)。如果使能区域限制功能，则显示控制单元314配置为能够至少改变柱坐标系(θ,h)的h坐标并在视场V中显示对象B1到B4，以使得对象B1到B4位于限制其区域的柱坐标C0。

图11A和图11B是示出使得对应于其区域限于高度H1和视场V的柱坐标C1的对象B1到B4之间的相对位置关系的示意图。用户U可以仅通过改变环绕Z轴(纵轴)的姿态来观看使得对应于所有方位的对象B1到B4，由此显著地增加对象B1到B4的可搜索性。

虽然在图11A的实例中所有对象B1到B4位于柱坐标C1中，它不限于此，且至少一个对象可以取决于需要而位于柱坐标C1中。另外，不特别限制位于柱坐标C1中的对象B1到B4的高度，且可以适当地设置每一高度。

另外，虽然在图11的实例中整个对象B1到B4位于柱坐标C1中，可以在视场V中显示对象B1到B4的至少一部分。通过此，可以容易地识别以某个方位呈现的图像。在该情况下，柱坐标C1的高度H1可以关于输入操作单元305等根据用户U的输入操作可改变为更大高度。通过此，可以观看整个对象。

是否使能或者禁用上述区域限制功能可根据用户U的设置选择。在根据该实施例的HMD 100中，使用世界坐标系作为柱坐标C1的区域限制功能以使能状态作为正常模式设置。可以根据用户的自发设置改变来执行区域限制功能(例如，高度H的变化)的变化或者切换到禁用状态。

另一方面，当检测根据用户U的操作产生的预定信号的输入时，控制单元30可以配置为能够执行将柱坐标中高度方向上的区域限制为视场V的高度方向上的区域(Hv)，并在视场V中在相同高度对齐在视场V中显示的所有对象的处理。

也就是，如果区域限制功能处于使能状态或者如果世界坐标系设置在除了柱坐标C1之外的柱坐标中，则世界坐标系关于输入操作单元305等根据用户U的输入操作强制切换到柱坐标C1。另外，对象B1到B4位于柱坐标C1中的位置，以使得所有对象B1到B4显示在视场V中的相同高度，如图11B所示。通过此，可以进一步增强在视场中显示的图像的可见性。

<图像管理功能>

接下来，将描述HMD 100的图像管理功能。

如上所述，在本实施例中，便携式信息终端200用于发送对象数据到控制单元30。便携式信息终端200包括测量用户U(显示单元10)的位置的位置信息获取单元207和包括发射器/接收器203等的图像获取单元，该图像获取单元能够从服务器N等获取应该在控制单元30的存储器302中存储的多个对象(B1到B4)。

在本实施例中，控制单元30请求便携式信息终端200发送从多个对象数据项选出的一个或多个对象数据项。然后，便携式信息终端200发送所请求的对象数据到控制单元30。

为了在显示单元10的视场V中流畅地绘制对象，便携式信息终端200和控制单元30之间的通信速度和延迟(从发出传输请求到图像的实际传输的时间)变得有问题。在本实施例中，为了避免通信速度和延迟的问题的目的，控制单元30(在该实例中，图像管理单元312)如下配置。

首先，控制单元30配置为预先从便携式信息终端200获取需要的多个对象数据项。通过此，可以在控制单元30处控制在视场V中对象的绘制定时。变得可以以适当的定时提供需要的对象到用户U而不考虑通信环境等。

另外，控制单元30配置为请求便携式信息终端200优先地发送使得与柱坐标C0中视场V的显示区域最接近的坐标位置对应的对象。通过以该方式优先地获取具有呈现在视场V中的高概率的对象数据，可以避免在视场V中显示的对象的延迟。

此时，图像管理单元312配置为能够执行在世界坐标中首先设置与对象的排列位置对应的一个或多个帧且然后以帧的高优先级布置对象的处理。注意到，“在世界坐标中布置帧或者对象”指的是使得帧或者对象对应于世界坐标。

作为示例，图12A、图12B和图13示出在其区域限于高度H1的柱坐标C1中布置对象B3和B4的处理。注意到，以下处理也可应用于不限制其区域的柱坐标C0或者由其他三维坐标构成的世界坐标系。

在本实施例中，用于定义对象的坐标位置的对象的每个图像数据项(对象数据项)和帧数据项从便携式信息终端200发送到控制单元30。帧数据项具有小于对象数据项的数据量，由此其需要的获取时间比对象数据项的短。因此，首先执行用于帧数据获取的通信，然后以优先次序执行用于对象数据获取的通信。

(帧登记阶段)

首先，便携式信息终端200检查是否发送用于布置对象B3的帧F3到控制单元30(步骤101)。相应地，控制单元30请求便携式信息终端200发送帧F3(步骤102)。控制单元30在存储器302中存储所接收的帧F3，由此在柱坐标C1中的相应位置布置帧F3。

接下来，便携式信息终端200检查是否发送用于布置对象B4的帧F4到控制单元30(步骤103)。相应地，控制单元30请求便携式信息终端200发送帧F4(步骤104)。控制单元30在存储器302中存储所接收的帧F4，由此在柱坐标C1中的相应位置布置帧F4。在发送所有帧数据项之后，便携式信息终端200通知控制单元30发出对象数据项的许可(步骤105)。

(数据获取阶段)

控制单元30使用对象数据项的传输许可通知作为触发器而变换到数据获取阶段。具体地，例如，控制单元30基于检测器20的输出确定最接近当前视场V(显示单元10)的方位的帧(在该实例中，为帧F4)，并请求发送属于该帧的对象(在该实例中，为对象B4)的图像数据(步骤106)。响应于该请求，便携式信息终端200发送对象B4的图像数据到控制单元30(步骤107)。控制单元30在存储器302中存储对象B4的所接收的图像数据和在柱坐标C1中在帧F4中布置对象B4。

接下来，控制单元30确定仅次于帧F4的第二最接近视场V的方位的帧(在该实例中，帧F3)，并请求发送属于该帧的对象(在该实例中，对象B3)的图像数据(步骤108)。响应于该请求，便携式信息终端200发送对象B3的图像数据到控制单元30(步骤109)。控制单元30在存储器302中存储所接收的对象B3的图像数据和在柱坐标C1中在帧F3中布置对象B3。

如上所述，控制单元30配置为能够预先寄存柱坐标C1中对象的帧数据项，以使得可以确定以当前视场V为基准的对象的获取优先级，并基于确定结果从具有高优先级(最接近视场V)的对象顺序地获取图像数据项。

在对象是动画对象的情况下，仅需要考虑当前时间和动画帧时间来执行优先级设置。例如，控制单元30配置为请求便携式信息终端200集中地发送构成动画图像的所有图像的至少一些图像。由此，即使对象是动画图像，也可以通过关于帧速率兑付需要的数目的图像(例如，一秒的图像)来动态地处理这种情况。

为了如上所述地构造该系统，需要增加保持对象数据项的存储器302的容量。但是，通过优先地保持具有高必要性的对象数据项和动态地进行丢弃具有低必要性的数据项的处理，即使不能保持所有对象的数据项也可以实现适当的对象显示。注意到，丢弃的数据项仅需要如有必要则再次获取。

也就是，控制单元30可以配置为相对于存储器302中存储的所有对象，规则地评估其坐标位置和视场V的显示区域之间的距离，并从存储器302除去在距视场V的显示区域最远的坐标位置的对象。具体地，基于柱坐标C1中所有对象中的每一个和视场V的当前方位之间的相对位置关系，评估所有对象的优先级并除去具有低优先级的对象数据。通过此，可以保证接近于视场V的对象数据的存储区。

不特别限制评估优先级的方法。例如，可以基于柱坐标C1中视场V的中心位置和对象的中心位置之间的像素的数目评估优先级。另外，在动画图像的情况下，估计值可以乘以基于再现时间的系数。

[HMD的操作]

接下来，将描述根据该实施例的包括由此配置的HMD 100的HMD系统的操作的实例。

图14是用于描述根据该实施例的HMD系统的操作的概况的流程图。

首先，使用便携式信息终端200的位置信息获取单元207，测量用户U(显示单元10)的当前位置(步骤201)。显示单元10的位置信息被发送到服务器N。然后，便携式信息终端200从服务器N获取关于呈现在用户U周围的实际空间的预定目标的对象数据(步骤202)。

接下来，便携式信息终端200可以发出用于发送对象数据到控制单元30的准备完成的通知。控制单元30(在该实例中，为坐标设置单元311)根据对象数据的种类等设置用作世界坐标系的柱坐标C0的高度(H)和半径(R)(步骤203)。

在该情况下，如果使能根据由显示单元10提供的视场V的高度(Hv)的区域限制功能，则坐标设置单元311例如设置世界坐标系为图12A所示的柱坐标C1。

接下来，控制单元30基于检测器20的输出检测视场V的方位(步骤204)。控制单元30从便携式信息终端200获取对象数据，并将其存储在存储器302中(步骤205)。

图15是示出控制单元30的对象数据的接收处理的实例的流程图。

在从便携式信息终端200接收到对象数据的传输许可检查之后(步骤301)，控制单元30确定是否完成所有对象的帧登记(步骤302)。这是因为除非没有完成所有对象的帧登记否则不固定对象的坐标位置，且对象优先级的评价是不可能的。如果没有完成帧登记则终止该处理，且执行上述未完成帧的登记处理。

否则，如果所有对象的帧登记完成，则检查未接收到的对象的存在和不存在以及存储器302的容量(步骤303)。如果存在未登记的对象且存储容量足够，则接收未登记的对象并存储在存储器302中(步骤304)。

注意到控制单元30规则地评估存储器302中对象的优先级，并如有必要除去具有低估计值的那一个。

如果任意对象数据项呈现在柱坐标C0中视场V的相应区域中，则控制单元30经由显示单元10在视场V中的相应位置显示(绘制)该对象(步骤206)。在视场V中显示该对象时，可以应用任意上述的对象显示固定功能。

图16是示出由控制单元30在视场V中对象的绘制过程的实例的流程图。

控制单元30基于检测器20的输出计算当前视场V的方位(步骤401)。视场V的方位被转换为世界坐标系(θ,h)且监视其对应于柱坐标C0中的哪个位置。

接下来，控制单元30确定在存储器302中存储的所有对象当中是否存在未扫描的对象(步骤402)。一旦每一屏幕更新则关于存储器302中存储的所有对象执行扫描。

如果存在未扫描的对象，则确定该对象是否是世界坐标系的对象(步骤403)，且在“否”的情况下在视场V中绘制该对象(步骤404)。

否则，如果在步骤403确定是“是”，然后，确定是否任意对象显示固定功能(例如，第一抓取功能)应用于该对象(步骤405)。如果应用该功能，则在满足意图的条件时在视场V中固定地显示该对象(步骤406)。否则，如果没有应用任意显示固定功能，在视场V中抓获对象位置时在视场V中绘制该对象(步骤407)。

以下，重复上述处理。通过此，变得可以经由显示单元10提供对应于用户U的当前位置的最新对象到用户U。

(应用实例)

以下，将描述根据该实施例的HMD 100的应用实例。

[应用实例1]

如果通过视场V提供的图像的显示模式相同，则某些情况下取决于通过其显示的信息的属性(种类)对于用户是没有用的。因此，显示控制单元314配置为获取关于显示单元10和目标A1到A4之间的相对位置的信息，并根据相对位置的变化控制在视场V中显示的图像的显示模式。

图17示出关于目标T21的对象(图像)B21的显示模式。例如，目标T21是城镇中的咖啡店。对象B21示出特殊的赠券可用作关于目标T21的信息。存在期望以恒定尺寸显示包括字符信息等的这种对象而不考虑用户和对象之间的距离的情况。

在该实例中，显示控制单元314经由检测器20和便携式信息终端30获取关于显示单元10和目标T21之间的相对距离的信息，作为关于显示单元10和目标T21之间的相对位置的信息。然后，显示控制单元314配置为根据相对距离的变化改变在视场V中显示的对象B21的位置。

通过此，如果目标T21远离用户，则用户也可以观看关于目标T21的信息和基于对象B21的指示位置知道目标位置T21。另外，随着用户和目标T21之间的距离变得更短，在视场V中目标T21的尺寸和位置也改变。此时，也改变对象B21的显示位置，由此用户可以容易地标识目标T21的位置。

例如，当用户和目标之间的距离改变预定值或更多时，执行对象B21的显示位置的改变。例如，当改变等于或者大于预定值(例如，10m或更多)的用户和目标之间的相对距离时，执行对象B21到视场V的重新显示(重新呈现)。通过此，与在预定短时间间隔恒定地执行对象的重新显示的情况相比，可以实现在控制单元30的比如计算之类的处理负荷的减少。

另一方面，图18示出关于目标T22的对象(图像)B22的显示模式的变化。在该实例中，显示控制单元314配置为根据显示单元10和目标T22之间相对距离的变化来改变在视场V中显示的对象B21的位置和尺寸。

在该实例中，取决于用户和目标之间的距离设置几个显示级别。图18示出同一对象B22在随着用户靠近目标T22而逐渐放大的同时移动到右边的状态。当显示随后的对象时隐藏先前显示的对象。显示级别的变化可以包括对象的显示位置或者尺寸改变的阶段。

根据对象的这种显示模式，可以优先于关于呈现在与用户分开的位置的目标的信息在视场V中显示关于在用户附近存在的目标的信息。注意到，至于在视场V中显示的对象的优先级，其他属性的显示信息(目标信息、更新信息、地点名称信息)可以设置为除了距离信息之外的参考参数。

图19示出关于目标T23的对象(图像)B23的显示模式。在该实例中，对象B23是三维图像，且显示控制单元314经由检测器20和便携式信息终端30获取关于显示单元10以目标T23为中心的角位置的信息，作为关于显示单元10和目标T23之间的相对位置的信息。然后，显示控制单元314配置为根据角位置的变化三维地改变在视场V中显示的对象B21的定位(orientation)。

根据对象的这种显示模式，例如，通过用户环绕目标T23行走，可以显示在水平面中旋转的对象B23。例如，如果目标T23是历史点或者地点，则那时的状态可以三维地绘制为对象B23。如果目标T23是用于建筑的地点，则计划建造的建筑可以绘制为对象B23。

在该情况下，存储器302配置为存储关于预定目标的多个图像，且显示控制单元314配置为根据用户操作从多个图像选择应该在视场V中显示的图像。

例如，如图20所示，如果目标T24是在某个旅游区中的城堡地点，则显示在视场V中包括关于城堡地点的信息的对象B24。对象B24从预定方式显示其中再现那时的城堡的状态的图像的存在。然后，根据用户的输入操作单元305的操作，对象B24切换到其中如图21所示再现那时的城堡的状态的对象B24a。替代地，根据上述操作，对象B24切换到其中再现在那时之前过去的城堡的状态或者位置的对象B24b。

注意到，通过例如将可以从社区的服务器下载的旅游区应用安装到便携式信息终端200中，而获取对象B24a和B24b的图像数据。

[应用实例2]

如果在视场V中显示多个图像，则存在图像的可见性反而恶化且信息不能适当地呈现给用户的情况。因此，显示控制单元314配置为从存储器302(存储单元)提取包括满足由用户设置的至少一个显示条件的信息的图像和在视场V中选择性地显示提取的图像。

在该实例中，使用对象的属性参数执行过滤，且确定投射(绘制)到柱坐标C0的那些或者未投射(绘制)到柱坐标C0的那些。作为对象的属性参数，例如，举例说明以下。

(1)距用户的距离(实例：100m内的对象)

(2)重要性程度(实例：目的地、朋友的当前位置、交通拥堵信息)

(3)类别(实例：旅游点，便利商店)

(4)更新时间(实例：公告牌信息)

(5)历史时间(实例：以时间信息作为基准挑选出的历史地点)

作为使用过滤的方法，例如，关于预先准备的梗概模式登记过滤条件且可以在视场V中仅显示满足该过滤条件的对象。例如，梗概模式和过滤条件由用户输入到便携式信息终端200中。

作为梗概模式的示例，举例说明以下。

(a)旅游者模式(实例：显示1km半径内的旅游点)

(b)历史地点搜索模式(实例：显示在10km半径内Edo时代的历史地点)

(c)新信息显示模式(实例：在10km半径内在新更新的日期与时间显示20项)

(d)朋友搜索方式(实例：显示用户附近的五个朋友)

例如，在以上(a)的情况下，输入(1)和(3)的属性参数作为过滤条件。类似地，在以上(b)的情况下(1)和(5)，在以上(c)的情况下(1)和(4)，且在以上(d)的情况下(1)和(2)中的每个作为过滤条件输入。

图23是在控制单元30(显示控制单元314)执行的处理的流程图。

控制单元30从存储器302中存储的对象提取满足输入过滤条件(显示条件)的对象，并将其投射到柱坐标C0(步骤501和502)。随后，控制单元30计算从先前对象投影时间开始用户的移动距离，并且如果其等于或者大于预定值(例如，10m或更多)则重新投射对象到柱坐标C0(步骤503、501和502)。重复上述处理直到该梗概模式终止为止。

对象的重新投影包括同一对象的位置或者尺寸的变化、新对象的投影等。

(显示控制实例1)

图24示出例如当汽车导航应用设置为梗概模式时对象的显示实例。这里，作为过滤条件，将描述输入另一汽车中的朋友的位置、目的地信息和交通信号名称的实例。

在视场V中显示关于从像由用户驾驶的汽车观察到的那样的目标的各种对象。目标包括朋友的汽车、交通信号和目的地。作为与其有关的对象，显示朋友的汽车的位置信息(B251)、十字路口名称(信号名称)(B252)和目的地的位置和距离信息(B253)。基于输入到用户的便携式信息终端200中的、朋友佩戴的HMD的ID等显示对象B251。

例如，将在距用户100m距离内(作为距离条件)存在的十字路口(交通信号)设置为关于十字路口名称的对象B252的目标。另一方面，关于与朋友的汽车和目的地有关的对象B251和B253，因为其是重要信息，所以不需要应用距离条件。

控制单元30基于用户的位置信息在视场V中显示对象B251到B253。控制单元30监视在显示对象B251到B253之后用户的移动距离。如果其变得等于或者大于预定距离(例如，10m)，则为了改变对象B251到B253的位置和尺寸或者显示包括下一十字路口名称的对象，更新在视场V中的对象。重复地执行这种显示控制直到用户到达目的地为止。

(显示控制实例2)

另一方面，如果许多对象显示在视场V中或者对象以重叠方法显示，则存在难以以对用户有用的方式标识或者观看对象的情况。因此，控制单元30(显示控制单元314)可以配置为如果应该在视场V中显示的图像包括多个图像则交替地显示该多个图像。

例如，如图25A和图25B所示，示出十字路口名称的对象B252和示出朋友的汽车信息和目的地信息的对象B251和B253可以对于每个预定时间交替地显示。通过此，可以增加在视场V中对象的可见性和区分力。

如果每个显示位置偏离并显示以使得对象彼此不重叠，则存在难以标识对象和目标之间的对应性的情况。根据该实例，通过在时间方向上偏置每个对象的显示定时来保证对象的可见性和区分力。

替代地，可以对于每个属性参数分类同时显示的对象的组。通过此，保证对象列表性质，由此可以以一次观看检查用户的高级信息。

另外，根据在视场V中对象的数目和重叠量，可以确定一组显示的对象或者一组交替地显示的对象。例如，可以在不拥挤的地方同时显示十字路口名称和建筑物名称，且可以在拥挤的地方以时间滞后显示十字路口名称和建筑物名称。

<第二实施例>

接下来，将描述本技术的第二实施例。以下，将主要描述不同于第一实施例的配置的配置，且将省略或者简化与实施例的配置相同的配置的描述。

根据该实施例的头戴式显示器包括：显示单元，配置为可安装在用户的头部且能够向用户提供实际空间的视场；检测器，检测显示单元的方位；和显示控制单元，基于检测器的输出显示在视场中的图像。

显示控制单元当方位改变第一预定角度或更多时根据方位的变化移动在视场中的图像。

显示控制单元当方位的变化小于第一预定角度时固定在视场中的图像的显示位置。

显示单元和检测器分别对应于第一实施例中描述的显示单元10和检测器20。显示控制单元对应于第一实施例中描述的具有对象显示固定功能((1)非严格属性的引入)的显示控制单元314。

也就是，根据该实施例的头戴式显示器可应用于其中世界坐标不限于柱坐标的另一任意坐标系。也在本实施例中，可以获得与第一实施例中的相同的动作和效果。也就是，可以容易地保持对象在视场中，由此可以调节由用户的姿态的自发变化引起对象的移动，且增强对象的可见性。

注意到，也在本实施例中，可以如在第一实施例中那样提供区域限制功能和图像管理功能的至少一个。

<第三实施例>

接下来，将描述本技术的第三实施例。以下，将主要描述不同于第一实施例的配置的配置，且将省略或者简化与实施例的配置相同的配置的描述。

显示控制单元可以当检测器的输出的变化在预定时间上等于或者小于预定值时，移动图像到在视场中的预定位置。

否则，当显示控制单元检测根据用户操作产生的预定信号的输入时，图像移动到在视场中的预定位置。

显示单元和检测器分别对应于第一实施例中描述的显示单元10和检测器20。显示控制单元对应于第一实施例中描述的具有对象显示固定功能((2)第一抓取功能或者(3)第二抓取功能)的显示控制单元314。

也就是，根据该实施例的头戴式显示器可应用于其世界坐标不限于柱坐标的另一坐标系。也在本实施例中，可以提供与第一实施例中的相同的动作和效果。也就是，可以容易地保持对象在视场中，由此可以调节由用户的姿态的无意变化引起的对象的移动，且增强对象的可见性。

<第四实施例>

接下来，将描述本技术的第四实施例。以下，将主要描述不同于第一实施例的配置的配置，且将省略或者简化与实施例的配置相同的配置的描述。

在视场中的预定位置显示图像的状态中，当检测器的输出的变化等于或者高于预定频率时，显示控制单元取消等于或者高于预定频率的检测器的输出的频率分量。

显示单元和检测器分别对应于第一实施例中描述的显示单元10和检测器20。显示控制单元对应于第一实施例中描述的具有对象显示固定功能((4)图像稳定功能)的显示控制单元314。

也就是，根据该实施例的头戴式显示器可应用于其世界坐标不限于柱坐标的另一任意坐标系。也在本实施例中，可以获取与上述第一实施例中的相同的动作和效果。也就是，可以保证图像的可见性而不接收用户的面部的轻微摇动的影响。

<第五实施例>

随后，将描述本技术的第五实施例。以下，将主要描述不同于第一实施例的配置的配置，且将省略或者简化与实施例的配置相同的配置的描述。

根据该实施例的头戴式显示器包括显示单元、检测器和控制单元。显示单元配置为可安装在用户的头部上且能够向用户提供实际空间的视场。检测器检测环绕显示单元的至少一个轴的方位。第一控制单元包括存储单元和显示控制单元。存储单元存储包括关于呈现在视场中的预定目标的信息的图像，而所述图像被使得与围绕显示单元的三维坐标对应。显示控制单元配置为基于检测器的输出在视场中显示对应于方位的三维坐标中的图像。

显示单元和检测器分别对应于第一实施例中描述的显示单元10和检测器20。存储单元对应于第一实施例中描述的存储器302。显示控制单元对应于第一实施例中描述的显示控制单元314。

也就是，根据该实施例的头戴式显示器可应用于其中世界坐标不限于柱坐标的另一任意坐标系。也在本实施例中，可以获得与第一实施例中的相同的动作和效果。

在本实施例中，显示控制单元可以配置为沿着一个轴的方向将存储单元中存储的预定图像转换为落入视场的显示区中的坐标值，并在视场中显示其。通过此，可以执行遵循视场V的高度的对象的绘制控制，且可以获得与第一实施例中描述的区域限制功能相同的动作和效果。

例如，关于使能区域限制功能的显示模式，如图26所示，如果柱坐标中对象B11和B12的高度坐标超过视场V的显示区，用户U不能通过在视场V中在水平面中改变姿态来在视场V中显示对象B11和B12。

另一方面，在遵循视场V的高度的对象的图像控制的情况下，也遵循高度方向上视场V的区域的限制来限制对象B11和B12的高度坐标。结果，如图27A所示，对象B11和B12的高度坐标改变为落入视场V的显示区域中，且变得可以仅通过用户U的姿态在水平面上的改变而对应于在视场V中的方位来显示对象B11和B12。

另外，如图27B和27C所示，即使视场V在高度方向上改变，对象B11和B12的高度坐标也遵循视场V的高度坐标改变。也在用户看着向上或者向下区域而四处看时，变得可以观看对象B11和B12。

如上所述，遵循视场V的高度的对象可以是柱坐标C0中的所有对象或者可以是对象的一部分。例如，这种对象的选择可以由用户执行或者可以优先地选择示出重要信息的对象。

当然，虽然已经描述了本技术的实施例，但是本技术没有仅限于上述实施例且可以添加各种变化而不脱离本技术的要点。

例如，虽然已经在上述实施例的每一个中描述其中本技术应用于HMD的实例，但是本技术也可应用于例如安装到车辆的舱室中或者飞机的驾驶仓中的平视显示器(HUD)，作为除了HMD之外的图像显示设备。

另外，虽然已经在每一个上述实施例中描述了到透明型HMD的应用实例，本技术也可应用于非透明型HMD。在该情况下，根据本技术的预定对象仅需要在由安装在显示单元上的相机捕获的外部视场中显示。

另外，虽然在每一个上述实施例中HMD 100配置为显示包括关于呈现在视场V中的实际空间中的预定目标的信息的对象，其不限于此，且可以基于用户U的当前位置或者移动方向在视场V中显示目的地指南等。

注意到，本技术还可以采取以下配置。

(1)一种头戴式显示器，包括：

显示单元，配置为可安装在用户的头部上且能够向用户提供实际空间的视场；

检测器，检测显示单元环绕至少一个轴的方位；和

第一控制单元，包括：

区域限制器，能够在围绕显示单元的三维坐标中沿着所述一个轴的方向限制视场的显示区域；

存储单元，存储包括关于呈现在视场中的预定目标的信息的图像，而所述图像被使得对应于三维坐标，和

显示控制单元，配置为基于检测器的输出在视场中显示对应于方位的三维坐标中的图像。

(2)根据(1)的头戴式显示器，其中

显示控制单元获取关于显示单元和预定目标之间的相对位置的信息，并根据相对位置的变化控制在视场中显示的图像的显示模式。

(3)根据(2)的头戴式显示器，其中

关于相对位置的信息包括关于显示单元和预定目标之间的相对距离的信息，和

显示控制单元根据相对距离的变化改变在视场中显示的图像的位置和尺寸中的至少一个。

(4)根据(2)的头戴式显示器，其中

关于相对位置的信息包括以预定目标为中心的关于显示单元的角位置的信息，和

显示控制单元根据角位置的变化三维地改变在视场中显示的图像的定位。

(5)根据(2)的头戴式显示器，其中

显示控制单元从存储单元提取包括满足由用户设置的至少一个显示条件的信息的图像，并在视场中选择性地显示所提取的图像。

(6)根据(5)的头戴式显示器，其中

显示控制单元当应该在视场中显示的图像包括多个图像时，交替地显示所述多个图像中的每一个。

(7)根据(5)的头戴式显示器，其中

所述存储单元存储关于预定目标的多个图像，和

所述显示控制单元根据用户操作从多个图像当中选择应该在视场中显示的图像。

(9)根据(1)到(7)中的任何一个的头戴式显示器，其中

所述检测器检测显示单元环绕纵轴的方位，和

所述区域限制器根据垂直方向上视场的区域限制在柱坐标中环绕纵轴的高度方向上的区域。

(9)根据(1)到(8)中的任何一个的头戴式显示器，其中

所述显示控制单元

当方位改变第一预定角度或者更大时，根据方位的变化移动在视场中的图像，和

当方位的变化小于第一预定角度时固定在视场中的图像的显示位置。

(10)根据(1)到(9)中的任何一个的头戴式显示器，其中

所述显示控制单元当所述检测器的输出的变化在预定时间上等于或者小于预定值时，移动图像到在视场中的预定位置。

(11)根据(1)到(10)中的任何一个的头戴式显示器，其中

所述显示控制单元当检测到根据用户操作产生的预定信号的输入时，移动图像到在视场中的预定位置。

(12)根据(1)到(11)中的任何一个的头戴式显示器，其中

所述显示控制单元当在视场中的预定位置处显示图像的状态下，检测器的输出的变化等于或者高于预定频率时，取消等于或者高于预定频率的检测器的输出的频率分量。

(13)根据(1)到(12)中的任何一个的头戴式显示器，其中

所述第一控制单元当检测到根据用户操作产生的预定信号的输入时，根据所述一个轴的方向上视场的区域限制在三维坐标中的高度方向上的区域，并将在视场中显示的所有图像调整到在视场中的同一高度。

(14)根据(1)到(13)中的任何一个的头戴式显示器，其中

所述图像包括动画图像。

(15)根据(1)到(14)中的任意一个的头戴式显示器，进一步包括：第二控制单元包括获取存储在所述存储单元中的多个图像的图像获取单元。

(16)根据(15)的任何一个的头戴式显示器，其中

所述第一控制单元请求所述第二控制单元发送从所述多个图像当中选出的一个或多个图像。

(17)根据(15)或者(16)的头戴式显示器，其中

所述第一控制单元请求所述第二控制单元优先地发送三维坐标中使得对应于更接近视场的显示区域的坐标位置的图像。

(18)根据(15)到(17)的任何一个的头戴式显示器，其中

所述第二控制单元还包括能够获取显示单元的位置信息的位置信息获取单元，和

所述图像获取单元获取与可以被发送到所述第一控制单元的位置信息对应的图像。

附图标记说明

10 显示单元

11R、11L 显示表面

12R、12L 图像发生器

20 检测器

30 控制单元

100 头戴式显示器(HMD)

200 便携式信息终端

311 坐标设置单元

312 图像管理单元

313 坐标确定单元

314 显示控制单元

A1到A4 目标

B、B1到B4 对象

C0、C1 柱坐标(世界坐标)

V 视场

U 用户

Claims

1.一种头戴式显示器，包括：

检测器，检测显示单元环绕至少一个轴的方位；以及

第一控制单元，包括：

区域限制器，能够在围绕显示单元的三维坐标中沿着所述一个轴的方向限制视场的显示区域，

显示控制单元，配置为基于所述检测器的输出在视场中显示对应于方位的三维坐标下的图像，

其中，所述显示控制单元获取关于所述显示单元和所述预定目标之间的相对位置的信息，并根据相对位置的变化控制在视场中显示的图像的显示模式，

关于相对位置的信息包括以预定目标为中心的关于所述显示单元的角位置的信息，和

所述显示控制单元根据角位置的变化三维地改变在视场中显示的图像的定位。

2.根据权利要求1所述的头戴式显示器，其中

关于相对位置的信息包括关于所述显示单元和所述预定目标之间的相对距离的信息，和

所述显示控制单元根据相对距离的变化改变在视场中显示的图像的位置和尺寸中的至少一个。

3.根据权利要求1所述的头戴式显示器，其中

所述显示控制单元从所述存储单元提取包括满足由用户设置的至少一个显示条件的信息的图像，并在视场中选择性地显示所提取的图像。

4.根据权利要求3所述的头戴式显示器，其中

所述显示控制单元当应该在视场中显示的图像包括多个图像时，交替地显示所述多个图像中的每一个。

5.根据权利要求3所述的头戴式显示器，其中

所述存储单元存储关于预定目标的多个图像，和

所述显示控制单元根据用户操作从所述多个图像当中选择应该在视场中显示的图像。

6.根据权利要求1所述的头戴式显示器，其中

所述检测器检测显示单元环绕纵轴的方位，和

7.根据权利要求1所述的头戴式显示器，其中

所述显示控制单元

8.根据权利要求1所述的头戴式显示器，其中

9.根据权利要求1所述的头戴式显示器，其中

10.根据权利要求1所述的头戴式显示器，其中

所述显示控制单元当在视场中的预定位置处显示图像的状态下，所述检测器的输出的变化等于或者高于预定频率时，取消等于或者高于预定频率的检测器的输出的频率分量。

11.根据权利要求1所述的头戴式显示器，其中

12.根据权利要求1所述的头戴式显示器，其中

所述图像包括动画图像。

13.根据权利要求1的头戴式显示器，进一步包括：

第二控制单元包括获取存储在所述存储单元中的多个图像的图像获取单元。

14.根据权利要求13所述的头戴式显示器，其中

15.根据权利要求13所述的头戴式显示器，其中

16.根据权利要求13所述的头戴式显示器，其中

所述第二控制单元还包括能够获取所述显示单元的位置信息的位置信息获取单元，和

17.一种头戴式显示器，包括：

检测器，检测显示单元环绕至少一个轴的方位；以及

控制单元，包括：

存储单元，存储包括关于呈现在视场中的预定目标的信息的图像，而所述图像被使得对应于围绕所述显示单元的三维坐标，和

显示控制单元，配置为基于所述检测器的输出在视场中显示对应于方位的三维坐标下的图像，其中

显示控制单元沿着所述一个轴的方向将所述存储单元中存储的预定图像转换为落入视场的显示区中的坐标值，并在视场中显示其，

18.一种图像显示设备，包括：

显示单元，能够提供实际空间的视场；

检测器，检测显示单元环绕至少一个轴的方位；以及

控制单元，包括：

19.一种图像显示方法，包括：

检测显示单元环绕至少一个轴的方位，所述显示单元能够提供实际空间的视场；

存储包括关于呈现在视场中的预定目标的信息的图像，而所述图像被使得对应于围绕所述显示单元的三维坐标；

在三维坐标中沿着所述一个轴的方向限制视场的显示区域；和

基于检测器的输出在视场中显示对应于方位的三维坐标下的图像，

其中，获取关于所述显示单元和所述预定目标之间的相对位置的信息，并根据相对位置的变化控制在视场中显示的图像的显示模式，

根据角位置的变化三维地改变在视场中显示的图像的定位。