CN108463839A - 信息处理装置和用户指南呈现方法 - Google Patents

Abstract

显示包含成像设备和用户的真实空间的俯视图且参照成像设备的位置捕获的图像(a)，或者参照用户的面对方向捕获的图像(b)，被呈现为用户指南。在两个图像中，表示成像设备的矩形130和表示用户的圆圈132被以这种方式显示来反映其间的真实位置关系和其方向。此外，由相机视角等定义的表示在水平方向上的游戏区域的区域134和表示用户应该移动的方向的箭头136也被显示。

Description

信息处理装置和用户指南呈现方法

技术领域

本发明涉及基于捕获的图像执行信息处理的信息处理装置，以及由该信息处理装置实现的用户指南呈现方法。

背景技术

现今，用户可观看穿戴在头部并连接到游戏机的头戴式显示器(此后被称为HMD)的显示屏幕来玩视频游戏(例如，见PTL 1)。如果获取用户头部的位置和姿势，使得虚拟世界的图像以这样的方式呈现给用户，例如，根据获取的用户面部的方向来改变视场，有可能产生用户感觉似乎他或她实际上在虚拟世界的情况。一般地，例如通过分析捕获到的用户的可见光或红外光图像，或者基于HMD内部的运动传感器取得的测量，获取用户的位置和姿势。

引用列表

[专利文献]

[PTL 1]

日本专利号5580855

发明内容

[技术问题]

用于基于捕获的图像执行某种信息处理的技术是基于诸如用户的目标物体在相机的视角内的假设。取决于信息处理的性质，用户优选的所处区域可能被限制。然而，由于穿戴HMD的用户不能观看到外面的世界，用户可能迷失方向或可能在进行的游戏中沉浸得太多以至用户可能移动到真实空间中的一个意料之外的地方而没有注意到它。这种偶然性可能会导致信息处理的精度的恶化或其扰乱，也会导致与其它物体的碰撞。在不移除HMD的情况下，用户很难发现不规则行为的原因。如果这种情况频繁地发生，他们将从使用HMD所提供的虚拟空间的世界视野中分心。

本发明是鉴于上述情况做出的。因此，本发明的一个目的是提供以最小的负担来享受HMD呈现的世界的技术。

[解决方案]

根据本发明的一个方面，提供了一种信息处理装置，包括：位置信息获取部分，被配置为获取关于头戴式显示器的位置信息；信息处理部分，被配置为使用关于头戴式显示器的位置信息执行信息处理；输出数据生成部分，被配置为生成并且输出要被显示的图像的数据作为信息处理的结果；以及用户指南生成部分，被配置为利用关于头戴式显示器的位置信息生成并且输出指示关于用户在真实空间中的位置信息的用户指南的图像的数据。

根据本发明的另一个方面，提供了一种用于信息处理装置的用户指南呈现方法。所述方法包括：获取关于头戴式显示器的位置信息的步骤；使用关于头戴式显示器的位置信息执行信息处理的步骤；生成并且输出要被显示的图像的数据作为信息处理的结果的步骤；以及使用关于头戴式显示器的位置信息生成并且输出指示关于用户在真实空间中的位置信息的用户指南的图像的数据的步骤。

附带地，如果以上概述的组成要素或本发明的上述表达式的其它组合在不同形式间被转换，诸如方法、装置、系统、计算机程序以及其上记录了计算机程序的记录介质，它们仍然构成本发明的有效实施例。

[发明的有益效果]

根据本发明，穿戴HMD的用户可以以最小的负担来享受由此呈现的世界。

附图说明

图1是描绘可能应用本发明的一个实施例的信息处理系统的典型配置的示意图。

图2是描绘实施例的HMD的典型外部形状的示意图。

图3是描绘实施例的信息处理装置的内部电路配置的示意图。

图4是描绘实施例的HMD的内部电路配置的示意图。

图5是描绘实施例的信息处理装置的功能块配置的示意图。

图6是说明由实施例从捕获的图像获取的信息的说明图。

图7是描绘本实施例显示为用户指南的每个都是俯视图的典型图像的示意图。

图8是描绘本实施例显示用户指南的图像的典型显示屏幕的示意图。

图9是描绘本实施例显示为用户指南的侧视图的典型图像的示意图。

图10是描绘本实施例显示为用户指南的俯视图的另一典型图像的示意图。

图11是描绘本实施例显示为用户指南的俯视图的又一典型图像的示意图。

图12是描绘本实施例显示为用户指南的点云的典型图像的示意图。

图13是描绘本实施例显示为用户指南的俯视图的又一典型图像的示意图。

图14是描绘本实施例的信息处理装置按照用户的移动生成输出数据的过程的流程图。

具体实施方式

图1描绘可能应用本发明一个实施例的信息处理系统的典型配置。信息处理系统8包括：成像目标物体的成像设备12、基于捕获的图像执行信息处理的信息处理装置10、平面屏幕显示器16和用来显示作为信息处理的结果获得的图像的HMD 18、以及由用户操作的输入设备14。

信息处理装置10可通过线缆或已知的无线通信技术诸如蓝牙(注册商标)与成像设备12、输入设备14、平面屏幕显示器16、以及HMD 18相连接。取决于由信息处理装置10执行的信息处理，平面屏幕显示器16可被省略。装置和设备的外部形状不限于示出的形状。两个或更多的这种设备可能集成在一个单独的设备或装置中。例如，信息处理装置10、输入设备14、以及平面屏幕显示器16可以实现在一个移动终端里。

成像设备12包含以预定的帧速率和机制成像目标物体(诸如用户)的相机，该机制在将输出数据发送到信息处理装置10之前，通过执行已知的处理(诸如在来自相机的输出信号上去马赛克)生成捕获图像的输出数据。提供了一种相机，包含用于普通数码相机或数码摄像机的可见光传感器，诸如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。成像设备12可包含单个相机或如图示的具有以已知距离布置在右边和左边的两个相机的所谓立体相机。

作为另一种选择，成像设备12可通过将单目相机和向目标物体发射诸如红外线的参考光并且测量其反射光的设备组合形成。当提供了立体相机或反射光测量机制时，可能找出目标物体在三维真实空间里的位置。这允许信息处理装置10来执行信息处理或显示设备用更多样化的方式给出图像显示。公知的是，立体相机通过利用从右和左视点捕获的立体图像、借助三角测量的原理来确定从相机到目标物体的距离。通过基于飞行时间(TOF)的反射参考光的测量或使用模式投影法来确定从相机到目标物体的距离的技术也是公知的。

下文主要是对成像设备12捕获立体图像的方式的描述。然而，这并不限制本发明如何实践。在成像设备12中仅需要包含至少一个相机。信息处理装置10利用从成像设备12发送的数据执行必要的信息处理，以便生成诸如图像和音频数据的输出数据。信息处理装置10执行的处理内容不作特别限制，并且可能取决于例如用户期望的功能、应用或电子内容来根据需要确定。

信息处理装置10典型地执行已知处理，诸如在捕获的图像上的人脸检测和追踪，以便推进视频游戏(其中出现反映用户移动的角色作为目标物体)或将用户的移动转换成用于信息处理的命令输入。在这时，可使用附加在输入设备14上的标记来获取输入设备14的移动。另外，附加于HMD 18的外表面的多个标记可被追踪，以便识别穿戴HMD 18的用户的头部的位置和姿势。然后按照识别出的用户头部的位置和姿势，使HMD 18显示如从被移动的视点观看到的虚拟世界。由信息处理装置10生成的输出数据至少被发送到HMD 18。

HMD 18是在放置在用户眼前的诸如有机电致发光(EL)面板的显示面板上将图像呈现给穿戴它的用户的显示设备。例如，生成从右和左视点捕获的视差图像并且在平分显示屏幕的右和左显示区域上显示，使得图像可以被立体视野地观看。然而，这并不限制本发明如何实践。例如，单个图像可被显示在整个显示屏幕上。此外，HMD 18可包含将声音输出到对应于用户耳朵位置的扬声器或耳机。

平面屏幕显示器16可以是装备了输出二维图像的显示单元以及输出声音的扬声器的电视机。例如，平面屏幕显示器16可以是液晶显示电视机、有机EL电视机、等离子显示电视机或个人电脑(PC)显示单元。可替代地，平面屏幕显示器16可以是配备了扬声器的平板电脑终端或移动终端的显示单元。当被用户操作时，输入设备14接收请求例如来开始或结束处理、选择功能或输入各种命令，并且将接收到的请求作为电信号提供给信息处理装置10。

输入设备14可被实现为诸如游戏控制器、键盘、鼠标、操纵杆以及平面屏幕显示器16的显示屏幕上的触摸板的普通输入设备的一个或其组合。输入设备14也可以配备由一个或一组以预定颜色发光的发光单元组成的发光标记布置。在这种情况下，如果信息处理装置10利用捕获的图像追踪标记的移动，则输入设备14本身的移动可被视作用户的操作。作为另一种选择，输入设备14可单独地由发光标记和附加在其上的夹钳装置组成。

图2描绘了HMD 18的典型外部形状。在这个例子中，HMD 18由输出机构部分102和穿戴机构部分104组成。穿戴机构部分104包含穿戴带106，用户通过将穿戴带106以环绕用户头部的方式穿戴来实现装置的固定。穿戴带106是由这种材料制成或由这种方式构成：使得带子的长度是可调整的以适应每个用户头部的周长。例如，穿戴带106可由弹性体制成或可利用带扣或齿轮来进行长度调整。

输出机构部分102包含被塑造当用户穿戴HMD 18时以覆盖双眼的外壳。在外壳108里面是直面用户眼睛的显示器面板。发光标记110a、110b、110c和110d被附加在外壳108的外表面上。尽管发光标记的数目或它们的布置没有被特别地限制，本实施例具有附加在输出机构部分102前面的外壳的四个角上的发光标记。

发光标记110e和110f被进一步附加在穿戴带106后方的两侧。当发光标记以这种方式被布置时，仍然可以基于捕获的图像中的发光标记的数目和位置关系识别出相对于成像设备12面向侧面或背面的移动的用户。需要注意的是，在输出机构部分102下面的发光标记110c和110d、以及在穿戴带106外面的发光标记110e和110f从图2所示的视点上实际上是不可见的，因此这些发光标记的轮廓在示例中用虚线表示。

图3描绘了信息处理装置10的内部电路配置。信息处理装置10包含中央处理单元(CPU)22、图形处理单元(CPU)24、以及主存储器26。这些部件通过总线30相互连接。而且总线30与输入/输出接口28相连接。输入/输出接口28与通信部分32、存储部分34、输出部分36、输入部分38和记录介质驱动部分40相连接，通信部分32包含诸如通用串行总线(USB)、电气与电子工程师协会(IEEE)1394端口、以及有线或无线局域网(LAN)网络接口，存储部分34为诸如硬盘驱动器或非易失存储器，输出部分36将数据输出给平面屏幕显示器16和HMD18，输入部分38接收来自成像设备12、输入设备14和HMD 18的数据输入，记录介质驱动部分40驱动诸如磁盘、光盘或半导体存储器的可移动记录介质。

CPU 22通过运行存储在存储部分34中的操作系统来控制整个信息处理装置。另外，CPU 22执行从可移动记录介质读取并加载到主存储器26、或通过通信部分32下载的各种程序。GPU 24具有几何引擎和呈现处理器的功能。GPU 24根据来自CPU 22的呈现指令执行呈现处理，以便将显示图像存储到帧缓冲器(未描绘)。GPU 24继续将存储在帧缓冲器中的显示图像转换成输出到输出部分36的视频信号。主存储器26是由存储程序和处理所需数据的随机存取存储器(RAM)组成。

图4描绘了HMD 18的内部电路配置。HMD 18包含CPU 50、主存储器52、显示部分54以及音频输出部分56。这些部分通过总线58相连接。而且总线58与输入/输出接口60相连接。输入/输出接口60与由有线或无线LAN网络接口形成的通信部分62、加速度传感器64以及发光部分66相连接。

CPU 50处理通过总线58从HMD 18的部分获得的信息，并且将输出数据提供给显示部分54和音频输出部分56。主存储器52存储CPU 50处理所需要的程序和数据。然而，取决于要执行的应用或要使用的装置的设计，HMD 18仅需要输出从执行几乎所有相关处理的信息处理装置10转发来的数据。在这种情况下，CPU 50和主存储器52可被更简单的设备替代。

由诸如液晶显示面板或有机EL面板组成的显示部分54在穿戴HMD 18的用户眼前显示图像。如上所述，可以在右眼和左眼对应的两个显示区域显示一对视差图像以便呈现立体视图。显示部分54还可包含放置在显示面板和用户眼睛之间的一对镜头，当用户穿戴HMD 18时，这对镜头用来拓宽用户的视角。

当HMD 18被穿戴时，由根据用户的耳朵放置的扬声器或耳机组成的音频输出部分56为用户提供声音。输出音频通道的数目不做特别的限制。通道可以是单声道、立体声或环绕声。通信部分62充当与信息处理装置10或平面屏幕显示器16交换数据的接口。例如，可利用已知的无线通信技术例如蓝牙(注册商标)实现通信部分62。

加速度传感器64通过测量给定轴方向上的重力加速度来检测HMD 18的倾斜。HMD18也可配备其它包含陀螺仪传感器的传感器。由传感器采集到的测量通过通信部分62发送给信息处理装置10。发光部分66是一个发光单元或发光单元的集合。如图2所描绘的，发光单元被附加在HMD 18的外表面的多个位置上。发光单元作为标记被追踪，用来获取HMD 18的位置。另外，从捕获的图像中的发光单元图像的数量和它们的位置关系获取HMD 18的姿势。

信息处理装置10通过整合从多种方法例如加速度传感器64和发光部分66获得的信息更高精度地获取用户头部的位置和姿势。在一些情况下，加速度传感器64可在本实施例中省略。

图5描绘了信息处理装置10的功能模块配置。图5所描绘的功能模块可利用CPU、GPU、存储器以及如图3所描绘的数据总线通过硬件，或利用典型地从记录介质加载到存储器来实现诸如数据输入、数据保持、图像处理和通信的程序通过软件来配置。因此本领域的技术人员可以理解的是，这些功能模块仅通过硬件、仅通过软件、或其组合以多种形式来配置，并且不限于任何一个此种形式。

信息处理装置10包括：从输入设备14和从HMD 18获取输入信息的输入信息获取部分72，从成像设备12获取捕获图像数据的捕获图像获取部分74，按照诸如视频游戏的内容执行信息处理的信息处理部分76，生成要被输出的数据的输出数据生成部分78，以及存储信息处理和图像生成所需数据的内容数据存储部分84。信息处理装置10还包括：例如基于捕获的图像获取关于用户的位置和姿势信息的位置/姿势信息获取部分80，生成关于用户在真实空间中的情况的信息作为用户指南的用户指南生成部分82，存储用户指南的呈现规则和用户指南输出所需数据的指南数据存储部分85，以及将要输出的数据发送到HMD 18的输出数据发送部分86。

输入信息获取部分72从输入设备14获取用户操作的内容。在这种情况下，用户的操作可包含：对要被执行的应用或内容的选择、处理的开始和结束、命令的输入、和在普通信息处理装置上执行的其它操作，以及用户指南上执行的例如用户指南显示或不显示的选择、和显示为用户指南的图像的方向的切换的操作，如稍后将讨论的。取决于获取的信息的内容，输入信息获取部分72将从输入设备14获取到的信息提供给捕获图像获取部分74、信息处理部分76或用户指南生成部分82。此外，输入信息获取部分72以预定的速率从HMD 18的加速度传感器64接收测量，并且将接收到的测量转发给位置/姿势信息获取部分80。

捕获图像获取部分74以预定的速率获取捕获图像(诸如由成像设备12通过视频成像获得的立体图像)的数据。捕获图像获取部分74还可根据输入信息获取部分72从用户获取的开始/结束请求处理来控制由成像设备12成像的开始和结束，或者可根据信息处理部分76的处理结果来控制要从成像设备12获取的数据的类型。

位置/姿势信息获取部分80以预定的速率从捕获的图像获取关于用户的位置和姿势的信息。例如，基于附加在HMD 18和输入设备14的发光标记的图像来获取用户头部和手部在真实空间里的位置。可替代地，位置/姿势信息获取部分80可结合利用图像分析技术，例如用轮廓线追踪用户身体的部分、或通过模式匹配来检测面部或具有特殊图案的目标物体。取决于成像设备12的配置，位置信息获取部分80可通过测量上述的反射红外线来识别到用户的距离。位置/姿势信息获取部分80还可通过集成来自HMD 18的加速度传感器的测量结果，以更加细节的方式识别用户头部的姿势。此外，取决于要被呈现的用户指南的性质，位置/姿势信息获取部分80还可检测除了用户之外的物体的位置。

信息处理部分76处理诸如由用户指定的视频游戏的电子内容。处理包括对由位置/姿势信息获取部分80获取的用户的位置信息或用户的姿势信息的使用。如上所述，响应于经由输入设备14给出的用户的操作或移动、在由信息处理部分76要执行的下游信息处理的内容没有特别的限制。

根据来自信息处理部分76的请求，输出数据生成部分78生成要被输出为信息处理的结果的图像和音频数据。例如，输出数据生成部分78生成从对应于用户头部的位置和姿势的视点观看的虚拟世界，作为右和左视差图像。当视差图像与来自虚拟世界的音频输出一起在HMD 18中的眼前呈现时，用户获得他或她实际上在虚拟世界的感觉。内容数据存储部分84存储信息处理部分76的信息处理和输出数据生成部分78的数据生成处理所需的程序以及图像和音频数据。

基于由位置/姿势信息获取部分80获取的关于用户和其它物体的位置和姿势信息，用户指南产生部分82执行与呈现用户指南来提示用户确认在真实世界中的周围环境的情况、或者向用户给出关于随后将采取什么行动的建议相关的处理。例如，用户指南生成部分82可以用图形或其它易于理解的格式将诸如与成像设备12的相对位置、用户要处于的合适区域(下面称作“游戏区域”)、以及要返回到游戏区域的中心所要移动的方向此类的信息呈现。

例如，呈现上述信息的用户指南被叠加在进行的游戏屏幕上。这允许用户在视频游戏期间，例如在不移除HMD的情况下了解真实世界的环境。根据用户执行的用户指南显示操作，用户指南生成部分82使用户指南根据需要显示。可替代地，取决于环境而不考虑用户的操作，用户指南生成部分82可以显示用户指南作为危险的警告。

指南数据存储部分85存储成像设备12的相机视角、关于视角的游戏区域的设置、诸如输出用户指南的条件和要呈现的特性的设置信息、以及用于生成用户指南的所需图像数据。根据需要从指南数据存储部分85中检索这些信息项目。除相机视角之外的信息可联合由信息处理部分76执行的信息处理的性质来设置。除了图像显示之外，用户指南生成部分82可用声音呈现用户指南。在这种情况下，根据环境要被输出的音频数据也存储在指南数据存储部分85中。用户指南的典型例子会在稍后讨论。

用户指南生成部分82将产生的用户指南数据提供给输出数据生成部分78。用户指南以始终反映环境中的变化(诸如用户位置)的方式生成。因此只要显示用户指南的任何条件被满足，用户指南生成部分82因此以预定的速率连续地生成数据。输出数据生成部分78将提供的用户指南的图像和声音叠加到由信息处理部分76执行的信息处理作为结果生成的图像和声音上。输出数据发送部分86紧接着获取由输出数据生成部分78生成的输出数据，并且根据需要处理数据之后将数据发送给HMD 18。

图6是说明由实施例从捕获的图像获取的信息的说明图。在图6中，用户120用手握住输入设备14并且穿戴了HMD 18。输入设备14配备了发光标记122，当该设备以适合于操作的方式被握住时，发光标记直面成像设备12。HMD 18的发光标记如图2所描绘的被配置。如果成像设备12是立体相机，则基于构成立体图像的图像之间的视差得到从成像设备12的成像表面到每个发光标记的距离Z。发光标记的图像在右或左捕获图像的图像平面(X-Y平面)上的位置表示距离成像设备12的表面标记位置。

利用距离成像设备12的距离Z反向投射集合了这些信息片段的位置，即特定地在X-Y平面上的位置，以便在真实世界的三维空间里找出每个发光标记的位置。此外，使用HMD18上发光标记图像的数目和这些图像的位置关系来获取HMD 18在真实空间中的姿势(矢量va)。使用输入设备14上发光标记122的图像的配置来获得输入设备14在真实空间中的姿势(矢量vb)。

基于这些设备在真实空间中的位置和姿势，信息处理装置10中的信息处理部分76可表示视场随用户120的面部的方向改变的虚拟世界，或描绘图像中的物体随着输入设备14的运动而移动的方式等。如果利用标记的表面尺寸估计从成像设备12的距离，则成像设备12无需是立体相机。同样适用于采用参考光的距离测量技术。可能没必要同时追踪HMD18和输入设备14。

在上述系统中，用户指南生成部分82将HMD 18的位置和姿势识别为用户的位置和头部姿势，并且将周围环境的情况以易于理解的方式图形化地从用户的立足点显示。图7描绘了每个都是显示为用户指南的俯视图的典型图像。图7中图像(a)和图像(b)的用户指南示意性地描绘了包含成像设备和用户的真实空间的俯视图。图像(a)是参照成像设备的位置的图像，且图像(b)是参照用户方向。在两个图像中，指示成像设备的矩形130和指示用户的圆圈132以反映真实位置关系和相关方向的方式呈现。

指示用户的圆圈132被配置有指向用户实际面向的方向的条。两个图像还包括表示游戏区域的区域134和指向用户要移动方向的箭头136，游戏区域例如由相机视角在水平方向上确定。基本地，游戏区域被设置为在水平方向和垂直方向上与相机的视角一致，或者比相机的视角更狭窄以提供适合于信息处理的位置范围。从相机的深度方向上，游戏区域被设置形成其中位置获取精度保持足够高的范围，或者比这个范围更狭窄以提供适合于信息处理的位置范围。取决于信息处理的性质，例如，根据要玩的视频游戏的类型或者根据用户所在的房间的大小，用户可改变或选择游戏区域的形状和大小。

图像(a)是描绘指示成像设备的矩形130始终位于顶部中心的呈现。这个图像允许用户来确定他或她在游戏区域的左边缘，并且相对地远离成像设备12。用户因此认识到进一步左移或后移将造成从游戏区域脱离。用户也认识到移动以回到游戏区域中心的方向。当用户随着上述显示的用户指南实际移动时，指示用户的圆圈132随着用户的移动而移动。以这种方式显示反映用户的移动的俯视图一方面阐明成像设备和游戏区域之间的相对位置，另一方面阐明成像设备和用户之间的相对位置。俯视图还形象地且客观地显示用户直觉地且模糊地感知到的步长和方向。这使得让信息处理装置10识别出的“场”与用户的运动感知相一致变成可能。

在如图像(a)的呈现中，当用户没有直面成像设备12时，用户的前后/左右取向与图像的上下/左右取向不一致。在这种情况下，向箭头136的方向移动的尝试可能不会成功地完成。相比之下，图像(b)是示出用户始终面对图像的垂直方向的呈现。在这种情况下，改变用户的方向使包含矩形130和区域134的场朝相对于用户相反的方向转动。这允许用户的前后/左右取向与图像的上下/左右取向始终保持一致。结果是，箭头136的方向与用户感知的方向保持一致，使得用户在所需方向上容易地移动。

图中指示成像设备和其它物体的图形图不限制这些事物将如何被表现。设置信息可能会取决于由信息处理部分76所执行的信息处理的性质和环境而改变，诸如要被建立的游戏区域的形状、是否要使用箭头来提供引导、以及如果要提供引导时引导的方向。另外，根据引导的性质，箭头可能是弯曲的例如U形。箭头的长度可能是可变的来表示要行进的距离。取决于信息处理的性质，用于定向俯视图的参考点可在成像设备的位置和用户的位置之间切换。可替代地，例如该切换可由用户利用输入设备14来执行。下面将要讨论的涉及用户指南的切换也可同样地实现。

图8描绘了显示用户指南的图像的典型显示屏幕。显示屏幕200被配置为将如图7所描绘的用户指南202叠加在例如游戏屏幕的内容图像上。用户指南生成部分82在当用户执行操作来显示用户指南时，使用户指南202出现，且当用户执行操作来终止显示时，使用户指南202消失。取决于环境，用户指南202可被显示，而不考虑用户的操作。

在任何情况下，当用户指南叠加在原始内容图像上时，用户不显著地移动视线就能确认显示的信息。另一方面，当内容图像构成具有层次感的虚拟世界时，如果一个没有层次感的分量图像突然出现在眼前，则用户可能感到惊奇或恼怒。

为了避免这样的不愉快，例如可通过模糊或α混合将用户指南202的轮廓柔化。这有助于增强虚拟世界在背景中时处于前景中的用户指南的亲和力。可替代地，整个用户指南202可被做成半透明的。另外，除非在紧急情况下有必要显示信息，否则用户指南202优选地被显示在远离注视点的位置。例如，如果显示是视场随着用户的视线变化这样的，那么视点不可避免地被固定在屏幕的中心。在这种情况下，用户指南202至少显示在离屏幕中心的预定距离之外。

另外，由于人们可以更容易地向下看，而不是向上看，用户指南202可被显示在显示屏幕的下半区域(水平中心线C以下的屏幕区域)。然后用户可以毫不费力地将他或她的注视点从内容图像移动到用户指南。用户也可以继续玩游戏，例如，在注视点保持在内容图像上的同时通过看一眼来查看用户指南202。这些措施有助于抑制用户需要花时间关注已经出现的图像，或者是被迫的小眼球移动让用户感到不适的情况。

图9描绘了显示为用户指南的侧视图的典型图像。这个例子给出了包含成像设备和用户的真实空间的示意性呈现，真实空间是从用户的左侧观看的。也就是说，指示成像设备的矩形140和指示用户的物体142以反映实际距离和相关方向的方式被呈现。该图像也描绘了典型地由相机视角确定的且在垂直方向上指示游戏区域的区域144，以及指示用户要移动的方向的箭头146。

上述显示使用户能辨别出周围的情况，如前参考图7所述。例如，用户可以意识到用户离成像设备如此之近以至于他或她的头部将要伸到视角以外，或者用户离成像设备太远而不能维持处理的精度。其中姿势是由信息处理的性质来定义的，处于错误姿势的用户会被提示来做出改正。例如，如果玩一个给定的游戏是基于用户是坐着的假设，用户突然地站起会被箭头146提示请坐。

与图7所描绘的图像相比，本示例将用户的外貌描绘为更详细的对象。因此可在图像中更详细地反映用户的实际姿势。然而，取决于要被显示的性质，如图7所示的简化图形可能是优选的。也可能通过动画来提示用户采取正确的姿势，在这个动画中，这些对象和图形图像是变化的。例如，通过正在扩大的图形的动画，用户可能会被提示站起，并通过正在缩小的图形的动画来提示坐下。

图10描绘了显示为用户指南的俯视图的另一典型图像。和图7中的图像一样，本示例以反映真实位置关系和相关方向的方式显示了指示成像设备的矩形150和指示用户的圆圈152。另一方面，本示例使用线154而不是游戏区域来表示关于相机视角的信息。具体地，本示例呈现了将相机的视角划分为四个相等部分的指示四个方位的辐射直线，以及表示距离成像设备的距离且间隔预定间距的同心圆弧。

如果被相机视场覆盖的整个区域被设置为游戏区域，则线154大致地界定游戏区域。例如，在信息处理诸如视频游戏被执行之前，用户指南被显示以便穿戴HMD 18的用户在观看显示的用户指南时可以实际上在移动。这样做时，用户一方面可以掌握用户位移和相对于相机视场的方向之间的对应关系，另一方面可掌握用户的步长感知和方向识别。除了在信息处理之前显示，如果用户指南是叠加在HMD上显示的虚拟世界上，则用户可以识别虚拟世界的场景和用户在相机视场中的位置之间的对应关系，并且可以采取相应的行动。

示出的例子是成像设备表示在顶部的俯视图，相似配置的俯视图可以是图7的(b)所描绘的用户垂直面向上的一个。如图9所示的侧视图可以描绘将视角在垂直方向上划分成的相等部分的线、以及表示距离成像设备距离的线。作为另一种选择，由在水平方向上和垂直方向上将视角划分为相等部分的平面、以及相对于成像设备的等距平面构成的三维结构可以被定义。该三维结构之后可从所需的视点被呈现。然后，从用户看到的结构可能会叠加在HMD 18上显示的虚拟世界的图像上，从而在视角和虚拟世界之间提供一种一目了然的对应关系。

图11描绘了显示为用户指南的俯视图的另一典型图像。这个例子是用户始终面对垂直向上方向的呈现。因此，指示用户的圆圈162被呈现在在图像的底部中心，且指示成像设备的矩形160被呈现在反映到用户的相对位置的位置上。而且在这幅图中，线164表示关于用户视场的信息，而不是图10中关于相机视角的信息。

具体地，描绘了放射直线来表示将用户的有效视角划分成四个相等部分的方位，并且描绘了同心圆弧来表示与间隔一定间距的用户之间的距离。在这种情况下，有效视角是一个表示能使人类大脑精确识别物体的角度的已知值。这个用户指南允许用户即使真实世界被HMD隐藏，也能轻易地意识到视场中实际有什么、以及成像设备放置在视场的哪里。这使用户直观地确定朝哪个方向移动以及移动多少才能直面成像设备。尽管示出的例子是关于用户方向的俯视图，该俯视图可以可替代地被描绘为成像设备位于如图10所示的顶部。图10和11描绘的图像中可加入用来指引用户的箭头。

图12描绘了显示为用户指南的点云的典型图像。鉴于图7、9、10和11中的例子是对真实世界的俯视或侧视的二维图，可提供三维空间图像来方便把握倾斜观看时的真实世界。图12给出了这样一个例子，将点云172连同表示成像设备的图形170一起呈现为表示对应于真实世界的三维空间中物体的图像。这里示出的点云172是表示包括用户的物体的表面的点集，通过将物体的深度图反向投射到三维空间得到这个点集。

深度图是一个图像，通过根据上面讨论的立体图像的视差来获得每个像素的深度方向的距离来表示，获得的距离被用作每个像素的像素值。位置/姿势信息获取部分80生成深度图。用户指南生成部分82根据用像素值表示的距离将深度图的每个像素绘制在虚拟的三维空间，从而在球坐标系中安排点以构成点云172。在这个三维空间中，也布置了要由成像设备成像的物体和表示房间地板的平面。这些物体和平面被投射到预定的屏幕坐标系中来生成如图中那样的图像。

深度图随着用户和其它物体的位置和姿势的改变而变化，点云172也如此。结果是，如同前面的例子，用户可以得到对他或她相对于成像设备的位置和移动的客观的掌握。当用户要改变他或她在屏幕平面上的位置和姿势的操作被允许被接受时，用户可以从一个容易观看的角度确认他或她的相对位置。

如果深度图是通过从整个立体图像中提取感兴趣的图像来准备的，则除了用户之外的其它物体也可以同时被呈现。这使得让用户来确定附近是否有任何障碍物或是否有小孩和宠物已经进入游戏区域成为可能。尽管示出的例子仅由表示成像设备的图形170和点云172构成，图像还可包含游戏区域和相机视角的标记，以及如前面的例子中的指向用户要移动的方向的箭头。

图13描绘了显示为用户指南的俯视图的又一典型图像。如图7中的图像一样，这个例子以反映真实位置关系和相关方向的方式示出了指示成像设备的矩形180、指示用户的圆圈182、以及指示游戏区域的区域184。而且在这幅图中，显示在游戏区域的除了用户之外的物体根据其存在用图形图来表示。具体地，显示了指示输入设备的圆圈186和指示障碍物的十字188。

例如，利用上述的深度图或背景差分技术提取除了用户之外的图像获得输入设备和障碍物的位置。例如，根据附加在输入设备外面或输入设备形状上的发光标记将输入设备从其它物体中区别出来。通过找出与前一帧的运动差别来提取任何除了用户之外的移动物体。如果用户错放了输入设备或如果在信息处理过程中输入设备变得必要，用户指南允许用户在不移除HMD的情况下移动并捡起输入设备。如果附近有障碍物或者如果小孩或宠物进入了游戏区域，则用户指南使用户能识别这种物体并使其离开区域，从而避免碰撞或其它危险。

尽管图示的例子同时描绘了指示输入设备和障碍物的图形图，显然取决于环境只有它们中之一才能被呈现。尤其地，例如由于在游戏区域检测到障碍物有危险的情况下，无论用户的操作是什么，用图形表示障碍物位置的用户指南可能被显示在屏幕的中心、或者指南能被用户轻易地注意到的无论什么地方。优选地，用能让用户看一眼就知道它们表示什么的方式来塑造指示用户、输入设备和障碍物的图形图。如描绘的那样，图形图可被塑造得彼此大不相同，着色不同，或者以不同的方式处理以便区分。

该图形图可被表示为动画，其中使它们取决于环境每分钟地闪烁或振动。例如，如果用户将要脱离游戏区域或如果障碍物进入了游戏区域，则动画显示警示用户正在发生的事情。如果某些外力导致成像设备12倒下或改变了它的方向，则可用表示成像设备的闪烁的矩形180警示用户。成像设备12的这种改变可连同捕获图像获取部分74从成像设备12中的加速度传感器中获取测量、被位置/姿势信息获取部分80或被用户指南生成部分82检测到。

下面说明的是在上面讨论的配置中实现的信息处理装置10的操作。图14是描绘本实施例的信息处理装置按照用户的移动生成输出数据的过程的流程图。当用户通过例如输入设备14将处理开始请求发送给信息处理装置10时，该流程图的过程开始。

首先，信息处理装置10的捕获图像获取部分74请求成像设备12开始成像，并且开始获取由成像设备12捕获并输出的图像的数据(S10)。同时，用户指南生成部分82从指南数据存储部分85中读取设置信息，诸如成像设备12的相机视角、对应于该视角的游戏区域、显示用户指南的时间及其因此要显示的特性(S12)。这时候，例如，在用户选择时，与要执行的内容相关联的设置信息可能会被选择性地读出。

然后，姿势/位置信息获取部分80根据捕获的图像获取关于用户位置和姿势的信息(S14)。利用获得的信息，信息处理部分76执行信息处理。输出数据生成部分78渲染要被显示的内容的图像作为信息处理的结果(S16)。同时，用户指南生成部分82通过那时的环境验证显示用户指南的条件是否满足(S18)。显示用户指南的条件包括：为显示用户指南的用户操作的执行、危险的存在(例如在游戏区域中的障碍物)、以及阻碍信息处理正常运行的因素(如成像设备12的不正常的方向)。

如果上述条件中任何一个发生，则用户指南生成部分82可以例如在内部寄存器中将一个标志置位，并且当条件消失时将该标志复位。用这种方式，用户指南生成部分82使处理根据该标志值有条件地分支。如果显示用户指南的条件都不满足(S18中的“否”)，则输出数据发送部分86将内容图像发送给HMD 18，如S16中呈现的一样(S20)。如果任意一个显示用户指南的条件满足(S18中的“是”)，则用户指南生成部分82根据位置/姿势信息获取部分80获取的位置和姿势信息生成用户指南的图像。

当提供了数据时，输出数据生成部分78将用户指南叠加到内容图像上(S20)。输出数据发送部分86将与用户指南叠加的产生的图像输出给HMD 18(S22)。在S20的处理中，用户指南的音频数据也可能被叠加到内容的音频数据上。例如，可以给出特定的语音短语或指令，如“坐下”或“向右移动”。声音图像定位技术同样是可用的，当用户接近游戏区域的边界时，产生一个定位于该边界的预定的警告声音。

要作为用户指南被输出的数据可以仅是图像、仅是声音、或者是二者的组合。取决于设置，由成像设备12捕获的图像可以作为用户指南不加修改地输出给HMD 18。这是个真实的图像，例如，允许用户判断相机的视场中是否有任何障碍物或者相机的安装是否有缺陷。在这种情况下，用户指南生成部分82可在捕获的图像上与图形用户界面(GUI)一起叠加这样的文本信息，如“没有任何障碍物？”，通过这个可提示用户输入确认信息。

在没必要结束进程期间，例如，根据用户做出处理结束的请求，根据位置信息呈现内容图像的步骤、只要任意一个用户指南显示条件被满足而将用户指南叠加到内容图像上的步骤、以及将产生的图像输出给HMD 18的步骤以预定的速率被重复(S24、S14至S22中的“否”)。当出现结束进程的需要时，整个处理被结束(S24中的“是”)。

本发明的上述实施例构成了一个系统，从捕获的图像中的感兴趣的图像获取用户的位置信息，并且使用获取的信息进行信息处理。该系统将关于用户在真实世界中的周围的信息作为用户指南呈现。当穿戴HMD的用户即使不能看见外面的世界，也允许用户识别用户所在位置和要移动的方向。这反过来防止用户从相机视角或假定的游戏区域中脱离出来、并且扰乱信息处理或者与视角之外的物体碰撞。当用户指南同时呈现除了用户之外的物体的情况时，也可避免与游戏区域内的物体的碰撞。

由于可以不移除HMD就做出诸如上述的确认，在认识到当前的环境从而避免危险的情况下，用户的负担减轻了。此外，由于用户指南根据需求被叠加显示在屏幕的合适位置上，用户可以在观看HMD给出的内容图像的同时确认叠加的显示，并且不太容易从内容的世界视野中分心。此外，用户的步长和前进的方向，以及其它需要直观地感知的东西，都以一种与现实世界中的成像设备的位置和游戏区域的范围相关联的方式可视化。由于这个原因，用户会容易地学会要做的适当动作。由于使用了在标准信息处理中用到的位置和姿势信息，用有限的处理负载实现了用户指南。

确定显示俯视图的方向和显示三维空间的视点的标准可由用户来切换。这提供了一种易于理解的显示方式，例如，使用户能够直观地判断要移入的方向。箭头显示和声音指南允许所有年龄、所有理解水平的用户做出合适的移动。

尽管结合给出的特定实施例作为例子描述了本发明，本领域的技术人员应该知晓的是，上述组成元素和各种处理可以各种方式被组合，并且这种组合、变种和修改也落入本发明的范围。

例如，实施例将用户指南呈现为能够使用户了解他或她与成像设备的位置关系的图像。另一方面，例如，如果具体地使用除了成像设备之外的设备用于成像，例如附加在HMD上的相机和运动传感器来识别用户的位置，用户的位置可用与这些物体而不是与成像设备的位置关系来表示。例如，如果游戏区域按照预定的规则被设置，用户在游戏区域中的位置只需要被示出。如果真实空间中存在几个游戏设备或其他用户，且如果要在信息处理中反映与这些物体的位置关系，用户指南中可表示出这个设备或用户的位置，而不是成像设备的位置。

[参考表及列表]

8 信息处理系统

10 信息处理装置

12 成像设备

14 输入设备

16 平面屏幕显示器

18 HMD

22 CPU

24 GPU

26 主存储器

72 输入信息获取部分

74 捕获图像获取部分

76 信息处理部分

78 输出数据生成部分

80 位置/姿势信息获取部分

82 用户指南生成部分

85 指南数据存储部分

86 输出数据发送部分

[工业适用性]

如上所述，本发明适用于例如于游戏机、信息处理装置、显示装置、以及包含任意一个这些装置的系统。

Claims (15)

1.一种信息处理装置，包括：

位置信息获取部分，被配置为获取关于头戴式显示器的位置信息；

信息处理部分，被配置为使用所述关于头戴式显示器的所述位置信息执行信息处理；

输出数据生成部分，被配置为生成并且输出将作为所述信息处理的结果要被显示的图像的数据；以及

用户指南生成部分，被配置为使用所述关于头戴式显示器的所述位置信息，生成并且输出指示关于用户在真实空间中的位置信息的用户指南的图像的数据。

2.根据权利要求1所述的信息处理装置，其中，

所述用户指南生成部分在所述用户指南的图像上指示用于成像所述头戴式显示器以获取其位置信息的成像设备的位置。

3.根据权利要求1或2所述的信息处理装置，其中，

所述用户指南生成部分在所述用户指南的图像上指示设置为所述用户要停留其中的范围的游戏区域。

4.根据权利要求1至3中任一项所述的信息处理装置，其中，

所述位置信息获取部分基于由成像设备捕获的图像，获取关于所述用户以外的物体的位置信息；并且

所述用户指南生成部分在所述用户指南的图像上指示除了所述用户之外的物体的位置。

5.根据权利要求1至4中任一项所述的信息处理装置，其中，

所述用户指南生成部分生成所述用户的俯视图，并且根据由所述位置信息获取部分获取的所述用户的方向来旋转所述俯视图。

6.根据权利要求1至5中任一项所述的信息处理装置，其中，

所述用户指南生成部分在所述用户指南的图像上指示表示要被所述用户采取的行动的图形图。

7.根据权利要求1至6中任一项所述的信息处理装置，其中，

所述用户指南生成部分响应所述用户的操作或者无论用户操作如何，根据由所述位置信息识别的条件来决定是否要显示所述用户指南。

8.根据权利要求2所述的信息处理装置，其中，

所述用户指南生成部分在所述用户指南的图像上指示将所述成像设备的相机视角划分成相等部分的线、以及相对于所述成像设备的等距曲线。

9.根据权利要求1至7中任一项所述的信息处理装置，其中，

所述用户指南生成部分在所述用户指南的图像上显示将用户的有效视角划分成相等部分的线、以及相对于所述用户的等距曲线。

10.根据权利要求2所述的信息处理装置，其中，

所述位置信息获取部分生成带有表示物体距离所述成像设备的距离的像素值的深度图；并且

所述用户指南生成部分在所述用户指南的图像上指示通过将所述深度图的像素反向投射到对象空间而绘制的点云。

11.根据权利要求1至10中任一项所述的信息处理装置，其中，

所述用户指南生成部分根据通过所述位置信息识别的条件、通过输出定位在对应于所述条件的位置的音频数据，发出要被生成的警告声音。

12.根据权利要求1至11中任一项所述的信息处理装置，还包括：

输出数据发送部分，被配置为将要被显示的图像的数据和所述用户指南的图像的数据发送到所述头戴式显示器。

13.根据权利要求3所述的信息处理装置，其中，

根据预定的因素切换所述游戏区域的设置，所述用户指南生成部分在所述用户指南的图像指示对应于所述设置的所述游戏区域。

14.一种与信息处理装置使用的用户指南呈现方法，该方法包括：

获取关于头戴式显示器的位置信息的步骤；

使用所述关于头戴式显示器的所述位置信息执行信息处理的步骤；

生成并输出将作为所述信息处理的结果要被显示的图像的数据的步骤；以及

使用所述关于头戴式显示器的所述位置信息，生成并输出指示关于用户在真实空间的位置信息的用户指南的图像的数据的步骤。

15.一种计算机程序，使计算机实现:

获取关于头戴式显示器的位置信息的功能；

使用所述关于头戴式显示器的所述位置信息执行信息处理的功能；

生成并输出将作为所述信息处理的结果要被显示的图像的数据的功能；以及

使用所述关于头戴式显示器的所述位置信息，生成并输出指示关于用户在真实空间的位置信息的用户指南的图像的数据的功能。