CN110115842B - 应用处理系统、应用处理方法以及应用处理程序 - Google Patents

Abstract

本发明提供应用处理系统、应用处理方法以及应用处理程序。本发明的一个方案的应用处理系统具备一个或多个计算机处理器，通过对装备于用户的头部的头戴显示器输出包含虚拟角色的虚拟空间的图像来对所述用户提供与所述虚拟角色的互动。在一个方案中，所述一个或多个计算机处理器通过执行计算机可读的命令，来基于由所述头戴显示器检测到的一个或多个检测信息确认对所述虚拟角色进行的与所述虚拟空间中的所述用户的头部的活动建立关联的第1行为，对应于选择所述虚拟空间中所含的特定对象物，基于所述一个或多个检测信息来确定对所述虚拟角色进行的未与所述虚拟空间中的所述用户的头部的活动建立关联的第2行为。

Description

应用处理系统、应用处理方法以及应用处理程序

技术领域

本说明书中的公开涉及提供与虚拟角色的互动的应用处理系统、应用处理方法以及应用处理程序。更具体地，本说明书中的公开涉及提供与由头戴显示器检测到的检测信息相应的与虚拟角色的互动的应用处理系统、应用处理方法以及应用处理程序。

背景技术

作为提供与虚拟角色的互动的应用，已知能与虚拟角色进行互动的模拟游戏。相关的模拟游戏例如在特开2012-055644号公报(专利文献1)公开。

在这样的提供与虚拟角色的互动的游戏中，为了提高向游戏的沉浸感而有时利用头戴显示器(以下有时称作「HMD」)。例如已知在HMD显示虚拟空间，能与在该虚拟空间内登场的虚拟角色使用HMD进行互动的VR游戏。作为这种VR游戏，有株式会社万代南梦宫娱乐的「夏日课程」(参考非专利文献1)。

HMD如特开2017-058969号公报(专利文献2)记载的那样具备用于检测用户的头部的位置以及朝向的跟踪传感器。在使用HMD进行游玩的VR游戏中，基于由该跟踪传感器检测到的检测信息来确定虚拟空间内的视点，在HMD显示从如此确定从视点看到的虚拟空间的图像。

在上述的「夏日课程」中，对应于由HMD的跟踪传感器检测到的检测信息来确定针对虚拟角色的行为，使虚拟角色进行针对该确定的行为的反应，由此实现用户与虚拟角色之间的互动。例如若对显示于HMD的虚拟角色的询问做出响应而由装备该HMD的用户点头，则检测到与该点头对应的用户的头部的活动，基于该检测到的头部的活动来确定从虚拟空间内的用户对虚拟角色的行为。例如在检测到与点头对应的用户的头部的活动的情况下，作为从虚拟空间中的用户针对虚拟角色的行为，确认是对来自该虚拟角色的询问进行肯定的回答这样的行为。另外，在由HMD检测到与摇头的活动对应的用户的头部的活动的情况下，作为针对虚拟角色的行为，确认是对来自该虚拟角色的询问进行否定的回答这样的虚拟空间内的行为。决定针对如此确定的用户的行为的虚拟角色的反应，将进行该决定的反应的虚拟角色的图像显示在HMD。

基于HMD的检测信息确定的用户的虚拟空间中的行为限于与点头、摇头这样的用户的头部的活动以及凝视虚拟角色的特定的部位这样用户的视线的活动关联的行为。如此，根据HMD的检测信号确定的从用户针对虚拟角色的行为的变化是限定的。

若能将与用户的身体的头部以外的部位(例如手)建立关联的行为确定为虚拟空间中的该用户的行为，虚拟角色与用户之间的互动的变化就会丰富化。与用户的身体的头部以外的部位建立关联的行为过去基于来自与HMD不同的操作控制器的输入来确定。现有的典型的操作控制器构成为由用户握持。例如在专利第6189497号说明书中公开了：基于对由用户握持的操作控制器的操作来在虚拟空间内确定用户的虚拟的手的位置，通过该虚拟的手进行触摸该虚拟空间内的对象物的行为。

现有技术文献

专利文献

专利文献1：JP特开2012-055644号公报

专利文献2：JP特开2017-058969号公报

专利文献3：JP专利第6189497号说明书

非专利文献

非专利文献1：“夏日课程”、[online]、平成29年12月12日检索、因特网(URL：HYPERLINK″http：//summer-lesson.bn-ent.net/″http：//summer-lesson.bn-ent.net/)

如上述那样，过去为了确定虚拟空间中的用户的行为当中未与用户的头部的活动建立关联的行为(例如在虚拟空间中用手接触这样的行为)而使用与HMD不同的操作控制器。这样的操作控制器的使用，有时有损对应用的沉浸感。另外，在HMD的穿戴时，有因真实空间中的视场被遮挡而难以进行操作控制器的操作这样的问题。

谋求一种应用处理系统，即使不使用与HMD不同的操作控制器也能进行虚拟空间中未与用户的头部的活动建立关联的、对虚拟角色的行为。

发明内容

本公开的目的在于，提供解决或缓和上述的现有技术的问题的至少一部分的技术上的改善。

本公开的具体目的之一在于，提供能对虚拟角色进行未与用户的头部的活动建立关联的行为的应用处理系统中的技术上的改善。

本公开的更具体目的之一在于，提供能基于头戴显示器的检测信息来对虚拟角色进行未与用户的头部的活动建立关联的行为的应用处理系统。

本公开的更具体目的之一在于，使对虚拟角色进行的未与用户的头部的活动建立关联的行为的变化丰富化。

本公开的这些以外的目的参考本说明书整体而得以明确。

本发明的一个方案的应用处理系统具备一个或多个计算机处理器，通过对装备于用户的头部的头戴显示器输出包含虚拟角色的虚拟空间的图像来对所述用户提供与所述虚拟角色的互动。在一个方案中，所述一个或多个计算机处理器通过执行计算机可读的命令，来基于由所述头戴显示器检测到的一个或多个检测信息确定对所述虚拟角色进行的与所述虚拟空间中的所述用户的头部的活动建立关联的第1行为，对应于选择了所述虚拟空间中所含的特定对象物，基于所述一个或多个检测信息确定对所述虚拟角色进行的未与所述虚拟空间中的所述用户的头部的活动建立关联的第2行为。

本发明的一个方案的应用处理系统基础上，所述第2行为是与所述虚拟空间中的所述用户的手的活动建立关联的行为。

本发明的一个方案的应用处理系统基础上，所述第2行为是与所述虚拟空间中的所述用户对道具的使用建立关联的行为。

本发明的一个方案的应用处理系统基础上，对应于所述特定对象物的选择在所述虚拟角色上设定一个或多个角色注视位置，对应于注视在所述虚拟角色上设定的一个或多个角色注视位置当中的至少一者，来确定所述第2行为。

本发明的一个方案的应用处理系统基础上，所述一个或多个角色注视位置包含第1角色注视位置以及第2角色注视位置，所述第2行为包含第1注视位置行为以及第2注视位置行为，通过所述第1角色注视位置的注视将第1注视位置行为确定为所述第2行为，通过所述第2角色注视位置的注视将第2注视位置行为指定为所述第2行为。

本发明的一个方案的应用处理系统基础上，所述特定对象物与第1菜单项以及第2菜单项建立关联，所述第2行为包含与所述第1菜单项建立关联的第1菜单项行为、以及与所述第2菜单项建立关联的第2菜单项行为，通过在所述第1菜单项的注视后注视所述一个或多个角色注视位置当中的至少一者，将所述第1菜单项行为确定为所述第2行为，通过在所述第2菜单项的注视后注视所述一个或多个角色注视位置当中的至少一者，将所述第2菜单项行为确定为所述第2行为。

本发明的一个方案的应用处理系统基础上，所述一个或多个计算机处理器在第1场景中确定所述虚拟空间中的第1主显示区域，所述特定对象物在所述第1场景中配置于所述第1主显示区域之外。

本发明的一个方案的应用处理系统基础上，所述一个或多个计算机处理器在第2场景中确定所述虚拟空间中的第2主显示区域，所述特定对象物在所述第2场景中配置于所述第2主显示区域之外。

本发明的一个方案的应用处理系统基础上，所述一个或多个计算机处理器构成所述虚拟空间，使得在所述虚拟空间中包含进行与所述第1行为或所述第2行为相应的反应的所述虚拟角色。

一个方案的应用处理方法通过一个或多个计算机处理器执行计算机可读的命令。来对装备于用户的头部的头戴显示器输出包含虚拟角色的虚拟空间的图像，从而对所述用户提供与所述虚拟角色的互动。该应用处理方法具备如下进程：基于由所述头戴显示器检测到的一个或多个检测信息来确定对所述虚拟角色进行的与所述虚拟空间中的所述用户的头部的活动建立关联的第1行为；对应于选择了所述虚拟空间中所含的特定对象物，基于所述一个或多个检测信息来确定对所述虚拟角色进行的未与所述虚拟空间中的所述用户的头部的活动建立关联的第2行为。

本发明的一个方案的非临时的计算机可读介质(non-transitory computerreadable medium)存放应用处理程序，其被一个或多个计算机执行，使所述一个或多个计算机进行处理，对装备于用户的头部的头戴显示器输出包含虚拟角色的虚拟空间的图像从而对所述用户提供与所述虚拟角色的互动。该应用处理程序使所述一个或多个计算机处理器执行如下进程：基于由所述头戴显示器检测到的一个或多个检测信息来确定对所述虚拟角色进行的与所述虚拟空间中的所述用户的头部的活动建立关联的第1行为；对应于选择了所述虚拟空间中所含的特定对象物，基于所述一个或多个检测信息来确定对所述虚拟角色进行的未与所述虚拟空间中的所述用户的头部的活动建立关联的第2行为。

发明的效果

根据本说明书公开的实施方式，提供能对虚拟角色进行未与用户的头部的活动建立关联的行为的应用处理系统中的技术上的改善。

附图说明

图1是表示一个实施方式的应用处理系统的框图。

图2是表示图1的应用处理系统中能利用的头戴显示器的示意图。

图3是示意表示装备于用户的头戴显示器的图。

图4a是示意表示一个实施方式的应用处理系统中的虚拟空间的图。在图4a中，在虚拟空间中用户采取站立姿势。

图4b是示意表示一个实施方式的应用处理系统中的虚拟空间的图。在图4b中，在虚拟空间中用户采取仰卧姿势。

图5是说明由一个实施方式的应用处理系统处理的游戏的模式移转的图。

图6是表示一个实施方式中的聊天模式下的处理的流程的流程图。

图7是表示一个实施方式中的聊天模式下的显示图像的示例的图。

图8是表示一个实施方式中的VR模式下的处理的流程的流程图。

图9是表示一个实施方式中的VR模式下的显示图像的示例的图。

图10是表示在一个实施方式中确定第2行为的处理的流程的流程图。

图11a是表示一个实施方式中的VR模式下的显示图像的示例的图。在图11a的显示图像中包含表示菜单项图标的图像。

图11b是表示一个实施方式中的VR模式下的显示图像的示例的图。在图11b的虚拟角色设定多个角色注视位置。

图11c是表示一个实施方式中的VR模式下的显示图像的示例的图。在图11c的显示图像中包含表示虚拟空间中的用户的第2行为的图像。

图11d是表示一个实施方式中的VR模式下的显示图像的示例的图。在图11d的显示图像中包含表示虚拟空间中的用户的第2行为的图像。

图12是表示本发明的其他实施方式的应用处理系统的框图。

附图标记的说明

1、101 应用处理系统

具体实施方式

以下适宜参考附图来说明本发明的种种实施方式。对多幅图中相同或类似的构成要素标注相同的参考附图标记。

参考图1到图3来说明一个实施方式的应用处理系统。图1是表示一个实施方式的应用处理系统1的框图，图2是应用处理系统1中所用的头戴显示器10(以下称作「HMD10」)的示意图，图3是示意表示装备于用户5的HMD10的图。

一个实施方式的应用处理系统1通过执行应用处理程序来提供种种应用。该应用的示例是视频游戏。用户能利用应用处理系统1来游玩利用游戏媒介的各种游戏。游戏媒介是在用应用处理系统1实现的游戏中使用的电子数据，能由用户在游戏内以取得、所有、使用、管理、交换、合成、强化、售出、废弃、赠予或所述以外的方法使用。在游戏媒介中例如包含卡片、道具、虚拟货币、票据、角色、虚拟形象、等级信息、状态信息以及参数信息(体力值或攻击力等)、能力信息技能、能力、咒语、工作以及这些以外的能在游戏中利用的各种电子数据。能在应用处理系统1利用的游戏媒介以及其利用方案并不限于本说明书的明示。应用处理系统1例如能实现在虚拟空间中虚拟角色和用户进行互动的游戏。由应用处理系统1实现的游戏具有第1模式和第2模式。第1模式的示例是聊天模式，第2模式的示例是VR模式。关于第1模式以及第2模式，之后叙述。

应用处理系统1可以构成为对游戏以外的应用进行处理。应用处理系统1例如可以构成为提供驾驶或其他领域中的模拟、医疗或这以外的领域中的训练用应用、用于体验产品或服务的应用、用于鉴赏电影或或这以外的各种娱乐演出的应用、以及这些以外的各种应用。

应用处理系统1具备HMD10和服务器50。HMD10和服务器50经由网络40相互能通信地连接。

HMD10如图2所示那样，具备装备于人的头部的装备用具11和安装在该装备用具11的信息处理装置20。

装备用具11具有：形成开口11d的风镜型的壳体11a；安装于该壳体11a的第1带11b以及第2带11c；和盖11e。盖11e开闭自由地安装在壳体11a。在壳体11a的前方形成开口11d。在图2中盖11e开放。在HME10的使用时，盖11e关闭来闭塞开口11d。

信息处理装置20能拆装地安装在HMD10的盖11e的内侧。信息处理装置20具备显示器24。信息处理装置20在盖11e关闭时安装在盖11e，显示器24朝向壳体11a的内侧。信息处理装置20在HMD10的使用时安装在装备用具11。信息处理装置20在未使用HMD10时从装备用具11拆下。

在图示的实施方式中，信息处理装置20是智能手机。信息处理装置20除了智能手机以外，还可以是便携电话机、平板终端、个人计算机、电子书阅读器、可穿戴计算机、游戏用控制台以及这些以外的各种信息处理装置。从HMD1拆下的信息处理装置20对应于其本来的目的利用。

信息处理装置20如上述那样具备显示器24。在图示的实施方式中，在信息处理装置20安装于装备用具11时，显示器24作为用于HMD10中的图像显示的装置发挥功能。因而在使用HMD10游玩游戏的情况下，在显示器24显示该游戏的虚拟空间、虚拟角色以及这些以外的与游戏关联的图像。

装备用具11的形状并不限于图示的风镜型。装备用具11可包含：追随所装备的用户的头部的活动而活动、在装备时能将显示器24配置于该用户的眼前的任意的形状的结构体。装备用具11例如可以是模仿眼镜的形状、模仿帽子的形状或模仿头盔的形状。为了提升用户的沉浸感，HMD10期望构成为在装备用具11装备于用户的头部时显示器24覆盖该用户的双眼。

HMD10在使用时如图3所示那样经由装备用具11安装在用户5的头部。在装备于用户5的头部的装备用具11安装信息处理装置20。

再度参考图1来进一步说明信息处理装置20。如图示那样，在一个实施方式中，信息处理装置20具备计算机处理器21、存储器22、通信I/F23、显示器24、传感器组件25、集音装置26以及贮存器27。

计算机处理器21是从贮存器27或这以外的贮存器将实现操作系统、游戏逻辑的种种程序载入到主存储器22、执行载入的程序中所含的命令的运算装置。计算机处理器21例如是CPU、MPU、DSP、GPU或这些以外的各种运算装置。处理器21可以由ASIC、PLD、FPGA、MCU等集成电路实现。在图1中，计算机处理器21图示为单一的构成要素，但计算机处理器21也可以是多个物理的上分体的计算机处理器的集合。在本说明书中，说明为由计算机处理器21执行的程序或该程序中所含的命令可以在单一的计算机处理器执行，也可以通过多个计算机处理器分散执行。另外，由计算机处理器21执行的程序或该程序中所含的命令也可以通过多个虚拟计算机处理器分散执行。

存储器22为了存放计算机处理器21执行的命令以及这以外的各种数据而用。一个实施方式的应用处理程序的至少一部分对应于游戏的推进被载入到随时存储器22。存储器22例如是计算机处理器21能高速访问的主存储装置(主存储器)。存储器22例如由DRAM、SRAM等RAM构成。

通信I/F23作为硬件、固件、或TCP/IP驱动、PPP驱动等通信用软件或它们的组合而被安装。信息处理装置20能经由通信I/F23与其他装置收发数据。

显示器24具有显示面板24a和触控面板24b。例如触控面板24b层叠在显示面板24a的上表面或下表面。显示面板24a是液晶面板、有机EL面板、无机EL面板或这些以外的能显示图像的任意的显示面板。触控面板24b构成为能检测用户的触摸操作。触控面板24b能检测用户的轻击、双击、拖拽等各种触摸操作。

传感器组件25具备一个或多个传感器。传感器组件25例如包含陀螺仪传感器、加速度传感器以及地磁传感器当中至少1种传感器。传感器组件25也可以具备直接检测户的眼球的活动的眼跟踪传感器。眼跟踪传感器例如是使近红外光入射到虹膜内来检测其反射光的视线检测传感器。基于由传感器组件25检测到的检测信息来确定装备于用户5的头部的HMD10的位置以及朝向。HMD10的位置以及朝向例如作为三维正交坐标系中的位置以及绕着各轴的角度算出。该三维正交坐标系例如是沿着前后方向的翻滚轴、沿着上下方向的偏转轴、沿着左右方向的俯仰轴构成的正交坐标系。构成传感器组件25的各种传感器的至少一部分可以设于装备用具11以及/或者装备用具11以外与信息处理装置20不同的构件。

集音装置26构成为能对声音进行集音。集音装置26例如是麦克风。基于由集音装置26集音的声音信息来检测用户5的声音。

贮存器27是由计算机处理器21访问的外部存储装置。贮存器27例如是磁盘、光盘、半导体存储器或能存储数据的所述以外的各种存储装置。在贮存器27存储应用处理程序等种种程序。另外，在贮存器27还存储游戏中所用的各种数据。能存储于贮存器27的程序以及各种数据的至少一部分可以存放在与信息处理装置20物理上分体的贮存器。

在图示的实施方式中，在贮存器27存储图像数据28a、聊天数据28b、剧本数据28c、时间数据28d、游戏推进数据28e以及所述以外的为了游戏的推进所需的种种数据。

在在图像数据28a中包含用于描绘进行游戏的虚拟空间的背景的数据、用于描绘虚拟角色的数据以及描绘游戏中所用的虚拟角色以外的对象物的数据。在图像数据28a中可以包含虚拟空间内中的对象物的位置信息。在图像数据28a中，上述的各数据可以与每个剧本、每个事件或每个场景建立关联存储。

在聊天数据28b中包含用于描绘虚拟角色的图标的数据、用于描绘用户5的图标的数据、用于确定虚拟角色的多个消息的数据、表示对该虚拟角色的多个消息的各自的应答消息的选项的数据以及这些以外的聊天模式中所用的数据。虚拟角色的多个消息可以用具有与各消息对应的节点、该节点彼此以弧线连接的树结构定义。在该树结构中，例如从最上级的根节点即开始消息延伸多个弧线，各弧线连接到下级节点。从该下级节点也延伸弧线，该弧线连接到进一步下级的节点。下级节点各自与能在开始消息之后显示的虚拟角色的消息的候补对应。另外，在聊天数据28b中也可以包含开始从聊天模式向VR模式的移转的条件即模式移转条件。在模式移转条件中例如包含：游戏以聊天模式开始起的经过时间为给定时间以上；树结构的消息中聊天推进到末端的节点；以及这些以外的条件。在聊天数据28b中可以包含表示在未完成移转对象物的选择后重开的聊天模式下显示的消息的数据。

在剧本数据28c中包含定义游戏中由用户5体验的剧本的数据。在游戏中由用户5体验的剧本有多个的情况下，剧本数据28c分别对多个剧本各自定义剧本数据。剧本数据28c可以定义为多个事件的集合。剧本数据28c中所含的多个事件可以用具有与各事件对应的节点、该节点彼此以弧线连接的树结构定义。在该树结构中，例如从最上级的根节点即开场事件延伸多个弧线，各弧线连接到下级节点。从该下级节点也延伸弧线，该弧线连接到进一步下级的节点。某剧本中的下级节点各自与该剧本会在开场事件后发声的事件的候补对应。在剧本数据28c中，上述的各数据可以与每个剧本建立关联存储。

时间数据28d是用于定义构成剧本数据28c的各个事件的数据。事件数据28d可以定义为用于确定游戏中的虚拟角色的多个行为的数据的集合。虚拟角色的多个行为可以用具有与各行为对应的节点、该节点彼此以弧线连接的树结构定义。在该树结构中，例如从最上级的根节点即开场行为延伸多个弧线，各弧线连接到下级节点。从该下级节点也延伸弧线，该弧线连接到进一步下级的节点。某事件中的各个下级节点与该事件中会在开场行为后发声的行为的候补对应。时间数据28d能按每个节点包含与该节点对应的行为所对应的动态图像数据、与用户能对虚拟角色采取的行为相关的数据以及这些以外的与虚拟角色的行为相关的数据。

在游戏推进数据28e中包含游戏的推进的管理中所用的数据。游戏推进数据28e可以对应于游戏的推进被更新。在游戏推进数据28e中例如能包含与虚拟角色对用户的好感度相关的数据、与游戏中用户获得的点数相关的数据、以及这些以外的能对应于游戏的推进而变化的各种数据。

图1所示的信息处理装置20的构成要素以及功能是例示。能适用本发明的信息处理装置20能具备未图示的种种构成要素。例如信息处理装置20可以具备输出游戏的效果音、虚拟角色的声音的扬声器。

图1所示的信息处理装置20的构成要素以及功能是例示。能适用本发明的信息处理装置20能具备未图示的种种构成要素。例如信息处理装置20可以具备输出游戏的效果音或虚拟角色的声音的扬声器。

接下来说明HMD10的功能。在图示的实施方式中，通过在信息处理装置20的计算机处理器21中执行计算机可读的命令来实现HMD10的各种功能。在计算机处理器21中执行的命令中包含一个实施方式的应用处理程序中所含的命令。

通过由计算机处理器21执行一个实施方式的应用处理程序，来在应用处理系统1中实现具有第1模式以及与该第1模式不同的第2模式的游戏。应用处理系统1中实现的游戏也可以具有第1模式以及第2模式以外的模式。

在应用处理系统1中实现的游戏的第1模式下，在HMD10未装备于用户5时，即在信息处理装置20从装备用具11拆下时，对应于由信息处理装置20检测到的第1检测信息来进行与游戏相关的处理。在该第1检测信息中能包含由信息处理装置20的触控面板24b检测的与用户5的触摸操作相关的信息、由集音装置26检测的与用户的声音相关的信息以及在HMD10未装备于用户5的情况下能在信息处理装置20检测的所述以外的检测信息。用户5在第1模式下能使用从装备用具11拆下的信息处理装置20进行与游戏相关的操作。在第1模式下，由于设想HMD10未装备于用户5时推进游戏，因此在一个实施方式中，在显示器24显示立体视觉图像以外的图像。

在应用处理系统1中实现的游戏的第2模式下，使用由装备于用户5的头部的HMD10检测到的第2检测信息来推进游戏。该第2检测信息例如是由传感器组件25检测到的检测信息。基于该第2检测信息来算出用于确定用户5的头部的位置以及朝向的头追踪信息。第2模式下的用于游戏的推进的处理，例如根据基于第2检测信息算出的头追踪信息来执行。第2模式下的用于游戏的推进的处理，可以除了头追踪信息以外还使用该头追踪信息以外的信息执行。用户5作为在第2模式下游玩游戏的准备，将信息处理装置20安装在装备用具11，将安装该信息处理装置20的装备用具11装备于头部。如此，在第2模式下，由于设想在HMD10装备于用户5时推进游戏，因此在一个实施方式中，在第2模式下，在显示器24显示让用户5形成立体视觉的立体视觉图像。立体视觉图像例如通过视差屏障方式显示于显示器24。在视差屏障方式中在显示器24显示左眼用图像以及右眼用图像。如此，立体视觉图像是通过显示在显示器来利用左右眼的视差构成为形成立体视觉的包含左眼用图像以及右眼用图像的图像的集合。

第1模式例如是聊天模式。聊天模式是第1模式的例示。在聊天模式下，实现用户与虚拟角色经由文本消息进行聊天的功能。用户通过在第1模式下与虚拟角色进行聊天，能体验该与虚拟角色的互动。聊天模式下的处理的具体的内容之后叙述。所谓互动，广义上是指对于玩家执行的行为由虚拟角色做出反应。在与虚拟角色的互动中包含作为与虚拟角色的会话等交流而进行的互动。在本说明书中，有时将作为与虚拟角色的交流而进行的互动称作交谈互动。在与虚拟角色的互动中除了交谈互动以外，还能包含与虚拟角色的对战、与虚拟角色协作来游玩游戏的协作游玩、以及这些以外的与虚拟角色的相互作用。在本说明书中，有时将作为与虚拟角色的对战进行的互动称作对战互动。在本说明书中，有时将作为与虚拟角色的协作游玩而进行的互动称作协作互动。

第2模式例如是VR模式。在VR模式下，实现用于与在显示于信息处理装置20的显示器的虚拟空间中登场的虚拟角色进行种种互动的功能。VR模式下的处理的具体的内容之后叙述。VR模式是第2模式的例示，在第2模式中能包含使用头追踪信息进行用于游戏推进的处理的任意的游戏模式。

在一个实施方式中，具有应用处理系统1中实现的第1模式以及第2模式的游戏可以是与虚拟角色进行交谈互动以外的互动的游戏。在应用处理系统1中实现的游戏中可以不进行交谈互动。在一个实施方式中的游戏中，在第1模式下在二维空间中游玩，在第2模式下在三维空间中游玩。在一个实施方式中的游戏中，在第1模式下在三维空间中游玩，在第2模式下以与该第1模式的三维空间不同的显示方案显示的(或由与该第1模式的三维空间不同的方案构成)三维空间中游玩。在一个实施方式中，应用处理系统1中实现的游戏可以使用在第1模式以及第2模式共通的游戏媒介。与该游戏媒介建立关联的参数可以在第1模式与第2模式继承。例如在第1模式下的游玩中变更特定的游戏媒介的参数、之后移转到第2模式的情况下，设定了变更后的参数的该特定的游戏媒介能在第2模式下使用。在一个实施方式中，特定的游戏媒介的参数可以在从第1模式向第2模式的移转时以及从第2模式向第1模式的移转时的至少一方变更。该游戏媒介的参数的变更可以是对玩家5而言成为游戏的推进上有利的变更，也可以是成为不利的变更。在一个实施方式中，可以让第1模式下的游玩结果反映在第2模式下的游戏中，也可以让第2模式下的游玩结果反映在第1模式下的游戏中。例如第1模式下获得的玩家5的经验值可以在第2模式下继承。

如上述那样，应用处理系统1中实现的游戏的第1模式和第2模式是相互识别的模式。即，第1模式是与第2模式不同的模式。在一个实施方式中，在应用处理系统1中实现的游戏在第1模式下游玩的情况下，HMD10未装备于用户5的头部，与此相对，在该游戏在第2模式下游玩的情况下，HMD10装备于用户5的头部。在该情况下，在第1模式下，对应于由未装备于用户5的头部的信息处理装置20检测到的第1检测信息进行游戏的处理，在第2模式下，对应于由装备于用户5的头部的HMD10检测到的第2检测信息来进行游戏的处理。

在一个实施方式中，在第2模式下，在显示器24显示立体视觉图像，与此相对，如上述那样，在第1模式下，在显示器24显示立体视觉图像以外的图像。在第2模式下，游戏用的图像当中至少虚拟角色的图像显示为立体视觉图像，在第1模式下，虚拟角色的图像显示为立体视觉图像以外的图像。

在一个实施方式中，在第1模式下，不使用基于第2检测信息算出的头追踪信息地进行推进游戏的处理，与此相对，在第2模式下，进行基于该头追踪信息推进游戏的处理。

在一个实施方式中，在第1模式下，对应于由触控面板24b检测到的触摸操作来进行推进游戏的处理，与此相对，在第2模式下，不进行与触控面板24b的触摸操作相应的处理。

在一个实施方式中，在应用处理系统1中实现的游戏中提供与虚拟角色的互动的情况下，在第1模式下，提供与由未装备于用户5的头部的信息处理装置20检测到的第1检测信息相应的该与虚拟角色的互动，在第2模式下，提供与由装备于用户5的头部的HMD10检测到的第2检测信息相应的该与虚拟角色的互动。

在开始游戏后，能进行上述那样区别的第1模式与第2模式之间的移转。参考图5来说明由应用处理系统1处理的游戏的模式移转的概略。如图示那样，若在步骤S1开始游戏，则在步骤S2开始第1模式即聊天模式S2。在该聊天模式下，若开始用于向第2模式即VR模式移转的移转处理，则移转到步骤S3，进行向第2模式的移转处理。若移转处理完成，则在步骤S4开始第2模式即VR模式。若VR模式结束或中断，则开始向聊天模式的恢复处理。

接下来更具体说明由计算机处理器21实现的功能。计算机处理器21通过执行计算机可读的命令来作为聊天模式执行部21a、移转处理部21b以及VR模式执行部21c发挥功能。由计算机处理器21实现的功能的至少一部分可以由游戏系统1的计算机处理器21以外的计算机处理器实现。由计算机处理器21实现的功能的至少一部分例如可以由搭载于服务器50的计算机处理器实现。

聊天模式执行部21a通过执行一个实施方式的应用处理程序来进行用于在第1模式即聊天模式下提供游戏的处理。聊天模式执行部21a实现用于在用户5与虚拟角色之间进行聊天的功能。聊天模式执行部21a在向聊天模式的登录后，将虚拟角色的消息以及由用户5输入或选择的消息显示在显示器24，能在该虚拟角色与用户5之间进行聊天。聊天模式执行部21a可以接着虚拟角色的消息在显示器24显示与针对该消息的用户5的应答相关的多个选项。对应于用户5的操作从该多个选项确定用户5的消息，该确定的消息接着虚拟角色的消息，作为用户5的消息而显示。用户5能通过向触控面板24b的触摸操作选择显示的选项当中所期望的选项。虚拟角色的消息以及对该消息的用户的选项能按照应用处理程序，参考聊天数据28b来确定。虚拟角色的消息可以和该虚拟角色的图像一起显示，用户5的消息可以和该用户5的图像一起显示。在虚拟角色的消息中可以包含促使向第2模式即VR模式的移转的消息、用于使用户5选择该VR模式中的设定的消息、以及这些以外的与该VR模式建立关联的消息。

在聊天模式下，对应于聊天的推进显示用于开始向第2模式即VR模式的移转的移转开始对象物。移转开始对象物的显示按照应用处理程序在模式移转条件成立时进行。若基于来自触控面板24b或这以外的用户界面的检测信号探测到选择了移转开始对象物，就开始向第2模式即VR模式的移转处理。

移转处理部21b进行用于从第1模式向第2模式移转的移转处理。在该移转处理中可以包含：在显示器24显示促使将信息处理装置20装备到装备用具11的引导；以及能通过用户的注视选择的移转对象物。在使该移转对象物显示后，移转处理部21b接收传感器组件25或这以外的传感器的检测信号，能基于该检测信号判定移转对象物是否通过注视被选择。为了该判定，移转处理部21b基于传感器组件25的检测信号算出HMD10的位置以及朝向，基于该算出的HMD10的位置以及朝向来确定用户5的注视位置。注视位置的确定能用种种公知的方法进行。例如可以基于眼跟踪传感器的检测信号确定注视位置。移转处理部21b例如测量注视位置位于移转开始对象物上的时间(注视时间)，在该注视时间达到给定时间时，判断为完成移转开始对象物的选择。移转处理部21b若判断为完成移转对象物的选择，就使第2模式即VR模式开始。

VR模式执行部21c构成包含虚拟角色以及这以外的对象物的虚拟空间，将用于显示该虚拟空间的图像信息输出到显示器24。VR模式执行部21c能生成虚拟空间60的图像信息，使其与对应于游戏的推进确定的场景对应。

对由VR模式执行部21c构成的虚拟空间，进一步参考图4a进行说明。图4a是示意表示由VR模式执行部21c构成的虚拟空间60的图。在图4a中示出第1场景中的初始设定时的虚拟空间60。VR模式执行部21c基于第1场景的初始设定来确定虚拟空间60内的用户61的位置以及基准视线62，另外，将虚拟空间60整体当中以基准视线62为中心位于给定的范围的区域确定为初始显示区域63。该初始显示区域63例如以基准视线62为中心位于给定的视角内的范围。初始显示区域63通过非显示区域和边界线63a区划。VR模式执行部21c在开始第1场景的处理时，生成表示虚拟空间60整体当中初始显示区域63内的虚拟空间的图像的图像信息，将生成的图像信息输出到显示器24。基于如此生成的图像信息，在显示器24显示相当于初始显示区域63的虚拟空间60的图像。在图像信息的生成中例如能使用存储于贮存器27的图像数据28a、剧本数据28c、事件数据28d、游戏推进数据28e以及这些以外的数据。

若在VR模式下开始第1场景的处理后由HMD10检测到用户5的头部的活动，则VR模式执行部21c使基准视线62移动，来追随该检测到的用户5的头部的活动，将该移动后的以基准视线62为中心位于给定的视角内的范围确定为新的显示区域。如此，VR模式执行部21c通过HMD10对应于用户5的头部的活动随时更新显示区域，将与该更新的显示区域对应的虚拟空间60的图像输出到显示器24。其结果，显示于显示器24的虚拟空间60的图像还对应于显示区域而变化。用户5如此能看到对应于自身的头部的活动而变化的虚拟空间60的图像。在用户61在虚拟空间60内移动的情况下，基准视线62的朝向对应于该用户61的虚拟空间60内的位置而变化。

在虚拟空间60设有主显示区域64。主显示区域64是第1主显示区域的示例。该主显示区域64设于按每个场景确定的虚拟空间60的给定的位置。主显示区域64通过边界线64a与其他区域区划。主显示区域64例如在各场景中设为包含用户5的视线易于朝向的位置的区域。主显示区域64例如配置于基于各场景的初始设定确定的初始显示区域63的内部。某场景中的主显示区域64例如设定成：在基于该场景的初始设定确定的初始显示区域63中，包含表示进行互动的虚拟角色的对象物的至少一部分。主显示区域64可以是形成初始显示区域63的一部分的区域，也可以是与初始显示区域63一致的区域。在图4a所示的第1场景中，在处于站立姿势的用户61的基准视线62的周围设置主显示区域64。

在虚拟空间60内配置虚拟角色的对象物以及这以外的种种对象物。在虚拟空间60中所含的对象物中可以包含能通过用户5的注视选择的特定对象物。在图4a中，作为这样的特定对象物的示例而示出菜单对象物66。

对菜单对象物66，可以关联能通过用户5的注视选择的一个或多个菜单项。该一个或多个菜单项各自可以与虚拟空间60内的用户61的行为建立关联。菜单对象物66中所含的菜单项可以和未与虚拟空间60中的用户61的头部的活动建立关联的行为、例如与虚拟空间60中的用户61的手的活动建立关联的手行为、或虚拟空间60中用户61进行的与道具的使用相关的道具行为建立关联。道具行为例如是用户61在虚拟空间60内使用摄像机进行照片拍摄的照片行为。对菜单对象物66关联多个菜单项的情况下，可以对应于游戏的推进而仅能选择当中一部分。

如图4a所示那样，菜单对象物66配置在虚拟空间60中不含在主显示区域64的位置。即，菜单对象物66配置在主显示区域64之外。菜单对象物66可以配置在初始显示区域63的内侧，也可以配置在初始显示区域63的外侧。

在图4b示出第2场景中的虚拟空间60。第2场景是与第1场景不同的游戏场景。第2场景在第1场景之前或第2场景之后执行。如图示那样，在第2场景中，在处于俯卧姿势的用户61的基准视线62的周围设置主显示区域64。在该第2场景中，菜单对象物66配置于主显示区域64之外。

VR模式执行部21c按照应用处理程序在虚拟空间显示虚拟角色的图像，实现该虚拟角色与用户5之间的互动。VR模式执行部21c按照应用处理程序来决定虚拟空间内的虚拟角色的行动，生成与该虚拟角色的行动对应的图像信息以及声音信息。该图像信息被输出到显示器24，该声音信息被输出到HMD10所具有的扬声器。由此在显示器24显示在虚拟空间内虚拟角色活动的图像，从扬声器输出与虚拟角色的活动对应的声音。例如在虚拟角色对用户5搭话的情况下，在显示器24显示虚拟角色的头部以及口活动的图像，从扬声器输出与虚拟角色的发声对应的声音。在与虚拟角色的行动对应的图像信息以及声音信息的生成中例如能使用存储于贮存器27的图像数据28a、剧本数据28c、时间数据28d、游戏推进数据28e、以及这些以外的数据。在一个实施方式中，在VR模式以及聊天模式的各模式下，与用户5进行互动的虚拟角色是相同的虚拟角色。例如在VR模式中登场的虚拟角色和在聊天模式中登场的角色具有相同姓名，具有能认识为是相同角色的程度的外观上的共通性。其中，在VR模式下虚拟角色的图像显示为立体视觉图像，与此相对，在聊天模式下虚拟角色的图像显示为立体视觉图像以外的图像，在这点上，两模式下的虚拟角色的图像相互相异。但这样的表现形式的相异并不妨碍虚拟角色的相同性。

除了上述的功能以外，VR模式执行部21c还具有基于来自传感器组件25的检测信号来确定虚拟空间60中的用户61的行为的功能。虚拟空间60中的用户61的行为例如是针对在虚拟空间60中登场的虚拟角色的来自用户61的行为。由于虚拟空间60中的用户61的行为是虚拟空间60内的虚拟的行为，因此有与现实空间中的用户5的身体动作或现实空间中的用户5的活动一致的情况，也有不一致的情况。

在虚拟空间60中的用户61的行为中包含与用户61的头部的活动建立关联的第1行为、和未与用户61的头部的活动建立关联的第2行为。在与虚拟空间60中的用户61的头部的活动建立关联的第1行为中，包含用户61在虚拟空间60中点头这样的行为、用户61在虚拟空间60中摇头这样的行为、以及这些以外的与虚拟空间60中的用户61的头部的活动建立关联的行为。VR模式执行部21c通过基于由装备于用户5的头部的HMD10所具备的传感器组件25检测到的检测信息来算出HMD10的位置以及朝向，能确定现实空间中的用户5的头部的活动。

VR模式执行部21c基于由HMD10检测到的一个或多个检测信息来检测真实世界中的用户5的头部的活动，将与该检测到的用户5的头部的真实世界中的活动一致或对应的行为确定为虚拟空间60中的用户61的第1行为。例如在检测到用户5进行点头的动作的情况下，作为虚拟空间60中的用户61的第1行为，确定(虚拟空间60中)用户61点头这样的行为。在虚拟空间60在显示器24显示为第一人称视点的图像的情况下，虚拟空间60中的用户61的第1行为不含在该虚拟空间60的图像中。

虚拟空间60中的用户61的第2行为未与虚拟空间60中的用户61的头部的活动建立关联。该第2行为与虚拟空间60中的用户61的头部以外的部位的活动例如用户61的手的活动建立关联。在第2行为中包含与用户61在虚拟空间60中「抚摸」这样的行为、用户61在虚拟空间60「捅戳」这样的行为以及这些以外的虚拟空间60中的用户61的头部以外的部位的活动建立关联的行为。「抚摸」这样的行为是第1注视位置行为的示例，「捅戳」这样的行为是第2注视位置行为的示例。

在一个实施方式中，VR模式执行部21c构成为对应于选择菜单对象物66来进行第2行为的确定。VR模式执行部21c能根据基于HMD10的检测信号算出的注视位置来检测选择菜单对象物66。例如VR模式执行部21c能根据注视位置在菜单对象物66上是否是给定时间以上来判定菜单对象物66的选择是否完成。例如若注视位置在菜单对象物66上为给定时间以上，就判定为菜单对象物66的选择完成。

在菜单对象物66中包含多个菜单项的情况下，VR模式执行部21c能在注视位置位于该多个菜单项当中之一上给定时间以上的情况下，检测出选择了该菜单项。

VR模式执行部21c若检测到菜单对象物66的选择或菜单对象物66中所含的菜单项当中之一的选择，就将与该选择的菜单对象物66或选择的菜单项对应的行为设定为用户61对虚拟角色进行的选择行为。如上述那样，在菜单项中可以包含与虚拟空间60中的用户61的手的活动建立关联的手行为所对应的菜单项以及与虚拟空间60中的照片拍摄建立关联的照片行为所对应的菜单项。在选择与该手行为建立关联的菜单项的情况下，VR模式执行部21c将该手行为设定为对虚拟角色的选择行为。

VR模式执行部21c也可以若设定第2行为，就在虚拟角色上设定一个或多个角色注视位置。VR模式执行部21c能在该一个或多个注视位置当中至少一个注视位置被选择时，基于该选择的注视位置和选择行为来确定对虚拟角色的行为。例如若在与手行为对应的菜单项被选择的情况下设定于虚拟角色的头部的注视位置被选择，就确定是抚摸该虚拟角色的头的行为，该确定的行为在虚拟空间60中进行。

VR模式执行部1c能对应于用户61的行为决定虚拟角色的虚拟空间内的行动(反应)。VR模式执行部21c生成用于显示对应于用户5的行为决定的虚拟角色的行动的图像信息，将该生成的图像信息作为立体视觉图像输出到显示器24。由此在显示器24显示进行对应于用户5的行为决定的行动的虚拟角色的图像。如此，VR模式执行部21c决定针对用户61的行为的虚拟角色的行动(反应)，将与该决定的行动对应的虚拟角色的图像信息输出到显示器24。在VR模式下，如此实现了用户5与显示为立体视觉图像的虚拟角色之间的互动。

若满足结束条件，VR模式执行部21c就进行用于结束VR模式的结束处理。结束条件例如是从VR模式的开始起经过给定时间(例如1分钟)、探测到结束对象操作、VR模式下执行的剧本中所含的最后的事件结束以及这些以外的条件。在满足结束条件时进行的结束处理中可以包含：在显示器24显示促使将信息处理装置20从装备用具11拆下的引导；以及显示向第1模式即聊天模式的登录画面。

接下来参考图6以及图7来说明聊天模式下的聊天处理。图6是表示一个实施方式中的聊天模式下的处理的流程的流程图，图7表示聊天模式下的显示图像的示例。设想在聊天模式的开始时，HMD10未装备在用户5的头部，另外信息处理装置20从装备用具11拆下。

在应用处理系统1中，游戏以聊天模式开始。在步骤S11，用于向聊天模式登录的登录画面显示在信息处理装置20的显示器24。若由用户5进行了登录处理，则该聊天处理移转到步骤S12。

在步骤S12，在用户5与虚拟角色之间交换消息，由此在两者之间进行聊天。若进行了向聊天模式的登录，就生成用于显示在用户5与虚拟角色之间进行的聊天的聊天显示图像，在显示器24显示该聊天显示图像。图7表示显示于显示器24的聊天显示图像的一例即聊天显示图像70。聊天显示图像70包含聊天显示区域71，其包含与用户5对应的图标73、与虚拟角色对应的图标74、用户5的消息75a、虚拟角色的消息76a、76b和移转开始对象物78。另外，聊天显示图像70包含配置于聊天显示区域71的上部的菜单区域72。虚拟角色的消息76a、76b按照应用处理程序，基于存储于贮存器72的聊天数据28b以及这以外的数据而确定。例如虚拟角色的消息参考以树结构定义的聊天数据28b，从位于根节点的消息起依次显示。在节点的分支点，选择与分支条件相应的节点，显示与该选择的节点对应的消息。

用户5能选择聊天显示图像70中所含的选项当中之一。该选择通过用手指在显示器24接触显示着希望选择的选项的区域来进行。若进行了该选择，则与选择的选项对应的消息75b就作为用户5的消息新显示在聊天显示区域71。

在步骤S13，判定从第1模式向第2模式的模式移转条件是否成立。作为从第1模式向第2模式的模式移转条件，例如使用从聊天模式开始起经过给定时间(例如1分钟)这样的条件。聊天模式开始起的经过时间例如使用系统时钟测量。直到判断为模式移转条件成立为止，都回到步骤S12继续聊天处理。另一方面，若判断为模式移转条件成立，则聊天处理移转到步骤S14。

在步骤S14，在显示器24显示移转开始对象物78移转开始对象物78，聊天处理前进到步骤S15。如图7所示那样，移转开始对象物78例如在聊天区域71内显示为外缘为圆形的对象物。若在步骤S15确认了移转开始对象物的选择，则聊天处理前进到步骤S16。另一方面，在即使显示移转开始对象物起经过给定时间(例如10秒)也未确认移转开始对象物的选择的情况下，判定为未进行移转开始对象物的选择，聊天处理结束。在判定为未进行移转开始对象物的选择时，可以回到步骤S12，进行用于重开聊天的处理。是否进行了移转开始对象物的选择，可以对应于向触控面板24b的操作来判断。例如在从触控面板24b的检测信号检测到向与移转开始对象物的显示区域重复的位置的触摸操作(例如轻击操作)时，判断为选择了该移转开始对象物。

在步骤S16，开始向第2模式即VR模式的移转处理。开始移转处理后，聊天处理结束。在聊天模式下，可以在显示器24显示移转目标的VR模式下的场景的选项。用户5能从该选项中选择喜好的场景。

以上的聊天处理由聊天模式执行部21a执行。聊天模式执行部21a能单独或与其他功能适宜协作来执行上述的聊天处理。在聊天处理的执行时，除了使用存放于贮存器27的数据以外，还根据需要使用存放于其他贮存器的数据、由各种传感器检测的检测信息、或这些以外的数据。

在从第1模式即聊天模式向第2模式即VR模式的模式移转处理中，在信息处理装置20的显示器24显示促使装备HMD10的引导。接着着该引导，在显示器24显示移转对象物。若该移转对象物被用户5选择，就开始VR模式。用户5通过装备HMD10，持续注释移转对象物给定时间，能选择该移转对象物。

接下来参考图8以及图9来说明VR模式下的VR处理。图8是表示一个实施方式中的VR模式下的VR处理的流程的流程图，图9表示VR模式下的显示图像的示例。在VR模式的开始时，设想HMD10装备在用户5的头部。在以下的与VR模式相关的说明中，设为在聊天模式下由用户5选择第1场景。作为第1场景而能设定种种场景。例如第1场景可以用于是在室内或室外的任意的场所进行会话的场景。图8的VR处理直到结束条件成立为止都重复进行。结束条件例如是从VR模式的开始起经过给定时间(例如1分钟)、探测到结束对象操作、VR模式下执行的剧本中所含的最后的事件结束以及这些以外的条件。

VR模式开始后，在步骤S21生成与第1场景对应的虚拟空间的图像信息，将与该图像信息对应的图像输出到显示器24。第1场景中的虚拟空间60的图像信息例如通过参考图像数据28a来生成。在步骤S21，首先生成第1场景中的虚拟空间60当中初始显示区域63的图像信息，将与该图像信息对应的图像输出到显示器24。图9表示第1场景的初始显示区域63的显示图像的示例。图9所示的VR图像80包含表示虚拟角色65、菜单对象物66、相当于背景的对象物82a～82c以及这些以外的各种对象物的图像。菜单对象物66配置在主显示区域64之外。VR图像80由于是第一人称视点的图像，因此不显示表示用户61的图像。

虚拟角色图像65能在虚拟空间内进行种种行为。例如在虚拟角色图像65的行为中包含向用户61(朝向虚拟空间内的用户61的位置)搭话、在虚拟空间内移动、将配置于虚拟空间内的对象物拿在手里以及这些以外的虚拟空间内的种种行为。

若在VR图像80显示于显示器24的期间由HMD10的传感器组件25检测到用户5的头部的活动，就基于该检测到的头部的活动确定虚拟空间60内的用户61的第1行为。然后决定与确定的用户61的第1行为相应的虚拟角色的行动(反应)，生成进行该决定的行动的虚拟角色65的图像信息。将如此生成的图像信息输出到显示器24。例如检测到用户5进行了将头纵向摇摆的动作(点头的动作)，就基于HMD10的检测信息确定点头这样的行为作为用户61的虚拟空间60内的第1行为。然后生成采取向该用户61的点头这样的第1行为的反应的虚拟角色图像65的图像信息，将该图像信息显示在显示器24。如此，在VR模式下，使用虚拟角色的立体视觉图像实现用户与虚拟角色65之间的互动。

在步骤S22判定用于结束VR图像显示处理的结束条件是否成立。在判定为结束条件不成立的情况下，回到步骤S21，继续VR图像显示处理。另一方面，在判定为结束条件成立的情况下，VR处理前进到步骤S23。

在步骤S23进行VR模式的结束处理。在该结束处理中可以包含：在显示器24显示促使将信息处理装置20从装备用具11拆下的引导；以及显示向第1模式即聊天模式的登录画面。

以上的VR处理由VR模式执行部21c执行。VR模式执行部21c能单独或与其他功能适宜协作来执行上述的VR处理。

接下来参考图10以及图11a～图11d来说明用于确定第2行为的第2行为确定处理。图10是表示一个实施方式中的第2行为确定处理的流程的流程图，图11a～图11d表示用于确定第2行为的处理中的显示图像的示例。用于确定第2行为的处理与参考图8说明的VR处理并行进行。

首先在步骤S31判断是否进行了菜单对象物66的选择。例如在注视菜单对象物66的注视时间达到给定时间时，判断为进行了菜单对象物66的选择。在未进行菜单对象物66的选择的情况下，重复进行步骤31的判断。另一方面，在判断为进行了菜单对象物66的选择的情况下，第2行为确定处理移转到步骤S32。

在步骤S32，在显示器24显示与该菜单对象物66建立关联的菜单项。在图11a示出包含与菜单对象物66建立关联的菜单项的虚拟空间的图像的示例。图11a所示的VR图像80包含与2个菜单项分别对应的图标。具体地，VR图像80包含菜单图像67，在该菜单图像67中包含菜单项图标68a以及菜单项图标68b。菜单项图标68a是表示与虚拟空间60中的用户61的手的活动建立关联的手行为所对应的菜单项的图标，菜单项图标68b是表示与虚拟空间60中的照片拍摄建立关联的照片行为对应的菜单项的图标。若进行了将菜单项显示到显示器24的处理，则第2行为确定处理移转到步骤S33。显示于虚拟空间内的菜单项图标68a以及菜单项图标68b可以显示成与配置于该虚拟空间内的虚拟的结构物的一个面。例如在图示的实施方式中，菜单项图标68a以及菜单项图标68b可以显示成与图11a所示的虚拟空间中的房间的地面、壁面或顶板面平行。通过菜单项图标68a以及菜单项图标68b的这样的配置，能将该菜单项图标68a以及菜单项图标68b显示成是配置于虚拟空间内的虚拟的物体那样。由此，不会损害用户61的沉浸感。菜单项图标68a可以在虚拟空间中配置在与配置菜单项图标68b的面不同的面。还可以显示成：菜单项图标68a以及菜单项图标68b以外的菜单图像67的构成要素也与配置于虚拟空间内的虚拟的结构物的一个面平行。

在步骤S33中，判断在步骤S32显示的菜单项图标当中的哪个被选择。例如在注视VR图像80中所含的菜单项图标当中任一者的注视时间达到给定时间时，判断为该菜单项图标被选择。在图示的示例中，在注视菜单项图标68a的注视时间达到给定时间时，判断为进行了菜单项图标68a的选择，在注视菜单项图标68b的注视时间达到给定时间时判断为进行了菜单项图标68b的选择。可以选择2个以上的菜单项图标。在步骤33，在未确认菜单项图标的选择的情况下，中止该菜单项图标的显示，第2行为确定处理回到步骤S31。另一方面，在判断为选择了菜单项图标的情况下，第2行为确定处理前进到步骤S34。

在步骤S34，在虚拟角色65上设定一个或多个角色注视位置。参考图11b来说明虚拟角色65上的角色注视位置的设定。图11b为了说明设定于虚拟角色65的上的角色注视位置，而在VR图像80内示意示出角色注视位置。角色注视位置可以在VR图像80中设定成能由用户5视觉辨识，也可以设定成不能视觉辨识。在图11b所示的示例中，在虚拟角色65上设定多个角色注视位置81a～81d。设定于虚拟角色65上的一个或多个角色注视位置分别与虚拟角色65的特定的部位建立对应。在图11b的示例中，角色注视位置81a～81d分别与模仿女性的人物的虚拟角色65的头部、头发、肩、以及手臂建立对应。若在虚拟角色65上设定了角色注视位置，第2行为确定处理就移转到步骤S35。

在步骤S35，判断设定于虚拟角色65上的一个或多个角色注视位置当中哪个角色注视位置被注视。在图11b所示的示例中，在注视角色注视位置81a～81d的任一者的注视时间达到给定时间时，判断为该角色注视位置被选择。在步骤35，在哪个角色注视位置都未被注视的情况下，取消角色注视位置的设定，第2行为确定处理回到步骤S31。另一方面，在判断为对任意角色注视位置进行了注视的情况下，第2行为确定处理前进到步骤S36。

在步骤S36，基于在步骤S33选择的菜单项以及在步骤S35注视的角色注视位置来确定对虚拟角色65的行为，确定的行为对虚拟角色65进行。例如在步骤S33选择与手行为建立对应的菜单项图标68a，在步骤S35注视与虚拟角色65的头部建立对应的角色注视位置81a，在这样的情况下，抚摸虚拟角色65的头部这样的行为被确定为虚拟空间60内中的用户61对虚拟角色65的第2行为。

在选择了菜单项图标68a的情况下，可以对应于注视的角色注视位置确定不同的第2行为。例如也可以即使是与上述的示例同样选择菜单项图标68a的情况，在取代角色注视位置81a而注视角色注视位置81c的情况下，也将与「抚摸」这样的行为不同的行为确定为第2行为。在选择菜单项图标68a、注视角色注视位置81c的情况下，例如可以将「捅戳」虚拟角色65的肩这样的行为确定为第2行为。

确定第2行为后，对虚拟角色65进行该确定的第2行为。例如在将抚摸虚拟角色65的头部这样的行为确定为第2行为的情况下，如图11c所示那样，将表现该第2行为的图像作为VR图像80显示在显示器24。在图11c所示的示例中，为了示出用户61在虚拟空间60内抚摸虚拟角色65的头部这样的行为，在虚拟角色65的头部附近显示表示用户61的虚拟的手的图像83a。在其他示例中，在将捅戳虚拟角色65的肩这样的行为确定为第2行为的情况下，如图11d所示那样，为了示出用户61在虚拟空间60内捅戳虚拟角色65的肩这样的行为，在虚拟角色65的肩附近显示表示用户61的虚拟的手的图像83b。图像83a以及图像83b可以为了表现对虚拟角色65进行的行为的差异而相互不同。虚拟角色65对应于该用户61的第2行为来进行遵循应用处理程序的动作(反应)。

在步骤S33，可以选择与照片行为建立对应的菜单项图标68b，在步骤S35注视设定于虚拟角色65上的角色注视位置当中之一(例如角色注视位置81a)。在该情况下，拍摄包含该虚拟角色65的照片这样的行为被确定为第2行为。对应于选择了菜单项图标68b，虚拟角色65可以进行对用户61架好的摄像机采取摆姿势的行为。另外，可以对应于选择设定于虚拟角色65上的角色注视位置当中之一进行按快门的动作。在该情况下，选择角色注视位置当中之一时输出到显示器24的图像作为通过照片行为拍摄的图像存储到贮存器27。

以上的第2行为确定处理通过VR模式执行部21c执行。VR模式执行部21c能单独或与其他功能适宜协作来执行上述的第2行为确定处理。

接下来参考图12来说明其他实施方式的应用处理系统。图12是表示其他实施方式的应用处理系统101的框图。应用处理系统101具备信息处理装置20、HMD110以及HMD110。应用处理系统101在不将信息处理装置20安装在HMD110就能提供VR模式这点上与应用处理系统1不同。以下对应用处理系统101着眼于与应用处理系统1相异的点来进行说明。

HMD110、信息处理装置20和服务器50经由网络40相互能通信地连接。HMD110和信息处理装置20可以不经由网络40而是遵循Bluetooth(注册商标)等近距离无线方式能通信地连接。HMD110在不安装信息处理装置20也能提供VR模式这点上与应用处理系统1的HMD10不同。

HMD110具备计算机处理器121、存储器122、通信I/F123、显示器124、传感器组件125、集音装置126和贮存器127。计算机处理器121、存储器122、通信I/F123、显示器124、传感器组件125、集音装置126以及贮存器127与信息处理装置20的计算机处理器21、存储器22、通信I/F23、显示器24、传感器组件25、集音装置26以及贮存器27同样地构成。其中显示器124可以没有触控面板。这些HMD110的各构成要素组装在壳体内。该壳体可以与壳体11a同样地形成为风镜型。图像数据28a、聊天数据28b、剧本数据28c、时间数据28d以及游戏推进数据28e可以存储在贮存器127，也可以存储在贮存器27或这以外的贮存器。

聊天模式执行部21a、移转处理部21b以及VR模式执行部21c的功能，由信息处理装置20和HMD110分担。具体地，聊天模式执行部21a的功能在信息处理装置20中实现，VR模式执行部21c的功能在HMD110中实现。移转处理部21b的功能的一部分在信息处理装置20实现，剩余部分在HMD110实现。

在应用处理系统101开始游戏时，用户5使用信息处理装置20开始聊天模式。该聊天模式的处理通过信息处理装置20的聊天模式执行部21a进行。

在聊天模式下模式移转条件成立、选择了移转开始对象物的情况下，开始向VR模式的模式移转处理。

在VR模式开始时，该VR模式的处理由HMD110的VR模式执行部21c进行。

如此，应用处理系统101能经由HMD110对用户5提供与虚拟角色的互动。

根据上述的实施方式，能得到以下的效果。根据上述的应用处理系统1、101，通过在菜单对象物66的选择后注视虚拟角色65上的角色注视位置81a～81d，能在虚拟空间60中确定未与用户61的头部的活动建立关联的第2行为。由此，不需使用设计成用手握持的操作控制器等头戴显示器10、110以外的操作设备，就能进行未与虚拟空间60中的用户61的头部的活动建立关联的第2行为。

在与虚拟空间60中的用户的手的活动建立关联的第2行为中例如包含：在虚拟空间60中对虚拟角色65的「抚摸」、「拍打」、「捅戳」、以及「掐」这的行为、虚拟角色的「握住手」这样的行为、用手处置物品的行为(例如拍照片这样的行为)、以及这些以外的与虚拟空间60中的用户61的手的活动建立关联的行为。

根据上述的应用处理系统1、101，不是通过现实世界中的用户的手的位置或活动，而是通过设定于虚拟角色65的角色注视位置81a～81d的注视来确定与虚拟空间60中的用户61的手的活动建立关联的第2行为。由此，用户不使用头戴显示器10、110以外的操作设备，就能进行未与用户的头部的活动建立关联的第2行为。

根据上述的应用处理系统1、101，通过进行特定对象物的选择，能进行未与用户的头部的活动建立关联的第2行为。

根据上述的应用处理系统1、101，能对应于角色注视位置81a～81d分开使用包含第1注视位置行为以及第2注视位置行为的多个第2行为。由此未与用户61的头部的活动建立关联的第2行为的变化变得丰富。

根据上述的应用处理系统1、101，能对应于选择的菜单项分开使用各种种类的第2行为。由此，未与用户61的头部的活动建立关联的第2行为的变化变得丰富。

在上述的实施方式中，菜单对象物66是用于能进行第2行为的功能性的对象物。根据虚拟空间中的配置、显示方案的不同，存在用户5作出意外选择的可能性。另外，菜单对象物66那样的功能性对象物会使用户对虚拟空间的沉浸感减退。根据上述的应用处理系统1、101，由于菜单对象物66配置在虚拟空间61中的主显示区域63之外，因此能抑制误选择和沉浸感的减退。

根据上述的应用处理系统1、101，能对应于场景确定合适的主显示区域。例如在第1场景和第2场景中，对应于用户61的姿势来变更主显示区域63的位置。

根据上述的应用处理系统1、101，能使虚拟角色65进行与用户61的行为相应的反应，由此能实现用户与虚拟角色65的互动。

本发明的实施方式并不限定于上述的实施方式，能在不脱离其要旨的范围内进行种种变更。例如在计算机处理器21以及计算机处理器121执行的功能的一部分或全部只要不脱离发明的主旨，就可以通过上述的实施方式中未图示的计算机处理器实现。例如应用处理系统1以及应用处理系统101可以具备执行应用处理程序的至少一部分的游戏机，通过计算机处理器21或计算机处理器121的处理实现的功能的一部分可以通过该游戏机中的处理实现。

在本申请发明的实施方式中，能具备上述以外的种种装置、设备以及电子部件。例如应用处理系统1以及应用处理系统101可以除了具备信息处理装置20以及HMD10、110以外还具备用于接受用户5的操作的操作设备。应用处理系统1以及应用处理系统101可以通过该操作设备检测用户5的操作，对应于该检测到的操作来进行游戏的处理。

在本说明书中说明的处理次序、特别是使用流程图说明的处理次序中，能省略构成该处理次序的进程(步骤)的一部分，能追加未明示的进程作为构成该处理次序的进程，以及/或者能替换该进程的顺序，进行了这样的省略、追加、顺序的变更的处理次序只要不脱离本发明的主旨，就包含在本发明的范围中。

Claims (10)

1.一种应用处理系统，具备一个或多个计算机处理器，通过对装备于用户的头部的头戴显示器输出包含虚拟角色的虚拟空间的图像来对所述用户提供与所述虚拟角色的互动，所述应用处理系统的特征在于，

所述一个或多个计算机处理器通过执行计算机可读的命令，

基于由所述头戴显示器检测到的一个或多个检测信息确定对所述虚拟角色进行的行为、即与所述虚拟空间中的所述用户的头部的活动建立关联的第1行为，

对应于选择了所述虚拟空间中所含的与所述虚拟角色不同的特定对象物，显示分别与所述虚拟空间中的多个第2行为之一建立关联的多个菜单项，使得基于所述一个或多个检测信息能够选择每个所述菜单项，所述多个第2行为中的每个第2行为未与所述用户的头部的活动建立关联并且是对所述虚拟角色进行的行为，所述多个菜单项包括第1菜单项和第2菜单项，所述多个第2行为包含与所述第1菜单项建立关联的第1菜单项行为、以及与所述第2菜单项建立关联的第2菜单项行为；

在确定基于所述一个或多个检测信息选择了所述第1菜单项或所述第2菜单项的情况下，识别与所述第1菜单项或所述第2菜单项中的所选择的一个菜单项相对应的所述第1菜单项行为或所述第2菜单项行为作为所选择的第2行为；以及

执行所述第1菜单项行为或所述第2菜单项行为作为所述第2行为。

2.根据权利要求1所述的应用处理系统，其特征在于，

所述第2行为之一是与所述虚拟空间中的所述用户的手的活动建立关联的行为。

3.根据权利要求1所述的应用处理系统，其特征在于，

所述第2行为之一是与所述虚拟空间中的所述用户对道具的使用建立关联的行为。

4.根据权利要求1所述的应用处理系统，其特征在于，

在选择所述特定对象物之后选择了所述第1菜单项或所述第2菜单项时，在所述虚拟角色上设定一个或多个角色注视位置，

对应于所述用户注视了在所述虚拟角色上设定的一个或多个角色注视位置当中的至少一者，来确定所述第2行为。

5.根据权利要求4所述的应用处理系统，其特征在于，

所述一个或多个角色注视位置包含第1角色注视位置以及第2角色注视位置，

所述第2行为包含第1注视位置行为以及第2注视位置行为，

在所述第1角色注视位置被注视的情况下将第1注视位置行为确定为所述第2行为，在所述第2角色注视位置被注视的情况下将第2注视位置行为指定为所述第2行为。

6.根据权利要求1～5中任一项所述的应用处理系统，其特征在于，

所述一个或多个计算机处理器在第1场景中确定所述虚拟空间中的第1主显示区域，

所述特定对象物在所述第1场景中配置于所述第1主显示区域之外。

7.根据权利要求6所述的应用处理系统，其特征在于，

所述一个或多个计算机处理器在第2场景中确定所述虚拟空间中的第2主显示区域，

所述特定对象物在所述第2场景中配置于所述第2主显示区域之外。

8.根据权利要求1～5中任一项所述的应用处理系统，其特征在于，

所述一个或多个计算机处理器构成所述虚拟空间，使得在所述虚拟空间中包含进行与所述第1行为或所述第2行为相应的反应的所述虚拟角色。

9.一种应用处理方法，通过一个或多个计算机处理器执行计算机可读的命令来对装备于用户的头部的头戴显示器输出包含虚拟角色的虚拟空间的图像，由此对所述用户提供与所述虚拟角色的互动，所述应用处理方法的特征在于，具备如下进程：

基于由所述头戴显示器检测到的一个或多个检测信息来确定对所述虚拟角色进行的行为、即与所述虚拟空间中的所述用户的头部的活动建立关联的第1行为；

对应于选择了所述虚拟空间中所含的与所述虚拟角色不同的特定对象物，显示分别与所述虚拟空间中的多个第2行为之一建立关联的多个菜单项，使得基于所述一个或多个检测信息能够选择每个所述菜单项，所述多个第2行为中的每个第2行为未与所述用户的头部的活动建立关联并且是对所述虚拟角色进行的行为，所述多个菜单项包括第1菜单项和第2菜单项，所述多个第2行为包含与所述第1菜单项建立关联的第1菜单项行为、以及与所述第2菜单项建立关联的第2菜单项行为；

在确定基于所述一个或多个检测信息选择了所述第1菜单项或所述第2菜单项的情况下，识别与所述第1菜单项或所述第2菜单项中的所选择的一个菜单项相对应的所述第1菜单项行为或所述第2菜单项行为作为所选择的第2行为；以及

执行所述第1菜单项行为或所述第2菜单项行为作为所述第2行为。

10.一种非临时的计算机可读介质，存放应用处理程序，其被一个或多个计算机处理器执行，使所述一个或多个计算机处理器进行处理，对装备于用户的头部的头戴显示器输出包含虚拟角色的虚拟空间的图像从而对所述用户提供与所述虚拟角色的互动，所述非临时的计算机可读介质的特征在于，

所述应用处理程序使所述一个或多个计算机处理器执行如下进程：

基于由所述头戴显示器检测到的一个或多个检测信息来确定对所述虚拟角色进行的行为、即与所述虚拟空间中的所述用户的头部的活动建立关联的第1行为；

对应于选择了所述虚拟空间中所含的与所述虚拟角色不同的特定对象物，显示分别与所述虚拟空间中的多个第2行为之一建立关联的多个菜单项，使得基于所述一个或多个检测信息能够选择每个所述菜单项，所述多个第2行为中的每个第2行为未与所述用户的头部的活动建立关联并且是对所述虚拟角色进行的行为，所述多个菜单项包括第1菜单项和第2菜单项，所述多个第2行为包含与所述第1菜单项建立关联的第1菜单项行为、以及与所述第2菜单项建立关联的第2菜单项行为；

在确定基于所述一个或多个检测信息选择了所述第1菜单项或所述第2菜单项的情况下，识别与所述第1菜单项或所述第2菜单项中的所选择的一个菜单项相对应的所述第1菜单项行为或所述第2菜单项行为作为所选择的第2行为；以及

执行所述第1菜单项行为或所述第2菜单项行为作为所述第2行为。

Images