CN109690447B - 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机 - Google Patents

信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机 Download PDF

Info

Publication number
CN109690447B
CN109690447B CN201780041636.2A CN201780041636A CN109690447B CN 109690447 B CN109690447 B CN 109690447B CN 201780041636 A CN201780041636 A CN 201780041636A CN 109690447 B CN109690447 B CN 109690447B
Authority
CN
China
Prior art keywords
target object
hand
user
virtual
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780041636.2A
Other languages
English (en)
Other versions
CN109690447A (zh
Inventor
高野友辉
近藤一平
加田健志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016157052A external-priority patent/JP6140871B1/ja
Priority claimed from JP2016163926A external-priority patent/JP6157703B1/ja
Priority claimed from JP2016165952A external-priority patent/JP6220937B1/ja
Priority claimed from JP2016178091A external-priority patent/JP2018045338A/ja
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to CN202010786107.9A priority Critical patent/CN111949128A/zh
Publication of CN109690447A publication Critical patent/CN109690447A/zh
Application granted granted Critical
Publication of CN109690447B publication Critical patent/CN109690447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Abstract

本发明可以改善用户与虚拟对象交互的虚拟体验。一种使用计算机提供使用户沉浸于头戴式显示器的虚拟空间的方法，包括根据用户的身体的部分的活动使操作对象活动以及根据身体的部分的活动通过操作对象从包括第一对象和第二对象的目标对象中选择任一个，在第一对象满足被操作对象选择的选择条件的情况下，改变第一对象和/或第二对象的显示形态。

Description

信息处理方法、用于使计算机执行该信息处理方法的程序、以 及计算机
技术领域
本公开涉及信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机。
背景技术
非专利文献1公开了以下技术：根据现实空间中的用户的手的状态(位置、倾斜度等)，使虚拟现实(Virtual Reality：VR)空间中的手对象的状态变化，并且通过操作该手对象，对虚拟空间内的预定的对象施加预定的作用。
现有技术文献
非专利文献
非专利文献1：“Toybox Demo for Oculus Touch”、[online]、平成27年10月13日、Oculus、[2016年8月6日检索]、因特网＜https：//www.youtube.com/watch？v＝iFEMiyGMa58＞
发明内容
发明所要解决的课题
非专利文献1中，在通过手对象操作预定的对象方面有改善的余地。例如，在向用户提供在用户操作现实空间中的实际物体时无法体验到的虚拟体验方面有改善的余地，需要用户能够在期望的时刻操作期望的虚拟对象。由此，除了在VR空间外，还在增强现实(Augmented Reality：AR)空间、混合现实(Mixed Reality：MR)空间等各种环境中，可以改善用户与虚拟对象交互的虚拟体验。
本公开的目的在于提供可以改善虚拟体验的信息处理方法及用于使计算机实现该信息处理方法的程序。
用于解决课题的方案
根据本公开所示的一个方案，提供一种方法，该方法是用于计算机控制具有显示部的头戴式设备的信息处理方法，该方法包括在计算机的处理器中的以下步骤：指定对包括虚拟相机、操作对象以及包括第一对象和第二对象的多个目标对象的虚拟空间进行规定的虚拟空间数据；根据头戴式设备的活动使虚拟相机活动；根据用户头部以外的身体的部分的活动使操作对象活动；根据操作对象的活动选择第一对象或第二对象；以及基于虚拟相机的活动定义虚拟相机的视野，基于视野和虚拟空间数据，在显示部显示视野图像，在第一对象满足被操作对象选择的选择条件的情况下，改变第一对象和/或第二对象的显示形态。
发明效果
根据本公开，能够提供可改善虚拟体验的信息处理方法以及用于使计算机实现该信息处理方法的程序。
附图的简要说明
图1是示出头戴式设备(Head Mounted Device：HMD)系统的示意图。
图2是示出佩戴HMD的用户的头部的图。
图3是示出控制装置的硬件配置的图。
图4是示出外部控制器的具体结构的一个示例的图。
图5是示出在HMD上显示视野图像的处理的流程图。
图6是示出虚拟空间的一个示例的xyz空间图。
图7中，状态(A)是图6所示的虚拟空间的yx平面图。状态(B)是图6所示的虚拟空间的zx平面图。
图8是示出在HMD上显示的视野图像的一个示例的图。
图9中，状态(A)是示出佩戴HMD和外部控制器的用户的图。状态(B)是示出包括虚拟相机、手对象、以及目标对象的虚拟空间的图。
图10是用于说明根据本实施方式的信息处理方法的流程图。
图11是用于说明根据本实施方式的信息处理方法的流程图。
图12示出用右手对象400R选择目标对象500的情况。
图13示出用右手对象400R选择目标对象500的情况。
图14示出用右手对象400R选择目标对象500的情况。
图15是用于说明根据本实施方式的信息处理方法的流程图。
图16示出用右手对象400R选择目标对象500的情况。
图17是用于说明本实施方式的信息处理方法的流程图。
图18是用于说明根据本实施方式的信息处理方法的流程图。
图19示出用左手对象400L使被右手对象400R选择的目标对象500变形的情况。
图20示出用左手对象400L使被右手对象400R选择的目标对象500变形的情况。
图21示出在用右手对象400R选择目标对象500后，通过活动右手对象400R改变目标对象500的朝向的情况。
图22示出在目标对象500变形前后目标对象500的坐标信息的变化。
图23是示出在HMD上显示的视野图像的一个示例的图。
图24是示出在HMD上显示的视野图像的一个示例的图。
图25是用于说明根据本实施方式的信息处理方法的流程图。
图26是用于说明根据本实施方式的信息处理方法的流程图。
图27是用于说明根据本实施方式的信息处理方法的流程图。
图28示出资源数据的数据结构的一个示例。
图29示出各对象的位置关系与视野图像的关系的一个示例。
图30是用于说明根据本实施方式的信息处理方法的流程图。
图31示出玩家信息的数据结构的一个示例。
图32示出各对象的位置关系与视野图像的关系的一个示例。
图33是示出在HMD上显示的视野图像的一个示例的图。
图34示出各对象的位置关系与视野图像的关系的一个示例。
图35示出各对象的位置关系与视野图像的关系的一个示例。
图36示出各对象的位置关系与视野图像的关系的一个示例。
图37示出各对象的位置关系与视野图像的关系的一个示例。
具体实施方式
在下文中参照附图，对本公开指示的实施方式进行说明。此外，在本实施方式的说明中，对于与已说明的部件具有相同的参照号码的部件，为了便于说明，不重复其说明
首先，参照图1，对头戴式设备(HMD)系统1的结构进行说明。图1是示出HMD系统1的示意图。如图1所示，HMD系统1具有佩戴于用户U的头部上的HMD 110、位置传感器130、控制装置120、以及外部控制器320。
HMD 110是具有显示部112、HMD传感器114、以及注视传感器140的头戴式显示装置。显示部112具有配置成覆盖佩戴HMD 110的用户U的视界(视野)的非透射型显示装置。由此，用户U通过观看在显示部112上显示的视野图像能够沉浸于虚拟空间。此外，显示部112也可由配置为向用户U的左眼提供图像的左眼用显示部和配置为向用户U的右眼提供图像的右眼用显示部构成。另外，HMD 110也可以具有透射型显示装置。该情况下，该透射型显示装置可以是能够通过调整其透射率而暂时配置为非透射型显示装置。另外，视野图像可在构成虚拟空间的图像的一部分包括呈现现实空间的配置。例如，可以使由安装至HMD 110的相机拍摄的图像显示成叠加到视野图像的一部分上，也可以通过将该透过型显示装置的一部分的透射率设定成较高而能够从视野图像的一部分视觉确认现实空间。
HMD传感器114安装于HMD 110的显示部112的附近。HMD传感器114包括地磁传感器、加速度传感器、倾斜度传感器(角速度传感器、陀螺仪传感器等)中的至少一个，能够检测佩戴于用户U的头部的HMD 110的各种活动。
注视传感器140具有检测用户U的视线方向的眼动追踪功能。注视传感器140例如可具有右眼用注视传感器和左眼用注视传感器。右眼用注视传感器可通过向用户U的右眼照射例如红外光并检测从右眼(特别是角膜、虹膜)反射的反射光来获得与右眼的眼球的转动角相关的信息。另一方面，左眼用注视传感器可以通过向用户U的左眼照射例如红外光并检测从左眼(特别是角膜、虹膜)反射的反射光来获得与左眼的眼球的转动角相关的信息。
位置传感器130例如由位置跟踪相机构成，且配置成检测HMD110和外部控制器320的位置。位置传感器130通过无线或有线连接至控制装置120以能够进行通信，且配置为检测与设于HMD 110的未示出的多个探测点的位置、倾斜度或发光强度相关的信息。而且，位置传感器130配置为检测与设于外部控制器320的多个探测点304(参照图4)的位置、倾斜度和/或发光强度相关的信息。探测点例如是发射红外线、可见光的发光部。另外，位置传感器130可包括红外线传感器、多个光学相机。
有时将HMD传感器114、注视传感器140、位置传感器130统称地称为检测单元。检测单元检测用户的身体的一部分的活动，并将检测结果输出至控制装置120。检测单元具有如HMD传感器114那样的检测用户U头部活动的功能以及如位置传感器130那样的检测用户头部以外的部分的活动的功能。另外，检测单元可具有如注视传感器140那样的检测用户U的视线活动的功能。
控制装置120能够基于从HMD传感器114或位置传感器130获得的信息来获得HMD110的位置和朝向的活动信息，且能够基于所获得的活动信息使虚拟空间中的虚拟视角(虚拟相机)的位置和朝向与现实空间中的佩戴HMD 110的用户U的位置和朝向准确地关联。而且，控制装置120能够基于从位置传感器130获得的信息来获得外部控制器320的活动信息，且能够基于所获得的活动信息使在虚拟空间内显示的手指对象(接下来描述)的位置和朝向与现实空间中外部控制器320和HMD 110之间的位置和朝向的相对关系准确地关联。此外，与HMD传感器114类似，外部控制器320的活动信息可以从安装于外部控制器320的地磁传感器、加速度传感器、倾斜度传感器等获得。
控制装置120可基于从注视传感器140传输的信息分别指定用户U的右眼视线和左眼视线，从而指定作为该右眼视线和该左眼视线的交点的注视角。进一步地，控制装置120可基于所指定的注视角来指定用户U的视线方向。在此，用户U的视线方向为用户U双眼的视线方向，与通过连接用户U的右眼和左眼的线段的中点和注视角的直线的方向一致。
参照图2，对获得与HMD 110的位置和朝向相关的信息的方法进行说明。图2是示出佩戴HMD 110的用户U的头部的图。与佩戴HMD 110的用户U的头部的活动同步的HMD 110的位置和朝向相关的信息可通过位置传感器130和/或安装于HMD 110的HMD传感器114检测。如图2所示，以佩戴HMD 110的用户U的头部为中心，规定三维坐标(uvw坐标)。将用户U直立的垂直方向规定为v轴，将与v轴正交且通过HMD 110的中央的方向规定为w轴，将与v轴和w轴正交的方向规定为u轴。位置传感器130和/或HMD传感器114检测绕各uvw轴的角度(即，由表示以v轴为中心的旋转的横摆角、表示以u轴为中心的旋转的俯仰角、以及表示以w轴为中心的旋转的滚转角确定的倾斜度)。控制装置120基于检测到的绕各uvw轴的角度变化，确定用于定义起始于虚拟视角的视轴。
参照图3，对控制装置120的硬件配置进行说明。图3是示出控制装置120的硬件配置的图。控制装置120具有控制部121、存储部123、I/O(输入/输出)接口124、通信接口125、总线126。控制部121、存储部123、I/O接口124、通信接口125经由总线126可连接成可互相通信。
控制装置120可与HMD 110分体地配置成个人计算机、平板电脑或可穿戴设备，也可内置于HMD 110。另外，控制装置120的一部分功能可由HMD 110配备，并且控制装置120的剩余功能可由与HMD 110分体的其它装置配备。
控制部121具有存储器和处理器。存储器例如包括存储有各种程序等的ROM(ReadOnly Memory)、具有存储由处理器执行的各种程序等的多个工作区的RAM(Random AccessMemory)等。处理器例如为CPU(Central Processing Unit)、MPU(Micro Processing Unit)和/或GPU(Graphics Processing Unit)，且配置为在RAM上展开由装入ROM的各种程序指定的程序，从而通过与RAM的协作来执行各种处理。
控制部121可通过处理器在RAM上展开用于使计算机执行根据本实施方式的信息处理方法的程序(接下来描述)以通过与RAM的协作执行该程序来控制控制装置120的各种操作。控制部121通过执行存储于存储器或存储部123的预定应用程序(包括游戏程序、接口程序等。)在HMD 110的显示部112上显示虚拟空间(视野图像)。由此，用户U能够沉浸于在显示部112上显示的虚拟空间。
存储部(存储器)123例如为HDD(Hard Disk Drive)、SSD(Solid State Drive)、USB闪存等存储装置，且配置为存储程序和各种数据。存储部123可存储使计算机执行根据本实施方式的信息处理方法的程序。另外，可存储用户U的认证程序和包括与各种图像和对象相关的数据的游戏程序等。而且，可在存储部123中建立包括用于管理各种数据的表格的数据库。
I/O接口124配置为将位置传感器130、HMD 110和外部控制器320分别可通信地连接于控制装置120，且例如由USB(Universal Serial Bus)端子、DVI(Digital VisualInterface)端子、HDMI(注册商标)(High―Definition Multimedia Interface)端子等构成。此外，控制装置120可与位置传感器130、HMD 110和外部控制器320中的每个无线连接。
通信接口125配置为使控制装置120连接于LAN(Local Area Network)、WAN(WideArea Network)或因特网等的通信网络3。通信接口125包括用于经由通信网络3与网络上的外部装置通信的各种有线连接端子和用于无线连接的各种处理电路，且配置成适于用于经由通信网络3进行通信的通信标准。
控制装置120经由通信网络3连接于管理服务器4。管理服务器4经由通信网络3与其它HMD系统1B的控制装置连接。由此，包括HMD系统1A、1B的多个HMD系统相互可通信地连接，如后述地，可提供使用公共虚拟空间的虚拟体验。HMD系统1A、1B具有如图1、图2所示的公共结构。
管理服务器4包括控制部41、资源管理部42和玩家管理部43。控制部41配置成主要包括存储器和处理器。资源管理部42和玩家管理部43配置成主要包括存储部(存储器)。资源管理部42存储用于配置后述虚拟空间内容的各种对象和背景图像等的虚拟空间数据。控制部41在从控制装置120接收到对预定内容的视听请求时，从资源管理部42读取与该视听请求对应的虚拟空间数据，并传输至控制装置120。控制部41接收从各HMD系统1A、1B传输的用户行动历史和用于指定使用对象的玩家数据，并将该数据存储于玩家管理部43。玩家管理部43优选地统一管理各用户的ID、计费数据等与各用户关联的各种信息。
参照图4，对控制器320的一个示例进行说明。图4是示出根据某一实施方式的控制器320的示意性配置的图。
如图4的状态(A)所示，在某方案中，控制器320可包括右控制器320R和左控制器320L。右控制器320R由用户U的右手操作。左控制器320L由用户U的左手操作。在某方案中，右控制器320R和左控制器320L作为独立的装置对称地配置。因此，用户U能够使抓握右控制器320R的右手和抓握左控制器320L的左手分别自由地活动。在其它方案中，控制器320可以是接收双手的操作的一体式控制器。接下来，对右控制器320R进行说明。
右控制器320R具有握柄30、框架31和顶面32。握柄30配置成由用户190的右手抓握。例如，握柄30可由用户190的右手的手掌和三根手指(中指、无名子、小指)保持。
框架31包括沿其圆周方向配置的多个红外线LED 35。红外线LED 35在使用控制器320的程序的执行时按照该程序的进行来发射红外线。从红外线LED 35发出的红外线可用于检测右控制器320R和左控制器320L的每个的位置和姿势(倾斜度、朝向)。虽然图4所示的示例中示出了配置成两列的红外线LED 35，但是可使用一列或三列以上的排列。
如图4的状态(A)所示，控制器320的姿势基于横摆、滚转、俯仰的相应方向来指定。另外，如状态(B)所示，虚拟空间2中的手对象400的姿势基于横摆、滚转、俯仰的相应方向来指定。因此，通过使控制器320的姿势与手对象400的姿势相关联，能够使虚拟空间2中的手对象400根据用户的现实空间中的手的活动而活动。
握柄30包括按钮33、34和运动传感器130。按钮33配置于握柄30的侧面，接受右手的中指的操作。按钮34配置于握柄30的前表面，接受右手的食指的操作。在某方案中，按钮33、34配置为扳机式按钮。运动传感器130内置于握柄30的箱体。此外，在用户190的活动可以由相机等其它装置从用户U周围检测的情况下，握柄30可不具有运动传感器130。
顶面32具有按钮36、37和模拟摇杆38。按钮36、37配置为按压式按钮。按钮36、37接受用户U的右手拇指的操作。在某方案中，模拟摇杆38接受从初始位置(中立位置)向360度的任意方向的操作。该操作例如包括用于使布置于虚拟空间2的对象移动的操作。
在某方案中，可通过按下按钮34，使手对象930中的食指从伸展状态变化成弯曲状态。可通过按下按钮33，使手对象930中的中指、无名指、小指从伸展状态变化成弯曲状态。可通过将拇指布置于顶面32或者按下按钮36、37的任一个，来使手对象930中的拇指从伸展状态变化成弯曲状态。
通过参照图5至图8，对用于将视野图像在HMD 110上显示的处理进行说明。图5是示出将视野图像在HMD 110上显示的处理的流程图。图6是示出虚拟空间200的一个示例的xyz空间图。图7中的状态(A)是图6所示的虚拟空间200的yx平面图。图7中的状态(B)是图6所示的虚拟空间200的zx平面图。图8是示出在HMD 110上显示的视野图像M的一个示例的图。
如图5所示，在步骤S1中，控制部121(参照图3)生成表示虚拟空间200的虚拟空间数据，虚拟空间200包括虚拟相机300和各种对象。如图6所示，虚拟空间200规定为以中心位置21为中心的全天球(图6中，仅图示了上一半天球)。另外，在虚拟空间200中，设定以中心位置21为原点的xyz坐标系。虚拟相机300规定用于指定在HMD 110显示的视野图像M(参照图8)的视轴L。定义虚拟相机300的视野的uvw坐标系确定为与现实空间中以用户U的头部为中心规定的uvw坐标系同步。另外，控制部121可使虚拟相机300根据佩戴HMD 110的用户U的现实空间中的移动而在虚拟空间200内移动。另外，虚拟空间200内的各种对象例如包括左手对象400L、右手对象400R、目标对象500(参照图8、图9)。
在步骤S2中，控制部121指定虚拟相机300的视野CV(参照图7)。具体地，控制部121基于从位置传感器130和/或HMD传感器114传输的表示HMD 110的状态的数据，获得与HMD110的位置、倾斜度相关的信息。然后，控制部121基于与HMD 110的位置、倾斜度相关的信息指定虚拟空间200内的虚拟相机300的位置和朝向。然后，控制部121根据虚拟相机300的位置和朝向确定虚拟相机300的视轴L，根据确定的视轴L指定虚拟相机300的视野CV。在此，虚拟相机300的视野CV相当于佩戴HMD 110的用户U可视觉确认的虚拟空间200的一部分区域。换言之，视野CV相当于在HMD 110上显示的虚拟空间200的一部分区域。另外，视野CV具有第一区域CVa和第二区域CVb，其中，第一区域CVa设定为在状态(A)所示的xy平面中以视轴L为中心的极角α的角度范围，第二区域CVb设定为在状态(B)所示的xz平面中以视轴L为中心的方位角β的角度范围。此外，控制部121可基于从注视传感器140传输的表示用户U的视线方向的数据来指定用户U的视线方向，基于用户U的视线方向来确定虚拟相机300的朝向。
控制部121能够基于来自位置传感器130和/或HMD传感器114的数据指定虚拟相机300的视野CV。在此，当佩戴HMD 110的用户U活动时，控制部121能够基于从位置传感器130和/或HMD传感器114传输的表示HMD 110的活动的数据使虚拟相机300的视野CV变化。也就是，控制部121能够根据HMD 110的活动而使视野CV变化。同样地，当用户U的视线方向变化时，控制部121能够基于从注视传感器140传输的表示用户U的视线方向的数据使虚拟相机300的视野CV移动。也就是，控制部121能够根据用户U的视线方向的变化而使视野CV变化。
在步骤S3中，控制部121生成表示在HMD 110的显示部112上显示的视野图像M的视野图像数据。具体地，控制部121基于规定虚拟空间200的虚拟空间数据和虚拟相机300的视野CV来生成视野图像数据。
在步骤S4中，控制部121基于视野图像数据在HMD 110的显示部112上显示视野图像M(参照图8)。这样，根据佩戴HMD 110的用户U的活动，虚拟相机300的视野CV被更新，从而在HMD 110的显示部112上显示的视野图像M被更新，因此，用户U能够沉浸于虚拟空间200。
虚拟相机300可包括左眼用虚拟相机和右眼用虚拟相机。该情况下，控制部121基于虚拟空间数据和左眼用虚拟相机的视野生成表示左眼用视野图像的左眼用视野图像数据。进一步地，控制部121基于虚拟空间数据和右眼用虚拟相机的视野，生成表示右眼用视野图像的右眼用视野图像数据。然后，控制部121基于左眼用视野图像数据和右眼用视野图像数据在HMD 110的显示部112上显示左眼用视野图像和右眼用视野图像。这样，用户U能够从左眼用视野图像和右眼用视野图像将视野图像作为三维图像来进行视觉确认。本公开中，为了便于说明，虚拟相机300的数量设为一个，但是本公开的实施方式在虚拟相机的数量为两个的情况下也能够应用。
参照图9，对虚拟空间200包括的左手对象400L、右手对象400R和目标对象500进行说明。状态(A)示出佩戴HMD 110和控制器320L、320R的用户U。状态(B)示出包括虚拟相机300、右手对象400R(第一操作对象的一个示例)、左手对象400L(第二操作对象的一个示例)、以及目标对象500的虚拟空间200。
如图9所示，虚拟空间200包括虚拟相机300、玩家角色PC、左手对象400L、右手对象400R、目标对象500。控制部121生成虚拟空间数据，该虚拟空间数据规定包括这些对象的虚拟空间200。如上所述，虚拟相机300与用户U佩戴的HMD 110的活动同步。也就是，虚拟相机300的视野根据HMD 110的活动而更新。右手对象400R是根据佩戴于用户U的右手(身体的第一部分)的控制器320R的活动而移动的第一操作对象。左手对象400L是根据佩戴于用户U的左手(身体的第二部分)的控制器320L的活动而移动的第二操作对象。以下，为了便于说明，有时将左手对象400L和右手对象400R简单地总称为手对象400。
左手对象400L和右手对象400R分别具有碰撞区CA。目标对象500具有碰撞区CB。玩家角色PC具有碰撞区CC。碰撞区CA、CB、CC用于各对象间的碰撞判定(命中判定)。例如，通过手对象400的碰撞区CA和目标对象500的碰撞区CB接触，判定手对象400和目标对象500接触。另外，通过玩家角色PC的碰撞区CC和目标对象500的碰撞区CB接触，判定为玩家角色PC和目标对象500接触。如图9所示，碰撞区CA至CC可以由以对各对象设定的坐标位置为中心的具有直径R的球来规定。
通过左手对象400L、右手对象400R能够使目标对象500移动。例如，在图8所示的虚拟空间200中，示例了使得角色对象CO在通道RW上从START地点向GOAL地点自动地移动的游戏。在通道RW上设有凹陷部分，角色对象CO在朝向GOAL地点的途中可能会掉落至该凹陷，无法最终到达GOAL地点，游戏结束。用户通过操作手对象400来操作目标对象500，用目标对象500覆盖上述凹陷，由此能够将角色对象CO引导至GOAL地点。
如下所述，针对目标对象500设定在xyz空间中定义配置位置的坐标信息。在虚拟空间200中设定有与xyz空间坐标系对应的网格GR。用户通过使手对象400接触目标对象500(可进行抓握动作)来选择目标对象500，在该状态下使接触目标对象500的手对象400移动来使目标对象500移动，从而能够使目标对象500的坐标信息改变。当用户解除手对象400对目标对象500的选择(可进行如松开抓握的手的动作)时，将目标对象500配置于与在解除时刻目标对象500的坐标最接近的网格。
本实施方式中，目标对象500的初始形状设定为通过简单地使目标对象500移动至通道RW的凹陷不能覆盖该凹陷，如下文说明的那样，需要将目标对象500的形状在改变后移动至通道RW的凹陷。
＜第一方式＞
参照图10至图16，对根据第一方式的信息处理方法进行说明。图10、图11、图15是用于说明本实施方式的信息处理方法的流程图。图12～图14、图16示出用右手对象400R选择目标对象500的情况。
如图10所示，在步骤S10中，指定在HMD 110上提示的视野图像M。本实施方式中，如图9的状态(B)所示，在虚拟相机300的前方存在目标对象500以及手对象400L、400R。因此，如图8所示，在视野图像M内显示目标对象500以及手对象400。其它角色对象CO、通道RW这些对象在以下的说明中省略图示。
在步骤S11中，如上所述，控制部121根据由控制器320探测的用户U的手的活动使手对象400活动。
在步骤S12中，控制部121判定目标对象500和手对象400是否满足预定的条件。在本实施方式中，基于设定于左手对象400L、右手对象400R的碰撞区CA，判定各手对象400和目标对象500是否接触。在接触的情况下，进入步骤S13。在未接触的情况下，再次等待用户的手的活动信息，继续控制手对象400的活动。
在步骤S13中，控制部121判定用于选择目标对象500的活动是否输入至手对象400。在本实施方式中，手对象400具有用于选择目标对象500的多个选择部分。特别地，在通过手对象400那样的虚拟手选择目标对象500的情况下，优选通过虚拟手的抓握动作来选择目标对象500。因此，多个选择部分例如如图12所示地，是右手对象400R的拇指410R和包括除拇指410R之外的手指中的至少一个的对置指420R。步骤S13中，控制部121判定手对象400的拇指和除拇指之外的手指中的至少一个是否弯曲。具体地，判定右手对象400的活动是否包括使拇指410R和对置指420R从作为伸展状态的第一位置向作为弯曲状态的第二位置移动的活动。
在步骤S14中，控制部121使得目标对象500处于被右手对象400R选择的状态。本实施方式中，判定右手对象400R与目标对象500的接触，并且通过如上所述的操作使右手对象400R的各手指弯曲，由此使目标对象500通过由右手对象400R抓握而处于被选择的状态。
在步骤S15中，控制部121在目标对象500被选择的状态下，根据手对象400的活动，使目标对象500活动。由此，用户U能够获得可用虚拟手400随意地操作目标对象500的虚拟体验。
本实施方式中，除了如上所述的通过虚拟手400对目标对象500的控制之外，为了改善用户的虚拟体验，通过控制部121执行如下方法。首先，在步骤S16，与步骤13相同，控制部121判定是否从用户对手对象400输入了用于选择目标对象500的操作。在判定为输入的情况下，进入步骤S17，在判定未输入的情况下，继续等待上述选择操作。
在步骤S17中，控制部121指定手对象400与目标对象500的位置关系。本实施方式中，位置关系基于与手对象400及目标对象500的位置和/或手对象400及目标对象500的朝向相关的信息来指定。
如图12的状态(A)所示，手对象400的位置基于针对手对象400设定的虚拟空间200中的坐标信息而指定。手对象400的朝向基于以针对手对象400设定的坐标为原点的三轴坐标系来定义。如图4所示，手对象400的坐标信息及坐标系基于用户U的手的活动来指定。
如图12的状态(A)所示，目标对象500的位置基于针对目标对象500设定的虚拟空间200中的坐标信息而指定。目标对象500的朝向基于以针对目标对象500设定的坐标为原点的三轴坐标系来定义。手对象500的坐标信息及坐标系基于虚拟空间数据来指定。
在步骤S18，控制部121指定手对象400的多个选择部分的位置关系，且指定目标对象500的被选择部分。如图12的状态(A)所示，将适于通过右手对象400R的拇指410R和对置指420R选择的目标对象500的部分指定为被选择部分。在本实施方式中，右手对象400R存在于目标对象500的前侧的右上方，因此可将目标对象500的右侧面510指定为用于通过拇指410R选择的被选择部分。另外，可将目标对象500的上侧面520指定为用于通过对置指420R选择的被选择部分。
目标对象500的被选择部分优选基于手对象400的多个选择部分的位置关系来指定，例如，在右手对象400R存在于目标对象500的前侧的上方的情况下，可以将目标对象500的前侧面指定为用于通过拇指410R选择的被选择部分，可以将目标对象500的上侧面520指定为用于通过对置指420R选择的被选择部分。
在在步骤S19，控制部121指定手对象400的用于选择目标对象500的第一方向D1。第一方向优选根据操作对象的形态适当设定，在本实施方式中，优选将针对右手对象400R设定的三轴坐标系中朝向拇指410R与对置指420R之间的方向指定为第一方向D1。由此，可向用户提供与目标对象的直观交互。本实施方式中，可将针对右手对象400R设定的三轴坐标系中的滚转轴、俯仰轴、横摆轴为基准矢量，并且可将对所述基准矢量进行合成的矢量用作定义第一方向的基准矢量。
在步骤S20中，控制部121指定目标对象500的用于被手对象400选择的第二方向D2。第二方向优选基于如上述指定的目标对象500的被选择部分510、520而定。具体地，可以将对被选择部分510、520的法线矢量进行合成而得到的矢量用作用于定义第二方向D2的基准矢量。
在步骤S21中，控制部121将目标对象500的朝向修正为使得第二方向D2接近第一方向D1。本实施方式中，在不进行该修正的情况下，如图12的状态(B)所示地，在手对象400与目标对象500的位置关系不恰当的状态，可通过手对象400选择目标对象500。具体地，拇指410R接触右侧面510，另一方面，在对置指420R与上侧面520之间空出空间S的状态下，目标对象500可通过手对象400选择。该情况下，当目标对象500通过手对象400移动时，用户可能感到违和感。
对此，图13的状态(A)表示进行了该修正的情况下的目标对象500与手对象400的位置关系。与图12的状态(A)不同，将目标对象500的朝向修正为使得第二方向D2接近第一方向D1。具体地，优选将目标对象500的朝向修正为使得第一方向D1和第二方向D2形成的角度接近0°或180°中的任一个，优选将目标对象500的朝向修正为更靠近0°或180°中距离修正前第二方向的朝向更近的一个。本实施方式中，将目标对象500的朝向修正为使得第一方向D1和第二方向D2形成的角度接近180°。由此，如图13的状态(B)所示，可限制在手对象400的选择部分410R、420R与目标对象500的被选择部分510、520之间产生的空间。由此，在用户活动身体的一部分来选择目标对象时，即使未正确地调整位置关系，也能够无违和感地选择目标对象。因此，可以改善用户与虚拟对象的交互，并且可改善对用户提供的虚拟体验。
在步骤S22中，控制部121可使目标对象500向手对象400移动以使得被选择部分510、520接近选择部分410R、420R。由此，用户在活动身体的一部分来选择目标对象时，即使未正确地调整位置关系，也能够无违和感地选择目标对象。因此，可改善用户与虚拟对象的交互，并且可改善向用户提供的虚拟体验。该情况下，优选使目标对象500沿着朝向被修正后的目标对象500的第二方向D2移动。由此，控制部121可以使目标对象500朝向手对象400移动而不会给用户违和感。
在步骤S23中，控制部121使手对象400关联地选择目标对象500。由此，如图13的状态(B)所示，在通过选择部分410R、420R接触被选择部分510、520的状态下，目标对象500可以无违和感地被手对象400选择。然后，返回步骤15，根据手对象400的活动来操作目标对象500的活动。
此外，在使目标对象500朝向手对象400移动的情况下，如图14的状态(A)及状态(B)所示，可基于目标对象500及手对象400的虚拟空间200中的坐标信息来指定移动方向D3。该情况下，在判定手对象400接触目标对象500后，可通过向手对象400输入选择动作基于目标对象500与手对象400的坐标信息来容易地指定移动方向D3。由此，在控制部121控制目标对象500的情况下，能够降低处理器的处理负荷。
另外，如图14的状态(A)所示，针对虚拟手400设定的碰撞区CA的尺寸可根据虚拟手400的移动速度(或者在检测单元中探测到的用户手的移动速度)而变化。例如，优选地，虚拟手400的移动速度越大，针对虚拟手400设定的碰撞区CA的尺寸越大。由此，可以对用户提供更直观的虚拟体验。在用户快速活动手的情况下，可预期到目标对象500与手对象400之间的位置关系的调整更加困难。该情况下，通过根据虚拟手400的移动速度来调整目标对象500的选择容易度，可向用户提供更直观的虚拟体验。
控制部121可配置为还可操作配置于手对象400的可动区域外的目标对象500。图15、图16是用于说明该处理的图。
在步骤S24中，控制部121判定目标对象500是否配置于手对象400的可动区域R的范围外。在目标对象500配置于可动区域R的范围外的情况下进入步骤25，在目标对象500不配置于在可动区域R的范围外的情况下，返回到步骤10。可动区域R优选设定为以虚拟相机300为中心且以预定距离为半径的球状。可动区域R优选设定为使得HMD 110与控制器320之间的距离在一般用户的头部与手之间的距离以内。另外，也可以是，在预定时间内测量HMD110与控制器320之间的距离，将该时间内该距离的最大值设定为可动区域R，从而设定适于用户的可动区域R。
在步骤S25中，控制部121判定目标对象500是否配置于手对象400的第一方向D1上。控制部121可基于第一方向D1的延长线是否与目标对象500的碰撞区CB冲突来判定。在是的情况下进入步骤S26，在不是的情况下返回步骤10。
在步骤S26中，控制部121判定是否探测到用户的预定操作输入。预定操作输入可以是如上所述的用于通过手对象400来选择目标对象500的操作。另外，可以是对设于控制器320的预定按钮的预定操作(长按操作等)。在是的情况下进入步骤S27，在不是的情况下返回步骤10。
在步骤S27中，控制部121使目标对象500沿着第一方向D1向手对象400移动。由此，如图16的状态(B)所示，用户能够容易地选择配置于可动区域R外的目标对象500，并且通过手对象进行操作。
＜第二方式＞
参照图17至图23，对根据第二方式的信息处理方法进行说明。图17、图18是用于说明根据本实施方式的信息处理方法的流程图。图19、图20示出通过左手对象400L使被右手对象400R选择的目标对象500变形的情况。图21示出用右手对象400R选择目标对象500后通过活动右手对象400R来改变目标对象500的朝向的情况。图22示出在目标对象500变形前后目标对象500的坐标信息的变化。图23示出使用变形后的目标对象500成功将角色对象CO引导至GOAL地点的情况。
如图17所示，步骤S10－1中，指定在HMD 110提示的视野图像。本实施方式中，如图9的状态(B)所示，在虚拟相机300的前方存在目标对象500以及手对象400L、400R。因此，如图8所示，在视野图像M内显示目标对象500和手对象400。其它的角色对象CO、通道RW等对象在图9和图19至图22中省略图示。
在步骤S11－1中，如上所述，控制部121根据由控制器320探测到的用户U的手的活动使手对象400活动。
在步骤S12－1中，控制部121判定目标对象500和第一操作对象400是否满足预定的条件。本实施方式中，基于对左手对象400L、右手对象400R设定的碰撞区CA判定各手对象400和目标对象500是否接触。在接触的情况下，进入步骤S13－1。在未接触的情况下，再次等待用户的手的活动信息，继续控制手对象400的活动。
在步骤S13－1中，控制部121使与第一操作对象400接触的目标对象500处于被选择的状态。本实施方式中，如图19的状态(A)所示，判定右手对象400R与目标对象500的接触，并且通过如上所述的操作使右手对象400R的各手指弯曲，从而使得目标对象500通过由右手对象400R抓握而处于被选择的状态。
在步骤S14－1中，控制部121指定可以根据左手对象400L(第二操作对象)的活动使目标对象500变形的变形方向。本实施方式中，如图19的状态(A)所示，变形方向TD指定为目标对象500的向上方向、横向方向(向左方向)、深度方向(未示出)。在用户U操纵右手并且利用右手对象400R选择目标对象500的情况下，如下文所述，用户U操纵左手并且利用左手对象400L使目标对象500变形。因此，通过将目标对象500的变形方向TD限定于用户容易操作的维度，能够在不损害用户的虚拟体验的情况下降低计算机的处理负荷。
本实施方式中，优选指定在目标对象500被选择时的以向下方向中的至少一个作为变形方向TD：目标对象500的向上方向和/或向下方向、深度方向和/或向前方向以及在水平方向中目标对象的未被右手对象400R(第一操作对象)选择的向左方向。图19的状态(A)中，作为一个示例，指定向上方向、深度方向、以及与用于选择的右手对象400R相反的左手对象400L所在的一侧的方向(即向左方向)作为变形方向TD。此外，指定变形方向TD时，目标对象500的上下方向、横向方向、深度方向优选基于视野坐标系uvw指定。将垂直于与作为视野坐标系的上下方向的v轴以最接近垂直的角度交叉的面(上面/下面)的方向设为目标对象500的上下方向，将垂直于与作为视野坐标系的水平方向的u轴以最接近垂直的角度交叉的面(左面/右面)的方向设为目标对象500的水平方向(横向方向)，将垂直于与作为视野坐标系的深度方向的w轴以最接近垂直的角度交叉的面(背面/前面)的方向设为目标对象500的深度方向(向前方向)。
在步骤S15－1中，控制部121基于指定的变形方向与目标对象500关联地显示用于向用户以可视觉确认的方式提示变形方向的方向显示OD。在图19的状态(A)中，从目标对象500中的如上述那样基于视野坐标系uvw指定的上面、左面和背面以朝向变形方向TD延伸的方式来显示方向显示OD。由此，可向用户明确地提示目标对象500的变形规则。
如图18所示，在步骤S16－1中，控制部121判定目标对象500和第二操作对象400是否满足预定的条件。本实施方式中，基于针对各手对象400设定的碰撞区CA来判定各手对象400和目标对象500是否接触。在接触的情况下，进入步骤S17－1。在未接触的情况下，再次等待用户的手的活动信息，继续控制手对象400的活动。
在步骤S17－1中，控制部121使得与第二操作对象400接触的目标对象500处于被选择的状态。本实施方式中，如图19的状态(B)所示，判定左手对象400L与目标对象500的接触，并且通过如上所述的操作使左手对象400L的各手指弯曲，从而使得目标对象500通过由左手对象400L抓握而处于被选择的状态。
在步骤S18－1中，控制部121在目标对象500被左手对象400L选择的情况下，如图19的状态(B)所示，消除方向显示OD。假设在用户U用左手对象400L选择目标对象500的时刻用户U已经确定使目标对象500变形的形态。因此，不会使用户U的利便性受损，而且通过减少显示方向显示的时间可防止因方向显示无用地显示于用户的视界内而妨碍虚拟体验。
在步骤S19－1中，控制部121探测左手对象400L在目标对象500被选择的状态下是否向变形方向TD的任一方向进行了移动。在探测到的情况下，进入步骤S20－1。在未探测到的的情况下，继续等待左手对象400L的移动。
步骤S20－1中，控制部121根据左手对象400L的活动使目标对象500变形。具体地，如图19的状态(C)所示，控制部121基于左手对象400L的移动方向MO、移动量MD使目标对象变形。具体地，由于左手对象400L移动的移动方向MO沿着变形方向TD中的向左方向，所以目标对象500沿着向左方向扩大。扩大量基于移动量MD来确定，并且沿着向左方向扩大目标对象500以使目标对象500中仅扩大移动量MD的方向的面(左侧面)朝着向左方向移动。此时，优选不使与上述扩大的方向的面对置的面(右侧面)移动。由此，能够防止目标对象500与右手对象400R的位置关系因目标对象500的变形变得不自然。
在步骤S21－1中，控制部121使目标对象500变形，并且更新变形的目标对象500的坐标信息。坐标信息是用于指定目标对象在虚拟空间200内的配置位置的信息，且基于虚拟空间200中的空间坐标系xyz来定义。
本实施方式中，如图22所示，基于左手对象400L的移动方向、和移动量更新目标对象500的坐标信息。如图22的状态(A)所示，若变形前的目标对象500具有基于其重心规定的配置坐标O1(L，0，0)，则目标对象500的横向方向宽度为2L。如图22的状态(B)所示，在左手对象400L的移动方向MO为左侧方向且将移动量MD设为2D时，优选的是，配置坐标O1的移动方向MO与左手对象400L的移动方向MO相同为左侧方向，配置坐标O1的移动量为D。变形后的目标对象500的配置坐标变为O2(L+D，0，0)，变形后的目标对象500的宽度变为2L+2D。这样，配置坐标O1的移动量优选地为左手对象400L的移动距离的二分之一。由此，即使目标对象500变形，也能够在不改变被右手对象400R选择(抓握)的目标对象500的右端位置的情况下扩大目标对象500，并且能够容易地确定变形后的目标对象500的配置坐标O2。因此，能够防止目标对象500与右手对象400R(第一操作对象)的位置关系因目标对象500的变形而变得不自然。
步骤S22－1中，控制部121基于移动后的手对象400和变形后的目标对象500来更新视野图像M，并输出至HMD 110。由此，可向用户U提供能够随意地操作目标对象500的虚拟体验。
之后，可返回步骤S10－1，再次等待用户U的手的活动。另外，在继续用右手对象400R选择目标对象500的情况下，可以返回步骤16，继续等待左手对象400L的活动，进一步执行使目标对象500变形的处理。
图20的状态(A)示出如上述那样将目标对象500朝着向左方向扩大后，解除左手对象400L对目标对象500的选择的状态。该状态对应于图19的状态(A)，如图20的状态(B)所示地，用左手对象400L选择目标对象的上面后，如图20的状态(C)所示，使左手对象400L向作为变形方向的向上方向移动，由此能够将目标对象500进一步向向上方向扩大。于是，通过重复上述的工序，用户U能够基于手对象400随意地使目标对象500变形。
本实施方式中，优选的是，如图21所示，在用右手对象400R指定目标对象500的变形方向后，即使通过右手对象400R移动而使目标对象500的朝向发生变化，也不使变形方向TD变化。在用户U用右手对象400R选择目标对象500后使目标对象500向深度方向扩大的情况下，预期的是，改变目标对象500的朝向以使目标对象500的深度方向可视觉确认，从而对扩大长度进行微调整。即使在这种情况下也不改变变形方向TD，由此用户U可一边视觉确认深度方向，一边用左手对象400L使目标对象5000向深度方向扩大，从而可提供具有连贯性的操作感。
如图23所示，通过重复以上操作，在用户U使目标对象500变化成适于覆盖通道RW的凹陷的形状后，通过手对象400将目标对象500配置于凹陷内。由此，能够使角色对象CO达到GOAL地点，从而能够游戏通关。
＜第三方式＞
参照图24至图32对根据第三方式的信息处理方法进行说明。图24是示出在HMD110上显示的视野图像M的一个示例的图。虚拟空间200包括目标对象510至530。图25至图27、图30是用于说明根据本实施方式的信息处理方法的流程图。图28、图31示出规定各HMD系统1A、1B、管理服务器4中存储的信息的数据结构。图29、图32示出用手对象400操作目标对象510至530的情况下的视野图像。
如图25所示，在步骤S10－2中，控制部121基于存储于存储部123和存储器的玩家信息指定该用户具有的面具。面具是目标对象500的一个示例，用户预先从管理服务器4下载定义期望的面具的资源数据，并存储于存储部123和存储器中。
在步骤S11－2中，控制部121基于存储于存储部123和存储器的资源数据读取与期望的面具相关的资源数据。在与期望的面具相关的资源数据未存储于存储部123和存储器的情况下，控制部121执行从管理服务器4下载资源数据的处理。
图28示出存储于管理服务器4的资源管理部42、存储部123和存储器中的资源数据的数据结构的一个示例。资源数据包括定义多个面具的信息，所述多个面具分别与不同的图形数据相关联。由此，用户能够使用具有期望外观的玩家角色进行游戏。另外，资源数据可定义成修正耐久力、攻击力这些与玩家角色相关联的参数。而且，各资源数据可与金额相关联，并且可定义成使得由用户进行的支付处理能够使用该资源。
在步骤S12－2中，控制部121基于资源数据生成目标对象，并将目标对配置于虚拟空间。本实施方式中，如图24所示，控制部121在虚拟空间200配置与面具编号1相关联的目标对象510、与面具编号2相关联的目标对象520以及与面具编号3相关联的目标对象530。可以如上述那样在虚拟空间200仅配置由用户进行的支付处理等可选择的面具，也可在虚拟空间200配置全部面具后将由用户选择的面具设定成可通过支付处理来选择。
在步骤S13－2中，控制部121在虚拟空间配置镜对象(第三对象的一个示例)和定义镜对象的反射范围的第二相机。本实施方式中，如图29所示，镜对象600配置于虚拟空间200中。在提供如下文所述的来自第一人称视角的虚拟体验的情况下，玩家角色PC优选地不显示在来自虚拟相机(第一相机)300的视野中，其中，虚拟相机300对HMD 110上显示的显示部112的视野图像的范围进行定义。为了在这种情况下用户也能够确认玩家角色PC的外观，控制部121在虚拟空间200配置镜对象600。在镜对象600附近配置与第一相机300不同的虚拟相机(第二相机)310，将该第二相机310的图像获得部(定义视野的部分)配置于镜对象600的显示面的附近。控制部121通过将由第二相机310获得的图像作为左右反转图像投影至镜对象600的显示面，可将镜对象600用作镜子。
在步骤S14－2中，控制部121如上述地基于第二相机310的视野在镜对象600上显示反射图像。在玩家角色PC配置于第二相机310的视野的情况下，将玩家角色PC的外观作为反射图像显示在镜对象600上。该状态下，在镜对象600的显示面配置于第一相机300的视野内的情况下，用户能够经由第二相机310和镜对象600来视觉确认玩家角色PC的外观。
然后，如图26所示，在步骤S20－2中，控制部121指定在HMD110上提示的视野图像M。本实施方式中，如图9的状态(B)所示，在虚拟相机300的前方存在目标对象500和手对象400L、400R。因此，如图24所示，在视野图像M内显示目标对象500(510至530)、和手对象400。
本实施方式中，虚拟相机300配置于玩家角色PC的内部。由此，从玩家角色PC观察的视角在HMD 110的显示部112上显示，用户U能够享受第一人称视角下的虚拟体验。在这种情况下，通过使得玩家角色PC不在虚拟相机300的视野中显示，可提供图24所示的来自第一人称视角的视野图像M。此外，通过将虚拟相机300配置于玩家角色PC的后方，能够提供来自第三人称视角的视野图像M。在这种情况下，优选地在虚拟相机300的视野中显示玩家角色PC。
在步骤S21－2中，如上所述，控制部121根据由控制器320探测到的用户U的手的活动来使手对象400活动。
在步骤S22－2中，控制部121判定目标对象500和手对象400是否满足预定的条件。本实施方式中，基于对左手对象400L、右手对象400R设定的碰撞区CA来判定各手对象400和目标对象500是否接触。在接触的情况下，进入步骤S13－2。在未接触的情况下，再次等待用户的手的活动信息，继续控制手对象400的活动。
在步骤S23－2中，控制部121判定是否向手对象400输入了用于选择目标对象500的活动。本实施方式中，优选地通过虚拟手400的抓握动作来选择目标对象500。具体地，判定手对象400的活动是否包括使拇指和与之对置的手指的任一个(食指至小指中的至少一个)从作为伸展状态的第一位置向作为弯曲状态的第二位置移动的活动。
在步骤24－2中，控制部121使目标对象500处于被手对象400选择的状态。本实施方式中，判定手对象400与目标对象500的接触，并且通过如上所述的操作使手对象400的各手指弯曲，由此使目标对象500通过由手对象400抓握而处于被选择的状态。
在步骤S25－2中，控制部121在目标对象500被选择的状态下，根据手对象400的活动来使目标对象500活动。由此，用户U可获得能够通过虚拟手400随意操作目标对象500的虚拟体验。
本实施方式中，如图24、图29所示，用手对象400选择目标对象500(面具510至530)的任一个，并使之与玩家角色PC接触，由此能够改变玩家角色PC的外观的至少一部分。具体地，能够使玩家角色PC的脸部分变化成所选择的面具510至530中的任一个。在以下的说明中，假设在变化前与玩家角色PC的外观对应的目标对象为面具520，可将变化前的该目标对象称为第一对象。另外，假设在变化后与玩家角色PC的外观对应的目标对象为面具510，可将变化后的该目标对象称为第二对象。另外，可将外观的显示形态变化的玩家角色PC称为第一玩家角色。
在这种情况下，如图27所示，步骤S30中，控制部121优选地在第二对象510通过手对象400接近玩家角色PC后，使视野图像M变暗。玩家角色PC与第二对象510的接近可基于碰撞区CB、CC之间的距离来探测，也可通过在碰撞区CB、CC的外周进一步设置其它碰撞区来探测。
在步骤S30中，除了降低视野图像M的亮度外，控制部121还可采用模糊处理、掩盖视野内的预定范围等基于视野图像降低向用户提供的视觉效果的各种图像处理方法。在以第一人称视角提供的虚拟体验中，可在改变玩家角色PC的外观时防止视野图像闪烁。由于当第二对象510在第一相机300附近活动时，第二对象510的表面及内部的图像覆盖视野图像，所以可能存在用户可能感觉到不适的情况。
在步骤S31中，控制部121判定第一玩家角色PC和第二对象510是否接触。如上所述，第一玩家角色PC与第二对象510的接触优选地基于碰撞区CB、CC来判定。
在步骤S32中，控制部121隐藏第一对象520，将第二对象510设定为玩家角色的外观的至少一部分。由此，在虚拟空间200中，用户可通过根据自己身体的一部分的活动来操作目标对象，以指定要成为操作目标的第一玩家角色的外观。由此，可以向用户提供新的虚拟体验。
在步骤S33中，控制部121判定镜对象600是否配置于第一相机300的视野内。进一步地，在步骤S34中，控制部121判定玩家角色PC是否配置于第二相机310的视野内。在这两者均判定为是的情况下，在步骤S35中，控制部121将玩家角色PC外观的至少一部分作为第二对象510显示在镜对象600上。通过以上处理，如图29的状态(B)所示，生成包括镜对象600的图像的视野图像M作为玩家角色PC的外观，并将其在HMD 110的显示部112上显示，其中，镜对象600反射面具510的图像。由此，在以第一人称视角提供的虚拟体验中，用户可通过确认投影至第三对象的第一玩家角色的姿态，来确认自己在虚拟空间中的显示形态。由此，可以提供直观的虚拟体验。
如上的信息处理方法即使在提供由多个HMD系统1A、1B共享的虚拟空间200A的情况下也能够应用。图30是用于说明一种信息处理方法的流程图，该信息处理方法用于：在虚拟空间200A中在按照上述改变了与第一HMD系统1A相关联的第一玩家角色PC1的外观的情况下，在第二HMD系统1B中改变第一玩家角色PC1的外观。
在步骤S40中，如上所述，第一HMD系统1A中的控制部121指定作为第一玩家角色PC1的外观的当前面具。第一玩家角色PC1通过由与第一HMD系统1A相关联的用户对HMD 110和控制器320的操作输入来操作。然后，在步骤S41中，如上所述，第一HMD系统1A中的控制部121一旦获得HMD 110和用户的身体的部分的活动，就操作第一玩家角色PC1，并且将与该活动相关的信息作为玩家信息传输至管理服务器4。
在步骤S42中，管理服务器4的控制部41将从第一HMD系统1A接收的玩家信息存储于玩家管理部43。图31示出玩家信息的数据结构的一个示例。玩家信息优选地包括关于与用户ID相关联的相机位置、相机朝向、手的位置、手的朝向、手的状态、面具编号的信息。相机位置、相机朝向基于第一HMD系统1A中的HMD 110的位置和朝向来指定。同样地，手的位置、手的朝向、手的状态基于第一HMD系统1A中的控制器320的位置和朝向来指定。各个位置和朝向可基于虚拟空间200A中的坐标和朝向来指定。面具编号是用于指定与当前第一玩家角色PC1相关联的目标对象的信息。
玩家信息可与对配置成使多个用户匹配且共享的虚拟空间200A进行指定的信息(房间ID等)相关联。针对每个用户整合这些玩家信息，并传输至与该虚拟空间200A相关联的所有用户，由此执行同步处理。此外，在预定的HMD系统中，在未存储与面具编号相关联的资源数据的情况下，可与整合后的玩家信息一同传输资源数据。
在步骤S43中，第二HMD系统1B中的控制部121基于接收到的玩家信息控制第一玩家角色PC1的显示形态。如图32的状态(A)所示，由于在第二HMD系统1B中的虚拟相机320(第二相机的一个示例)的视野中包括第一玩家角色PC1，所以基于从第一HMD系统1A传输的玩家信息使第一玩家角色PC1活动。具体地，图32的状态(B)示出利用虚拟相机320在第二HMD系统1B中提示的视野图像M2的一个示例。第二HMD系统1B中的控制部121基于与相机位置、相机朝向相关的玩家信息分别控制第一玩家角色PC1的位置和朝向。另外，第二HMD系统1B中的控制部121基于与手的位置、手的朝向、手的状态相关的玩家信息控制右手对象400R、左手对象400L的位置和朝向、各手指的状态。
在步骤S44中，一旦作为第一玩家角色PC1的外观的当前面具按照上述从第一对象(面具520)改变成第二对象(面具510)，第一HMD系统1A中的控制部121就将包括用于指定改变后的面具的面具编号的信息作为玩家信息传输至管理服务器4。
在步骤S45中，如上所述，管理服务器4的控制部41更新玩家信息并且将指示面具已更新的玩家信息传输至第二HMD系统1B，由此执行同步处理。在第二HMD系统1B未在存储部中存储与改变后的面具有关的资源数据的情况下，将与该面具有关的资源数据与玩家信息一同传输。
在步骤S46中，第二HMD系统1B中的控制部121基于接收到的玩家信息控制第一玩家角色PC1的显示形态。第二HMD系统1B中的控制部121隐藏显示为第一玩家角色PC1的第一对象520，如图32的状态(B)所示，将第二对象510显示为第一玩家角色PC1。由此，在虚拟空间中，在其它用户已通过操作目标对象指定第一玩家角色的外观的情况下，能够在第二头戴式设备的视野中容易地显示外观已改变的第一玩家角色。由此，可向用户提供新的虚拟体验。
＜第四方式＞
参照图33至图37，对根据第四方式的信息处理方法进行说明。图33至图37示出手对象400和目标对象500(面具510至530)等各对象的位置关系以及包括它们的视野图像的一个示例。特别是用于说明用手对象400操作目标对象500的情况的图。
如图33所示，在视野图像M显示有多个目标对象500(面具510至530)。控制部121基于存储于存储部123和存储器的玩家信息，指定该用户具有的面具。面具是目标对象500的一个示例，用户预先从管理服务器4下载定义期望的面具的资源数据，并存储于存储部123和存储器。
控制部121基于资源数据生成目标对象500，并配置于虚拟空间200。本实施方式中，如图33所示，控制部121将面具510至530配置于虚拟空间200。
控制部121指定在HMD 110提示的视野图像M。本实施方式中，如图9的状态(B)所示，在虚拟相机300的前方存在目标对象500、和手对象400L、400R。因此，如图33所示，在视野图像M内显示目标对象500(510至530)和手对象400。另外，图34中示出用户U从该状态移动到从侧面斜向观看配置成一列的面具510至530的状态。
如图34的状态(A)所示，在视野图像M内，在面具510至530在深度方向(侧倾方向：W方向)上排列的情况下，用户难以用手对象400选择期望的目标对象500。这是因为，从用户观察难以直观地识别手对象400在深度方向上配置于哪个位置。
本实施方式中，基于手对象400来改变满足被选择的选择条件的对象的显示形态。例如，在图34的状态(A)中，指定面具520d作为应通过右手对象400R选择的目标对象500。该情况下，控制部121以向面具520添加区分标志D1的方式来改变面具520的显示形态。区分标志D1包括“选择中”字符串，向用户提示右手对象400R的选择目标。此外，也可不改变面具520的显示形态，而对相邻的其它面具510、530的显示形态进行非强调显示，相对于面具520，使其它面具510、530不明显。非强调显示例如使色调变暗或降低分辨率。此时，可使面具510、530不能通过右手对象400R选择，从而不会通过右手对象400R误选其它面具510、530。
图35示出指定应通过右手对象400R选择的目标对象500的方法的一个示例。如图35的状态(A)所示，针对右手对象400R设定呈球状的碰撞区CA，针对面具510设定呈球状的碰撞区CB1，针对面具520设定呈球状的碰撞区CB2。该情况下，满足选择条件的选择对象500与用于右手对象400R的碰撞区CA的重叠区域最大。在图35的状态(A)中，控制部121使用于右手对象400R的碰撞区CA与面具510和面具520的碰撞区CB1、CB2部分地重叠。控制部121将碰撞区CA和碰撞区CB1的重叠区域与碰撞区CA和碰撞区CB2的重叠区区域进行比较，指定重叠区域更大的目标对象500作为选择目标。本实施方式中，重叠区域较大的面具520被设定为选择目标。
此外，如图35的状态(B)所示，控制部121可指定配置于相距右手对象400R的坐标最近的位置的目标对象500作为选择目标。在图35的状态(B)中，由于右手对象400R与面具520之间的距离d2比右手对象400R与面具510之间的距离d1小，所以将面具520设定为选择目标。
该状态下，当右手对象400R的手指弯曲时，如图34的状态(B)所示，控制部121使右手对象400R抓握面具520。具体地，判定手对象400的活动是否包括使拇指和与之对置的手指的任一个(食指到小指中的至少一个)从作为伸展状态的第一位置向作为弯曲状态的第二位置移动的活动。
控制部121使目标对象500处于被手对象400选择的状态。在本实施方式中，判定手对象400与目标对象500的接触，并且通过如上所述的操作使手对象400的各手指弯曲，由此使目标对象500通过由手对象400抓握而处于被选择的状态。
控制部121在目标对象500被选择的状态下根据手对象400的活动使目标对象500活动。由此，用户U能够获得可通过虚拟手400随意操作目标对象500的虚拟体验。
图36示出用于控制部121指定操作对象(手对象400)的选择目标的其它方式。本实施方式中，不同点在于，在视野图像M内显示UI图像540。
在UI图像540中显示与面具510至530对应的图像。如图36的状态(A)所示，控制部121可通过预先用手对象400操作UI图像540来将面具510设定为选择目标。该情况下，以添加至面具510的方式来显示包括用于向用户提示面具510为选择目标的字符串“可选择”的区分标志D2。由此，改变成为选择目标的面具510的显示形态。
该情况下，如图36的状态(B)所示，控制部121可去除针对其它面具520设定的碰撞区CB2。由此，能够避免通过手对象400误操作未成为选择目标的其它面具520的情况，可向用户提供直观的虚拟体验。
图37示出用于控制部121指定操作对象(手对象400)的选择目标的其它方式。本实施方式中，不同点在于，目标对象500中的面具510至530中的任一个由手对象400随机选择。
控制部121判定在手对象400周围的预定范围内是否存在多个目标对象500。如图37的状态(A)所示，由于多个面具510至530存在于手对象400周围的预定范围内，所述控制部121将多个面具510至530控制成在手对象400周围旋转，从而执行随机选择事件。
之后，如图37的状态(B)所示，在向右手对象400R输入握持操作的情况下，控制部121从面具510至530中随机指定任一个作为选择目标。在图37的状态(B)中，面具530被选择为选择目标。进一步地，控制部121使右手对象400R抓握面具530，并且在面具530显示包括用于使用户识别出面具530被指定为选择目标的字符串“选中！”的区分标志D3。
由此，用户可通过活动自己的手的动作从多个目标对象500中随机地选择任一个面具。例如，当针对用户进行的支付提供随机地提供面具510至530的任一个的事件(所谓的“抽签”)时，可向用户提供新的虚拟体验。
在上文中，对本公开的实施方式进行了说明，但是本发明的技术范围不应由本实施方式的说明限定性地解释。本实施方式为一个示例，本领域技术人员应当理解，在权利要求记载的发明范围内，可进行各种实施方式的改变。本发明的技术范围应基于权利要求中记载的发明范围及其等同范围来确定。
在本实施方式中，根据外部控制器320的活动来控制手对象的移动，其中，外部控制器320的活动表示用户U的手的活动，但是可根据用户U的手本身的移动量来控制虚拟空间内的手对象的移动。例如，通过使用佩戴于用户手指的手套式设备或戒指式设备来取代使用外部控制器，通过位置传感器130可检测到用户U的手的位置和移动量并且可检测到用户U的手指的活动和状态。另外，位置传感器130可以是配置为拍摄用户U的手(包括手指)的相机。在这种情况下，通过使用相机拍摄用户的手，在不直接在用户的手指上佩戴任何设备的情况下基于显示用户的手的图像数据可检测出用户U的手的位置和移动量并且可检测出用户U的手指的活动和状态。
另外，本实施方式中，根据作为用户U的除头部以外的身体的一部分的手的位置和/或活动来设定碰撞效果，其中，所述碰撞效果规定由手对象给目标对象带来的影响，但是，本实施方式不限于此。例如，可根据作为用户U的除了头部以外的身体的一部分的脚的位置和/或活动来设定碰撞效果，其中，所述碰撞效果规定与用户U的脚的活动同步的脚对象(操作对象的一个示例)给目标对象带来的影响。
另外，在本实施方式中，虽然示例性地说明了通过HMD 110使用户沉浸的虚拟空间(VR空间)，但是可采用透射型HMD作为HMD110。这种情况下，可经由透射型HMD 110向用户U视觉确认的现实空间合成并输出目标对象500的图像，从而提供作为AR空间或MR空间的虚拟体验。而且，作为第一操作对象和第二操作对象的替代，可基于用户身体的第一部分和第二部分(用户U的双手)的活动来进行目标对象500的选择和操作。在该情况下，通过指定现实空间以及用户身体的第一部分和第二部分的坐标信息并且利用与现实空间中的坐标信息的关系来定义目标对象500的坐标信息，可基于用户U的身体的活动对目标对象500施加作用。
另外，在本实施方式中，通过将第二HMD系统1B中的基于HMD110和控制器320的玩家信息传输至第一HMD系统1A，可同样地在第一HMD系统1A的显示部1A中控制由与第二HMD系统1B相关联的用户来操作的第二玩家角色PC2的显示形态。通过将本实施方式示出的同步处理在多个HMD系统间执行，可提供由多个用户共享的虚拟空间。
[附注事项1]
(项目1)
一种方法，是用于计算机控制头戴式设备的信息处理方法，
所述方法包括在上述计算机的处理器中的以下步骤：
指定对包括虚拟相机、操作对象和目标对象的虚拟空间进行规定的虚拟空间数据；
获得检测单元的检测结果，所述检测单元配置为检测所述头戴式设备的位置和除用户头部以外的身体的部分的位置；
根据所述头戴式设备的活动使所述虚拟相机活动；
根据所述身体的部分的活动使所述操作对象活动；
根据所述操作对象的活动来选择所述目标对象；
在所述目标对象被选择的状态下，根据所述操作对象的活动来使所述目标对象活动；
基于所述虚拟相机的活动来定义所述虚拟相机的视野，基于所述视野和所述虚拟空间数据来生成视野图像数据；以及
基于所述视野图像数据，在所述头戴式设备上显示视野图像，
基于所述操作对象与所述目标对象的位置关系，修正所述目标对象的朝向，通过将朝向已修正的所述目标对象与所述操作对象相关联来选择所述目标对象。
根据本项目的方法，在操作对象选择目标对象时，可自动调整目标对象的姿势。由此，在用户活动身体的一部分来选择目标对象时，即使未正确地调整位置关系，也能够无违和感地选择目标对象。因此，可改善用户与虚拟对象的交互，从而改善向用户提供的虚拟体验。
(项目2)
根据项目1的方法：指定用于由所述操作对象选择所述目标对象的第一方向，其中，第一方向与所述操作对象相关联；指定用于使所述目标对象由所述操作对象选择的第二方向；修正所述目标对象的朝向以使所述第二方向接近所述第一方向。
由此，在用户活动身体的一部分来选择目标对象时，即使未正确地调整位置关系，也能够无违和感地选择目标对象。
(项目3)
根据项目2的方法：所述身体的一部分是所述用户的手，所述操作对象是根据所述手的活动而活动的虚拟手；指定所述目标对象中的用于通过所述虚拟手的多个选择部分选择的多个被选择部分，基于多个所述被选择部分的位置关系来指定所述第二方向。
由此，在用户活动虚拟手来选择目标对象时，即使未正确地调整位置关系，也能够无违和感地以抓握的方式来选择目标对象。
(项目4)
根据项目3的方法：使所述目标对象向所述操作对象移动以使多个所述被选择部分接近多个所述选择部分，同时将所述目标对象与所述操作对象相关联。
由此，在用户活动虚拟手来选择目标对象时，即使未正确地调整位置关系，也能够无违和感地以抓握方式来选择目标对象。
(项目5)
根据项目3或4的方法：在所述操作对象的活动包括使多个所述选择部分从第一位置向第二位置移动的活动的情况下，修正所述目标对象的朝向。
由此，由于基于用户为了选择目标对象而输入至虚拟手的操作来调整目标对象的朝向，所以能够更直观地选择目标对象。
(项目6)
根据项目1至5中任一项的方法：所述身体的一部分是所述用户的手，所述操作对象是根据所述手的活动而活动的虚拟手；
在所述虚拟手的活动包括用于选择所述目标对象的活动的情况下，修正所述目标对象的位置以使所述目标对象接近所述虚拟手。
由此，由于基于用户为了选择目标对象而输入至虚拟手的操作来调整目标对象的位置，所以用户能够更直观地选择目标对象。
(项目7)
根据项目6的方法：针对所述虚拟手设定碰撞区，基于所述碰撞区来判定所述虚拟手与所述目标对象的接触；
在所述虚拟手和所述目标对象接触的状态下，在所述虚拟手的活动包括用于选择所述目标对象的活动的情况下，修正所述目标对象的位置以使所述目标对象接近所述虚拟手；
根据所述用户的手的速度来改变所述碰撞区的大小。
由此，由于能够根据用户的手的速度容易地选择目标对象，所以用户能够更直观地选择目标对象。
(项目8)
根据项目1至7中任一项的方法：在所述目标对象配置于所述操作对象的可动区域外的情况下，
指定用于由所述操作对象选择所述目标对象的第一方向，其中，第一方向与所述操作对象相关联；
所述位置关系包括在所述第一方向上配置所述目标对象；
基于由所述用户进行的预定操作输入，使所述目标对象沿所述第一方向向所述操作对象移动。
由此，能够容易且直观地选择配置于虚拟手无法达到的地方的目标对象。
(方案9)
一种使所述计算机执行项目1至8中的任一项的方法的程序。
[附注事项2]
(项目1)
一种方法，是具有头戴式显示器和位置传感器的系统中的信息处理方法，所述位置传感器配置为检测所述头戴式显示器的位置及用户的除头部以外的身体的第一部分和第二部分的位置，该方法包括以下步骤：
指定对包括虚拟相机、第一操作对象、第二操作对象和目标对象的虚拟空间进行规定的虚拟空间数据；
根据所述头戴式显示器的活动来使所述虚拟相机活动；
根据所述第一部分的活动来使所述第一操作对象活动；
根据所述第二部分的活动来使所述第二操作对象活动；
根据所述第一部分的活动来选择所述目标对象；
在所述目标对象被选择的状态下，根据所述第二操作对象的活动，使所述目标对象变形；
基于所述虚拟相机的活动来定义所述虚拟相机的视野，基于所述视野和所述虚拟空间数据，生成视野图像数据；以及
基于所述视野图像数据，在所述头戴式显示器上显示视野图像。
根据本方案的信息处理方法，因为能够活动第一操作对象来选择目标对象并且通过活动第二操作对象使目标对象变形，所以可提供用户能够随意操作目标对象的虚拟体验。
(项目2)
根据项目1的方法：通过所述第一操作对象与所述目标对象的接触来选择所述目标对象；
在所述第二操作对象和所述目标对象接触后，基于所述第二操作对象移动的方向，使所述目标对象变形。
由此，能够基于第二操作对象的活动容易地使目标对象变形，可提供用户能够随意操作目标对象的虚拟体验。
(项目3)
根据项目2的方法：所述目标对象包括所述虚拟空间中的坐标信息；
所述目标对象的坐标信息基于所述第二操作对象移动的方向来更新。
由此，能够防止目标对象与第一操作对象的位置关系因目标对象的变形而变得不自然。
(项目4)
根据项目3的方法：在所述第二操作对象向预定方向移动预定距离的情况下，所述坐标信息改变为在预定方向上移动所述预定距离的二分之一。
由此，能够防止目标对象与第一操作对象的位置关系因目标对象的变形而变得不自然。
(项目5)
根据项目1至4中任一项的方法：当选择所述目标对象时，使方向显示与所述目标对象相关联地显示，其中，所述方向显示示出能够使所述目标对象根据所述第二操作对象的活动而变形的变形方向。
由此，可以向用户明确地提示目标对象的变形规则。
(项目6)
根据项目5的方法：通过探测到所述第二操作对象的活动，清除所述方向显示。
由此，能够减少显示方向显示的时间，可防止方向显示妨碍用户的虚拟体验。
(项目7)
根据项目1至6中任一项的方法：所述虚拟相机定义根据所述头戴式显示器的活动而移动的视野坐标系，所述视野坐标系包括上下方向、水平方向以及深度方向，
指定所述目标对象被选择的时刻下的所述目标对象的向上方向和/或向下方向、深度方向和/或向前方向、所述水平方向中的所述目标对象的未由所述第一操作对象选择的方向中的至少一个作为能够使所述目标对象根据所述第二操作对象的活动而变形的变形方向。
由此，能够将目标对象的变形方向限定于用户容易操作的维度，能够在不有损用户的虚拟体验的情况下降低计算机的处理负荷。
(项目8)
根据项目7的方法：在指定能够使所述目标对象根据所述第二操作对象的活动而变形的变形方向后，即使通过移动所述第一操作对象而使所述目标对象的朝向变化，所述变形方向也不变化。
由此，即使在用户为了使目标对象在预定变形方向变形而要将目标对象的朝向改变为容易视觉确认该预定的变形方向的情况下，由于变形方向不改变，因此可向用户提供具有连贯性的操作感。
(项目9)
一种使所述计算机执行项目1至8中任一向的方法的程序。
[附注事项3]
(项目1)
一种方法，是用于计算机控制具有显示部的第一头戴式设备的信息处理方法，其中，
所述方法包括在所述计算机的处理器中的以下步骤：
指定对包括虚拟相机、第一玩家角色、操作对象、第一对象和第二对象的虚拟空间进行规定的虚拟空间数据；
获得检测单元的检测结果，所述检测单元配置为检测所述第一头戴式设备的位置和用户头部以外的身体的部分的位置；
根据所述第一头戴式设备的活动来使所述虚拟相机活动；
根据所述身体的部分的活动，使所述操作对象活动；
根据所述操作对象的活动，选择所述目标对象；
在所述第二对象被选择的状态下，根据所述操作对象的活动，使所述第二对象活动；
基于所述虚拟相机的活动来定义所述虚拟相机的视野，基于所述视野和所述虚拟空间数据来生成视野图像数据；以及
基于所述视野图像数据，在所述第一头戴式设备上显示视野图像，在将所述第一对象设定为所述第一玩家角色的至少一部分的外观的状态下，在通过所述第二对象活动判定所述第一玩家角色与所述第二对象的碰撞的情况下，
将所述第一玩家角色的至少一部分的外观从所述第一对象改变成所述第二对象。
根据本项目的方法，在虚拟空间中，用户通过根据自己身体的一部分的活动来操作第二对象，能够指定成为操作目标的第一玩家角色的外观。由此，可向用户提供新的虚拟体验。
(项目2)
根据项目1的方法：所述虚拟空间数据包括与所述第一对象和第二对象不同的第三对象；
所述虚拟相机包括：定义用于生成所述视野图像数据的第一视野的第一相机；以及定义用于生成向所述第三对象投影的图像的第二视野的第二相机；
在所述第一视野中不显示设定为所述第一玩家角色的至少一部分的外观的所述第一对象或所述第二对象，而是在所述第二视野中显示设定为所述第一玩家角色的至少一部分的外观的所述第一对象或所述第二对象。
根据本项目的方法，在以第一人称视角提供的虚拟体验中，用户可通过确认投影至第三对象的第一玩家角色的姿态来确认自己在虚拟空间中的显示形态。由此，可提供直观的虚拟体验。
(项目3)
根据项目1或2的方法：所述虚拟相机配置在用于判定所述第一玩家角色与所述第二对象的碰撞的碰撞区内；
在判定所述第一玩家角色与所述第二对象的碰撞时，对所述视野图像实施降低基于所述视野图像向用户提供的视觉效果的图像处理。
根据本项目的方法，在以第一人称视角提供的虚拟体验中，可防止视野图像在改变第一玩家角色的外观时闪烁。
(项目4)
根据项目1至3中任一项的方法，是用于计算机控制具有显示部的第二头戴式设备的信息处理方法，
所述方法包括在所述计算机的处理器中的以下步骤：
指定对包括虚拟相机、第一玩家角色、操作对象、第二玩家角色、第一对象和第二对象的虚拟空间进行规定的虚拟空间数据；
根据所述第二头戴式设备的活动来使所述虚拟相机活动；
从能够与所述第二头戴式设备通信地连接的第一头戴式设备获得用于控制所述第一玩家角色的玩家信息；
基于所述玩家信息来控制所述第一玩家角色的活动和外观的至少一部分的显示形态；
基于所述虚拟相机的活动来定义所述虚拟相机的视野，基于所述视野和所述虚拟空间数据来生成视野图像数据；以及
基于所述视野图像数据，在所述第二头戴式设备上显示视野图像，其中，在通过根据佩戴所述第一头戴式设备的用户头部以外的身体的部分的活动操作所述操作对象来将所述第二对象作为所述第一对象的替代设定为所述第一玩家角色的至少一部分的外观的情况下，所述玩家信息将所述第一玩家角色的至少一部分的外观从所述第一对象改变成所述第二对象。
根据本项目的方法，在虚拟空间中，在通过其它用户操作目标对象来对第一玩家角色的外观进行指定的情况下，可容易地在第二头戴式设备的视野中显示外观改变后的第一玩家角色。由此，可向用户提供新的虚拟体验。
(项目5)
一种使计算机执行项目1至4中的任一项的方法的程序。
[附注事项4]
(项目1)
一种方法，是用于计算机控制具有显示部的头戴式设备的信息处理方法，
所述方法包括在所述计算机的处理器中的以下步骤：
指定对包括虚拟相机、操作对象以及包括第一对象和第二对象的多个目标对象的虚拟空间进行规定的虚拟空间数据；
获得检测单元的检测结果，所述检测单元配置为检测所述头戴式设备的位置和用户头部以外的身体的部分的位置；
根据所述头戴式设备的活动来使所述虚拟相机活动；
根据所述身体的部分的活动来使所述操作对象活动；
根据所述操作对象的活动来选择所述第一对象或所述第二对象；
基于所述虚拟相机的活动来定义所述虚拟相机的视野，基于所述视野和所述虚拟空间数据来生成视野图像数据；以及
基于所述视野图像数据，在所述显示部上显示视野图像，
在所述第一对象满足由所述操作对象选择的选择条件的情况下，改变所述第一对象和/或所述第二对象的显示形态。
(项目2)
根据项目1的方法，在所述第一对象满足由所述操作对象选择的选择条件的情况下，使能由所述操作对象对所述第一对象的选择，并且非使能由所述操作对象对所述第二对象的选择。
(项目3)
根据项目1或2的方法：还包括针对所述第一对象、所述第二对象和所述操作对象设定碰撞区，
所述选择条件包括：所述操作对象的碰撞区与所述第一对象的碰撞区的重复区域比所述操作对象的碰撞区与所述第二对象的碰撞区的重复区域大。
(项目4)
根据项目1至3中任一项的方法，所述选择条件包括：所述操作对象与所述第一对象之间的距离比所述操作对象与所述第二对象之间的距离小。
(项目5)
根据项目1至4中任一项的方法，还包括：在所述视野图像中显示用于将所述第一对象或所述第二对象设定为所述操作对象的选择目标的UI图像，
所述选择条件包括通过预先利用所述操作对象操作所述UI图像而将所述第一对象设定为所述操作对象的选择目标。
(项目6)
根据项目1至5中任一项的方法，在所述第一对象和所述第二对象距离所述操作对象位于预定范围内的情况下，
将所述第一对象和所述第二对象中的任一个随机地设定为所述操作对象的选择目标，
所述选择条件包括所述第一对象被设定为所述选择目标。
(项目7)
一种使所述计算机执行项目1至6的任一项的方法的程序。
符号说明
1：HMD系统
3：通信网络
21：中心位置
112：显示部
114：HMD传感器
120：控制装置
121：控制部
123：存储部
124：I/O接口
125：通信接口
126：总线
130：位置传感器
140：注视传感器
200：虚拟空间
300：虚拟相机
302：操作按钮
302a、302b：按压式按钮
302e、302f：扳机式按钮
304：探测点
320：外部控制器
320i：模拟摇杆
320L：左手用外部控制器(控制器)
320R：右手用外部控制器(控制器)
322：顶面
324：握柄
326：框架
400：手对象(虚拟手)
400L：左手对象
400R：右手对象
500：目标对象
CA：碰撞区
CV：视野
CVa：第一区域
CVb：第二区域。

Claims (9)

1.一种信息处理方法，包括：
利用虚拟空间数据定义虚拟空间，其中所述虚拟空间包括虚拟相机、操作对象和目标对象；
利用检测单元检测头戴式设备的位置和用户头部以外的身体的一部分的位置；
根据检测到的所述头戴式设备的活动使所述虚拟相机活动；
根据检测到的所述身体的一部分的活动使所述操作对象活动；
在所述操作对象活动后，响应于所述操作对象的预定姿势来选择所述目标对象，其中所述目标对象的选择包括：
基于所述操作对象与所述目标对象之间的位置关系，校正所述目标对象的方向或位置；以及
在校正所述目标对象的方向或位置后，将所述目标对象与所述操作对象相关联；
在所述目标对象被选择的状态下，根据所述操作对象的活动来使所述目标对象活动；
基于所述虚拟相机的活动来定义所述虚拟相机的视野；
基于所述视野和所述虚拟空间数据来生成视野图像数据；以及
基于所述视野图像数据，在所述头戴式设备上显示视野图像，
其中所述校正包括，响应于所述操作对象对所述目标对象的选择，旋转所述目标对象，使得从所述目标对象向所述操作对象延伸的第一参考方向与从所述操作对象向所述目标对象延伸的第二参考方向之间的角度为0°或180°。
2.根据权利要求1所述的方法，其中，
指定用于由所述操作对象选择所述目标对象的第一方向，其中，所述第一方向与所述操作对象相关联；
指定用于使所述目标对象由所述操作对象进行选择的第二方向；
修正所述目标对象的朝向以使所述第二方向接近所述第一方向。
3.根据权利要求2所述的方法，所述身体的一部分是所述用户的手，所述操作对象是根据所述手的活动而活动的虚拟手；
指定所述目标对象中的用于通过所述虚拟手的多个选择部分选择的多个被选择部分；
基于多个所述被选择部分的位置关系来指定所述第二方向。
4.根据权利要求3所述的方法，使所述目标对象向所述操作对象移动以使多个所述被选择部分接近多个所述选择部分，同时将所述目标对象与所述操作对象相关联。
5.根据权利要求1至4中任一项所述的方法，其中，
所述身体的一部分是所述用户的手，所述操作对象是根据所述手的活动而活动的虚拟手；
在所述虚拟手的活动包括用于选择所述目标对象的活动的情况下，修正所述目标对象的位置以使所述目标对象向所述虚拟手接近。
6.根据权利要求5所述的方法，其中，
针对所述虚拟手设定碰撞区，基于所述碰撞区来判定所述虚拟手与所述目标对象的接触；
在所述虚拟手和所述目标对象进行接触的状态下，在所述虚拟手的活动包括用于选择所述目标对象的活动的情况下，修正所述目标对象的位置以使所述目标对象向所述虚拟手接近；
根据所述用户的手的速度来改变所述碰撞区的大小。
7.根据权利要求1所述的方法，在所述目标对象配置于所述操作对象的可动区域外的情况下，
指定用于由所述操作对象选择所述目标对象的第一方向，其中，所述第一方向与所述操作对象相关联；
所述位置关系包括在所述第一方向上配置所述目标对象；
基于由所述用户进行的预定操作输入，使所述目标对象沿所述第一方向朝向所述操作对象移动。
8.一种计算机可读存储介质，所述计算机可读存储介质上记录有执行权利要求1至7中任一项所述方法的计算机程序。
9.用于控制头戴式设备的计算机，通过所述计算机具有的处理器的控制执行以下步骤：
(a)指定对包括虚拟相机、操作对象和目标对象的虚拟空间进行规定的虚拟空间数据；
(b)获得检测单元的检测结果，所述检测单元配置为检测所述头戴式设备的位置和用户头部以外的身体的一部分的位置；
(c)根据所述头戴式设备的活动使所述虚拟相机活动；
(d)根据所述身体的一部分的活动使所述操作对象活动；
(e)根据所述操作对象的活动来选择所述目标对象；
(f)在所述目标对象被选择的状态下，根据所述操作对象的活动来使所述目标对象活动；
(g)基于所述虚拟相机的活动来定义所述虚拟相机的视野，基于所述视野和所述虚拟空间数据来生成视野图像数据；以及
(h)基于所述视野图像数据，在所述头戴式设备上显示视野图像；
在步骤(e)中，基于所述操作对象与所述目标对象的位置关系，修正所述目标对象的朝向或位置，通过将朝向或位置已修正的所述目标对象与所述操作对象相关联来选择所述目标对象。
CN201780041636.2A 2016-08-09 2017-08-09 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机 Active CN109690447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010786107.9A CN111949128A (zh) 2016-08-09 2017-08-09 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2016-157052 2016-08-09
JP2016157052A JP6140871B1 (ja) 2016-08-09 2016-08-09 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2016163926A JP6157703B1 (ja) 2016-08-24 2016-08-24 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2016-163926 2016-08-24
JP2016165952A JP6220937B1 (ja) 2016-08-26 2016-08-26 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2016-165952 2016-08-26
JP2016-178091 2016-09-12
JP2016178091A JP2018045338A (ja) 2016-09-12 2016-09-12 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
PCT/JP2017/028882 WO2018030453A1 (ja) 2016-08-09 2017-08-09 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、及びコンピュータ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010786107.9A Division CN111949128A (zh) 2016-08-09 2017-08-09 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机

Publications (2)

Publication Number Publication Date
CN109690447A CN109690447A (zh) 2019-04-26
CN109690447B true CN109690447B (zh) 2020-09-04

Family

ID=61163380

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780041636.2A Active CN109690447B (zh) 2016-08-09 2017-08-09 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机
CN202010786107.9A Pending CN111949128A (zh) 2016-08-09 2017-08-09 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010786107.9A Pending CN111949128A (zh) 2016-08-09 2017-08-09 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机

Country Status (3)

Country Link
US (4) US10255658B2 (zh)
CN (2) CN109690447B (zh)
WO (1) WO2018030453A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
DE102016113060A1 (de) * 2016-07-15 2018-01-18 Beckhoff Automation Gmbh Verfahren zum Steuern eines Objekts
US10255658B2 (en) * 2016-08-09 2019-04-09 Colopl, Inc. Information processing method and program for executing the information processing method on computer
JP6853638B2 (ja) * 2016-09-14 2021-03-31 株式会社スクウェア・エニックス 表示システム、表示方法、及び、コンピュータ装置
US10715746B2 (en) * 2017-09-06 2020-07-14 Realwear, Inc. Enhanced telestrator for wearable devices
KR102551686B1 (ko) 2018-05-29 2023-07-05 삼성전자주식회사 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
US11341940B2 (en) * 2018-07-04 2022-05-24 Maxell, Ltd. Head mounted display and setting method
US10855978B2 (en) 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
JP7353773B2 (ja) * 2019-03-18 2023-10-02 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
US10884487B2 (en) * 2019-03-21 2021-01-05 Microsoft Technology Licensing, Llc Position based energy minimizing function
JP6675136B1 (ja) * 2019-06-20 2020-04-01 パルス株式会社 仮想空間提供システム、仮想空間提供方法及びプログラム
JP6915030B2 (ja) * 2019-11-27 2021-08-04 株式会社バンダイ ストーリー映像提示プログラム、方法及びシステム
US20210279967A1 (en) * 2020-03-06 2021-09-09 Apple Inc. Object centric scanning
US11278810B1 (en) * 2021-04-01 2022-03-22 Sony Interactive Entertainment Inc. Menu placement dictated by user ability and modes of feedback
US20230025585A1 (en) * 2021-07-21 2023-01-26 Sony Interactive Entertainment Inc. Augmented reality artificial intelligence enhance ways user perceive themselves
CN113744400A (zh) * 2021-09-09 2021-12-03 网易（杭州）网络有限公司 地形蒙版选区确定方法、装置及计算机设备

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239750A (ja) 1993-12-28 1995-09-12 Canon Inc モデリング方法とその装置
JP3904671B2 (ja) 1997-05-28 2007-04-11 富士通株式会社 仮想粘土システムおよびそのシミュレーション方法
JP3653463B2 (ja) 2000-11-09 2005-05-25 日本電信電話株式会社 複数のユーザによる仮想空間共有システム
JP2004295577A (ja) 2003-03-27 2004-10-21 Kureo:Kk オブジェクト選択装置、オブジェクト選択方法及びオブジェクト選択プログラム
CN102460349A (zh) * 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8400398B2 (en) * 2009-08-27 2013-03-19 Schlumberger Technology Corporation Visualization controls
JP5148660B2 (ja) 2010-06-11 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
EP2431870B1 (en) * 2010-09-17 2019-11-27 LG Electronics Inc. Mobile terminal and control method thereof
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5221694B2 (ja) 2011-03-08 2013-06-26 株式会社東芝 電子機器、オブジェクトの表示方法及びオブジェクトの表示プログラム。
JP5774387B2 (ja) 2011-06-28 2015-09-09 京セラ株式会社 表示機器
CN103018905A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 头戴式体感操控显示系统及其方法
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
KR101318244B1 (ko) * 2012-02-29 2013-10-15 한국과학기술연구원 3차원 사용자 인터페이스 구현 시스템 및 구현 방법
KR101463540B1 (ko) * 2012-05-23 2014-11-20 한국과학기술연구원 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법
JP6112815B2 (ja) 2012-09-27 2017-04-12 京セラ株式会社 表示装置、制御システムおよび制御プログラム
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
JP2015118556A (ja) 2013-12-18 2015-06-25 マイクロソフト コーポレーション コントロールデバイスのための拡張現実オーバーレイ
JP6355978B2 (ja) 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US9606584B1 (en) * 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
US10303435B2 (en) * 2015-01-15 2019-05-28 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US10048769B2 (en) * 2015-11-18 2018-08-14 Ted Selker Three-dimensional computer-aided-design system user interface
US10115234B2 (en) * 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
US10636222B2 (en) * 2016-05-04 2020-04-28 Google Llc Avatars in virtual environments
US10250720B2 (en) * 2016-05-05 2019-04-02 Google Llc Sharing in an augmented and/or virtual reality environment
US10255658B2 (en) * 2016-08-09 2019-04-09 Colopl, Inc. Information processing method and program for executing the information processing method on computer
US10602133B2 (en) * 2016-10-04 2020-03-24 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US10699461B2 (en) * 2016-12-20 2020-06-30 Sony Interactive Entertainment LLC Telepresence of multiple users in interactive virtual space

Also Published As

Publication number Publication date
US20190188825A1 (en) 2019-06-20
CN109690447A (zh) 2019-04-26
US20200250793A1 (en) 2020-08-06
US10255658B2 (en) 2019-04-09
US20190188826A1 (en) 2019-06-20
CN111949128A (zh) 2020-11-17
US10664950B2 (en) 2020-05-26
US20180061003A1 (en) 2018-03-01
WO2018030453A1 (ja) 2018-02-15
US10719911B2 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
CN109690447B (zh) 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机
CN109313511B (zh) 提供虚拟空间的方法、提供虚拟体验的方法、程序以及记录介质
JP6189497B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
CN108027987B (zh) 信息处理方法、信息处理装置及信息处理系统
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
WO2018020735A1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6117414B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6157703B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018110871A (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6934374B2 (ja) プロセッサを備えるコンピュータにより実行される方法
JP6290493B2 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP6966336B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6122194B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018014110A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018014084A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018026099A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6941130B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2018014109A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6189496B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018045338A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018018499A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6189495B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant