CN108139804A - 信息处理装置与信息处理方法 - Google Patents

信息处理装置与信息处理方法 Download PDF

Info

Publication number
CN108139804A
CN108139804A CN201680058666.XA CN201680058666A CN108139804A CN 108139804 A CN108139804 A CN 108139804A CN 201680058666 A CN201680058666 A CN 201680058666A CN 108139804 A CN108139804 A CN 108139804A
Authority
CN
China
Prior art keywords
user
information processing
processing unit
phantom
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680058666.XA
Other languages
English (en)
Inventor
梨子田辰志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108139804A publication Critical patent/CN108139804A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本发明的目的是提供一种解调虚拟现实(VR)空间中的信息与用户之间的交互的信息处理装置。当在VR空间中观看地平面视图的用户在处于坐姿的同时仰望时，在VR空间的上空中出现目标标记。如果用户在该状态下进一步执行躯干的简短上下运动的“跳跃动作”，则VR空间中的视图变成来自上空的视图。通过仰望上空并且在目标标记可见的同时重复执行跳跃动作的动作，则能够在VR空间中移至更高的上空。

Description

信息处理装置与信息处理方法
技术领域
本说明书中公开的技术涉及调解用户与信息之间的交互的信息处理装置和信息处理方法，并且例如，涉及调解在其中观看第一人称视图等的虚拟现实(VR)空间中的信息与用户之间的交互的信息处理装置和信息处理方法。
背景技术
已知允许用户访问除了用户以外的人物/对象所看到的景象(由除了用户以外的移动体看到的景象)的技术。
例如，已提出了一种远程获取由安装在诸如车辆的移动体上的移动摄像机拍摄的图像的移动摄像机系统(例如，参见专利文献1)。此外，已提出了一种向佩戴头戴式显示器的人提供类似于由佩戴包括成像感测无线装置的眼镜的人所获取的视觉信息的信息的图像处理系统(例如，参见专利文献2)。此外，已提出了一种其中用于显示移动体的拍摄的图像的显示装置相对于移动体的成像装置指定拍摄图像的视点位置和视线方向以及拍摄图像时的速度的图像显示系统(例如，参见专利文献3)。
此外，已提出了一种提供用于传输在一位置中并且还同时通过诸如远程位置中的机器人的视觉的间隔操作远程位置中的对象的感觉的接口的遥现技术(例如，参见专利文献4)。
引用列表
专利文献
专利文献1:JP2006-186645A
专利文献2:JP2004-222254A
专利文献3:JP2008-154192A
专利文献4:JP2014-522053T
专利文献5:JP2014-104185A
专利文献6:JP2015-81965A
专利文献7:JP2012-58679A
发明内容
技术问题
本说明书中公开的技术的目的是提供能够调解VR空间中的信息与用户之间的交互的优异的信息处理装置和信息处理方法。
问题的解决方案
本说明书中公开的技术是鉴于上述问题设计的，并且其第一方面是信息处理装置，包括：检测单元，被配置为检测用户的动作；及输入单元，被配置为基于所检测的动作输入来自用户的在VR空间中移动的指令。
根据本说明书中公开的技术的第二方面，根据第一方面的信息处理装置的检测单元被配置为检测用户保持坐姿时的动作，并且输入单元被配置为基于用户保持坐姿时的动作输入在VR空间中移动的指令。
根据本说明书中公开的技术的第三方面，根据第二方面的信息处理装置的输入单元被配置为输入在用户的头部或者躯干倾斜的方向上移动的指令。
根据本说明书中公开的技术的第四方面，根据第一方面的信息处理装置的输入单元被配置为输入用户面向上方并且同时进行躯干的上下运动的动作来作为移动至上空的指令。
根据本说明书中公开的技术的第五方面，根据第一方面的信息处理装置的输入单元被配置为输入用户在VR空间的上空时面向下并且进行躯干的上下运动的动作来作为移动至地面的指令。
根据本说明书中公开的技术的第六方面，根据第一方面的信息处理装置的输入单元被配置为输入用户面向前方并且同时进行躯干的上下运动的动作来作为在正向上移动的指令。
根据本说明书中公开的技术的第七方面，根据第一方面的信息处理装置进一步包括：被配置为显示VR空间的图像的显示单元。
根据本说明书中公开的技术的第八方面，根据第七方面的信息处理装置的显示单元被配置为基于由输入单元输入的移动的指令来切换VR空间的视图。
根据本说明书中公开的技术的第九方面，根据第七方面的信息处理装置的显示单元被配置为在用户面对的方向上显示目标标记，该方向是由检测单元检测的。
根据本说明书中公开的技术的第十方面，根据第九方面的信息处理装置的输入单元被配置为输入用户进行躯干的上下运动的动作来作为移动至显示目标标记的地点的指令，并且显示单元被配置为切换至显示目标标记的地点的视图。
根据本说明书中公开的技术的第十一方面，根据第八方面的信息处理装置的显示单元被配置为在切换视图时显示预定效果线。
根据本说明书中公开的技术的第十二方面，根据第十方面的信息处理装置的显示单元被配置为在切换视图时给予以目标标记为起点的视觉效果。
根据本说明书中公开的技术的第十三方面，根据第八方面的信息处理装置的显示单元被配置为在切换视图时应用模糊。
根据本说明书中公开的技术的第十四方面，根据第七方面的信息处理装置的显示单元被配置为在用户从上空俯瞰VR空间时在地面上显示阴影。
此外，本说明书中公开的技术的第十五方面是一种信息处理方法，包括：检测步骤，检测用户的动作；以及输入步骤，基于所检测的动作输入来自用户的在VR空间中移动的指令。
本发明的有益效果
根据本说明书中公开的技术，能够提供能够调解VR空间中的信息与用户之间的交互的优异的信息处理装置和信息处理方法。
应当注意，本说明书中描述的有益效果仅用于示例的目的，并且本发明的有益效果不限于此。此外，在一些情况下，本发明还可以表现出除以上给出的有益效果以外的额外有益效果。
进一步，通过基于下文中讨论的示例性实施方式和附图的更加详细的描述，本说明书中公开的技术的目标、特征以及优点将变得清晰。
附图说明
[图1]图1示出了应用了本说明书中公开的技术的视觉信息共享系统100的概述。
[图2]图2示意性地示出了1至N的网络拓扑。
[图3]图3示意性地示出了N至1的网络拓扑。
[图4]图4示意性地示出了N至N的网络拓扑。
[图5]图5示出了图像提供装置101和图像显示装置102的功能配置示例。
[图6]图6是示出了在观看几乎面向前方的主体的第一人称视图的情况下的圆顶式显示器的示例性安装的示图。
[图7]图7是示出了在观看注视前方并且稍微向上的主体的第一人称视图的情况下的圆顶式显示器的示例性安装的示图。
[图8]图8是示出了同时容纳两个用户的圆顶式显示器的示例性配置的示图。
[图9]图9是示出了用于机器学习的引导图像的示例的示图。
[图10]图10是示出了用于机器学习的引导图像的示例的示图。
[图11]图11是示出了用于机器学习的引导图像的示例的示图。
[图12]图12是示出了在用户保持坐姿的同时给出在VR空间中向前移动的指令的前倾动作的示例的示图。
[图13]图13是示出了在用户保持坐姿的同时给出在VR空间中向后移动的指令的后倾动作的示例的示图。
[图14]图14是用于描述跳跃UI的示图。
[图15]图15是用于描述跳跃UI的示图。
[图16]图16是用于描述跳跃UI的示图。
[图17]图17是用于描述跳跃UI的示图。
[图18]图18是用于描述微型跳跃UI的示图。
[图19]图19是用于描述微型跳跃UI的示图。
[图20]图20是示出了使用投影映射的显示器的示例性配置的示图。
[图21]图21是示出了包括使用圆顶式显示器的幻影的视觉共享系统的概念图。
具体实施方式
在下文中，将参照附图详细描述本说明书中公开的技术的实施方式。
A.系统配置
图1示出了应用了本说明中公开的技术的视觉信息共享系统100的概述。图1中示出的视觉信息共享系统100是通过结合图像提供装置101和图像显示装置102而配置的，该图像提供装置是用于提供通过拍摄现场的图像而获得的图像，该图像显示装置是用于显示从图像提供装置101所提供的图像。
图像提供装置101具体包括安装在实际在现场行动的观察者111的头部上的配备有摄像机的透视头戴式显示器。在本文中的“透视”头戴式显示器基本上是透光的，但是可以是视频透视头戴式显示器。设置在头戴式显示器中的摄像机拍摄观察者111的大致视线方向上的图像并提供其第一人称视图(FPV)。
同时，假定图像显示装置102与现场(即，与图像提供装置101)分开布置，并且假定图像提供装置101和图像显示装置102经由网络互相通信。本文中的术语“分开”不仅包括远程位置，而且包括图像提供装置101和图像显示装置102在同一房间中稍微(例如，大约几米)分开的情形。此外，还假定图像提供装置101和图像显示装置102经由服务器(未示出)交换数据。
例如，图像显示装置102是一显示装置，不在现场的人(拍摄图像的观看者)112通过该显示装置观看观察者111的第一人称视图。如果图像显示装置102是能够以广角的视图显示图像的装置(诸如在半球体的内圆周上显示图像的圆顶式显示器)或者是例如，观看者112能够更真实地体验与观察者111相同的景象的沉浸式头戴显示器。
然而，图像显示装置102不限于显示广角图像的装置，并且还可以是透视的头戴式显示器或者手表式显示器。可替代地，图像显示装置102不需要是可佩戴的终端，并且也可以是诸如智能电话或者平板电脑的多功能信息终端、诸如计算机屏幕或者电视接收机的通用监视显示器、游戏机等。
因为观察者111实际在现场并且用他/她的身体行动，所以在下文中也将作为图像提供装置101的用户(或者图像提供装置101)的观察者111称为“主体”。同时，观看者112没有在现场用他/她的身体行动，而是通过观看观察者111的第一人称视图而感觉处于该现场，并且因此在下文中也将作为图像显示装置102的用户(或者图像显示装置102)的观看者112称为“幻影(Ghost)”。
主体将自己的周围情形发送至幻影并且进一步与幻影共享该情形。同时，幻影与主体进行通信并且因此可以从分开的位置实现诸如工作辅助的交互。在下文中，也将幻影沉浸于主体的第一人称体验以允许幻影在视觉信息共享系统100中进行交互的过程称为“JackIn”。
视觉信息共享系统100主要具有将第一人称视图从主体发送至幻影以允许幻影观看并且体验第一人称视图的功能和允许主体与幻影彼此进行通信的功能。通过使用后面的通信功能，幻影可以通过来自远程位置的干预来与主体进行交互，诸如允许幻影干预主体的视觉的“视觉干预”；允许幻影干预主体的听觉的“听觉干预”；允许幻影移动或者刺激主体的身体或者主体的一部分的“身体干预”；及允许幻影而不是主体在现场讲话的“替代会话”。还可以说JackIn具有多个通信信道，诸如“视觉干预”、“听觉干预”、“身体干预”及“替代会话”。下面将描述“视觉干预”、“听觉干预”、“主体干预”及“替代会话”的细节。
幻影可以通过“视觉干预”、“听觉干预”、“身体干预”及“替代会话”命令主体在现场的行为。例如，视觉信息共享系统100可以用于不同行业领域的工作辅助(诸如外科手术等的医疗现场和建筑工程的施工现场等)、针对飞机和直升机的控制及其导航的指令、汽车的驾驶员的导航、体育中的辅导或者指导，及其他用途。
例如，不仅在主体希望与另一个人共享自己的视觉的情况下，而且在主体希望(或者需要)由另一个人辅助、指令、引导及操纵关于主体目前通过视觉干预等执行的操作的情况下，主体主动用适当的幻影实现JackIn(主体主动开始)。
此外，不仅在幻影希望在不访问现场的情况下在现场观看视频(另一个人的第一人称视图)的情况下，而且在幻影希望(或者需要)辅助、指令、引导并且操纵另一个人关于该人目前执行的操作的情况下，幻影主动用相应的主体实现JackIn(幻影主动开始)。
应当注意，当主体无限制地受到视觉干预、听觉干预、身体干预、或者会话干预时，主体的自身行为可能被幻影中断，或者自身行为可能受到阻碍，因此是危险的，并且在一些情况下，主体的隐私受到侵犯。同时，幻影还可能具有一些幻影不希望观看的视频，或者，在一些情况下，即使在被要求的情况下，幻影无法向主体提供诸如适当的辅助、指令、引导、及导航的服务。因此，通过幻影到主体的JackIn和通过幻影在JackIn状态下对主体的干预可能限制在一定水平。
应当注意，为了简化，图1示出了单个主体至单个幻影的网络拓扑，即，其中仅存在单个图像提供装置101和单个图像显示装置102。还对以下进行假定：如在图2中所示的单个主体和多个(N)幻影同时进行JackIn的1至N的网络拓扑；如在图3中所示的多个(N)主体和单个幻影同时进行JackIn的N至1的网络拓扑；及如在图4中所示的多个(N)主体和多个(N)幻影同时进行JackIn的N至N的网络拓扑。
此外，还假定了将单个装置从主体切换至幻影，将单个装置从幻影切换至主体，以及同时具有主体的作用和幻影的作用。还假定了单个装置作为幻影对主体进行JackIn并且，同时，用作另一幻影的主体的网络拓扑(未示出)，即，三个或更多设备以菊花链方式连接。在任何网络拓扑中，可以在主体与幻影之间插入服务器(未示出)。
B.功能配置
图5示出了图像提供装置101和图像显示装置102的功能配置示例。
图像提供装置101是起主体作用的用户(观察者112)使用的装置。在图5中所示的示例中，图像提供装置101包括成像单元501、图像处理单元502、显示单元503、第一音频输出单元504、驱动单元505、及用作输出单元的第二音频输出单元506、位置检测单元507、通信单元508、控制单元509、及认证单元510。
成像单元501包括用于拍摄主体的第一人称视图的图像的摄像机。成像单元501附接至观察者111的头部以拍摄例如，主体(即观察者111)的视线方向的图像。可替代地，全上空摄像机可以用作成像单元501以提供主体周围环境的360度全上空图像。然而，全上空图像不一定需要360度图像，并且视野可以是较窄的。此外，全上空图像可以是不包括几乎不包含信息的地板表面的半球形图像(以下同样适用)。
图像处理单元502处理从成像单元501输出的图像信号。在由成像单元501拍摄的主体的第一人称视图的图像照原样流动的情况下，因为主体他/她自己查看周围环境并且改变视线方向，所以幻影观看到强烈抖动的视频。因此，诸如虚拟现实(VR)疾病和晕动病的健康危害也是令人关注的问题。此外，幻影可能希望观看主体没有聚焦的部分。鉴于此，图像处理单元502基于由成像单元501拍摄的主体的第一人称视图的连续图像模拟地形成周围空间。具体地，图像处理单元502基于同时定位和映射(SLAM)识别技术等实时进行关于由成像单元501拍摄的视频(全上空图像)的空间识别，并且将当前视频帧和过去视频帧在空间上接合在一起，因此渲染从由幻影控制的虚拟摄像机的视点看到的视频。在虚拟摄像机的视点处渲染的视频是模拟地在主体的身体以外而不是主体的第一人称视图的视点看到的视频。因此，幻影可以独立于主体的运动来观察主体周围的环境。这样可以稳定视频的抖动以防止VR疾病并且观看主体未聚焦的部分。
显示单元503显示并输出从图像显示装置102发送的信息，因此允许幻影干预主体的视觉。在图像提供装置101是如上所述的透视头戴式显示器的情况下，显示单元503叠加并且显示表达幻影的意识的增强现实(AR)图像，该幻影与主体共享关于观察者111的视觉(即，真实世界的场景)的第一人称体验。AR图像包括示出由幻影指示的位置的图像(诸如指针、注释等)。因此，幻影可以与主体进行通信以干预其视觉，因此在现场与主体交互。
例如，第一音频输出单元504包括，听筒、耳机等并且使主体收听从图像显示装置102发送的信息，由此允许幻影干预主体的听觉。图像显示装置102发送关于与主体共享第一人称体验的幻影的意识的信息。图像提供装置101将接收到的信息转换为音频信号并且从第一音频输出单元504输出音频，由此使主体(即，观察者111)收听音频。可替代地，由目前具有第一人称体验的幻影发出的音频信号照原样从图像显示装置102发送。图像提供装置101将接收到的音频信号以音频的形式照原样从第一音频输出单元504输出，由此使主体(即，观察者111)收听音频。此外，可以适当地调整从第一音频输出单元504输出的音频的音量、质量、输出时间等。可替代地，从图像显示装置102发送的图像信息或者文本信息可以转换为音频信号并且以音频的形式从第一音频输出单元504输出。因此，幻影可以与主体进行通信以干预其听觉，由此在现场与主体交互。
驱动单元505移动或者刺激主体的身体或者主体的一部分，因此允许幻影干预主体的身体。例如，驱动单元505包括用于向观察者111的身体施加触觉或者电刺激(刺激是轻微的并且因此不损害健康)的致动器。可替代地，驱动单元505包括用于通过驱动动力外骨骼或者佩戴在观察者111的手臂、手部、腿部等上的外骨骼来支持或者限制身体的运动的装置(例如，参见专利文献5)。因此，幻影可以与主体进行通信以干预其身体，因此在现场与主体交互。
例如，第二音频输出单元506包括由主体佩戴的可佩戴的扬声器等并且将从图像显示装置102发送的信息或者音频信号以音频的形式输出到外部。在现场听到从第二音频输出单元506输出的音频就好像主体他/她自己说话一样。因此，幻影可以与主体所在的现场的人们进行会话或者可以用音频(而不是主体)给出指令(替代会话)。
例如，位置检测单元507通过使用全球定位系统(GPS)信号来检测图像提供装置101(即，主体)的当前位置信息。例如，在幻影寻找位于由幻影所期望的位置的主体的情况下使用检测到的位置信息。
经由网络相互连接至图像显示装置102的通信单元508，发送由拍摄单元501拍摄的第一人称视图的图像和空间信息并且与图像显示装置102进行通信。通信单元508的通信设备可以是无线通信设备或者有线通信设备并且不限于指定通信标准。
认证单元510执行经由网络互相连接的图像显示装置102(或者作为其用户的幻影)的认证处理并且确定用于输出从图像显示装置102发送的信息的输出单元。然后，控制单元509基于由认证单元510的认证结果控制来自输出单元的输出操作。例如，控制单元509具有对应于中央处理单元(CPU)和图形处理单元(GPU)的功能。
例如，在作为认证处理结果允许图像显示装置102仅进行视觉干预的情况下，控制单元509仅执行来自显示单元503的显示输出。此外，在允许图像显示装置102不仅执行视觉干预，而且执行听觉干预的情况下，控制单元509执行来自显示单元503的显示输出和来自第一音频输出单元504的音频输出两者。主体允许幻影的干预的范围被定义为许可级别。同时，幻影在主体内干预的范围被定义为任务水平(如下所述)。应注意，也能够形成视觉信息共享系统100，使得以上由认证单元510和控制单元509执行的处理由介于图像提供装置101与图像显示装置102之间的服务器(未示出)来执行，而非由图像提供装置101执行。
同时，图像显示装置102是由起幻影作用的用户(观看者112)使用的装置。在图5中所示的示例中，图像显示装置102包括通信单元511、图像解码单元512、显示单元513、用户输入单元514、及位置/姿势检测单元515。
经由网络互相连接至图像提供装置101的通信单元511接收来自图像提供装置101的第一人称视图并且与图像提供装置101进行通信。通信单元511的通信设备可以是无线通信设备或者有线通信设备并且不限于指定通信标准。然而，通信设备与图像提供装置101的通信单元508兼容。
图像解码单元512对通信单元511从图像提供装置101接收的图像信号执行解码处理。显示单元513显示并且输出已在图像解码单元512中解码的全上空图像(主体的第一人称视图)。应注意，可以由图像解码单元512，而不是图像提供装置101的图像处理单元502执行用于渲染来自主体的第一人称视图的、从主体的身体以外的视点看到的视频的处理。
位置/姿势检测单元515检测观看者112的头部的位置和姿势。检测到的位置和姿势对应于幻影的当前视点位置和视线方向。可以基于由位置/姿势检测单元515检测到的观看者112的头部的位置和姿势来控制基于主体的第一人称视图模拟地创建从主体的身体以外的视点看到的视频的虚拟摄像机(如上所述)的视点位置和视线方向。
应注意，例如，通过组合多个传感器元件(诸如陀螺仪传感器、加速度传感器及地磁传感器)可以配置位置/姿势检测单元515。作为一个示例，可以组合3轴陀螺仪传感器、3轴加速度传感器、及3轴地磁传感器来配置总共能够检测9条轴线的传感器，并且该传感器可以应用于位置/姿势检测单元515。
例如，显示单元513包括用作幻影的观看者112佩戴的头戴式显示器。通过使用沉浸式头戴式显示器作为显示单元513，观看者112可以更加真实地体验与观察者111相同的景象。观看者112观看的视频(即，幻影)不是主体本身的第一人称视图，而是在第一人称视图的连续图像的基础上模拟地形成的周围空间(模拟地从主体的身体以外的视点看到的视频)(如上所述)。此外，能够执行控制使得虚拟摄像机执行幻影的头部跟踪，即遵循由位置/姿势检测单元515检测的观看者112的视点位置和视线方向，由此移动显示单元513上的显示器的视角。
显示单元513可以是诸如透视头戴式显示器或者手表式显示器的可佩戴终端，而不是沉浸式头戴式显示器。可替代地，显示单元513不一定是可佩戴终端，并且可以是多功能信息终端(诸如智能电话或者平板电脑)、诸如计算机屏幕或者电视接收机的通用监视显示器、游戏机、用于在屏幕上投射图像的投影仪等。
用户输入单元514是用于响应于观察显示单元513上显示的主体的第一人称视图而允许作为幻影的观看者112输入幻影自己的意图或者意识的装置。
例如，用户输入单元514包括诸如触摸屏、鼠标或者操纵杆的同等的输入装置。通过鼠标的触摸、点击操作等，幻影可以直接指示幻影对显示主体的第一人称视图的屏幕特别感兴趣的位置。幻影给出关于幻影目前观看的视频的像素坐标的指示。然而，拍摄的主体的视频总是变化，并且因此关于像素坐标的指示是无意义的。鉴于此，用户输入单元514通过图像分析等指定与通过幻影在屏幕上触摸、点击操作等指示的像素位置对应的三维空间上的位置信息，并将该三维空间中的位置信息发送给图像提供装置101。因此，幻影可以执行相对于空间(而不是像素坐标)可以是固定的指向。
此外，用户输入单元514可通过使用由摄像机拍摄的幻影的面部的图像或者眼睛电位来拍摄眼球运动，计算幻影凝视的位置，并且将指定该位置的信息发送至图像提供装置101。也在那时，用户输入单元514通过图像分析等指定与幻影正在凝视的像素位置相对应的三维空间中的位置信息，并将该三维空间中的位置信息发送至图像提供装置101。因此，幻影可以执行相对于空间(而不是像素坐标)可以是固定的指向。
此外，用户输入单元514包括诸如键盘的文本输入装置。当幻影具有与主体的体验相同的第一人称体验时，幻影可以输入幻影希望通知主体的意图、幻影具有的意识等作为文本信息。用户输入单元514可将由幻影输入的文本信息原样发送至图像提供装置101或者可将文本信息转换为诸如音频信号的其他形式的信号，并且随后将信号发送至图像提供装置101。
此外，用户输入单元514包括诸如麦克风的音频输入装置并且输入由幻影发出的音频。用户输入单元414可以音频信号的形式将输入的音频原样从通信单元511发送至图像提供装置101。可替代地，用户输入单元514可执行输入音频的音频识别，将输入的音频转换为文本信息，并将文本信息发送至图像提供装置101。
此外，用户输入单元514包括诸如麦克风的音频输入装置并且输入由幻影发出的音频。用户输入单元414可以音频信号的形式将输入的音频原样从通信单元511发送至图像提供装置101。可替代地，用户输入单元514可执行输入音频的音频识别，将输入的音频转换为文本信息，并将文本信息发送至图像提供装置101。
此外，用户输入单元514可以是用于输入幻影的身体姿势和手势的姿势输入装置。用于拍摄姿势的设备不受特殊限制。例如，用户输入单元514可包括用于拍摄幻影的身体的移动的图像的摄像机和用于处理所拍摄的图像的图像识别装置。此外，为了便于进行图像识别，可向幻影的身体附着标记。可替代地，用户输入单元514包括附着于幻影的身体的陀螺仪传感器或者加速度传感器，并且检测幻影身体的运动。
用户输入单元514可将输入姿势作为例如在主体的身体中进行干预的控制信号从通信单元511发送至图像提供装置101。此外，用户输入单元514可将输入姿势转换为图像信息以干预主体的视觉(坐标信息、待重叠并显示的AR图像、文本信息等)或者转换为音频信号以干预主体的听觉并将该图像信息或者音频信号从通信单元511发送至图像提供装置101。此外，用户输入单元514通过图像分析等指定与由幻影的姿势表示的像素位置对应的三维空间中的位置信息，并将该三维空间中的位置信息发送至图像提供装置101。因此，幻影可以执行相对于空间(而不是像素坐标)可以是固定的指向。
另外，用户输入单元514输入基于利用摄像机拍摄的幻影的图像分析、附着于幻影的身体的陀螺仪传感器或者加速度传感器的检测结果等获得的幻影的动作作为在VR空间等中移动的指令。然而，VR空间中的用户界面的细节将推迟到稍后说明。
鉴于叠加和显示AR图像，视觉信息共享系统100中开发的名为JackIn的服务类似一般的AR技术。然而，据认为JackIn与由计算机执行的常规的AR技术的不同之处在于一个人类(幻影)增加了另一个人类(主体)。
此外，JackIn还类似遥现(如上所述)。然而，普通遥现与JackIn的不同之处在于，普通遥现是用于从诸如机器人的机器的视点观看世界的界面，然而，在JackIn中，一个人类(幻影)从另一个人类(主体)的视点观看世界。此外，遥现的前提是人类是主人，机器是奴隶，并且作为奴隶的机器真实地再现人类的运动。同时，在人类(幻影)对另一人类(主体)执行JackIn的情况下，主体不一定按照幻影移动，即是独立的界面。
在上述视觉信息共享系统100中，从图像提供装置101提供至图像显示装置102的视频不限于由主体在现场观察的实时视频(即，由成像单元501拍摄的直播视频)并且可以是过去记录的视频。例如，图像提供装置101包括用于记录过去视频的海量存储装置(未示出)，并且过去的视频可以从图像提供装置101分配。可替代地，由图像提供装置101记录的过去的视频可以累积在用于控制主体与幻影之间的JackIn的JackIn服务器(临时名称)或者另一记录服务器中，并且过去的视频可以从服务器流式传输至幻影(图像显示装置102)。应当注意，在幻影观看过去的视频的情况下，主体中不允许包括视觉干预和听觉干预的干预。这是因为由幻影观看的视频不是在主体当前操作的现场的视频并且基于过去的视频的干预阻碍了主体的当前操作。
应当注意，关于两个装置之间共享视觉的细节，还参见例如，已转让给本申请人的专利申请第2013-78893号的说明书。此外，关于相同的系统100中的视觉干预(AR图像的显示)的细节，还参见例如，已转让给本申请人的专利申请第2013-78892号的说明书、专利申请第2013-78894号的说明书，及专利申请第2013-191464号的说明书。
C.图像显示装置的配置
基本上，图像显示装置102设置有允许观看由图像提供装置101拍摄的第一人称视图的配置就足够了，并且如果对显示单元514应用获得广角视野的装置，诸如圆顶式(半球形或者非球面)显示器或者沉浸式头戴式显示器，可以观看具有更高临场感的图像，并且观看者112能够更现实地体验与观察者111相同的景象。
因为头戴式显示器可以是紧凑型的，用户仅通过戴上头戴式显示器就能够开始作为幻影活动而没有空间限制。相反地，头戴式显示器给头部带来压力，用户感觉到被困住的感觉，同时还容易得VR疾病，难以长时间工作。另外，当用户戴上头戴式显示器时，用户变的沉浸于所观看的图像中，几乎不能掌握周围的状况。为此，即使当佩戴头戴式显示器的幻影彼此靠近时也不能理解彼此的状态，因此认为难以进行协作。另外，因为视野受到头戴式显示器的阻挡，所以佩戴用户处于无防护状态。
另一方面，圆顶式显示器虽然在安装位置方面受限制，但是不佩戴在用户的身体上，因此即使长时间段工作也不大可能引起压力。另外，如果考虑到主体的辅助工作与其他工作并行的情况，不像头戴式显示器那样遮盖住眼睛是更有效的。另外，如果圆顶的尺寸增加，则可以在圆顶内部同时容纳两个、三个或更多用户(幻影)，使得便于创造适于协作的环境。
作为补充说明，尽管无法拍摄佩戴头戴式显示器的用户的面部表情，但是可以对圆顶内部的用户的面部表情进行拍摄、分析等。
例如，圆顶式显示器可以配置为圆顶式(半球形或者非球面)屏幕，以及包括将图像光投射在圆顶的内侧(凹面)上的投影表面上的投影装置的显示装置(投影仪)(例如，参见专利文献6)。被配置为具有可以容易地组装的折叠结构的圆顶式屏幕便于安装和存储(例如，参见专利文献7)。可替代地，可以使用柔性显示元件来制造圆顶式或者非球面显示器。另外，小的芯片状显示元件虽然不太灵活，但是可以布置并且用作多面(接近曲面)显示器。
图6至图8示出了使用圆顶式显示器作为图像显示装置102的模式的示例。图6示出了观看几乎面向前方的主体的第一人称视图的情况下的圆顶式显示器的示例性安装。另外，图7示出了在观看看向前方并且稍微向上的主体的第一人称视图的情况下的圆顶式显示器的示例性安装。例如，单个圆顶式显示器具有半球形屏幕，其半径大约为80cm至100cm。
另外，图8示出了同时容纳两个用户的圆顶式显示器的示例性配置。两个或多个用户(作为幻影的观看者)共享从主体发送的图像的能力是与基于单个用户观看的头戴式显示器存在巨大差异的。例如，在辅助驾驶诸如大货轮、渡船或者客机的大型运输机的工作的情况下，能够如所示的那样360度(全周长)地环顾四周会减少麻烦。另外，通过使多人同时观看相同的图像，可以减少错误。应注意，在想要容纳三人或更多人的情况下，根据人数增加圆顶的尺寸就足够了。
在使用圆顶式显示器作为图像显示装置102的情况下，显示VR的圆顶内部的空间可以与外界隔开。例如，在圆顶内部，可以通过产生风和可能产生的振动或者通过调节温度和湿度来表示自然现象。
另外，如果圆顶式显示器与多信道音频系统组合，则外界声音可被圆顶隔离，并且在圆顶内部可以定位期望的声音图像。因此，幻影能够在视觉和听觉上获得与主体相同的第一人称视图。
图20示出了在图6至图8中所示的圆顶式显示器的变型。圆顶式显示器可包括圆顶式屏幕和将图像投射在圆顶的凹面上的投影仪。与此相反，在图20中所示的示例中，使用一种技术，在该技术中，利用投影映射技术将从主体(图像提供装置101)发送的图像投射在用户(幻影)所在的房间的墙面上。
图21示出了包括使用圆顶式显示器的幻影的视觉共享系统的概念图。在视觉共享系统中，在观察者(主体)与观看者(幻影)之间共享面部表情和诸如音感、触觉、嗅觉、味觉的感觉。在图21中所示的示例中，视觉共享系统被配置为使幻影通过预定服务器插入主体。另外，允许从幻影到主体的干预(许可)的范围由服务器控制。圆顶式显示器能够同时容纳一个、两个或更多观看者(幻影)。例如，圆顶式显示器的屏幕(投影面)兼作触摸板，并且观察者能够触摸直接投射在屏幕上的图像以实现与主体的交互。另外，圆顶式显示器设置有一个或多个设置为能够拍摄所容纳的观察者的摄像机，输入观察者发出的语音的麦克风，及其他环境传感器，并将来自这些的输入信号反馈至主体。
E.VR空间中的用户界面
如上所述，在根据本实施方式的视觉信息共享系统100中，将观察者111(也就是主体)的第一人称视图从图像提供装置101递送至图像显示装置102。另外，在图像显示装置102侧，使用圆顶式显示器(参见图6至图8)或者头戴式显示器显示所接收的图像。观看者112(也就是幻影)通过在圆顶式显示器等上显示的VR空间共享主体所在的现场的情况，并且通过另外与主体通信，能够从偏僻位置实现诸如工作辅助的交互。
作为幻影与主体交互的用户界面，可以使用现有的输入装置，诸如键盘和鼠标、触摸板、操纵杆或者游戏控制器。此外，还可以使用语音输入和姿势输入来代替输入装置，或者与输入装置结合使用。
在VR空间中，为了真实起见，使用户自己的双手可见是重要的。期望双手持有像上述那样的输入装置。在圆顶式显示器上显示VR空间的情况下，用户能够直接看见自己的双手。另外，在观看沉浸式头戴式显示器上的VR空间的情况下，可以想象显示由在VR空间中覆盖的摄像机拍摄的用户的双手的方法。
在VR空间中执行的交互可包括空间移动。例如，存在幻影发布指令来执行诸如四处走动、跑步或者移动到在显示主体的第一人称视图的VR空间中视觉没有达到的位置的动作的情况。
通常，幻影的双手具有操作输入装置或者输入姿势的功能。为此，如果有人尝试利用他的双手来发布空间移动指令，则存在切换双手功能致使输入工作变得间断或者与不自然相关联的问题。
另外，还可以想到通过使幻影执行实际走动、跑步或者移动的动作来发布空间移动指令的方法。在观看圆顶式显示器上的VR空间的情况下，在狭窄圆顶内部四处移动会带来与周围设备接触或碰撞的危险。另外，在观看沉浸式头戴式显示器上的VR空间的情况下，在视野处于遮挡状态时采取站立姿势是危险的。
因此，本说明书提出使用户(幻影)在保持坐姿的同时发出在VR空间中的舒适移动指令的用户界面。
用户界面检测处于坐姿状态下的用户的头部的朝向(或者视线方向)和躯干的简短的上下运动，并将这些转换为空间移动指令动作。例如，可以使用附着于用户头部的位置/姿势检测单元515来检测用户的头部的朝向和躯干的上下运动。可替代地，可以基于附着于用户头部以及拍摄视线方向的摄像机所拍摄的图像的变化来检测用户头部的朝向和躯干移动(例如，如果所拍摄的图像被描述在水平线以下，将用户理解为面向下，然而如果描述为水平线以上，将用户理解为面向上。另外，如果所拍摄的图像上下变化，将用户理解为上下移动)。
另外，人们想象的运动当中存在很大的个体差异。即使基于传感器的分析结果或者摄像机拍摄的图像检测到的动作数据的值是相同的，但通常情况是，一个用户打算头部面向上的动作而另一用户不打算采取这种动作的情况。
另外，对于诸如在坐姿时使头部面向上或者向下或者使躯干进行简短的上下运动的动作也存在很大的个体差异。因此，为了实现舒适的用户界面，优选使用户(幻影)在保持坐姿的同时执行诸如头部面向上、面向下的动作以及躯干的简短的上下运动的动作预定次数，并且预先执行预期动作与动作数据之间的匹配，即，机器学习。
在机器学习期间，可以在圆顶式显示器或者沉浸式头戴式显示器上显示给出在保持坐姿的同时执行诸如头部面向上、面向前、面向下以及简短的上下运动的期望动作的指令的视频(引导图像)，并且可以使用户根据视频进行身体运动。图9至图11示出了用于机器学习进行头部面向上、面向前及面向下的每种的引导图像的示例。
以下通过示例说明通过在保持坐姿的同时执行动作来给出在VR空间中移动的指令的用户界面。
E-1.行走UI、跑步UI
如在图12中所示的，如果用户(幻影)在保持坐姿的同时使躯干向前倾斜，则给出在VR空间中向前移动的指令。另外，如在图13中示出的，如果用户在保持坐姿的同时使躯干向后倾斜，则给出在VR空间中向后移动的指令。
应当注意，虽然从图示中省略，但是假定用户能够在保持坐姿的同时通过使躯干向前倾斜同时面向左方或者右方来给出给出在VR空间中向前移动至左侧或者向前移动至右侧的指令。类似地，假定用户能够在保持坐姿的同时通过使躯干向后倾斜同时面向左方或者右方来给出在VR空间中向后移动至左侧或者向后移动至右侧的指令。
E-2.跳跃UI
在VR空间中，人们不经常仰望上空或者俯瞰地面。跳跃UI是利用通常不被注视的上空和地面来实现可视范围外的舒适移动的用户界面。
如在图14中示出的，在VR空间中注视地面上的视图的用户(幻影)在保持坐姿的同时面向上。随后，如在图15中示出的，在VR空间的上空中，目标标记1501出现在用户的视线方向上。以这种方法，在显示目标标记1501的状态下，如果用户另外执行躯干的简短上下运动的“跳跃动作”，VR空间从上空切换至视图。应当注意，虽然从图示中省略，如果用户重复仰望上空并且在目标标记可见的同时执行跳跃动作的动作，则能够将VR空间移至更高的上空。
如在图16中示出的，在VR空间中注视上空中的视图的用户(幻影)在保持坐姿的同时面向下。随后，如在图17中示出的，在VR空间的地面上，目标标记1701出现在用户的视线方向上。以此方式，在显示目标标记1701的情形下，如果用户另外执行躯干的简短的上下运动的“跳跃动作”，则VR空间切换至地面上的视图，在显示目标标记1701的现场下降。
E-3.微型跳跃UI
如在图18中示出的，在VR空间中注视地面上的(或者来自上空的)视图的用户(幻影)在保持坐姿的同时面向前方。随后，如在图19中示出的，目标标记1901出现在VR空间中的前方(向前预定距离)。以此方式，在显示目标标记1901的情形下，如果用户另外执行使躯干简短上下运动的“跳跃动作”，则VR空间切换至已经跳(瞬间移动)至显示目标标记1901的现场的视图(未示出)。
E-4.为了防止跳跃时摄像机视图丢失的措施
在实现如在图14至17中示出的跳跃UI或者如在图18和19中示出的微型跳跃UI的情况下，如果瞬间切换呈现给用户(幻影)的VR空间的视图，用户可能无法识别出处于VR空间中的何处(空间丢失)，或者无法辨别出面向哪个方向(方向丢失)，并且摄像机视图丢失的问题需要关注。
因此，为了防止跳跃时摄像机视图丢失，还可以采取类似以下给出的那些的措施。在使用圆顶式显示器显示VR空间的情况下，类似以下的措施便于实现圆顶内部与外界隔开。
(1)使风(顶头风)从用户跳跃(例如，出现目标标记的地点)的方向吹出，因此防止摄像机方向丢失。
(2)从VR空间中用户跳跃的方向(例如，出现目标标记的地点)或采用其它的漫画风格表情来表达诸如集中线的效果线，从而防止摄像机方向丢失。
(3)通过使诸如树叶和纸张的目标从用户跳跃(例如，出现目标标记的地点)的方向吹起的视觉效果来防止摄像机方向丢失。
(4)当响应于跳跃UI而切换摄像机视图时，应用模糊(运动模糊)以消除不舒感并且还防止摄像机方向丢失。
(5)当用户在VR空间中从上空(例如，参见图16)俯瞰时，通过在地面上投射阴影防止摄像机空间丢失。
工业实用性
上述因此详细并参考具体实施方式描述了本说明书中公开的技术。然而，显而易见的是，本领域中的技术人员可以对这些实施方式作出修改和替代而不偏离本说明书中公开的技术的精神。
在本说明中公开的技术可以用于例如各行业领域的工作辅助，类似外科手术的医疗现场、建筑工程的施工现场、飞机和直升机的驾驶、用于汽车驾驶员的导航、体育等中的指导和辅导、护理辅助、临时人员配置、及VR观看(例如，音乐会和观看体育赛事、或者用于社交网络服务(SNS))。
此外，在本说明中，已主要描述了其中利用他/她的身体干预共享在现场进行动作的主体的第一人称图像的幻影干预主体的视觉或者听觉等系统的实施方式。然而，本说明书中公开的技术范围不限于此。也可以将本说明书中公开的技术应用于在某些人的视觉上显示来自另一个人的关于辅助、指令、引导及导航的信息的不同的信息处理装置。
在本说明书中公开的技术可以用作例如，在圆顶式显示器上观看诸如第一人称视图的VR空间的观看者在VR空间中发出移动的指令的方法。显然，即使在头戴式显示器或者其它类型的显示装置上观看VR空间的情况下，也可以类似地应用在本说明书中公开的技术。
本质上，本说明书中公开的技术已通过举例的方式描述，并且本说明书所陈述的内容不应当解释为限制性的。本说明书中公开的技术的精神应当考虑权利要求来确定。
此外，本说明书中公开的技术也可被配置成如下：
(1)
一种信息处理装置，包括：
检测单元，被配置为检测用户的动作；以及
输入单元，被配置为基于所检测的动作输入来自用户的在VR空间中移动的指令。
(2)
根据(1)所述的信息处理装置，其中，
检测单元在用户保持坐姿的同时检测动作，并且
输入单元基于在用户保持坐姿的同时的动作输入在VR空间中移动的指令。
(3)
根据(2)所述的信息处理装置，其中，
输入单元输入在用户的头部或者躯干倾斜的方向上移动的指令。
(4)
根据(1)至(3)中任一项所述的信息处理装置，其中，
输入单元输入用户面向上并且同时进行躯干的上下运动的动作来作为移动至上空的指令。
(5)
根据(1)至(4)的任一项所述的信息处理装置，其中，
输入单元输入用户在VR空间的上空时面向下方并且进行躯干的上下运动的动作来作为移动至地面的指令。
(6)
根据(1)至(5)的任一项所述的信息处理装置，其中，
输入单元输入用户面向前方并且同时进行躯干的上下运动的动作来作为在正向上移动的指令。
(7)
根据(1)至(6)中的任一项所述的信息处理装置，进一步包括：
显示单元，被配置为显示VR空间的图像。
(8)
根据(7)所述的信息处理装置，其中
显示单元基于由输入单元输入的移动指令来切换VR空间的视图。
(9)
根据(7)所述的信息处理装置，其中
显示单元在用户面对的方向上显示目标标记，该方向由检测单元检测。
(10)
根据(9)所述的信息处理装置，其中，
输入单元输入用户进行躯干的上下运动的动作来作为移动至显示目标标记的地点的指令，并且
显示单元切换至显示目标标记的地点的视图。
(11)
根据(8)或(10)的任一项所述的信息处理装置，其中，
显示单元在切换视图时显示预定效果线。
(12)
根据(10)所述的信息处理装置，其中，
显示单元在切换视图时给予以目标标记为起点的视觉效果。
(13)
根据(8)或(10)的任一项所述的信息处理装置，其中
显示单元在切换视图时应用模糊。
(14)
根据(7)所述的信息处理装置，其中
当用户从上空俯瞰VR空间时，显示单元在地面上显示阴影。
(15)
一种信息处理方法，包括：
检测步骤，检测用户的动作；以及
输入步骤，基于所检测的动作输入来自用户的在VR空间中移动的指令。
参照符号列表
100 视觉信息共享系统
101 图像提供装置
102 图像显示装置
501 成像单元
502 图像处理单元
503 显示单元
504 第一音频输出单元
505 驱动单元
506 第二音频输出单元
507 位置检测单元
508 通信单元
509 控制单元
510 认证单元
511 通信单元
512 图像解码单元
513 显示单元
514 用户输入单元
515 位置/姿势检测单元。

Claims (15)

1.一种信息处理装置，包括：
检测单元，被配置为检测用户的动作；以及
输入单元，被配置为基于所检测的所述动作输入来自所述用户的在VR空间中移动的指令。
2.根据权利要求1所述的信息处理装置，其中，
所述检测单元检测所述用户保持坐姿的时的动作，并且
所述输入单元基于所述用户保持所述坐姿时的所述动作输入在所述VR空间中移动的指令。
3.根据权利要求2所述的信息处理装置，其中，
所述输入单元输入在所述用户的头部或者躯干倾斜的方向上移动的指令。
4.根据权利要求1所述的信息处理装置，其中，
所述输入单元输入所述用户面向上方并且同时进行躯干上下运动的动作来作为移动至上空的指令。
5.根据权利要求1所述的信息处理装置，其中，
所述输入单元输入所述用户在所述VR空间的上空时面向下方并且进行躯干上下运动的动作来作为移动至地面的指令。
6.根据权利要求1所述的信息处理装置，其中，
所述输入单元输入所述用户面向前方并且同时进行躯干上下运动的动作来作为在正向上移动的指令。
7.根据权利要求1所述的信息处理装置，进一步包括：
显示单元，被配置为显示所述VR空间的图像。
8.根据权利要求7所述的信息处理装置，其中，
所述显示单元基于由所述输入单元输入的移动的指令来切换所述VR空间的视图。
9.根据权利要求7所述的信息处理装置，其中，
所述显示单元在所述用户面对的方向上显示目标标记，所述方向由所述检测单元检测。
10.根据权利要求9所述的信息处理装置，其中，
所述输入单元输入所述用户进行躯干上下运动的动作来作为移动至显示所述目标标记的地点的指令，并且
所述显示单元切换至显示所述目标标记的所述地点的视图。
11.根据权利要求8所述的信息处理装置，其中，
所述显示单元在切换所述视图时显示预定效果线。
12.根据权利要求10所述的信息处理装置，其中，
所述显示单元在切换所述视图时给予以所述目标标记为起点的视觉效果。
13.根据权利要求8所述的信息处理装置，其中，
所述显示单元在切换所述视图时应用模糊。
14.根据权利要求7所述的信息处理装置，其中，
当所述用户从上空俯瞰所述VR空间时，所述显示单元在地面上显示阴影。
15.一种信息处理方法，包括：
检测步骤，检测用户的动作；以及
输入步骤，基于所检测的所述动作输入来自所述用户的在VR空间中移动的指令。
CN201680058666.XA 2015-10-15 2016-08-23 信息处理装置与信息处理方法 Withdrawn CN108139804A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-204031 2015-10-15
JP2015204031 2015-10-15
PCT/JP2016/074510 WO2017064926A1 (ja) 2015-10-15 2016-08-23 情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
CN108139804A true CN108139804A (zh) 2018-06-08

Family

ID=58517454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680058666.XA Withdrawn CN108139804A (zh) 2015-10-15 2016-08-23 信息处理装置与信息处理方法

Country Status (5)

Country Link
US (1) US20190121515A1 (zh)
EP (1) EP3364270A4 (zh)
JP (1) JPWO2017064926A1 (zh)
CN (1) CN108139804A (zh)
WO (1) WO2017064926A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174951A (zh) * 2019-05-30 2019-08-27 郑州爱普锐科技有限公司 基于vr实训设备的人物动作识别方法
CN110478911A (zh) * 2019-08-13 2019-11-22 苏州钛智智能科技有限公司 基于机器学习的智能游戏车无人驾驶方法及智能车、设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
FR3062488B1 (fr) * 2017-02-01 2020-12-25 Peugeot Citroen Automobiles Sa Dispositif d'analyse pour la determination d'un temps de latence d'un systeme immersif de realite virtuelle
JP7287257B2 (ja) 2019-12-06 2023-06-06 トヨタ自動車株式会社 画像処理装置、表示システム、プログラムおよび画像処理方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068294A1 (en) * 2003-08-27 2005-03-31 Linix Cheng Interface apparatus combining display panel and shaft
JP2009011371A (ja) * 2007-06-29 2009-01-22 Sega Corp レーシングゲーム装置のプログラム、そのプログラムを格納した記録媒体、及びレーシングゲーム装置
US20120026166A1 (en) * 2010-02-03 2012-02-02 Genyo Takeda Spatially-correlated multi-display human-machine interface
CN102541260A (zh) * 2011-02-11 2012-07-04 黄得锋 一种人机互动的控制方法及其运用
JP2012130562A (ja) * 2010-12-22 2012-07-12 Nintendo Co Ltd ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP2012232024A (ja) * 2010-11-01 2012-11-29 Nintendo Co Ltd 操作装置および操作システム
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
CN103760973A (zh) * 2013-12-18 2014-04-30 微软公司 增强现实的信息细节
CN104168315A (zh) * 2014-08-08 2014-11-26 三星电子（中国）研发中心 一种全视角平滑的沉浸式显示方法和系统
CN104423568A (zh) * 2013-08-20 2015-03-18 由田新技股份有限公司 显示画面的控制系统、输入装置及控制方法
CN204291252U (zh) * 2014-11-14 2015-04-22 西安中科微光医疗技术有限公司 一种基于虚拟现实头盔的全景地图显示系统
CN204679953U (zh) * 2014-11-14 2015-09-30 西安中科微光医疗技术有限公司 一种基于方位传感器的头戴式3d影音播放器

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5689628A (en) * 1994-04-14 1997-11-18 Xerox Corporation Coupling a display object to a viewpoint in a navigable workspace
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6229533B1 (en) * 1996-08-02 2001-05-08 Fujitsu Limited Ghost object for a virtual world
US6154211A (en) * 1996-09-30 2000-11-28 Sony Corporation Three-dimensional, virtual reality space display processing apparatus, a three dimensional virtual reality space display processing method, and an information providing medium
US6104406A (en) * 1997-04-04 2000-08-15 International Business Machines Corporation Back away navigation from three-dimensional objects in three-dimensional workspace interactive displays
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6396509B1 (en) * 1998-02-21 2002-05-28 Koninklijke Philips Electronics N.V. Attention-based interaction in a virtual environment
JP3368226B2 (ja) * 1999-03-26 2003-01-20 キヤノン株式会社 情報処理方法及び情報処理装置
JP3602061B2 (ja) * 2001-02-02 2004-12-15 九州日本電気ソフトウェア株式会社 ３次元グラフィックス表示装置及びその方法
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
US9253416B2 (en) * 2008-06-19 2016-02-02 Motorola Solutions, Inc. Modulation of background substitution based on camera attitude and motion
JP5500809B2 (ja) * 2008-09-17 2014-05-21 株式会社タイトー ゲーム装置
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US8730267B2 (en) * 2010-06-21 2014-05-20 Celsia, Llc Viewpoint change on a display device based on movement of the device
EP2485119A3 (en) * 2011-02-02 2012-12-12 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
JP5864121B2 (ja) * 2011-04-05 2016-02-17 任天堂株式会社 情報処理プログラム、情報処理システム、および情報処理方法
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
US9849333B2 (en) * 2012-08-31 2017-12-26 Blue Goji Llc Variable-resistance exercise machine with wireless communication for smart device control and virtual reality applications
JP5949477B2 (ja) * 2012-11-13 2016-07-06 トヨタ自動車株式会社 移動体の遠隔操作方法および遠隔操作装置
US9566509B2 (en) * 2013-03-12 2017-02-14 Disney Enterprises, Inc. Adaptive rendered environments using user context
CN105359063B (zh) * 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
US9256348B2 (en) * 2013-12-18 2016-02-09 Dassault Systemes Americas Corp. Posture creation with tool pickup
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
JP6572893B2 (ja) * 2014-06-30 2019-09-11 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
KR20160081039A (ko) * 2014-12-30 2016-07-08 엘지디스플레이 주식회사 인셀 터치 방식을 이용한 액정표시장치 및 그 제조방법
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
ES2746448T3 (es) * 2015-06-16 2020-03-06 Nokia Technologies Oy Realidad mediada
US10043311B2 (en) * 2015-09-16 2018-08-07 The Boeing Company Immersive design management system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068294A1 (en) * 2003-08-27 2005-03-31 Linix Cheng Interface apparatus combining display panel and shaft
JP2009011371A (ja) * 2007-06-29 2009-01-22 Sega Corp レーシングゲーム装置のプログラム、そのプログラムを格納した記録媒体、及びレーシングゲーム装置
US20120026166A1 (en) * 2010-02-03 2012-02-02 Genyo Takeda Spatially-correlated multi-display human-machine interface
JP2012232024A (ja) * 2010-11-01 2012-11-29 Nintendo Co Ltd 操作装置および操作システム
JP2012130562A (ja) * 2010-12-22 2012-07-12 Nintendo Co Ltd ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
CN102541260A (zh) * 2011-02-11 2012-07-04 黄得锋 一种人机互动的控制方法及其运用
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
CN104423568A (zh) * 2013-08-20 2015-03-18 由田新技股份有限公司 显示画面的控制系统、输入装置及控制方法
CN103760973A (zh) * 2013-12-18 2014-04-30 微软公司 增强现实的信息细节
CN104168315A (zh) * 2014-08-08 2014-11-26 三星电子（中国）研发中心 一种全视角平滑的沉浸式显示方法和系统
CN204291252U (zh) * 2014-11-14 2015-04-22 西安中科微光医疗技术有限公司 一种基于虚拟现实头盔的全景地图显示系统
CN204679953U (zh) * 2014-11-14 2015-09-30 西安中科微光医疗技术有限公司 一种基于方位传感器的头戴式3d影音播放器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174951A (zh) * 2019-05-30 2019-08-27 郑州爱普锐科技有限公司 基于vr实训设备的人物动作识别方法
CN110174951B (zh) * 2019-05-30 2022-06-21 郑州爱普锐科技有限公司 基于vr实训设备的人物动作识别方法
CN110478911A (zh) * 2019-08-13 2019-11-22 苏州钛智智能科技有限公司 基于机器学习的智能游戏车无人驾驶方法及智能车、设备

Also Published As

Publication number Publication date
WO2017064926A1 (ja) 2017-04-20
US20190121515A1 (en) 2019-04-25
EP3364270A1 (en) 2018-08-22
EP3364270A4 (en) 2018-10-31
JPWO2017064926A1 (ja) 2018-08-02

Similar Documents

Publication Publication Date Title
JP7109408B2 (ja) 広範囲同時遠隔ディジタル提示世界
US10455184B2 (en) Display device and information processing terminal device
JP6346131B2 (ja) 情報処理装置および画像生成方法
CN108139804A (zh) 信息处理装置与信息处理方法
EP3392706B1 (en) Image display device
WO2017043399A1 (ja) 情報処理装置および画像生成方法
KR102516096B1 (ko) 정보 처리 시스템 및 정보 처리 방법
EP3196734B1 (en) Control device, control method, and program
JP6201028B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN108628439A (zh) 信息处理设备、信息处理方法及程序
JP6556295B2 (ja) 情報処理装置および画像生成方法
WO2022091832A1 (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理端末
JP2019030638A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018092592A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US11518036B2 (en) Service providing system, service providing method and management apparatus for service providing system
EP4325476A1 (en) Video display system, information processing method, and program
WO2022149497A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
WO2022149496A1 (ja) エンタテインメントシステムおよびロボット
WO2021153413A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
JP2018089230A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180608