CN108304063B - 信息处理装置、信息处理方法和计算机可读介质 - Google Patents

Abstract

提供了一种信息处理装置、信息处理方法和计算机可读介质，该信息处理装置包括改变单元，该改变单元被配置成根据包括深度信息的视频的再现将与第一用户对应的第一对象和与第二用户对应的第二对象在与视频对应的虚拟空间中的布置从第一布置改变成第二布置。

Description

信息处理装置、信息处理方法和计算机可读介质

相关申请的交叉引用

本申请要求于2017年1月12日提交的日本优先权专利申请JP2017-003423的权益，其全部内容通过引用并入本文中。

技术领域

本公开内容涉及信息处理装置、信息处理方法和程序。

背景技术

在相关技术中，已经开发了与虚拟现实(VR)有关的各种技术。在VR中，用户可以以高度现实的感觉观看由计算机生成的视频。

例如，JP 2014-17776A描述了一种基于与由头戴式显示器(HMD)测量的真实位置有关的信息将与佩戴HMD的用户对应的特征映射在虚拟空间中的技术。另外，JP 2016-105593A描述了使HMD显示360度虚拟现实(VR)内容的技术。

发明内容

然而，如果假设JP 2014-17776A和JP 2016-105593A的技术被应用于再现与虚拟空间对应的视频的情况，则在使用JP 2014-17776A和JP2016-105593A的技术时，即使当视频的再现定时改变，多个对象在虚拟空间中的的布置也不改变。

因此，本公开内容提出了能够根据与虚拟空间对应的视频的再现适应性地改变多个对象在虚拟空间中的布置的新颖和改进的信息处理装置、信息处理方法和程序。

根据本公开内容的实施方式，提供了一种信息处理装置，该信息处理装置包括改变单元，该改变单元被配置成根据包括深度信息的视频的再现，将与第一用户对应的第一对象和与第二用户对应的第二对象在与视频对应的虚拟空间中的布置从第一布置改变成第二布置。

另外，根据本公开内容的实施方式，提供了一种信息处理方法，该信息处理方法包括：由处理器根据包括深度信息的视频的再现，将与第一用户对应的第一对象和与第二用户对应的第二对象在与视频对应的虚拟空间中的布置从第一布置改变成第二布置。

另外，根据本公开内容的实施方式，提供了一种使计算机用作改变单元的程序，该改变单元被配置成：根据包括深度信息的视频的再现，将与第一用户对应的第一对象和与第二用户对应的第二对象在与视频对应的虚拟空间中的布置从第一布置改变成第二布置。

如上所述，根据本公开内容的实施方式，可以根据与虚拟空间对应的视频的再现适应性地改变多个对象在虚拟空间中的布置。注意，在此描述的效果不一定是有限的，并且可以展现出期望在本公开内容中描述的任何效果。

附图说明

图1是示出根据本公开内容的实施方式的信息处理系统的配置示例的说明图；

图2是示出根据实施方式的由视频产生装置20执行的摄像的示例的说明图；

图3是示出根据实施方式的视频产生装置20的配置示例的功能框图；

图4是示出根据实施方式的再现装置30的配置示例的功能框图；

图5是示出根据实施方式的信息处理装置10的配置示例的功能框图；

图6是示出在某再现定时处生成的虚拟空间的示例的图；

图7是示出在某再现定时处将多个化身布置在虚拟空间中的示例的图；

图8是示出在某再现定时处将多个化身布置在虚拟空间中的示例的图；

图9是示出将多个化身布置在从再现目标视频识别的水平面上的示例的图；

图10是示出改变在某再现定时处被布置在虚拟空间中的化身的数目的示例的图；

图11是示意性地示出通过再现装置30显示再现目标视频的示例的图；

图12是示意性地示出通过再现装置30显示再现目标视频的示例的图；

图13是示出显示与再现目标视频有关的相关信息的示例的图；

图14是示出图示各个用户在虚拟空间中的视野的显示的示例的图；

图15是示出根据实施方式的整体处理的工作流程的流程图；

图16是示出根据实施方式的“场景改变确定处理”的工作流程的流程图；

图17是示出根据实施方式的应用示例的信息处理系统的配置示例的说明图；以及

图18是示出根据实施方式的信息处理装置10的硬件配置示例的说明图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的结构性元件用相同的附图标记来表示，并且省略对这些结构性元件的重复说明。

注意，在本说明书和附图中，具有基本相同的功能和结构的结构性元件有时在相同的附图标记之后使用不同的字母来区分彼此。例如，具有基本相同的功能和结构的多个结构性元件根据需要被区分成视频产生装置20a和视频产生装置20b。然而，当不需要区分具有基本相同的功能和结构的结构性元件时，仅附上相同的附图标记。例如，在不需要将视频产生装置20a和视频产生装置20b彼此区分的情况下，它们二者被简称为视频产生装置20。

将根据下面列出的项的顺序来描述“具体实施方式”。

1.信息处理系统的配置

2.实施方式的详细描述

3.硬件配置

4.修改

<<1.信息处理系统的配置>>

首先，参照图1，将描述根据本公开内容的实施方式的信息处理系统的配置示例。如图1所示，根据实施方式的信息处理系统包括信息处理装置10、视频产生装置20、再现装置30和通信网络32。

<1-1.视频产生装置20>

视频产生装置20是被配置成记录真实空间的视频(例如活动图像)的装置。视频产生装置20可以是固定装置、移动装置或自主移动装置。

如图1所示，视频产生装置20可以包括多个图像拍摄单元222。例如，图像拍摄单元222包括摄像机(RGB摄像机)。例如，视频产生装置20可以基于由多个图像拍摄单元222执行的摄像来获得视频产生装置20的整个周围环境(360度)的视频(例如全向视频)。

注意，例如可以通过对同时由多个图像拍摄单元222获得的各个视频执行预定图像处理的信息处理装置10(稍后将描述)来指定视频产生装置20周围的深度信息。可替选地，视频产生装置20还可以包括深度传感器或测距仪。在这种情况下，视频产生装置20可以在通过使用多个图像拍摄单元222来拍摄图像的同时相继地测量视频产生装置20的整个周围环境的深度信息。在此，深度信息可以指示在与深度信息对应的视频的各个再现定时处的深度值。深度值中的每个可以被设置成在记录视频的对应时间处视频中的视点的周围环境。

例如，如图2所示，假设多个对象40被布置在视频产生装置20的整个周围环境4中。在这种情况下，视频产生装置20的整个周围环境的视频数据和整个周围环境的深度值可以基于由视频产生装置20中包括的多个图像拍摄单元222拍摄的图像关于每个帧来获取。在此，基本上多个对象40可以是真实对象。然而，多个对象40不限于此。多个对象40可以包括虚拟对象。在这种情况下，可以与真实空间中的位置信息相关联地预先登记虚拟对象。随后，例如，视频产生装置20可以从视频产生装置20获取与视频产生装置20的整个周围环境4中的位置信息相关联的每个虚拟对象的颜色信息和深度值。

在此，参照图3，将描述视频产生装置20的功能配置示例。如图3所示，视频产生装置20包括控制单元200、通信单元220、图像拍摄单元222和输入单元224。

{1-1-1.控制单元200}

例如，控制单元200通过使用嵌入在视频产生装置20中的中央处理单元(CPU)、随机存取存储器(RAM)等来控制视频产生装置20的整体操作。另外，如图3所示，控制单元200包括元信息生成单元202。

{1-1-2.元信息生成单元202}

元信息生成单元202生成与由图像拍摄单元222(稍后将描述)获得的视频相关联的元信息。例如，元信息生成单元202生成元信息，元信息包括用户(例如制作者)关于由图像拍摄单元222获得的视频而指定的相关信息。注意，相关信息可以由用户经由输入单元224(稍后将描述)输入，或可以由另一装置(未示出)经由通信网络32接收。

在此，例如，相关信息可以包括与用户所指定的视频的每个再现定时的视频产生装置20周围的空闲空间有关的信息(例如空闲空间的大小)。与观看视频的各个用户对应的对象(例如化身)可以被布置在空闲空间中。其细节将在稍后描述。

另外，相关信息可以包括与由用户指定的获得视频中的场景改变定时有关的信息。另外，相关信息还可以包括在场景改变定时处对对象的布置的设置(例如一行多个对象的指定或要布置的对象的数目的指定)。在此，场景改变定时可以是在视频中切换场景的定时。注意，制作者可以将视频中的任何定时设置成场景改变定时。例如，即使在视频产生装置20周围存在宽广的空闲空间的情况下，制作者也可以将他/她的期望定时设置成场景改变定时。作为示例，即使在存在宽广的空闲空间的定时处，制作者也可以将以下情形的定时设置为场景改变定时：制作者想要制造正在观看视频的用户是单独的。

{1-1-3.通信单元220}

通信单元220与另一装置交换信息。例如，在控制单元200的控制下，通信单元220向信息处理装置10传输由多个图像拍摄单元222获得的视频和与视频相关联的元信息。注意，元信息和由多个图像拍摄单元222获得的视频的格式没有具体限制。可以使用任何格式。

{1-1-4.图像拍摄单元222}

图像拍摄单元222可以包括摄像机(RGB摄像机)。图像拍摄单元222获得诸如活动图像之类的视频。例如，图像拍摄单元222通过经由摄像机中包括的透镜收集摄像机中包括的图像传感器中的光来获得视频。

{1-1-5.输入单元224}

输入单元224可以包括触摸屏、按钮、控制杆、开关等。输入单元224接收由用户执行的各种输入。例如，输入单元224接收由用户输入的相关信息。

<1-2.信息处理装置10>

信息处理装置10是被配置成管理从视频产生装置20接收到的视频、元信息等的装置。例如，信息处理装置10是服务器。然而，信息处理装置10不限于此。信息处理装置10可以是通用个人计算机(PC)、平板终端、游戏控制台、诸如智能电话之类的移动电话、便携式音乐播放器、诸如HMD之类的可穿戴装置、机器人等。注意，图1示出仅单个信息处理装置10。然而，实施方式不限于此。根据实施方式的信息处理装置10的功能可以通过协作操作多个计算机来实现。

例如，信息处理装置10管理所接收到的彼此相关联的视频和元信息。另外，信息处理装置10可以管理所接收到的还与对应的深度信息相关联的视频。注意，如上所述，信息处理装置10可以通过对视频(例如同时由多个图像拍摄单元222获得的各个视频)执行预定图像处理来指定与从视频产生装置20接收到的视频对应的深度信息。可替选地，深度信息可以是与摄像同时由预定传感器感测的信息。预定传感器被包括在视频产生装置20中。

另外，信息处理装置10可以使由想要观看再现目标视频的多个用户所使用的各个再现装置30显示从视频产生装置20接收到的视频中的再现目标视频。因此，例如，多个用户可以同时观看视频。在此，多个用户可以并排地位于真实空间中，或可以在真实空间中彼此远离。

在此，再现目标视频可以是登记在视频DB 124中的视频(稍后将描述)中的与从再现装置30接收到的再现请求对应的视频。

另外，例如，再现目标视频可以是全向视频。另外，再现目标视频可以是自由视点视频。在此，自由视点视频可以是示出从基于由视频产生装置20中包括的多个图像拍摄单元222获得的视频而生成的三维虚拟空间中的自由视点观看的视频的数据。例如，自由视点视频可以是示出从在三维虚拟空间中自由地并且虚拟地移动视点时从视点观看的虚拟空间的视频的数据。

<1-3.再现装置30>

例如，再现装置30是被配置成显示从信息处理装置10接收到的视频等的装置。例如，再现装置30基于用户对再现装置30执行的输入向信息处理装置10传输视频再现请求。随后，再现装置30显示从信息处理装置10接收到的视频。

如图1所示，例如，再现装置30可以是头戴式装置例如HMD。例如，再现装置30可以是非透视HMD，或者可以是透视HMD。可替选地，再现装置30可以是3D投影仪，并且3D投影仪可以在投影目标(例如墙壁或屏幕)上投影视频。注意，接下来，将主要描述再现装置30是头戴式装置的示例。

在此，参照图4，将描述再现装置30的功能配置示例。如图4所示，再现装置30包括控制单元300、通信单元320、传感器单元322、显示单元324和输入单元326。

{1-3-1.控制单元300}

例如，控制单元300通过使用嵌入在再现装置30中的CPU、图形处理单元(GPU)、RAM等来控制再现装置30的整体操作。例如，控制单元300使显示单元324显示从信息处理装置10接收到的视频。作为示例，在从信息处理装置10接收到全向视频的情况下，控制单元300使显示单元324显示全向视频中的和与由传感器单元322(稍后将描述)感测到的再现装置30(或用户等)的位置和姿态有关的信息对应的部分视频。

另外，在显示单元324(稍后将描述)包括右眼显示单元324a和左眼显示单元324b的情况下，控制单元300可以基于从信息处理装置10接收到的视频来生成右眼图像和左眼图像，使右眼显示单元324a显示右眼图像，并且使左眼显示单元324b显示左眼图像。因此，用户可以观看立体视频。

另外，控制单元300可以基于由传感器单元322执行的感测的结果来执行各种识别处理。例如，控制单元300基于感测的结果来识别佩戴再现装置30的用户的行为(例如用户做出的姿势或用户的移动)。

{1-3-2.通信单元320}

通信单元320与另一装置交换信息。例如，在控制单元300的控制下，通信单元320向信息处理装置10传输视频再现请求。另外，通信单元320从信息处理装置10接收再现目标视频。

{1-3-3.传感器单元322}

例如，传感器单元322可以包括摄像机(图像传感器)、深度传感器、麦克风、加速度传感器、陀螺仪、地磁传感器和/或全球定位系统(GPS)接收器。例如，传感器单元322感测再现装置30在真实空间中的位置(或使用再现装置30的用户的位置)、再现装置30的姿态、加速度等。另外，传感器单元322可以感测再现装置30周围的深度信息。

{1-3-4.显示单元324}

显示单元324在控制单元300的控制下显示视频。例如，显示单元324可以包括右眼显示单元324a和左眼显示单元324b。在这种情况下，右眼显示单元324a将视频投射在再现装置30中包括的右眼透镜的至少部分区域上，并且左眼显示单元324b将视频投射在再现装置30中包括的左眼透镜的至少部分区域上。部分区域用作投影平面。可替选地，在再现装置30具有护目镜型透镜的情况下，显示单元324可以在用作投影平面的护目镜型透镜的至少部分区域上投射视频。注意，左眼透镜和右眼透镜(或护目镜型透镜)可以包括透明材料例如树脂或玻璃。

可替选地，显示单元324可以是非透视显示装置。例如，显示单元324可以包括液晶显示器(LCD)或有机发光二极管(OLED)。注意，在这种情况下，显示单元324可以相继地将视图的视频显示在用户前方。该视频由传感器单元322(摄像机)获得。因此，用户可以经由显示在显示单元上的视频来看用户前方的视图。

{1-3-5.输入单元326}

输入单元326可以包括触摸屏、按钮、控制杆、开关等。输入单元326接收由用户执行的各种输入。与佩戴再现装置30的各个用户对应的化身可以被布置在与再现目标视频对应的虚拟空间中。其细节稍后将描述。在这种情况下，输入单元326接收由用户执行的输入以改变化身的布置位置。

<1-4.通信网络32>

通信网络32是有线或无线的传输线，通过该传输线从与通信网络32连接的装置传输信息。例如，通信网络32可以包括公共网络、各种局域网(LAN)、广域网(WAN)等。公共网络包括因特网、卫星通信网络、电话网络等，并且LAN包括以太网(注册商标)。另外，通信网络32可以包括专用线网络，例如因特网协议虚拟专用网络(IP-VPN)。

<1-5.问题的组织>

上面已经描述了根据实施方式的信息处理系统的配置。此外，在相关技术中，已经开发了对示出来自摄像机的所有方向(360度)的视频(例如全向视频)进行显示的各种技术。根据该技术，用户可以观看全向视频并且看到在已经获得视频时获得的摄像机的整个周围环境。

另外，已经提出允许多个用户同时观看全向视频并且显示与同时观看视频的多个用户对应的对象(例如化身)交叠在其上的全向视频的技术。根据该技术，用户可以通过在观看全向视频时观察周围来识别正在同时观看视频的另一用户。

然而，当使用已知技术时，有时观看者的化身可能被不适当地显示在全向视频中。例如，当在用户经过很狭窄的空间的场景中与用户对应的化身被按原样显示(例如在单个横向行中显示化身)时，有时化身可能被显示成使得化身被嵌入到视频中的诸如墙壁之类的对象中，并且视频可能变得混乱。

因此，鉴于上述情况，开发了根据实施方式的信息处理装置10。通过使用根据实施方式的信息处理装置10，可以根据视频的再现来改变和与再现目标视频对应的虚拟空间中的多个用户对应的各个化身的布置。因此，可以根据视频的再现适当地改变与观看视频的各个用户对应的化身的布置。在此，化身是根据实施方式的对象的示例。另外，基本上化身是三维虚拟对象。

<<2.实施方式的详细描述>>

<2-1.配置>

接下来，将描述根据实施方式的配置的细节。图5是示出根据实施方式的信息处理装置10的配置示例的功能框图。如图5所示，信息处理装置10包括控制单元100、通信单元120和存储单元122。

{2-1-1.控制单元100}

例如，控制单元100可以包括处理电路例如GPU和CPU 150(稍后将描述)。控制单元100控制信息处理装置10的整体操作。另外，如图5所示，控制单元100包括登记单元102、指定单元104、改变单元106和显示控制单元108。

{2-1-2.登记单元102}

登记单元102将从视频产生装置20接收到的元信息、视频等登记在视频DB 124上。例如，每当从视频产生装置20获取视频时，登记单元102额外地在视频DB 124上登记视频和与视频相关联的深度信息。注意，例如，视频DB 124是视频、深度信息和元信息彼此相关联地存储在其中的数据库。

{2-1-3.指定单元104}

(2-1-3-1.与空闲空间有关的信息的指定)

-指定示例1

例如，当对再现目标视频进行再现时，指定单元104针对视频的每个再现定时指定在记录视频时与视点周围的空闲空间有关的信息(例如空闲空间的大小、范围等)。例如，指定单元104基于与视频相关联的深度信息针对再现目标视频的每个再现定时来指定与空闲空间有关的信息。

作为示例，指定单元104首先提取与再现目标视频相关联地存储在视频DB 124中的深度信息。接下来，指定单元104基于所提取的深度信息在再现目标视频的每个再现定时处生成与视频对应的三维虚拟空间并且基于三维虚拟空间来指定记录视频时视点的周围环境中的空闲空间。

接下来，参照图6，将描述上述功能的细节。图6是示出与再现目标视频的某再现定时对应的虚拟空间(虚拟空间42)的示例的俯视图。如图6所示，虚拟对象40可以被布置在虚拟空间42中。虚拟对象40与在再现定时处的摄像期间位于视频产生装置20的整个周围环境中的各个真实对象对应。注意，可以基于与视频相关联的深度信息来指定各个真实对象的位置。在这种情况下，如图6所示，指定单元104通过计算在摄像期间虚拟空间42中的每个虚拟对象40与视频产生装置20在虚拟空间42中的位置之间的距离来指定在摄像期间视点的周围环境中的空闲空间52。

-指定示例2

可替选地，例如，在针对每个再现定时在记录再现目标视频时将与视点的周围环境中的空闲空间有关的信息预先登记(例如由制作者)在与再现目标视频相关联的元信息中的情况下，指定单元104也可以基于元信息针对视频的每个再现定时来指定与空闲空间有关的信息。

(2-1-3-2.场景改变定时的指定)

-指定示例1

另外，例如，当再现视频时，指定单元104可以基于与在再现目标视频的每个再现定时处指定的空闲空间有关的信息来指定与视频有关的场景改变定时。例如，指定单元104基于与观看再现目标视频的多个用户对应的各个化身的大小、多个化身的当前位置(例如行)以及与每个再现定时的空闲空间有关的信息来指定与视频有关的场景改变定时。

例如，根据视频的再现，指定单元104确定在每个再现定时处多个化身的当前行是否在与空闲空间有关的信息所指示的空闲空间内。接下来，每当确定多个化身的当前行不在空闲空间内时，指定单元104相继地将再现定时指定为场景改变定时。

接下来，将参照图7和图8来描述上述功能的细节。图7是示出再现目标视频的某再现定时处的虚拟空间(虚拟空间42)的示例以及该再现定时之前的多个化身54的行(行60)的示例的图。注意，图7示出了与观看视频的两个用户对应的各个化身54形成单个横向行的当前行60的示例。在图7中示出的示例中，指定单元104通过将多个化身的当前行60的大小与空闲空间52a的大小进行比较来确定当前行60位于空闲空间52a内(在如图7所示的再现定时处)。随后，指定单元104确定图7中示出的再现定时不是场景改变定时。

另外，图8示出了与图7中示出的示例不同的再现定时处的虚拟空间(虚拟空间42)的示例以及该再现定时之前的多个化身54的行(行60)的示例。在图8中示出的示例中，与当前行60对应的空间的一部分在空闲空间52b之外(在图8中示出的再现定时处)。因此，指定单元104确定当前行60不位于空闲空间52b内。随后，指定单元104确定图8中示出的再现定时是场景改变定时。

-指定示例2

可替选地，在与场景改变定时有关的信息被预先登记(例如由制作者)在与再现目标视频相关联的元信息中的情况下，指定单元104也可以在由元信息指示场景改变定时时将该场景改变定时指定为视频中的场景改变定时。

{2-1-4.改变单元106}

(2-1-4-1.化身的布置)

改变单元106将与观看再现目标视频的多个用户对应的各个化身布置在与视频对应的虚拟空间中。例如，改变单元106将与多个用户对应的各个化身布置在由指定单元104指定的空闲空间中。

在此，空闲空间可以是水平面上的空间(例如地面或地板)。例如，指定单元104可以基于对再现目标视频执行的预定图像处理(或基于与视频相关联的深度信息)来识别水平面并且将所识别的水平面上的空间指定为空闲空间。在这种情况下，如图9所示，例如，改变单元106可以将与各个用户对应的化身54布置在由指定单元104识别的水平面74上。另外，例如，改变单元106可以根据对各个用户位于的真实空间中的各个用户的行为(例如移动)的识别结果来改变与水平面74上的各个用户对应的化身54的布置位置。这可以实现视频的显示，如同化身54在水平面74上行走一样。因此，例如，用户可以在显示在再现装置30(的显示单元324)上的全向视频50中以高现实感觉彼此通信。

-修改

注意，作为修改，改变单元106不必将化身布置在由指定单元104指定的空闲空间中的预定空间中。在此，例如，预定空间可以是对于定位人是反常的地方例如地板或地面中的洞。

(2-1-4-2.化身的行的改变)

另外，改变单元106根据视频的再现动态地改变与再现目标视频对应的虚拟空间中的与多个用户对应的各个化身的显示设置。例如，改变单元106在再现目标视频的每个再现定时处根据与空闲空间(在该再现定时处)有关的信息和与多个用户对应的各个化身将与多个用户对应的各个化身的当前布置(例如行)改变成另一布置(例如行)。在此，“当前布置”是根据本公开内容的实施方式的第一布置的示例。另外，“另一布置”是根据本公开内容的实施方式的第二布置的示例。

例如，当视频的再现期间指定单元104指定当前再现定时是场景改变定时时，改变单元106将多个化身的当前行改变成另一行，使得与多个用户对应的各个化身在当前再现定时处落在与空闲空间有关的信息所指示的空闲空间内。作为示例，在再现期间每当当前再现定时被指定为视频的场景改变定时时，改变单元106将多个化身的当前行相继地改变成另一行，使得与多个用户对应的各个化身在当前再现定时处落在与空闲空间有关的信息所指示的空闲空间内。可替选地，当指定单元104指定当前再现定时是场景改变定时时，改变单元106也可以改变多个化身中的至少一个化身的取向(例如姿态)，使得与多个用户对应的各个化身在当前再现定时处落在与空闲空间有关的信息所指示的空闲空间内。

例如，改变单元106不改变图7中示出的示例中的多个化身54(在图7中示出)的当前行60。(换言之，在指定单元104确定当前再现定时不是场景改变定时的情况下)。注意，在这种情况下，视频的再现期间(视频的显示期间)的视点的位置可以与获得视频期间视频产生装置20的位置相同。可替选地，例如，在视频是自由视点视频的情况下，(观看视频的)每个用户的视点的位置可以是与每个用户对应的化身54在虚拟空间42中的布置位置。另外，例如，响应于来自用户等的指令，视点的位置可以被改变成虚拟空间42中的任何位置。

另外，在图8中示出的示例中(换言之，在指定单元104确定当前再现定时是场景改变定时的情况下)，改变单元106将多个化身54的当前行60改变成图8中示出的单个纵向行，使得多个化身落在空闲空间52b内。注意，在这种情况下，视频的再现期间(视频的显示期间)视点的位置可以是获得视频期间视频产生装置20的位置，或者可以是针对(观看视频的)每个用户的与每个用户对应的化身54在虚拟空间42中的布置位置。可替选地，多个用户的视点的位置可以是布置在单个纵向行(图8中示出)中的多个化身中的先头化身54a的布置位置。这可以避免与化身54b对应的用户的视野被先头化身54a阻挡。化身54b被布置在先头化身54a的后面。另外，在化身54具有不同身高的情况下，视点的位置可以从先头化身起以化身的身高的上升顺序自动设置。

注意，即使当用户位于单个纵向行中时，用户也可以在虚拟空间42中彼此通信。在单个化身54a的布置位置被用作多个用户的视点的位置的情况下，期望校正用户的语音方向和移动方向(例如注视方向、面部方向或身体方向)以建立适当的通信。下面将在假设在观看视频时用户A和用户B位于单个纵向行的情况下描述这样的校正控制的具体示例。

基于上述假设，用户A可以识别出用户B在用户A后面。因此，在用户A在真实世界中对用户B讲话的情况下，认为在真实世界中用户A转身并且向后讲话。然而，在用户B看到的虚拟空间42中，用户A在用户B后面。因此，如果用户A在真实世界中的语音方向和移动方向在没有任何改变的情况下被应用于用户B的虚拟空间42，则用户B将用户A识别成如同用户A在向后讲话一样，尽管没有人在那里。在用户B对用户A讲话的情况下也可能发生这样的混乱通信。

为了避免或抑制与虚拟空间42中的语音方向和移动方向有关的这样的混乱通信，如下所述，期望对要提供给用户A和用户B中的每个的虚拟空间42进行校正。首先，在用户A对用户B讲话的情况下，用户A的语音方向和移动方向在没有任何改变的情况下被应用于用户A的虚拟空间42。接下来，用户B在用户A的虚拟空间42中的语音方向和移动方向基本上是固定的，使得用户B的语音方向和移动方向变成朝向用户A的方向而不管用户B在真实世界中的语音方向和移动方向的改变。另一方面，在用户B的虚拟空间42中执行与在用户A的虚拟空间42中执行的处理类似的校正控制。通过执行这样的校正控制，可以在用户A和用户B二者继续观看先头布置位置处的视频时避免或抑制混乱通信。换言之，仅需要固定后部化身54b的语音方向和移动方向，使得在每个用户的虚拟空间42中后部化身54b的语音方向和移动方向变成朝向先头化身54a的方向。

注意，在以上假设中已经描述了两个用户(用户A和用户B)正在观看视频的情况。然而，即使在用户的数目是三个或更多个的情况下，也可以使用类似的处理。具体地，仅需要固定所有化身54b的语音方向和移动方向，使得在每个用户的虚拟空间42中所有化身54b的语音方向和移动方向变成朝向先头化身54a的方向。

-修改

注意，在该修改中，改变单元106可以改变当前行，使得当指定单元104指定当前再现定时是场景改变定时时多个化身54在虚拟空间42中形成与水平面垂直(高度方向)的行(而不是如图8所示的那样改变水平面内的化身54的行)。可替选地，改变单元106可以改变(压缩)当前行，使得在不改变多个化身54的行方向的情况下多个化身54的部分(或全部)彼此交叠。

(2-1-4-3.化身数目的改变)

另外，改变单元106还可以根据与视频的每个再现定时处的空闲空间有关的信息改变与观看视频的多个用户对应的各个化身中要布置在与再现目标视频对应的虚拟空间中的化身的数目。例如，当指定单元104指定当前再现定时是视频的再现期间的场景改变定时时，改变单元106根据与该定时处的空闲空间有关的信息来改变要布置在虚拟空间中的化身的数目。

例如，当指定单元104指定当前再现定时是视频的再现期间的场景改变定时时，改变单元106可以改变要布置在虚拟空间中的化身的数目，使得在观看视频的多个用户中仅与满足预定条件的用户对应的化身(或者满足预定条件的化身)被布置的虚拟空间中。

在此，例如，预定条件可以是与改变之后的场景对应的条件。例如，改变单元106可以在虚拟空间中布置仅与成人用户或儿童用户对应的化身。可替选地，改变单元106可以在该定时处的虚拟空间中布置仅与面带微笑的用户对应的化身。可替选地，改变单元106可以在虚拟空间中布置仅与穿着红色服装的用户对应的化身。可替选地，改变单元106可以在虚拟空间中布置仅具有与社交网络服务(SNS)上的多个相应用户有关的预定值或更大值的友好等级的(多个用户和)其他用户。换言之，可以对具有相似、相同或相关属性信息的用户进行分组并且改变化身的布置，使得在场景改变定时处仅显示所分组的用户。在这样的示例中，根据场景适当地选择布置目标化身。因此，可以拓宽用户之间的通信或促进通信。

接下来，参照图10，将描述上述功能的细节。图10是示出与图8中示出的示例相同的在再现定时处的虚拟空间(虚拟空间42)的示例的图。因此，指定单元104可以(以与图8中示出的示例相似的方式)确定图10中示出的再现定时是场景改变定时。在这种情况下，如图10所示，例如，改变单元106可以在不改变当前行60的情况下将要布置在虚拟空间42中的化身的数目改变成能够落在空闲空间52c内的化身的最大数目(在这种情况下是一个化身)。注意，在这种情况下，针对观看再现目标视频的每个用户，与用户他自身/她自身单独对应的化身可以被相继布置在虚拟空间中。

注意，例如，在不可能在与空闲空间有关的信息所指示的空闲空间中布置任何化身的情况下，改变单元106可以决定从布置目标中排除与所有用户对应的化身。因此，在这种情况下，改变单元106可以决定从布置目标中排除(不仅与其他用户对应的化身而且还有)与观看视频的每个用户他自身/她自身对应的化身。

-修改

可替选地，在由制作者设置的与场景改变定时相关联的条件被登记在元信息中的情况下，预定条件可以是登记在元信息中的条件。例如，在制作者想要制造观看视频的用户感到孤独的情形的情况下，可以将布置与用户他自身/她自身单独对应的化身的条件登记在元信息中。

(2-1-4-4.显示形式的改变)

-化身改变示例1

另外，改变单元106也可以动态地改变要布置在与再现目标视频对应的虚拟空间中的一个或更多个化身的显示形式。例如，改变单元106可以根据观看视频的用户的数目来改变要显示在虚拟空间中的多个化身的显示形式。作为示例，例如在视频的再现期间与观看视频的各个用户对应的化身的当前行不落在空闲空间内的情况下，改变单元106可以改变暂时从空闲空间出去的化身的显示形式。例如，改变单元160可以改变设置使得从空闲空间出去的化身以半透射形式或以线框形式显示。因此，例如，可以在不改变化身的当前行的情况下避免视频严重混乱。

-化身改变示例2

另外，例如，在与正在观看再现目标视频的各个用户对应的所有化身中的一些化身不在空闲空间内的情况下，改变单元106可以减少布置目标化身的数目使得布置目标化身落在空闲空间内，并且可以改变各个化身的显示形式以示出各个布置目标化身与多个用户对应。例如，在这种情况下，改变单元106首先将各个布置目标化身与多个用户相关联。接下来，改变单元106在与各个化身对应的多个用户中以正常显示大小显示与代表用户对应的化身并且显示与除了代表用户之外的用户对应的其他化身，使得其他化身在代表用户的化身之后(例如通过使用阴影)。注意，在这种情况下，针对观看视频的每个用户，再现目标视频的再现期间的视点的位置可以被设置成与包括用户的组中的代表用户对应的化身的布置位置。

可替选地，在这种情况下，改变单元106也可以减小与观看再现目标视频的所有用户对应的各个化身的大小，使得所有化身落在空闲空间内。可替选地，在这种情况下，改变单元106也可以将与观看视频的所有用户对应的各个化身中的一些或全部从三维对象改变成二维对象(例如平面对象)。这可以减少化身的大小。

-化身改变示例3

另外，例如，在视频的再现期间每当指定单元104指定当前再现定时是场景改变定时时，改变单元106可以根据场景改变定时处的场景相继地改变各个化身的显示形式。例如，改变单元106可以根据场景改变定时处的场景来改变各个化身的服装、装饰各个化身或改变各个化身的显示大小。例如，在场景改变定时处的场景包括“海洋”的视频的情况下，改变单元106可以将各个化身的服装改变成游泳衣。可替选地，在场景改变定时处的场景包括“跳舞者的视频”的情况下，改变单元106可以将各个化身的服装改变成舞蹈服装。可替选地，在场景改变定时处的场景包括“城堡的内部”的视频的情况下，改变单元106可以将各个化身的服装改变成西服或套裙。

-与化身有关的对象的改变

另外，改变单元106可以根据再现目标视频的再现来改变与各个用户所对应的化身有关的对象的显示形式。例如，如图11所示，在除了化身54外还显示各个化身54正在坐着的椅子56的情况下，改变单元106可以根据再现目标视频的再现来改变椅子56的显示形式。例如，当在视频的再现期间当前再现定时是场景改变定时并且该定时处的场景包括“森林”的视频的情况下，改变单元106可以将椅子56改变成树桩。可替选地，在该定时处的场景包括“洞穴”的视频的情况下，改变单元106可以将椅子56改变成岩石。

{2-1-5.显示控制单元108}

(2-1-5-1.视频显示控制)

显示控制单元108控制再现目标视频在再现装置30上的显示。例如，显示控制单元108可以根据由改变单元106决定的与视频对应的虚拟空间中的化身的布置(例如位置和姿态)使化身被叠加和显示在再现目标视频上。作为示例，显示控制单元108使由观看再现目标视频的每个用户佩戴的再现装置30在每个再现定时处从每个用户的预定视点的位置起显示与视频对应的虚拟空间的视频。在此，如上所述，预定视点的位置可以是与虚拟空间中的每个用户对应的化身的布置位置。

图11和图12各自是示意性地示出由再现装置30显示再现目标视频(视频50)的示例的图。注意，图11和图12示出了视频50是全向视频的示例。另外，图11和图12示出了三个用户正在观看视频50的示例。另外，图11示出了改变单元106决定将与三个用户对应的各个化身54布置在空闲空间52中(在与视频50对应的虚拟空间中)的行60中以使得化身54排列成单个横向行的示例。在这种情况下，如图11所示，显示控制单元108使改变单元106所布置的各个化身54的视频叠加在视频50b上，并且使由三个用户佩戴的各个再现装置60显示视频50b。

另外，图12示出了改变单元106决定将与三个用户对应的各个化身54布置在空闲空间52中(在与视频50对应的虚拟空间中)的行60中以使得化身54排列成单个纵向行的示例。在这种情况下，如图12所示，显示控制单元108使改变单元106所布置的各个化身54的视频叠加在视频50上，并且使由三个用户佩戴的各个再现装置30显示视频50。因此，例如，即使在用户经过狭窄地方的场景中，也可以在显示叠加在视频50上的与各个用户对应的化身54时避免视频50混乱。注意，图11和图12示出了除了各个化身54之外还显示各个化身54正在坐着的椅子56的示例。然而，实施方式不限于此。例如，不需要显示椅子56。

-修改

注意，作为修改，显示控制单元108也可以基于各个用户进行的指定来控制由各个用户佩戴的再现装置30上的显示。例如，在用户2a指定与另一用户2b对应的化身(例如用户2a的化身旁边的化身)要被隐藏的情况下，显示控制单元108可以控制用户2a所佩戴的再现装置30，使得用户2a所佩戴的再现装置30不显示与用户2b对应的化身。

(2-1-5-2.相关信息显示控制)

-空闲空间范围的显示

另外，显示控制单元108也可以使由观看再现目标视频的多个用户佩戴的各个再现装置30在显示视频期间显示与该视频有关的相关信息。例如，如图13所示，显示控制单元108使视频50被显示，使得显示70在视频的再现期间被叠加在视频50上。显示70指示当前再现定时处的空闲空间的范围。另外，如图13所示，显示控制单元108也可以使视频50被显示，使得消息72被叠加在视频50上。消息72提示用户观看空闲空间范围内的视频。

取决于通信的显示

另外，显示控制单元108也可以根据在视频的显示期间观看再现目标视频的多个用户间的通信的内容来改变由至少一个用户所佩戴的再现装置30上显示的视频。例如，在检测到观看视频的另一用户2b对观看视频的用户2a说“请看我”的情况下，显示控制单元108可以使用户2a所佩戴的再现装置30a额外地显示朝向用户2b的视角的擦拭图像(wipeimage)或引导显示。在此，引导显示可以是指向用户2b的视角的方向的箭头或者可以是指示用户2b正在关注的对象(例如对象周围的线)的显示。另外，擦拭图像可以是当前显示在再现装置30a上的视频逐渐转换成当前显示在由用户2b佩戴的再现装置30b上的视频的动画。

注意，在这种情况下，显示控制单元108可以使由用户2b佩戴的再现装置30b额外地显示预定虚拟对象直至用户2a的视野由于用户2b的指定而改变。因此，用户2b可以了解用户2a的视野是否由于用户2b的指定而改变。

-各个用户的视野的显示

另外，在这种情况下，显示控制单元108可以使由用户2a佩戴的再现装置30a(和由用户2b佩戴的再现装置30b)额外地显示如图14所示的那样示出各个用户在与视频对应的虚拟空间中的视野的鸟瞰图。在此，参照图14，将描述鸟瞰图(鸟瞰图80)的显示示例。图14示出了两个用户(用户2a和用户2b)同时观看再现目标视频的示例。另外，图14示出了与用户2a对应的化身54a和与用户2b对应的化身54b沿横向方向(图14中示出的)并排布置在虚拟空间中的示例。如图14所示，鸟瞰图80包括指示用户2a在虚拟空间中的视野范围的显示82a和指示用户2b在虚拟空间中的视野范围的显示82b。因此，当再现装置30a显示鸟瞰图80时，用户2a可以了解用户2a当前看到的范围与用户2b当前看到的范围之间的关系。

注意，显示82a和显示82b可以分别与用户2a和用户2b的视野的实际范围(完全)一致。另外，图14示出了显示82(指示每个用户的视野的范围)是圆形扇区的示例。然而，显示82不限于此。显示82可以是图4中示出的一对一地与每个用户的视野对应的圆周的一部分(弧)。另外，在鸟瞰图80中，对象40在另一用户2b的视野中的显示形式(例如显示颜色)可以与正常显示形式不同。

(2-1-5-3.与真实空间有关的信息的反映)

另外，显示控制单元108也可以在再现目标视频的显示期间指示在观看视频的用户位于的真实空间中执行的感测结果的显示被叠加在再现目标视频上时使再现目标视频被显示。例如，显示控制单元108可以在指示用户位于的真实空间中的危险的信息被叠加在视频上的同时使视频被显示。在此，例如，指示危险的信息可以指示在用户附近存在对象例如“椅子位于你的右侧”或“如果向右走则有危险”。

{2-1-6.通信单元120}

例如，通信单元120可以包括通信装置162(稍后将描述)。通信单元120与另一装置交换信息。例如，通信单元120从视频产生装置20接收视频和元信息。另外，通信单元120从再现装置30接收视频再现请求。另外，在显示控制单元108的控制下，通信单元120向再现装置30传输再现目标视频(其上叠加有化身的视频)。

{2-1-7.存储单元122}

例如，存储单元122可以包括存储装置160(稍后将描述)。存储单元122存储各种数据和各种软件。例如，如图5所示，存储单元122存储视频DB 124。

注意，根据实施方式的信息处理装置10的配置不限于上述示例。例如，视频DB 124可以被存储在与通信网络32连接的另一装置(未示出)中而不是被存储在存储单元122中。

<2-2.处理的工作流程>

上面已经描述了根据实施方式的配置。接下来，参照图15和图16，将描述根据实施方式的处理的工作流程的示例。注意，接下来，将在多个用户想要观看登记在信息处理装置10(视频DB 124)中的预定全向视频的情况下描述处理的工作流程的示例。

{2-2-1.整个处理的工作流程}

如图15所示，多个用户中的每个首先向由每个用户佩戴的再现装置30输入指令以再现预定视频。接下来，每个再现装置30基于输入信息向信息处理装置10传输视频再现请求(S101)。

随后，信息处理装置10的控制单元100基于从多个再现装置30接收到的视频再现请求来决定再现目标视频。接下来，控制单元100将视频的再现定时T设置成微时间ΔT(S103)。在此，ΔT与一帧的时间段对应。

随后，除非再现定时T达到视频结束时间，否则控制单元100重复S107至S111的以下处理(S105中的“否”)。注意，在T达到视频结束时间(S105中的“是”)的情况下，处理结束。

具体地，控制单元100首先执行“场景改变确定处理”(稍后将描述)(S107)。

接下来，响应于在S107中执行的处理的结果，显示控制单元108生成其中与多个用户对应的各个化身的视频如在再现定时T处被叠加在视频(显示帧)上的视频。随后，显示控制单元108使通信单元120向由多个用户佩戴的各个再现装置30传输所生成的视频(S109)。

接下来，显示控制单元108将ΔT与T相加(S111)。随后，控制单元100再次执行S105中的处理。

{2-2-2.场景改变确定处理}

在此，参照图16，将描述S107中的“场景改变确定处理”的工作流程。如图16所示，指定单元104首先从视频DB 124提取如在再现定时T处与视频相关联的元信息(S201)。

接下来，指定单元104检查T是否被设置为元信息中的场景改变定时(S203)。在T被设置为场景改变定时的情况下(S203中的“是”)，指定单元104确定T是场景改变定时(S205)。随后，改变单元106根据在S201中获取的元信息来改变各个化身在与视频对应的虚拟空间中的布置(S207)。接下来，“场景改变确定处理”结束。

另一方面，在T未被设置为场景改变定时的情况下(S203中的“否”)，指定单元104获取如在T处的由与视频相关联的深度信息所指示的深度图(S209)。

接下来，指定单元104基于所获取的深度图在记录视频时摄像机的视点的周围环境中指定与如在T处的空闲空间有关的信息(S211)。

随后，指定单元104确定各个化身的当前布置(例如行)是否位于指定的空闲空间内(S213)。在确定各个化身的当前布置位于指定的空闲空间内的情况下(S213中的“是”)，指定单元104确定T不是场景改变定时(S215)。接下来，“场景改变确定处理”结束。

另一方面，在确定各个化身的当前布置不位于所指定的空闲空间内的情况下(S213中的“否”)，指定单元104确定T是场景改变定时(S215)。随后，改变单元106根据在S211中指定的空闲空间来改变各个化身在与视频对应的虚拟空间中的布置(S219)。接下来，“场景改变确定处理”结束。

<2-3.效果>

如上所述，根据实施方式的信息处理装置10可以根据视频的再现来改变与多个用户对应的各个化身在与具有深度信息的视频对应的虚拟空间中的布置。因此，可以根据视频的再现适当地改变与观看视频的各个用户对应的化身的布置。

例如，当基于深度信息指定了与当前再现定时对应的空闲空间并且确定在视频的再现期间化身的当前布置不位于空闲空间内时，信息处理装置10可以改变与各个用户对应的化身的布置，使得化身落在空闲空间内。因此，可以向用户提供如同用户正在与其他用户一起观看虚拟空间中的视频的体验，并且可以避免视频混乱。

<2-4.应用示例>

在以上实施方式中，已经主要描述了信息处理装置10使再现装置30显示由视频产生装置20预先获得的视频的示例。接下来，将描述实施方式的应用示例。如下所述，根据应用示例的信息处理装置10可以使再现装置30实时地显示由视频产生装置20获得的视频。

{2-4-1.信息处理系统的配置}

图17是示出根据应用示例的信息处理系统的配置示例的说明图。如图17所示，在应用示例中，假设摄像师6佩戴头戴式视频产生装置90。另外，如图17所示，摄像师6可以额外地佩戴再现装置30c。在此，视频产生装置90可以包括如图17所示的多个图像拍摄单元222。例如，视频产生装置90可以获得摄像师6的头部的整个周围环境的视频。另外，例如，视频产生装置90除了获得视频之外还可以通过使用例如多个图像拍摄单元222、深度传感器(未示出)等来获取深度信息。注意，摄像师6可以实时地指定与视频产生装置90正在获得的视频相关联的场景改变定时。

另外，视频产生装置90可以实时地向信息处理装置10传输所获得的视频和深度信息。注意，视频产生装置90的详细功能配置与图3中示出的视频产生装置20的详细功能配置基本类似。

另外，根据应用示例的信息处理装置10基于从视频产生装置90接收到的视频来实时地生成传送视频(例如全向视频)并且将传送视频实时地传输到由远离摄像师6所位于的真实空间的一个或更多个用户2佩戴的再现装置30。因此，一个或更多个用户2可以通过观看传送视频感觉到如同他们是摄像师6一样。

注意，作为用于从摄像师6向用户2传输这样的全向视频的具体方法，例如可以使用在WO 2015/122108中描述的技术。

{2-4-2.配置}

上面已经描述了根据应用示例的信息处理系统的配置。接下来，将描述根据应用示例的信息处理装置10的配置的细节。注意，将省略与上述实施方式类似的描述。

(2-4-2-1.指定单元104)

根据应用示例的指定单元104可以基于与由视频产生装置90获得的视频对应的深度信息来实时地指定与摄像师6周围的空闲空间有关的信息。注意，如上所述，深度信息可以基于对由多个图像拍摄单元222(其被包括在视频产生装置90中)获得的视频执行的预定图像处理来指定或者可以是通过由视频产生装置90中包括的传感器例如深度传感器执行的感测而获得的信息。

另外，指定单元104可以确定与观看传送视频的一个或更多个用户对应的各个化身是否位于与所指定的空闲空间有关的信息所指示的空闲空间内。

(2-4-2-2.显示控制单元108)

-视频的显示

根据应用示例的显示控制单元108使与观看传送视频的多个用户对应的各个再现装置30实时地显示与由视频产生装置90获得的视频对应的传送视频。在此，全向视频可以被用作传送视频。可替选地，例如，在多个其他摄像机被安装在视频产生装置90周围的情况下，传送视频可以是基于由视频产生装置90和多个其他摄像机获得的视频的自由视点视频。

–化身的显示

另外，显示控制单元108可以使由摄像师6佩戴的再现装置30c显示与观看视频的一个或更多个用户对应的各个化身。例如，在指定单元104确定一个或更多个化身位于空闲空间内时，显示控制单元108使一个或更多个化身显示在显示单元324的与摄像师6周围的空闲空间对应的区域中。因此，摄像师6可以识别观看传送视频的用户。因此，当摄像师6和这些用户在电话上彼此进行通话时，摄像师6可以建立与这些用户的顺畅通信。

注意，例如，摄像师6可以响应于在预定输入装置(未示出)上执行的语音命令或操作实时地指定是否使再现装置30c显示一个或更多个化身。例如，当摄像师6在观看传送视频的一个或更多个用户中选择谈话的用户(实时地)时，显示控制单元108可以使再现装置30c仅显示与所选择的用户对应的各个化身。

另外，显示控制单元108可以使由一个或更多个用户佩戴的各个再现装置30显示叠加在传送视频上的与摄像师6对应的化身。例如，在传送视频是自由视点视频的情况下，显示控制单元108使与摄像师6对应的化身叠加在传送视频中的视频产生装置90的位置上。

(2-4-3.效果)

如上所述，根据应用示例的信息处理装置10可以使由用户2佩戴的再现装置30实时地显示与由视频产生装置90获得的视频对应的传送视频。另外，信息处理装置10可以使由摄像师6佩戴的再现装置30c实时地显示与观看传送视频的一个或更多个用户对应的各个化身。因此，可以向正在观看传送视频的用户和摄像师提供如同他们一起移动的体验。

<<3.硬件配置>>

接下来，参照图18，将描述根据实施方式的信息处理装置10的硬件配置。如图18所示，信息处理装置10包括CPU 150、只读存储器(ROM)152、RAM 154、总线156、接口158、存储装置160和通信装置162。

CPU 150用作算术处理装置和用于根据各种程序来控制信息处理装置10中的所有操作的控制装置。另外，CPU 150实现信息处理装置10中的控制单元100的功能。注意，CPU150由处理器例如微处理器来实现。

ROM 152存储由CPU 150使用的控制数据例如程序和操作参数。

例如，RAM 154临时存储由CPU 150执行的程序、由CPU 150使用的数据等。

总线156由CPU总线等实现。总线156将CPU 150、ROM 152和RAM 154相互连接。

接口158将存储装置160和通信装置162与总线156连接。

存储装置160是用作存储单元122的数据存储装置。例如，存储装置160可以包括存储介质、将数据记录在存储介质中的记录装置、从存储介质读取数据的读取装置，删除记录在存储介质中的数据的删除装置等。

例如，通信装置162是由通信装置实现的用于与通信网络32等(例如网卡)连接的通信接口。另外，通信装置162可以是无线LAN兼容通信装置、长期演进(LTE)兼容通信装置或者可以是执行有线通信的有线通信装置。通信装置162用作通信单元120。

<<4.修改示例>>

本领域的技术人员应当理解，可以根据设计要求和其他因素范围进行各种修改、组合、子组合和改变，只要它们在所附权利要求书或其等同物的范围内即可。

<4-1.第一修改>

例如，在以上实施方式中，已经描述了多个用户同时观看再现目标视频的示例。然而，本公开内容不限于此。例如，在某用户2a观看再现目标视频的情况下，信息处理装置10可以使由用户2a佩戴的再现装置30显示过去观看了该视频的另一用户2b的化身被叠加在其上的视频。另外，在这种情况下，信息处理装置10可以在另一用户2b正在观看视频时根据另一用户2b的行为的识别结果来改变与另一用户2b对应的化身的显示位置等。根据该修改，可以向用户提供如同用户正在与过去已经观看过再现目标视频的另一用户一起观看再现目标视频的体验。

<4-2.第二修改>

另外，作为另一修改，信息处理装置10可以在使再现装置30显示再现目标视频之前预先分析与再现目标视频有关的场景。因此，可以使与视频的再现有关的处理更高效。

<4-3.第三修改>

另外，作为另一修改，例如，在新确定至少一个化身不是场景改变定时处的布置目标化身的情况下，显示控制单元108可以控制显示使得至少一个化身淡出(例如逐渐增大至少一个化身的透明水平)，并且然后该至少一个化身被隐藏。另外，例如，在至少一个新的化身在场景改变定时等处被布置在与再现目标视频对应的虚拟空间中的情况下，显示控制单元108可以在布置该至少一个化身之前在使该至少一个化身从若干帧中淡入(例如逐渐减小透明水平)之后使该至少一个化身被显示。另外，在化身的显示形式(例如化身的服装)被改变成另一显示形式的情况下，显示控制单元108可以在改变定时之前从若干帧逐渐改变化身的显示形式。

<4-4.第四修改>

另外，作为另一修改，在快进视频的情况下，显示控制单元108可以控制显示使得无论场景改变定时如何，其他化身都被隐藏。因此，可以抑制随着视频的快进而发生的化身重新布置处理的负担的增加。另外，在快进视频的情况下，可以禁止显示单元324上的视频的立体显示。具体地，优选的是右眼图像和左眼图像中之一被显示在右眼显示单元324a和左眼显示单元324b二者上。因此，可以减少随着立体显示的快速切换而发生的处理负担，并且可以抑制用户眼睛的负担的增加。另外，在快进视频的情况下，视频的显示可以与变形处理一起切换，使得整个立体视频被显示在布置在虚拟空间中的平面窗口(二维窗口)上。因此，可以抑制随着视频的快进而发生的化身重新布置处理的负担的增加，并且可以在视频的快进期间维持用户之间的通信。

<4-5.第五修改>

另外，作为另一修改，在至少一个新的化身被布置在与再现目标视频对应的虚拟空间中的情况下，信息处理装置10可以在布置所述至少一个化身之前，向由与至少一个化身对应的每个用户所佩戴的再现装置30通知要将与每个用户对应的化身显示预定时间。

<4-6.第六修改>

另外，作为另一修改，信息处理装置10可以使再现装置30显示仅指示与观看再现目标视频的所有用户中的一些用户(或所有用户)对应的各个化身的布置位置的方向的显示(例如箭头)，而不是使再现装置30显示化身。注意，当检测到一些用户中的至少一个用户在这种情况下已经讲话时，信息处理装置10可以使再现装置30输出语音(如通常那样)。根据该修改，可以通过使用语音和指示化身的方向的显示来简单地向用户2a通知正在观看视频的另一用户2b的存在。

<4-7.第七修改>

另外，作为另一修改，再现装置30可以包括替代信息处理装置10的指定单元104、改变单元106和显示控制单元108。在这种情况下，再现装置30可以被用作根据本公开内容的修改的信息处理装置。

<4-8.第八修改>

另外，不需要基于上述顺序来执行根据实施方式的上述处理中的步骤。例如，可以根据需要以不同的顺序执行这些步骤。另外，这些步骤不必按时间顺序执行，而是可以并行或单独地执行。另外，可以省略上述一些步骤，或者可以添加另一步骤。

另外，根据上述实施方式，也可以提供用于使硬件例如CPU 150、ROM 152和RAM154执行与根据上述实施方式的信息处理装置10的结构性元件等同的功能的计算机程序。此外，可以提供存储有计算机程序的记录介质。

此外，本说明书中描述的效果仅是说明性或示例性的效果，而不是限制性的。亦即，通过使用或替代上述效果，根据本公开内容的技术可以根据本说明书的描述实现本领域技术人员清楚的其他效果。

另外，本技术还可以按如下被配置。

(1)一种信息处理装置，包括：

改变单元，其被配置成根据包括深度信息的视频的再现将与第一用户对应的第一对象和与第二用户对应的第二对象在与所述视频对应的虚拟空间中的布置从第一布置改变成第二布置。

(2)根据(1)所述的信息处理装置，

其中，所述改变单元被配置成根据取决于所述视频的再现的所述深度信息的改变，将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

(3)根据(2)所述的信息处理装置，

其中，所述深度信息指示各个再现定时处的深度值，所述深度值中的每个深度值被设置成在记录所述视频的对应时间处所述视频中的视点的周围环境。

(4)根据(3)所述的信息处理装置，还包括：

指定单元，其被配置成基于所述深度信息、针对所述视频的各个再现定时中的每个再现定时来指定与在记录所述视频的对应时间处所述视点的周围环境中的空闲空间有关的信息，

其中，所述改变单元被配置成根据取决于所述视频的再现的与所述空闲空间有关的信息的改变，将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

(5)根据(4)所述的信息处理装置，其中，

所述第一对象和所述第二对象是三维虚拟对象，并且

所述改变单元被配置成还根据所述第一对象的大小和所述第二对象的大小将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

(6)根据(5)所述的信息处理装置，其中，

所述第一布置对应于所述第一对象和所述第二对象的第一行，

所述第二布置对应于所述第一对象和所述第二对象的第二行，

所述指定单元还在所述视频的各个再现定时中的每个再现定时处确定所述第一行是否位于由与所述空闲空间有关的信息指示的空间内，并且

当确定所述第一行不位于所述空间内时，所述改变单元将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

(7)根据(6)所述的信息处理装置，

其中，所述第一对象和所述第二对象的与所述第二布置对应的布置方向不同于所述第一对象和所述第二对象的与所述第一布置对应的布置方向。

(8)根据(6)或(7)所述的信息处理装置，

其中，所述第一对象的与所述第二布置对应的取向不同于所述第一对象的与所述第一布置对应的取向。

(9)根据(6)至(8)中任一项所述的信息处理装置，

其中，每当确定所述第一对象和所述第二对象的当前行不位于与对应于当前再现定时的所述空闲空间有关的信息所指示的所述空间内时，所述改变单元改变所述第一对象和所述第二对象的行，使得所述第一对象和所述第二对象的行落在所述空间内。

(10)根据(3)至(9)中任一项所述的信息处理装置，其中，

包括所述第一用户和所述第二用户的多个用户是观看所述视频的用户，并且

所述改变单元还被配置成根据取决于所述视频的再现的所述深度信息的改变，改变与所述多个用户对应的各个对象中的要布置在所述虚拟空间中的对象的数目。

(11)根据(10)所述的信息处理装置，其中，

与所述多个用户对应的各个对象是三维虚拟对象，

所述信息处理装置还包括指定单元，所述指定单元被配置成基于所述深度信息、针对所述视频的各个再现定时中的每一个来指定与在记录所述视频的对应时间处所述视点的周围环境中的空闲空间有关的信息，并且

所述改变单元被配置成根据与所述多个用户对应的各个对象的大小以及取决于所述视频的再现的与所述空闲空间有关的信息的改变，来改变要布置在所述虚拟空间中的对象的数目。

(12)根据(10)或(11)所述的信息处理装置，其中，

所述改变单元还被配置成根据所述多个用户的数目来改变要布置在所述虚拟空间中的多个对象的显示形式。

(13)根据(3)至(12)中任一项所述的信息处理装置，

其中，所述改变单元还被配置成根据取决于所述视频的再现的所述深度信息的改变来改变所述第一对象或所述第二对象的显示形式。

(14)根据(3)至(13)中任一项所述的信息处理装置，

其中，所述改变单元还被配置成：基于对所述第一用户在所述第一用户所位于的第一真实空间中的移动的识别结果来改变所述第一对象在所述虚拟空间中的布置，以及基于对所述第二用户在所述第二用户所位于的第二真实空间中的移动的识别结果来改变所述第二对象在所述虚拟空间中的布置。

(15)根据(1)所述的信息处理装置，其中，

所述视频与指示场景改变定时的信息相关联，

所述信息处理装置还包括指定单元，所述指定单元被配置成根据所述视频的再现来指定场景改变定时，并且

在指定了所述场景改变定时的情况下，所述改变单元将所述第一对象和所述第二对象在所述虚拟空间中的布置从所述第一布置改变成所述第二布置。

(16)根据(15)所述的信息处理装置，

其中，所述第二布置是与所述场景改变定时相关联的设置信息所指示的所述第一对象和所述第二对象的布置。

(17)根据(2)至(16)中任一项所述的信息处理装置，其中：

所述视频是第一视频，并且

所述信息处理装置还包括显示控制单元，所述显示控制单元被配置成使第一显示单元和第二显示单元取决于所述第一视频以及所述第一对象和所述第二对象在所述虚拟空间中的布置来显示第二视频。

(18)根据(17)所述的信息处理装置，

其中，每当所述改变单元改变所述第一对象和所述第二对象的布置时，所述显示控制单元使所述第一显示单元和所述第二显示单元取决于所述第一对象和所述第二对象的改变后的布置来显示所述第二视频。

(19)一种信息处理方法，包括：

由处理器根据包括深度信息的视频的再现将与第一用户对应的第一对象和与第二用户对应的第二对象在与所述视频对应的虚拟空间中的布置从第一布置改变成第二布置。

(20)一种使用指令编码的至少一个非暂态计算机可读介质，所述指令在由设备的至少一个处理器执行时使所述设备：

根据包括深度信息的视频的再现将与第一用户对应的第一对象和与第二用户对应的第二对象在与所述视频对应的虚拟空间中的布置从第一布置改变成第二布置。

(21)一种程序，其使计算机用作：

改变单元，其被配置成根据包括深度信息的视频的再现将与第一用户对应的第一对象和与第二用户对应的第二对象在与所述视频对应的虚拟空间中的布置从第一布置改变成第二布置。

Claims (19)

1.一种信息处理装置，包括：

改变单元，其被配置成根据包括深度信息的视频的再现将与第一用户对应的第一对象和与第二用户对应的第二对象在与所述视频对应的虚拟空间中的布置从第一布置改变成第二布置，

指定单元，其被配置成基于所述深度信息、针对所述视频的各个再现定时中的每个再现定时来指定与在记录所述视频的对应时间处视点的周围环境中的空闲空间有关的信息，

其中，所述改变单元被配置成根据取决于所述视频的再现的与所述空闲空间有关的信息的改变，将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

2.根据权利要求1所述的信息处理装置，

其中，所述改变单元被配置成根据取决于所述视频的再现的所述深度信息的改变，将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

3.根据权利要求2所述的信息处理装置，

其中，所述深度信息指示各个再现定时处的深度值，所述深度值中的每个深度值被设置成在记录所述视频的对应时间处所述视频中的视点的周围环境。

4.根据权利要求1所述的信息处理装置，其中，

所述第一对象和所述第二对象是三维虚拟对象，并且

所述改变单元被配置成还根据所述第一对象的大小和所述第二对象的大小将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

5.根据权利要求4所述的信息处理装置，其中，

所述第一布置对应于所述第一对象和所述第二对象的第一行，

所述第二布置对应于所述第一对象和所述第二对象的第二行，

所述指定单元还在所述视频的各个再现定时中的每个再现定时处确定所述第一行是否位于由与所述空闲空间有关的信息指示的空间内，并且

当确定所述第一行不位于所述空间内时，所述改变单元将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

6.根据权利要求5所述的信息处理装置，

其中，所述第一对象和所述第二对象的与所述第二布置对应的布置方向不同于所述第一对象和所述第二对象的与所述第一布置对应的布置方向。

7.根据权利要求5所述的信息处理装置，

其中，所述第一对象的与所述第二布置对应的取向不同于所述第一对象的与所述第一布置对应的取向。

8.根据权利要求5所述的信息处理装置，

其中，每当确定所述第一对象和所述第二对象的当前行不位于与对应于当前再现定时的所述空闲空间有关的信息所指示的所述空间内时，所述改变单元改变所述第一对象和所述第二对象的行，使得所述第一对象和所述第二对象的行落在所述空间内。

9.根据权利要求3所述的信息处理装置，其中，

包括所述第一用户和所述第二用户的多个用户是观看所述视频的用户，并且

所述改变单元还被配置成根据取决于所述视频的再现的所述深度信息的改变，改变与所述多个用户对应的各个对象中的要布置在所述虚拟空间中的对象的数目。

10.根据权利要求9所述的信息处理装置，其中，

与所述多个用户对应的各个对象是三维虚拟对象，

所述信息处理装置还包括指定单元，所述指定单元被配置成基于所述深度信息、针对所述视频的各个再现定时中的每一个来指定与在记录所述视频的对应时间处所述视点的周围环境中的空闲空间有关的信息，并且

所述改变单元被配置成根据与所述多个用户对应的各个对象的大小以及取决于所述视频的再现的与所述空闲空间有关的信息的改变，来改变要布置在所述虚拟空间中的对象的数目。

11.根据权利要求9所述的信息处理装置，其中，

所述改变单元还被配置成根据所述多个用户的数目来改变要布置在所述虚拟空间中的多个对象的显示形式。

12.根据权利要求3所述的信息处理装置，

其中，所述改变单元还被配置成根据取决于所述视频的再现的所述深度信息的改变来改变所述第一对象或所述第二对象的显示形式。

13.根据权利要求3所述的信息处理装置，

其中，所述改变单元还被配置成：基于对所述第一用户在所述第一用户所位于的第一真实空间中的移动的识别结果来改变所述第一对象在所述虚拟空间中的布置，以及基于对所述第二用户在所述第二用户所位于的第二真实空间中的移动的识别结果来改变所述第二对象在所述虚拟空间中的布置。

14.根据权利要求1所述的信息处理装置，其中，

所述视频与指示场景改变定时的信息相关联，

所述信息处理装置还包括指定单元，所述指定单元被配置成根据所述视频的再现来指定场景改变定时，并且

在指定了所述场景改变定时的情况下，所述改变单元将所述第一对象和所述第二对象在所述虚拟空间中的布置从所述第一布置改变成所述第二布置。

15.根据权利要求14所述的信息处理装置，

其中，所述第二布置是与所述场景改变定时相关联的设置信息所指示的所述第一对象和所述第二对象的布置。

16.根据权利要求3所述的信息处理装置，其中，

所述视频是第一视频，并且

所述信息处理装置还包括显示控制单元，所述显示控制单元被配置成使第一显示单元和第二显示单元取决于所述第一视频以及所述第一对象和所述第二对象在所述虚拟空间中的布置来显示第二视频。

17.根据权利要求16所述的信息处理装置，

其中，每当所述改变单元改变所述第一对象和所述第二对象的布置时，所述显示控制单元使所述第一显示单元和所述第二显示单元取决于所述第一对象和所述第二对象的改变后的布置来显示所述第二视频。

18.一种信息处理方法，包括：

由处理器根据包括深度信息的视频的再现将与第一用户对应的第一对象和与第二用户对应的第二对象在与所述视频对应的虚拟空间中的布置从第一布置改变成第二布置，

由所述处理器基于所述深度信息、针对所述视频的各个再现定时中的每个再现定时来指定与在记录所述视频的对应时间处视点的周围环境中的空闲空间有关的信息，

其中，所述处理器根据取决于所述视频的再现的与所述空闲空间有关的信息的改变，将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

19.一种使用指令编码的非暂态计算机可读介质，所述指令在由设备的至少一个处理器执行时使所述设备：

根据包括深度信息的视频的再现将与第一用户对应的第一对象和与第二用户对应的第二对象在与所述视频对应的虚拟空间中的布置从第一布置改变成第二布置，

基于所述深度信息、针对所述视频的各个再现定时中的每个再现定时来指定与在记录所述视频的对应时间处视点的周围环境中的空闲空间有关的信息，其中，

根据取决于所述视频的再现的与所述空闲空间有关的信息的改变，将所述第一对象和所述第二对象的布置从所述第一布置改变成所述第二布置。

Images