CN117981295A - 信息处理设备和程序 - Google Patents

Abstract

该视频处理设备(信息处理设备)包括：体积视频拍摄单元(第一获取单元)，其获取分别由布置在被摄体周围的多个摄像装置(第一成像单元)拍摄的多个真实图像；体积视频生成单元(生成单元)，其根据多个真实图像生成被摄体的3D模型；以及工作室内视频显示单元(呈现单元)，其向被摄体呈现关于虚拟视点的信息，该虚拟视点用于将3D模型渲染成基于观看装置的模式的图像。

Description

信息处理设备和程序

技术领域

本公开内容涉及信息处理设备和程序，并且更具体地，涉及能够向被摄体(表演者)通知观察被摄体的虚拟摄像装置的位置的信息处理设备和程序。

背景技术

常规地，已经提出了如下方法：通过使用通过感测真实3D空间而获得的信息诸如从不同视点捕获被摄体的多视点图像来生成观看空间中的3D对象并且生成其中该对象看起来好像存在于该观看空间中的图像(体积图像)(例如，专利文献1)。

引文列表

专利文献

专利文献1：WO 2017/082076 A。

发明内容

技术问题

然而，在专利文献1中，由于不向被摄体通知虚拟摄像装置的安装位置，因此存在这样的问题：被摄体在进行表演诸如唱歌和跳舞时，无法在意识到虚拟摄像装置的位置的同时进行表演。

本公开内容提出了能够向被摄体通知观察被摄体的虚拟摄像装置的位置的信息处理设备和程序。

问题的解决方案

为了解决上述问题，根据本公开内容的一个实施方式的信息处理设备包括：第一获取单元，其被配置成获取由布置在被摄体周围的多个第一成像装置分别捕获的多个真实图像；生成单元，其被配置成根据所述多个真实图像生成被摄体的3D模型；以及呈现单元，其被配置成向被摄体呈现关于在将3D模型渲染为与观看装置对应的形式的图像时的虚拟视点的信息。

附图说明

图1是示出根据第一实施方式的图像处理系统的概要的系统配置图。

图2是示出生成被摄体的3D模型的流程的概要的图。

图3是示出表示3D模型所需的数据的内容的图。

图4是示出安装在工作室中的成像及显示装置的示意性配置的图。

图5是示出显示面板的开/关和摄像装置的开/关的定时控制的示例的图。

图6是示出在显示面板上显示的虚拟摄像装置呈现信息的示例的图。

图7是示出虚拟摄像装置呈现信息的具体示例的第一图。

图8是示出虚拟摄像装置呈现信息的具体示例的第二图。

图9是示出虚拟摄像装置呈现信息的典型变型的图。

图10是示出指示虚拟摄像装置被设置在没有显示面板的位置的虚拟摄像装置呈现信息的示例的图。

图11是示出其中虚拟摄像装置呈现信息显示虚拟摄像装置的摄影操作的示例的图。

图12是示出在多个虚拟摄像装置的设置位置交叠时的虚拟摄像装置呈现信息的示例的图。

图13是示出根据第一实施方式的图像处理系统的功能配置的示例的功能框图。

图14是示出虚拟摄像装置信息生成单元的输入/输出信息的示例的图。

图15是示出由根据第一实施方式的图像处理系统实现的处理的流程的示例的流程图。

图16是示出图15中的虚拟摄像装置信息生成处理的流程的示例的流程图。

图17是示出图15中的虚拟摄像装置呈现信息生成处理的流程的示例的流程图。

图18是示出图17中的虚拟摄像装置组显示类型确定处理的流程的示例的流程图。

图19是示出图17中的虚拟摄像装置组优先级确定处理的流程的示例的流程图。

图20是示出图17中的虚拟摄像装置组呈现信息生成处理的流程的示例的流程图。

图21是示出图20中的虚拟摄像装置呈现信息生成处理(正常)的流程的示例的流程图。

图22是示出图20中的虚拟摄像装置呈现信息生成处理(位置校正)的流程的示例的流程图。

图23是示出图20中的虚拟摄像装置组呈现信息生成处理(正常)的流程的示例的流程图。

图24是示出图20中的虚拟摄像装置组呈现信息生成处理(位置校正)的流程的示例的流程图。

图25是示出图20中的摄影操作显示处理的流程的示例的流程图。

图26是示出图17中的虚拟摄像装置组语音生成处理的流程的示例的流程图。

图27是示出图15中的虚拟摄像装置呈现信息输出处理的流程的示例的流程图。

图28是示出图15中的体积图像生成处理的流程的示例的流程图。

图29是示出图15中的体积图像和背景图像的叠加处理的流程的示例的流程图。

图30是示出根据第二实施方式的图像处理系统的概要的系统配置图。

图31是示出根据第二实施方式的图像处理系统的功能配置的示例的功能框图。

图32是示出根据第三实施方式的图像处理系统的概要的系统配置图。

图33是示出根据第三实施方式的图像处理系统的功能配置的示例的功能框图。

图34是示出用户使用观看装置来设置摄影操作信息的方法的图。

图35是示出用户使用观看装置来设置操作者图像、操作者语音和操作者消息的方法的图。

图36是示出根据观看用户的数量的虚拟摄像装置组呈现信息的示例的图。

图37是示出当观看用户改变观察位置时的虚拟摄像装置组呈现信息的示例的图。

图38是示出观看用户与表演者之间进行交流的功能的示例的图。

图39是示出由根据第三实施方式的图像处理系统实现的处理的流程的示例的流程图。

图40是示出图39中的交流图像/语音生成处理的流程的示例的流程图。

具体实施方式

在下文中，将参照附图描述本公开内容的实施方式。在以下每个实施方式中，相同的部分被赋予相同的附图标记以省略冗余描述。

此外，将根据以下项目顺序来描述本公开内容。

1.第一实施方式

1-1.第一实施方式的图像处理系统的示意性配置

1-2.先决条件——3D模型的生成

1-3.先决条件——3D模型的数据结构

1-4.成像及显示装置的示意性配置

1-5.虚拟摄像装置呈现信息

1-6.虚拟摄像装置呈现信息的变型

1-7.第一实施方式的图像处理系统的功能配置

1-8.由第一实施方式的图像处理系统执行的处理的总流程

1-9.虚拟摄像装置信息生成处理的流程

1-10.虚拟摄像装置呈现信息生成处理的流程

1-10-1.虚拟摄像装置组显示类型确定处理的流程

1-10-2.虚拟摄像装置组优先级确定处理的流程

1-10-3.虚拟摄像装置组呈现信息生成处理的流程

1-10-4.虚拟摄像装置组语音生成处理的流程

1-11.虚拟摄像装置呈现信息输出处理的流程

1-12.体积图像生成处理的流程

1-13.体积图像与背景图像的叠加处理的流程

1-14.第一实施方式的效果

2.第二实施方式

2-1.第二实施方式的图像处理系统的示意性配置

2-2.第二实施方式的图像处理系统的功能配置

2-3.第二实施方式的图像处理系统的动作

2-4.第二实施方式的效果

3.第三实施方式

3-1.第三实施方式的图像处理系统的示意性配置

3-2.第三实施方式的图像处理系统的功能配置

3-3.获取虚拟摄像装置信息的方法

3-4.虚拟摄像装置组呈现信息的形式

3-5.由第三实施方式的图像处理系统实现的处理的流程3-6.第三实施方式的效果(1.第一实施方式)

[1-1.第一实施方式的图像处理系统的示意性配置]

首先，将参照图1描述根据本公开内容的第一实施方式的图像处理系统10a。图1是示出根据第一实施方式的图像处理系统的概要的系统配置图。

图像处理系统10a包括体积工作室(volumetric studio)14a和图像处理设备12a。注意，在理想情况下，图像处理设备12a被安装在体积工作室14a中，以便以小的延迟时间处理由体积工作室14a捕获的图像。

体积工作室14a是捕获被摄体22的图像以生成被摄体22的3D模型22M的工作室。成像及显示装置13安装在体积工作室14a中。

成像及显示装置13通过布置在体积工作室14a的内壁表面15上以便包围被摄体22的多个摄像装置16来捕获被摄体22的图像。此外，成像及显示装置13呈现关于在将被摄体22的3D模型22M渲染为对应于用户的观看装置的形式的图像时的虚拟视点的信息。该信息被呈现在布置在体积工作室14a的内壁表面15上以便包围被摄体22的显示面板17上。关于虚拟视点的信息例如是指示虚拟摄像装置被设置的位置和观察方向的信息。

图像处理设备12a基于从摄像装置16获取的真实摄像装置图像I来生成被摄体22的3D模型22M。此外，图像处理设备12a生成关于在将被摄体22的3D模型22M渲染为对应于用户的观看装置的形式的图像时的虚拟视点的信息(虚拟摄像装置呈现信息20)。然后，图像处理设备12a将所生成的虚拟摄像装置呈现信息20输出到显示面板17。此外，图像处理设备12a通过将从所设置的虚拟视点观看的被摄体22的3D模型22M渲染为对应于观看装置的形式的图像来生成体积图像24。具体地，当用户的观看装置是二维显示器诸如平板终端或智能电话时，图像处理设备12a将被摄体22的3D模型22M渲染为二维图像。此外，当用户的观看装置是能够显示3D信息的观看装置例如头戴显示器(HMD)时，图像处理设备12a将被摄体22的3D模型22M渲染为3D图像。

此外，图像处理设备12a将所生成的体积图像24叠加在所获取的背景图像26a上，以生成从所设置的虚拟视点观察到的图像。所生成的图像被分发到例如用户的观看环境，并被显示在用户的观看装置上。注意，图像处理设备12a在本公开内容中是的信息处理设备的示例。

[1-2.先决条件——3D模型的生成]

接下来，将参照图2描述生成被摄体的3D模型的处理的流程，这是本实施方式的先决条件。图2是示出生成被摄体的3D模型的流程的概要的图。

如图2所示，通过由多个摄像装置16(16a、16b、16c)对被摄体22进行成像并通过3D建模生成具有被摄体22的3D信息的3D模型22M来生成被摄体22的3D模型22M。

具体地，如图2所示，多个摄像装置16以在外部包围被摄体22的方式在被摄体22外侧朝向被摄体22布置。图2示出了其中摄像装置的数量为三个，并且摄像装置16a、16b和16c围绕被摄体22布置的示例。注意，在图2中，人是被摄体22，但是被摄体22不限于人。此外，摄像装置16的数量不限于三个，而是可以提供更大数量的摄像装置。

三个摄像装置16a、16b和16c从不同视点同步地执行体积成像以生成多视点图像(真实摄像装置图像I)，并且使用多视点图像进行3D建模以生成被摄体22的以三个摄像装置16a、16b和16c的图像框为单位的3D模型22M。

3D模型22M是具有被摄体22的3D信息的模型。3D模型22M具有呈网格数据的形式的指示被摄体22的表面形状的形状信息，该网格数据由例如被称为多边形网格的顶点之间的连接来表示。此外，3D模型22M具有指示与每个多边形网格对应的被摄体22的表面状态的纹理信息。注意，在3D模型22M中包括的信息的格式不限于此，并且可以是其他格式的信息。

为了重建3D模型22M，执行所谓的纹理映射，即根据网格位置来粘贴指示网格的颜色、图案或质地(texture)的纹理。在纹理映射中，期望根据视点位置(视点相关，以下称为VD)来粘贴纹理，以改善3D模型22M的真实性。作为结果，当从任意虚拟视点对3D模型22M成像时，纹理根据视点位置而改变，使得可以实现具有较高图像质量的虚拟图像。然而，由于传输所需的带宽增加，可能将视点无关(以下称为VI)的纹理粘贴至3D模型22M。

包括所读取的3D模型22M的体积图像24被叠加在背景图像26a上，并且被传送至例如作为再现装置的移动终端80并由其再现。通过对3D模型22M进行渲染并再现包括3D模型22M的体积图像24，具有3D形状的图像被显示在用户的移动终端80上。

[1-3.先决条件——3D模型的数据结构]

接下来，将参照图3描述表示3D模型22M所需的数据内容。图3是示出3D模型表示所需的数据内容的图。

被摄体22的3D模型22M由指示被摄体22的形状的网格信息M和指示被摄体22的表面的质地(色调、图案等)的纹理信息T来表示。

网格信息M通过将3D模型22M的表面上的一些部分作为顶点进行连接来表示3D模型22M的形状(多边形网格)。此外，可以使用深度信息Dp(未示出)来代替网格信息M，深度信息Dp指示从用于观察被摄体22的视点位置到被摄体22的表面的距离。例如，基于相对于从通过相邻成像装置捕获的图像中检测到的被摄体22的相同区域的视差来计算被摄体22的深度信息Dp。注意，可以安装具有距离测量机构的传感器(例如，飞行时间(TOF)摄像装置)或红外(IR)摄像装置，而不是成像装置，来获得到被摄体22的距离。

在本实施方式中，将两种类型的数据用作纹理信息T。一类数据是不依赖于观察3D模型22M的视点位置(VI)的纹理信息Ta。纹理信息Ta是这样的数据：在该数据中，例如，以如图3所示的UV纹理贴图那样的展开图的形式存储3D模型22M的表面纹理。换句话说，纹理信息Ta是不依赖于视点位置的数据。例如，当3D模型22M是穿着衣服的人时，制备包括该人的衣服和皮肤及头发的图案的UV纹理贴图作为纹理信息Ta。然后，可以通过在表示3D模型22M的网格信息M的表面上粘贴与网格信息M对应的纹理信息Ta来绘制3D模型22M(VI渲染)。即使在3D模型22M的观察位置在该点改变的情况下，也可以将相同的纹理信息Ta粘贴至表示相同区域的网格。如上所述，通过将3D模型22M所穿的衣服的纹理信息Ta粘贴至表示该衣服的所有网格来执行使用纹理信息Ta进行VI渲染。因此，数据量一般较小，并且渲染的计算负荷也较轻。然而，由于所粘贴的纹理信息Ta是均匀的，并且即使在观察位置改变的情况下纹理也不会发生改变，因此纹理质量通常低。

另一类数据纹理信息T是依赖于观察3D模型22M的视点位置(VD)的纹理信息Tb。纹理信息Tb由通过从多个视点观察被摄体22而获得的一组图像来表示。换句话说，纹理信息Tb是与视点位置对应的数据。具体地，在通过N个摄像装置来观察被摄体22时，纹理信息Tb由通过相应摄像装置同时捕获的N个图像来表示。然后，当在3D模型22M的任意网格中渲染纹理信息Tb时，从N幅图像中检测到与可应用网格对应的所有区域。然后，利用所捕获的相应纹理对检测到的多个区域进行加权，并将其粘贴至可应用网格。如上所述，使用纹理信息Tb进行VD渲染通常数据尺寸大，并且渲染的计算负荷重。然而，由于所粘贴的纹理信息Tb根据观察位置而变化，因此纹理质量通常高。

[1-4.成像及显示装置的示意性配置]

接下来，将参照图4和图5描述在根据第一实施方式的图像处理系统10a中包括的成像及显示装置的示意性配置。图4是示出安装在工作室中的成像及显示装置的示意性配置的图。图5是示出显示面板的开/关和摄像装置的开/关的定时控制的示例的图。

在体积工作室14a中，围绕被摄体22布置多个摄像装置16(16a、16b、16c等)以包围被摄体22。多个显示面板17(17a、17b、17c等)被布置成填充相邻摄像装置16之间的间隙。显示面板17例如是LED面板、液晶面板或有机EL面板。多个摄像装置16和多个显示面板17构成成像及显示装置13a。注意，在图4中，摄像装置16和显示面板17围绕被摄体22排成一列，但是摄像装置16和显示面板17也可以在体积工作室14a的竖直方向上排成多列。

在成像及显示装置13a中，多个摄像装置16同时对被摄体22进行成像，以生成被摄体22的3D模型22M。换句话说，多个摄像装置16的成像定时被同步控制。

此外，在成像及显示装置13a中，虚拟摄像装置呈现信息20被显示在多个显示面板17上。稍后将详细描述虚拟摄像装置呈现信息20(参见图7)。

注意，定时控制被执行成使得摄像装置16的成像定时不与显示面板17的显示定时重叠。稍后将详细描述(参见图5)。

成像及显示装置13的配置不限于成像及显示装置13a。图4中所示的成像及显示装置13b包括投影仪28(28a、28b、28c等)和透射式屏幕18(18a、18b、18c等)，由投影仪28投影的图像信息被投射到透射式屏幕18上，而不是投射到显示面板17上(17a、17b、17c等)。

投影仪28从透射式屏幕18的背面投射虚拟摄像装置呈现信息20。

此外，图4中所示的成像及显示装置13c包括投影仪29(29a、29b、29c等)和反射式屏幕19(19a、19b、19c等)，由投影仪29投影的图像信息被投射到反射式屏幕19上，而不是投射显示面板17(17a、17b、17c等)。

投影仪28从反射式屏幕19的正面投射虚拟摄像装置呈现信息20。

此外，作为本公开内容的最简单的实施方式，尽管未示出，但是通过使用能够在整个圆周上投射激光束的投影装置(例如激光笔)来代替显示面板17，可以将虚拟视点的位置呈现为亮点。

由摄像装置16对被摄体22进行成像以及在显示面板17(或投影仪28或29)上显示虚拟摄像装置呈现信息20是基于图5所示的时序图来控制的。

具体地，成像及显示装置13暂时且交替地执行通过摄像装置16进行成像操作以及在显示面板17(或投影仪28或29)上呈现视觉信息。换句话说，当摄像装置16捕获被摄体22的图像时，不执行在显示面板17(或投影仪28或29)上呈现视觉信息(显示虚拟摄像装置呈现信息20)。另一方面，当在显示面板17(或投影仪28或29)上呈现虚拟摄像装置呈现信息20时，摄像装置16不捕获被摄体22。这防止了在摄像装置16捕获被摄体22的图像时将虚拟摄像装置呈现信息20包括在背景中。

在图5中，基本上等同地示出了由摄像装置16进行成像的持续时间以及在显示面板17(或投影仪28或29)上呈现视觉信息(虚拟摄像装置呈现信息20)的持续时间。然而，这些持续时间的比率被设置成使得被摄体22的运动可以被可靠地成像，并且被摄体22可以在视觉上充分识别虚拟摄像装置呈现信息20。

注意，图像处理设备12a执行将被摄体22与所捕获的包括被摄体22的图像分离的处理。因此，在该处理期间，可以将虚拟摄像装置呈现信息20显示在显示面板17(或投影仪28或29)上。此外，为了可靠且容易地分离被摄体22，可以使用IR摄像装置和IR光来捕获图像。

[1-5.虚拟摄像装置呈现信息]

接下来，将参照图6、图7和图8描述虚拟摄像装置呈现信息20的具体示例。图6是示出在显示面板上显示的虚拟摄像装置呈现信息的示例的图。图7是示出虚拟摄像装置呈现信息的具体示例的第一图。图8是示出虚拟摄像装置呈现信息的具体示例的第二图。

如图6所示，沿H轴的垂直方向并沿θ轴的水平方向在体积工作室14a的内壁表面15上布置多个显示面板17。摄像装置16被安装在与四个显示面板17相邻的位置处。

图1所示的图像处理设备12a在与虚拟视点对应的位置处显示图像框21。然后，在图像框21中，例如显示图7中所示的虚拟摄像装置呈现信息20。图像框21具有例如矩形形状，并且被设置在由图像处理设备12a指示的水平宽度为Wa、距左上顶点(θo，ho)的高度为Ha的位置处。然后，在所设置的图像框21内显示虚拟摄像装置呈现信息20。

如图6所示，所设置的图像框21可以与多个显示面板17交叠。此外，由于由图像处理设备12a设置的虚拟视点的数量不限于一个，因此通常在体积工作室14a的内壁表面15上设置多个图像框21。

在以这种方式设置的图像框21中，例如显示图7中所示的虚拟摄像装置呈现信息20。

图7所示的虚拟摄像装置呈现信息20a(20)包括在图像框21内的摄像装置图标30、指示灯(tally lamp)31、摄像者图标32和摄影装置名称33。虚拟摄像装置呈现信息20a(20)是用于将由图像处理设备12a设置的虚拟视点的位置通知给被摄体22的信息。注意，虚拟摄像装置呈现信息20在本公开内容中是关于虚拟视点的信息的示例。

摄像装置图标30是模拟被放置在由图像处理设备12a设置的虚拟视点的位置处的虚拟摄像装置的图标。以模拟被摄体22与虚拟视点之间的距离以及虚拟视点处的视线方向的形式来显示摄像装置图标30。此外，以从体积工作室14a的内壁表面15的相对侧看向被摄体22的形式来显示摄像装置图标30。

指示灯31指示被放置在虚拟视点的位置处的虚拟摄像装置的操作状态。例如，当虚拟摄像装置执行成像和分发(空中状态)时，指示灯31以红色亮起。当虚拟摄像装置仅执行成像时，指示灯31以绿色亮起。

摄像者图标32是与控制虚拟视点的操作者唯一关联的图标，并且显示预先设置的任意图标。被摄体22可以检查摄像者图标32以识别谁是设置虚拟视点的位置的操作者。注意，摄像者图标32的大小可以根据被摄体22与虚拟视点之间的距离而改变。例如，随着被摄体22与虚拟视点之间的距离变短，摄像者图标32可以被显示得更大。此外，摄像者图标32可以是操作者自己的图像。

摄像装置名称33是与虚拟摄像装置唯一关联的标识信息，并且显示预先设置的任意名称。

虚拟摄像装置呈现信息20改变成与虚拟视点的设定状态对应的形式。图7中所示的虚拟摄像装置呈现信息20b(20)显示关于虚拟视点的不同于虚拟摄像装置呈现信息20a的信息。更具体地，虚拟摄像装置呈现信息20b(20)是虚拟摄像装置的不同于虚拟摄像装置呈现信息20a(20)的信息。此外，虚拟视点处的视线方向不同于虚拟摄像装置呈现信息20a的视线方向。

此外，虚拟摄像装置呈现信息20b中显示的摄像装置图标30和摄像者图标32被示出为比虚拟摄像装置呈现信息20a中的摄像装置图标30和摄像者图标32大。这指示由虚拟摄像装置呈现信息20b指示的虚拟视点的位置比由虚拟摄像装置呈现信息20a指示的虚拟视点的位置更接近被摄体22。

注意，尽管图7中未示出，但是图像框21的大小可以随着虚拟视点更接近被摄体22而更大。

图8中所示的虚拟摄像装置呈现信息20c(20)是通过图像处理设备12a控制虚拟视点的操作者显示针对被摄体22的消息的示例。换句话说，虚拟摄像装置呈现信息20c(20)包括消息信息37。

[1-6.虚拟摄像装置呈现信息的变型]

接下来，将参照图9至图12描述虚拟摄像装置呈现信息20的变型。图9是示出虚拟摄像装置呈现信息的典型变型的图。

在图9中，虚拟摄像装置呈现信息20d(20)指示虚拟摄像装置面向被摄体22。

当另一虚拟摄像装置在呈现有虚拟摄像装置呈现信息20d(20)的状态下接近时，图像处理设备12a呈现虚拟摄像装置呈现信息20e(20)。虚拟摄像装置呈现信息20e(20)指示“摄像装置1”和“摄像装置2”彼此接近。注意，在以这种方式将多个摄像装置分组的状态下显示的虚拟摄像装置呈现信息20特别地被称为虚拟摄像装置组呈现信息200。

此外，当虚拟摄像装置在呈现有虚拟摄像装置呈现信息20d(20)的状态下接近被摄体22时，呈现虚拟摄像装置呈现信息20f(20)。在虚拟摄像装置呈现信息20f(20)中摄像装置图标30被示出得较大，从而指示该虚拟摄像装置更接近被摄体22。此时，图像框21可以被示出地更大。此外，尽管图9中未示出，但是当虚拟摄像装置离开被摄体22时，摄像装置图标30被示出得较小。

虚拟摄像装置呈现信息20g(20)是在虚拟摄像装置的方向从已经呈现有虚拟摄像装置呈现信息20d(20)的状态改变时呈现的信息。图9中的虚拟摄像装置呈现信息20g(20)指示虚拟摄像装置已经将其方向向右改变。

虚拟摄像装置呈现信息20h(20)指示被放置在虚拟视点处的虚拟摄像装置实际开始成像的状态。在这种情况下，指示灯31的显示模式改变为指示正在进行成像的状态。

图10是示出指示虚拟摄像装置被设置在没有显示面板的位置的虚拟摄像装置呈现信息的示例的图。

虚拟视点(虚拟摄像装置)可以被安装在被摄体22周围的任何位置。因此，虚拟摄像装置可以被安装在无法安装或者难以安装显示面板17的位置，例如体积工作室14a的天花板或者地板。在这种情况下，图像处理设备12a在虚拟摄像装置呈现信息20中显示摄像装置位置显示图标34，摄像装置位置显示图标34指示虚拟摄像装置在显示面板17的安装位置之外。

图10中所示的虚拟摄像装置呈现信息20i(20)包括摄像装置位置显示图标34a(34)。摄像装置位置显示图标34a(34)指示虚拟摄像装置被设置在体积工作室14a的内壁表面15的天花板上。

此外，虚拟摄像装置呈现信息20j(20)包括摄像装置位置显示图标34b(34)。摄像装置位置显示图标34b(34)指示虚拟摄像装置被设置在体积工作室14a的内壁表面15的地板上。

图10中所示的虚拟摄像装置呈现信息20k(20)包括摄像装置位置显示图标34c(34)。摄像装置位置显示图标34c(34)是通过修改摄像装置位置显示图标34a(34)而获得的图标。摄像装置位置显示图标34c(34)指示虚拟摄像装置被设置在天花板上何处。包括在摄像装置位置显示图标34c(34)中的矩形区域指示虚拟摄像装置的设置位置。当虚拟摄像装置被设置在显示虚拟摄像装置呈现信息20k(20)的一侧的最上部(天花板)时，包括在摄像装置位置显示图标34c(34)中的矩形区域被显示在摄像装置位置显示图标34c(34)的最下部。另一方面，当虚拟摄像装置被设置在显示虚拟摄像装置呈现信息20k(20)的一侧后方的最上部(天花板)时，包括在摄像装置位置显示图标34c(34)中的矩形区域被显示在摄像装置位置显示图标34c(34)的最上部。此外，当虚拟摄像装置被安装在被摄体22的正上方时，摄像装置位置显示图标34c(34)中包括的矩形区域被显示在摄像装置位置显示图标34c(34)的中央。

此外，虚拟摄像装置呈现信息20l(20)包括摄像装置位置显示图标34d(34)。摄像装置位置显示图标34d(34)是通过修改摄像装置位置显示图标34b(34)而获得的图标。摄像装置位置显示图标34d(34)指示虚拟摄像装置被设置在地板上何处。包括在摄像装置位置显示图标34d(34)中的矩形区域指示虚拟摄像装置的设置位置。当虚拟摄像装置被设置在显示虚拟摄像装置呈现信息20l(20)的一侧的最下部(地板)时，包括在摄像装置位置显示图标34d(34)中的矩形区域被显示在摄像装置位置显示图标34d(34)的最上部。另一方面，当虚拟摄像装置被设置在显示虚拟摄像装置呈现信息20l(20)的一侧后方的最下部(地板)时，包括在摄像装置位置显示图标34d(34)中的矩形区域被显示在摄像装置位置显示图标34c(34)的最下部。此外，当虚拟摄像装置被安装在被摄体22的正下方时，包括在摄像装置位置显示图标34d(34)中的矩形区域被显示在摄像装置位置显示图标34d(34)的中央。

图11是示出其中虚拟摄像装置呈现信息显示虚拟摄像装置的摄影操作的示例的图。

在图11所示的图像框21中显示的虚拟摄像装置呈现信息20m(20)包括指示由图像处理设备12a生成的虚拟摄像装置的移动轨迹的摄影操作信息35以及摄影操作36。注意，摄影操作信息35指示摄影操作的名称。

摄影操作36是指示虚拟摄像装置的实际移动方向的箭头。通过用箭头表示虚拟摄像装置的移动，被摄体22可以预测虚拟摄像装置在表演期间的移动。注意，如图11所示，可以通过以深色显示指示摄影操作36的箭头的前部并以逐渐变浅的颜色显示指示摄影操作36的箭头的后部来强调摄影操作的方向。

此外，如图11所示，当虚拟摄像装置的移动速度慢时，虚拟摄像装置的当前位置可以被叠加在摄影操作36上并顺序显示。然而，当虚拟摄像装置的移动速度快时，虚拟摄像装置的位置可以被显示在摄影操作36的终点处。

图12是示出当多个虚拟摄像装置的设置位置交叠时的虚拟摄像装置呈现信息的示例的图。

图像处理设备12a将多个虚拟摄像装置设置在体积工作室14a的内壁表面15上。所设置的多个虚拟摄像装置各自自由移动。因此，多个虚拟摄像装置的位置可以变得彼此接近。

图12示出了这样的状态：所设置的两个虚拟摄像装置随着时间t的推移在变得彼此接近的方向上移动，然后经过彼此并离开。

在这种情况下，首先，显示与相应虚拟摄像装置对应的虚拟摄像装置呈现信息20n1(20)和虚拟摄像装置呈现信息20n2(20)。然后，当两个虚拟摄像装置的位置变得彼此接近时，在一个图像框21中显示虚拟摄像装置呈现信息20n3(20)，即虚拟摄像装置组呈现信息200。虚拟摄像装置组呈现信息200包括在一个分割的图像框21中处于接近位置的多个虚拟摄像装置的虚拟摄像装置呈现信息20。

然后，在两个虚拟摄像装置经过彼此之后，再次显示与相应虚拟摄像装置对应的虚拟摄像装置呈现信息20n1(20)和虚拟摄像装置呈现信息20n2(20)。

[1-7.第一实施方式的图像处理系统的功能配置]

接下来，将参照图13和图14描述图像处理系统10a的功能配置。图13是示出根据第一实施方式的图像处理系统的功能配置的示例的功能框图。图14是示出虚拟摄像装置信息生成单元的输入/输出信息的示例的图。

如图13所示，图像处理系统10a包括图像处理设备12a，以及构成成像及显示装置13的摄像装置16和显示面板17。图像处理系统10a包括作为外围装置的远程控制器54、互通装置55、麦克风56、扬声器57和观看装置53a。由于上文描述了摄像装置16和显示面板17的功能，因此将省略对其的描述。

图像处理设备12a包括控制器40、虚拟摄像装置信息生成单元41、虚拟摄像装置呈现信息生成单元42、UI单元43、工作室内图像显示单元44、语音输出单元45、体积图像拍摄单元46、体积图像生成单元47、主音频输出单元48、音频记录单元49、CG背景生成单元50、体积图像和CG叠加/音频MUX单元51以及分发单元52。这些功能单元由具有下述配置的图像处理设备12a的CPU实现：计算机执行用于控制图像处理设备12a的操作的控制程序(未示出)。此外，图像处理设备12a的全部或部分功能可以由硬件实现。

控制器40生成关于虚拟摄像装置的信息。例如，控制器40是包括操作装置诸如操纵杆和选择按钮的信息输入装置，并且根据用户的操作指令设置虚拟视点的位置、摄影操作信息等。注意，图像处理设备12a可以通过包括多个控制器40来设置多个虚拟视点。

另外，控制器40包括摄像装置和麦克风(未示出)。包括在控制器40中的摄像装置捕获控制虚拟视点的操作者的图像。此外，包括在控制器40中的麦克风获取控制虚拟视点的操作者的话语(语音)。

控制器40还包括操作装置，例如用于选择并传送控制虚拟视点的操作者的消息的选择按钮。

虚拟摄像装置信息生成单元41从控制器40获取关于虚拟视点的信息和关于操作者的信息。关于虚拟视点的信息包括例如图14中示出的虚拟摄像装置位置信息Fa、摄影操作信息Fb和摄影装置信息Ff。此外，关于操作者的信息包括例如图14中示出的操作者图像Fc、操作者语音Fd和操作者消息Fe。注意，虚拟摄像装置信息生成单元41在本公开内容中是第二获取单元的示例。

虚拟摄像装置位置信息Fa包括虚拟摄像装置的位置坐标、虚拟摄像装置的方向和虚拟摄像装置的视野。虚拟摄像装置位置信息Fa通过操作装置例如在控制器40中提供的操纵杆的操作来设置。

摄影操作信息Fb是关于虚拟摄像装置的移动轨迹的信息。具体地，摄影操作信息Fb包括摄影操作开始位置、摄影操作结束位置、开始位置与结束位置之间的轨迹、虚拟摄像装置的移动速度以及摄影操作的名称。摄影操作信息Fb通过操作装置例如在控制器40中提供的选择按钮的操作来设置。

摄影装置信息Ff包括关于虚拟视点的信息，例如摄像装置编号、摄像装置名称、摄像装置状态、摄像装置图标/图像和摄像装置优先级。

操作者图像Fc是通过对控制虚拟视点的操作者自己成像而获得的图像。图像处理设备12a可以在虚拟摄像装置呈现信息20中显示操作者图像Fc，而不是摄像者图标32(参见图7)。

操作者语音Fd是由控制虚拟视点的操作者传送给被摄体22的语音消息。

操作者消息Fe是由控制虚拟视点的操作者传送给被摄体22的文本消息。操作者消息Fe通过操作装置例如在控制器40中提供的选择按钮的操作来设置。

虚拟摄像装置信息生成单元41生成虚拟摄像装置信息F(参见图14)，在虚拟摄像装置信息F中，针对每个虚拟摄像装置对所获取的各种类型的信息进行分组。然后，虚拟摄像装置信息生成单元41将所生成的虚拟摄像装置信息F传送给虚拟摄像装置呈现信息生成单元42。对于摄影操作信息Fb，在虚拟摄像装置信息生成单元41内管理摄影操作的再现状态，并且在摄影操作的再现正在进行时依次更新虚拟摄像装置的位置信息。

虚拟摄像装置呈现信息生成单元42生成要在显示面板17上呈现的虚拟摄像装置呈现信息20。更具体地，虚拟摄像装置呈现信息生成单元42生成与在将被摄体22的3D模型22M渲染为对应于用户的观看装置的形式的图像时的虚拟视点有关的信息。更具体地，基于包括在虚拟摄像装置信息F中的虚拟摄像装置的位置坐标和摄影装置信息，通过根据需要改变指示灯31的显示颜色、组合多条虚拟摄像装置呈现信息20、生成指示虚拟摄像装置是在天花板上还是在地板上的摄像装置位置显示图标34等来生成虚拟摄像装置呈现信息20。此外，虚拟摄像装置呈现信息生成单元42生成要从语音输出单元45输出的语音输出。

UI单元43从被摄体22或导演所拥有的远程控制器54来改变图像处理设备12a所使用的各种参数的设置。被摄体22通过操作UI单元43来选择控制虚拟视点的特定操作者并与所选择的操作者对话。注意，UI单元43在本公开内容中是选择单元的示例。

工作室内图像显示单元44在多个显示面板17上的对应位置处显示从虚拟摄像装置呈现信息生成单元42接收的虚拟摄像装置呈现信息20。注意，工作室内图像显示单元44在本公开内容中是呈现单元的示例。

语音输出单元45将从虚拟摄像装置信息F接收的语音数据输出到互通装置55。作为结果，将控制虚拟视点的操作者的各种指令传送至被摄体22。

体积图像拍摄单元46利用在被摄体22周围布置的多个外部同步的摄像装置16从多个方向同时捕获被摄体22的真实图像。此外，体积图像拍摄单元46将通过拍摄获得的真实摄像装置图像I作为体积摄像装置图像数据传送给体积图像生成单元47，所述体积摄像装置图像数据包括用于指定拍摄摄像装置16的标识信息和帧编号。体积图像拍摄单元46在本公开内容中是第一获取单元的示例。

体积图像生成单元47从体积图像拍摄单元46接收体积摄像装置图像数据并执行体积图像生成处理。注意，体积图像生成单元47保存通过执行用于校正摄像装置16的失真的内部校准和用于获得摄像装置16的相对位置的外部校准而获得的校准数据，并且使用该校准数据对捕获的真实摄像装置图像I进行校正。然后，基于由体积图像拍摄单元46获取的体积摄像装置图像数据，体积图像生成单元47执行被摄体22的建模处理，即3D模型22M的生成。然后，体积图像生成单元47基于所获取的虚拟摄像装置位置信息，将被摄体22的3D模型22M渲染为从虚拟视点观察的体积图像。体积图像生成单元47将所渲染的体积图像、帧编号和虚拟摄像装置信息F传送给体积图像和CG叠加/音频MUX单元51。注意，体积图像生成单元47在本公开内容中是生成单元的示例。

主音频输出单元48从扬声器57输出供被摄体22唱歌或跳舞的音乐。此外，主音频输出单元48将音乐的音频数据传送给音频记录单元49。

音频记录单元49混合来自主音频输出单元48的音频数据和从麦克风56输入的音频数据(例如，被摄体22的歌唱数据)以生成混合音频数据，并且将混合音频数据发送给体积图像和CG叠加/音频MUX单元51。

CG背景生成单元50基于预先准备的背景CG数据生成带帧编号的背景CG数据。然后，CG背景生成单元50将所生成的背景CG数据传送给体积图像和CG叠加/音频MUX单元51。

体积图像和CG叠加/音频MUX单元51基于体积图像数据中所包括的虚拟摄像装置位置信息来执行渲染并将所获取的体积图像数据和背景CG数据叠加，以生成例如从虚拟视点观看的2D图像。然后，体积图像和CG叠加/音频MUX单元51将通过复用(MUX)所生成的2D图像和音频信息而获得的分发内容传送给分发单元52。注意，当用户的观看装置53a是能够显示三维信息的装置时，体积图像和CG叠加/音频MUX单元51通过将被摄体22的3D模型22M渲染为3D图像来生成3D图像。

分发单元52将从体积图像和CG叠加/音频MUX单元51接收的内容分发给观看装置53a。

作为外围装置提供的远程控制器54改变图像处理设备12a所使用的各种参数的设置。

被摄体22佩戴互通装置55以收听控制虚拟视点的操作者的语音。

麦克风56记录被摄体22的歌声和对话。

扬声器57输出被摄体22在拍摄期间收听的音乐等。

观看装置53a是用户用来观看从12a分发的内容的装置。观看装置53a例如是平板终端或智能电话。

[1-8.由第一实施方式的图像处理系统执行的处理的总流程]

将参照图15描述由图像处理系统10a执行的处理的总流程。

虚拟摄像装置信息生成单元41执行用于生成虚拟摄像装置信息F的虚拟摄像装置信息生成处理(步骤S11)。注意，虚拟摄像装置信息生成处理的细节将在后面描述(参见图16)。

虚拟摄像装置呈现信息生成单元42执行用于生成虚拟摄像装置呈现信息20的虚拟摄像装置呈现信息生成处理(步骤S12)。注意，虚拟摄像装置呈现信息生成处理的细节将在后面描述(参见图17)。

工作室内图像显示单元44执行用于生成在显示面板17上的对应位置处呈现虚拟摄像装置呈现信息20的图像并将所生成的图像输出到显示面板17的虚拟摄像装置呈现信息输出处理(步骤S13)。注意，虚拟摄像装置呈现信息输出处理的细节将在后面描述(参见图17和图27)。

体积图像生成单元47执行用于基于从体积图像拍摄单元46接收的体积摄像装置图像数据来生成体积图像的体积图像生成处理(步骤S14)。注意，体积图像生成处理的流程将在后面描述(参见图28)。

体积图像和CG叠加/音频MUX单元51执行体积图像和背景图像的叠加处理(步骤S15)。注意，体积图像和背景图像的叠加处理的流程将在后面描述(参见图29)。

分发单元52执行用于将从体积图像和CG叠加/音频MUX单元51接收的内容分发给观看装置53a的分发处理(步骤S16)。

[1-9.虚拟摄像装置信息生成处理的流程]

将参照图16描述虚拟摄像装置信息生成处理的流程。图16是示出图15中的虚拟摄像装置信息生成处理的流程的示例的流程图。

虚拟摄像装置信息生成单元41从控制器40获取虚拟摄像装置位置信息Fa和摄影操作信息Fb(步骤S21)。

虚拟摄像装置信息生成单元41基于摄影操作信息Fb来更新摄影操作队列(步骤S22)。

虚拟摄像装置信息生成单元41确定在摄影操作队列中是否存在正在再现的摄影操作(步骤S23)。当确定存在正在再现的摄影操作时(步骤S23：是)，处理进行到步骤S24。另一方面，当确定不存在正在再现的摄影操作时(步骤S23：否)，处理进行到步骤S26。

当在步骤S23中确定存在正在再现的摄影操作时，虚拟摄像装置信息生成单元41基于正在再现的摄影操作的帧编号和摄影操作信息Fb来更新虚拟摄像装置位置信息Fa(步骤S24)。

接下来，虚拟摄像装置信息生成单元41生成虚拟摄像装置信息F，并基于当前摄影操作来设置摄影操作名称和再现帧编号(步骤S25)。然后，该处理返回到主例程(图15)。

另一方面，当在步骤S23中确定不存在正在再现的摄影操作时，虚拟摄像装置信息生成单元41清除摄影操作名称和再现帧编号，以保持虚拟摄像装置当时的位置(步骤S26)。然后，该处理返回到主例程(图15)。

[1-10.虚拟摄像装置呈现信息生成处理的流程]

将参照图17描述虚拟摄像装置信息生成处理的流程。图17是示出图15中的虚拟摄像装置呈现信息生成处理的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42获取具有当前帧编号的全部虚拟摄像装置信息F(步骤S31)。

虚拟摄像装置呈现信息生成单元42生成虚拟摄像装置呈现信息20(步骤S32)。

虚拟摄像装置呈现信息生成单元42通过基于所生成的虚拟摄像装置呈现信息20对附近摄像装置进行分组来生成虚拟摄像装置组呈现信息200(步骤S33)。

虚拟摄像装置呈现信息生成单元42基于虚拟摄像装置组呈现信息200执行虚拟摄像装置组显示类型确定处理(步骤S34)。注意，虚拟摄像装置组显示类型确定处理的细节将在后面描述(参见图18)。

虚拟摄像装置呈现信息生成单元42执行用于基于摄像装置状态和摄像装置优先级对包括在同一组中的虚拟摄像装置信息F进行排序的虚拟摄像装置组优先级确定处理(步骤S35)。注意，虚拟摄像装置组优先级确定处理的细节将在后面描述(参见图19)。

虚拟摄像装置呈现信息生成单元42执行用于生成虚拟摄像装置组呈现信息200的虚拟摄像装置组呈现信息生成处理(步骤S36)。注意，虚拟摄像装置组呈现信息生成处理的细节将在后面描述(参见图20)。

虚拟摄像装置呈现信息生成单元42执行用于生成要呈现给被摄体22的语音输出的虚拟摄像装置组语音生成处理(步骤S37)。注意，虚拟摄像装置组语音生成处理的细节将在后面描述(参见图26)。然后，该处理返回到主例程(图15)。

[1-10-1.虚拟摄像装置组显示类型确定处理的流程]

将参照图18描述图17的步骤S34所示的虚拟摄像装置组显示类型确定处理的流程。图18是示出图17中的虚拟摄像装置组显示类型确定处理的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置的数量是否为两个或更多个并且针对虚拟摄像装置的组显示的最大分割数量是否为两个或更多个(步骤S41)。当条件满足时(步骤S41：是)，处理进行到步骤S42。另一方面，当条件不满足时(步骤S41：否)，处理进行到步骤S43。

当在步骤S41中确定满足条件时，虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置的数量是否为四个或更多个并且针对虚拟摄像装置的组显示的最大分割数量是否为四个或更多个(步骤S42)。当条件满足时(步骤S42：是)，增加虚拟摄像装置的数量以及针对虚拟摄像装置的组显示的最大分割数量，并且继续进行类似于步骤S41和S42的确定。另一方面，当条件不满足时(步骤S42：否)，处理进行到步骤S45。

继续进行与步骤S41和S42相同的确定，并且当确定满足条件时，虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置的数量是否为七个或更多个并且针对虚拟摄像装置的组显示的最大分割数量是否为七个或更多个(步骤S44)。当条件满足时(步骤S44：是)，处理进行到步骤S47。另一方面，当条件不满足时(步骤S44：否)，处理进行到步骤S46。

当在步骤S41中确定不满足条件时(步骤S41：否)，虚拟摄像装置呈现信息生成单元42将虚拟摄像装置显示类型设置为1，即，一个虚拟摄像装置显示分区(步骤S43)。此后，该处理返回到图17中的流程图。

当在步骤S42中确定不满足条件时(步骤S42：否)，虚拟摄像装置呈现信息生成单元42将虚拟摄像装置显示类型设置为2，即，两个虚拟摄像装置显示分区(步骤S43)。此后，该处理返回到图17中的流程图。

当在步骤S44中确定不满足条件时(步骤S44：是)，虚拟摄像装置呈现信息生成单元42将虚拟摄像装置显示类型设置为64，即64个虚拟摄像装置显示分区(步骤S43)。此后，该处理返回到图17中的流程图。

当在步骤S44中确定不满足条件时(步骤S44：否)，虚拟摄像装置呈现信息生成单元42将虚拟摄像装置显示类型设置为49，即49个虚拟摄像装置显示分区(步骤S43)。此后，该处理返回到图17中的流程图。

[1-10-2.虚拟摄像装置组优先级确定处理的流程]

将参照图19描述图17中的步骤S35所示的虚拟摄像装置组优先级确定处理的流程。图19是示出图17中的虚拟摄像装置组优先级确定处理的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42根据摄像装置状态和摄像装置优先级对包括在同一组中的虚拟摄像装置信息F进行排序(步骤S51)。此后，该处理返回到图17中的流程图。

[1-10-3.虚拟摄像装置组呈现信息生成处理的流程]

将参照图20描述图17中的步骤S36所示的虚拟摄像装置组呈现信息生成处理的流程。图20是示出图17中的虚拟摄像装置组呈现信息生成处理的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42确定在组中是否包括一个虚拟摄像装置(步骤S61)。当确定在组中包括一个虚拟摄像装置时(步骤S61：是)，处理进行到步骤S62。另一方面，当确定在组中不包括一个虚拟摄像装置时(步骤S61：否)，处理进行到步骤S68。

当在步骤S61中确定在组中包括一个虚拟摄像装置时，虚拟摄像装置呈现信息生成单元42确定图像框在可显示位置处是否可用(步骤S62)。当确定图像框在可显示位置处可用时(步骤S62：是)，处理进行到步骤S63。另一方面，当确定图像框在可显示位置处不可用时(步骤S62：否)，处理进行到步骤S64。

当在步骤S62中确定图像框在可显示位置处可用时，虚拟摄像装置呈现信息生成单元42生成正常虚拟摄像装置呈现信息20(步骤S63)。此后，处理进行到步骤S65。注意，在步骤S63中执行的处理的详细流程将在后面描述(参见图21)。

当在步骤S62中确定图像框在可显示位置处不可用时，虚拟摄像装置呈现信息生成单元42生成位置校正的虚拟摄像装置呈现信息20(步骤S64)。此后，处理进行到步骤S65。注意，在步骤S64中执行的处理的详细流程将在后面描述(参见图22)。

在步骤S63或步骤S64之后，虚拟摄像装置呈现信息生成单元42确定是否正在再现摄影操作(步骤S65)。当确定正在再现摄影操作时(步骤S65：是)，处理进行到步骤S66。另一方面，当确定没有再现摄影操作时，该处理返回到图17中的流程图。

当在步骤S65中确定正在再现摄影操作时，虚拟摄像装置呈现信息生成单元42确定摄影操作显示设置是否开启(步骤S66)。当确定摄影操作显示设置开启时(步骤S66：是)，处理进行到步骤S67。另一方面，当确定摄影操作显示设置未开启时(步骤S66：否)，该处理返回到图17中的流程图。

当在步骤S66中确定摄影操作显示设置开启时，虚拟摄像装置呈现信息生成单元42执行摄影操作显示处理(步骤S67)。此后，该处理返回到图17中的流程图。注意，在步骤S67中执行的处理的详细流程将在后面描述(参见图25)。

返回到步骤S61，当在步骤S61中确定在组中不包括一个虚拟摄像装置时，虚拟摄像装置呈现信息生成单元42确定图像框在可显示位置处是否可用(步骤S68)。当确定图像框在可显示位置可用时(步骤S68：是)，处理进行到步骤S69。另一方面，当确定图像框在可显示位置不可用时(步骤S68：否)，处理进行到步骤S70。

当在步骤S68中确定图像框在可显示位置处可用时，虚拟摄像装置呈现信息生成单元42生成正常虚拟摄像装置组呈现信息200(步骤S69)。此后，该处理返回到图17中的流程图。注意，在步骤S68中执行的处理的详细流程将在后面描述(参见图23)。

当在步骤S68中确定图像框在可显示位置处可用时，虚拟摄像装置呈现信息生成单元42生成其位置的经位置校正的虚拟摄像装置组呈现信息200(步骤S70)。此后，该处理返回到图17中的流程图。注意，在步骤S70中执行的处理的详细流程将在后面描述(参见图24)。

接下来，将参照图21描述用于生成虚拟摄像装置呈现信息20的正常处理的流程。图21是示出图20中的虚拟摄像装置呈现信息生成处理(正常)的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置呈现信息20的显示模式是否为正常(步骤S71)。当确定虚拟摄像装置呈现信息20的显示模式为正常时(步骤S71：是)，处理进行到步骤S72。另一方面，当确定虚拟摄像装置呈现信息20的显示模式不为正常时(步骤S71：否)，处理进行到步骤S73。

当在步骤S71中确定虚拟摄像装置呈现信息20的显示模式为正常时，虚拟摄像装置呈现信息生成单元42基于虚拟摄像装置信息F生成虚拟摄像装置呈现信息20(步骤S72)。此后，该处理返回到图20中的流程图。注意，图21中所示的虚拟摄像装置呈现信息20p1(20)是在步骤S72中生成的虚拟摄像装置呈现信息的示例。

另一方面，当在步骤S71中确定虚拟摄像装置呈现信息20的显示模式不为正常时，虚拟摄像装置呈现信息生成单元42生成其中绘制有表示虚拟摄像装置的粒子38的虚拟摄像装置呈现信息20(步骤S73)。此后，该处理返回到图20中的流程图。注意，图21所示的虚拟摄像装置呈现信息20p2(20)是在步骤S73中生成的虚拟摄像装置呈现信息的示例。

接下来，将参照图22描述位置校正后的虚拟摄像装置呈现信息20的生成处理的流程。图22是示出图20中的虚拟摄像装置呈现信息生成处理(位置校正)的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置呈现信息20的显示模式是否为正常(步骤S81)。当确定虚拟摄像装置呈现信息20的显示模式为正常时(步骤S81：是)，处理进行到步骤S82。另一方面，当确定虚拟摄像装置呈现信息20的显示模式不为正常时(步骤S81：否)，处理进行到步骤S83。

当在步骤S81中确定虚拟摄像装置呈现信息20的显示模式为正常时，虚拟摄像装置呈现信息生成单元42基于虚拟摄像装置信息F来更新视场角信息，并生成虚拟摄像装置呈现信息20(步骤S82)。此后，该处理返回到图20中的流程图。注意，图22中所示的虚拟摄像装置呈现信息20q1(20)和20q2(20)是在步骤S82中生成并显示在内壁表面15上的虚拟摄像装置呈现信息的示例。

另一方面，当在步骤S81中确定虚拟摄像装置呈现信息20的显示模式不为正常时，虚拟摄像装置呈现信息生成单元42生成其中绘制有表示虚拟摄像装置的粒子的虚拟摄像装置呈现信息20(步骤S83)。此后，该处理返回到图20中的流程图。注意，图22中示出的虚拟摄像装置呈现信息20q3(20)和20q4(20)是在步骤S83中生成并显示在内壁表面15上的虚拟摄像装置呈现信息的示例。

接下来，将参照图23描述用于生成虚拟摄像装置组呈现信息200的正常处理的流程。图23是示出图20中的虚拟摄像装置组呈现信息生成处理(正常)的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置呈现信息20的显示模式是否为正常(步骤S91)。当确定虚拟摄像装置呈现信息20的显示模式为正常时(步骤S91：是)，处理进行到步骤S92。另一方面，当确定虚拟摄像装置呈现信息20的显示模式不为正常时(步骤S91：否)，处理进行到步骤S96。

当在步骤S91中确定虚拟摄像装置呈现信息20的显示模式为正常时，虚拟摄像装置呈现信息生成单元42确定图像框21中是否存在剩余的经分割的显示框(步骤S92)。当确定图像框21中存在剩余的经分割的显示框时(步骤S92：是)，处理进行到步骤S93。另一方面，当确定图像框21中不存在剩余的经分割的显示框时(步骤S92：否)，该处理返回到图20的流程图。

当在步骤S92中确定图像框21中存在剩余的经分割的显示框时，虚拟摄像装置呈现信息生成单元42确定是否存在要显示的虚拟摄像装置(步骤S93)。当确定存在要显示的虚拟摄像装置时(步骤S93：是)，处理进行到步骤S94。另一方面，当确定不存在要显示的虚拟摄像装置时(步骤S93：否)，处理返回到图20中的流程图。

当在步骤S93中确定存在要显示的虚拟摄像装置时，虚拟摄像装置呈现信息生成单元42执行图21中的用于执行生成虚拟摄像装置呈现信息20的正常处理的流程图(步骤S94)。

然后，虚拟摄像装置呈现信息生成单元42在经分割的显示框中绘制在步骤S94中生成的虚拟摄像装置呈现信息20(步骤S95)。此后，处理返回到步骤S92，并且重复上述处理。注意，图23中示出的虚拟摄像装置呈现信息200a(200)是在步骤S95中生成的信息的示例。

另一方面，当在步骤S91中确定虚拟摄像装置呈现信息20的显示模式不为正常时，虚拟摄像装置呈现信息生成单元42生成其中绘制有表示虚拟摄像装置的粒子38的虚拟摄像装置组呈现信息200(步骤S96)。此后，该处理返回到图20中的流程图。注意，图23中示出的虚拟摄像装置呈现信息200b(200)是在步骤S96中生成的信息的示例。

接下来，将参照图24描述位置校正之后的虚拟摄像装置组呈现信息200的生成处理的流程。图24是示出图20中的虚拟摄像装置组呈现信息生成处理(位置校正)的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置呈现信息20的显示模式是否为正常(步骤S101)。当确定虚拟摄像装置呈现信息20的显示模式为正常时(步骤S101：是)，处理进行到步骤S102。另一方面，当确定虚拟摄像装置呈现信息20的显示模式不为正常时(步骤S101：否)，处理进行到步骤S107。

当在步骤S101中确定虚拟摄像装置呈现信息20的显示模式为正常时，虚拟摄像装置呈现信息生成单元42确定图像框21中是否存在剩余的经分割的显示框(步骤S102)。当确定图像框21中存在剩余的经分割的显示框时(步骤S102：是)，处理进行到步骤S103。另一方面，当确定图像框21中不存在剩余的经分割的显示框时(步骤S102：否)，处理进行到步骤S106。

当在步骤S102中确定图像框21中存在剩余的经分割的显示框时，虚拟摄像装置呈现信息生成单元42确定是否存在要显示的虚拟摄像装置(步骤S103)。当确定存在要显示的虚拟摄像装置时(步骤S103：是)，处理进行到步骤S104。另一方面，当确定不存在要显示的虚拟摄像装置时(步骤S103：否)，处理进行到步骤S106。

当在步骤S103中确定存在要显示的虚拟摄像装置时，虚拟摄像装置呈现信息生成单元42执行图22中的流程图，以执行用于生成具有校正位置的虚拟摄像装置呈现信息20的处理(步骤S104)。

然后，虚拟摄像装置呈现信息生成单元42在经分割的显示框中绘制在步骤S104中生成的虚拟摄像装置呈现信息20(步骤S105)。此后，处理返回到步骤S102，并且重复上述处理。注意，图24中示出的虚拟摄像装置呈现信息200c(200)是在步骤S105中生成的虚拟摄像装置组呈现信息的示例。

当在步骤S102中确定图像框21中不存在剩余的经分割的显示框时，或者当在步骤S103中确定不存在要显示的虚拟摄像装置时，虚拟摄像装置呈现信息生成单元42对位置进行校正并显示经分割的显示框(步骤S106)。此后，该处理返回到图20中的流程图。

此外，当在步骤S101中确定虚拟摄像装置呈现信息20的显示模式不为正常时，虚拟摄像装置呈现信息生成单元42生成其中绘制有表示虚拟摄像装置的粒子的虚拟摄像装置组呈现信息200(步骤S107)。此后，该处理返回到图20中的流程图。注意，图24所示的虚拟摄像装置呈现信息200d(200)是在步骤S107中生成的虚拟摄像装置组呈现信息的示例。

接下来，将参照图25描述用于显示摄影操作的摄影操作显示处理的流程。图25是示出图20中的摄影操作显示处理的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42从所生成的虚拟摄像装置呈现信息20中获取图像框信息、摄影操作名称和摄影操作帧编号(步骤S111)。注意，图像框信息是包括图像框的显示位置、图像框大小等的信息。

接下来，虚拟摄像装置呈现信息生成单元42基于图像框信息、摄影操作名称和摄影操作帧编号来生成摄影操作呈现信息(步骤S112)。注意，摄影操作呈现信息是例如图11中示出的摄影操作信息35。

然后，虚拟摄像装置呈现信息生成单元42将摄影操作呈现信息叠加在虚拟摄像装置呈现信息20上(步骤S113)。此后，该处理返回到图20中的流程图。

[1-10-4.虚拟摄像装置组语音生成处理的流程]

将参照图26描述图17中的步骤S37所示的虚拟摄像装置组语音生成处理的流程。图26是示出图17中的虚拟摄像装置组语音生成处理的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置音频输出模式是否是全部(ALL)，即，将所有虚拟摄像装置信息F中所包括的音频数据混合并输出的模式(步骤S121)。当确定虚拟摄像装置音频输出模式是全部时(步骤S121：是)，处理进行到步骤S122。另一方面，当确定虚拟摄像装置音频输出模式不是全部时(步骤S121：否)，处理进行到步骤S123。

当在步骤S121中确定虚拟摄像装置音频输出模式是全部时，虚拟摄像装置呈现信息生成单元42相对于语音输出单元45将所有虚拟摄像装置信息F的音频帧数据(与视频帧数据对应的音频数据)混合，以生成音频输出数据(步骤S122)。此后，该处理返回到图17。

另一方面，当在步骤S121中确定虚拟摄像装置音频输出模式不是全部时，虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置音频输出模式是否是空中(On Air)摄像装置，即，用于输出在执行成像和分发的虚拟摄像装置的虚拟摄像装置信息F中所包括的音频数据的模式(步骤S123)。当确定虚拟摄像装置音频输出模式是空中摄像装置时(步骤S123：是)，处理进行到步骤S124。另一方面，当确定虚拟摄像装置音频输出模式不是空中摄像装置时(步骤S123：否)，处理进行到步骤S125。

当在步骤S123中确定虚拟摄像装置音频输出模式是空中摄像装置时，虚拟摄像装置呈现信息生成单元42根据其摄像装置状态为空中的虚拟摄像装置信息F的音频帧数据生成音频输出数据(步骤S124)。此后，处理返回到图17。

另一方面，当在步骤S123中确定虚拟摄像装置音频输出模式不是空中摄像装置时，虚拟摄像装置呈现信息生成单元42确定虚拟摄像装置音频输出模式是否是目标摄像装置，即，用于输出在指定虚拟摄像装置信息F中所包括的音频数据的模式(步骤S125)。当确定虚拟摄像装置音频输出模式是目标摄像装置时(步骤S125：是)，处理进行到步骤S126。另一方面，当确定虚拟摄像装置音频输出模式不是目标摄像装置时(步骤S125：否)，处理进行到步骤S127。

当在步骤S125中确定虚拟摄像装置音频输出模式是目标摄像装置时，虚拟摄像装置呈现信息生成单元42根据与指定摄像装置编号对应的虚拟摄像装置信息F的音频帧数据生成音频输出数据(步骤S126)。此后，处理返回到图17。

另一方面，当在步骤S125中确定虚拟摄像装置音频输出模式不是目标摄像装置时，虚拟摄像装置呈现信息生成单元42生成无声的音频输出数据(步骤S127)。此后，处理返回到图17。

[1-11.虚拟摄像装置呈现信息输出处理的流程]

将参照图27描述图15的步骤S13所示的虚拟摄像装置呈现信息输出处理的流程。图27是示出图15中的虚拟摄像装置呈现信息输出处理的流程的示例的流程图。

工作室内图像显示单元44从虚拟摄像装置呈现信息生成单元42获取虚拟摄像装置呈现信息20(步骤S131)。注意，工作室内图像显示单元44可以从虚拟摄像装置呈现信息生成单元42获取虚拟摄像装置组呈现信息200。

工作室内图像显示单元44根据虚拟摄像装置呈现信息20生成要在内壁表面15上显示的图像(步骤S132)。

工作室内图像显示单元44将在步骤S132中生成的图像输出给每个显示面板17(步骤S133)。注意，当通过投影仪28或29投影图像时，工作室内图像显示单元44将在步骤S132中生成的图像输出给投影仪28或29中的每一个。此后，处理返回到图17。

[1-12.体积图像生成处理的流程]

将参照图28描述图15中的步骤S14所示的体积图像生成处理的流程。图28是示出图15中的体积图像生成处理的流程的示例的流程图。

体积图像生成单元47从体积图像拍摄单元46获取由摄像装置16捕获的图像数据(真实摄像装置图像I)(步骤S141)。

体积图像生成单元47基于在步骤S141中获取的图像数据进行建模，以生成被摄体22的3D模型22M(步骤S142)。

体积图像生成单元47从虚拟摄像装置呈现信息生成单元42获取虚拟摄像装置位置信息Fa(步骤S143)。

体积图像生成单元47基于虚拟摄像装置位置信息Fa，执行将3D模型22M渲染为从虚拟视点观察的体积图像(步骤S144)。

体积图像生成单元47基于虚拟摄像装置位置信息Fa计算从虚拟视点到3D模型22M的深度，即距离(步骤S145)。

体积图像生成单元47将体积图像数据(RGB-D)输出到体积图像和CG叠加/音频MUX单元51(步骤S146)。注意，体积图像数据包括颜色信息(RGB)和距离信息(D)。然后，该处理返回到主例程(图15)。

[1-13.体积图像与背景图像的叠加处理的流程]

将参照图29描述在图15的步骤S15中示出的体积图像和背景图像的叠加处理的流程。图29是示出图15中的体积图像和背景图像的叠加处理的流程的示例的流程图。

体积图像和CG叠加/音频MUX单元51从体积图像生成单元47获取体积图像数据(步骤S151)。

体积图像和CG叠加/音频MUX单元51从CG背景生成单元50获取背景CG数据(步骤S152)。

体积图像和CG叠加/音频MUX单元51绘制3D背景CG数据(步骤S153)。

体积图像和CG叠加/音频MUX单元51将体积图像叠加在已经绘制有背景CG数据的3D空间上(步骤S154)。

体积图像和CG叠加/音频MUX单元51生成从虚拟视点观看在步骤S154中生成的3D空间的2D图像(步骤S155)。注意，在用户的观看装置53a可以显示3D图像的情况下，体积图像和CG叠加/音频MUX单元51生成3D图像。

体积图像和CG叠加/音频MUX单元51将在步骤S155中生成的2D图像(或3D图像)输出给分发单元52(步骤S156)。然后，该处理返回到主例程(图15)。

虽然在图29的流程图中没有示出，但是体积图像和CG叠加/音频MUX单元51也执行对所生成的2D图像(或3D图像)和音频信息进行复用(MUX)的处理。

[1-14.第一实施方式的效果]

如上所述，根据第一实施方式的图像处理设备12a(信息处理设备)包括：体积图像拍摄单元46(第一获取单元)，其获取分别由布置在被摄体22周围的多个摄像装置16(第一成像装置)捕获的多个真实图像(真实摄像装置图像I)；体积图像生成单元47(生成单元)，其根据多个真实图像生成被摄体22的3D模型22M；以及工作室内图像显示单元44(呈现单元)，其向被摄体22呈现关于在将3D模型22M渲染为对应于观看装置53a的形式的图像时的虚拟视点的信息。

作为结果，在体积工作室14a中，可以再现好似摄像者在直接用实际摄像装置进行拍摄的情况。因此，由于被摄体22可以在意识到虚拟摄像装置的同时进行表演，所以可以进一步增强分发内容的存在感。

此外，根据第一实施方式的图像处理设备12a(信息处理设备)还包括获取关于虚拟视点的信息的虚拟摄像装置信息生成单元41(第二获取单元)。

作为结果，可以可靠且容易地获取关于虚拟摄像装置的信息。

此外，在根据第一实施方式的图像处理设备12a(信息处理设备)中，工作室内图像显示单元44(呈现单元)向被摄体22呈现虚拟视点的位置(例如，虚拟摄像装置呈现信息20a和20b)。

作为结果，可以再现好似摄像者在直接用实际摄像装置拍摄的情况。

此外，在根据第一实施方式的图像处理设备12a(信息处理设备)中，工作室内图像显示单元44(呈现单元)在虚拟视点的位置处呈现指示虚拟视点存在于该位置的信息。

作为结果，被摄体22能够直观地知道虚拟摄像装置的位置。

此外，在根据第一实施方式的图像处理设备12a(信息处理设备)中，工作室内图像显示单元44(呈现单元)向被摄体22呈现指示虚拟视点所存在的位置的信息(例如，虚拟摄像装置呈现信息20i、20j、20k和20l)。

作为结果，也可以在无法安装显示面板17以及投影仪28和29的工作室中呈现虚拟视点的位置。

此外，在根据第一实施方式的图像处理设备12a(信息处理设备)中，工作室内图像显示单元44(呈现单元)向被摄体22呈现虚拟视点与被摄体22之间的距离(例如，虚拟摄像装置呈现信息20f)。

作为结果，被摄体22能够直观地知道虚拟摄像装置与被摄体22之间的距离。

此外，在根据第一实施方式的图像处理设备12a(信息处理设备)中，工作室内图像显示单元44(呈现单元)向被摄体22呈现从虚拟视点的观察方向(例如，虚拟摄像装置呈现信息20g)。

作为结果，被摄体22能够直观地知道虚拟摄像装置的方向。

此外，在根据第一实施方式的图像处理设备12a(信息处理设备)中，工作室内图像显示单元44(呈现单元)向被摄体22呈现虚拟视点的移动方向(例如，虚拟摄像装置呈现信息20m)。

作为结果，可以在无法通过真实摄像装置实现的独特体积摄影操作期间，将虚拟摄像装置的位置传送给被摄体22。

此外，在根据第一实施方式的图像处理设备12a(信息处理设备)中，工作室内图像显示单元44(呈现单元)向被摄体22呈现被置于虚拟视点处的虚拟摄像装置的操作状态(例如，虚拟摄像装置呈现信息20h)。

作为结果，被摄体22能够直观地知道虚拟摄像装置的操作状态。

此外，在根据第一实施方式的图像处理设备12a(信息处理设备)中，工作室内图像显示单元44(呈现单元)向被摄体22呈现控制虚拟视点的操作者的消息(例如，虚拟摄像装置呈现信息20c)。

作为结果，被摄体22可以在与控制虚拟视点的操作者进行交流的同时进行表演。

此外，在根据第一实施方式的图像处理设备12a(信息处理设备)中，当多个虚拟视点的位置变得彼此接近时，工作室内图像显示单元44(呈现单元)组合关于多个虚拟视点的信息并向被摄体22呈现所组合的信息(例如，虚拟摄像装置呈现信息20n3)。

(2.第二实施方式)

[2-1.第二实施方式的图像处理系统的示意性配置]

接下来，将参照图30描述根据本公开内容的第二实施方式的图像处理系统10b。图30是示出根据第二实施方式的图像处理系统的概要的系统配置图。

图像处理系统10b具有与上述图像处理系统10a基本相同的功能，但是不同之处在于：在其上叠加体积图像数据的背景数据由真实摄像装置捕获，并且用于捕获背景数据的真实摄像装置的位置被设置为虚拟视点。下面将参照图30描述图像处理系统10b的示意性配置。注意，将省略对与图像处理系统10a共有的部件的描述。

图像处理系统10b包括体积工作室14a、2D摄影工作室14b和图像处理设备12b。

2D摄影工作室14b是不同于体积工作室14a的工作室。2D摄影工作室14b包括多个真实摄像装置60。每个真实摄像装置60可以通过摄像者的操作或来自外部的控制信号来改变位置、观察方向、视场角度等。此外，在2D摄影工作室14b的壁面上绘制任意背景，或者通过投影仪投影任意背景。此外，在2D摄影工作室14b内部提供能够任意控制照明状态的多个照明装置。在2D摄影工作室14b中，由真实摄像装置60捕获的2D真实图像J被输入到图像处理设备12b。注意，真实摄像装置60在本公开内容中是第二成像装置的示例。

图像处理设备12b基于从摄像装置16获取的真实摄像装置图像I生成被摄体22的3D模型22M。此外，图像处理设备12a假设真实摄像装置60在虚拟视点处，并且将从虚拟视点观看的被摄体22的3D模型22M渲染为与用户的观看装置53a对应的形式的图像。此外，图像处理设备12a基于与真实摄像装置60有关的信息生成关于虚拟视点的虚拟摄像装置呈现信息20，并将虚拟摄像装置呈现信息20输出到显示面板17。

此外，图像处理设备12b从真实摄像装置60获取2D真实图像J。此外，图像处理设备12b将3D模型22M的体积图像24叠加在作为背景图像26b获取的2D真实图像J上。所生成的图像被分发到例如用户的观看环境。注意，图像处理设备12b在本公开内容中是信息处理设备的示例。

[2-2.第二实施方式的图像处理系统的功能配置]

接下来，将参照图31描述图像处理系统10b的功能配置。图31是示出根据第二实施方式的图像处理系统的功能配置的示例的功能框图。

如图31所示，图像处理系统10b包括图像处理设备12b、构成成像及显示装置13的摄像装置16和显示面板17以及真实摄像装置60。此外，图像处理系统10b包括作为外围装置的远程控制器54、互通装置55、麦克风56、扬声器57和观看装置53a。

图像处理设备12b包括虚拟摄像装置呈现信息生成单元42、UI单元43、工作室内图像显示单元44、语音输出单元45、体积图像拍摄单元46、体积图像生成单元47、主音频输出单元48、音频记录单元49、分发单元52、虚拟摄像装置信息获取单元62、虚拟摄像装置信息传送单元63、2D图像拍摄单元64、虚拟摄像装置信息接收单元65、体积图像/音频传送单元66、体积图像/音频接收单元67以及体积图像和2D图像叠加/音频MUX单元68。这些功能单元由具有下述配置的图像处理设备12b的CPU实现：计算机执行用于控制图像处理设备12b的操作的控制程序(未示出)。此外，图像处理设备12b的全部或部分功能可以由硬件实现。

在上述功能单元中，图31中虚线L1左侧所示的功能单元安装在体积工作室14a中。虚线L1右侧描述的功能单元安装在2D摄影工作室14b中。在下文中，将仅描述不同于图像处理系统10a的功能单元的功能。

虚拟摄像装置信息获取单元62从在2D摄影工作室14b侧的真实摄像装置60(第二成像装置)获取关于真实摄像装置60的信息。在真实摄像装置60被视为虚拟摄像装置的情况下，关于真实摄像装置60的信息是虚拟摄像装置信息F。虚拟摄像装置信息F的内容如第一实施方式中所述。注意，虚拟摄像装置信息获取单元62在本公开内容中是第二获取单元的示例。

虚拟摄像装置信息传送单元63将通过虚拟摄像装置信息获取单元62获取的虚拟摄像装置信息F传送到体积工作室14a。

虚拟摄像装置信息接收单元65从2D摄影工作室14b接收虚拟摄像装置信息F。

2D图像拍摄单元64根据由真实摄像装置60捕获的2D真实图像J生成背景2D图像。

体积图像/音频传送单元66将在体积工作室14a中生成的体积图像和音频数据传送到2D摄影工作室14b。

体积图像/音频接收单元67从体积工作室14a接收体积图像和音频数据。

体积图像和2D图像叠加/音频MUX单元68将被摄体22的3D模型22M渲染为与用户的观看装置53a对应的形式的图像，并且将所渲染的图像叠加在由处于不同于被摄体22的位置的真实摄像装置60(第二成像装置)捕获的图像上。此外，体积图像和2D图像叠加/音频MUX单元68将所叠加的图像与音频数据复用(MUX)。注意，体积图像和2D图像叠加/音频MUX单元68在本公开内容中是叠加单元的示例。

注意，图像处理系统10b不包括在图像处理系统10a中设置的控制器40(参见图13)。这是因为真实摄像装置60自身会生成关于图像处理系统10b中的虚拟摄像装置的信息。具体地，真实摄像装置60包括陀螺仪传感器和加速度传感器。真实摄像装置60通过检测陀螺仪传感器和加速度传感器的输出来检测真实摄像装置60自身的成像方向和移动方向。

另外，在安装真实摄像装置60的2D摄像装置工作室14b中安装测量真实摄像装置60在2D摄像装置工作室14b中的位置的位置检测传感器(未示出)。该位置检测传感器配置有安装在2D摄影工作室14b中并发射具有不同光发射图案的IR信号的多个基站，以及安装在真实摄像装置60中并检测来自基站的IR信号的IR传感器。IR传感器基于检测到的多个IR信号的强度来检测其自身在2D摄影工作室14b中的位置。注意，真实摄像装置60可以基于自己所捕获的图像来检测自己在2D摄影工作室14b中的位置和方向。以这种方式，真实摄像装置60基于从各种传感器获取的信息生成关于虚拟摄像装置的信息。

注意，真实摄像装置60还包括用于指示对摄影操作信息的选择和启用的操作装置例如选择按钮，以及用于显示摄影操作信息的选项等的显示装置。

注意，在图31的图像处理设备12b中，虚拟摄像装置信息获取单元62、虚拟摄像装置信息传送单元63、2D图像拍摄单元64、体积图像/音频接收单元67、体积图像和2D图像叠加/音频MUX单元68以及分发单元52被安装在安装有真实摄像装置60的2D摄影工作室14b中。图像处理设备12b的其他功能单元被安装在体积工作室14a中。

[2-3.第二实施方式的图像处理系统的动作]

图像处理系统10b的处理流程与上述图像处理系统10a的处理流程相同。因此，将省略对处理流程的详细描述。

注意，在图像处理系统10a中，背景CG图像需要具有3D信息，但是在图像处理系统10b中，针对每一帧生成与真实摄像装置60的移动对应的虚拟摄像装置信息F。然后，图像处理设备12b生成对应于虚拟摄像装置信息F的体积图像，并将所生成的体积图像叠加到基于由真实摄像装置60捕获的2D真实图像J的背景2D图像上。因此，与图像处理系统10a不同，不需要准备3D背景数据(背景CG图像)。

此外，图像处理系统10b具有不同于虚拟制作的特征，虚拟制作被认为是用于如同图像是在目标位置被捕获一样来生成图像的系统。换句话说，在周知的虚拟制作中，根据真实摄像装置的移动在背景上绘制3D CG，并且拍摄站在3D CG前面的被摄体。另一方面，在图像处理系统10b中，根据捕获在2D摄影工作室14b中准备的真实背景的真实摄像装置60的移动来生成进行表演的被摄体22的体积图像。因此，被摄体和背景的定位与周知的虚拟制作相反。作为结果，通过使用图像处理系统10b，可以扩展当前虚拟制作的应用范围。

[2-4.第二实施方式的效果]

如上所述，根据第二实施方式的图像处理设备12b(信息处理设备)还包括体积图像和2D图像叠加/音频MUX单元68(叠加单元)，其将被摄体22的3D模型22M渲染为与观看装置53a对应的形式的图像，并将所渲染的图像叠加在由位于与被摄体22不同位置的真实摄像装置60(第二成像装置)捕获的图像上。虚拟摄像装置信息获取单元62(第二获取单元)将真实摄像装置60视为放置在虚拟视点处的虚拟摄像装置，并从真实摄像装置60获取关于虚拟视点的信息。

作为结果，当安装在远处的真实摄像装置60被视为虚拟摄像装置时，可以在体积工作室14a中再现好似摄像者在直接用真实摄像装置进行拍摄的情况。因此，由于被摄体22可以在意识到虚拟摄像装置的同时进行表演，所以可以进一步增强分发内容的存在感。

(3.第三实施方式)

[3-1.第三实施方式的图像处理系统的示意性配置]

接下来，将参照图32描述根据本公开内容的第三实施方式的图像处理系统10c。图32是示出根据第三实施方式的图像处理系统的概要的系统配置图。

图像处理系统10c具有与上述图像处理系统10a和10b基本相同的功能。然而，虽然图像处理系统10a和10b以一种方式将所生成的分发内容分发给用户的观看装置53a，但是图像处理系统10c的不同之处在于：用户可以使用观看装置53b交互式地控制虚拟视点的位置。下面将参照图32描述图像处理系统10c的示意性配置。注意，将省略对与图像处理系统10a和10b共有的组件的描述。

图像处理系统10c包括体积工作室14a、图像处理设备12c和观看装置53b。图像处理设备12c可以被安装在体积工作室14a中。

图像处理设备12c基于从摄像装置16获取的真实摄像装置图像I生成被摄体22的3D模型22M。此外，图像处理设备12c从用户的观看装置53b获取虚拟摄像装置信息F。此外，图像处理设备12c将从基于虚拟摄像装置信息F的虚拟视点观看的被摄体22的3D模型22M渲染为与用户的观看装置53b对应的形式的图像。此外，图像处理设备12c生成关于虚拟视点的虚拟摄像装置呈现信息20，并将虚拟摄像装置呈现信息20输出到显示面板17。此处，关于虚拟视点的信息是关于当多个观看用户中的每个观看用户在其自己的观看装置53b上观看由图像处理设备12c渲染的图像时的视点的信息。

此外，图像处理设备12c将所生成的3D模型22M的体积图像24叠加在所获取的背景图像26a上，并且生成从所设置的虚拟视点观察的图像。然后，图像处理设备12c将所生成的图像分发给用户的观看装置53b。注意，图像处理设备12c在本公开内容中是信息处理设备的示例。

[3-2.第三实施方式的图像处理系统的功能配置]

接下来，将参照图33描述图像处理系统10c的功能配置。图33是示出根据第三实施方式的图像处理系统的功能配置的示例的功能框图。

如图33所示，图像处理系统10c包括图像处理设备12c、观看装置53b、构成成像及显示装置13的摄像装置16和显示面板17。此外，图像处理系统10c包括作为外围装置的远程控制器54、互通装置55、麦克风56和扬声器57。

图像处理设备12c包括虚拟摄像装置呈现信息生成单元42、UI单元43、工作室内图像显示单元44、语音输出单元45、体积图像拍摄单元46、体积图像生成单元47、主音频输出单元48、音频记录单元49、CG背景生成单元50、体积图像和CG叠加/音频MUX单元51、分发单元52、虚拟摄像装置信息获取单元62、虚拟摄像装置信息传送单元63、虚拟摄像装置信息接收单元65、分发接收单元70、体积图像输出单元71以及音频输出单元72。这些功能单元由具有下述配置的图像处理设备12c的CPU实现：计算机执行用于控制图像处理设备12c的操作的控制程序(未示出)。此外，图像处理设备12c的全部或部分功能可以由硬件实现。

在上述功能单元中，图33中虚线L2左侧所描述的功能单元被安装在体积工作室14a中。虚线L2右侧所描述的功能单元被安装在用户持有观看装置的用户环境中，并且理想地被内置在观看装置53b中。在下文中，将仅描述与图像处理系统10a和10b的功能单元不同的功能单元的功能。

虚拟摄像装置信息获取单元62从观看装置53b获取虚拟摄像装置信息F，虚拟摄像装置信息F包括虚拟摄像装置位置信息和用户的图像/消息。

虚拟摄像装置信息传送单元63将由虚拟摄像装置信息获取单元62获取的虚拟摄像装置信息F传送给体积工作室14a。

虚拟摄像装置信息接收单元65从虚拟摄像装置信息传送单元63接收虚拟摄像装置信息F。

分发接收单元70接收从体积工作室14a传送的分发内容。注意，与用户观看的内容不同，由分发接收单元70接收的内容仅仅是体积图像、背景CG和音频数据的复用内容。

体积图像输出单元71从通过分发接收单元70接收的复用信号中解码体积图像和背景CG。此外，体积图像输出单元71，将被摄体22的3D模型22M渲染为从基于虚拟摄像装置位置信息Fa的观察位置观看的体积图像。此外，体积图像输出单元71将所渲染的体积图像叠加在背景CG数据上。然后，体积图像输出单元71将叠加有背景CG数据的图像输出到观看装置53b。

音频输出单元72从通过分发接收单元70接收的复用信号中解码音频数据。然后，音频输出单元72将经解码的音频数据输出到观看装置53。

体积图像和CG叠加/音频MUX单元51复用(MUX)体积图像、背景CG和音频数据。与在图像处理设备12a中提供的体积图像和CG叠加/音频MUX单元51(参见图13)不同，因为体积图像输出单元71会将体积图像和背景CG叠加，此处仅执行信号复用(MUX)。

注意，观看装置53b具有图像处理设备12a中的控制器40的功能。作为观看装置53b，例如，使用诸如智能电话或平板终端的便携式终端、HMD、能够进行裸眼立体视觉的空间再现显示器、或者显示器和游戏控制器的组合。注意，观看装置53b至少具有指定位置和方向的功能、选择和确定菜单选项的功能以及与图像处理设备12c交流的功能。

利用这些功能，观看装置53b与控制器40类似地，对设置虚拟视点所需的位置和方向进行设置。换句话说，观看装置53b本身用作虚拟摄像装置。此外，观看装置53b选择并确定虚拟视点(虚拟摄像装置)的摄影操作。此外，观看装置53b选择并确定针对被摄体22的消息。

[3-3.获取虚拟摄像装置信息的方法]

将参照图34和图35描述从作为观看装置53b的示例的移动终端80获取虚拟摄像装置信息F的方法。图34是示出用户利用观看装置来设置摄影操作信息的方法的图。图35是示出用户利用观看装置来设置操作者图像、操作者语音和操作者消息的方法的图。

在作为观看装置53b的示例的移动终端80中，当从在用于使用图像处理系统10c的应用启动时显示的主菜单(未示出)中选择摄影操作的设置菜单时，在观看装置53b的显示屏幕上显示图34中所示的摄影操作选择按钮74。注意，移动终端80的显示屏幕还具有触摸面板的功能，并且可以通过手指控制在显示屏幕上显示的图形用户界面(GUI)。

摄影操作选择按钮74是在开始设置摄影操作时按下的按钮。

当按下摄影操作选择按钮74时，摄影操作选择窗口75被显示在移动终端80的显示屏幕上。在摄影操作选择窗口75中，显示预先预设的摄影操作选项列表。此外，以在摄影操作选择窗口75中显示的任意摄影操作选项上叠加的方式显示摄影操作开始按钮76。

移动终端80的用户将摄影操作开始按钮76叠加在用户想要设置的摄影操作选项上。然后，通过按下摄影操作开始按钮76来完成摄影操作设置。所设置的摄影操作被作为摄影操作信息Fb发送到虚拟摄像装置信息获取单元62。

虽然图34中未示出，但是也可以在摄影操作设置菜单中设置摄影操作的开始位置和结束位置、摄影操作的速度等。

此外，在移动终端80中，当从在用于使用图像处理系统10c的应用启动时显示的主菜单(未示出)中选择针对操作者消息的设置菜单时，在移动终端80的显示屏幕上显示图35中所示的消息选择按钮77。

消息选择按钮77是在开始选择操作者消息时按下的按钮。

当按下消息选择按钮77时，在移动终端80的显示屏幕上显示消息选择窗口78。在消息选择窗口78中，显示预设消息列表。此外，以在消息选择窗口78中显示的任意消息上叠加的方式显示消息传送按钮79。

移动终端80的用户将消息传送按钮79叠加在用户想要设置的消息上。然后，通过按下消息传送按钮79来完成对操作者消息Fe的设置。所设置的操作者消息Fe被发送到虚拟摄像装置信息获取单元62。

除了预设消息之外，可以将利用在观看装置53b中内置的内置摄像头(IN camera)81和麦克风82获取的操作者的图像和语音设置为操作者消息Fe。

注意，移动终端80通过检测陀螺仪传感器和加速度传感器的输出来检测用于检测其自身的成像方向和移动方向的虚拟摄像装置位置信息Fa。这与第二实施方式中真实摄像装置60检测虚拟摄像装置位置信息Fa的方法相同，因此将省略进一步的描述。

[3-4.虚拟摄像装置组呈现信息的形式]

将参照图36、图37和图38描述由图像处理系统10c呈现的虚拟摄像装置组呈现信息200的形式。图36是示出基于观看用户的数量的虚拟摄像装置组呈现信息的示例的图。图37是示出当观看用户改变观察位置时的虚拟摄像装置组呈现信息的示例的图。图38是示出其中观看用户和表演者彼此交流的功能的示例的图。

在图像处理系统10c中，大量用户通过他们的观看装置53b自由地设置虚拟视点的位置。因此，出现许多用户的虚拟视点的位置彼此靠近的情况。图36示出了在上述情况下呈现的虚拟摄像装置组呈现信息200的示例。

图36中的横轴表示来自特定位置的观看用户的数量。观看用户的数量越向左越小，观看用户的数量越向右越大。

例如，通过分割一个图像框21并显示指示观看用户存在于每个分割的区域中的人形图标(相当于图7中的摄像者图标32)来获得虚拟摄像装置组呈现信息200e、200f和200g。在该显示形式中，可以指示有多少用户正在从呈现虚拟摄像装置组呈现信息200的位置进行观看。注意，一个人形图标可以代表一个观看用户，或者一个人形图标可以与预设数量的人相关联。如上所述，虚拟摄像装置组呈现信息200e、200f和200g指示从特定位置观看的用户的密度。在虚拟摄像装置组呈现信息200g中，一个人形图标被显示地较大。这指示若干用户正在接近被摄体22的位置观看。如稍后所描述的，有时基于另一标准放大并显示人形图标(参见图38)。

在虚拟摄像装置组呈现信息200e、200f和200g上方显示的人数(10026人)指示当前观看用户总数。注意，可以显示从虚拟摄像装置组呈现信息200被呈现的方向观看的观看用户的数量，而不是显示当前观看用户总数。

此外，显示观看用户的数量的方法不限于此，并且可以应用可以直观地知道观看用户的密度的呈现形式，例如，诸如虚拟摄像装置组呈现信息200h、200i和200j的粒子显示。

图37示出了当观看用户改变虚拟视点时虚拟摄像装置组呈现信息200的变化的示例。

图37示出了在时间t0处呈现虚拟摄像装置组呈现信息200k和200l的状态。此外，图37示出了在时间t1处在虚拟摄像装置组呈现信息200k中显示的一个或多个观看用户U已经改变了虚拟视点的位置的状态。此外，图37示出了在时间t2处观看用户U的虚拟视点的位置到达了呈现虚拟摄像装置组呈现信息200l的位置。

此处，在时间t1处，虚拟摄像装置组呈现信息200k被改变为虚拟摄像装置组呈现信息200m，其中与观看用户U对应的人形图标已经被从虚拟摄像装置组呈现信息200m中删除。然后，新呈现与观看用户U对应的虚拟摄像装置呈现信息20r。

此外，在时间t2处，与观看用户U对应的虚拟摄像装置呈现信息20r被删除。然后，虚拟摄像装置组呈现信息200l被改变为虚拟摄像装置组呈现信息200n，其中与观看用户U对应的人形图标被添加至虚拟摄像装置组呈现信息200n。

注意，与观看用户U对应的虚拟摄像装置呈现信息20r(20)可以被简单地显示为图37的下部所示的虚拟摄像装置呈现信息20s(20)。

图38示出了在图像处理系统10c中观看用户与被摄体22交流的示例。

图38中所示的虚拟摄像装置组呈现信息200p(200)是这样的示例：在操作者消息是从特定观看用户传送的情况下，在虚拟摄像装置呈现信息20r(20)中，在对应用户的经分割的显示框中显示消息信息37。

此外，当被摄体22希望与特定观看用户交流时，被摄体22通过向UI单元43提供被摄体所拥有的远程控制器54的操作信息来打开光标显示。当光标显示被打开时，如图38所示，光标90被显示以叠加在虚拟摄像装置组呈现信息200q(200)上。通过操作远程控制器54，被摄体22通过将光标90的显示位置移动到观看用户要与之交流的位置来选择观看用户。可替选地，指定要与之交流的目标摄像装置编号。

此外，被摄体22打开交流模式。通过打开交流模式，放大并显示所选择观看用户的经分割的显示框，并且呈现图38中所示的虚拟摄像装置组呈现信息200r(200)。注意，在图像处理系统10c的默认设置下，交流模式可以总是开启。在这种情况下，当被摄体22用光标90选择观看用户时，与观看用户的交流立即成为可能。以这种方式，被摄体22可以选择任意观看用户，并通过作为选择单元的示例的UI单元43的动作与所选择的观看用户交流。

由于用户的图像被放大并显示在虚拟摄像装置组呈现信息200r(200)中，所以被摄体22可以实现与所选择的用户的目光接触。此外，此时，被摄体22可以通过互通装置55收听用户的消息。注意，该交流功能可以类似地在上述图像处理系统10a和10b中实现。

此处的特定观看用户被假定为例如具有高优先级的用户，例如付费用户或高级用户。换句话说，具有高优先级的用户的观看装置53b(虚拟摄像装置)在第一实施方式中描述的摄影装置信息Ff(参见图14)中具有高摄像装置优先级。然后，具有高优先级的用户可以优先地与被摄体22交流。

注意，图像处理设备12c可以允许另一观看用户观看被摄体22和特定观看用户彼此交流的状态。例如，如图38所示，可以通过被摄体22的背面显示虚拟摄像装置组呈现信息200r(200)的状态。

[3-5.由第三实施方式的图像处理系统实现的处理的流程]

将参照图39和图40描述由图像处理系统10c实现的处理的流程。图39是示出由根据第三实施方式的图像处理系统实现的处理的流程的示例的流程图。图40是示出图39中的交流图像/语音生成处理的流程的示例的流程图。

虚拟摄像装置呈现信息生成单元42执行虚拟摄像装置呈现信息生成处理(步骤S161)。注意，虚拟摄像装置呈现信息生成处理的流程如图17所示。

UI单元43确定光标显示是否处于开启状态(步骤S162)。当确定光标显示处于开启状态时(步骤S162：是)，处理进行到步骤S164。另一方面，当确定光标显示不处于开启状态时(步骤S162：否)，处理进行到步骤S163。

当在步骤S162中确定光标显示处于开启状态时，UI单元43生成光标90的图像(步骤S164)。此后，处理进行到步骤S163。

另一方面，当在步骤S162中确定光标显示不处于开启状态时，或者在执行步骤S164之后，UI单元43确定交流模式是否处于开启状态(步骤S163)。当确定交流模式处于开启状态时(步骤S163：是)，处理进行到步骤S166。另一方面，当确定交流模式不处于开启状态时(步骤S163：否)，处理进行到步骤S165。

当在步骤S163中确定交流模式处于开启状态时，虚拟摄像装置呈现信息生成单元42执行交流图像/语音生成处理(步骤S166)。此后，处理进行到步骤S165。注意，图像/语音生成处理的细节在图40中示出。

另一方面，当在步骤S163中确定交流模式不处于开启状态时，或者在执行步骤S166之后，虚拟摄像装置呈现信息生成单元42将交流图像/语音和光标90的图像叠加在虚拟摄像装置图像/语音上(步骤S165)。

接下来，虚拟摄像装置呈现信息生成单元42将虚拟摄像装置呈现信息20(或者虚拟摄像装置组呈现信息200)输出到工作室内图像显示单元44和语音输出单元45(步骤S167)。然后，虚拟摄像装置呈现信息生成单元42结束图39中的处理。

接下来，将参照图40描述在步骤S166中执行的图像/语音生成处理的细节。

虚拟摄像装置呈现信息生成单元42获取与交流目标的虚拟摄像装置编号对应的虚拟摄像装置呈现信息20(或者虚拟摄像装置组呈现信息200)(步骤S171)。

虚拟摄像装置呈现信息生成单元42根据图像框信息、视频帧数据、音频帧数据以及消息生成交流图像/语音(步骤S172)。此后，该处理返回到主例程(图39)。

[3-6.第三实施方式的效果]

如上所述，在根据第三实施方式的图像处理设备12c(信息处理设备)中，关于虚拟视点的信息是关于在观看装置53b上观看所渲染的图像的多个观看用户中的每个观看用户的视点的信息。

作为结果，可以将与每个视点位置对应的图像分发给多个观看用户。

此外，在根据第三实施方式的图像处理设备12c(信息处理设备)中，工作室内图像显示单元44(呈现单元)将关于多个虚拟视点的信息布置在分割的图像框21中，以将该信息呈现给被摄体22。

作为结果，被摄体22能够掌握从特定方向观看的观看用户的大致数量。

此外，第三实施方式的图像处理设备12c(信息处理设备)还包括UI单元43(选择单元)，其获取被摄体22的操作信息并选择被放置在虚拟视点处的观看装置53b(虚拟摄像装置)。被摄体22与由UI单元43选择的观看装置53b的操作者交流。

作为结果，被摄体22可以与任意观看用户交流。

注意，本说明书中描述的效果仅仅是示例而不是限制，并且可以提供其他效果。此外，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。

例如，本公开内容还可以具有以下配置。

(1)一种信息处理设备，包括：

第一获取单元，其被配置成获取由布置在被摄体周围的多个第一成像装置分别捕获的多个真实图像；

生成单元，其被配置成根据所述多个真实图像生成所述被摄体的3D模型；以及

呈现单元，其被配置成向所述被摄体呈现关于在将所述3D模型渲染为与观看装置对应的形式的图像时的虚拟视点的信息。

(2)

根据(1)所述的信息处理设备，还包括：

第二获取单元，其被配置成获取关于所述虚拟视点的信息。

(3)

根据(2)所述的信息处理设备，还包括：

叠加单元，其被配置成：将所述3D模型渲染为与观看装置对应的形式的图像，并叠加在由位于与所述被摄体不同的地方的第二成像装置捕获的图像上，其中，

所述第二获取单元将所述第二成像装置视为放置在虚拟视点处的虚拟摄像装置，并从所述第二成像装置获取关于所述虚拟视点的信息。

(4)

根据(1)至(3)中任一项所述的信息处理设备，其中，

关于所述虚拟视点的信息是关于多个观看用户中的每个观看用户利用观看装置观看所渲染的图像时的视点的信息。

(5)

根据(1)至(4)中任一项所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现所述虚拟视点的位置。

(6)

根据(1)至(5)中任一项所述的信息处理设备，其中，

所述呈现单元在所述虚拟视点的位置处呈现指示在所述位置处存在虚拟视点的信息。

(7)

根据(1)至(6)中任一项所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现指示存在所述虚拟视点的位置的信息。

(8)

根据(1)至(7)中任一项所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现所述虚拟视点与所述被摄体之间的距离。

(9)

根据(1)至(8)中任一项所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现从所述虚拟视点的观察方向。

(10)

根据(1)至(9)中任一项所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现所述虚拟视点的移动方向。

(11)

根据(1)至(10)中任一项所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现被放置在所述虚拟视点处的虚拟摄像装置的操作状态。

(12)

根据(1)至(11)中任一项所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现控制所述虚拟视点的操作者的消息。

(13)

根据(1)至(12)中任一项所述的信息处理设备，其中，

所述呈现单元在多个虚拟视点的位置彼此接近时组合关于所述多个虚拟视点的信息并呈现给所述被摄体。

(14)

根据(13)所述的信息处理设备，其中，

所述呈现单元将关于所述多个虚拟视点的信息布置在分割的图像框中，以呈现给所述被摄体。

(15)

根据(1)至(14)中任一项所述的信息处理设备，还包括：

选择单元，其被配置成获取所述被摄体的操作信息，以选择被放置在虚拟视点处的虚拟摄像装置，其中，

所述被摄体与由所述选择单元选择的虚拟摄像装置的操作者进行交流。

(16)

一种程序，所述程序使计算机用作：

第一获取单元，其获取由布置在被摄体周围的多个第一成像装置分别捕获的多个真实图像；

生成单元，其根据所述多个真实图像生成所述被摄体的3D模型；以及

呈现单元，其向所述被摄体呈现关于在将所述3D模型渲染为与观看装置对应的形式的图像时的虚拟视点的信息。

附图标记列表

10a、10b、10c图像处理系统、12a、12b、12c图像处理设备(信息处理设备)、13、13a、13b、13c成像及显示装置、14a体积工作室、14b 2D摄影工作室、15内壁表面、16、16a、16b、16c摄像装置(第一成像装置)、17显示面板、18透射式屏幕、19反射式屏幕、20虚拟摄像装置呈现信息(关于虚拟视点的信息)、21图像框、22被摄体、22M 3D模型、24体积图像、26a、26b背景图像、28、29投影仪、30摄像装置图标、31指示灯、32摄像者图标、33摄影装置名称、34摄像装置位置显示图标、35摄影操作信息、36摄影操作、37消息信息、38粒子、41虚拟摄像装置信息生成单元(第二获取单元)、43UI单元(选择单元)、44工作室内图像显示单元(呈现单元)、46体积图像拍摄单元(第一获取单元)、47体积图像生成单元(生成单元)、51体积图像和CG叠加/音频MUX单元、53a、53b观看装置、60真实摄像装置(第二成像装置)、62虚拟摄像装置信息获取单元(第二获取单元)、74摄影操作选择按钮、75摄影操作选择窗口、76摄影操作开始按钮、77消息选择按钮、78消息选择窗口、79信息传送按钮、80移动终端、90光标、200虚拟摄像装置组呈现信息、F虚拟摄像装置信息、Fa虚拟摄像装置位置信息、Fb摄影操作信息、Fc操作者图像、Fd操作者语音、Fe操作者消息、Ff摄像装置信息、I真实摄像装置图像、J2D真实图像、M网格信息、Ta、Tb纹理信息、U观看用户。

Claims (16)

1.一种信息处理设备，包括：

第一获取单元，其被配置成获取由布置在被摄体周围的多个第一成像装置分别捕获的多个真实图像；

生成单元，其被配置成根据所述多个真实图像生成所述被摄体的3D模型；以及

呈现单元，其被配置成向所述被摄体呈现关于在将所述3D模型渲染为与观看装置对应的形式的图像时的虚拟视点的信息。

2.根据权利要求1所述的信息处理设备，还包括：

第二获取单元，其被配置成获取关于所述虚拟视点的信息。

3.根据权利要求2所述的信息处理设备，还包括：

叠加单元，其被配置成：将所述3D模型渲染为与观看装置对应的形式的图像，并叠加在由位于与所述被摄体不同的地方的第二成像装置捕获的图像上，其中，

所述第二获取单元将所述第二成像装置视为放置在虚拟视点处的虚拟摄像装置，并从所述第二成像装置获取关于所述虚拟视点的信息。

4.根据权利要求1所述的信息处理设备，其中，

关于所述虚拟视点的信息是关于多个观看用户中的每个观看用户利用观看装置观看所渲染的图像时的视点的信息。

5.根据权利要求1所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现所述虚拟视点的位置。

6.根据权利要求5所述的信息处理设备，其中，

所述呈现单元在所述虚拟视点的位置处呈现指示在所述位置处存在虚拟视点的信息。

7.根据权利要求5所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现指示存在所述虚拟视点的位置的信息。

8.根据权利要求1所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现所述虚拟视点与所述被摄体之间的距离。

9.根据权利要求1所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现从所述虚拟视点的观察方向。

10.根据权利要求1所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现所述虚拟视点的移动方向。

11.根据权利要求1所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现被放置在所述虚拟视点处的虚拟摄像装置的操作状态。

12.根据权利要求1所述的信息处理设备，其中，

所述呈现单元向所述被摄体呈现控制所述虚拟视点的操作者的消息。

13.根据权利要求1所述的信息处理设备，其中，

所述呈现单元在多个虚拟视点的位置彼此接近时组合关于所述多个虚拟视点的信息并呈现给所述被摄体。

14.根据权利要求13所述的信息处理设备，其中，

所述呈现单元将关于所述多个虚拟视点的信息布置在分割的图像框中，以呈现给所述被摄体。

15.根据权利要求1所述的信息处理设备，还包括：

选择单元，其被配置成获取所述被摄体的操作信息，以选择被放置在虚拟视点处的虚拟摄像装置，其中，

所述被摄体与由所述选择单元选择的虚拟摄像装置的操作者进行交流。

16.一种程序，所述程序使计算机用作：

第一获取单元，其获取由布置在被摄体周围的多个第一成像装置分别捕获的多个真实图像；

生成单元，其根据所述多个真实图像生成所述被摄体的3D模型；以及

呈现单元，其向所述被摄体呈现关于在将所述3D模型渲染为与观看装置对应的形式的图像时的虚拟视点的信息。