CN118216136A - 信息处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明设想了在显示装置和具有成像功能的终端装置彼此相关联的状态下，由终端装置对对象以及显示在显示装置上的图像进行成像的情况。在这种情况下，信息处理装置被配置成包括图像处理单元，该图像处理单元基于显示装置和终端装置的相对位置信息渲染3D模型，以生成要在显示装置上显示的图像。

Description

信息处理装置、图像处理方法和程序

技术领域

本技术涉及实现为信息处理装置、视频处理方法和程序的视频处理技术。

背景技术

作为用于制作诸如电影的视频内容的成像方法，已知如下技术：表演者以所谓的绿幕为背景进行表演，然后合成背景视频。

此外，近年来，开发了成像系统来代替绿幕成像，在该成像系统中，在显示装置上显示背景视频，并且表演者在设置有大型显示装置的工作室中在背景视频前进行表演，从而实现表演者和背景的成像，这样的成像系统被称为所谓的虚拟制作、镜头内VFX或LED墙虚拟制作。

下面的专利文献1公开了对在背景视频前进行表演的表演者进行成像的系统的技术。

引用列表

专利文献

专利文献1：美国专利申请公开第2020/0145644号

发明内容

本发明要解决的问题

在大型显示装置上显示背景视频，然后用摄像装置捕获表演者和背景视频，使得不需要准备要单独合成的背景视频，并且表演者和工作人员可以可视地了解场景，并且确定表演以及表演的好坏等，这比绿幕成像更有优势。

然而，这样的成像系统需要使用专门的工作室布景，并且一般用户难以容易地使用虚拟制作技术。例如，还没有实现在家中仅使用装置来执行虚拟制作。

因此，本公开内容提出了能够更容易地执行虚拟制作的技术。

问题的解决方案

根据本技术的信息处理装置包括视频处理单元，该视频处理单元被配置成在显示装置和具有成像功能的终端装置彼此相关联的状态下，在终端装置捕获对象的图像以及显示在显示装置上的视频的情况下，基于显示装置与终端装置之间的相对位置信息渲染3D模型，以生成要在显示装置上显示的视频。

显示装置与终端装置之间的“关联”是指显示装置和终端装置至少作为相对位置检测的目标是成对的。信息处理装置执行至少以下的处理：基于显示装置与终端装置之间的相对位置信息渲染3D模型。

本公开内容的信息处理装置可以被视为终端装置中设置的处理器，或者终端装置本身包括这样的处理器。替选地，本公开内容的信息处理装置可以被视为显示装置中设置的处理器，或者显示装置本身包括这样的处理器。此外，本公开内容的信息处理装置可以被视为在独立于显示装置和终端装置的装置(例如云服务器等)中设置的处理器，或者该装置本身包括这样的处理器。

附图说明

图1是示出用于虚拟制作的成像系统的说明图。

图2是示出虚拟制作中根据摄像装置位置的背景视频的说明图。

图3是示出虚拟制作中根据摄像装置位置的背景视频的说明图。

图4是示出视频内容制作步骤的说明图。

图5是示出用于虚拟制作的成像系统的框图。

图6是示出成像系统的背景视频生成的流程图。

图7是示出使用多个摄像装置进行虚拟制作的成像系统的框图。

图8是示出根据实施方式的信息处理装置的框图。

图9是示出根据实施方式的虚拟制作的说明图。

图10是示出根据实施方式的相对位置检测的说明图。

图11是示出根据实施方式的在终端装置中显示捕获视频的说明图。

图12是示出根据第一实施方式的系统配置的框图。

图13是示出根据第二实施方式的系统配置的框图。

图14是示出根据第三实施方式的系统配置的框图。

图15是示出根据第四实施方式的系统配置的框图。

图16是示出根据第五实施方式的系统配置的框图。

图17是示出根据第六实施方式的系统配置的框图。

图18是示出根据第一至第六实施方式的整体处理的流程图。

图19是示出根据第一实施方式的功能配置的框图。

图20是示出根据第一实施方式的处理示例的流程图。

图21是示出根据第二实施方式的功能配置的框图。

图22是示出根据第二实施方式的处理示例的流程图。

图23是示出根据第三实施方式的功能配置的框图。

图24是示出根据第三实施方式的处理示例的流程图。

图25是示出根据第四实施方式的功能配置的框图。

图26是示出根据第四实施方式的处理示例的流程图。

图27是示出根据第五实施方式的功能配置的框图。

图28是示出根据第五实施方式的处理示例的流程图。

图29是示出根据第六实施方式的功能配置的框图。

图30是示出根据第六实施方式的处理示例的流程图。

图31是示出根据第七实施方式的区域的说明图。

图32是示出根据第七实施方式的层配置的说明图。

图33是示出根据第七实施方式的附加虚拟视频的说明图。

图34是示出根据第七实施方式的附加虚拟视频的说明图。

图35是示出根据第七实施方式的附加虚拟视频的说明图。

图36是示出根据第七实施方式的整体处理的流程图。

图37是示出根据第七实施方式的功能配置的框图。

图38是示出根据第七实施方式的处理的流程图。

图39是根据另一个实施方式的说明图。

具体实施方式

在下文中，将按照以下顺序描述实施方式。

<1.成像系统和视频内容制作>

<2.信息处理装置的配置>

<3.根据实施方式的虚拟制作>

<4.第一实施方式：终端装置和显示装置的示例>

<5.第二实施方式：终端装置和显示装置的示例>

<6.第三实施方式：使用云服务器的示例>

<7.第四实施方式：使用云服务器的示例>

<8.第五实施方式：使用云服务器的示例>

<9.第六实施方式：使用云服务器的示例>

<10.第七实施方式：虚拟视频添加技术的应用>

<11.结论和修改例>

注意，在本公开内容中，“视频”或“图像”包括静止图像和运动图像两者。此外，“视频”不仅指示显示在显示器上的视频数据，而且还指示未显示在显示器上的视频数据。

在下文中，将描述本公开内容中的虚拟制作。首先，将描述使用相对大型工作室布景的示例。作为后面将要描述的实施方式，本技术是以下示例：在下文中要描述的工作室布景中实现的用于虚拟制作的成像被在家中等容易地实现。

<1.成像系统和视频内容制作>

首先，作为虚拟制作，将描述使用工作室布景的成像系统和视频内容制作。

图1示意性地示出了成像系统500。成像系统500是为虚拟制作执行成像的系统，图中示出了设置在成像工作室中的设备的一部分。

在成像工作室中，设置有表演者510进行表演(如表演)的表演区域501。在表演区域501的至少背面、左右两侧表面和上表面上设置有大型显示装置。虽然显示装置的装置类型不受限制，但是本图示出了如下示例：使用LED墙505作为大型显示装置的示例。

通过竖直和水平地连接并且设置多个LED面板506，一个LED墙505形成大面板。LED墙505的尺寸没有特别限制，只需是在表演者510被成像时显示背景所必需或足够的尺寸即可。

在表演区域501的诸如上方或侧面的必要位置处设置必要数量的灯580，以照亮表演区域501。

例如，在表演区域501的附近，设置用于捕获诸如电影的视频内容的摄像装置502。摄像装置操作者512可以移动摄像装置502的位置，并且可以执行针对成像方向、视角等的操作。当然，还可以设想通过远程操作来执行摄像装置502的移动、视角操作等。此外，摄像装置502还可以自动或自主地移动或改变视角。因此，摄像装置502可以安装在摄像装置平台或移动体上。

摄像装置502可以一起捕获表演区域501中的表演者510和LED墙505上显示的视频。例如，通过在LED墙505上显示作为背景视频vB的场景，可以捕获与表演者510在该场景的地点处实际存在并且进行表演的情况类似的视频。

输出监视器503设置在表演区域501附近。由摄像装置502捕获的视频作为监视器视频vM实时显示在输出监视器503上。因此，导演和制作视频内容的工作人员可以确认捕获的视频。

如上所述，在成像工作室中的LED墙505的背景下对表演者510的表演进行成像的成像系统500与绿幕成像相比具有各种优势。

例如，在绿幕成像的情况下，表演者难以想象背景和场景的情况，这可能会影响表演。另一方面，通过显示背景视频vB，表演者510可以容易地进行表演，并且提高表演质量。此外，导演和其他工作人员容易确定表演者510的表演是否与背景或场景的情况相匹配。

此外，与绿幕成像的情况相比，成像后的后期制作更有效率。这是因为可能不需要所谓的色键合成(chroma key synthesis)，或者可能不需要色彩校正或反射合成。此外，即使在成像时需要进行色键合成的情况下，也不需要添加背景画面，这也有助于提高效率。

在绿幕成像的情况下，表演者的身体、衣服和物体上的绿色会增加，因此有必要对其进行校正。此外，在绿幕成像的情况下，在存在周围场景被反射的物体(诸如玻璃、镜子或雪屋)的情况下，需要生成和合成反射的图像，但这是个麻烦的工作。

另一方面，在由图1中的成像系统500成像的情况下，绿色的色调不会增加，因此无需校正。此外，通过显示背景视频vB，自然地获得并捕获诸如玻璃的实际物品上的反射，因此也无需合成反射视频。

在此，将参照图2和图3描述背景视频vB。即使背景视频vB在LED墙505上被显示并且与表演者510一起被捕获，然而仅通过简单地显示背景视频vB，捕获视频的背景也会变得不自然。这是因为三维的并且具有深度的背景实际上是以平面方式用作为背景视频vB的。

例如，摄像装置502可以从不同方向捕获表演区域501中的表演者510，并且还可以执行缩放操作。表演者510也不会停在一个地点。那么，表演者510在背景中的实际外观会根据摄像装置502的位置、成像方向、视角等发生变化，但这种变化无法在作为平面视频的背景视频vB中获得。因此，改变背景视频vB，使得背景与包括视差的实际外观相似。

图2示出了摄像装置502从图的左侧的位置对表演者510进行成像的状态，图3示出了摄像装置502从图的右侧的位置对表演者510进行成像的状态。在每个图中，背景视频vB中都示出了捕获区域视频vBC。

注意，背景视频vB中的不包括捕获区域视频vBC的部分被称为“外视锥体”，而捕获区域视频vBC被称为“内视锥体”。

此处描述的背景视频vB表示作为背景显示的整个视频，包括捕获区域视频vBC(内视锥体)。

捕获区域视频vBC(内视锥体)的范围对应于摄像装置502在LED墙505的显示表面上实际成像的范围。然后，捕获区域视频vBC是在根据摄像装置502的位置、成像方向、视角等将摄像装置502的位置设置为视点时，经过变换以表达实际观看的场景的视频。

具体地，准备作为背景的三维(3D)模型的3D背景数据，并且实时地基于摄像装置502相对于3D背景数据的视点位置顺序地渲染捕获区域视频vBC。

注意，捕获区域视频vBC的范围实际上是比摄像装置502当时成像的范围稍宽的范围。这是为了防止外视锥体的视频由于绘制延迟而被反射，并且为了避免当成像范围因摄像装置502的平移、倾斜、缩放等而发生微小变化时的外视锥体的视频的衍射光的影响。

以这种方式实时渲染的捕获区域视频vBC与外视锥体的视频进行合成。背景视频vB中使用的外视锥体的视频是基于3D背景数据预先渲染的，并且视频作为实时渲染的捕获区域视频vBC被合成到外视锥体的视频的一部分中，以生成整个背景视频vB。

因此，即使当摄像装置502前后或左右移动或者执行缩放操作时，与表演者510一起成像的范围的背景也会被成像作为与伴随摄像装置502的实际移动的视点位置变化对应的视频。

如图2和图3所示，包括表演者510和背景的监视器视频vM被显示在输出监视器503上，并且这就是捕获视频。监视器视频vM的背景是捕获区域视频vBC。也就是说，捕获视频中包括的背景是实时渲染的视频。

如上所述，在本实施方式的成像系统500中，包括捕获区域视频vBC的背景视频vB是实时变化的，因此不仅简单地以平面方式显示背景视频vB，而且还可以捕获类似于对现场进行实际成像的情况下的视频。

注意，通过仅渲染作为由摄像装置502实时反射的范围的捕获区域视频vBC，而不是显示在LED墙505上的整个背景视频vB，系统的处理负荷也会降低。

在此，将描述作为由成像系统500执行成像的视频内容的虚拟制作的制作步骤。如图4所示，视频内容制作步骤大致分为三个阶段。这三个阶段是资产(asset)创建ST1、制作ST2和后期制作ST3。

资产创建ST1是制作用于显示背景视频vB的3D背景数据的步骤。如上所述，背景视频vB是通过在成像时使用3D背景数据执行实时渲染而生成的。为此，作为3D模型的3D背景数据被预先制作。

生成3D背景数据的方法的示例包括全计算机图形(CG)、点云数据扫描和摄影测量(photogrammetry)。

全CG是利用计算机图形制作3D模型的方法。在这三种方法中，该方法所需的工时和时间最多，但是优选地用于希望将不真实的视频、难以实际捕获的视频等作为背景视频vB的情况。

点云数据扫描是基于点云数据生成3D模型的方法，该方法通过使用例如LiDAR从某个位置执行距离测量，用摄像装置从同一位置捕获360度的图像，并且将由摄像装置捕获的颜色数据放置在由LiDAR测量的点上。与全CG相比，可以在短时间内制作3D模型。此外，与摄影测量相比，容易制作清晰度更高的3D模型。

摄影测量是如下的摄影测量技术：其用于分析从多个视点对对象进行成像而获得的二维图像中的视差信息，以获得尺寸和形状。可以在短时间内执行3D模型制作。

注意，由LiDAR获取的点云信息可以用于通过摄影测量进行3D数据生成。

例如，在资产创建ST1中，通过使用这些方法可生成3D背景数据的3D模型。当然，上述方法可以组合使用。例如，由点云数据扫描或摄影测量制作的3D模型的一部分由CG生成并且合成。

制作ST2是在成像工作室中执行成像的步骤，如图1所示。这种情况下的要素技术包括实时渲染、背景显示、摄像装置跟踪、灯光控制等。

实时渲染是指如参照图2和图3所述，在每个时间点(背景视频vB的每一帧)获得捕获区域视频vBC的渲染处理。这是为了从与摄像装置502等在每个时间点的位置对应的视点来渲染在资产创建ST1中制作的3D背景数据。

这样，执行实时渲染，以生成包括捕获区域视频vBC的每个帧的背景视频vB，并且将背景视频vB显示在LED墙505上。

执行摄像装置跟踪，以利用摄像装置502获得成像信息，以及跟踪在每个时间点处摄像装置502的位置信息、成像方向、视角等。通过将包括这些信息在内的成像信息提供给与每个帧相关联的渲染引擎，可以根据摄像装置502的视点位置等执行实时渲染。

成像信息是作为元数据与视频链接或相关联的信息。

假设成像信息包括摄像装置502在每个帧定时处的位置信息、摄像装置的方向、视角、焦距、F数(光圈值)、快门速度和镜头信息。

照明控制是对成像系统500中的照明状态进行控制，并且具体地，是对光580的光量、发光颜色、照明方向等进行控制。例如，根据待成像场景的时间设置、地点设置等执行照明控制。

后期制作ST3指成像后执行的各种处理。例如，执行视频校正、视频调整、剪辑编辑、视频效果等。

作为视频校正，可以执行色域转换、摄像装置与素材之间的色彩匹配等。

作为视频调整，可以执行色彩调整、亮度调整、对比度调整等。

作为剪辑编辑，可以执行剪切片段、调整顺序、调整时间长度等。

作为视频效果，可以执行CG视频或特效视频等的合成。

接下来，将描述用于制作ST2的成像系统500的配置。

图5是示出成像系统500配置的框图，成像系统500的概要已参照图1、图2和图3进行了描述。

图5所示的成像系统500包括上述LED墙505(包括多个LED面板506)、摄像装置502、输出监视器503和光源580。如图5所示，成像系统500还包括渲染引擎520、资产服务器530、同步发生器540、操作监视器550、摄像装置跟踪器560、LED处理器570、照明控制器581和显示控制器590。

LED处理器570分别与LED面板506对应地设置，并且执行对应LED面板506的视频显示驱动。

同步发生器540生成同步信号，该同步信号用于使每个LED面板506的显示视频的帧定时与摄像装置502的成像的帧定时同步，并且将同步信号提供给各个LED处理器570和摄像装置502。然而，这并不妨碍将同步发生器540的输出提供给渲染引擎520。

摄像装置跟踪器560在每个帧定时处从摄像装置502生成成像信息，并且将成像信息提供给渲染引擎520。例如，摄像装置跟踪器560检测摄像装置502相对于LED墙505的位置或预定参考位置的位置信息以及作为成像信息之一的摄像装置502的成像方向，并且将这些信息提供给渲染引擎520。

作为摄像装置跟踪器560的具体检测方法，存在如下方法：在天花板上随机设置反射器，并且通过从摄像装置502侧发射到反射器的红外光的反射光来检测位置。此外，作为检测方法，还存在如下方法：利用安装在摄像装置502的平台或摄像装置502的本体上的陀螺仪的信息，或者通过对摄像装置502的捕获视频进行图像识别来估计摄像装置502自身位置。

此外，视角、焦距、F数、快门速度、镜头信息等可以作为成像信息从摄像装置502提供给渲染引擎520。

资产服务器530是服务器，该服务器可以将资产创建ST1中制作的3D模型(即3D背景数据)存储在记录介质上，并且在必要时读取3D模型。也就是说，资产服务器530充当3D背景数据数据库(DB)。

渲染引擎520执行生成要在LED墙505上显示的背景视频vB的处理。为此，渲染引擎520从资产服务器530读取必要的3D背景数据。然后，渲染引擎520生成背景视频vB中使用的外视锥体的视频，该视频是通过以从预先指定的空间坐标观看的形式渲染3D背景数据而获得的。

此外，作为对每一帧的处理，渲染引擎520通过使用从摄像装置跟踪器560或摄像装置502提供的成像信息来指定相对于3D背景数据的视点位置等，并且渲染捕获区域视频vBC(内视锥体)。

此外，渲染引擎520将针对每帧渲染的捕获区域视频vBC与预先生成的外视锥体进行合成，以生成背景视频vB作为一帧的视频数据。然后，渲染引擎520将生成的一帧的视频数据发送给显示控制器590。

显示控制器590生成通过将一帧的视频数据分割成视频部分而获得的在各LED面板506上显示的分割视频信号nD，并且将分割视频信号nD发送到各LED面板506。此时，显示控制器590可以根据显示单元之间的显色的个体差异、制造误差等执行校准。

注意，可以不设置显示控制器590，并且渲染引擎520可以执行这些处理。也就是说，渲染引擎520可以生成分割视频信号nD，执行校准，并且将分割视频信号nD发送到各个LED面板506。

LED处理器570基于分别接收到的分割视频信号nD驱动各个LED面板506，从而在LED墙505上显示整个背景视频vB。背景视频vB包括根据在该时间点处摄像装置502的位置等而渲染的捕获区域视频vBC。

摄像装置502可以以这种方式对表演者510的表演(包括LED墙505上显示的背景视频vB)进行成像。通过用摄像装置502成像获得的视频被记录在摄像装置502或外部记录装置(未示出)中的记录介质上，并且被实时提供给输出监视器503并且作为监视器视频vM进行显示。

操作监视器550显示用于控制渲染引擎520的操作图像vOP。工程师511可以在查看操作图像vOP的同时执行渲染背景视频vB所必需的设置和操作。

照明控制器581控制光580的发射强度、发射颜色、照射方向等。例如，照明控制器581可以与渲染引擎520异步地控制光580，或者可以与成像信息和渲染处理同步地执行控制。因此，照明控制器581可以根据来自渲染引擎520、主控制器(未示出)等的指令执行光发射控制。

图6示出了具有这样的配置的成像系统500中的渲染引擎520的处理示例。

在步骤S10中，渲染引擎520从资产服务器530读取本次要使用的3D背景数据，并且将3D背景数据部署到内部工作区。

然后，生成用作外视锥体的视频。

此后，渲染引擎520在背景视频vB的每个帧定时处重复从步骤S30到步骤S60的处理，直到在步骤S20中确定结束基于读取的3D背景数据显示背景视频vB。

在步骤S30中，渲染引擎520从摄像装置跟踪器560和摄像装置502获取成像信息。从而确认当前帧中要反映的摄像装置502的位置和状态。

在步骤S40中，渲染引擎520基于成像信息执行渲染。也就是说，基于摄像装置502的位置、成像方向、视角等，指定相对于3D背景数据的视点位置，以反映在当前帧中，并且执行渲染。此时，还可以执行反映焦距、F值、快门速度、镜头信息等的视频处理。通过这样的渲染，可以获得作为捕获区域视频vBC的视频数据。

在步骤S50中，渲染引擎520执行对作为整个背景视频的外视锥体以及反映摄像装置502视点位置的视频(即捕获区域视频vBC)进行合成的处理。例如，该处理是将通过反映摄像装置502的视点而生成的视频与在特定参考视点处渲染的整个背景视频进行合成。这样，就生成了LED墙505上显示的一帧的背景视频vB，即包括捕获区域视频vBC的背景视频vB。

步骤S60中的处理由渲染引擎520或显示控制器590执行。在步骤S60中，渲染引擎520或显示控制器590生成分割视频信号nD，通过将一帧的背景视频vB分割成要在各个LED面板506上显示的视频而获得该分割视频信号nD。可以执行校准。然后，分割视频信号nD被分别发送到LED处理器570。

在上述处理中，包括由摄像装置502捕获的捕获区域视频vBC的背景视频vB在每个帧定时处被显示在LED墙505上。

顺便提及，图5中仅示出了一个摄像装置502，但是成像可以由多个摄像装置502执行。图7示出了使用多个摄像装置502a和502b的情况下的配置示例。摄像装置502a和502b可以在表演区域501中独立执行成像。此外，摄像装置502a和502b与LED处理器570之间的同步由同步发生器540保持。

分别对应于摄像装置502a和502b而设置输出监视器503a和503b，并且输出监视器503a和503b被配置成将由对应的摄像装置502a和502b捕获的视频分别显示为监视器视频vMa和vMb。

此外，设置了分别对应于摄像装置502a和502b的摄像装置跟踪器560a和560b，并且摄像装置跟踪器560a和560b检测对应的摄像装置502a和502b中的每一个的位置和成像方向。来自摄像装置502a和摄像装置跟踪器560a的成像信息以及来自摄像装置502b和摄像装置跟踪器560b的成像信息被发送到渲染引擎520。

渲染引擎520可以通过使用摄像装置502a侧或摄像装置502b侧的成像信息执行渲染，以获得每帧的背景视频vB。

注意，虽然图7示出了使用两个摄像装置502a和502b的示例，但是也可以通过使用三个或更多摄像装置502来执行成像。

然而，在使用多个摄像装置502的情况下，存在着与每个摄像装置502对应的捕获区域视频vBC相互干扰的情况。例如，在图7所示的使用两个摄像装置502a和502b的示例中，示出了与摄像装置502a对应的捕获区域视频vBC，但是在使用摄像装置502b的视频的情况下，也需要与摄像装置502b对应的捕获区域视频vBC。当简单地显示与摄像装置502a和502b中的每一个对应的捕获区域视频vBC时，捕获区域视频vBC会相互干扰。因此，有必要对捕获区域视频vBC的显示进行设计。

<2.信息处理装置的配置>

接下来，将参照图8描述可以用于资产创建ST1、制作ST2和后期制作ST3的信息处理装置70的配置示例以及后面将要描述的实施方式。

信息处理装置70是能够执行信息处理(特别是视频处理)的装置，例如计算机装置。具体地，个人计算机(PC)、工作站、诸如智能手机或平板计算机的便携式终端装置、视频编辑装置等均可以被假设为信息处理装置70。此外，信息处理装置70可以是被配置为云计算中的服务器装置或运算装置的计算机装置。

具体地，信息处理装置70可以充当在资产创建ST1中制作3D模型的3D模型制作装置。

此外，信息处理装置70可以充当构成用于制作ST2的成像系统500的渲染引擎520。此外，信息处理装置70还可以充当资产服务器530。

此外，信息处理装置70还可以充当在后期制作ST3中执行各种类型的视频处理的视频编辑装置。

此外，在本实施方式中，虚拟制作是简单的硬件配置实现的，该硬件配置使用将在后面描述的终端装置1、显示装置2、云服务器4等。图8中的信息处理装置70可以充当本实施方式的终端装置1、显示装置2、云服务器4等。换言之，图8也可以称为终端装置1、显示装置2和云服务器4的硬件配置。

图8所示的信息处理装置70的CPU 71根据存储在非易失性存储单元74(如ROM 72或者例如电可擦除可编程只读存储器(EEP-ROM))中的程序或者从存储单元79加载到RAM73中的程序，执行各种类型的处理。RAM 73还适当地存储CPU 71执行各种类型的处理所需的数据等。

视频处理单元85被配置作为执行各种类型的视频处理的处理器。例如，处理器可以执行与视频有关的任何处理或者多种类型的处理，如3D模型生成处理、渲染、DB处理、视频编辑处理以及通过图像分析进行的图像识别处理。

视频处理单元85可以由例如与CPU 71分离的CPU、图形处理单元(GPU)、图形处理单元上的通用计算(GPGPU)、人工智能(AI)处理器等来实现。

注意，视频处理单元85可以被作为CPU 71中的一个功能而提供。

CPU 71、ROM 72、RAM 73、非易失性存储器单元74和视频处理单元85经由总线83相互连接。输入/输出接口75也连接至总线83。

配置有操作元件和操作装置的输入单元76连接至输入/输出接口75。例如，作为输入单元76，假设有各种类型的操作元件和操作装置，如键盘、鼠标、按键、拨盘、触摸屏、触摸板、遥控器等。

由输入单元76检测用户操作，并且由CPU 71解析与输入操作对应的信号。

作为输入单元76，还假设有麦克风。用户发出的语音也可以作为操作信息输入。

此外，包括液晶显示器(LCD)或有机电致发光(EL)面板在内的显示单元77和包括扬声器在内的音频输出单元78整体或单独地连接至输入/输出接口75。

显示单元77是执行各种类型的显示的显示单元，并且包括例如信息处理装置70的外壳中的显示装置、以及连接至信息处理装置70的独立显示装置。

显示单元77根据来自CPU 71的指令在显示屏幕上显示各种图像、操作菜单、图标、消息等，即作为图形用户界面(GUI)执行显示。

在一些情况下，包括硬盘驱动器(HDD)和固态存储器的存储单元79或通信单元80连接至输入/输出接口75。

存储单元79可以存储各种数据和程序。存储单元79中还可以配置DB。

例如，在信息处理装置70充当资产服务器530的情况下，可以通过使用存储单元79构建存储3D背景数据组的DB。

通信单元80执行经由诸如互联网的传输路径的通信处理，与诸如外部DB、编辑装置和信息处理装置的各种装置的有线/无线通信，总线通信等。

例如，在信息处理装置70充当渲染引擎520的情况下，通信单元80可以访问作为资产服务器530的DB，并且接收来自摄像装置502或摄像装置跟踪器560的成像信息。

此外，在信息处理装置70用于后期制作ST3的情况下，通信单元80可以作为资产服务器530访问DB。

驱动器81还根据需要连接至输入/输出接口75，并且适当安装了诸如磁盘、光盘、磁光盘和半导体存储器的可移动记录介质82。

驱动器81可以从可移动记录介质82中读取视频数据、各种计算机程序等。读取的数据存储在存储单元79中，并且数据中包括的视频和音频由显示单元77和音频输出单元78输出。此外，从可移动记录介质82中读取的计算机程序等根据需要安装到存储单元79中。

信息处理装置70可以根据需要包括各种传感器作为传感器单元86。传感器单元86综合地指示各种传感器。

CPU 71和视频处理单元85可以基于来自传感器单元86的信息执行对应的处理。

传感器单元86中的传感器的具体示例包括距离测量传感器(如飞行时间(ToF)传感器)、距离测量/方向传感器(如LiDAR)、位置信息传感器、照度传感器、红外传感器和触摸传感器。

此外，安装惯性测量单元(IMU)作为传感器单元86，例如，能够通过俯仰、偏航和横滚这三个轴的角速度(陀螺仪)传感器来检测角速度。

信息处理装置70可以包括摄像装置单元87。例如，这是将信息处理装置70实现为终端装置1的情况，终端装置1具有成像功能，这将在后面描述。

摄像装置单元87包括图像传感器和用于图像传感器的信号光电转换的处理电路。由摄像装置单元87捕获作为运动图像或静止图像的视频。

捕获视频由视频处理单元85和CPU 71进行视频处理，存储在存储单元79中，显示在显示单元77上，或者由通信单元80发送到其他装置。

关于由摄像装置单元87捕获的视频中的被摄体，由传感器单元86的距离测量传感器获得的距离信息是被摄体的深度信息。例如，CPU 71和视频处理单元85可以基于距离测量传感器的检测值来生成与捕获视频的每一帧对应的深度图，并且可以从图像中检测出在对象检测处理中检测到的特定被摄体的深度信息。

例如，在信息处理装置70中，可以经由通信单元80或可移动记录介质82的网络通信安装用于本实施方式的处理的软件。替选地，可以将软件预先存储在ROM 72、存储单元79等中。

<3.根据实施方式的虚拟制作>

在下文中，将描述根据实施方式的虚拟制作。

不能说普通用户可以容易地使用作为上述大型工作室布景的成像系统500来执行虚拟制作。因此，在本实施方式中，提出了使得使用虚拟制作技术的视频制作即使在家中等也能被容易地执行的技术。

图9示出了终端装置1、显示装置2和作为捕获目标而存在的对象10(人、动物、物品等)的示例。

在本示例中，假设终端装置1是例如智能手机、平板终端、膝上型计算机等，并且具有捕获视频的功能。特别地，终端装置1优选地是用户可以携带的小型装置，但也可以是不适合携带的台式机等的装置。

显示装置2至少具有显示视频的功能，并且假设为例如家用电视接收器、视频监视器装置等。

例如，用户使用自己的智能手机作为终端装置1，将家中的电视接收器作为显示装置2，并且执行用于虚拟制作的成像。

在这种情况下，例如，显示装置2由终端装置1识别。例如，通过终端装置1捕获的视频识别显示装置2。因此，终端装置1将显示装置2识别为相对位置检测的目标。具体地，例如，只需将包括AR标记3的电视接收器等识别为显示装置2即可。替选地，终端装置1和显示装置2可以通过近场通信等执行配对。此外，终端装置1可以被显示装置2侧识别为相对位置检测的目标。在任何情况下，终端装置1或显示装置2中的至少一者都会将配对识别为相对位置检测的目标。

在这种状态下，通过使用3D背景模型进行渲染而生成的背景视频vB被显示在显示装置2上。然后，用户用终端装置1捕获显示在显示装置2上的背景视频vB和背景视频vB前方的真实对象10。

此时，在基于终端装置1相对于显示装置2的相对位置来渲染背景视频vB时，可以根据视差来生成背景视频vB，由于与终端装置1的位置(作为视点)的位置关系和方向而造成该视差。也就是说，可以在显示装置2上显示相当于上述内视锥体的背景视频vB。

因此，诸如智能手机的终端装置1和诸如电视接收器的显示装置2可以执行相当于上述图1中的成像系统500的成像。

在执行这种成像的情况下，有以下要求。

·终端装置1与显示装置2之间的相对位置的检测

·基于相对位置渲染背景视频vB

·通过使用终端装置1的成像功能，对包括背景视频vB和对象10的内容进行成像。

在上文参照图1至图7所述的成像系统500中，通过对不同的装置执行这些要求并且使这些装置相互配合，实现了用于虚拟制作的成像。

在本实施方式中，这些功能由终端装置1或显示装置2实现。替选地，可以使用后面描述的云服务器4。

因此，用户可以通过在家中等处执行虚拟制作成像，容易地创建有吸引力的运动图像。例如，可以创建以下项目的有吸引力的运动图像：作为爱好创建的项目、宠物、被摄人物的动作等。

将描述终端装置1与显示装置2之间的相对位置的检测。

为了显示反映成像方向和视差的背景视频vB，有必要在终端装置1执行成像时的每个帧定时处检测终端装置1与显示装置2之间的相对位置。注意，在简单的方式中，可以在间歇帧的每个定时处执行相对位置检测，但是为了设置视差被更精确地反映的背景视频vB，优选的是由终端装置1在捕获视频vC的所有帧的每个定时处执行相对位置检测。

对于相对位置检测，如图10A所示，考虑在显示装置2上安装AR标记3的示例。当终端装置1使用成像功能捕获视频时，终端装置1可以通过识别视频中的AR标记3来检测相对于显示装置2的相对位置。

只能在终端装置1对包括AR标记3的范围进行成像的情况下使用AR标记3。因此，考虑到AR标记3的出帧问题(frame-out)，优选地结合使用诸如同步定位和建图(SLAM)的技术。例如，通过LiDAR等感测周围环境，并且基于环境信息通过SLAM执行自身位置估计。

此外，终端装置1还可以基于捕获视频和IMU的检测数据自己执行自身位置估计。

基于自身位置估计，可以执行相对于显示装置2的相对位置检测。

注意，尽管上文描述了由终端装置1执行相对位置检测的示例，但是相对于终端装置1的相对位置检测也可以由显示装置2执行。例如，AR标记设置在终端装置1侧，显示装置2包括摄像装置单元87，因此可以以类似的方式执行相对位置检测。

此外，在实际应用中，由于假设显示装置2是家用的电视接收器等，因此还要检测显示装置2的尺寸，更准确地说，是显示表面的尺寸。通过显示尺寸检测获得显示尺寸信息。

作为检测显示装置2的尺寸的方法，可以设想用户激活终端装置1上的应用程序并且手动输入实际数值。例如，用户实际测量并且输入显示装置2的竖直和水平长度。

替选地，可以设想用户输入作为显示装置2的电视接收器等的产品名称、型号等，并且应用程序访问数据库(DB)，以自动执行尺寸检索。

终端装置1还可以自动检测显示装置2的尺寸。例如，可以基于由距离测量传感器获得的捕获视频的距离信息，从深度图中指定显示装置2的范围。这样，就可以检测到显示装置2的大小。

此外，更准确地说，我们希望检测的是图10B中阴影部分的屏幕2a的尺寸，而不是显示装置2的外壳尺寸。因此，在检测尺寸时，还可以设想从终端装置1向显示装置2发送特定颜色的视频，以显示该视频，检测捕获视频中的颜色的范围，并且计算实际尺寸。

如上所述，执行显示装置2的尺寸检测以及终端装置1与显示装置2之间的相对位置检测，并且在显示装置2上显示基于相对位置信息渲染的背景视频vB。然后，终端装置1对包括所显示的背景视频vB的对象10进行成像。

例如，终端装置1在屏幕1a上显示捕获视频vC，如图11A所示。捕获视频vC是包括背景视频vB和对象10的视频。用户在使用终端装置1执行成像时可以在终端装置1的屏幕1a上观看视频(作为用于成像的监视器)。

注意，如上所述在屏幕1a上显示捕获视频vC时，可以通过对整个视频应用滤镜处理来改变图像质量。

例如，可以应用动画滤镜等。

当终端装置1可以捕获高分辨率视频时，可以在后期编辑时稍微改变视角，使得终端装置1捕获的视频的视角大于最终使用的预期视角。

通过这种方式，可以执行大范围成像，这对于显示装置2的AR标记3和用于SLAM的环境识别可以是有利的。

此外，在使用宽视角执行成像以用于环境识别等的情况下，对与以下范围对应的背景的渲染会被浪费：该范围最终未用于所制作的视频内容。因此，对于与该范围对应的背景视频vB，可以执行诸如降低分辨率进行绘制的处理。

在以宽视角(包括最终未使用的部分)执行成像的情况下，优选的是使用户易于理解要使用的区域和不使用的区域。因此，如图11B所示，以诸如阴影或灰度的显示模式显示无效区域框16，并且向用户呈现用作为所制作的视频内容的范围。这样，用户就可以在以下状态下制作视频内容：在终端装置1的成像时根据所需的距离、方向和角度适当地框住被摄体。

将描述在通过使用上述终端装置1和显示装置2执行用于虚拟制作的成像的情况下的配置示例。每个配置示例被描述为第一实施方式至第六实施方式。这里描述配置，并且将描述从针对每帧检测相对位置信息RP到显示背景视频vB的流程。

注意，虽然在每个图中没有示出显示装置2的显示尺寸信息的检测和发送/接收，但是显示尺寸信息在成像开始与成像结束之间并不会发生变化，只需先通过一些方法检测一次显示尺寸信息并且由执行渲染的装置获取即可。

在每个实施方式中，终端装置1和显示装置2作为相对位置检测目标彼此相关联。也就是说，相对位置信息RP在所有示例中是终端装置1与显示装置2之间的相对位置。

此外，在每个示例中，终端装置1与显示装置2之间的通信、终端装置1与云服务器4之间的通信、以及显示装置2与云服务器4之间的通信可以是有线通信或无线通信。此外，通信可以是装置之间的直接通信或网络通信。

图12示出了第一实施方式的配置示例。第一实施方式包括终端装置1和显示装置2。终端装置1包括3D背景模型5。

终端装置1执行相对位置检测，并且基于相对位置信息根据3D背景模型5渲染背景视频vB。

终端装置1将背景视频vB发送给显示装置2。

显示装置2显示背景视频vB。

图13示出了第二实施方式的配置示例。第一实施方式包括终端装置1和显示装置2。显示装置2包括3D背景模型5。

终端装置1执行相对位置检测以获取相对位置信息RP。

终端装置1将相对位置信息RP发送给显示装置2。

显示装置2基于相对位置信息根据3D背景模型5渲染背景视频vB，并且显示背景视频vB。

图14示出了第三实施方式的配置示例。第三实施方式包括终端装置1、显示装置2和云服务器4。云服务器4包括3D背景模型5。

终端装置1执行相对位置检测，以将相对位置信息RP发送给云服务器4。

云服务器4基于相对位置信息RP根据3D背景模型5渲染背景视频vB。

云服务器4将背景视频vB发送给终端装置1。

终端装置1将从云服务器4接收到的背景视频vB发送给显示装置2。

显示装置2显示背景视频vB。

图15示出了第四实施方式的配置示例。第四实施方式包括终端装置1、显示装置2和云服务器4。云服务器4包括3D背景模型5。

终端装置1执行相对位置检测，以将相对位置信息RP发送给云服务器4。

云服务器4基于相对位置信息RP根据3D背景模型5渲染背景视频vB。

云服务器4将背景视频vB发送到显示装置2。

显示装置2显示背景视频vB。

图16示出了第五实施方式的配置示例。第五实施方式包括终端装置1、显示装置2和云服务器4。云服务器4包括3D背景模型5。

显示装置2执行相对位置检测，以将相对位置信息RP发送给云服务器4。

云服务器4基于相对位置信息RP根据3D背景模型5渲染背景视频vB。

云服务器4将背景视频vB发送到显示装置2。

显示装置2显示背景视频vB。

图17示出了第六实施方式的配置示例。第六实施方式包括终端装置1、显示装置2和云服务器4。云服务器4包括3D背景模型5。

终端装置1执行相对位置检测，以将相对位置信息RP发送给显示装置2。

显示装置2将从终端装置1接收到的相对位置信息RP发送给云服务器4。

云服务器4基于相对位置信息RP根据3D背景模型5渲染背景视频vB。

云服务器4将背景视频vB发送给显示装置2。

显示装置2显示背景视频vB。

尽管上文描述了六个配置示例，但是可以考虑这些示例之外的各种配置示例。

例如，将参照图18描述使用上述配置执行用于虚拟制作的成像的情况下的处理的流程。图18中的每个步骤都是由系统中的任何装置根据第一至第六实施方式的配置执行的处理。在此，该处理被描述为整个系统的处理过程。

在开始成像的情况下，系统中的任何装置在步骤ST51中执行显示尺寸检测。即，检测关于显示装置2的屏幕2a的尺寸的信息。显示尺寸信息由渲染背景视频vB的装置获取。

在步骤ST52中，执行成像结束确定。例如，通过终端装置1的用户的成像结束操作来确定成像结束。当确定处理结束时，每个装置结束图18的处理。

在背景视频vB的每个帧定时和捕获视频vC的每个帧定时处重复从步骤ST53到步骤ST56的处理，直到确定成像结束。

注意，背景视频vB的帧定时和捕获视频vC的帧定时是相互同步的。

在步骤ST53中，由系统中的任何装置(终端装置1或显示装置2)执行相对位置检测。通过检测而获得的相对位置信息RP由执行渲染的装置获取。

在步骤ST54中，系统中的任何装置基于相对位置信息RP根据3D背景模型5执行渲染背景视频vB的处理。

在步骤ST55中，显示装置2执行显示通过渲染而获得的背景视频vB的处理。

在步骤ST56中，终端装置1在捕获显示装置2的背景视频vB和对象10的图像的同时，执行在屏幕1a上显示捕获视频vC的处理。

作为整个系统执行上述流程的处理，并且执行用于虚拟制作的成像。在下文中，将描述第一至第六实施方式中用于执行这样的处理的具体功能配置以及每个装置的处理示例。

<4.第一实施方式：终端装置和显示装置的示例>

图19示出了图12所示的第一实施方式中的终端装置1和显示装置2的功能配置。

注意，每个实施方式中描述的功能配置由终端装置1、显示装置2或者云服务器4中的硬件配置(作为图8的信息处理装置70)来实现，主要是由视频处理单元85实现。

在图19的实施方式中，终端装置1包括显示尺寸检测单元31、相对位置检测单元32、3D模型管理单元33、背景层渲染单元34、通信控制单元35、成像单元38和显示控制单元39。

显示尺寸检测单元31具有对作为相对位置检测目标相关联的显示装置2执行显示尺寸检测处理的功能。如上所述，显示尺寸检测包括根据用户输入的方法和自动检测方法。因此，显示尺寸检测可以由CPU 71或视频处理单元85经由用户界面使用信息处理装置70中的输入单元76或显示单元77执行。通信单元80接收到的信息或者从存储单元79中存储的DB中读取的信息可以用作为基于型号等检索到的尺寸信息。此外，CPU 71和视频处理单元85可以通过使用摄像装置单元87的信息和传感器单元86的信息自动检测显示尺寸。

相对位置检测单元32具有执行以下处理的功能：检测彼此相关联的终端装置1与显示装置2之间的相对位置信息RP。由于相对位置检测是通过使用AR标记3的方法或者使用SLAM技术的方法执行的，因此相对位置检测由CPU 71或视频处理单元85使用来自信息处理装置70中的摄像装置单元87、传感器单元86和通信单元80的信息来实现。

3D模型管理单元33具有管理用于生成背景视频vB的3D背景模型5的功能。例如，在资产创建步骤中制作的3D背景模型5被存储在存储单元79等中，并且在管理和渲染时被读取。3D模型管理单元33通过例如信息处理装置70中的视频处理单元85的处理来实现。

背景层渲染单元34具有渲染背景视频vB的功能，并且由信息处理装置70中的视频处理单元85和CPU 71的处理实现。

通信控制单元35具有向终端装置1中的其他装置发送以及从终端装置1中的其他装置接收信息的功能。这是对经由信息处理装置70(作为终端装置1)中的通信单元80进行的通信的控制功能，并且由视频处理单元85和CPU 71实现。

成像单元38具有将视频捕获为运动图像或静态图像的功能，并且由信息处理装置70中的摄像装置单元87实现。

显示控制单元39具有执行控制以在终端装置1的屏幕1a上显示视频的功能，并且由信息处理装置70(作为终端装置1)中的视频处理单元85或CPU 71实现为显示单元77的控制功能。

显示装置2包括通信控制单元36和显示控制单元37。

通信控制单元36具有向显示装置2中的其他装置发送以及从显示装置2中的其他装置接收信息的功能。该功能是对经由信息处理装置70(作为显示装置2)中的通信单元80进行的通信的控制功能，并且由视频处理单元85和CPU 71实现。

显示控制单元37具有执行控制以在显示装置2中的屏幕2a上显示视频的功能，并且由信息处理装置70(作为终端装置1)中的视频处理单元85或CPU 71实现为显示单元77的控制功能。

在具有这样的功能配置的第一实施方式中，图20中的处理由终端装置1和显示装置2执行，因此上述图18中的处理操作是作为整个系统执行的。

注意，虽然流程图中未示出终端装置1的成像操作，但基本上通过用户操作来设置作为虚拟制作的成像模式下的记录待机状态。因此，开始运动图像的捕获(由图像传感器获取图像数据)，并且开始将捕获视频vC作为直通图像(through image)显示在屏幕1a上。然后，响应于记录开始操作，将捕获视频vC作为视频内容记录在记录介质中。此外，响应于记录停止操作，停止在记录介质上记录视频内容，并且设置记录待机状态。然后，通过预定的结束操作来结束用于虚拟制作的成像，并且还结束在屏幕1a上显示捕获视频vC。

每个实施方式的流程图示出了从用于虚拟制作的成像的开始到结束每个帧定时处的处理。

当通过用户操作或自动启动控制而开始用于虚拟制作的成像时，终端装置1在步骤S101中用显示尺寸检测单元31检测显示装置2的显示尺寸。

终端装置1在步骤S102中确定虚拟制作成像结束，并且在虚拟制作成像未结束的时间段中，在捕获视频vC的每个帧定时处重复步骤S103至步骤S106。

在步骤S103中，终端装置1用相对位置检测单元32执行相对位置检测。

在步骤S104中，终端装置1基于显示尺寸信息和相对位置信息RP，用背景层渲染单元34将从3D模型管理单元33读取的3D背景模型5渲染至屏幕外缓冲区。即，生成背景视频vB。屏幕外缓冲区是非显示屏幕，并且是在RAM 73等中准备的渲染视频的临时缓冲区。

在步骤S105中，终端装置1用通信控制单元35执行将屏幕外缓冲区中的背景视频vB发送到显示装置2的处理。

另一方面，在显示装置2侧，在开始用于虚拟制作的成像之后，对每一帧重复步骤S202和S203中的处理，直到在步骤S201中确定结束时的结束。

例如，当背景视频vB的帧的接收被中断达预定时间或更长时间时，可以在显示装置2侧执行结束确定。替选地，可以在结束时从终端装置1发送结束指令信号，并且显示装置2可以在接收到该信号时确定结束。通过结束确定，显示装置2结束显示虚拟制作的背景视频vB的处理。

在处理结束之前的时间段中，在步骤S202中，显示装置2用通信控制单元36接收来自终端装置1的背景视频vB。

在步骤S203中，显示装置2用显示控制单元37执行在屏幕2a上显示所接收的背景视频vB的处理。

如上所述，由终端装置1生成的背景视频vB被发送到显示装置2并且在显示装置2上显示每一帧。

终端装置1用成像单元38捕获显示装置2和对象10的图像。在步骤S106中，显示控制单元39执行在屏幕1a上显示通过成像获得的每一帧的捕获视频vC的处理。

<5.第二实施方式：终端装置和显示装置的示例>

图21示出了图13所示的第二实施方式中的终端装置1和显示装置2的功能配置。注意，在以下每个实施方式中，上述功能配置用相同的附图标记表示，并且将省略详细的重复描述。期望参照图11的上述描述。

终端装置1包括相对位置检测单元32、通信控制单元35、成像单元38和显示控制单元39。

显示装置2包括显示尺寸检测单元31、3D模型管理单元33、背景层渲染单元34、通信控制单元36和显示控制单元37。

在具有这样的功能配置的第二实施方式中，图22中的处理由终端装置1和显示装置2执行，因此上述图18中的处理操作是作为整个系统执行的。

注意，将相同步骤编号分配给所描述的处理。

当通过用户操作或自动启动控制来开始虚拟制作成像时，终端装置1在步骤S102中确定虚拟制作成像结束，并且在虚拟制作成像未结束的时间段中，在捕获视频vC的每个帧定时处重复步骤S103、S110和S106中的处理。

在步骤S103中，终端装置1用相对位置检测单元32执行相对位置检测。

在步骤S110中，终端装置1用通信控制单元35执行向显示装置2发送相对位置信息RP的处理。

在步骤S106中，终端装置1用显示控制单元39执行在屏幕1a上显示通过成像单元38的成像而获得的每个帧的捕获视频vC的处理。

当虚拟制作成像开始时，显示装置2在步骤S210中用显示尺寸检测单元31检测显示装置2的显示尺寸。注意，在这种情况下，由于尺寸是其自身的尺寸，因此只需要将显示尺寸检测单元31配置为存储屏幕2a尺寸信息的存储单元即可。也就是说，在步骤S210中，显示装置2中的CPU 71只需要读取存储的显示尺寸。

显示装置2对每一帧重复步骤S211、S212和S203中的处理，直到在步骤S201中确定处理结束时的结束。

在步骤S211中，显示装置2用通信控制单元36接收来自终端装置1的相对位置信息RP。

在步骤S212中，显示装置2基于显示尺寸信息和接收到的相对位置信息RP，用背景层渲染单元34渲染从3D模型管理单元33读取的3D背景模型5，以生成背景视频vB。

在步骤S203中，显示装置2用显示控制单元37执行在屏幕2a上显示生成的背景视频vB的处理。

如上所述，由显示装置2渲染的背景视频vB基于由终端装置1检测到的相对位置信息RP来显示。

<6.第三实施方式：使用云服务器的示例>

图23示出了图14中示出的第三实施方式中的终端装置1、显示装置2和云服务器4的功能配置。

终端装置1包括显示尺寸检测单元31、相对位置检测单元32、通信控制单元35、成像单元38和显示控制单元39。

显示装置2包括通信控制单元36和显示控制单元37。

云服务器4包括3D模型管理单元33、背景层渲染单元34和通信控制单元40。

通信控制单元40具有从云服务器4中的其他装置接收以及向云服务器4中的其他装置发送信息的功能。该功能是对经由信息处理装置70(作为云服务器4)中的通信单元80进行的通信的控制功能，并且由视频处理单元85和CPU 71实现。

在具有这样的功能配置的第三实施方式中，图24中的处理由终端装置1、云服务器4和显示装置2执行，因此上述图18中的处理操作是作为整个系统执行的。

当通过用户操作或自动启动控制来开始虚拟制作成像时，终端装置1在步骤S120中用显示尺寸检测单元31检测显示装置2的显示尺寸。然后，终端装置1将显示尺寸信息发送给云服务器4。

这样，云服务器4在步骤S301中接收显示尺寸信息，并且存储显示尺寸信息以用于后续渲染。

终端装置1在步骤S102中确定虚拟制作成像结束，并且在虚拟制作成像未结束的时间段中，在捕获视频vC的每个帧定时处重复步骤S121、S122、S105和S106中的处理。

在步骤S121中，终端装置1执行用相对位置检测单元32执行相对位置检测的处理，并且用通信控制单元35将检测到的相对位置信息RP发送给云服务器4。

在步骤S301中接收到显示尺寸信息之后，云服务器4重复步骤S303、S304和S305中的处理，同时在步骤S302中执行结束确定。注意，例如，当从终端装置1接收相对位置信息RP被中断达预定时间或更长时间、或者与终端装置1的网络通信断开时，可以执行云服务器4侧的结束确定。替选地，可以在处理结束时从终端装置1发送结束指令的信号，云服务器4可以在接收到该信号时确定结束。通过结束确定，云服务器4结束处理。

在确定处理结束之前的时间段中，云服务器4在步骤S303中用通信控制单元40接收相对位置信息RP。

在步骤S304中，云服务器4基于显示尺寸信息和相对位置信息RP，用背景层渲染单元34渲染从3D模型管理单元33读取的3D背景模型5，以生成背景视频vB。

然后，在步骤S305中，云服务器4用通信控制单元40执行向终端装置1发送背景视频vB的处理。

当在步骤S122中接收到背景视频vB时，终端装置1用通信控制单元40执行将接收到的背景视频vB发送到显示装置2的处理。

此外，在步骤S106中，终端装置1用显示控制单元39执行在屏幕1a上显示由成像单元38进行成像而获得的每个帧的捕获视频vC的处理。

与第一实施方式(图20)类似地，显示装置2执行步骤S201、S202和S203的处理。结果，显示装置2执行显示接收到的背景视频vB的操作。

<7.第四实施方式：使用云服务器的示例>

图25示出了图15中示出的第四实施方式中的终端装置1、显示装置2和云服务器4的功能配置。

注意，终端装置1、云服务器4和显示装置2的功能与图23中这些部件的功能类似。然而，在执行虚拟制作成像期间，云服务器4的通信控制单元40保持与终端装置1和显示装置2的通信连接。

在具有图25中的功能配置的第四实施方式中，图26中的处理由终端装置1、云服务器4和显示装置2执行，因此上述图18中的处理操作是作为整个系统执行的。

终端装置1以与上述图24中相同的方式执行步骤S120、S102、S121和S106的处理。然而，在这种情况下，终端装置1无需执行图24中所述的从云服务器4接收背景视频vB并且将背景视频vB发送到显示装置2的处理。

如图26所示，云服务器4在步骤S301、S302、S303、S304和S305中执行处理。虽然与图24的处理类似，但是在步骤S305中，背景视频vB被发送到显示装置2。

如图26所示，显示装置2执行步骤S201、S202和S203的处理。结果，显示装置2执行显示从云服务器4接收的背景视频vB的操作。

<8.第五实施方式：使用云服务器的示例>

图27示出了图16中示出的第五实施方式中的终端装置1、显示装置2和云服务器4的功能配置。

终端装置1包括成像单元38和显示控制单元39。

显示装置2包括显示尺寸检测单元31、相对位置检测单元32、通信控制单元36和显示控制单元37。

云服务器4包括3D模型管理单元33、背景层渲染单元34和通信控制单元40。

在具有这样的功能配置的第五实施方式中，图28中的处理由终端装置1、云服务器4和显示装置2执行，因此上述图18中的处理操作是作为整个系统执行的。

在这种情况下，终端装置1执行对捕获视频vC的捕获和显示。因此，步骤S106中显示捕获视频vC的处理是针对每一帧执行的，直到步骤S102中的处理结束。

在步骤S220中，显示装置2用显示尺寸检测单元31读取关于自身显示尺寸的信息，并且将显示尺寸信息发送到云服务器4。

由此，云服务器4在步骤S301中接收显示尺寸信息，并且存储显示尺寸信息以用于后续渲染。

显示装置2在步骤S201中确定虚拟制作成像结束，并且在虚拟制作成像未结束的时间段中，在背景视频vB的每个帧定时处重复步骤S221、S202和S203中的处理。

在步骤S221中，终端装置1执行用相对位置检测单元32执行相对位置检测的处理，并且用通信控制单元36将检测到的相对位置信息RP发送给云服务器4。

在步骤S301中接收到显示尺寸信息之后，云服务器4重复步骤S303、S304和S305中的处理，直到在步骤S302中执行结束确定时确定结束。

在步骤S303中，云服务器4用通信控制单元40从显示装置2接收相对位置信息RP。

在步骤S304中，云服务器4基于显示尺寸信息和相对位置信息RP，用背景层渲染单元34渲染从3D模型管理单元33读取的3D背景模型5，以生成背景视频vB。

然后，在步骤S305中，云服务器4用通信控制单元40执行将背景视频vB发送到显示装置2的处理。

当在步骤S202中接收到背景视频vB时，显示装置2在步骤S203中执行显示背景视频vB的处理。结果，显示装置2执行显示接收到的背景视频vB的操作。

<9.第六实施方式：使用云服务器的示例>

图29示出了图17中示出的第六实施方式中的终端装置1、显示装置2和云服务器4的功能配置。

终端装置1包括相对位置检测单元32、通信控制单元35、成像单元38和显示控制单元39。

显示装置2包括显示尺寸检测单元31、通信控制单元36和显示控制单元37。

云服务器4包括3D模型管理单元33、背景层渲染单元34和通信控制单元40。

在具有这样的功能配置的第六实施方式中，图30中的处理由终端装置1、云服务器4和显示装置2执行，因此上述图18中的处理操作是作为整个系统执行的。

在这种情况下，终端装置1执行相对位置检测以及捕获和显示捕获视频vC。因此，直到步骤S102中的结束为止，在步骤S130中在每个帧定时处执行相对位置检测，将相对位置信息RP发送到显示装置2，并且在步骤S106中执行显示捕获视频vC的处理。

在步骤S220中，显示装置2用显示尺寸检测单元31读取自身的显示尺寸信息，并且将显示尺寸信息发送给云服务器4。

由此，云服务器4在步骤S301中接收显示尺寸信息，并且存储显示尺寸信息以用于后续渲染。

显示装置2在步骤S201中确定虚拟制作成像结束，并且在虚拟制作成像未结束的时间段中，在背景视频vB的每个帧定时处重复步骤S231、S232、S202和S203中的处理。

在步骤S231中，显示装置2用通信控制单元36接收从终端装置1发送的相对位置信息RP，并且在步骤S232中，执行将相对位置信息RP发送到云服务器4的处理。

云服务器4重复在步骤S303中接收相对位置信息RP，在步骤S304中渲染背景视频vB，在步骤S305中向显示装置2发送背景视频vB，同时如图28中在步骤S302中执行结束确定。

当在步骤S202中接收到背景视频vB时，显示装置2在步骤S203中执行显示背景视频vB的处理。结果，显示装置2执行显示接收到的背景视频vB的操作。

<10.第七实施方式：虚拟视频添加技术的应用>

接下来，将描述应用虚拟视频添加技术的示例作为第七实施方式。具体地，这是背景层与叠加层合作的成像示例。

在捕获作为虚拟视频的背景视频vB的情况下，显示装置2存在于作为前景的对象10后面。因此，无法将显示装置2放置在对象10的前方以显示虚拟视频或者在对象10前方为视频赋予效果。也就是说，虚拟视频只出现在对象10的背景侧。

注意，对象10的“前侧”指的是从对象10观看的终端装置1侧，即执行成像的装置侧。

为了执行在捕获视频vC中在对象10的前方添加虚拟视频的效果，需要在对象10的前方设置层，执行绘制，并且将层叠加在捕获视频vC上。

例如，当要在图1中的成像系统500中实现这样的功能时，需要与成像系统500中的每个装置进行配合，为了执行装置之间的同步、绘图数据的传输等，在实现时需要进行重大的改变。然而，例如，在终端装置1中执行成像和绘图时，可以执行等效处理，而该处理不跨装置，并且便于实现。

然后，作为第七实施方式，将描述在与第一至第六实施方式中一样使用终端装置1的情况下将附加虚拟视频添加到捕获视频vC中的处理示例。

图31示出了终端装置1与显示装置2之间的位置关系以及对象位置60。对象位置60是对象10实际存在的位置。终端装置1捕获对象10的图像和显示装置2上显示的背景视频vB。

在这种情况下，关于终端装置1成像的范围，考虑图31中的前方区域61、后方区域62以及其他区域63和64。

前方区域61是由终端装置1获得的捕获视频vC中对象10的前方的区域。后方区域62是对象10后方的区域。其他区域63和64是不在对象10前方和后方的区域。

图32示出了向对象10添加环形附加虚拟视频11的示例。例如，假设环形视频图像环绕对象10。在添加这样的附加虚拟视频11的情况下，需要考虑背景层50、前景51和叠加层52。

前景51是对象10本身的视频。背景层50是显示在显示装置2上的背景视频vB的层。在图31所示的成像中，捕获视频vC包括背景层50的视频和前景51的视频。

这里，当叠加层52被设置在前景层前方时，环形附加虚拟视频11被绘制在叠加层52中，并且与获取视频vC合成，获得添加了环形附加虚拟视频11的捕获视频vC。也就是说，可以实现在对象10前方添加虚拟视频的视频效果。

如上所述，在虚拟制作成像中，虚拟视频作为背景视频vB被包括在对象10的后方，但是也可以通过应用叠加层52在对象10的前方添加虚拟视频。

此时，例如，可以在叠加层52中简单绘制环形附加虚拟视频11，但是更优选地，通过应用前方区域61、后方区域62和其他区域63和64来执行虚拟视频添加处理。

从图31中可以看出，环形附加虚拟视频11是跨前方区域61、后方区域62以及其他区域63和64的视频。

在这种情况下，附加虚拟视频11中属于前方区域61的部分被绘制在叠加层52中。附加虚拟视频11中属于后方区域62的部分被添加到背景视频vB中。附加虚拟视频11中属于其他区域63和64的部分可以被绘制在叠加层52中，但是优选地添加到背景视频vB中。

由于附加虚拟视频11中位于前方区域61的部分需要在捕获视频vC中出现在对象10的前方，因此使用叠加层52。

在使用叠加层52的情况下，附加虚拟视频11被渲染为叠加层52的视频，并且渲染的叠加层52与捕获视频vC合成。

附加虚拟视频11中位于后方区域62的部分实际上被捕获视频vC中的对象10隐藏。从这个意义上讲，也可以设想不绘制附加虚拟视频11中属于后方区域62的部分。然而，考虑到对象10上的反射，这部分可以被添加到背景层50中。例如，这是为了实现对象10的光泽表面上的自然反射。

在将附加虚拟视频11添加到背景层50的情况下，当使用3D背景模型渲染背景视频vB时，也执行在附加虚拟视频11中添加视频的处理。

附加虚拟视频11中位于其他区域63和64中的部分不与捕获视频vC中的对象10交叠。因此，位于其他区域63和64中的部分可以类似于前方区域61一样被绘制在叠加层52中。然而，考虑到对象10的自然反射的效果，优选的是在渲染背景视频vB时将位于其他区域63和64中的部分添加到背景层50中。

如上所述，可以通过使用背景层50和叠加层52将附加虚拟视频11添加到作为前景51的对象10的前侧和后侧。

图33示出了将带字符的附加虚拟视频11a添加到背景视频vB以及通过对对象10进行成像而获得的捕获视频vC的情况的示例。该示例是在叠加层52中绘制并合成带字符的附加虚拟视频11a的示例。

图34示出了将虚拟的心形或星形附加虚拟视频11a和11b添加到背景视频vB以及通过对对象10进行成像而获得的捕获视频vC的情况的示例。这是如下示例：根据人物对象10的位置将前方区域61的附加虚拟视频11a绘制在叠加层52中，并且后方区域62以及其他区域63和64的附加虚拟视频11b被绘制在背景层50中，即被包括在背景视频vB中。

在添加这些附加虚拟视频11的虚拟视频添加处理中，对捕获视频vC执行人脸识别或者手指或身体的骨骼识别，并且可以根据其结果生成作为效果的附加虚拟视频11，并且将附加虚拟视频11应用于背景层50和叠加层52中。

例如，附加虚拟视频11(11a、11b)的位置是根据人(对象10)的身体在图像中的位置而设置的。在图33中，附加虚拟视频11a与对象10的身体交叠。此外，图34示出了附加虚拟视频11a位于脸(脸颊)部分上的情况的示例。

此外，还可以通过触摸板操作来指定激活效果的位置和定时。例如，图35示出了用户在执行成像的同时触摸终端装置1的屏幕1a从而将附加虚拟视频11b添加到背景层50中的示例。

这是如下的示例：在用户的手指65触摸的时候，从通过触摸指定的位置向背景层50的背景视频vB添加附加虚拟视频11b，例如闪电。

当然，也可以使用叠加层52添加附加虚拟视频11，或者从通过触摸指定的位置跨背景层50和叠加层52两者来添加附加虚拟视频11等。

例如，将参照图36描述在执行上述添加附加虚拟视频11的处理的情况下的处理的流程。图36中的每个步骤是由系统配置中的任何装置执行的处理，该系统配置包括终端装置1和显示装置2，或者除了终端装置1和显示装置2之外还包括云服务器4，如第一至第六实施方式中所述。也就是说，与图18类似，描述了整个系统中的处理过程。

在开始成像的情况下，系统中的任何装置在步骤ST11中执行显示尺寸检测。即，检测关于显示装置2的屏幕2a的尺寸的信息。尺寸信息被执行渲染的装置获取。

在步骤ST12中，执行成像结束确定。例如，通过终端装置1的用户的成像结束操作确定成像结束。当确定处理结束时，每个装置结束图36的处理。

在背景视频vB的每个帧定时和捕获视频vC的每个帧定时处重复步骤ST13至步骤ST23中的处理，直到确定成像结束。

在步骤ST13中，由系统中的任何装置(终端装置1或显示装置2)执行相对位置检测。通过检测获得的相对位置信息RP被执行渲染的装置获取。

例如，在步骤ST14中，终端装置1检测区域。这是根据对象10在捕获视频vC中的位置，从当前帧的捕获视频vC中检测前方区域61、后方区域62以及其他区域63和64的处理。

在步骤ST15中，系统中的任何装置确定本次渲染背景视频vB的帧是否是应用了附加虚拟视频11的帧。

应用附加虚拟视频11的效果开始定时被通过例如用户的触摸操作来指定。应用附加虚拟视频11的效果开始定时可以由触摸操作以外的预定用户操作来指示。

替选地，图像识别处理可以是自动处理，即在检测到特定被摄体时激活应用了附加虚拟视频11的效果。例如，这是在检测到微笑时添加预定附加虚拟视频11的处理。

此外，作为视频内容的时间戳，可以在预设时间处执行激活附加虚拟视频11的效果的处理。

通过手动操作或自动处理，在某个时间段中激活具有附加虚拟视频11的效果。在这种情况下，在步骤ST15中，确定当前定时是否是执行以下处理的定时：将附加虚拟视频11添加到背景层50和叠加层52中的一者或两者。

在当前不是用于激活附加虚拟视频11效果的帧的定时时，处理从步骤ST15进行到步骤ST17。

在这种情况下，例如，在与第一实施方式类似，步骤ST17中使用3D背景模型渲染背景视频vB。

也就是说，基于显示尺寸信息和相对位置信息RP，通过使用3D背景模型执行渲染，并且生成背景视频vB。

在当前是激活附加虚拟视频11的效果的定时时，处理从步骤ST15进行到步骤ST16。

在步骤ST16中，在系统中的任何装置中执行附加虚拟视频11的应用设置。具体地，执行用于背景层50的附加虚拟视频11的应用设置和用于叠加层52的附加虚拟视频11的应用设置中的一者或两者。

例如，在附加虚拟视频11的全部或部分被设置在后方区域62或其他区域63和64中的情况下，此次在步骤ST17中将附加虚拟视频11包括在渲染的背景视频vB中。在这种情况下，在步骤ST16中，执行将附加虚拟视频11应用到背景层50的设置。也就是说，当使用3D背景模型渲染背景视频vB时，添加附加虚拟视频11以生成背景视频vB。

在背景视频vB中，附加虚拟视频11在屏幕上的位置也被设置。例如，根据触摸位置和对象检测结果(如手指或身体的识别或骨骼识别)设置附加虚拟视频11在屏幕上的位置。

也就是说，具体地，执行如下操作：设置要在图像内容中绘制的范围，作为要添加到背景层50中的附加虚拟视频11，并且附加虚拟视频11对应于步骤ST14中的区域检测结果；以及根据操作或图像识别指定屏幕上的位置。

此外，例如，在附加虚拟视频11的全部或部分被设置在前方区域61中的情况下，通过使用叠加层52将附加虚拟视频11添加到与当前背景视频vB的帧对应的捕获视频vC的帧中。因此，在步骤ST16中，执行如下操作：设置要在图像内容中绘制的范围，作为要添加到叠加层52中的附加虚拟视频11以及与步骤ST14中的区域检测结果对应的附加虚拟视频11；以及根据操作或图像识别指定在屏幕上的位置。

在步骤ST16中执行用于背景层50的附加虚拟视频11的应用设置的情况下，在步骤ST17中由系统中的任何装置使用3D背景模型渲染背景视频vB，并且在此时将附加虚拟视频11添加到背景视频vB中。

即，基于显示尺寸信息和相对位置信息RP，通过使用3D背景模型执行渲染，并且根据步骤ST16的设置生成添加了附加虚拟视频11的背景视频vB。

然后，在步骤ST18中，显示装置2执行对通过渲染获得的背景视频vB的显示的处理。

在终端装置1中，在显示装置2的背景视频vB和对象10被捕获的同时，执行在屏幕1a上显示捕获视频的处理，并且此时可以添加使用叠加层52的附加虚拟视频11。

在步骤ST19中，终端装置1确定当前捕获视频vC的帧是否是使用叠加层52绘制附加虚拟视频11的帧。

在步骤ST16中未对当前帧执行附加虚拟视频11在叠加层52中的应用设置的情况下，终端装置1从步骤ST19进行到步骤ST23，并且执行将当前捕获视频vC的帧按原样显示在屏幕1a上的处理。

这是当前捕获视频vC的帧是附加虚拟视频11的效果未被激活的时间段中的帧的情况，或者是即使在激活时间段中，整个附加虚拟视频11被添加到背景层50中并且未使用叠加层52的情况。

另一方面，在当前捕获视频vC的帧是使用叠加层52绘制附加虚拟视频11时在步骤ST16中设置的帧的情况下，终端装置1从步骤ST19进行到步骤ST20并且渲染叠加层52。即，使用显示尺寸信息、相对位置信息RP、作为附加虚拟视频11被应用的3D模型或角色图像来执行渲染，并且生成叠加层52的视频。

在步骤ST21中，终端装置1对捕获视频vC执行叠加层52的合成处理。因此，将包括对象10的前方区域61的附加虚拟视频11添加到捕获视频vC中。

在步骤ST22中，终端装置1可以对合成的捕获视频vC的整个视频应用滤镜。例如，可以通过应用绘画滤镜、动画滤镜等来执行作为图像效果的类型的滤镜处理。

然后，在步骤ST23中，终端装置1在屏幕1a上显示捕获视频vC。

通过上述处理，用户可以在视觉上识别在成像期间实时应用了附加虚拟视频11效果的捕获视频vC。

注意，步骤ST22中的滤镜处理可以在未合成叠加层52的情况下执行。

还可以执行如下的虚拟视频添加处理：通过在整个系统中执行上述流程处理来执行虚拟制作成像，并且将附加虚拟视频11添加到对象10的前侧和后侧。

将描述用于执行这样的处理的具体功能配置和每个装置的处理示例。

图37示出了如图19的第一实施方式一样包括终端装置1和显示装置2的情况的示例。

终端装置1包括显示尺寸检测单元31、相对位置检测单元32、3D模型管理单元33、背景层渲染单元34、通信控制单元35、成像单元38和显示控制单元39。这些与图19的示例类似，但是终端装置1还包括区域检测单元44、输入操作接收单元45、图像识别处理单元46、叠加层渲染单元47、图像合成单元48和滤镜处理单元49。

区域检测单元44检测捕获视频vC的每一帧的前方区域61、后方区域62以及其他区域63和64，这些将参照图31进行描述。例如，区域检测单元44通过图像识别来跟踪作为对象10的图像以确定对象位置60，并且基于对象位置60检测前方区域61、后方区域62以及其他区域63和64。注意，例如，当对象10是不移动的对象时，在一次检测到对象位置60之后，可以基于相对位置信息RP来检测每一帧的前方区域61、后方区域62以及其他区域63和64。

区域检测单元44可以通过例如使用来自信息处理装置70中的摄像装置单元87、传感器单元86和通信单元80的信息，被实现为CPU 71或视频处理单元85的处理功能。

输入操作接收单元45具有检测与虚拟视频添加处理相关的用户操作(例如用户的触摸操作)的功能。例如，在屏幕1a上设置触摸面板，并且输入操作接收单元45用触摸面板检测触摸操作。

在由用户的触摸操作激活附加虚拟视频11的效果的情况下，输入操作接收单元45将操作信息通知给3D模型管理单元33。输入操作接收单元45可以由CPU 71或视频处理单元85实现，CPU 71或视频处理单元85检测信息处理装置70中的输入单元76的输入。

图像识别处理单元46对捕获视频vC中的被摄体图像执行识别处理。识别处理结果被通知给3D模型管理单元33。图像识别处理单元46可以由视频处理单元85实现，视频处理单元85分析由信息处理装置70中的摄像装置单元87捕获的视频。

当来自输入操作接收单元45的操作信息和来自图像识别处理单元46的识别处理结果被发送时，3D模型管理单元33可以设置添加附加虚拟视频11的效果的激活定时以及在屏幕上的位置，并且可以设置附加虚拟视频11的内容。也就是说，3D模型管理单元33可以执行图36的步骤ST16中描述的添加附加虚拟视频11的效果的应用设置。

叠加层渲染单元47具有渲染叠加层52的功能，并且由信息处理装置70中的视频处理单元85和CPU 71的处理来实现。

来自显示尺寸检测单元31的显示尺寸信息、来自相对位置检测单元32的相对位置信息RP、来自3D模型管理单元33的3D模型、以及来自区域检测单元44的针对前方区域61、后方区域62和其他区域63和64的检测信息被提供给叠加层渲染单元47和背景层渲染单元34。因此，背景层渲染单元34可以在图36的步骤ST17中执行渲染，并且叠加层渲染单元47可以在步骤ST20中执行渲染。

图像合成单元48执行将由成像单元38获得的捕获视频vC与由叠加层渲染单元47渲染的叠加层52的视频进行合成的处理，并且将附加虚拟视频11添加到对象10的前方区域。

滤镜处理单元49对由图像合成单元48合成的视频进行作为效果的滤镜处理。

例如，图像合成单元48和滤镜处理单元49具有由信息处理装置70中的视频处理单元85实现的功能。

在图37的示例中，显示装置2侧的功能配置与图19中的类似，并且包括通信控制单元36和显示控制单元37。

假设这样的功能配置，将参照图38描述第七实施方式的具体处理，即，在整个系统中执行图36的上述处理的情况下的处理示例。

当通过用户操作或自动启动控制开始用于虚拟制作的成像时，终端装置1在步骤S101中用显示尺寸检测单元31检测显示装置2的显示尺寸。

然后，终端装置1在步骤S102中确定虚拟制作成像结束，并且在虚拟制作成像未结束的时间段中，在捕获视频vC的每个帧定时处重复步骤S103至S106中的处理。

在步骤S103中，终端装置1用相对位置检测单元32执行相对位置检测。

在步骤S150中，终端装置1用区域检测单元44检测当前捕获视频vC的帧的前方区域61、后方区域62以及其他区域63和64。

在步骤S151中，终端装置1确定是否是当前应用了附加虚拟视频11的帧的定时。然后，在此定时处，在步骤S152中，对背景层50和叠加层52中的一者或两者执行附加虚拟视频11的应用设置。这是图36的步骤ST15和ST16中的处理，并且3D模型管理单元33基于来自输入操作接收单元45和图像识别处理单元46的信息执行应用设置。

在步骤S153中，终端装置1用背景层渲染单元34将从3D模型管理单元33中读取的3D背景模型5渲染到屏幕外缓冲区。在这种情况下，在已经对背景层50进行了附加虚拟视频11的应用设置的情况下，在3D背景模型5的视频上生成添加了附加虚拟视频11的状态下的背景视频vB。

在步骤S105中，终端装置1用通信控制单元35执行将屏幕外缓冲区中的背景视频vB发送到显示装置2的处理。

在显示装置2侧，在用于虚拟制作的成像开始之后，对每一帧重复步骤S202和S203中的处理，直到在步骤S201中确定结束时的处理结束。

在处理结束之前的时间段中，在步骤S202中，显示装置2用通信控制单元36接收来自终端装置1的背景视频vB。

在步骤S203中，显示装置2用显示控制单元37执行在屏幕2a上显示接收的背景视频vB的处理。

因此，在背景视频vB中包括附加虚拟视频11的情况下，显示装置2显示附加虚拟视频11被添加到背景层50的状态。

虽然终端装置1用成像单元38对显示装置2和对象10进行成像，但是在步骤S154中，确定当前捕获视频vC的帧是否被设置为将附加虚拟视频11添加到叠加层52中。

在未将附加虚拟视频11添加到叠加层52的情况下，终端装置1进行到步骤S106，并且显示控制单元39执行在屏幕1a上显示通过成像获得的每个帧的捕获视频vC的处理。

在将附加虚拟视频11添加到叠加层52的情况下，终端装置1在步骤S155中用叠加层渲染单元47渲染叠加层52。

然后，在步骤S156中，终端装置1用图像合成单元48将渲染的叠加层52与当前捕获视频vC的帧进行合成。

此外，在步骤S157中，终端装置1根据设置用滤镜处理单元49执行滤镜处理。

然后，终端装置1进行到步骤S106，并且用显示控制单元39执行在屏幕1a上显示经合成处理的捕获视频vC的处理。

因此，用户可以在屏幕2a上视觉地识别实时添加了附加虚拟视频11的捕获视频vC。

如上所述，在第七实施方式中，在虚拟制作成像中，可以执行背景层50与叠加层52配合的成像。

此外，用户可以通过触摸板操作来指定效果激活的位置和定时。

顺便提及，虽然图37和38是根据图12中的第一实施方式的系统配置描述的，但是图36的处理也可以应用于图13至图17中的每个系统配置示例的情况。

例如，将附加虚拟视频11添加到背景层50的背景层渲染单元34除了可以设置在终端装置1侧之外，还可以设置在显示装置2侧(见图21)，或者可以设置在云服务器4侧(见图23、图25、图27和图29)。

叠加层渲染单元47和图像合成单元48除了可以设置到终端装置1之外，还可以设置在云服务器4中，并且终端装置1和云服务器4配合对捕获视频vC执行叠加层52的处理。

<11.结论和修改例>

根据上述实施方式，可以获得如下效果。

根据实施方式的信息处理装置70包括具有背景层渲染单元34的功能的视频处理单元85。在显示装置2和具有成像功能的终端装置1彼此相关联的状态下，由终端装置1捕获显示在显示装置2上的对象10和背景视频vB的情况下，视频处理单元85具有以下功能：基于显示装置2与终端装置1之间的相对位置信息RP渲染3D模型，并且生成在显示装置2上显示的背景视频vB。

例如，用户通过使用显示装置2(如家中的电视接收器)和终端装置1(如智能手机)来捕获显示在显示装置2上的背景视频vB和对象10的图像。此时，终端装置1和显示装置2作为相对位置检测的目标彼此相关联，并且执行相对位置检测，以使得针对显示装置2生成与终端装置1的视点方向对应的背景视频vB并且在显示装置2上显示它。因此，例如，应用虚拟制作技术的成像可以容易地在家中等进行而不是在专门的工作室中进行。

这样的信息处理装置70可以被视为终端装置1中的处理器，或者终端装置1本身包括这样的处理器。替选地，信息处理装置70可以被视为显示装置2中的处理器，或者显示装置2本身包括这样处理器。此外，信息处理装置70还可以被视为独立于显示装置2和终端装置1的装置，例如，在云服务器4中设置的处理器，或者诸如包括这样的处理器的云服务器4的装置本身。

在第一实施方式中，终端装置1的视频处理单元85(背景层渲染单元34或通信控制单元35)被配置成将通过渲染3D背景模型5而获得的背景视频vB发送给显示装置2(参见图12、图19和图20)。

在终端装置1中，根据相对位置渲染3D背景模型5，将3D背景模型5发送到显示装置2并且进行显示。然后，终端装置1捕获图像。因此，例如，使用能够接收视频的普通电视装置、监视器装置等作为显示装置2，并且终端装置1的功能使得在显示装置2存在于家中、家以外的地方等的环境中容易进行虚拟制作。

在第二实施方式中，显示装置2的视频处理单元85(背景层渲染单元34或通信控制单元36)被配置成基于从终端装置1接收到的相对位置信息RP渲染3D背景模型5，并且生成背景视频vB(参见图13、图21和图22)。

在终端装置1中执行相对位置检测的情况下，从终端装置1接收相对位置信息RP的配置使得显示装置2能够通过渲染3D背景模型生成并显示背景视频vB。在这种情况下，通过引入包括执行渲染的视频处理单元85的显示装置2，可以在家中等实现虚拟制作。由于终端装置1侧只需具有检测相对位置信息RP并且将相对位置信息RP发送给显示装置2的功能，因此处理负荷较小，并且不需要较高的处理能力。

在第三、第四、第五和第六实施方式中，视频处理单元85(背景层渲染单元34)设置在与终端装置1和显示装置2两者分离的外部装置中。然后，视频处理单元85基于所接收的相对位置信息RP渲染3D背景模型5，生成要在显示装置2上显示的背景视频vB，并且发送背景视频vB(见图14至17和图24至30)。

例如，在可以与终端装置1和显示装置2中的一者或两者进行通信的外部装置中渲染背景视频vB。因此，可以通过使用具有丰富资源(如运算功能和存储容量)的外部装置，使用终端装置1和显示装置2实现虚拟制作。可以获得终端装置1和显示装置2处理负荷小的优势。

注意，虽然在本实施方式中云服务器4被描述为外部装置，但是外部装置可以是例如家庭网络中的家庭服务器、专用个人计算机、工作站、智能手机、平板计算机或者与终端装置1不同的PC，或者是诸如视频装置的所谓的家用电器。只要该装置能够充当至少包括本技术中的视频处理单元85的信息处理装置70，则可以使用任何装置。

在第三、第四、第五和第六实施方式中，外部装置是云服务器4。

例如，在可以与终端装置1或显示装置2通信的云服务器4中渲染背景视频vB。因此，通过使用云服务器4的处理功能，可以使用终端装置1和显示装置2实现虚拟制作。可以获得终端装置1和显示装置2的处理负荷小的优势。例如，通过使用云服务器4的处理功能，还可以使用数据量较大的3D背景模型5渲染高清背景视频vB。此外，通过作为云服务器4向用户提供服务，可以通过虚拟制作广泛地提供视频制作机会。

在第三和第四实施方式中，外部装置的视频处理单元85(背景层渲染单元34)基于从终端装置1接收到的相对位置信息RP渲染3D背景模型5，并且生成要显示的视频。

例如，在终端装置1中执行相对位置检测的情况下，只要求云服务器4能够接收来自终端装置1的相对位置信息RP。因此，终端装置1和显示装置2以外的外部装置可以根据每个时间点的相对位置信息RP执行渲染，并且根据终端装置1在每个时间点处的视点位置生成背景视频vB。

注意，虽然本实施方式中没有描述，但是例如可以将显示装置2侧检测到的相对位置信息RP发送给终端装置1，并且从终端装置1发送给云服务器4。这是在终端装置1访问云服务器4的环境中发送相对位置信息RP的方法之一。

在第五和第六实施方式中，外部装置的视频处理单元85(背景层渲染单元34或通信控制单元40)基于从显示装置2接收到的相对位置信息RP渲染3D背景模型5，并且生成要显示的视频。

例如，在第五实施方式中，在显示装置2中执行相对位置检测的情况下，只要求云服务器4能够接收来自显示装置2的相对位置信息RP。此外，与第六实施方式一样，即使在终端装置1中执行相对位置检测的情况下，也可以将相对位置信息RP发送到显示装置2侧，并且从显示装置2发送到云服务器4。这样，终端装置1和显示装置2之外的外部装置可以基于每个时间点的相对位置信息RP执行渲染，并且根据终端装置1在每个时间点处的视点位置生成背景视频vB。

在第三实施方式中，外部装置的视频处理单元85(背景层渲染单元34或通信控制单元40)执行将通过渲染3D背景模型5而生成的背景视频vB发送到终端装置1的处理。

由云服务器4生成的背景视频vB被发送到终端装置1，并且从终端装置1发送到显示装置2。因此，由与终端装置1通信的外部装置生成的背景视频vB可以实时显示在显示装置2上。

注意，虽然本发明实施方式中没有描述，但是例如，还可以设想如下的配置：云服务器4将基于从显示装置2接收到的相对位置信息渲染的背景视频vB发送给终端装置1，并且将背景视频vB从终端装置1发送给显示装置2。

在第四、第五和第六实施方式中，外部装置的视频处理单元85(背景层渲染单元34或通信控制单元40)执行将通过渲染3D背景模型5而生成的视频发送到显示装置2的处理。

由云服务器4生成的背景视频vB被发送到显示装置2。因此，由与终端装置1通信的外部装置生成的背景视频vB可以实时显示在显示装置2上。此外，通过不经过终端装置1而将背景视频vB发送到显示装置2，可以减少必要的通信量，并且促进通信附加量的减少、通信速度的提高和通信效率的提高。

在第七实施方式中，视频处理单元85(背景层渲染单元34或叠加层渲染单元47)执行虚拟视频添加处理，在该处理中，与从3D背景模型5获得的背景视频vB以及捕获视频vC中的对象10的视频一起包括附加虚拟视频11，其中，通过用终端装置1捕获显示在显示装置2上的背景视频vB和对象10而获得该捕获视频vC。

除了基于3D背景模型5和对象10的视频的背景视频vB之外，附加虚拟视频11被添加到捕获视频vC。因此，在简单的虚拟制作中，可以使用附加虚拟视频11执行更多不同的视频表示。

附加虚拟视频11的添加处理可以在成像时实时执行，或者可以在成像之后作为后期制作执行。

注意，附加虚拟视频11指示任何附加虚拟视频，如特定视频、形状、颜色、亮度变化、图案或字符。也就是说，通过视频处理添加的视频或者作为视频效果有意改变的视频(不包括作为从3D背景模型中获得的原始背景的视频以及出现在捕获视频vC中的作为视频中的真实对象的对象10的视频)都对应于附加虚拟视频11。在本公开内容内容中，包括这样的附加虚拟视频11的处理被称为虚拟视频添加处理。然而，诸如亮度调整、颜色调整、色阶调整、白平衡调整、伽玛处理或锐度处理的一般图像质量调整并不对应于本公开内容中的虚拟视频添加处理。

在第七实施方式中，视频处理单元85(背景层渲染单元34或叠加层渲染单元47)执行虚拟视频添加处理，在该处理中，在由终端装置1进行成像时对视频的每一帧进行处理的过程中，将附加虚拟视频11包括在捕获视频vC中。

也就是说，附加虚拟视频11是在成像时实时添加的。这样，可以简单地提供用户易于确认的视频效果。

在第七实施方式中，已经描述了如下示例：视频处理单元85(背景层渲染单元34或叠加层渲染单元47)响应于对终端装置1的预定操作而开始虚拟视频添加处理。

例如，在成像时，响应于用户的触摸操作而启动附加虚拟视频11的效果。因此，可以提供在用户所需的定时处激活视频效果的成像环境。

在第七实施方式中，已经描述了如下示例：视频处理单元85(3D模型管理单元33)基于对捕获视频的图像识别处理来设置虚拟视频添加处理(参见图36中的步骤ST16、图38中的步骤S152以及图33、34、35)。

例如，诸如附加虚拟视频11的类型和在视频中的位置的参数是根据捕获视频vC中的对象类型、位置、大小等确定的。可以通过人脸识别或骨骼识别将附加虚拟视频11添加到视频中的适当位置作为对象10。

第七实施方式的虚拟视频添加处理是将附加虚拟视频11添加到叠加层52中，以叠加到捕获视频vC中的对象10的视频上的处理。

例如，与图33和图34中的附加虚拟视频11a类似，附加虚拟视频11被包括在叠加层52中。因此，虚拟视频可以被添加到真实对象10的前方区域61中。

这样的虚拟视频添加处理可以通过视频处理单元85中的叠加层渲染单元47和图像合成单元48的功能来实现。

此外，第七实施方式的虚拟视频添加处理是将附加虚拟视频添加到由渲染3D背景模型5生成的背景视频vB中的处理。

例如，与图34和图35中的附加虚拟视频11b类似，附加虚拟视频11被包括在背景视频vB中。因此，虚拟视频可以被添加到对象10后侧的区域(其他区域63和64或后方区域62)。

这样的虚拟视频添加处理可以通过背景层渲染单元34的渲染来实现。特别地，通过将附加虚拟视频11添加到背景视频vB中，也会在真实对象10中发生附加虚拟视频11的反射。因此，可以容易地实现在真实对象10中反射虚拟附加虚拟视频11的更逼真的视频表示。这也意味着不需要作为后期制作的困难工作(诸如添加反射)。

这样的虚拟视频添加处理可以通过视频处理单元85中的背景层渲染单元34的功能来实现。

在第七实施方式中，视频处理单元85(区域检测单元44、背景层渲染单元34或叠加层渲染单元47)确定捕获视频vC中对象周围的区域，并且基于该确定来执行虚拟视频添加处理。

通过将前方区域61、后方区域62以及其他区域63和64确定为每帧的对象10的周边区域，可以在考虑与对象10的位置关系的情况下添加附加虚拟视频11。

在第七实施方式中，描述了如下示例：响应于终端装置1的屏幕上的触摸操作而启动诸如效果的虚拟视频添加处理。

例如，在成像时，用户触摸屏幕上的任意位置来启动效果。因此，可以向用户提供在屏幕上的任意位置和任意定时处激活视频效果的成像环境。

在第一至第七实施方式中，通过由终端装置1捕获显示装置2上显示的背景视频vB以及对象10的图像而获得的捕获视频vC被显示并输出到终端装置1的屏幕2a上。

通过使用诸如智能手机的终端装置1捕获背景视频vB和对象10的图像而获得的捕获视频vC被显示在终端装置1上，因此用户可以在视觉上识别捕获视频vC的同时执行成像。也就是说，可以使用终端装置1实现简单的虚拟制作。

此外，在将附加虚拟视频11实时添加到捕获视频vC中的情况下，还可以在由终端装置1进行捕获的同时对附加虚拟视频11进行确认。

在上述实施方式中，主要假设智能手机作为终端装置1，但是具有成像功能的任何装置都可以用作终端装置1。

例如，诸如单镜头摄像装置或便携式数码摄像装置的摄像装置可以实现为具有实施方式中描述的功能的本公开内容的信息处理装置70。特别地，通过执行高分辨率处理或者使用镜头精度高的摄像装置，可以捕获更高质量的虚拟制作视频。

此外，本公开内容的功能可以在诸如具有摄像装置的眼镜或增强现实(AR)眼镜的装置中实现。在这种情况下，容易以第一人称视点捕获摄像视频。

此外，还可以在具有摄像装置的手表装置中实现这种功能。因此，可以在不将装置握在手中的情况下执行成像。

各种显示装置也可以用作显示装置2。例如，除了电视接收器之外，还可以使用投影仪、大型平板计算机、智能手机等作为显示装置。

此外，还可以设想使用透射式显示器作为显示装置2，并且在背景层50后面放置对象12，如图39所示。在图39的示例中，作为背景层50显示的背景视频vB是部分透明的视频vBT。此外，由于显示背景视频vB的显示装置2是透射面板，因此可以看到透明视频vBT的后部。在这种情况下，对象12也被设置在后方。

因此，捕获视频vC除了包括对象10和背景视频vB外，还可以包括背景后方的对象12。

顺便提及，由于背景视频vB与实际成像地点之间的光照不同，因此作为前景的对象10的视频有可能与背景不一致。针对这种情况，可以执行如下调整。

首先，用于成像的终端装置1在转向时执行成像，并且执行光源估计。然后，根据成像地点的环境光来改变背景视频vB的亮度。通过改变成像后的整体亮度，可以将亮度大致调整到预期亮度。通过这种方式，可以根据成像地点的光照状态，将要制作的视频内容设置为预期亮度状态。

此外，在根据实施方式进行成像时，可能会出现显示装置2的屏幕2a的区域较小且成像范围有限的情况。

因此，可以设想通过无人机、推车等将显示装置2移动到终端装置1的前侧，从而使要成像的范围(视角)不从显示装置2的屏幕2a中突出来。

此外，在成像时成像范围有可能跑到显示装置2的屏幕2a外的情况下，终端装置1可以通过振动、在屏幕2a上显示警告等方式通知用户。

此外，当捕获视频vC突出到背景视频vB外时，可以通过在叠加层52上绘制背景，使突出的区域在视频上不可见。

此外，环境光可能会反射到显示装置2的屏幕2a上。

在这种情况下，当旋转显示装置2的屏幕2a以使光不被反射时，相对于终端装置1的方向会发生改变，但可以通过根据屏幕2a的旋转对显示装置2上显示的背景视频vB进行变形来应对。

在使用可以由用户单手握持的装置(例如智能手机)作为本实施方式的终端装置1的情况下，可以用另一只手握持光源或执行任意操作。因此，例如，该终端装置1也适用于单人执行成像的情况。

此外，当向诸如智能手机的终端装置1呈现捕获视频vC以外的信息时，可能会感觉到干扰，但是在这种情况下，可以与诸如手表装置或平板计算机的其他装置合作呈现信息。

此外，还可以设想在显示捕获视频vC时，基于作为终端装置1使用的装置的规格信息执行分辨率转换处理，以降低显示的分辨率。

此外，可以通过诸如耳机的音频输出装置输出音频引导信息。例如，存在如下示例：通过语音输出关于剩余成像时间、拍摄编号等的信息。

在本实施方式中，主要假设捕获运动图像，但是本公开内容的技术也适用于捕获静止图像。特别地，背景视频vB的显示和捕获视频vC的显示可以应用于在静止图像捕获模式下在快门操作的待机期间在显示装置2上显示背景视频vB并且在终端装置1上显示直通图像时的操作。

本实施方式的程序例如是用于使诸如CPU或DSP的处理器或者包括处理器的装置执行上述视频处理单元85的处理的程序。

也就是说，本实施方式的程序是可以在显示装置2和具有成像功能的终端装置1彼此相关联的状态下，由终端装置捕获对象和显示装置上所显示的视频的情况下应用的程序，并且使信息处理装置70执行生成以下视频(背景视频vB)的视频处理：通过基于显示装置2与终端装置1之间的相对位置信息RP渲染3D模型而获得该视频，并且该视频被显示在显示装置2上。

通过这样的程序，作为上述终端装置1、显示装置2或云服务器4的信息处理装置70可以由各种计算机装置实现。

这样的程序可以预先记录在HDD(作为内置在诸如计算机装置的装置中的记录介质)中，或者具有CPU的微型计算机的ROM中等等。此外，可以将这样的程序临时或永久地存储(记录)在可移动记录介质中，可移动记录介质例如软盘、光盘只读存储器(CD-ROM)、磁光盘(MO)、数字多功能光盘(DVD)、蓝光盘(注册商标)、磁盘、半导体存储器或存储卡。这样的可移动记录介质可以作为所谓的软件包来提供。

此外，这样的程序可以从可移动记录介质安装到个人计算机等中，或者可以经由诸如局域网(LAN)或互联网的网络从下载网站下载。

此外，这样的程序适用于在大范围内提供本实施方式的信息处理装置70。例如，通过将该程序下载到个人计算机、通信装置、诸如智能手机或平板计算机的便携式终端装置、移动电话、游戏装置、视频装置、个人数字助理(PDA)等，可以使这些装置充当本公开内容的信息处理装置70。

注意，本公开内容的信息处理装置包括视频处理单元，并且在本实施方式中，作为具体示例，信息处理装置70包括如图8所示的视频处理单元85。在图8的配置中，本公开内容中的视频处理单元的处理可以是由视频处理单元85执行的处理，或者可以是由视频处理单元85和CPU 71相互配合执行的处理。此外，处理可以由CPU 71执行。

注意，本说明书中描述的效果只是示例，而不受限制，并且可以提供其他效果。

注意，本技术还可以具有以下配置。

(1)

一种信息处理装置，包括：

视频处理单元，其被配置成在显示装置和具有成像功能的终端装置彼此相关联的状态下，在所述终端装置捕获对象的图像以及显示在所述显示装置上的视频的情况下，基于所述显示装置与所述终端装置之间的相对位置信息渲染3D模型，以生成要在所述显示装置上显示的视频。

(2)

根据(1)所述的信息处理装置，其中，

所述视频处理单元被设置在所述终端装置中，并且

通过用所述视频处理单元渲染所述3D模型而获得的视频被发送到所述显示装置。

(3)

根据(1)所述的信息处理装置，其中，

所述视频处理单元被设置在所述显示装置中，并且

所述视频处理单元基于从所述终端装置接收的所述相对位置信息渲染所述3D模型，以生成要显示的视频。

(4)

根据(1)所述的信息处理装置，其中，

所述视频处理单元被设置在外部装置中，所述外部装置与所述终端装置和所述显示装置两者分离，并且

所述视频处理单元基于所接收的相对位置信息渲染所述3D模型，以生成要在所述显示装置上显示的视频，并且发送所生成的视频。

(5)

根据(4)所述的信息处理装置，其中，

所述外部装置是云服务器。

(6)

根据(4)或(5)所述的信息处理装置，其中，

所述视频处理单元基于从所述终端装置接收的所述相对位置信息渲染所述3D模型，以生成要显示的视频。

(7)

根据(4)或(5)所述的信息处理装置，其中，

所述视频处理单元基于从所述显示装置接收的所述相对位置信息渲染所述3D模型，以生成要显示的视频。

(8)

根据(4)至(7)中任一项所述的信息处理装置，其中，

所述视频处理单元执行将通过渲染所述3D模型而生成的视频发送到所述终端装置的处理。

(9)

根据(4)至(7)中任一项所述的信息处理装置，其中，

所述视频处理单元执行将通过渲染所述3D模型而生成的视频发送到所述显示装置的处理。

(10)

根据(1)至(9)中任一项所述的信息处理装置，其中，

所述视频处理单元执行虚拟视频添加处理，在所述虚拟视频添加处理中，附加虚拟视频与根据所述3D模型获得的视频以及所述对象的视频一起被包括捕获视频中，其中，通过用所述终端装置捕获在所述显示装置上显示的视频以及所述对象的图像而获得所述捕获视频。

(11)

根据(10)所述的信息处理装置，其中，

所述视频处理单元在由所述终端装置进行捕获时对所述视频的每一帧的处理中执行所述虚拟视频添加处理，在所述虚拟视频添加处理中将所述附加虚拟视频包括在所述捕获视频中。

(12)

根据(10)或(11)所述的信息处理装置，其中，

所述视频处理单元响应于对所述终端装置的预定操作，开始所述虚拟视频添加处理。

(13)

根据(10)至(12)中任一项所述的信息处理装置，其中，

所述视频处理单元基于对所述捕获视频的图像识别处理，设置所述虚拟视频添加处理。

(14)

根据(10)至(13)中任一项所述的信息处理装置，其中，

所述虚拟视频添加处理是在所述捕获视频中将所述附加虚拟视频添加到层的处理，其中所述层要被叠加在所述对象的视频上。

(15)

根据(10)至(14)中任一项所述的信息处理装置，其中，

所述虚拟视频添加处理是将所述附加虚拟视频添加到通过渲染所述3D模型而生成的在所述显示装置上显示的视频的处理。

(16)

根据(10)至(15)中任一项所述的信息处理装置，其中，

所述视频处理单元确定所述捕获视频中的对象外围区域，并且基于所述确定来执行所述虚拟视频添加处理。

(17)

根据(10)至(16)中任一项所述的信息处理装置，其中，

通过用所述终端装置捕获在所述显示装置上显示的视频以及所述对象的图像而获得的所述捕获视频被在所述终端装置的显示单元上显示并输出，

所述显示单元包括作为输入单元的屏幕，并且

所述终端装置响应于对所述输入单元的触摸操作而开始所述虚拟视频添加处理。

(18)

根据(1)至(16)中任一项所述的信息处理装置，其中，

通过用所述终端装置捕获在所述显示装置上显示的视频以及所述对象的图像而获得的捕获视频被在所述终端装置上显示并输出。

(19)

一种视频处理方法，包括：

由信息处理装置执行以下视频处理：在显示装置和具有成像功能的终端装置彼此相关联的状态下，在所述终端装置捕获对象的图像以及显示在所述显示装置上的视频的情况下，基于所述显示装置与所述终端装置之间的相对位置信息渲染3D模型，以生成要在所述显示装置上显示的视频。

(20)

一种使信息处理装置执行以下视频处理的程序：

在显示装置和具有成像功能的终端装置彼此相关联的状态下，在所述终端装置捕获对象的图像以及显示在所述显示装置上的视频的情况下，基于所述显示装置与所述终端装置之间的相对位置信息渲染3D模型，以生成要在所述显示装置上显示的视频。

附图标记列表

1终端装置

2显示装置

3AR标记

4云服务器

5 3D背景模型

10、12对象

11、11a、11b附加虚拟视频

16无效区域帧

31显示尺寸检测单元

32相对位置检测单元

33 3D模型管理单元

34背景层渲染单元

35、36通信控制单元

37显示控制单元

38成像单元

39显示控制单元

40通信控制单元

44区域检测单元

45输入操作接收单元

46图像识别处理单元

47叠加层渲染单元

48图像合成单元

49滤镜处理单元

70信息处理装置

71CPU

85视频处理单元

vB背景视频

vC捕获视频

RP相对位置信息

Claims (20)

1.一种信息处理装置，包括：

视频处理单元，其被配置成在显示装置和具有成像功能的终端装置彼此相关联的状态下，在所述终端装置捕获对象的图像以及显示在所述显示装置上的视频的情况下，基于所述显示装置与所述终端装置之间的相对位置信息渲染3D模型，以生成要在所述显示装置上显示的视频。

2.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元被设置在所述终端装置中，并且

通过用所述视频处理单元渲染所述3D模型而获得的视频被发送到所述显示装置。

3.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元被设置在所述显示装置中，并且

所述视频处理单元基于从所述终端装置接收的所述相对位置信息渲染所述3D模型，以生成要显示的视频。

4.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元被设置在外部装置中，所述外部装置与所述终端装置和所述显示装置两者分离，并且

所述视频处理单元基于所接收的相对位置信息渲染所述3D模型，以生成要在所述显示装置上显示的视频，并且发送所生成的视频。

5.根据权利要求4所述的信息处理装置，其中，

所述外部装置是云服务器。

6.根据权利要求4所述的信息处理装置，其中，

所述视频处理单元基于从所述终端装置接收的所述相对位置信息渲染所述3D模型，以生成要显示的视频。

7.根据权利要求4所述的信息处理装置，其中，

所述视频处理单元基于从所述显示装置接收的所述相对位置信息渲染所述3D模型，以生成要显示的视频。

8.根据权利要求4所述的信息处理装置，其中，

所述视频处理单元执行将通过渲染所述3D模型而生成的视频发送到所述终端装置的处理。

9.根据权利要求4所述的信息处理装置，其中，

所述视频处理单元执行将通过渲染所述3D模型而生成的视频发送到所述显示装置的处理。

10.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元执行虚拟视频添加处理，在所述虚拟视频添加处理中，附加虚拟视频与根据所述3D模型获得的视频以及所述对象的视频一起被包括在捕获视频中，其中，通过用所述终端装置捕获在所述显示装置上显示的视频以及所述对象的图像而获得所述捕获视频。

11.根据权利要求10所述的信息处理装置，其中，

所述视频处理单元在由所述终端装置进行捕获时对所述视频的每一帧的处理中执行所述虚拟视频添加处理，在所述虚拟视频添加处理中将所述附加虚拟视频包括在所述捕获视频中。

12.根据权利要求10所述的信息处理装置，其中，

所述视频处理单元响应于对所述终端装置的预定操作，开始所述虚拟视频添加处理。

13.根据权利要求10所述的信息处理装置，其中，

所述视频处理单元基于对所述捕获视频的图像识别处理，设置所述虚拟视频添加处理。

14.根据权利要求10所述的信息处理装置，其中，

所述虚拟视频添加处理是在所述捕获视频中将所述附加虚拟视频添加到层的处理，其中所述层要被叠加在所述对象的视频上。

15.根据权利要求10所述的信息处理装置，其中，

所述虚拟视频添加处理是将所述附加虚拟视频添加到通过渲染所述3D模型而生成的在所述显示装置上显示的视频的处理。

16.根据权利要求10的信息处理装置，其中，

所述视频处理单元确定所述捕获视频中的对象外围区域，并且基于所述确定来执行所述虚拟视频添加处理。

17.根据权利要求10所述的信息处理装置，其中，

通过用所述终端装置捕获在所述显示装置上显示的视频以及所述对象的图像而获得的所述捕获视频被在所述终端装置的显示单元上显示并输出，

所述显示单元包括作为输入单元的屏幕，并且

所述终端装置响应于对所述输入单元的触摸操作而开始所述虚拟视频添加处理。

18.根据权利要求1所述的信息处理装置，其中，

通过用所述终端装置捕获在所述显示装置上显示的视频以及所述对象的图像而获得的捕获视频被在所述终端装置上显示并输出。

19.一种视频处理方法，包括：

由信息处理装置执行以下视频处理：在显示装置和具有成像功能的终端装置彼此相关联的状态下，在所述终端装置捕获对象的图像以及显示在所述显示装置上的视频的情况下，基于所述显示装置与所述终端装置之间的相对位置信息渲染3D模型，以生成要在所述显示装置上显示的视频。

20.一种使信息处理装置执行以下视频处理的程序：

在显示装置和具有成像功能的终端装置彼此相关联的状态下，在所述终端装置捕获对象的图像以及显示在所述显示装置上的视频的情况下，基于所述显示装置与所述终端装置之间的相对位置信息渲染3D模型，以生成要在所述显示装置上显示的视频。