CN117941340A - 信息处理装置、视频处理方法和程序 - Google Patents

Abstract

提供了一种信息处理装置，其包括：视频处理单元，其对通过捕获显示装置的显示视频和对象获得的捕获视频执行使用掩模信息确定的显示视频区域的视频处理，或使用掩模信息确定的对象视频区域的视频处理，所述掩模信息用于分开捕获视频中的显示视频和对象视频。

Description

信息处理装置、视频处理方法和程序

技术领域

本技术涉及被实现为信息处理装置、视频处理方法和程序的视频处理技术。

背景技术

作为用于制作诸如电影的视频内容的成像方法，已知其中表演者用所谓的绿色背景执行表演并且然后合成背景视频的技术。

此外，近年来，代替绿色背景拍摄，已经开发了这样的成像系统，在该成像系统中，背景视频被显示在设置有大型显示装置的工作室中的显示装置上，并且表演者在背景视频的前方表演，从而使得能够对表演者成像并且可以对背景成像，并且该成像系统被称为所谓的虚拟制作、摄像机内VFX或LED墙虚拟制作。

下面的专利文献1公开了一种对在背景视频的前方表演的表演者进行成像的系统的技术。

此外，下面的专利文献2公开了一种在对大型显示装置成像的情况下为了防止摩尔纹(moire)而设置具有膜形式等的光学构件的技术。

引用列表

专利文献

专利文献1：美国专利申请公开第2020/0145644A号

专利文献2：JP 2014-202816 A

发明内容

本发明要解决的问题

在大型显示装置上显示背景视频，然后用摄像装置捕获表演者和背景视频，使得不需要准备要单独合成的背景视频，并且表演者和工作人员可以直观地了解场景，并且确定表演以及表演的好坏等，这与绿色背景拍摄相比有更多优点。然而，当显示的背景视频还被摄像装置捕获时，可能在所捕获的视频中的背景视频部分中出现诸如摩尔纹的各种伪影。也就是说，视频可能受到非预期的影响。

因此，本公开内容提出了一种能够应对在显示装置上显示的视频和对象被同时成像的情况下所捕获的视频受到的影响的视频处理技术。

问题的解决方案

根据本技术的信息处理装置包括视频处理单元，该视频处理单元对通过捕获显示装置的显示视频和对象而获得的捕获视频执行使用掩模信息确定的显示视频区域的视频处理，或者使用掩模信息确定的对象视频区域的视频处理，所述掩模信息用于分开捕获视频中的显示视频和对象视频。

例如，在成像时在显示装置上显示背景视频等，而诸如人或物品的真实对象与显示视频一起被捕获的情况下，显示装置的显示视频和对象出现在捕获视频中。在该捕获视频中，通过使用掩模信息划分其中映入显示视频的显示视频区域和其中映入对象的对象视频区域，并单独地执行视频处理。

附图说明

图1是本技术的实施方式的成像系统的说明图。

图2是根据实施方式的成像系统的摄像装置位置的背景视频的说明图。

图3是根据实施方式的成像系统的摄像装置位置的背景视频的说明图。

图4是实施方式的视频内容制作步骤的说明图。

图5是实施方式的成像系统的框图。

图6是实施方式的成像系统的背景视频生成的流程图。

图7是实施方式中使用多个摄像装置的成像系统框图。

图8是实施方式的信息处理装置的框图。

图9是捕获背景视频的情况下的摩尔纹的说明图。

图10是实施方式的掩模的说明图。

图11是实施方式的掩模所确定的背景区域和前景区域的说明图。

图12是实施方式的经处理捕获视频的说明图。

图13是SWIR摄像装置的说明图。

图14是实施方式的摄像装置的说明图。

图15是实施方式的摄像装置的另一示例的说明图。

图16是第一实施方式的视频处理的流程图。

图17是实施方式的摩尔纹应对处理的流程图。

图18是实施方式的摩尔纹应对处理的流程图。

图19是实施方式的摩尔纹应对处理的流程图。

图20是第二实施方式的视频处理的流程图。

图21是边界的说明图。

图22是图像的缺陷的说明图。

图23是根据第三实施方式的视频处理的流程图。

图24是根据第四实施方式的成像时的处理的流程图。

图25是根据第四实施方式的成像后的视频处理的流程图。

图26是实施方式的背景视频的显示面板的配置示例的说明图。

具体实施方式

下文中，将按照以下顺序描述实施方式。

<1.成像系统和内容制作>

<2.信息处理装置的配置>

<3.适用于虚拟制作的视频处理>

<4.第一实施方式>

<5.第二实施方式>

<6.第三实施方式>

<7.第四实施方式>

<8.背景视频的显示面板的配置示例>

<9.总结和修改示例>

注意，在本公开内容中，“视频”或“图像”包括静止图像和动态图像二者。此外，“视频”不仅指在显示器上显示视频数据的状态，还指不在显示器上显示视频数据的状态下的视频数据。

<1.成像系统和视频内容制作>

将描述可以应用本公开内容的技术的成像系统和视频内容的制作。

图1示意性地示出成像系统500。成像系统500是执行作为虚拟制作的成像的系统，并且在图中示出了设置在成像工作室中的设备的一部分。

在成像工作室中，提供了表演者510在其中执行表演(例如，演技)的表演区域501。在表演区域501的至少背面、左侧面和右侧面、以及上面设置有大型显示装置。虽然显示装置的装置类型不受限制，但本图示出了其中使用LED墙505作为大型显示装置示例的示例。

一个LED墙505通过竖直地和水平地连接和设置多个LED面板506而形成大型面板。LED墙505的尺寸不受特别限制，仅需要是作为在对表演者510成像时用于显示背景的尺寸所必需或足够的尺寸即可。

在表演区域501的诸如上方或侧面的必要位置处设置必要数量的灯580，以照亮表演区域501。

例如，在表演区域501的附近，设置用于对电影或其他视频内容成像的摄像装置502。摄像装置操作员512可以移动摄像装置502的位置，并可以执行成像方向、视角等操作。当然，也可以设想通过远程控制来执行摄像装置502的移动、视角操作等。此外，摄像装置502可以自动地或自主地移动或改变视角。出于该原因，可以将摄像装置502安装在摄像装置平台或移动体上。

摄像装置502共同地捕获表演区域501中的表演者510和LED墙505上显示的视频。例如，通过在LED墙505上显示作为背景视频vB的场景，可以捕获到与表演者510实际存在于场景的地点并在场景的地点处表演的情况下的视频类似的视频。

输出监视器503设置在表演区域501附近。摄像装置502捕获的视频作为监视器视频vM实时显示在输出监视器503上。因此，制作视频内容的导演和工作人员可以确认所捕获的视频。

如上所述，与绿色背景拍摄相比，在成像工作室中的LED墙505的背景中对表演者510的表演进行成像的成像系统500具有各种优点。

例如，在绿色背景拍摄的情况下，表演者难以想象背景和场景的情况，这可能影响表演。另一方面，通过显示背景视频vB，表演者510可以容易地进行表演，并提高表演质量。此外，导演和其他工作人员也容易确定表演者510的表演是否与背景或场景的情况相匹配。

此外，与绿色背景拍摄的情况下相比，成像后的后期制作更高效。这是因为可能不需要所谓的色度键合成，或者可能不需要颜色校正或反射合成。此外，即使在成像时需要色度键合成的情况下，也不需要添加背景屏幕，这也有助于提高效率。

在绿色背景拍摄的情况下，表演者的身体、服饰和物体上绿颜色增加，因此其校正是必要的。此外，在绿色背景拍摄的情况下，在存在诸如玻璃、镜子或雪穹的反射周围场景的物体的情况下，则需要生成和合成反射的图像，但这是麻烦的工作。

另一方面，在由图1中的成像系统500成像的情况下，不会增加绿色的色调，因此无需校正。此外，通过显示背景视频vB，可以自然地获得并捕获诸如玻璃的实际物体上的反射，因此也无需合成反射视频。

此处，将参照图2和图3描述背景视频vB。即使背景视频vB显示在LED墙505上并与表演者510一起捕获，仅通过简单地显示背景视频vB，会使所捕获视频的背景变得不自然。这是因为三维的且具有深度的背景实际上被以平面方式用作背景视频vB。

例如，摄像装置502可以从各个方向捕获表演区域501中的表演者510，并且还可以执行变焦操作。表演者510也不会停在一个地方。那么，表演者510的背景的实际外观应根据摄像装置502的位置、成像方向、视角等变化，但无法在作为平面视频的背景视频vB中获得这种变化。因此，改变背景视频vB，使背景与包括视差的实际外观类似。

图2示出了其中摄像装置502从图中左侧的位置对表演者510成像的状态，图3示出了其中摄像装置502从图中右侧的位置对表演者510成像的状态。在每幅图中，背景视频vB中示出了捕获区域视频vBC。

注意，背景视频vB中除捕获区域视频vBC之外的部分被称为“外截头锥体”，并且捕获区域视频vBC被称为“内截头锥体”。

此处描述的背景视频vB指示作为包括捕获区域视频vBC(内截头锥体)的背景显示的整个视频。

捕获区域视频vBC(内截头锥体)的范围与LED墙505的显示表面中摄像装置502实际成像的范围对应。那么，捕获区域视频vBC是被变换以表达当将摄像装置502的位置设置为与摄像装置502的位置、成像方向、视角等对应的视点时实际观看的场景的视频。

具体地，准备3D背景数据，3D背景数据是作为背景的3D(三维)模型，并基于摄像装置502相对于3D背景数据的视点位置实时地顺序渲染捕获区域视频vBC。

注意，捕获区域视频vBC的范围实际上是比摄像装置502当时成像的范围稍宽的范围。这是为了当通过摄像装置502的平移、倾斜、变焦等稍微改变成像范围时，防止外截头锥体的视频由于绘制延迟而被反射，并且避免来自外截头锥体的视频的衍射光的影响。

以这种方式实时渲染的捕获区域视频vBC的视频与外截头锥体的视频合成。背景视频vB中使用的外截头锥体的视频是基于3D背景数据预先渲染的，该视频作为实时渲染的捕获区域视频vBC结合到外截头锥体的视频的一部分中以生成整个背景视频vB。

因此，即使摄像装置502前后或左右移动，或执行变焦操作，与表演者510一起成像的范围的背景也被成像为与伴随摄像装置502的实际移动的视点位置变化对应的视频。

如图2和图3所示，包括表演者510和背景的监视器视频vM显示在输出监视器503上，并且这就是捕获视频。监视器视频vM的背景是捕获区域视频vBC。也就是说，捕获视频中包括的背景是实时渲染的视频。

如上所述，在实施方式的成像系统500中，包括捕获区域视频vBC的背景视频vB是实时变化的，使得不仅可以以平面方式简单地显示背景视频vB，还可以捕获类似于在位置上实际成像情况下的视频。

注意，通过仅实时渲染作为由摄像装置502映入的范围的捕获区域视频vBC，而不是显示在LED墙505上的整个背景视频vB，也可以减少系统的处理负荷。

此处，将描述制作作为虚拟制作的视频内容的过程，其中，由成像系统500执行成像。如图4所示，视频内容制作过程大致分为三个阶段。这些阶段是资产创建ST1、制作ST2和后期制作ST3。

资产创建ST1是创建用于显示背景视频vB的3D背景数据的过程。如上所述，背景视频vB是通过在成像时使用3D背景数据实时执行渲染而生成的。出于该目的，提前制作作为3D模型的3D背景数据。

制作3D背景数据的方法的示例包括全计算机图形(CG)、点云数据(Point Cloud)扫描和摄影测量。

全CG是一种利用计算机图形制作3D模型的方法。在这三种方法中，该方法需要最多的工时和时间，但优选地在期望不现实的视频、在实践中难以捕获的视频等作为背景视频vB的情况下使用。

点云数据扫描是这样一种方法：通过使用例如LiDAR从某一位置执行距离测量，由摄像装置从同一位置捕获360度的图像，并将由摄像装置捕获的颜色数据放置在由LiDAR测量的点上，从而生成基于点云数据的3D模型。与全CG相比，可以在短时间内创建3D模型。此外，容易制作出具有比摄影测量的清晰度更高的清晰度的3D模型。

摄影测量是一种用于分析来自通过从多个视点对对象成像所获得的二维图像的视差信息以获得尺寸和形状的摄影测量技术。可以在短时间内执行3D模型创建。

注意，由LiDAR获取的点云信息可以用于摄影测量的3D数据生成。

在资产创建ST1中，例如使用这些方法创建作为3D背景数据的3D模型。当然，可以组合使用上述方法。例如，由点云数据扫描或摄影测量制作的3D模型的一部分由CG制作并合成。

制作ST2是在如图1所示的成像工作室中执行成像的过程。这种情况中的要素技术包括实时渲染、背景显示、摄像装置跟踪、照明控制等。

参照图2和图3所描述的，实时渲染是指用于在每个时间点(背景视频vB的每一帧)处获得捕获区域视频vBC的渲染处理。这是为了从与摄像装置502等在每个时间点处的位置对应的视点渲染在资产创建ST1中创建的3D背景数据。

以这种方式，执行实时渲染以生成每个帧的包括捕获区域视频vBC的背景视频vB，并将背景视频vB显示在LED墙505上。

执行摄像装置跟踪以获得摄像装置502的成像信息，并跟踪摄像装置502在每个时间点处的位置信息、成像方向、视角等。通过将包括这些的成像信息与每个帧相关联地提供给渲染引擎，可以执行根据摄像装置502的视点位置等的实时渲染。

成像信息是作为元数据与视频链接或相关联的信息。

假设成像信息包括摄像装置502在每个帧定时处的位置信息、摄像装置的方向、视角、焦距、F数(光圈值)、快门速度、镜头信息等。

照明控制用于控制成像系统500中的照明的状态，具体地，用于控制灯580的光量、发射颜色、照射方向等。例如，根据待成像的场景的时间设置、地点设置等执行照明控制。

后期制作ST3指示成像后执行的各种处理。例如，执行视频校正、视频调整、剪辑编辑、视频效果等。

作为视频校正，可以执行色域转换、摄像装置与材料之间的颜色匹配等。

作为视频调整，可以执行颜色调整、亮度调整、对比度调整等。

作为剪辑编辑，可以执行剪辑的剪切、顺序的调整、时间长度的调整等。

作为视频效果，存在执行CG视频或特效视频等的合成的情况。

接下来，将描述在制作ST2中使用的成像系统500的配置。

图5是示出已经参照图1、图2和图3描述了其概要的成像系统500的配置的框图。

图5所示的成像系统500包括上述LED墙505(包括多个LED面板506)、摄像装置502、输出监视器503和灯580。如图5所示，成像系统500还包括渲染引擎520、资产服务器530、同步发生器540、操作监视器550、摄像装置跟踪器560、LED处理器570、照明控制器581和显示控制器590。

LED处理器570被设置成与LED面板506对应，并执行对应LED面板506的视频显示驱动。

同步发生器540生成用于使LED面板506的显示视频的帧定时与摄像装置502的成像的帧定时同步的同步信号，并将同步信号提供给相应的LED处理器570和摄像装置502。然而，这并不妨碍将来自同步发生器540的输出提供给渲染引擎520。

摄像装置跟踪器560生成每个帧定时处摄像装置502的成像信息，并将成像信息提供给渲染引擎520。例如，摄像装置跟踪器560检测摄像装置502相对于LED墙505的位置或预定参考位置的位置信息以及摄像装置502的成像方向作为成像信息之一，并将他们提供给渲染引擎520。

作为摄像装置跟踪器560的具体检测方法，存在一种方法：在天花板上随机设置反射器，并根据从摄像装置502侧发射到反射器的红外光的反射光来检测位置。此外，作为检测方法，还存在一种方法：通过安装在摄像装置502的平台或摄像装置502的主体上的陀螺仪的信息或摄像装置502的所捕获视频的图像识别来估计摄像装置502的自身位置。

此外，可以将视角、焦距、F值、快门速度、镜头信息等作为成像信息从摄像装置502提供给渲染引擎520。

资产服务器530是可以将在资产创建ST1中创建的3D模型(即3D背景数据)存储在记录介质上并根据需要读取3D模型的服务器。也就是说，资产服务器用作3D背景数据的数据库(DB)。

渲染引擎520执行生成要在LED墙505上显示的背景视频vB的处理。出于该原因，渲染引擎520从资产服务器530读取所需的3D背景数据。然后，渲染引擎520生成在背景视频vB中使用的外截头锥体的视频作为通过以从预先指定的空间坐标观看的形式渲染3D背景数据而获得的视频。

此外，作为对每一帧的处理，渲染引擎520使用从摄像装置跟踪器560或摄像装置502提供的成像信息，相对于3D背景数据指定视点位置等，并渲染捕获区域视频vBC(内截头锥体)。

此外，渲染引擎520将针对每一帧渲染的捕获区域视频vBC与预先生成的外截头锥体合成，以生成背景视频vB作为一帧的视频数据。然后，渲染引擎520将所生成的一帧的视频数据发送至显示控制器590。

显示控制器590生成通过将一帧的视频数据划分成要在各个LED面板506上显示的视频部分而获得的划分视频信号nD，并将划分视频信号nD发送至各个LED面板506。此时，显示控制器590可以根据显示单元之间的显色等的个体差异、制造误差等执行校准。

注意，可以不提供显示控制器590，而渲染引擎520可以执行这些过程。也就是说，渲染引擎520可以生成划分视频信号nD、执行校准并将划分视频信号nD发送至各个LED面板506。

通过LED处理器570基于各个接收的划分视频信号nD驱动各个LED面板506，在LED墙505上显示整个背景视频vB。背景视频vB包括根据摄像装置502等在该时间处的位置渲染的捕获区域视频vBC。

通过这种方式，摄像装置502可以捕获表演者510的表演，包括LED墙505上显示的背景视频vB。通过摄像装置502的成像而获得的视频被记录在摄像装置502或外部记录装置(未图示)中的记录介质上，并实时提供给输出监视器503并显示为监视器视频vM。

操作监视器550显示用于控制渲染引擎520的操作图像vOP。工程师511可以在查看操作图像vOP的同时执行与背景视频vB的渲染有关的必要设置和操作。

照明控制器581控制灯580的发射强度、发射颜色、照射方向等。例如，照明控制器581可以与渲染引擎520异步地控制灯580，或者可以与成像信息和渲染处理同步地执行控制。因此，照明控制器581可以根据来自渲染引擎520、主控制器(未图示)等的指令执行光发射控制。

图6示出了具有这样的配置的成像系统500中的渲染引擎520的处理示例。

在步骤S10中，渲染引擎520从资产服务器530读取该时间要使用的3D背景数据，并在内部工作区域中开发3D背景数据。

然后，生成用作外截头锥体的视频。

此后，渲染引擎520在背景视频vB的每个帧定时处重复从步骤S30到步骤S60的处理，直到在步骤S20中确定基于所读取的3D背景数据的背景视频vB的显示结束。

在步骤S30中，渲染引擎520获取来自摄像装置跟踪器560和摄像装置502的成像信息。因此，确认要反映在当前帧中的摄像装置502的位置和状态。

在步骤S40中，渲染引擎520基于成像信息执行渲染。也就是说，基于要反映在当前帧中的摄像装置502的位置、成像方向、视角等指定相对于3D背景数据的视点位置，并执行渲染。此时，还可以执行反映焦距、F值、快门速度、镜头信息等的视频处理。通过这种渲染，可以获得作为捕获区域视频vBC的视频数据。

在步骤S50中，渲染引擎520执行合成外截头锥体(其为整个背景视频)和反映摄像装置502的视点位置的视频(即，捕获区域视频vBC)的处理。例如，处理是用于将通过反映摄像装置502的视点而生成的视频与在特定参考视点处渲染的整个背景的视频进行合成。因此，生成了显示在LED墙505上的一帧的背景视频vB(即，包括捕获区域视频vBC的背景视频vB)。

步骤S60中的处理由渲染引擎520或显示控制器590执行。在步骤S60中，渲染引擎520或显示控制器590生成通过将一帧的背景视频vB划分成要在各个LED面板506上显示的视频而获得的划分视频信号nD。可以执行校准。然后，将各个划分视频信号nD发送至各个LED处理器570。

通过上述处理，在每个帧定时处，在LED墙505上显示包括摄像装置502捕获的捕获区域视频vBC的背景视频vB。

顺便提及，图5中仅示出一个摄像装置502，但可以由多个摄像装置502执行成像。图7示出了在使用多个摄像装置502a和502b的情况下的配置示例。摄像装置502a和502b可以独立地执行表演区域501中的成像。此外，摄像装置502a和502b与LED处理器570之间的同步由同步发生器540保持。

输出监视器503a和503b被设置成与摄像装置502a和502b对应，并被配置成分别将由相应摄像装置502a和502b捕获的视频作为监视器视频vMa和vMb显示。

此外，摄像装置跟踪器560a和560b分别被设置成与摄像装置502a和502b对应，并分别检测对应摄像装置502a和502b的位置和成像方向。来自摄像装置502a和摄像装置跟踪器560a的成像信息以及来自摄像装置502b和摄像装置跟踪器560b的成像信息被发送至渲染引擎520。

渲染引擎520可以使用摄像装置502a侧或摄像装置502b侧的成像信息执行渲染以获得每帧的背景视频vB。

注意，虽然图7示出了使用两个摄像装置502a和502b的示例，但也可以使用三个或更多个摄像装置502执行成像。

然而，在使用多个摄像装置502的情况下，存在与每个摄像装置502对应的捕获区域视频vBC干扰的情况。例如，在图7所示的使用两个摄像装置502a和502b的示例中，示出了与摄像装置502a对应的捕获区域视频vBC，但在使用摄像装置502b的视频的情况下，也需要与摄像装置502b对应的捕获区域视频vBC。当简单地显示与摄像装置502a和502b中的每一个对应的捕获区域视频vBC时，它们会相互干扰。因此，需要对捕获区域视频vBC的显示进行设计。

<2.信息处理装置的配置>

接下来，将参照图8描述可以用于资产创建ST1、制作ST2和后期制作ST3的信息处理装置70的配置示例。

信息处理装置70是能够执行信息处理特别是视频处理的装置(例如计算机装置)。具体地，假设个人计算机、工作站、诸如智能电话和平板电脑的便携式终端装置、视频编辑装置等作为信息处理装置70。此外，信息处理装置70可以是被配置为云计算中的服务器装置或运算装置的计算机装置。

在本实施方式的情况下，具体地，信息处理装置70可以用作在资产创建ST1中创建3D模型的3D模型创建装置。

此外，信息处理装置70可以用作构成在制作ST2中使用的成像系统500的渲染引擎520。此外，信息处理装置70还可以用作资产服务器530。

此外，信息处理装置70还可以用作在后期制作ST3中执行各种类型的视频处理的视频编辑装置。

图8所示的信息处理装置70的CPU 71根据存储在非易失性存储单元74(例如，ROM72或例如电可擦除可编程只读存储器(EEP-ROM))中的程序或从存储单元79加载到RAM 73中的程序执行各种处理。RAM 73还适当地存储CPU 71执行各种类型处理所需的数据等。

视频处理单元85被配置为执行各种类型的视频处理的处理器。例如，该处理器是能够执行3D模型生成处理、渲染、DB处理、视频编辑处理等中的任何一个或多种类型处理的处理器。

视频处理单元85可以由与CPU 71分开的例如CPU、图形处理单元(GPU)、图形处理单元上的通用计算(GPGPU)、人工智能(AI)处理器等来实现。

注意，视频处理单元85可以作为CPU 71中的功能提供。

CPU 71、ROM 72、RAM 73、非易失性存储单元74和视频处理单元85经由总线83彼此连接。输入/输出接口75也连接至总线83。

包括操作元件和操作装置的输入单元76连接至输入/输出接口75。例如，作为输入单元76，假设各种类型的操作元件和操作装置，例如，键盘、鼠标、按键、拨盘、触摸屏、触摸板、遥控器等。

输入单元76检测用户操作，并且由CPU 71解释与输入操作对应的信号。

还假设麦克风作为输入单元76。用户发出的声音也可以作为操作信息被输入。

此外，包括液晶显示器(LCD)、有机电致发光(EL)面板等的显示单元77以及包括扬声器等的音频输出单元78整体或单独地连接至输入/输出接口75。

显示单元77是执行各种类型显示的显示单元，并且例如包括设置在信息处理装置70的壳体中的显示装置、连接至信息处理装置70的单独显示装置等。

显示单元77基于来自CPU 71的指令在显示屏幕上显示各种图像、操作菜单、图标、消息等，即，显示为图形用户界面(GUI)。

在某些情况下，包括硬盘驱动器(HDD)、固态存储器等的存储单元79或通信单元80连接至输入/输出接口75。

存储单元79可以存储各种数据和程序。也可以在存储单元79中配置DB。

例如，在信息处理装置70用作资产服务器530的情况下，可以使用存储单元79构建存储3D背景数据组的DB。

通信单元80经由诸如互联网的传输路径、与诸如外部DB、编辑装置和信息处理装置的各种装置的有线/无线通信、总线通信等执行通信处理。

例如，在信息处理装置70用作渲染引擎520的情况下，通信单元80可以访问作为资产服务器530的DB，并接收来自摄像装置502或摄像装置跟踪器560的成像信息。

此外，在信息处理装置70用于后期制作ST3的情况下，通信单元80也可以访问作为资产服务器530的DB。

驱动器81也根据需要连接至输入/输出接口75，并适当地安装诸如磁盘、光盘、磁光盘、半导体存储器等的可移除记录介质82。

驱动器81可以从可移除记录介质82中读取视频数据、各种计算机程序等。所读取的数据存储在存储单元79中，并且数据中包括的视频和音频由显示单元77和音频输出单元78输出。此外，根据需要，从可移除记录介质82中读取的计算机程序等被安装在存储单元79中。

例如，在信息处理装置70中，可以通过通信单元80或可移除记录介质82经由网络通信安装用于本实施方式的处理的软件。替选地，也可以将软件预先存储在ROM 72、存储单元79等中。

<3.适用于虚拟制作的视频处理>

将描述根据本实施方式的适用于虚拟制作的视频处理。

由上述虚拟制作成像系统500的摄像装置502捕获的视频被称为“捕获视频vC”。通常地，包括在捕获视频vC的视频中的被摄体的范围与监视器视频vM中的被摄体的范围相似。

然后，通过摄像装置502对诸如表演者510的对象和LED墙505的背景视频vB进行成像，来获得捕获视频vC。

本实施方式的视频处理通过使用掩模信息(稍后描述的图11中的掩模MK)来基本上将捕获视频vC的背景区域ARb和前景区域ARf(稍后参照图10描述)分开。然后，执行用于背景区域ARb的视频处理或用于前景区域ARf的视频处理。

背景区域ARb是其中背景视频vB出现在捕获视频vC中的视频内区域。从上述描述可以理解，背景视频vB的捕获区域视频vBC实际上反映在捕获视频vC中。

前景区域ARf是其中充当前景的对象出现在捕获视频vC中的视频内区域。例如，该区域是其中显示实际存在的被摄体(诸如作为表演者510的人或物体)的区域。

在捕获视频vC中，背景区域ARb和前景区域ARf被清楚地分开，并单独地执行视频处理。

视频处理的具体示例包括摩尔纹减少处理、视频校正处理等。

首先，将描述这种情况。如上所述，当使用LED墙505作为背景执行成像时，假设以下情况。

-通过捕获LED墙505上显示的背景视频vB，可能在捕获视频vC中出现摩尔纹。

-当对LED墙505上显示的背景视频vB进行成像时，捕获视频vC中可能出现背景的一部分的缺陷或噪声。例如，在这种情况下，需要在成像后执行诸如拟合CG图像的校正。

将描述摩尔纹的生成。图9示意性地示出了在捕获视频vC中生成摩尔纹(干涉条纹)M的状态。

可以通过例如将摩尔纹消除滤波器附接至LED墙505来避免这种摩尔纹M的出现，但成本高昂。更简单地，可以通过在稍微散焦状态下执行成像以使视频模糊，或在成像后对捕获视频vC上的视频执行模糊处理来减少(减少或消除)摩尔纹M。

然而，通过这样做，甚至是诸如表演者510的真实对象也会变成模糊的视频，这并不是可以总是应用的方法。

例如，为了应对这种情况，在本实施方式中，可以分开捕获视频vC的背景区域ARb和前景区域ARf并对他们进行处理。

例如，针对图9所示的捕获视频vC的一帧生成图10所示的掩模MK。这是用于在捕获视频vC的一帧内分开捕获对象的区域和LED墙505的视频的区域的信息。

通过将图10所示的掩模MK应用到图9所示的帧中，可以确定背景区域ARb和前景区域ARf，如图11所示。在图11中，为便于描述，用粗虚线指示背景区域ARb和前景区域ARf之间的边界。

例如，当以这种方式指定背景区域ARb时，仅对背景区域ARb执行作为例如低通滤波器(LPF)处理等的摩尔纹减少处理。

然后，如图12所示，可以获得其中如图12所示摩尔纹M被去除(或减少)的处理的捕获视频vCR。在这种情况下，前景区域ARf不受摩尔纹减少处理的影响。

以上是摩尔纹减少的示例，但例如，也存在期望仅校正或编辑背景区域ARb的情况、期望减少前景区域ARf的摩尔纹的情况、期望校正或编辑前景区域ARf的情况等。另外，在这种情况下，通过可以使用掩模MK分开背景区域ARb和前景区域ARf，使得仅前景区域ARf或仅背景区域ARb的视频处理变得可能。

此处，将描述用于生成掩模MK的配置示例。

在本实施方式中，使用短波长红外(SWIR)摄像装置(红外短波长摄像装置)来生成掩模MK。通过使用SWIR摄像装置，可以将光源急剧变化的LED墙505的视频与作为前景的被摄体的视频分开。

图13的A示出了可以由RGB摄像装置、SWIR摄像装置和IR摄像装置(红外光摄像装置)捕获的波长带。

例如，RGB摄像装置是对波长带为380nm至780nm的可见光进行成像的摄像装置。通常地，RGB摄像装置用作用于获得捕获视频vC的摄像装置502。

IR摄像装置是对800nm至900nm的近红外光进行成像的摄像装置。

SWIR摄像装置的示例包括以下类型(a)、(b)和(c)。

(a)能够对900nm至2500nm的波长带成像的摄像装置

(b)能够对900nm至1700nm的波长带成像的摄像装置

(c)能够对1150nm附近(有前后误差)的波长带成像的摄像装置

虽然这些是示例，但例如，SWIR摄像装置比IR摄像装置覆盖更宽的波长带，而且能够在例如400nm至1700nm等的波长带成像的摄像装置是市售的。图13的B示出了市售SWIR摄像装置的各波长的量子效率。如图所示，在400nm至1700nm范围内实现了高量子效率。也就是说，由于可以覆盖上述(b)和(c)的波长带，因此可以应用具有图13的B所示特性的任何SWIR摄像装置。

在成像系统500中，例如，使用灯580的一部分用红外线照射诸如表演者510的对象，并由SWIR摄像装置成像。在近红外带中，LED墙505上的视频不被反射，并且成为黑色图像，而表演者510等反射红外光，并且一定程度的亮度被观察到。因此，通过确定SWIR摄像装置的捕获视频中的帧中的亮度差，可以生成以高精度仅提取对象的掩模MK。

注意，IR摄像装置也可以观测到表演者510等反射的红外光，但在IR摄像装置的情况下，难以将人的头发检测为轮廓。另一方面，在SWIR摄像装置的情况下，可以适当地检测到包括头发的人的范围。

头发比皮肤更难反射，但覆盖高波长带对于检测头发区域是有效的。例如，在如上面的(c)中的能够对1150nm左右的波长带成像的摄像装置的情况下，人的头发的反射率和皮肤的反射率彼此相等。

然而，头发的反射率取决于性别和种族(深色发、金发等)而变化，并且也取决于是否染发而变化，但例如在具有如图13的B所示特性的SWIR摄像装置的情况下，通过对850nm至1700nm的波长带进行积分和成像，皮肤和头发的亮度变得相等，并且可以清楚地确定头部的范围。

例如，为了使用这样的SWIR摄像装置，如图14所示配置摄像装置502。

RGB摄像装置51和SWIR摄像装置52被布置在作为一个摄像装置502的单元中。然后，入射光通过分束器50分离，并且入射光以相同光轴的状态入射到RGB摄像装置51和SWIR摄像装置52上。

从RGB摄像装置51输出用作捕获视频vC的视频Prgb。SWIR摄像装置52输出用于生成掩模MK的视频Pswir。

通过这种方式，通过将摄像装置502配置为包括RGB摄像装置51和SWIR摄像装置52的同轴摄像装置，RGB摄像装置51和SWIR摄像装置52不产生视差，并且视频Prgb和视频Pswir可以是具有相同定时、相同视角和相同视场范围的视频。

预先在作为摄像装置502的单元中执行机械位置调整以及使用用于校准的视频的光轴对准，使得光轴彼此重合。例如，预先执行以下处理：捕获用于校准的视频、检测特征点和执行对准。

注意，即使在RGB摄像装置51使用高分辨率摄像装置以进行高清晰度视频内容制作的情况下，SWIR摄像装置52也不需要具有高分辨率。SWIR摄像装置52可以是任何摄像装置，只要它可以提取其成像范围与RGB摄像装置51的成像范围匹配的视频。因此，传感器尺寸和图像尺寸不限于与RGB摄像装置51的传感器尺寸和图像尺寸匹配的尺寸。

此外，在成像时，RGB摄像装置51和SWIR摄像装置52在帧定时中是同步的。

此外，SWIR摄像装置52还可以根据RGB摄像装置51的变焦操作执行变焦或调整图像的剪切范围。

注意，SWIR摄像装置52和RGB摄像装置51可以以立体方式布置。这是因为在被摄体不沿深度方向移动的情况下，视差不会成为问题。

此外，可以设置多个SWIR摄像装置52。

例如，在如图14所示的配置被用作成像系统500中的摄像装置502的情况下，视频Prgb和视频Pswir被提供给渲染引擎520。

在具有图8的配置的渲染引擎520中，视频处理单元85使用视频Pswir生成掩模MK。此外，尽管渲染引擎520使用视频Prgb作为捕获视频vC，但视频处理单元85可以针对视频Prgb的每一帧使用掩模MK分开背景区域ARb和前景区域ARf，执行必要的视频处理，然后将处理的捕获视频vCR记录在记录介质上。例如，将捕获视频vC(处理的捕获视频vCR)存储在存储单元79中。替选地，也可以将捕获视频vC传输并记录在资产服务器530或其他外部装置中。

图15示出了摄像装置502的另一配置示例。

在这种情况下，除了图14的配置之外，在作为摄像装置502的单元中提供了掩模生成单元53。掩模生成单元53可以由例如视频处理处理器配置。掩模生成单元53接收来自SWIR摄像装置52的视频Pswir的输入并生成掩模MK。注意，在生成掩模MK时调整来自视频Pswir的剪切范围的情况下，掩模生成单元53还输入并参考来自RGB摄像装置51的视频Prgb。

视频Prgb和掩模MK从摄像装置502提供给渲染引擎520。在这种情况下，渲染引擎520可以获取掩模MK，并针对视频Prgb的每一帧使用掩模MK分开背景区域ARb和前景区域ARf。

注意，虽然未示出，但在图14和图15的配置的情况下，成像信息的一部分也如上所述从摄像装置502提供给渲染引擎520。

例如，作为成像信息的视角、焦距、F数(光圈值)、快门速度、镜头信息、摄像装置方向等作为与RGB摄像装置51相关的信息从摄像装置502提供给渲染引擎520。此外，摄像装置跟踪器560检测到的摄像装置502的位置信息、摄像装置方向等也作为成像信息提供给渲染引擎520。

<4.第一实施方式>

下文中，将描述具体处理示例。作为第一实施方式，将描述其中在成像时渲染引擎520针对捕获视频vC执行背景区域ARb的摩尔纹减少处理的示例。图14中的配置被假设为摄像装置502。

图16示出了渲染引擎520针对捕获视频vC的每一帧执行的视频处理。

如上述图6所示，渲染引擎520对每一帧的捕获区域视频vBC进行渲染，以生成要在LED墙505上显示的背景视频vB。与此并行的，渲染引擎520针对摄像装置502成像的捕获视频vC的每一帧执行图16的处理。

在步骤S101中，渲染引擎520执行视频采集。即，将从摄像装置502发送的一帧的捕获视频vC设置为处理目标。

具体地，渲染引擎520处理从摄像装置502发送的一帧的视频Prgb和视频Pswir。与此同时，渲染引擎520还获取从摄像装置502或摄像装置跟踪器560发送的与该帧对应的成像信息。

在步骤S102中，渲染引擎520生成要应用于当前帧的掩模MK。也就是说，渲染引擎520使用如上所述的视频Pswir生成掩模MK。

在步骤S103中，渲染引擎520使用在步骤S102中生成的掩模MK指定该时间获取的帧的捕获视频vC(即，视频Prgb的背景区域ARb)。

在步骤S104中，渲染引擎520对背景区域ARb执行摩尔纹应对处理。在图17中示出摩尔纹应对处理的示例。

在步骤S141中，渲染引擎520执行摩尔纹生成程度确定。

作为摩尔纹生成程度确定的处理，可以考虑测量实际生成多少摩尔纹M的处理以及估计生成多少摩尔纹的处理。

此外，摩尔纹M的程度包括面积程度和强度(作为摩尔纹出现的干涉条纹图案的清晰度(亮度差))。

首先，作为测量实际出现的摩尔纹M的程度的处理示例，存在以下方法。

对于待处理的捕获视频vC(即，来自RGB摄像装置的视频Prgb)，获取对该帧成像时的定时处的背景视频vB。注意，出于该目的，渲染引擎520在记录介质上记录图6的处理中针对每一帧生成的背景视频vB和至少捕获区域视频vBC(内截头锥体的视频)，使得稍后可以参考背景视频vB和捕获区域视频vBC。

在捕获视频vC中，指定背景区域ARb。此外，所参考的捕获区域视频vBC是提供给LED墙505的视频信号。因此，关于捕获视频vC的背景区域ARb和捕获区域视频vBC的背景区域ARb，在执行特征点匹配以匹配视频内容的区域之后，获得区域中对应像素的值之间的差，并用某个阈值对差值进行二值化。然后，如果不存在摩尔纹M或其他噪音等，则二值化的值在所有像素中变得恒定。

换言之，当捕获视频vC中出现摩尔纹M、噪声等时，作为二值化的值可以观察到重复的图案，这可以被确定为摩尔纹M。可以通过出现干涉条纹的范围和干涉条纹中的亮度差(二值化之前的差值之间的差)来确定摩尔纹M的程度。

用于估计摩尔纹M的程度的方法的示例包括以下内容。

首先，存在一种在成像前获取成像环境信息并估计摩尔纹M的生成程度的方法。成像环境信息是成像系统500中的固定信息。此处，“固定”是指对于捕获视频vC的每一帧都不会改变的信息。

例如，可以通过获取LED面板506的像素的间距宽度作为成像环境信息来估计摩尔纹M的生成程度。间距宽度越大，摩尔纹M的出现频率越高，因此可以通过间距宽度的值来估计出现多少摩尔纹M。

注意，可以在成像开始之前初始地执行基于这样的成像环境信息的摩尔纹M的生成程度的确定，并且在针对每帧执行的步骤S141中可以仅参考确定结果。此外，可以获取其他固定信息例如灯580的类型、成像时的光发射状态以及用于生成要在LED墙505上显示的背景视频vB的3D背景数据作为成像环境信息，并且可以预先确定成像环境是否是可能出现摩尔纹M的环境。

此外，还存在一种使用与每一帧对应的成像信息来估计每帧的摩尔纹M的生成程度的方法。

可以通过从成像信息中的摄像装置502的位置信息获取LED墙505与摄像装置502之间的距离来估计摩尔纹M的生成程度。这是因为随着距离的减小，摩尔纹M的出现频率增加。因此，可以根据距离的值估计摩尔纹M的程度。

此外，通过从成像信息中的摄像装置502的方向的信息获得摄像装置502相对于LED墙505的角度，可以估计摩尔纹M的生成程度。例如，与正面面对LED墙505进行成像的情况相比，从上方观看LED墙505进行成像的情况、从下方观看LED墙进行成像的情况、从左侧或右侧以一定角度对LED墙成像的情况等更容易出现摩尔纹M。特别地，当LED墙505与摄像装置502之间的角度变得更陡时，摩尔纹生成频率变得更高。因此，当获得摄像装置502相对于LED墙505的角度时，可以通过该角度的值估计摩尔纹M的生成程度。

在上面如图17的步骤S141中所述在任一个或多个过程中确定摩尔纹生成程度之后，在步骤S142中渲染引擎520确定是否需要进行摩尔纹减少处理。

在可以确定未出现摩尔纹M或相当于未出现摩尔纹的情况下，确定不对当前帧执行摩尔纹减少处理，从步骤S142终止图17中的摩尔纹应对处理。

另一方面，在确定摩尔纹M已出现或摩尔纹M已出现到一定程度或更多的情况下，渲染引擎520从步骤S142进行到步骤S143，并对背景区域ARb执行摩尔纹减少处理。

也就是说，对背景区域Arb执行以一定的截止频率的LPF处理或BPF(带通滤波器)处理，以平滑(模糊)条纹部分，并且减少或消除摩尔纹M。因此，终止图17中的摩尔纹应对处理。

如图16中的步骤S104，在终止图17中的摩尔纹应对处理之后，在步骤S105中，渲染引擎520执行视频记录。

即，对于在背景区域ARb上执行了摩尔纹减少处理的帧，将处理的捕获视频vCR记录在记录介质上，或者在不需要且未执行摩尔纹减少处理的情况下，将原始捕获视频vC作为通过成像获得的帧数据记录在记录介质上。

通过渲染引擎520对捕获视频vC的每一帧执行上述处理，在作为制作ST2的成像时，记录根据需要进行摩尔纹减少处理的视频内容。

图18和图19示出了图6中步骤S104中摩尔纹应对处理的另一示例。

在图18的示例中，在步骤S141中，渲染引擎520首先执行摩尔纹生成程度确定，并在步骤S142中确定是否需要摩尔纹减少处理。到此为止的过程与图17中的过程类似。

在图18的示例的情况下，在执行摩尔纹减少处理的情况下，在步骤S150中，渲染引擎520设置摩尔纹减少处理的处理强度。

在该设置中，当摩尔纹的程度较大时，处理强度增加，并且当摩尔纹的程度较小时，处理强度减小。

例如，改变LPF处理的截止频率，以设置模糊程度的强度。

此外，可以通过执行帧中的视频的边缘检测来检测视频的平坦部分，因此可以设想，在平坦部分观察到摩尔纹M的情况下，处理强度增加。

具体地，根据步骤S141中的摩尔纹生成程度确定的结果设置处理强度。例如，当从捕获视频vC的背景区域ARb与捕获区域视频vBC中的与背景区域ARb对应的区域之间的差异中观察到的摩尔纹M的程度较大时，摩尔纹减少处理强度设置得较高，而当摩尔纹M的程度较小时，摩尔纹减少处理强度被设置得较低。

此外，例如，当LED面板506的间距宽度较宽时，摩尔纹减少处理强度被设置得较高，而当间距宽度较窄时，摩尔纹减少处理强度被设置得较低。

此外，例如，当LED墙505与摄像装置502之间的距离较短时，摩尔纹减少处理强度被设置得较高，而当距离较长时，摩尔纹减少处理强度被设置得较低。

此外，例如，当LED墙505与摄像装置502之间的角度变陡时，摩尔纹减少处理强度被设置得较高，而当该角度接近90度(正交位置关系)时，摩尔纹减少处理强度被设置得较低。

此外，可以执行使用机器学习的摩尔纹减少处理。

例如，预先准备通过在根据各种摩尔纹的图案和强度改变BPF的类型(通带)的同时执行减少处理所获得的学习数据，并根据各种摩尔纹M的图案生成最佳摩尔纹减少处理的学习数据。在步骤S150中，可以针对当前帧中的摩尔纹M的图案设置是否使用这样的BPF。

在步骤S150中设置处理强度之后，在步骤S143中，渲染引擎520利用针对背景区域ARb设置的处理强度执行摩尔纹减少处理。

接下来，图19的示例是其中针对每一帧设置处理强度并执行摩尔纹减少处理的示例。

在步骤S141中，渲染引擎520确定摩尔纹生成程度，并在步骤S150中根据摩尔纹生成程度确定的结果设置处理强度。然后，在设置处理强度之后，在步骤S143中，渲染引擎520执行摩尔纹减少处理。

如上所述，图17、图18和图19所示的示例可以被视为摩尔纹应对处理。虽然未示出，但仍可以设想其他示例。例如，也可以设想其中在不针对每个帧执行摩尔纹生成程度确定的情况下，通过以特定截止频率的LPF处理或BPF处理执行摩尔纹减少处理的示例。

<5.第二实施方式>

作为第二实施方式，将描述执行背景区域Arb的视频校正处理的示例。

虽然上面已经描述了存在通过捕获在LED墙505上显示的背景视频vB而在捕获视频vC中出现背景的一部分的缺陷或噪声的情况，但具体有以下情况。

例如，存在被摄体与LED墙505彼此靠近并且通过变焦对被摄体成像时LED面板506的像素可见的情况。

此外，例如，在成像时3D背景数据不完整等的情况下，存在背景视频vB的内容和图像质量不足并且在成像后需要校正的情况。

此外，在LED墙505上的LED有缺陷的情况下，或者存在不发光的区域的情况下，该区域的视频有缺陷。

此外，由于LED面板506的驱动速度与摄像装置502的快门速度之间的关系，在视频中可能出现缺陷。

此外，由于在处理要显示的背景视频vB或摄像装置502的成像信号时的量化误差，可能出现噪声。

例如，在这些情况下，优选地对背景区域ARb执行校正处理。

图20示出了渲染引擎520的处理示例。与图16类似，图20示出了针对捕获视频vC的每一帧执行的处理示例。

注意，在以下流程图中，与上述流程图中相同的过程用相同的步骤号表示，避免了冗余的详细描述。

在步骤S101中，渲染引擎520获取捕获视频vC的一帧的必要信息，即，视频Prgb、视频Pswir和成像信息。

然后，在步骤S102中生成当前帧的掩模MK，并在步骤S103中指定视频Prgb中的背景区域ARb。

在步骤S160中，渲染引擎520对背景区域ARb执行视频校正处理。例如，执行如上所述的校正缺陷、噪声等的处理。

例如，在LED面板506的像素可见的情况下，模糊背景区域ARb，使得该像素不可见。

此外，当背景视频vB的内容或图像质量不足时，用CG图像替换背景区域ARb的一部分或全部。

此外，在LED墙505上的LED有缺陷的情况下或存在不发光的区域的情况下，用CG图像替换该区域的视频。

此外，在由于LED面板506的驱动速度与摄像装置502的快门速度之间的关系而在视频中出现缺陷的情况下，用CG图像替换该区域的视频。

此外，在由于处理要显示的背景视频vB或摄像装置502的成像信号时的量化误差而生成噪音的情况下，执行噪声减少处理。

图21和图22示出示例。

图21的左侧示出了其中示出原始视频并且空的部分的色调渐变的示例。如图的右侧所示，由于量化误差，可能出现边界(条纹状图案)。此时，执行平滑以移除条带。

图22示出了缺陷的示例。例如，当背景视频vB上显示“TOKYO”字符时，背景视频vB的一部分可能出现缺陷，如下图的视频中所示。在这种情况下，使用CG视频消除缺陷，并如上图的视频中所示执行校正。

在执行上述视频校正处理之后，在图20的步骤S105中，渲染引擎520执行将帧记录为捕获视频vC(处理的捕获视频vCR)的处理。

通过这样的处理，在制作ST2的过程中，校正了缺陷和噪声的捕获视频vC可以被记录并提供给后期制作ST3。

<6.第三实施方式>

作为第三实施方式，将描述其中在成像时除了执行背景区域ARb的视频处理之外还执行前景区域ARf的视频处理的示例。

图23示出了渲染引擎520的处理示例。与图16类似，图23示出了针对捕获视频vC的每一帧执行的处理示例。

在步骤S101中，渲染引擎520获取用于捕获视频vC的一帧的必要信息，即，视频Prgb、视频Pswir和成像信息。

然后，在步骤S102中，生成用于当前帧的掩模MK。

在步骤S103A中，基于掩模MK指定视频Prgb中的背景区域ARb和前景区域ARf。

在步骤S104中，如图16(以及图17、图18和图19)所述，执行背景区域ARb的摩尔纹应对处理。

注意，代替步骤S104或者除步骤S104之外，还可以执行图20中描述的视频校正处理(步骤S160)。

在步骤S170中，渲染引擎520执行前景区域ARf中的被摄体确定。

例如，此处，确定对象的视频中是否出现摩尔纹。具体地，根据表演者510的服饰等确定是否可能出现摩尔纹M。

在前景中的表演者510穿戴具有条纹图案或格子图案的服饰的情况下，则可能出现摩尔纹M。因此，确定捕获视频vC的前景区域ARf中是否包括条纹图案或格子图案。注意，不限于服饰，可以确认条纹图案的存在。

此外，作为步骤S170中前景区域ARf中的被摄体确定，可以检测摩尔纹M是否实际出现。

在步骤S171中，渲染引擎520根据步骤S170中的确定结果确定是否需要摩尔纹减少处理。例如，当表演者510的服饰等具有条纹图案或格子图案时，确定需要摩尔纹减少处理。

在这种情况下，渲染引擎520进行到步骤S172并对前景区域ARf执行摩尔纹减少处理。

例如，通过在前景区域ARf的范围内执行LPF处理或BPF处理来执行摩尔纹减少处理。此外，根据SWIR摄像装置52的视频Pswir，可以区分被摄体的皮肤区域和服饰区域。这是因为皮肤难以反射，而服饰则反射良好。

因此，可以根据视频Pswir确定服饰区域，并且可以仅对服饰区域执行摩尔纹减少处理。

此外，如第一实施方式中针对背景区域ARb的摩尔纹应对处理所述，也可以针对前景区域ARf执行摩尔纹M的生成程度的确定，并可以可变地设置摩尔纹减少处理的处理强度。

在步骤S171中确定不需要摩尔纹减少处理的情况下，例如，在没有观察到带有条纹图案或格子图案的服饰的情况下，渲染引擎520不执行步骤S172的处理。

接下来，在步骤S180中，渲染引擎520执行前景区域ARf的视频校正处理。例如，可以设想执行前景区域的亮度调整和颜色调整。

例如，当由于LED墙505上显示的背景视频vB的亮度的影响而执行摄像装置502的自动曝光控制时，诸如表演者510的对象的视频的亮度可能过高或过低。因此，根据背景区域ARb的亮度来调整前景区域ARf的亮度。

此外，例如，在诸如表演者510的对象的视频的色调因LED墙505上显示的背景视频vB的影响而变得不自然的情况下，也可以设想执行前景区域ARf的颜色调整。

在上述处理之后，在步骤S105中，渲染引擎520执行将帧记录为捕获视频vC(处理的捕获视频vCR)的处理。

通过这样的处理，在制作ST2的过程中，可以向后期制作ST3提供捕获视频vC(处理的捕获视频vCR)，其中针对背景区域ARb和前景区域ARf中的每一个减少了摩尔纹M或执行了必要的视频处理。

注意，在图23的示例中，除了背景区域ARb的视频处理之外，还执行了前景区域ARf的视频处理，但也可以设想其中仅执行前景区域ARf的视频处理的处理示例。例如，图23示出去除了步骤S104的处理示例。

<7.第四实施方式>

作为第四实施方式，将描述其中在成像后例如后期制作ST3阶段处执行视频处理以区分背景区域ARb和前景区域ARf的示例。

出于该目的，在成像时，渲染引擎520针对捕获视频vC的每一帧执行图24的处理。

在步骤S101中，渲染引擎520获取捕获视频vC的一帧的必要信息，即，视频Prgb、视频Pswir和成像信息，并在步骤S102中生成该帧的掩模MK。

在步骤S110中，渲染引擎520将捕获视频vC(视频Prgb)的帧以及成像信息和掩模MK作为与该帧相关联的元数据记录在记录介质上。

以该方式，当捕获视频vC的每一帧要在稍后的时间点处理时，可以获取相应的成像信息和掩模MK。

注意，在步骤S110中，捕获视频vC(视频Prgb)的帧、该帧的成像信息和同一帧定时处的视频Pswir可以彼此相关联地记录在记录介质上。这是因为可以通过记录视频Pswir在稍后的时间点处生成掩模MK。

图25中示出了后期制作ST3中的处理的示例。即，例如，执行视频处理的信息处理装置70在后期制作ST3阶段的处理。信息处理装置70可以是渲染引擎520或其他信息处理装置。

在步骤S201中，信息处理装置70从记录介质中读取待处理的视频内容，并获取每一帧的视频和元数据作为处理目标。

注意，在记录了与视频内容或视频内容中的场景对应的成像环境信息的情况下，还获取成像环境信息。例如，间距宽度是LED面板506的像素的间距宽度信息等。

在步骤S202中，信息处理装置70将一帧确定为视频处理目标。

由于每帧的成像信息和成像环境信息被记录为元数据，因此可以确定在待处理的视频内容的哪一帧中存在例如出现摩尔纹的高可能性。例如，如上所述，可以根据摄像装置502与LED墙505之间的距离、角度关系等确定摩尔纹的生成程度。

此外，通过分析每一帧的视频，可以确定被摄体在表演区域501中的位置，并且可以确定摩尔纹M的实际生成程度。

例如，在前景区域ARf中的对象与LED墙505之间的距离足够长，使用(根据F值确定的)长焦镜头对被摄体的面部成像，并且使背景模糊的情况下，摩尔纹生成频率较低。

此外，例如，在被摄体与LED墙505之间的距离较短，摄像装置502与LED墙505之间的角度较陡，使用全景聚焦执行成像，并且LED面板506的间距宽度较宽的情况下，摩尔纹生成频率较高。

此外，如上所述，摩尔纹的生成程度可以由摄像装置502与LED墙505之间的距离和角度、表演者510的服饰的图案等确定。

在步骤S202中，信息处理装置70确定这种摩尔纹的生成程度，并设置在其上执行摩尔纹应对处理的帧。然后，信息处理装置70针对每个所设置的帧执行从步骤S203到步骤S207的处理。

在步骤S203中，信息处理装置70将设置为执行摩尔纹应对处理的帧中的一个指定为处理目标。

在步骤S204中，信息处理装置70获取用于所指定的帧的掩模MK。

在步骤S205中，信息处理装置70使用掩模MK指定帧的背景区域ARb。

在步骤S206中，信息处理装置70对背景区域ARb执行摩尔纹应对处理。例如，执行图17、图18和图19的示例中的处理。

然后，在步骤S207中，信息处理装置70在记录介质上记录经过摩尔纹应对处理的视频数据。例如，其被记录为已编辑视频内容的一帧。

在步骤S208中，确认未处理的帧的存在，如果存在，则处理返回到步骤S203，以指定未处理的帧中的一帧作为处理目标，并类似地执行步骤S204至S207的处理。

当对设置要执行摩尔纹应对处理的所有帧结束上述处理时，图25的处理结束。

例如，通过这种方式，可以通过在后期制作ST3阶段使用掩模MK区分背景区域ARb和前景区域ARf，并执行摩尔纹应对处理。

注意，在将SWIR摄像装置的视频Pswir与捕获视频vC(RGB摄像装置的视频Prgb)一起记录的情况下，也考虑在图25中的步骤S204阶段生成掩模MK的处理示例。

此外，并不限于图25的示例，并且可以在后期制作ST3阶段执行背景区域ARb的视频校正处理、前景区域ARf的摩尔纹减少处理、以及前景区域ARf的视频校正处理。

此外，如第一实施方式、第二实施方式和第三实施方式那样，在成像时基本上实时地对背景区域ARb和前景区域ARf中的一个或两个执行诸如摩尔纹减少处理和视频校正处理的视频处理之后，可以在后期制作ST3中执行这些视频处理。

例如，同样在图16、图20和图23中的每个步骤S105中，通过与捕获视频vC(处理的捕获视频vCR)相关联地记录成像信息、掩模MK或的视频Pswir，可以在后期制作ST3中再次执行视频处理。

<8.用于背景视频的显示面板的配置示例>

虽然已经参照图1描述了LED墙505的示例，但还将描述背景视频vB的显示面板的另一示例。可以设想背景视频vB的显示面板的各种配置。

图26的A是其中设置包括表演区域501中的地板部分的LED墙505的示例。在这种情况下，LED墙505设置在背面、左侧面、右侧面和地板面中的每一个上。

图26的B示出了其中LED墙505设置在顶面、背面、左侧面、右侧面和地板面中的每一个上以围绕箱体的表演区域501的示例。

图26的C示出了其中设置具有圆柱形内壁形状的LED墙505的示例。

已经将LED墙505描述为显示装置，并且已经描述了其中要显示的显示视频是通过渲染3D背景数据而获得的背景视频的示例。在这种情况下，可以将捕获视频vC中作为显示视频区域的示例的背景区域ARb和作为对象视频区域的前景区域ARf分开以执行视频处理。

本公开内容的技术不限于可以应用于背景与前景之间的这种关系。

例如，图26的D示出了其中显示装置515与另一被摄体并排设置的示例。例如，在电视广播工作室等中，远程表演者显示在显示装置515上，并与实际在工作室中的表演者一起成像。

在这种情况下，背景与前景之间没有明显的区别，但捕获视频包括显示视频和对象视频的混合。即使在这种情况下，由于可以使用掩模MK分开显示视频区域和对象视频区域，因此也可以类似地应用本实施方式的处理。

虽然可以设想除此以外的各种示例，但在捕获视频包括显示装置的视频和实际存在的对象的视频的情况下，本公开内容的技术可以在通过区分这些区域执行各种类型的视频处理的情况下应用。

<9.总结和修改示例>

根据上述实施方式，可以获得以下效果。

本实施方式的信息处理装置70包括视频处理单元85，该视频处理单元85对通过捕获显示装置的显示视频(例如，背景视频vB)和对象而获得的捕获视频vC，执行使用掩模MK确定的显示视频区域(例如，背景区域ARb)的视频处理或使用掩模MK确定的对象视频区域(例如，前景区域ARf)的视频处理。掩模MK是用于分开捕获视频vC中的显示视频和对象视频的信息。

因此，在显示装置上显示的视频和真实对象同时成像的情况下，可以单独地对捕获视频中包括的显示视频的区域和对象视频的区域执行视频处理。因此，可以在视频中适当地执行和显示视频与真实对象之间的差异对应的处理。

在第一实施方式、第二实施方式、第三实施方式和第四实施方式中，已经将LED墙505描述为显示装置，并且已经描述了其中所显示的显示视频是通过渲染3D背景数据而获得的背景视频vB的示例。此外，捕获视频vC是通过以显示背景视频vB的LED墙505为背景对对象(例如表演者510或物体)成像而获得的视频。

通过捕获LED墙505上显示的背景视频vB，捕获视频vC的每一帧包括捕获背景视频vB的背景区域ARb和捕获诸如表演者510和物体的对象的前景区域ARf。由于背景区域ARb和前景区域ARf在被成像的对象是显示视频和真实对象方面彼此不同，所以在视频上出现不同的影响。因此，针对捕获视频vC的每一帧使用掩模MK对背景区域ARb和前景区域ARf进行划分，并针对背景区域ARb和前景区域ARf中的一个或两个分别执行视频处理。因此，可以单独应对由成像对象中的差异引起的视频事件，并执行视频校正等。例如，可以消除捕获视频vC中仅出现在背景区域ARb中的伪影。因此，可以解决作为虚拟制作而产生的视频的问题，并且可以促进利用虚拟制作的优势的视频制作。

在本实施方式中，已经描述了其中视频处理单元85将减少伪影的处理作为捕获视频vC中的背景区域ARb的视频处理来执行的示例(见图16)。

作为伪影，除了第一实施方式中所示的摩尔纹之外，还可以考虑例如视频中的噪声以及颜色和亮度的不期望变化的需要校正和减少的各种事件。因此，可以在不影响前景区域ARf的情况下执行背景区域ARb的校正等。

在第一实施方式中，已经描述了其中视频处理单元85执行摩尔纹减少处理作为捕获视频vC中的背景区域Arb的视频处理的示例(见图16)。

通过捕获LED墙505上显示的背景视频vB，在捕获视频vC的背景区域ARb中可能出现摩尔纹M。因此，在指定背景区域ARb之后执行摩尔纹减少处理。因此，可以消除或减少摩尔纹，并防止前景区域ARf受到摩尔纹减少处理的影响。例如，即使通过LPF处理等在背景区域ARb中减少了摩尔纹，也可以在前景区域ARf中保持高清晰度图像，而无需执行LPF处理等。

在第一实施方式中，已经描述了其中执行如下作为捕获视频vC中的背景区域ARb的视频处理的示例：执行背景区域ARb中的摩尔纹生成程度确定，并根据确定结果执行摩尔纹减少处理(见图17和18)。

对于捕获视频vC的每一帧，在背景区域ARb中出现需要减少处理的级别的摩尔纹M的情况下执行摩尔纹减少处理，使得可以根据需要执行摩尔纹减少处理。

在第一实施方式中，已经描述了其中执行如下作为捕获视频vC中的背景区域ARb的视频处理的示例：执行背景区域ARb中的摩尔纹生成程度确定，根据确定结果设置处理强度，并执行摩尔纹减少处理(参见图18和图19)。

通过根据背景区域ARb中出现的摩尔纹M的程度设置摩尔纹减少处理的强度(例如，模糊程度的强度)，可以有效降低摩尔纹。

在第一实施方式中，已经描述了其中通过比较捕获视频vC和背景视频vB来执行摩尔纹生成程度确定的示例(参见图17中的步骤S141等)。

通过将作为LED墙505上显示的背景视频vB的帧与通过捕获该帧的背景视频vB而获得的捕获视频vC的帧进行比较并获取差，可以确定摩尔纹的出现和程度。因此，可以适当地设置摩尔纹减少处理的强度。

在第一实施方式中，已经描述了其中基于成像时摄像装置502的成像信息或成像设施的成像环境信息来执行摩尔纹生成程度确定的示例(参见图17中的步骤S141等)。

通过参考作为成像环境信息获取的LED墙505上的LED面板506的间距宽度以及作为成像信息获取的成像时的摄像装置502的信息(例如，成像时的摄像装置位置、摄像装置方向、视角等)，可以确定是否可能出现摩尔纹。也就是说，可以估计摩尔纹的出现和程度。因此，可以适当地设置摩尔纹减少处理的强度。

在第二实施方式中，已经描述了其中视频处理单元85执行背景区域ARb的视频校正处理作为捕获视频vC中的背景区域ARb的视频处理的示例(参见图20)。

通过捕获LED墙505上显示的背景视频vB，可能在捕获视频vC的背景区域ARb中出现图像缺陷，或者由于量化误差而出现边界。在这种情况下，通过对背景区域ARb执行视频校正处理，可以改善背景区域ARb的视频质量。

在第三实施方式中，已经描述了其中视频处理单元85执行摩尔纹减少处理作为捕获视频vC中的前景区域ARf的视频处理的示例(参见图23)。

摩尔纹M可能出现在捕获视频vC的前景区域ARf中。因此，在指定了前景区域ARf之后，执行摩尔纹减少处理。因此，可以消除或减少摩尔纹，并且可以提高前景区域ARf的视频的质量。

在第三实施方式中，已经描述了其中执行如下作为捕获视频vC中的前景区域ARf的视频处理的示例：执行被摄体的服饰的确定处理，并根据确定结果执行摩尔纹减少处理(参见图23中的步骤S170、S171和S172)。

摩尔纹M可能出现在捕获视频vC的前景区域ARf中，但摩尔纹M很可能取决于服饰的图案而特别出现。因此，确定服饰的图案，并根据该确定来确定是否执行摩尔纹减少处理或设置处理强度是有效的处理。

在第三实施方式中，已经描述了其中执行前景区域ARf的视频校正处理作为捕获视频vC中的前景区域ARf的视频处理的示例(参见图23中的步骤S180)。

例如，执行亮度处理和颜色处理作为视频校正处理。取决于LED墙505上显示的背景视频vB的亮度、颜色或照度平衡，被摄体可能变暗或可能变得过亮。因此，执行亮度和色调的校正处理。因此，可以将背景视频vB校正为具有良好平衡的亮度和色调的视频。

在第一实施方式、第二实施方式和第三实施方式中，在成像时，视频处理单元85针对捕获视频vC的每一帧执行背景区域ARb的视频处理或前景区域ARf的视频处理。

例如，在摄像装置502执行成像时，渲染引擎520基本实时地针对捕获视频vC的每一帧使用掩模MK确定背景区域ARb和前景区域ARf，并对背景区域ARb和前景区域ARf中的一个或两个执行视频处理。因此，要记录的捕获视频vC可以是没有摩尔纹或缺陷的视频(处理的捕获视频vCR)。因此，可以在制作ST2的阶段获得高质量的捕获视频vC。

在第一实施方式、第二实施方式和第三实施方式中，在成像时，视频处理单元85针对捕获视频的每一帧生成掩模MK，并确定帧中的背景区域ARb和前景区域ARf(参见图16、图20和图23中的步骤S102)。

例如，在摄像装置502执行成像时，渲染引擎520针对捕获视频vC的每一帧使用视频Pswir生成掩模MK。因此，可以适当地确定每一帧的背景区域ARb和前景区域ARf。

注意，在如图15所示由摄像装置502生成掩模MK的情况下，渲染引擎520可以使用从摄像装置502发送的掩模MK。在这种情况下，不需要在图16、图20、图23和图24中的步骤S102中生成掩模MK，并且渲染引擎520的处理负荷减少。

在第四实施方式中，描述了这样的示例，在该示例中，视频处理单元85从记录介质中读取捕获视频vC的每一帧，从记录介质中读取与每一帧对应记录的掩模MK，并针对捕获视频vC的每一帧执行背景区域ARb的视频处理或前景区域ARf的视频处理(参见图25)。

例如，在成像时，将掩模MK作为元数据与捕获视频vC相关联地记录。然后，在成像后的时间点处，从记录介质中读取捕获视频vC和掩模MK，针对捕获视频vC的每一帧使用掩模MK来确定背景区域ARb和前景区域ARf，并对背景区域ARb和前景区域ARf中的一个或两个执行视频处理。因此，在后期制作ST3中，可以获得没有摩尔纹或缺陷的视频(处理的捕获视频vCR)。

在第四实施方式中，描述了这样的示例，在该示例中，从记录介质中读取与捕获视频vC的每一帧对应的成像信息，基于成像信息确定作为视频处理目标的帧，并针对被确定为视频处理目标的帧执行背景区域ARb的视频处理或前景区域ARf的视频处理(参见图25)。

通过从记录介质中读取成像信息，可以确定哪一帧被设置为视频处理目标。例如，可以从成像信息中估计出现摩尔纹的帧，并将所估计的帧设置为视频处理目标。因此，可以高效地执行背景区域ARb和前景区域ARf的视频处理。

在本实施方式中，基于通过捕获与捕获视频相同的视频的SWIR摄像装置52所获得的视频Pswir生成掩模MK。

例如，由具有从可见光区域到近红外区域(例如，从400nm到1700nm)宽波长带中的高灵敏度的SWIR摄像装置捕获的视频可以适当地将对象(特别是人)和光源剧烈变化的背景视频vB分开。因此，通过生成掩模MK，可以适当地区分背景区域ARb和前景区域ARf。

在本实施方式中，SWIR摄像装置52被配置成使得以与获得通过捕获显示视频(背景视频vB)和对象而获得的捕获视频vC的RGB摄像装置51相同的光轴入射被摄体光(参见图14和15)。

例如，假设摄像装置502包括获得捕获视频vC的RGB摄像装置51和作为同轴摄像装置的SWIR摄像装置52。因此，SWIR摄像装置52也可以获得具有与捕获视频vC相同视角的视频。因此，从SWIR摄像装置52的视频生成的掩模MK可以与由RGB摄像装置51捕获的捕获视频vC匹配，并可以适当地分开背景区域ARb和前景区域ARf。

第一实施方式、第二实施方式、第三实施方式和第四实施方式的处理示例可以被组合。也就是说，第一实施方式、第二实施方式、第三实施方式和第四实施方式的处理示例的全部或部分可以被组合，并在后期制作ST3中使用的信息处理装置70或渲染引擎520中执行。

第一实施方式、第二实施方式、第三实施方式和第四实施方式的处理示例也可以通过云计算来实现。例如，在制作ST2中，渲染引擎520和资产服务器530的功能可以由作为云服务器的信息处理装置70实现。此外，在后期制作ST3中的第四实施方式的图25所示的处理也可以由作为云服务器的信息处理装置70来实现。

此外，虽然图8中的渲染引擎520中的视频处理单元85已经被描述为本技术的视频处理单元的示例，但是例如，可以在除了渲染引擎520之外的信息处理装置中设置视频处理单元，并且可以执行实施方式中所述的处理。替选地，摄像装置502等可以包括用于执行实施方式中所述的处理的视频处理单元。

此外，在本实施方式的描述中，使用SWIR摄像装置52生成掩模MK，但是可以使用除了SWIR摄像装置52以外的摄像装置生成用于指定真实被摄体的区域的掩模MK。

例如，使用深度摄像装置(例如，Kinect或LiDAR)或飞行时间(ToF)传感器测量被摄体的深度，并通过被摄体与背景LED之间的距离差来分离被摄体，从而可以生成掩模MK。

此外，例如，可以通过使用热成像摄像装置、利用人的体温来分离被摄体，从而生成掩模MK。

本实施方式的程序例如是用于使诸如CPU或DSP的处理器或包括处理器的装置执行上述视频处理单元85的处理的程序。

也就是说，本实施方式的程序是用于使信息处理装置70对通过捕获显示装置的显示视频(例如，背景视频vB)和对象而获得的捕获视频，执行使用掩模MK确定的显示视频区域(例如，背景区域ARb)的视频处理(该掩模MK分开捕获视频vC中的显示视频和对象视频)，或使用掩模MK确定的对象视频区域(前景区域ARf)的视频处理的程序。

通过这样的程序，可以用于上述制作ST2和后期制作ST3的信息处理装置70可以由各种计算机装置实现。

这样的程序可以预先记录在作为诸如计算机装置的装置中内置的记录介质的HDD中、具有CPU的微型计算机中的ROM中等。此外，这样的程序可以临时或永久地存储(记录)在可移除记录介质(例如，软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能光盘(DVD)、蓝光光盘(注册商标)、磁盘、半导体存储器或存储卡)中。这种可移除记录介质可以作为所谓的软件包提供。

此外，这种程序可以从可移除记录介质安装到个人计算机等中，或者可以经由诸如局域网(LAN)或互联网的网络从下载网站下载。

此外，这样的程序适用于在大范围内提供实施方式的信息处理装置70。例如，通过将程序下载到个人计算机、通信装置、诸如智能电话或平板电脑的便携式终端装置、移动电话、游戏装置、视频装置、个人数字助理(PDA)等，可以使这些装置用作本公开内容的信息处理装置70。

注意，本说明书中描述的效果只是示例，并不受限制，并且可以提供其他效果。

注意，本技术还可以具有以下配置。

(1)

一种信息处理装置，包括：

视频处理单元，其对通过捕获显示装置的显示视频和对象而获得的捕获视频执行：

使用掩模信息确定的显示视频区域的视频处理；或使用所述掩模信息确定的对象视频区域的视频处理，所述掩模信息用于分开所述捕获视频中的显示视频和对象视频。

(2)

根据上述(1)所述的信息处理装置，其中，

所述显示装置上显示的显示视频是通过渲染3D背景数据而获得的背景视频，并且

所述捕获视频是通过以显示所述背景视频的显示装置为背景对对象成像而获得的视频。

(3)

根据上述(1)或(2)所述的信息处理装置，其中，

所述视频处理单元执行减少伪影的处理作为所述捕获视频中的所述显示视频区域的视频处理。

(4)

根据上述(1)至(3)中任一项所述的信息处理装置，其中，

所述视频处理单元执行摩尔纹减少处理作为所述捕获视频中的所述显示视频区域的视频处理。

(5)

根据上述(1)至(4)中任一项所述的信息处理装置，其中，

所述视频处理单元执行如下作为所述捕获视频中的所述显示视频区域的视频处理：执行所述显示视频区域中的摩尔纹生成程度确定，并根据确定结果执行摩尔纹减少处理。

(6)

根据上述(1)至(5)中任一项所述的信息处理装置，其中，

所述视频处理单元执行如下作为所述捕获视频中的所述显示视频区域的视频处理：执行所述显示视频区域中的摩尔纹生成程度确定，根据确定结果设置处理强度，并执行摩尔纹减少处理。

(7)

根据上述(5)或(6)所述的信息处理装置，其中，

所述视频处理单元通过比较所述捕获视频和所述显示视频来执行所述摩尔纹生成程度确定。

(8)

根据上述(5)至(7)中任一项所述的信息处理装置，其中，

所述视频处理单元基于成像时的摄像装置的成像信息或成像设施的成像环境信息执行所述摩尔纹生成程度确定。

(9)

根据上述(1)至(8)中任一项所述的信息处理装置，其中，

所述视频处理单元执行所述显示视频区域的视频校正处理，作为所述捕获视频中的所述显示视频区域的视频处理。

(10)

根据上述(1)至(9)中任一项所述的信息处理装置，其中，

所述视频处理单元执行摩尔纹减少处理作为所述捕获视频中的所述对象视频区域的视频处理。

(11)

根据上述(1)至(10)中任一项所述的信息处理装置，其中，

所述视频处理单元执行如下作为所述捕获视频中的所述对象视频区域的视频处理：执行对被摄体的服饰的确定处理，并根据确定结果执行摩尔纹减少处理。

(12)

根据上述(1)至(11)中任一项所述的信息处理装置，其中，

所述视频处理单元执行所述对象视频区域的视频校正处理作为所述捕获视频中的所述对象视频区域的视频处理。

(13)

根据上述(1)至(12)中任一项所述的信息处理装置，其中，

在成像时，所述视频处理单元针对所述捕获视频的每一帧执行所述显示视频区域的视频处理或所述对象视频区域的视频处理。

(14)

根据上述(1)至(13)中任一项所述的信息处理装置，其中，

在成像时，所述视频处理单元针对所述捕获视频的每一帧生成所述掩模信息，并确定帧中的所述显示视频区域和所述对象视频区域。

(15)

根据上述(1)至(12)中任一项所述的信息处理装置，其中，

所述视频处理单元从记录介质中读取所述捕获视频的每一帧，从所述记录介质中读取与每一帧对应地记录的掩模信息，并针对所述捕获视频的每一帧执行所述显示视频区域的视频处理或所述对象视频区域的视频处理。

(16)

根据上述(15)所述的信息处理装置，其中，

所述视频处理单元从记录介质中读取与所述捕获视频的每一帧对应的成像信息，基于成像信息确定作为视频处理目标的帧，并针对被确定为视频处理目标的帧执行所述显示视频区域的视频处理或所述对象视频区域的视频处理。

(17)

根据上述(1)至(16)中任一项所述的信息处理装置，其中，

所述掩模信息是基于通过红外短波长摄像装置获得的视频生成的，所述红外短波长摄像装置捕获与捕获视频相同的视频。

(18)

根据上述(17)所述的信息处理装置，其中，

所述红外短波长摄像装置被配置成使得以与获得通过捕获所述显示视频和所述对象而获得的捕获视频的摄像装置相同的光轴入射被摄体光。

(19)

一种视频处理方法，包括：

通过信息处理装置，对通过捕获显示装置的显示视频和对象而获得的捕获视频执行：

使用掩模信息确定的显示视频区域的视频处理；或使用所述掩模信息确定的对象视频区域的视频处理，所述掩模信息用于分开所述捕获视频中的显示视频和对象视频。

(20)

一种程序，其用于使信息处理装置：

对通过捕获显示装置的显示视频和对象而获得的捕获视频，执行使用掩模信息确定的显示视频区域的视频处理；或使用所述掩模信息确定的对象视频区域的视频处理，所述掩模信息用于分开所述捕获视频中的显示视频和对象视频。

附图标记列表

70 信息处理装置

71 CPU

85 视频处理单元

500 成像系统

501 表演区域

502、502a、502b 摄像装置

503 输出监视器

505 LED墙

506 LED面板

520 渲染引擎

530 资产服务器

540 同步发生器

550 操作监视器

560 摄像装置跟踪器

570 LED处理器

580 灯

581 照明控制器

590 显示控制器

vB 背景视频

vBC 捕获区域视频

vC 捕获视频

vCR 处理的捕获视频

MK 掩模

ARb 背景区域

ARf 前景区域

Claims (20)

1.一种信息处理装置，包括：

视频处理单元，其对通过捕获显示装置的显示视频和对象而获得的捕获视频执行：

使用掩模信息确定的显示视频区域的视频处理；或使用所述掩模信息确定的对象视频区域的视频处理，所述掩模信息用于分开所述捕获视频中的显示视频和对象视频。

2.根据权利要求1所述的信息处理装置，其中，

所述显示装置上显示的显示视频是通过渲染3D背景数据而获得的背景视频，并且

所述捕获视频是通过以显示所述背景视频的显示装置为背景对对象成像而获得的视频。

3.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元执行减少伪影的处理作为所述捕获视频中的所述显示视频区域的视频处理。

4.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元执行摩尔纹减少处理作为所述捕获视频中的所述显示视频区域的视频处理。

5.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元执行如下作为所述捕获视频中的所述显示视频区域的视频处理：执行所述显示视频区域中的摩尔纹生成程度确定，并根据确定结果执行摩尔纹减少处理。

6.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元执行如下作为所述捕获视频中的所述显示视频区域的视频处理：执行所述显示视频区域中的摩尔纹生成程度确定，根据确定结果设置处理强度，并执行摩尔纹减少处理。

7.根据权利要求5所述的信息处理装置，其中，

所述视频处理单元通过比较所述捕获视频和所述显示视频来执行所述摩尔纹生成程度确定。

8.根据权利要求5所述的信息处理装置，其中，

所述视频处理单元基于成像时的摄像装置的成像信息或成像设施的成像环境信息执行所述摩尔纹生成程度确定。

9.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元执行所述显示视频区域的视频校正处理，作为所述捕获视频中的所述显示视频区域的视频处理。

10.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元执行摩尔纹减少处理作为所述捕获视频中的所述对象视频区域的视频处理。

11.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元执行如下作为所述捕获视频中的所述对象视频区域的视频处理：执行对被摄体的服饰的确定处理，并根据确定结果执行摩尔纹减少处理。

12.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元执行所述对象视频区域的视频校正处理作为所述捕获视频中的所述对象视频区域的视频处理。

13.根据权利要求1所述的信息处理装置，其中，

在成像时，所述视频处理单元针对所述捕获视频的每一帧执行所述显示视频区域的视频处理或所述对象视频区域的视频处理。

14.根据权利要求1所述的信息处理装置，其中，

在成像时，所述视频处理单元针对所述捕获视频的每一帧生成所述掩模信息，并确定帧中的所述显示视频区域和所述对象视频区域。

15.根据权利要求1所述的信息处理装置，其中，

所述视频处理单元从记录介质中读取所述捕获视频的每一帧，从所述记录介质中读取与每一帧对应地记录的掩模信息，并针对所述捕获视频的每一帧执行所述显示视频区域的视频处理或所述对象视频区域的视频处理。

16.根据权利要求15所述的信息处理装置，其中，

所述视频处理单元从记录介质中读取与所述捕获视频的每一帧对应的成像信息，基于成像信息确定作为视频处理目标的帧，并针对被确定为视频处理目标的帧执行所述显示视频区域的视频处理或所述对象视频区域的视频处理。

17.根据权利要求1所述的信息处理装置，其中，

所述掩模信息是基于通过红外短波长摄像装置获得的视频生成的，所述红外短波长摄像装置捕获与捕获视频相同的视频。

18.根据权利要求17所述的信息处理装置，其中，

所述红外短波长摄像装置被配置成使得以与获得通过捕获所述显示视频和所述对象而获得的捕获视频的摄像装置相同的光轴入射被摄体光。

19.一种视频处理方法，包括：

通过信息处理装置，对通过捕获显示装置的显示视频和对象而获得的捕获视频执行：

使用掩模信息确定的显示视频区域的视频处理；或使用所述掩模信息确定的对象视频区域的视频处理，所述掩模信息用于分开所述捕获视频中的显示视频和对象视频。

20.一种程序，其用于使信息处理装置：

对通过捕获显示装置的显示视频和对象而获得的捕获视频，执行使用掩模信息确定的显示视频区域的视频处理；或使用所述掩模信息确定的对象视频区域的视频处理，所述掩模信息用于分开所述捕获视频中的显示视频和对象视频。