CN115733936A - 图像处理设备、图像处理方法和存储介质 - Google Patents

Abstract

本发明提供了图像处理设备、图像处理方法和存储介质。使得可以获得二维图像中所包括的前景对象和三维计算机图形空间中所包括的背景对象彼此协调的自然图像。获得与特定视点相对应的包括前景对象的二维图像、用于指定获得二维图像时的条件的参数、以及表示二维图像中所包括的前景对象的三维位置和形状的位置和形状数据。然后，通过在包括背景对象的计算机图形空间中基于位置和形状数据布置屏、并对二维图像中所包括的前景对象的图像进行投影，来生成包括前景对象和背景对象的图像。

Description

图像处理设备、图像处理方法和存储介质

技术领域

本公开涉及用于对二维图像和三维计算机图形进行合成的图像处理技术。

背景技术

存在一种对三维计算机图形(3DCG)进行实时渲染的视频游戏创建平台(即所谓的游戏引擎)。近年来，该游戏引擎的用于获得高图像质量的技术已得到了改进，并且已经使得可以通过写实的合成图像来实时产生表示(参见日本特开2018-074294)。对此，在图像制作领域中，也利用了使用游戏引擎的3DCG制作。作为利用方法之一，3DCG制作被利用在演播室(通常被称为“虚拟演播室(virtual studio)”)中，在该演播室中，生成并分发通过对绿色背景(green back)演播室中所拍摄的二维运动图像(2D图像)和3DCG进行实时合成所获得的图像。

在2D图像和3DCG的合成中，将屏(screen)设置在3DCG空间上的预定位置处，并且通过将照相机所拍摄的被摄体的图像顺次投影到该屏上并进行渲染来获得图像。因此，在照相机(视点)在摄像期间显著移动或被摄体显著移动的情况下，发生相对于屏的位置偏移、或与CG所创建的背景在深度方向上的位置关系的不一致等，并且有时获得不自然的图像。

发明内容

一种图像处理设备，包括：获得单元，其被配置为获得与特定视点相对应的包括前景对象的二维图像、用于指定获得所述二维图像时的条件的参数、以及表示所述二维图像中所包括的前景对象的三维位置和形状的位置和形状数据；以及生成单元，其被配置为通过在包括背景对象的计算机图形空间中基于所述位置和形状数据布置屏、并且基于所述参数将所述二维图像中所包括的前景对象的图像投影到所述屏上，来生成包括所述前景对象和所述背景对象的图像。

本发明的其他特征将从参考附图对示例性实施例的以下描述变得清楚。

附图说明

图1是示出用于生成虚拟视点图像的图像处理系统的配置的示例的图；

图2是示出图像处理设备的硬件配置的示例的图；

图3是示出根据第一实施例的图像处理设备的内部配置的示例的图；

图4是示出合成单元中的处理的流程的流程图；

图5A是示出布置有背景模型的3DCG空间的示例的图，并且图5B是示出在布置有背景模型的3DCG空间内形成屏和伪阴影(pseudo shadow)的状态的图；

图6A是说明色键(chroma key)处理的图，并且图6B是示出将切出(cut-out)图像投影到在3DCG空间上所生成的屏上的状态的图；

图7是示出合成图像的示例的图；

图8A是示出照相机显著移动的示例的图，并且图8B是示出将切出图像投影到在3DCG空间上生成的屏上的状态的图；

图9A是示出投影视点和渲染视点与摄像视点不一致的示例的图，并且图9B是示出增大了前景对象的大小的情况的示例的图；

图10A是示出屏的掩模图像的示例的图，并且图10B是示出从掩模图像获得的切出图像的示例的图；

图11A是示出根据变形例的渲染图像的示例的图，并且图11B是示出根据变形例的合成图像的示例的图；

图12是示出根据第二实施例的虚拟视点图像生成系统的内部配置的示例的图；以及

图13是示出合成图像的示例的图。

具体实施方式

在下文中，参考附图根据优选实施例来详细描述本公开。以下实施例中所示的配置仅仅是示例性的，并且本公开不限于示意性地示出的配置。

[第一实施例]

<系统配置>

图1是示出根据本实施例的用于生成虚拟视点图像的图像处理系统的配置的示例的图。图像处理系统100具有摄像装置(照相机)110、测量装置120、图像处理设备130和显示装置140。在图像处理系统100中，在图像处理设备130中将照相机110所拍摄的图像与三维计算机图形进行合成，并显示在显示装置140上。

例如，照相机110在可以进行色键摄像的绿色背景(green back)或蓝色背景(blueback)的演播室中在时间上连续地拍摄诸如作为前景的表演者等的对象(以下被称为“前景对象”)，并且输出所获得的拍摄图像(运动图像)。照相机110例如由包括串行数字接口(SDI)所表示的图像信号接口的数字摄像机来实现。照相机110在将时间码所表示的时间信息附加到要输出的图像信号之后，将该图像信号发送到图像处理设备130。此时，还发送用于指定照相机的三维位置(x，y，z)、姿势(平摇、俯仰、倾斜)、视角、镜头失真、焦距和分辨率等的摄像参数。通过进行公知的照相机校准来预先计算摄像参数，并将其存储在存储器等中。例如，可以通过在照相机110中安装标记并由布置在摄像空间上的多个光学传感器检测这些标记，来获得照相机的三维位置和姿势。此外，在照相机110附接到吊机(crane)或机械臂等的情况下，还可以基于该吊机或机械臂的位置和姿势来找到照相机110的位置和姿势。

测量装置120测量存在于诸如演播室等的真实摄像空间中的前景对象的位置及其粗略形状。本实施例的测量装置120具有摄像功能，并且通过分析从多个方向拍摄前景对象所获得的多个图像来测量其位置和粗略形状。例如，通过使用两个照相机，在不使用标记的情况下实时检测人物等的位置和姿势等。由此，生成并输出表示摄像空间中的前景对象的位置和粗略形状的数据(以下被称为“位置和形状数据”)。在本实施例中，假设生成并输出用于描述外接前景对象的长方体的各顶点的三维位置(x，y，z)以及该长方体的各边的长度的位置和形状数据。然而，测量装置120的配置不局限于上述示例，并且可以接受使用无线LAN或Bluetooth(蓝牙)的局部定位系统。此外，还可以通过将传感器附接到人物等来使用GPS检测三维位置。在这种情况下，通过添加预先调查的与人物等的粗略大小有关的信息来生成位置和形状数据就足够了。此时的对象形状可以是简单的形状，并且可以接受外接该对象的多面体。

图像处理设备130通过将照相机110所获得的前景对象的图像投影到3DCG空间上、并从与摄像时相同的视点进行图像的渲染，来生成使前景对象看似存在于3DCG空间中的合成图像。稍后将描述图像处理设备130的功能的细节。

显示装置140例如是液晶显示器等，并且获得并显示从图像处理设备130发送的图像数据(用于图形用户界面的UI画面的数据和合成图像的数据)。

在本实施例中假定一个照相机110，但是该配置可以是例如使用多个照相机110的配置。例如，还可以具有与照相机110的数量相同数量的图像处理设备130，并且通过诸如切换器等的装置将各个系统所获得的合成图像切换到另一合成图像，并输出该合成图像。可替代地，还可以在图像处理设备130内部将用于与3DCG进行合成的拍摄图像切换到从多个照相机110中的各个照相机输入的拍摄图像中的另一拍摄图像，并处理该拍摄图像。

<关于硬件配置>

图2是示出图像处理设备130的硬件配置的示例的图。作为信息处理设备的图像处理设备130具有CPU 211、ROM 212、RAM 213、辅助存储装置214、操作单元215、通信I/F 216和总线217。

CPU 211通过使用ROM 212或RAM 213中所存储的计算机程序和数据来控制整个图像处理设备130，从而实现图像处理设备130的各个功能。图像处理设备130也可以具有与CPU 211不同的一个专用硬件或多个专用硬件、或者GPU(图形处理单元)。然后，GPU或专用硬件也可以进行CPU 211所进行的处理的至少一部分。作为专用硬件的示例，存在ASIC(专用集成电路)、FPGA(现场可编程门阵列)和DSP(数字信号处理器)等。

ROM 212存储不需要改变的程序等。RAM 213临时存储从辅助存储装置214供给的程序和数据、以及经由通信I/F 216从外部供给的数据等。辅助存储装置214例如包括硬盘驱动器等，并且存储诸如图像数据和声音数据等的各种种类的数据。

操作单元215例如包括键盘和鼠标等，并且在接收到用户操作时向CPU211输入各种指示。CPU 211作为被配置为控制显示装置104的显示控制单元和被配置为控制操作单元215的操作控制单元来进行操作。通信I/F 216用于图像处理设备130与外部装置的通信。例如，在图像处理设备130经由配线与外部装置相连接的情况下，通信线缆连接到通信I/F216。在图像处理设备130具有与外部装置进行无线通信的功能的情况下，通信I/F 216包括天线。

总线217连接图像处理设备130的各个单元，并发送信息。在本实施例中，摄像装置110、测量装置120和显示装置140被设置为外部装置，但是也可以各自作为图像处理设备130的功能单元之一以内部存在的形式来进行设置。

<图像处理设备的内部配置>

图3是示出将照相机110所获得的前景对象的拍摄图像与3DCG进行合成的图像处理设备130的内部配置的示例的图。图像处理设备130具有各个功能单元，即，数据获得单元301、同步单元302、合成单元303和数据输出单元308。然后，合成单元303具有背景存储单元304、预处理单元305、投影单元306和渲染单元307。还可以由多个电子装置构成图像处理设备130。以下对各个功能单元进行说明。

数据获得单元301从照相机110接收并获得前景对象的拍摄图像数据以及摄像参数。此外，数据获得单元301从测量装置120获得前景对象的位置和形状数据。数据获得单元301所获得的数据被输入到同步单元302。期望但不强制的是，在彼此同步的定时获得拍摄图像数据以及位置和形状数据。在这两个数据之间、获得周期(采样周期)不同的情况下，例如也可以基于所获得的数据的变化量来单独地生成与拍摄图像数据同步的位置和形状数据。摄像参数可以在与拍摄图像数据的定时相同的定时发送(或接收)，或者摄像参数可以在不同定时发送(或接收)。此外，可以在改变时发送(或接收)摄像参数。在这种情况下，可以减少所发送(或接收)的数据量。摄像参数的发送(或接收)的频率、周期和帧频可以小于拍摄图像数据的发送(或接收)的频率、周期和帧频。

同步单元210对由于各个输入数据的生成、发送和获得的定时的差异而导致的数据之间的延迟时间进行调整。具体地，针对各个数据设置可变长度的缓冲器，并且将经由该缓冲器而同步的各个数据输出到合成单元303。在建立数据之间的同步时，通过使用附加到各个数据的时间信息并根据输入最迟的数据来改变其他数据的缓冲级数，从而调整延迟时间，使得输出的时间在数据之间是相同的。

合成单元303基于拍摄图像数据以及前景对象的位置和形状数据，通过将前景对象的图像投影到3DCG空间上，来生成前景对象看似存在于3DCG空间中的合成图像。稍后将描述合成单元303的细节。

数据输出单元308将合成单元303所生成的合成图像的数据输出到诸如显示装置140等的外部装置。

以上是根据本实施例的图像处理设备的功能配置。在本实施例中，通过一个同步单元302来调整三个数据(即，拍摄图像数据、摄像参数以及位置和形状数据)之间的同步，但是该配置不限于这样的配置。例如，该配置可以是使摄像装置110和测量装置120中的每一个具有内部缓冲器、并且在相同定时将数据发送到图像处理设备130的配置。

<合成单元的细节>

如图3所示，合成单元303具有背景存储单元304、预处理单元305、投影单元306和渲染单元307。参考图4中的流程图，说明合成单元303的功能的细节。通过CPU 211读取ROM212或辅助存储装置214等中所存储的控制程序，将该程序加载到RAM 213上并执行该程序，来实现图4的流程图所示的一系列处理。在以下说明中，符号“S”表示步骤。

在将上述数据中的各个数据从同步单元302输入到合成单元303的情况下，首先，在S401处，渲染单元307从背景存储单元304读取背景对象的CG数据，并且将利用CG的背景对象布置在3DCG空间中。这里，背景存储单元304中所存储的CG数据是表示诸如柱和固定物等的、作为除了布置在3DCG空间中的前景对象之外的背景的各个对象的三维形状和纹理(颜色和质感等)的数据。CG数据可以具有3DCG空间中的三维位置信息。此外，CG数据可以具有真实空间中的三维位置信息。图5A是示出布置有CG背景对象的3DCG空间的示例的图，并且在该示例中，实线长方体所表示的四个背景对象501a至501d布置在3DCG空间中。假设预先针对各个背景对象确定该背景对象布置在3DCG空间内的哪个位置。针对所输入的拍摄图像数据的各帧进行随后的S402至S407处的各个处理。

在接下来的S402处，预处理单元305基于从同步单元302输入的位置和形状数据，将在处理目标帧中的前景对象的图像所投影到的屏布置在3DCG空间内。此外，预处理单元305在3DCG空间内形成前景对象的伪阴影。图5B示出在上述图5A所示的3DCG空间内布置有虚线所表示的三个屏502a至502c并且还形成有阴影所表示的伪阴影503a至503c的状态。在本实施例中，在3DCG空间中布置与外接前景对象的长方体相对应的透明边界框作为屏。屏由长方体来表示的原因在于，长方体是围绕三维形状的前景对象的最简单立方体。在屏被布置为二维平面的情况下，可以从前表面没有任何问题地进行投影，但是在从侧表面或顶表面进行投影的情况下，不形成平面，并且因此，无法获得适当的投影图像。由此，在本实施例中，将屏布置为长方体。虽然可以将屏定义为“总是面向投影时的视点的表面”，但是例如在前景对象是像人物这样的复杂形状的情况下，其面积根据观看方向而显著改变，并且因此每次都需要进行计算。另一方面，在屏是长方体的情况下，通过取表示长方体的各点的三维位置的坐标(x，y，z)的最大值和最小值，将前景对象的投影图像无例外地包括在其中，并且因此，不再需要每次进行计算。此外，长方体还具有能够抑制数据量的优点，并且因此减少了诸如传输等的处理的负荷。使屏透明的原因是为了防止用户在合成图像中在视觉上识别屏。出于这样的原因，在本实施例中，采用透明边界框作为屏。然后，为了使所投影的前景对象的图像看起来与地面进行接触，阴影的表示是重要的，但是本实施例的位置和形状数据不包括与前景对象的详细形状和姿势有关的信息，因此，难以基于光源来表示准确的阴影。因此，通过绘制简化形状的伪阴影来改善与地面进行接触的感觉。具体地，在作为屏的边界框的底面附近绘制与位置和形状数据所表示的粗略形状和大小相对应的半透明的黑色或灰色椭圆。因此，以使阴影与前景对象的移动连动的方式显示伪阴影，因此，获得了在3DCG空间中前景对象看似与地面进行接触的自然合成图像。期望在作为屏的边界框的底面附近形成伪阴影(诸如基于光源的伪阴影等)，使得防止阴影变得不自然，例如，诸如朝向光源延伸的阴影等。根据虚拟光源的位置，伪阴影可以形成在边界框外。例如，这是光是从背景对象501d侧朝向背景对象501a侧发射的情况。此外，可以针对背景对象形成伪阴影。

在接下来的S403处，投影单元306基于处理目标帧的摄像参数来设置在将前景对象的图像投影到上述屏上时的条件(投影参数)。具体地，通过将进行投影时的视点、姿势和视角等调整到拍摄处理目标帧时的条件来进行设置，使得这两个条件彼此一致。

然后，在S404处，投影单元306将处理目标帧的图像投影到在S402处所生成的屏上。此时，将通过仅切出与前景对象相对应的图像区域所获得的部分图像(切出图像)投影到屏上，该图像区域是通过对处理目标帧的图像进行色键处理而获得的。图6A是说明色键处理的图。在图6A的示例中，从处理目标帧600提取分别与人物601至603相对应的三个切出图像。图6B示出了将相应切出图像投影各自到在3DCG空间上生成的各个屏(参见图5B)上的状态。如上所述，进行了使屏透明的处理，因此，用户不太可能在视觉上识别到投影了切出图像之后的屏的空白区(margin)。

在接下来的S405处，渲染单元307基于处理目标帧的摄像参数，来设置在通过将投影了切出图像的3DCG空间作为目标进行渲染时的条件(渲染参数)。在上述图6B中，视点标记610表示根据照相机110的摄像视点所设置的渲染视点。也就是说，渲染视点被设置成使得其位置、姿势和视角等与照相机110在对处理目标帧进行摄像时的位置、姿势和视角等一致。

然后，在S406处，渲染单元307根据在S405处所设置的渲染参数进行将3DCG空间作为目标的渲染处理，该3DCG空间处于已将前景对象的切出图像投影到透明屏上的状态。在渲染处理中，基于从所设置的渲染视点到各个对象的距离，针对各个像素进行采用更接近渲染视点的颜色值(像素值)的处理。例如，通过首先根据已经变得清楚的与前景对象和背景对象的三维位置有关的信息来生成表示从渲染视点到各个对象的距离的深度图像，并且通过参考该深度图像，来进行顺次地确定构成了合成图像的像素的值的处理。由此，获得如图7所示的合成图像700，该合成图像700中反映了对象之间的遮挡关系，例如，诸如在3DCG空间上使位于前景对象前方的背景对象显示在该前景对象前方等。以这种方式，获得使存在于真实三维空间(摄像空间)中的前景对象看似存在于3DCG空间中的自然合成图像。

在S407处，判断是否已经给出停止图像生成的指示。直到给出停止图像生成的指示为止，处理都返回到S402并继续逐个处理所输入的处理目标帧。

以上是合成单元303中的处理的内容。由于上述功能配置，合成单元303可以在跟随前景对象和照相机110的移动期间以高准确度将照相机110所拍摄的前景对象的图像与3DCG进行合成。例如，假设如图8A中的视点标记610’所示，照相机110在表演者的斜后方向上显著移动。在这种情况下，如图8B所示，各个前景对象的切出图像611’、612’和613’从与移动了的照相机110的视点相同的视点投影到3DCG空间上的屏上。以这种方式，即使在照相机110或对象显著移动的情况下，也可以获得正确地表示对象之间的遮挡关系等的合成图像。

<变形例>

已经说明了如下的情况：在色键处理的前提下，在所谓的绿色背景或蓝色背景的环境中进行由照相机110对前景对象的摄像，但是在诸如这样的环境等中的摄像不是强制性的。例如，也可以通过对象识别技术在通过在正常演播室中进行摄像所获得的拍摄图像中区分表演者和其他背景，并且使用通过进行仅切出与表演者相对应的图像区域的图像处理所获得的图像以进行投影。

此外，已经说明了采用外接前景对象的边界框作为投影屏的情况，但是屏的形状不限于长方体的形状。例如，也可以通过利用通过在多个方向上拍摄前景对象所获得的图像来估计前景对象的姿势，生成表示所估计的姿势的网格模型，并且采用适合该前景对象的姿势的三维形状的屏。由此，可以在3DCG空间中布置如模拟表演者每次的姿势的人体模型那样的屏。

此外，在上述实施例中，使投影视点和屏的坐标系(x，y，z)与布置有背景模型的3DCG空间的坐标系(x’，y’，z’)彼此一致，但在本实施例中这不是强制性条件。需要前景对象和摄像视点之间的相对位置关系以及屏、投影视点和渲染视点之间的相对位置关系彼此一致。在这些相对位置关系彼此一致的情况下，也可以将屏、投影视点和渲染视点移动到3DCG空间上的任何坐标，并且改变朝向。此外，通过一起改变屏的倍率和相对距离的倍率，也可以改变前景对象和3DCG空间之间的大小关系。图9A是在将各个屏布置在背景对象前方、并且将投影视点和渲染视点设置为远离摄像视点的情况下的示例。图9B是在通过进一步一起改变各个屏的倍率和相对距离的倍率来增加前景对象的大小的情况下的示例。在图9B的情况下，改变坐标系自身的大小(例如，在原图像中的1cm与真实空间中的1m相对应的情况下，改变坐标系以使得图像上的1cm与真实空间中的50cm相对应)，并且因此，投影视点的绝对距离增加。如上所述，也可以产生前景对象已移动的表示或前景对象已变得更小或更大的表示。

此外，将前景对象的切出图像投影到屏上并对其进行渲染，但是处理的顺序没有必要局限于这样的顺序。例如，还可以通过以下过程获得图11B所示的合成图像1101：获得例如如图10A所示的屏的掩模图像，该掩模图像还考虑了在从渲染视点观看的情况下的遮挡关系等；然后，通过将图10A中的掩模图像应用于图6A中的拍摄图像，生成通过切出前景对象的部分所获得的如图10B所示的切出图像1001和1002；然后，通过对作为目标的3DCG空间进行渲染来生成图11A所示的仅布置有图5A所示的背景对象的CG的渲染图像1100，并且将图10B所示的切出图像1001和1002叠加在渲染图像1100上。然而，在该方法的情况下，在渲染时不使用与前景对象有关的三维距离信息，因此，难以准确地表示景深或表示远景中的雾等。因此，通过本实施例中说明的方法获得了具有更高质量的合成图像。

如上所述，根据本实施例，可以容易地获得照相机所拍摄的前景对象的2D图像和CG所创建的背景彼此协调的自然合成图像。

[第二实施例]

接下来，将说明将虚拟视点图像用作与3DCG合成的二维图像的方面作为第二实施例。图12是示出用于生成输入到图像处理设备130的虚拟视点图像的系统的配置的示例的图。

如图12所示，在本实施例中，将从虚拟视点图像生成系统1200输出的虚拟视点参数、虚拟视点图像和前景模型输入到图像处理设备130。也就是说，本实施例的虚拟视点参数和虚拟视点图像与在第一实施例中从照相机110输出的摄像参数和拍摄图像相对应，并且本实施例的前景模型与在第一实施例中从测量装置120输出的位置和形状数据相对应。下面通过关注与第一实施例的差异来说明本实施例。

虚拟视点图像生成系统1200包括多个摄像装置1201、图像处理服务器1202和控制器1206。然后，图像处理服务器1202具有如下单元的各个功能单元：三维形状估计单元1203、材料数据存储单元1204和虚拟视点图像生成单元1205。

多个摄像装置1201被布置成围绕着前景对象，并且从多个方向拍摄这些前景对象。此外，基于来自时间服务器(未示意性示出)的同步信号来使多个摄像装置1201的摄像定时同步。将由多个摄像装置1201从多个不同视点拍摄的图像(下面被称为“多视点图像”)的数据连同用于表示各个摄像装置的位置/姿势和光学特性等的摄像参数一起发送到图像处理服务器1202，并输入到三维形状估计单元1203。

三维形状估计单元1203从构成所输入的多视点图像的各个拍摄图像提取前景对象的轮廓(silhouette)，然后通过使用可视外壳(visual hull)方法等生成表示前景对象的三维形状的数据(下面被称为“前景模型”)。将表示摄像时的三维位置的信息附加到该前景模型。将所生成的前景模型连同作为所生成的前景模型的源的多视点图像(包括摄像参数)一起发送到材料数据存储单元1204。

材料数据存储单元1204对从三维形状估计单元1203输入的前景模型、多视点图像和摄像参数的中的各个数据进行存储/累积作为虚拟视点图像的材料。

控制器1206具有用于在摄像空间中的任意位置处设置虚拟摄像视点的操纵杆以及用于指定诸如焦距和视角等的数值的键盘等，并且基于经由这些组件的用户输入来生成虚拟视点参数。这里，虚拟视点参数包括与表示虚拟视点的位置和姿势等的照相机的外部参数相对应的信息、与诸如焦距和视角等的照相机的内部参数相对应的信息、以及用于指定生成虚拟视点图像的帧的时间信息等。将所生成的虚拟视点参数发送到图像处理服务器1202，并且输入到虚拟视点图像生成单元1205。

虚拟视点图像生成单元1205首先基于包括在所输入的虚拟视点参数中的时间信息，从材料数据存储单元1204获得相关时间处的前景模型和拍摄图像的数据。然后，对于所获得的前景模型，虚拟视点图像生成单元1205基于拍摄图像进行与所指定的虚拟视点相对应的着色，并且生成表示从虚拟视点的外观的虚拟视点图像。将所生成的虚拟视点图像的数据连同用于生成的虚拟视点参数和前景模型一起输出到图像处理设备130。

<图像处理设备的操作>

本实施例的图像处理设备130将图像处理服务器1202所生成的虚拟视点图像的切出图像与3DCG合成，来代替第一实施例中的照相机110的拍摄图像的切出图像。因此，数据获得单元301处理虚拟视点参数中所包括的与虚拟视点的位置/姿势、焦距和视角等有关的信息，作为第一实施例的摄像参数。也就是说，数据获得单元301将虚拟视点视为照相机110，将与虚拟视点的位置/姿势和视角等有关的光学信息视为先前所描述的摄像参数中的与照相机110的位置/姿势和视角等有关的光学信息，并且将该信息输出到同步单元302。此外，本实施例的数据获得单元301基于包括在虚拟视点参数中或嵌入在虚拟视点图像中的时间信息，将与各帧相对应的前景模型视为第一实施例中的位置和形状数据，并将前景模型输出到同步单元302。此时，还可以在通过简化前景模型的形状来进行处理以减少数据量之后输出前景模型，使得合成单元303易于在后续阶段中进行处理。作为形状简化处理，例如考虑用于将前景模型转换为与外接前景模型所表示的三维形状的长方体(边界框)有关的信息的处理、或者用于间隙剔除表示三维形状的点云或网格的处理。不用说，根据需要进行诸如格式转换等的用于取得数据之间的一致性的处理。

如在第一实施例中那样，本实施例的同步单元302在从数据获得单元301输入的虚拟视点图像、虚拟视点参数和前景模型这三个数据之间建立同步，并将它们输出到合成单元303。

本实施例的合成单元303生成合成图像，该合成图像是从同步单元302输入的虚拟视点图像与3DCG的合成。具体地，预处理单元305基于前景模型在布置有背景对象的CG的3DCG空间中生成投影屏和伪阴影(S401、S402)。接下来，投影单元306根据虚拟视点参数设置投影参数(S403)，从虚拟视点图像生成前景对象的切出图像，并且将该切出图像投影到屏上(S404)。然后，渲染单元307根据虚拟视点参数设置渲染参数(S405)，并且将对虚拟视点图像的切出图像进行投影的状态下的3DCG空间作为目标，进行与预定帧数相对应的次数的渲染处理(S406)。

<变形例>

在本实施例中，如第一实施例中那样，在图像处理设备130内建立虚拟视点图像、虚拟视点参数和前景模型这三个数据之间的同步，但是配置不限于此。例如，该配置可以是如下配置：在虚拟视点图像生成系统内建立数据之间的同步，然后通过进行例如压缩等来将数据集成到一个文件中，并且将该文件发送到图像处理设备130。在这种配置的情况下，不再需要图像处理设备130内的同步单元302。然后，在数据获得单元301中展开所接收到的数据文件并且获得虚拟视点图像、虚拟视点参数和前景模型中的各个数据并将其输入到合成单元303就足够了。由于这种配置，因此不再需要在图像处理设备侧建立同步，并且同时可以解决数据传送的复杂性。

此外，在本实施例中，数据获得单元301基于包括在虚拟视点参数中或嵌入在虚拟视点图像中的时间信息来获得相应前景模型，但是配置没有必要局限于此。例如，该配置可以是如下配置：在图像处理服务器1202中，虚拟视点图像生成单元1205将从材料数据存储单元1204获得的前景模型与相应虚拟视点图像的帧相关联，然后将其发送到图像处理设备130。在这种情况下，图像处理设备130的数据获得单元301可以在不使用时间信息的情况下获得与各帧相对应的前景模型。

此外，在本实施例中，数据获得单元301进行用以根据从图像处理服务器1202输入的前景模型导出粗略形状的简化处理，但这不限于此。例如，图像处理服务器1202侧还可以进行直到简化处理为止的处理，并将简化的前景模型(即，数据量减少的前景模型)输入到图像处理设备130。例如，在通过在三维形状估计单元1203中进行正常形状估计而生成前景模型之后，并且进一步地通过进行用以从前景模型导出粗略形状的处理来生成简化的前景模型。然后，除了正常前景模型之外，还将简化的前景模型存储并累积在材料数据存储单元1204中，并且将简化的前景模型发送到图像处理设备130。通过这样做，在图像处理设备130侧可以省略针对前景模型的形状简化处理，并且还可以减少数据传送的负荷。

此外，在本实施例中，说明了通过间隙剔除来自前景模型(其是形状估计的结果)的点云数据、用边界框替换前景模型等来获得简化形状，但是形状简化不限于这些。例如，该配置可以是如下配置：根据形状估计结果生成网格模型、深度图像和姿势信息等，并且通过利用这些来获得简化的形状。此外，还可以以预定高度的间隔划分形状估计结果，生成各个划分部分的边界框，并将这些的集合作为简化的形状。

此外，还可以通过使用上述姿势信息来生成伪阴影。例如，还可以将根据表演者的简化形状的阴影投影到根据与表演者有关的姿势信息所获得的先前所描述的人形屏的底表面上。因此，可以根据表演者等的移动来表示伪阴影。此外，还可以单独获得前景模型(其是估计结果)所表示的三维形状中的接近地板表面的部分(例如，在地板表面上方30cm的区域)的位置和形状数据，并通过使用该数据绘制伪阴影。利用该方法，即使根据诸如不可能抓取实际前景对象的轮廓的边界框等的简化的形状数据，例如，如图13所示的合成图像1300，也可以仅在表演者的脚附近生成伪阴影1301。此外，在该方法的情况下，没有必要检测前景对象的姿势，因此，还存在处理量小的优点。

根据本实施例，可以容易地获得表示从不受实际照相机位置限制的虚拟照相机视点的外观的2D图像与CG所创建的背景彼此协调的自然合成图像。此外，生成虚拟视点图像时的材料数据也用于合成，因此效率高。此外，可以建立数据之间的同步，并且更容易地提高获得前景对象的三维位置的准确度，因此能够进行高质量的合成。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据本公开的技术，可以获得包括在二维图像中的前景对象和包括在三维计算机图形空间中的背景对象彼此协调的自然合成图像。

虽然参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应被赋予最广泛的解释，以涵盖所有这样的修改以及等效的结构和功能。

Claims (18)

1.一种图像处理设备，包括：

获得单元，其被配置为获得与特定视点相对应的包括前景对象的二维图像、用于指定获得所述二维图像时的条件的参数、以及表示所述二维图像中所包括的前景对象的三维位置和形状的位置和形状数据；以及

生成单元，其被配置为通过在包括背景对象的计算机图形空间中基于所述位置和形状数据布置屏、并且基于所述参数将所述二维图像中所包括的前景对象的图像投影到所述屏上，来生成包括所述前景对象和所述背景对象的图像。

2.根据权利要求1所述的图像处理设备，其中，

所述屏是三维形状。

3.根据权利要求2所述的图像处理设备，其中，

所述屏是透明边界框。

4.根据权利要求1所述的图像处理设备，其中，

所述位置和形状数据是用于描述外接所述前景对象的长方体的各个顶点的三维位置以及该长方体的各边的长度的数据。

5.根据权利要求1所述的图像处理设备，其中，

所述生成单元通过基于所述位置和形状数据在计算机图形的三维空间中形成所述前景对象的伪阴影，来生成包括所述前景对象和所述背景对象的图像。

6.根据权利要求5所述的图像处理设备，其中，

所述伪阴影是半透明的黑色或灰色椭圆。

7.根据权利要求1所述的图像处理设备，其中，

所述生成单元通过渲染来生成包括所述前景对象和所述背景对象的图像，所述渲染用于基于从基于所述参数所设置的视点到各个前景对象的距离来确定各个像素的颜色。

8.根据权利要求7所述的图像处理设备，其中，

所述生成单元：

根据所述参数所指定的获得所述二维图像时的条件，来设置进行所述投影时的条件；以及

根据所述参数所指定的获得所述二维图像时的条件，来设置进行所述渲染时的条件。

9.根据权利要求1所述的图像处理设备，其中，

与所述特定视点相对应的所述二维图像是构成运动图像的帧，以及

所述图像处理设备还包括同步单元，所述同步单元被配置为在所述位置和形状数据的获得周期与构成所述运动图像的帧的获得周期不同的情况下，生成与所述运动图像的各帧同步的位置和形状数据。

10.根据权利要求9所述的图像处理设备，其中，

所述同步单元通过具有用于所述运动图像以及所述位置和形状数据中的每一个的缓冲器、并改变各个缓冲器中的缓冲级数，来建立数据之间的同步。

11.根据权利要求10所述的图像处理设备，其中，

所述同步单元通过根据输入最迟的数据来改变其他数据的缓冲级数，从而调整延迟时间，使得输出时间在数据之间是相同的。

12.根据权利要求1所述的图像处理设备，其中，

与所述特定视点相对应的所述二维图像是构成运动图像的帧，以及

所述获得单元在与构成所述运动图像的帧同步的定时获得所述位置和形状数据。

13.根据权利要求1所述的图像处理设备，其中，

与所述特定视点相对应的所述二维图像是摄像装置所获得的拍摄图像，以及

所述参数是表示在由所述摄像装置拍摄所述对象时的条件的摄像参数。

14.根据权利要求13所述的图像处理设备，其中，

所述前景对象的图像是通过对所述拍摄图像进行色键处理所获得的图像。

15.根据权利要求1所述的图像处理设备，其中，

与所述特定视点相对应的所述二维图像是虚拟视点图像，所述虚拟视点图像是基于通过由摄像装置从多个视点拍摄所述对象而获得的多个拍摄图像所生成的，并且表示从与所述多个视点不同的虚拟视点的外观，以及

所述参数是表示生成所述虚拟视点图像时的条件的虚拟视点参数。

16.根据权利要求15所述的图像处理设备，其中，

所述获得单元基于通过使用所述多个拍摄图像所生成的表示对象的三维形状的数据，来获得所述对象的位置和形状数据。

17.一种图像处理方法，包括：

获得与特定视点相对应的包括前景对象的二维图像、用于指定获得所述二维图像时的条件的参数、以及表示所述二维图像中所包括的前景对象的三维位置和形状的位置和形状数据；以及

通过在包括背景对象的计算机图形空间中基于所述位置和形状数据布置屏、并且基于所述参数将所述二维图像中所包括的前景对象的图像投影到所述屏上，来生成包括所述前景对象和所述背景对象的图像。

18.一种计算机可读存储介质，其存储有用于使计算机进行根据权利要求17所述的图像处理方法的程序。

Images