CN114502246A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本技术涉及能够拓宽通过使用3D模型生成的运动图像的表示范围的图像处理装置、图像处理方法和程序。图像处理装置设置有：虚拟摄像装置设置单元，其设置虚拟摄像装置；虚拟视点图像生成单元，其生成虚拟视点图像，该虚拟视点图像是从虚拟摄像装置的视点观看3D对象的情况下的图像；合成单元，其基于多个虚拟视点图像生成合成图像；以及运动图像生成单元，其生成包括基于虚拟视点图像或合成图像的帧的运动图像，其中，在布置了多个虚拟摄像装置之后，虚拟摄像装置设置单元通过使多个虚拟摄像装置中的至少一个移动来整合多个虚拟摄像装置。本技术可以应用于例如编辑运动图像的装置。

Description

图像处理装置、图像处理方法和程序

技术领域

本技术涉及图像处理装置、图像处理方法和程序，并且更特别地，涉及适合于在通过使用3D模型生成运动图像的情况下使用的图像处理装置、图像处理方法和程序。

背景技术

近年来，以下技术正在变得广泛：基于由以围绕对象的方式布置的多个摄像装置所捕获的图像来生成对象(被摄体)的3D模型，并且通过使用所生成的3D模型来再现从期望视点观看的对象的图像(例如，参见专利文献1)。

引用列表

专利文献

专利文献1：WO 2018/150933 A

发明内容

本发明要解决的问题

可以通过使用上述技术来再现基于期望视点的对象的图像。因此，期望上述技术将扩展运动图像中的表示范围。

本技术是鉴于这样的情况而做出的，并且旨在能够扩展通过使用3D模型而生成的运动图像中的表示范围。

问题的解决方案

根据本技术的一个方面的图像处理装置包括：虚拟摄像装置设置单元，其对虚拟摄像装置进行设置；虚拟视点图像生成单元，其生成虚拟视点图像，该虚拟视点图像是从虚拟摄像装置的视点观看的3D对象的图像；合成单元，其基于多个虚拟视点图像生成合成图像；以及运动图像生成单元，其生成包括基于虚拟视点图像或合成图像的帧的运动图像，其中，在布置多个虚拟摄像装置之后，虚拟摄像装置设置单元移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置。

根据本技术的一个方面的图像处理方法包括：在布置多个虚拟摄像装置之后，使图像处理装置移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置，该图像处理装置被配置成：对虚拟摄像装置进行设置；生成虚拟视点图像，该虚拟视点图像是从虚拟摄像装置的视点观看的3D对象的图像；基于多个虚拟视点图像生成合成图像；以及生成包括基于虚拟视点图像或合成图像生成的帧的运动图像。

根据本技术的一个方面的程序使图像处理装置的计算机执行以下处理：在布置多个虚拟摄像装置之后，移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置，该图像处理装置被配置成：对虚拟摄像装置进行设置；生成虚拟视点图像，该虚拟视点图像是从虚拟摄像装置的视点观看的3D对象的图像；基于多个虚拟视点图像生成合成图像；以及生成包括基于虚拟视点图像或合成图像的帧的运动图像。

在本技术的一个方面中，在布置多个虚拟摄像装置之后，移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置。

附图说明

图1是示出应用本技术的图像处理装置的配置示例的框图。

图2是用于描述运动图像生成处理的流程图。

图3是用于描述运动图像生成方法的第一具体示例的图。

图4是用于描述运动图像生成方法的第一具体示例的图。

图5是用于描述运动图像生成方法的第一具体示例的图。

图6是用于描述运动图像生成方法的第一具体示例的图。

图7是用于描述运动图像生成方法的第一具体示例的图。

图8是用于描述运动图像生成方法的第一具体示例的图。

图9是用于描述运动图像生成方法的第二具体示例的图。

图10是用于描述运动图像生成方法的第三具体示例的图。

图11是示出计算机的配置示例的图。

具体实施方式

下面将描述用于实施本技术的模式。将按以下顺序提供描述。

1.实施方式

2.修改

3.其他

<<1.实施方式>>

将参照图1至图10描述本技术的实施方式。

<图像处理装置的配置示例>

图1是示出应用本技术的图像处理装置11的实施方式的框图。

图像处理装置11是通过使用3D模型生成运动图像的装置。

注意，3D模型的类型和用于生成3D模型的方法没有特别限制。例如，要使用的3D模型可以是基于从真实对象(被摄体)周围的多个视点捕获的图像而生成的3D模型，或者可以是通过使用计算机图形等人工生成的3D模型。此外，在前一种情况下，例如,3D模型可以是已经将纹理信息叠加在多边形上的模型，或者是已经将纹理信息叠加在点云上的模型。

另外，3D模型中的对象(在下文中，称为3D对象)的数目没有特别限制。即，在3D模型中可以仅存在单个3D对象(例如，单个人)，或者在3D模型中可以存在多个3D对象(例如，多个人)。

图像处理装置11包括：输入单元21、图像处理单元22、存储单元23和显示单元24。

例如,输入单元21包括各种输入设备，并且用于输入指令(例如，虚拟摄像装置设置指令)、由输入图像处理装置11要执行的处理所需的数据(例如，3D模型数据)等。输入单元21将输入数据、指令等提供给图像处理单元22，并且将输入数据、指令等存储在存储单元23中。

虚拟摄像装置设置单元31基于由用户经由输入单元21输入的设置指令等，对要用于生成虚拟视点图像的虚拟摄像装置进行设置。例如，虚拟摄像装置设置单元31设置虚拟摄像装置在3D空间中的位置、取向、焦距(视角)等，在该3D空间中存在有3D模型。虚拟摄像装置设置单元31将虚拟摄像装置上的设置信息提供给虚拟视点图像生成单元32。

虚拟视点图像生成单元32基于经由输入单元21输入或存储在存储单元23中的3D模型数据和由虚拟摄像装置设置单元31设置的虚拟摄像装置来生成虚拟视点图像。

例如,虚拟视点图像是从虚拟摄像装置的视点(在下文中，称为虚拟视点)观看的3D模型中的3D对象的虚拟图像。更具体地，虚拟视点图像是被假设成在由具有设置的位置、取向和焦距的虚拟摄像装置捕获3D模型中的3D对象的图像的情况下获得的虚拟图像。

虚拟视点图像生成单元32根据需要将生成的虚拟视点图像提供给合成单元33和运动图像生成单元34，或者将生成的虚拟视点图像存储在存储单元23中。

合成单元33基于虚拟视点图像生成合成图像，该虚拟视点图像基于多个不同的虚拟摄像装置而生成。合成单元33根据需要将生成的合成图像提供给运动图像生成单元34，或者将生成的合成图像存储在存储单元23中。

运动图像生成单元34生成基于虚拟视点图像或合成图像的帧，并且生成包括所生成的帧的运动图像。运动图像生成单元34根据需要将生成的运动图像存储在存储单元23中，或者将生成的运动图像提供给显示单元24。

例如,显示单元24包括包括液晶显示器(LCD)或有机EL显示器的显示器。显示单元24显示从运动图像生成单元34提供的运动图像、存储在存储单元23中的运动图像、虚拟视点图像、合成图像等。

<运动图像生成处理>

接下来，将参照图2的流程图描述由图像处理装置11要执行的运动图像生成处理。

例如，当用户经由输入单元21输入生成运动图像的指令时，开始该处理。

在步骤S1中，虚拟摄像装置设置单元31对虚拟摄像装置进行设置。例如，虚拟摄像装置设置单元31基于由用户经由输入单元21输入的设置指令来设置虚拟摄像装置在3D空间中的位置、取向、焦距等。替选地，例如，虚拟摄像装置设置单元31根据预设算法、规则等设置虚拟摄像装置在3D空间中的位置、取向、焦距等。

此时，例如,可以对单个3D对象布置多个虚拟摄像装置。此外，例如,在对多个3D对象要执行该处理的情况下，可以针对每个3D对象单独地放置虚拟摄像装置，或者可以针对多个3D对象放置公共虚拟摄像装置。

虚拟摄像装置设置单元31生成关于虚拟摄像装置的设置信息，并且将该设置信息提供给虚拟视点图像生成单元32。关于虚拟摄像装置的设置信息包括例如：每个虚拟摄像装置在3D空间中的诸如位置、取向和焦距的参数，以及关于由每个虚拟摄像装置要成像的3D对象的信息。

在步骤S2中，虚拟视点图像生成单元32基于设置的虚拟摄像装置来生成虚拟视点图像。

具体地，虚拟视点图像生成单元32获取关于3D模型的数据，该3D模型包括要针对其生成虚拟视点图像的3D对象。例如，3D模型数据可以经由输入单元21从外部输入，或者可以预先存储在存储单元23中。

然后，虚拟视点图像生成单元32针对虚拟摄像装置和3D对象的每个组合生成虚拟视点图像。即，虚拟视点图像生成单元32针对每个虚拟摄像装置生成从每个虚拟摄像装置的视点(虚拟视点)观看的目标3D对象的虚拟视点图像。

在步骤S3中，虚拟视点图像生成单元32确定是否已经生成了多个虚拟视点图像。在确定已经生成了多个虚拟视点图像的情况下，处理进行至步骤S4。

在步骤S4中，合成单元33生成合成图像。

具体地，虚拟视点图像生成单元32将在步骤S2的处理中生成的多个虚拟视点图像提供给合成单元33。

合成单元33基于多个所获取的虚拟视点图像生成合成图像。合成单元33将生成的合成图像提供给运动图像生成单元34。

注意，用于生成合成图像的方法没有特别限制。例如，合成单元33通过排列多个虚拟视点图像来生成合成图像。例如，合成单元33通过将多个虚拟视点图像一个叠加在另一个之上来生成合成图像。例如，合成单元33通过从每个虚拟视点图像抠取包括3D对象的区域并且将区域布置在单个图像中来生成合成图像。

在步骤S5中，运动图像生成单元34将基于合成图像的帧添加至运动图像。具体地，运动图像生成单元34基于所获取的合成图像生成要包括在运动图像中的帧。此时，例如，运动图像生成单元34可以根据需要将背景等的图像与合成图像组合。运动图像生成单元34将所生成的帧作为最新帧添加至所生成的运动图像。

此后，处理进行至步骤S7。

另一方面，在步骤S3中确定已经生成了单个虚拟视点图像的情况下，处理进行至步骤S6。

在步骤S6中，运动图像生成单元34将基于虚拟视点图像的帧添加至运动图像。

具体地，虚拟视点图像生成单元32将在步骤S2的处理中生成的虚拟视点图像提供给运动图像生成单元34。

运动图像生成单元34基于所获取的虚拟视点图像生成要包括在运动图像中的帧。此时，例如，运动图像生成单元34可以根据需要将背景的图像等与虚拟视点图像组合。运动图像生成单元34将所生成的帧作为最新帧添加至正在生成的运动图像。

此后，处理进行至步骤S7。

在步骤S7中，运动图像生成单元34确定是否结束处理。在确定不应当结束处理的情况下，处理返回至步骤S1。

此后，在步骤S7中，重复执行步骤S1至步骤S7中的处理，直到确定应当结束该处理。因此，重复以下处理：在该处理中，基于虚拟摄像装置生成虚拟视点图像，根据需要生成合成图像，并且将基于虚拟视点图像或合成图像的帧添加至运动图像。

另一方面，在步骤S7中，例如，在由用户经由输入单元21输入停止生成运动图像的指令的情况下，运动图像生成单元34确定应当结束处理。

此后，运动图像生成处理结束。

如上所述，通过使用3D模型生成运动图像。

<运动图像生成方法的具体示例>

接下来，将参照图3至图10描述运动图像生成方法的具体示例。

首先，将参照图3至图8描述运动图像生成方法的第一具体示例。

在图3的示例中，将3D对象101a至101e布置在3D空间中的横向方向上。

在下文中，在不必单独地区分3D对象101a至101e的情况下，将这些对象简称为3D对象101。此外，在下文中，将其上写有字母的每个3D对象101的表面定义为每个3D对象101的前表面。

注意，3D对象101可以包括在不同的3D模型中，或者可以包括在相同的3D模型中。

在前一种情况下，例如，单独地捕获每个对象的图像，并且生成多个3D模型，使得与每个对象对应的3D对象101包括在多个3D模型中的对应的一个中。然后，将包括相应的3D对象101的3D模型分别地布置在3D空间中。因此，在这种情况下，3D对象101相对于彼此的位置可以在3D空间中改变。

在后一种情况下，例如，同时捕获对象的图像，并且生成单个3D模型，使得与对象对应的所有3D对象101都包括在该单个3D模型中。然后，将包括所有3D对象101的3D模型放置在3D空间中。因此，在这种情况下，3D对象101相对于彼此的位置在3D空间中是固定的。

然后，虚拟摄像装置设置单元31针对3D对象101a至101e分别单独地布置虚拟摄像装置102a至102e。

在下文中，在不必单独区分虚拟摄像装置102a至102e的情况下，将这些虚拟摄像装置简称为虚拟摄像装置102。

每个虚拟摄像装置102以面对对应的3D对象101的前表面的方式放置在距对应的3D对象101的前表面预定距离处。

接下来，虚拟视点图像生成单元32基于每个虚拟摄像装置102生成包括对应的3D对象101的虚拟视点图像。

接下来，如图4所示，合成单元33通过对从虚拟视点图像抠取的矩形区域的各个图像进行组合来生成合成图像。矩形区域的大小相等，并且每个包括对应的3D对象101。具体地，合成单元33生成合成图像121-1，在该合成图像121-1中，图像122a-1至图像122e-1并排布置。

注意，图像122a-1是从基于虚拟摄像装置102a生成的虚拟视点图像抠取的包括3D对象101a的矩形区域的图像。图像122b-1是从基于虚拟摄像装置102b生成的虚拟视点图像抠取的包括3D对象101b的矩形区域的图像。图像122c-1是从基于虚拟摄像装置102c生成的虚拟视点图像抠取的包括3D对象101c的矩形区域的图像。图像122d-1是从基于虚拟摄像装置102d生成的虚拟视点图像抠取的包括3D对象101d的矩形区域的图像。图像122e-1是从基于虚拟摄像装置102e生成的虚拟视点图像抠取的包括3D对象101e的矩形区域的图像。

然后，运动图像生成单元34生成基于合成图像121-1的帧，并且将帧添加至运动图像。

接下来，如图5所示，虚拟摄像装置设置单元31以将虚拟摄像装置102整合成单个虚拟摄像装置中的方式沿相应的方向移动虚拟摄像装置102。

具体地，虚拟摄像装置102c向后移动(沿远离3D对象101c的方向)，同时保持面向3D对象101c的前表面。如图中的箭头103所指示，虚拟摄像装置102a和虚拟摄像装置102b在不改变它们各自的取向的情况下沿虚拟摄像装置102a和虚拟摄像装置102b靠近虚拟摄像装置102c的方向(对角地向右后的方向)移动。如图中的箭头104所指示，虚拟摄像装置102d和虚拟摄像装置102e在不改变它们各自的取向的情况下沿虚拟摄像装置102d和虚拟摄像装置102e靠近虚拟摄像装置102c的方向(对角地向后左方向)移动。

接下来，在整合虚拟摄像装置102之前，虚拟视点图像生成单元32基于各个虚拟摄像装置102生成包括对应3D对象101的多个虚拟视点图像。

接下来，如图6所示，合成单元33通过对从虚拟视点图像抠取的矩形区域的相应的图像进行组合来生成合成图像。矩形区域的大小相等，并且各自包括对应的3D对象101。具体地，合成单元33生成合成图像121-2，在该合成图像121-2中，图像122a-2至图像122e-2并排布置。

注意，图像122a-2是从基于虚拟摄像装置102a生成的虚拟视点图像抠取的包括3D对象101a的矩形区域的图像。图像122b-2是从基于虚拟摄像装置102b生成的虚拟视点图像抠取的包括3D对象101b的矩形区域的图像。图像122c-2是从基于虚拟摄像装置102c生成的虚拟视点图像抠取的包括3D对象101c的矩形区域的图像。图像122d-2是从基于虚拟摄像装置102d生成的虚拟视点图像抠取的包括3D对象101d的矩形区域的图像。图像122e-2是从基于虚拟摄像装置102e生成的虚拟视点图像抠取的包括3D对象101e的矩形区域的图像。

然后，运动图像生成单元34生成基于合成图像121-2的帧，并且将帧添加至运动图像。

此后，如图7所示，虚拟摄像装置设置单元31最终将每个虚拟摄像装置102整合成虚拟摄像装置102f。

注意，在每个虚拟摄像装置102整合成虚拟摄像装置102f之前，可以自由地设置要生成的运动图像的帧的数目。即，在每个虚拟摄像装置102移动的轨迹上的任何期望的点处，可以基于每个虚拟摄像装置生成虚拟视点图像、基于虚拟视点图像生成合成图像以及基于合成图像生成运动图像的帧。作为重复该处理的结果，在每个虚拟摄像装置102移动的轨迹上的每个点处生成虚拟视点图像、合成图像和运动图像的帧。即，生成虚拟视点图像的两个或更多个帧、合成图像的两个或更多个帧以及运动图像的两个或更多个帧。

然后，虚拟视点图像生成单元32基于虚拟摄像装置102f生成包括图8中所示的3D对象101a至101e的虚拟视点图像121-N。

此外，运动图像生成单元34生成基于虚拟视点图像121-N的帧，并且将帧添加至运动图像。因此，获得基于合成图像的帧和基于虚拟视点图像的帧作为连续帧，所述合成图像基于与整合前的相应的虚拟摄像装置对应的多个虚拟视点图像，所述虚拟视点图像对应于整合的虚拟摄像装置。

注意，当每个虚拟摄像装置102正在移动时，每个3D对象101可以移动或静止。

如上所述，针对相应的3D对象101布置不同的虚拟摄像装置，并且当每个虚拟摄像装置以整合成单个虚拟摄像装置的方式沿适当的方向移动时，存在基于合成图像生成的运动图像的帧，该合成图像基于与每个虚拟摄像装置对应的多个虚拟视点图像。基于与每个虚拟摄像装置已整合到其中的虚拟摄像装置对应的虚拟视点图像来生成运动图像的帧。

因此，例如，可以产生视觉效果，使得观看运动图像的用户感觉好像分别地存在于不同空间中的多个对象(例如，人)自然地移动到单个空间。

注意，可以自由地设置3D对象101的数目。例如，可以将3D对象101的数目设置为1。

例如，在将3D对象的数目设置为1的情况下，针对单个3D对象101布置具有不同虚拟视点的多个虚拟摄像装置102。然后，每个虚拟摄像装置102以最终整合成单个虚拟摄像装置的方式移动。在这种情况下，在每个虚拟视点图像中包括相同的3D对象。

此外，可以将虚拟摄像装置102的数目设置为等于或大于2的任何数目。此外，3D对象101和虚拟摄像装置102的数目不必相等。

在虚拟摄像装置102的数目小于3D对象101的数目的情况下，例如，以在视角内包括多个3D对象101的方式布置一个或更多个虚拟摄像装置102。

此外，例如，可以使每个虚拟摄像装置102以在视角内包括所有3D对象101的方式被放置，并且然后以整合成单个虚拟摄像装置的方式移动。在这种情况下，每个虚拟视点图像包括多个相同的3D对象。

此外，并非所有的虚拟摄像装置102都需要移动。例如，虚拟摄像装置102可以被配置成使得当单个虚拟摄像装置102被固定时，其他虚拟摄像装置102朝向固定的虚拟摄像装置102移动以被整合。

另外，并非所有的虚拟摄像装置102都需要被整合。因此，虚拟摄像装置102可以被配置成使得仅虚拟摄像装置102中的一些被整合。

此外，并非所有虚拟摄像装置102都需要被同时整合，并且例如，虚拟摄像装置102可以被顺序地整合。

此外，例如，每个虚拟摄像装置102可以被整合成虚拟摄像装置102f，并且然后再次分离。

接下来，将参照图9描述运动图像生成方法的第二具体示例。

在该示例中，例如，虚拟摄像装置设置单元31布置三个虚拟摄像装置(未示出)，使得位于中心的3D对象142被三个虚拟摄像装置围绕。例如，三个虚拟摄像装置以相等的角度间隔(即，以120度的间隔)地布置在位于中心的3D对象142周围。

虚拟视点图像生成单元32基于各个虚拟摄像装置生成包括相同3D对象的三个虚拟视点图像。虚拟视点图像示出了从相隔120度的各个虚拟视点观看的3D对象。

合成单元33通过从每个虚拟视点图像抠取3D对象的图像并且将图像组合以形成单个图像来生成合成图像。例如，如图9所示，合成单元33将从各虚拟视点图像提取的3D对象142a至142c(的图像)组合成合成图像141。

合成单元33围绕在合成图像141中垂直延伸的预定轴以规则的间隔(即，以120度的间隔)来布置3D对象142a至142c。

运动图像生成单元34生成基于合成图像141的帧，并且将帧添加至运动图像。

此后，重复执行上述处理。

此时，例如，虚拟摄像装置设置单元31固定每个虚拟摄像装置的位置和取向。

此外，例如，合成单元33组合合成图像中的3D对象142a至142c，使得当从一帧到另一帧进行过渡时，3D对象142a至142c保持恒定的120度间隔围绕上述轴旋转。

因此，产生了使表示从不同虚拟视点观看的相同3D对象142的3D对象142a至142a看起来像万花筒一样围绕运动图像中的预定轴旋转的效果。

注意，可以将虚拟摄像装置的数目设置成等于或大于2的任何数目。

此外，可以以任何期望的方式布置虚拟摄像装置。例如，不总是需要围绕3D对象以规则的间隔布置虚拟摄像装置。

此外，可以移动虚拟摄像装置。例如，多个虚拟摄像装置可以绕位于中心的3D对象旋转。

接下来，将参照图10描述运动图像生成方法的第三具体示例。

在该示例中，例如，虚拟摄像装置设置单元31针对多个3D对象布置不同的虚拟摄像装置，使得虚拟摄像装置之间的位置关系类似于多个3D对象之间的位置关系。即，虚拟摄像装置设置单元31将虚拟摄像装置布置在相对于相应的3D对象的类似位置和取向上。

虚拟视点图像生成单元32重复以下处理：基于相应的虚拟摄像装置在相同的时间生成单独地包括对应的3D对象的多个虚拟视点图像。

运动图像生成单元34重复以下处理：选择包括不同3D对象的虚拟视点图像中的一个，生成基于所选择的虚拟视点图像的帧，以及将帧添加至运动图像。此时，例如，运动图像生成单元34生成基于包括某一3D对象的虚拟视点图像的两个或更多个连续帧，并且然后生成基于包括另一3D对象的虚拟视点图像的两个或更多个连续帧。

此处，如上所述，将虚拟摄像装置布置在相对于相应的3D对象的类似位置和取向上。因此，用于生成运动图像的虚拟视点图像的切换产生使3D对象看起来在运动图像中被另一3D对象瞬时替换的效果。例如，在图10的帧161中作为3D对象的人162看起来在下一帧中被不同的人瞬时替换。

接下来，将描述运动图像生成方法的第四具体示例。

例如，在将两个或更多个人布置为3D空间中的3D对象的情况下，虚拟摄像装置设置单元31将虚拟摄像装置布置成使得虚拟视点与人的相应的视点一致。

虚拟视点图像生成单元32重复以下处理：基于相应的虚拟摄像装置在相同的时间生成从人的相应的视点观看的多个虚拟视点图像。

运动图像生成单元34重复以下处理：基于多个虚拟视点选择虚拟视点图像中的一个，生成基于所选择的虚拟视点图像的帧，以及将帧添加至运动图像。此时，例如，运动图像生成单元34生成基于从某个人的视点观看的虚拟视点图像的两个或更多个连续帧，并且然后生成基于从另一个人的视点观看的虚拟视点图像的两个或更多个连续帧。

因此，再现了从存在于3D空间中的另一个人的视点观看的人的图像。另外，可以瞬时切换用于再现图像的视点。

如上所述，可以扩展通过使用3D模型生成的运动图像的表示范围。

<<2.修改>>

在下文中，将描述本技术的上述实施方式的修改。

上述虚拟摄像装置的数目、布置、移动等是示例，并且可以自由地改变。

此外，上述3D对象的数目、类型、布置、移动等也是示例，并且可以自由地改变。

<<3.其他>>

<计算机的配置示例>

上述一系列处理可以由硬件实现，或者可以由软件实现。在通过软件执行一系列处理的情况下，将软件中包括的程序安装在计算机中。此处，计算机的示例包括结合于专用硬件中的计算机和能够通过安装各种程序来执行各种功能的通用个人计算机等。

图11是示出借助于程序执行以上描述的一系列处理的计算机的硬件的配置示例的框图。

在计算机1000中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003经由总线1004互连。

总线1004还连接至输入/输出接口1005。输入/输出接口1005连接至输入单元1006、输出单元1007、记录单元1008、通信单元1009和驱动器1010。

输入单元1006包括输入开关、按钮、麦克风、图像拾取装置等。输出单元1007包括显示装置、扬声器等。记录单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动可移动介质1011(例如，磁盘、光盘、磁光盘或半导体存储器)。

在如上所述配置的计算机1000中，例如，CPU 1001经由输入/输出接口1005和总线1004将记录在记录单元1008中的程序加载到RAM 1003中，并且执行程序，从而执行上述一系列处理。

例如，要由计算机1000(CPU 1001)执行的程序可以在记录在作为封装介质等的可移动介质1011上之后提供。此外，程序可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供。

在计算机1000中，可以通过将可移动介质1011安装在驱动器1010上来经由输入/输出接口1005将程序安装在记录单元1008中。此外，程序可以经由有线或无线传输介质被通信单元1009接收。另外，程序可以被预先安装在ROM 1002或记录单元1008中。

注意，要由计算机执行的程序可以是使得根据本说明书中描述的顺序基于时间序列执行处理的程序。替选地，程序可以是使得并行地执行处理或者在必要时间(例如，在进行调用时的时间)执行处理的程序。

此外，在本说明书中，术语“系统”是指一组多个组成元件(装置，模块(部件)等)，并且所有组成元件是否在同一外壳中无关紧要。因此，存储在分开的壳体中并且经由网络连接的多个装置，以及包括存储在单个壳体中的多个模块的单个装置都被认为是系统。

此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的范围的情况下进行各种修改。

例如，在本技术中，可以采用云计算的配置，其中多个装置共享单个功能并且经由网络彼此协作地执行处理。

此外，上述流程图中描述的每个步骤可以由单个装置执行，或者可以由共享职责的多个装置执行。

此外，在单个步骤中包括多个处理的情况下，单个步骤中包括的多个处理可以由单个装置执行，或者可以由共享职责的多个装置执行。

<配置的组合示例>

本技术还可以采用以下配置。

(1)一种图像处理装置，包括：

虚拟摄像装置设置单元，其对虚拟摄像装置进行设置；

虚拟视点图像生成单元，其生成虚拟视点图像，所述虚拟视点图像是从所述虚拟摄像装置的视点观看3D对象时的图像；

合成单元，其基于多个虚拟视点图像生成合成图像；以及

运动图像生成单元，其生成包括基于所述虚拟视点图像或所述合成图像的帧的运动图像，

其中，在布置多个虚拟摄像装置之后，所述虚拟摄像装置设置单元移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置。

(2)根据以上(1)所述的图像处理装置，其中，

所述虚拟视点图像生成单元生成多个整合前虚拟视点图像和整合后虚拟视点图像，所述多个整合前虚拟视点图像是分别基于整合前的各个虚拟摄像装置的虚拟视点图像，所述整合后虚拟视点图像是基于整合后的虚拟摄像装置的虚拟视点图像，

所述合成单元生成整合前合成图像，所述整合前合成图像是基于所述多个整合前虚拟视点图像的合成图像，并且

所述运动图像生成单元生成包括整合前帧和整合后帧的运动图像，所述整合前帧是基于所述整合前合成图像的帧，所述整合后帧是基于所述整合后虚拟视点图像的帧。

(3)根据以上(2)所述的图像处理装置，其中，

所述虚拟视点图像生成单元在各个虚拟摄像装置被整合之前基于各个虚拟摄像装置生成多个帧的所述多个整合前虚拟视点图像，

所述合成单元分别基于每帧的多个整合前虚拟视点图像生成多个帧的整合前合成图像，并且

所述运动图像生成单元基于每帧的整合前合成图像生成多个整合前帧。

(4)根据以上(2)或(3)所述的图像处理装置，其中，

所述运动图像生成单元生成其中所述整合前帧和所述整合后帧连续的运动图像。

(5)根据以上(2)至(4)中任一项所述的图像处理装置，其中，

各个所述整合前虚拟视点图像包括相应不同的3D对象，并且

所述整合后虚拟视点图像包括所有不同的3D对象。

(6)根据以上(2)所述的图像处理装置，其中，

所述合成单元通过对所述整合前虚拟视点图像中的各个3D对象的图像进行合成来生成合成图像。

(7)根据以上(2)至(4)中任一项所述的图像处理装置，其中，

所述整合前虚拟视点图像中的每一个和所述整合后虚拟视点图像包括相同的3D对象。

(8)根据以上(2)所述的图像处理装置，其中，

所述整合前虚拟视点图像中的每一个和所述整合后虚拟视点图像包括多个相同的3D对象。

(9)根据以上(1)至(8)中任一项所述的图像处理装置，其中，

所述虚拟摄像装置设置单元布置多个虚拟摄像装置，使得3D对象被多个虚拟摄像装置围绕，

所述虚拟视点图像生成单元分别基于各个虚拟摄像装置生成多个所述虚拟视点图像，

所述合成单元生成其中各个虚拟视点图像中的3D对象的图像绕预定的轴布置的合成图像，并且在帧之间使所述3D对象的图像绕所述轴旋转，并且

所述运动图像生成单元生成包括基于每帧的合成图像的多个帧的运动图像。

(10)根据以上(2)所述的图像处理装置，其中，

所述虚拟摄像装置设置单元以相等的角度间隔围绕位于中心的3D对象布置所述虚拟摄像装置。

(11)根据以上(1)至(10)中任一项所述的图像处理装置，其中，

所述虚拟摄像装置设置单元针对多个3D对象布置相应不同的虚拟摄像装置，使得所述虚拟摄像装置具有相同的位置关系，

所述虚拟视点图像生成单元基于各个虚拟摄像装置，生成包括各个3D对象的多个虚拟视点图像，并且

所述运动图像生成单元生成基于从多个虚拟视点图像中选择的虚拟视点图像的帧，并且在运动图像的中途切换用于生成帧的虚拟视点图像。

(12)根据以上(1)至(11)中任一项所述的图像处理装置，其中，

所述虚拟摄像装置设置单元设置所述虚拟摄像装置在放置3D对象的3D空间中的位置和取向。

(13)根据以上(2)所述的图像处理装置，其中，

所述虚拟摄像装置设置单元还设置所述虚拟摄像装置的焦距。

(14)一种图像处理方法，包括：

在布置多个虚拟摄像装置之后，使图像处理装置移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置，

所述图像处理装置被配置成：对所述虚拟摄像装置进行设置；生成虚拟视点图像，所述虚拟视点图像是从所述虚拟摄像装置的视点观看3D对象时的图像；基于多个虚拟视点图像生成合成图像；以及生成包括基于所述虚拟视点图像或所述合成图像的帧的运动图像。

(15)一种程序，用于使图像处理装置的计算机执行以下处理：

在布置多个虚拟摄像装置之后，移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置，

所述图像处理装置被配置成：对所述虚拟摄像装置进行设置；生成虚拟视点图像，所述虚拟视点图像是从所述虚拟摄像装置的视点观看3D对象时的图像；基于多个虚拟视点图像生成合成图像；以及生成包括基于所述虚拟视点图像或所述合成图像的帧的运动图像。

注意，本说明书中描述的效果仅是示例性的而不是限制性的，并且可以实现其他效果。

附图标记列表

11 图像处理装置

12 图像处理单元

31 虚拟摄像装置设置单元

32 虚拟视点图像生成单元

33 合成单元

34 运动图像生成单元。

Claims (15)

1.一种图像处理装置，包括：

虚拟摄像装置设置单元，其对虚拟摄像装置进行设置；

虚拟视点图像生成单元，其生成虚拟视点图像，所述虚拟视点图像是从所述虚拟摄像装置的视点观看3D对象时的图像；

合成单元，其基于多个虚拟视点图像生成合成图像；以及

运动图像生成单元，其生成包括基于所述虚拟视点图像或所述合成图像的帧的运动图像，

其中，在布置多个虚拟摄像装置之后，所述虚拟摄像装置设置单元移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置。

2.根据权利要求1所述的图像处理装置，其中，

所述虚拟视点图像生成单元生成多个整合前虚拟视点图像和整合后虚拟视点图像，所述多个整合前虚拟视点图像是分别基于整合前的各个虚拟摄像装置的虚拟视点图像，所述整合后虚拟视点图像是基于整合后的虚拟摄像装置的虚拟视点图像，

所述合成单元生成整合前合成图像，所述整合前合成图像是基于所述多个整合前虚拟视点图像的合成图像，并且

所述运动图像生成单元生成包括整合前帧和整合后帧的运动图像，所述整合前帧是基于所述整合前合成图像的帧，所述整合后帧是基于所述整合后虚拟视点图像的帧。

3.根据权利要求2所述的图像处理装置，其中，

所述虚拟视点图像生成单元在各个虚拟摄像装置被整合之前基于各个虚拟摄像装置生成多个帧的所述多个整合前虚拟视点图像，

所述合成单元分别基于每帧的多个整合前虚拟视点图像生成多个帧的整合前合成图像，并且

所述运动图像生成单元基于每帧的整合前合成图像生成多个整合前帧。

4.根据权利要求2所述的图像处理装置，其中，

所述运动图像生成单元生成其中所述整合前帧和所述整合后帧连续的运动图像。

5.根据权利要求2所述的图像处理装置，其中，

各个所述整合前虚拟视点图像包括相应不同的3D对象，并且

所述整合后虚拟视点图像包括所有不同的3D对象。

6.根据权利要求5所述的图像处理装置，其中，

所述合成单元通过对所述整合前虚拟视点图像中的各个3D对象的图像进行合成来生成合成图像。

7.根据权利要求2所述的图像处理装置，其中，

所述整合前虚拟视点图像中的每一个和所述整合后虚拟视点图像包括相同的3D对象。

8.根据权利要求7所述的图像处理装置，其中，

所述整合前虚拟视点图像中的每一个和所述整合后虚拟视点图像包括多个相同的3D对象。

9.根据权利要求1所述的图像处理装置，其中，

所述虚拟摄像装置设置单元布置多个虚拟摄像装置，使得3D对象被多个虚拟摄像装置围绕，

所述虚拟视点图像生成单元分别基于各个虚拟摄像装置生成多个所述虚拟视点图像，

所述合成单元生成其中各个虚拟视点图像中的3D对象的图像绕预定的轴布置的合成图像，并且在帧之间使所述3D对象的图像绕所述轴旋转，并且

所述运动图像生成单元生成包括基于每帧的合成图像的多个帧的运动图像。

10.根据权利要求9所述的图像处理装置，其中，

所述虚拟摄像装置设置单元以相等的角度间隔围绕位于中心的3D对象布置所述虚拟摄像装置。

11.根据权利要求1所述的图像处理装置，其中，

所述虚拟摄像装置设置单元针对多个3D对象布置相应不同的虚拟摄像装置，使得所述虚拟摄像装置具有相同的位置关系，

所述虚拟视点图像生成单元基于各个虚拟摄像装置，生成包括各个3D对象的多个虚拟视点图像，并且

所述运动图像生成单元生成基于从多个虚拟视点图像中选择的虚拟视点图像的帧，并且在运动图像的中途切换用于生成帧的虚拟视点图像。

12.根据权利要求1所述的图像处理装置，其中，

所述虚拟摄像装置设置单元设置所述虚拟摄像装置在放置3D对象的3D空间中的位置和取向。

13.根据权利要求12所述的图像处理装置，其中，

所述虚拟摄像装置设置单元还设置所述虚拟摄像装置的焦距。

14.一种图像处理方法，包括：

在布置多个虚拟摄像装置之后，使图像处理装置移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置，

所述图像处理装置被配置成：对所述虚拟摄像装置进行设置；生成虚拟视点图像，所述虚拟视点图像是从所述虚拟摄像装置的视点观看3D对象时的图像；基于多个虚拟视点图像生成合成图像；以及生成包括基于所述虚拟视点图像或所述合成图像的帧的运动图像。

15.一种程序，用于使图像处理装置的计算机执行以下处理：

在布置多个虚拟摄像装置之后，移动多个虚拟摄像装置中的至少一个，以整合多个虚拟摄像装置，

所述图像处理装置被配置成：对所述虚拟摄像装置进行设置；生成虚拟视点图像，所述虚拟视点图像是从所述虚拟摄像装置的视点观看3D对象时的图像；基于多个虚拟视点图像生成合成图像；以及生成包括基于所述虚拟视点图像或所述合成图像的帧的运动图像。

Images