CN108510595A - 图像处理装置、图像处理方法和存储介质 - Google Patents

Abstract

本发明提供图像处理装置、图像处理方法和存储介质。该图像处理装置包括：获取单元，其被构造为获取用于识别与虚拟视点图像的生成有关的虚拟视点的移动路径的视点信息，所述虚拟视点图像是基于由从多个方向进行摄像的多个照相机获得的拍摄图像而生成的；以及控制单元，其被构造为确定要插入到虚拟视点图像中的虚拟对象的显示区域，其中，控制单元基于根据所获取的视点信息识别的移动路径上的第一时间点处的虚拟视点和移动路径上的第二时间点处的虚拟视点，来确定虚拟对象在与第一时间点处的虚拟视点相对应的虚拟视点图像中的显示区域。

Description

图像处理装置、图像处理方法和存储介质

技术领域

本发明涉及用于生成虚拟视点图像的技术。

背景技术

传统上，提出了如下技术：通过安装在不同位置处的多个照相机从多个方向对被摄体进行摄像，并使用通过该摄像获得的多个拍摄图像(多个视点图像)来生成虚拟视点图像。根据从多个视点图像生成虚拟视点图像的技术，例如，可以从各种角度观看足球或篮球的精彩场景，并且观看者可以具有比来自通常拍摄图像更真实的感觉。

日本特开2012-48639号公报讨论了通过将广告插入到虚拟视点图像中来显示广告作为不包括在多个视点图像中的虚拟对象，好像将广告贴附到包括在多个视点图像中的真实对象。

然而，在传统技术中，可以想到的是，在与虚拟视点图像的生成有关的虚拟视点移动的情况下，虚拟对象可能不被显示在虚拟视点图像的适当区域。例如，存在这样的可能性：由于虚拟视点的移动，要包括在虚拟视点图像中的虚拟对象可能未包括在虚拟视点图像中。此外，例如，存在这样的可能性：由于虚拟视点的移动，包括在虚拟视点图像中的重要的被摄体可能被虚拟对象遮盖。

发明内容

根据本发明的一个方面，一种图像处理装置包括：获取单元，其被构造为获取用于识别与虚拟视点图像的生成有关的虚拟视点的移动路径的视点信息，所述虚拟视点图像是基于由从多个方向进行摄像的多个照相机获得的拍摄图像而生成的；以及控制单元，其被构造为确定要插入到虚拟视点图像中的虚拟对象的显示区域，其中，控制单元基于根据所获取的视点信息识别的移动路径上的第一时间点处的虚拟视点和移动路径上的第二时间点处的虚拟视点，来确定虚拟对象在与第一时间点处的虚拟视点相对应的虚拟视点图像中的显示区域，第二时间点与第一时间点不同。

根据下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出图像处理系统的构造的框图。

图2是示出图像处理装置的硬件构造的框图。

图3是示出虚拟对象的布置和虚拟视点的移动路径的图。

图4是示出控制装置的与生成虚拟视点图像有关的处理的流程图。

图5是示出图像处理装置的与插入虚拟对象有关的处理的流程图。

图6A、图6B和图6C是示出图像处理装置的与确定虚拟对象的位置有关的处理的流程图。

图7A、图7B、图7C、图7D、图7E、图7F和图7G是示出用于确定虚拟对象的位置的方法的图。

图8A、图8B、图8C、图8D、图8E、图8F、图8G和图8H是示出用于确定虚拟对象的方向和形状的方法的图。

图9A、图9B和图9C是各自示出虚拟视点图像中的虚拟对象的显示示例的图。

图10A、图10B、图10C、图10D、图10E、图10F、图10G、图10H和图10I是示出在布置多个虚拟对象的情况下用于确定虚拟对象的位置的方法的图。

图11是示出图像处理装置的与调整虚拟对象有关的处理的流程图。

图12A、图12B、图12C、图12D、图12E和图12F是示出用于调整虚拟对象的方法的图。

具体实施方式

<系统构造>

图1是示出根据示例性实施例的图像处理系统10的整体构造的示例的图。图像处理系统10包括视点图像保持单元1(以下称为保持单元1)、图像处理装置2、控制装置3以及虚拟视点图像保持单元4(以下称为保持单元4)。

根据本示例性实施例的虚拟视点图像是在从虚拟视点对被摄体进行摄像的情况下获得的图像。换句话说，虚拟视点图像是表示来自指定视点的景象的图像。虚拟视点可以由用户指定，或者可以基于诸如图像分析的结果的信息自动指定。换句话说，虚拟视点图像包括与由用户自由指定的视点相对应的任意视点图像(自由视点图像)。虚拟视点图像还包括与由用户从多个候选中指定的视点相对应的图像以及与由装置自动指定的视点相对应的图像。在本示例性实施例中，虚拟视点图像对应于在图像处理系统10中生成的运动图像的各帧。换句话说，图像处理系统10生成由时间上连续的多个虚拟视点图像形成的运动图像。本示例性实施例中的用户是通过操作控制装置3来控制虚拟视点图像的生成的操作者，并且与观看从图像处理系统10传送的虚拟视点图像的观看者区分开。然而，操作者和观看者可能是同一个用户。

保持单元1保持通过由多个照相机中的各个从不同方向对被摄体进行摄像而获得的多个拍摄图像(多个视点图像)。保持单元1将拍摄的图像发送到图像处理装置2。多个照相机被安装为围绕例如体育场馆或现场舞台，并且同步地进行摄像。然而，如果安装多个照相机以从多个方向对诸如场地或舞台的被摄体进行摄像，则多个照相机可以不全部被安装在被摄体的周围。在本示例性实施例中，多个照相机中的各个将拍摄的图像发送到保持单元1，并且保持单元1将这些拍摄的图像发送到图像处理装置2。然而，这不是限制性的，并且拍摄的图像可以从多个照相机直接发送到图像处理装置2。此外，保持单元1所保持的图像或者要发送到图像处理装置2的图像可以是，例如，基于多个拍摄图像之间的差而生成的图像，而不是拍摄图像本身。

图像处理装置2包括虚拟视点图像生成单元201(以下称为图像生成单元201)、虚拟对象布置确定单元202(以下称为布置确定单元202)以及虚拟对象建模单元203(以下称为建模单元203)。

图像生成单元201根据从保持单元1获取的多个视点图像生成表现被摄体的形状的三维模型。根据从控制装置3的虚拟照相机路径生成单元302(以下称为路径生成单元302)获取的虚拟照相机路径，图像生成单元201将表现颜色和感觉的纹理映射到被摄体的三维模型中，由此生成虚拟视点图像。图像处理装置2生成虚拟视点图像的方法不限于此示例。例如，图像处理装置2可以在不生成三维模型的情况下，通过对所拍摄的图像进行变换或合成来生成虚拟视点图像。

虚拟照相机路径是用于识别与虚拟视点图像的生成有关的虚拟视点的移动路径的视点信息。控制装置3根据用户对虚拟视点的指定来生成虚拟照相机路径。本示例性实施例的虚拟照相机路径包括用于识别视点位置的信息和用于识别观看方向的信息。然而，这不是限制性的，并且虚拟照相机路径可能不包括关于观看方向的信息。在这种情况下，例如，可以基于由虚拟照相机路径识别的视点位置和预定的注视点的位置来确定与虚拟视点有关的观看方向。此外，虚拟照相机路径可以包括诸如观看角度的其他参数。

图像生成单元201通过组合从建模单元203获取的虚拟对象的模型和被摄体的三维模型，并且将虚拟对象的纹理映射到模型中，来生成包括虚拟对象的虚拟视点图像。图像生成单元201将生成的虚拟视点图像输出到控制装置3的虚拟视点图像编辑单元301(以下称为编辑单元301)。虚拟对象不被包括在多个视点图像中，而是被包括在虚拟视点图像中。在本示例性实施例中，虚拟对象被描述为用于在虚拟视点图像中显示广告的平面对象。然而，虚拟对象的形状和使用目的不限于这种情况。例如，虚拟对象可以显示关于游戏进程的信息，或者可以显示用于描述诸如人的被摄体的字符和图像。此外，虚拟对象可以是，例如，诸如长方体或球体的三维形状的对象。

布置确定单元202根据从路径生成单元302获取的虚拟照相机路径、以及从控制装置3的虚拟对象信息保持单元303(以下称为信息保持单元303)获取的布置候选信息，生成虚拟对象的布置信息。然后，布置确定单元202将所生成的布置信息输出到建模单元203。在本示例性实施例中，布置候选信息是指示将成为用于在被摄体所处的三维空间(例如，体育场)中布置虚拟对象的候选的区域的信息。虚拟对象的布置信息是关于虚拟对象的位置、尺寸、形状和朝向(orientation)中的至少一者的信息。布置信息可以识别虚拟对象的位置、尺寸、形状和朝向的全部。可选地，可以将虚拟对象的位置、尺寸、形状和朝向中的至少一者设置为独立于布置信息的预设值。下面将详细描述由布置确定单元202确定虚拟对象的布置的方法。

将参照图3描述虚拟对象的布置候选。在图3所示的示例中，虚拟对象的布置候选区域5存在于足球场的周围。布置候选区域5由多个区域(即区域5a至5e)形成。区域5a被划分成多个区域，即子区域51a至51n。布置候选区域5可以被设置在场地的整个侧面，如区域5a和区域5b所示，或者，布置候选区域5可以被设置成避免接近诸如球门的预定的被摄体，如区域5c和区域5d所示。区域5a至5d各自是三维区域。区域5e是与场地平面垂直的二维区域。在不限于图3所示的区域的情况下，例如，布置候选区域5可以在场地内或空中。

建模单元203根据从布置确定单元202获取的虚拟对象的布置信息以及从信息保持单元303获取的虚拟对象信息来生成虚拟对象的三维模型。虚拟对象信息包括关于虚拟对象的形状和纹理的信息。虚拟对象信息可以包括用于识别要由该虚拟对象显示的广告的标识符。然后，建模单元203将所生成的虚拟对象的模型以及要被映射到该模型中的纹理输出到图像生成单元201。

控制装置3包括编辑单元301、路径生成单元302和信息保持单元303。编辑单元301接收用户所进行的操作，并根据接收到的操作向图像处理装置2提供指令。例如，编辑单元301包括诸如操纵杆、微动拨盘(jog dial)、触摸面板、键盘和鼠标的操作单元，并且经由操作单元接收用户的操作。此外，编辑单元301包括显示单元，以例如将由图像处理装置2生成的图形用户界面(GUI)和虚拟视点图像显示给用户。

具体地，编辑单元301在用于生成虚拟视点图像的多个视点图像的场景(在摄像时)指示生成虚拟视点图像的图像处理装置2。编辑单元301还指示图像处理装置2调整所生成的运动图像的重放速度或者暂停。此外，编辑单元301指示路径生成单元302基于用户对虚拟视点的指定来生成虚拟照相机路径，并且指示布置确定单元202将虚拟对象插入到虚拟视点图像中。此外，编辑单元301基于该指令获取由图像生成单元201生成的虚拟视点图像，并且向用户预览所获取的虚拟视点图像。此外，编辑单元301根据用户的指令，放弃预览的虚拟视点图像或将预览的虚拟视点图像输出到保持单元4。

响应于从编辑单元301接收到用于生成虚拟照相机路径的指令，路径生成单元302基于该指令来确定虚拟视点的移动路径上的视点位置和观看方向。路径生成单元302然后生成虚拟照相机路径，虚拟照相机路径由时间上连续的多个虚拟照相机参数形成。各个虚拟照相机参数是指示虚拟视点的位置和方向的参数。各个虚拟照相机参数与用于识别参数对应于哪个场景的信息(例如，帧号和时间码)相关联。另外，路径生成单元302将生成的虚拟照相机路径提供给布置确定单元202。虚拟照相机路径的信息的形式不限于该示例。

现在，将参照图3描述虚拟视点的移动路径的示例。在图3所示的示例中，虚拟视点的移动路径7被设置为从后面跟随关注的对象。在这个示例中，关注的对象是沿着轨迹8向着球门移动的球。路径生成单元302生成的虚拟照相机路径是，例如，用于识别移动路径7的信息。虚拟照相机路径包括与移动路径7上的虚拟视点6a至6f中的各个相对应的虚拟照相机参数。因此，在此示例中，生成用于识别六个帧的虚拟视点的虚拟照相机路径。当经由编辑单元301指定移动路径7时，用户可以指定指示移动路径7的线，或者可以指定移动路径上的一些虚拟视点(例如，虚拟视点6a、6d和6f)作为点。在指定点的情况下，例如，路径生成单元302可以通过诸如样条插值的方法来计算剩余的虚拟视点(即，虚拟视点6b、6c和6e)。样条插值是用于生成通过或接近指定点的曲线的方法。

信息保持单元303保持虚拟对象的布置候选信息和虚拟对象信息。信息保持单元303响应于来自布置确定单元202的请求，将所保持的布置候选信息输出到布置确定单元202。此外，信息保持单元303响应来自建模单元203的请求将所保持的虚拟对象信息输出到建模单元203。

保持单元4经由编辑单元301获取并保持由图像处理装置2生成的虚拟视点图像。然后，由保持单元4保持的虚拟视点图像被输出到诸如观看者所拥有的重放装置的装置。保持单元4所保持的虚拟视点图像可以在经过编辑处理之后被传送给观看者。此外，可以实时传送由图像处理系统10生成的虚拟视点图像。

在本示例性实施例中，图像处理装置2包括确定虚拟对象的布置的布置确定单元202和根据由布置确定单元202进行的确定生成虚拟视点图像的图像生成单元201二者。然而，这不是限制性的。例如，不同于图像处理装置2的图像生成装置可以包括图像生成单元201。在这种情况下，布置确定单元202可以通过向图像生成装置输出关于虚拟对象的位置、尺寸、形状和朝向中的至少一者的信息来控制用于在虚拟视点图像中显示虚拟对象的区域。可选地，控制装置3可以包括布置确定单元202和建模单元203。

<硬件构造>

接下来，将参照图2描述图像处理装置2的硬件构造。控制装置3的硬件构造与图像处理装置2的硬件构造类似。图像处理装置2具有中央处理单元(CPU)211、只读存储器(ROM)212、随机存取存储器(RAM)213、辅助存储设备214、显示单元215、操作单元216、通信单元217和总线218。CPU 211通过使用存储在ROM 212或RAM 213中的计算机程序和数据来控制整个图像处理装置2。图像处理装置2可以具有图形处理单元(GPU)，并且GPU可以进行由CPU211进行的处理的至少一部分。ROM 212存储不需要修改的程序和参数。RAM 213临时存储从辅助存储设备214提供的程序和数据以及经由通信单元217从外部提供的数据。辅助存储设备214例如由硬盘驱动器构成，并且存储内容数据，例如，静止图像和运动图像。

显示单元215由例如液晶显示器构成，并显示供用户操作图像处理装置2的GUI。操作单元216由例如键盘和鼠标构成。操作单元216通过接收用户所进行的操作，将各种指令输入到CPU 211中。通信单元217与诸如保持单元1和控制装置3的外部设备通信。例如，在图像处理装置2通过有线连接到外部设备的情况下，局域网(LAN)线缆连接到通信单元217。在图像处理装置2具有与外部设备无线通信的功能的情况下，通信单元217包括天线。总线218连接图像处理装置2的所有单元，并发送信息。

在本示例性实施例中，图像处理装置2包括显示单元215和操作单元216，但是可以不包括显示单元215和操作单元216中的至少一者。此外，显示单元215和操作单元216中的至少一者可以作为单独的设备存在于图像处理装置2的外部，并且CPU 211可以作为用于控制显示单元215的显示控制器和用于控制操作单元216的操作控制器进行操作。

<操作流程>

接下来，将参照图4描述与控制装置3生成虚拟视点图像有关的处理。当编辑单元301接收到用户开始生成虚拟视点图像而进行的操作时，图4所示的处理开始。例如，用户在根据游戏过程中获得的拍摄图像来生成虚拟视点图像作为回放图像时进行操作。用户在观看控制装置3的显示单元215的同时经由操作单元216进行操作。然而，图4所示的处理开始的定时不限于上述定时。控制装置3的CPU 211将存储在ROM 212中的程序加载到RAM 213中，并执行加载的程序，从而实现图4所示的处理。不同于CPU 211的专用硬件可以实现图4中所示的处理的至少一部分。

在步骤S1中，根据用户进行的场景确定操作，编辑单元301确定要生成的虚拟视点图像的运动图像的开始帧和结束帧。在步骤S2中，编辑单元301通过基于用户对虚拟视点的指定来控制路径生成单元302，生成虚拟照相机路径并将所生成的虚拟照相机路径输出到图像处理装置2。编辑单元301可以从用户接收运动图像的重放速度的指定，并且可以包括关于虚拟照相机路径中的重放速度的信息。

在步骤S3中，编辑单元301基于用户进行的操作来确定是否将虚拟对象插入到虚拟视点图像中。例如，在将广告作为虚拟对象插入到虚拟视点图像中的情况下，在检查由控制装置3显示的GUI上的广告插入项目之后，用户点击用于生成虚拟视点图像的按钮。另一方面，在不将广告插入到虚拟视点图像的情况下，用户点击用于生成虚拟视点图像的按钮，而不检查广告插入项目。

如果编辑单元301确定要插入虚拟对象(步骤S3中为“是”)，则处理进行到步骤S4。在步骤S4中，编辑单元301通过控制信息保持单元303，指示图像处理装置2插入虚拟对象，并将虚拟对象信息和布置候选信息输出到图像处理装置2。接下来，在步骤S5中，编辑单元301获取包括图像处理装置2生成的虚拟对象的虚拟视点图像。下面将参照图5描述图像处理装置2插入虚拟对象的处理。另一方面，如果编辑单元301确定不插入虚拟对象(步骤S3中为“否”)，则处理进行到步骤S5。在步骤S5中，编辑单元301获取不包括图像处理装置2生成的虚拟对象的虚拟视点图像。

在步骤S6中，编辑单元301预览从图像处理装置2获取的虚拟视点图像以允许用户确认。用户可以确认预览，并根据需要进行诸如虚拟照相机路径的校正的调整。在步骤S7中，编辑单元301基于用户进行的操作来确定用户期望的虚拟视点图像的生成是否成功。如果编辑单元301确定生成是成功的(步骤S7中为“是”)，则处理进行到步骤S10。在步骤S10中，编辑单元301将所生成的虚拟视点图像的运动图像输出到保持单元4，并且保持单元4存储所接收的图像。然后，处理结束。

另一方面，如果编辑单元301确定生成不成功(步骤S7中为“否”)，则处理进行到步骤S8。在步骤S8中，编辑单元301基于用户操作来确定是否校正虚拟照相机路径。如果编辑单元301确定虚拟照相机路径将被校正(步骤S8中为“是”)，则处理返回到步骤S2。在步骤S2中，编辑单元301生成新的虚拟照相机路径，并再次指示生成虚拟视点图像。如果编辑单元301确定虚拟照相机路径将不被校正(步骤S8中为“否”)，则处理进行到步骤S9。在步骤S9中，编辑单元301放弃虚拟视点图像。然后，处理结束。

接下来，将参照图5描述由图像处理装置2插入虚拟对象的处理。图5所示的处理在布置确定单元202从控制装置3接收到用于插入虚拟对象的指令时开始。然而，图5所示的处理开始的定时不限于上述的定时。图像处理装置2的CPU 211将存储在ROM 212中的程序加载到RAM 213中，并执行加载的程序，从而实现图5所示的处理。不同于CPU 211的专用硬件可以实现图5中所示的处理的至少一部分。

在步骤S41中，建模单元203从信息保持单元303获取虚拟对象信息。在步骤S42中，布置确定单元202从信息保持单元303获取虚拟对象的布置候选信息。在基于图4的步骤S8中的确定再次进行虚拟视点图像的生成的情况下，可以省略在步骤S41和步骤S42中的各个中进行的处理。在步骤S43中，图像生成单元201和布置确定单元202从路径生成单元302获取虚拟照相机路径。在步骤S41、S42和S43中进行的处理的执行顺序可以不同于图5中所示的示例，或者，这些处理可以被并行进行。

在步骤S44中，布置确定单元202基于所获取的布置候选信息和虚拟照相机路径来确定虚拟对象的布置，并且根据该确定的结果来生成布置信息。以下将参照图6A至图6C中的流程图详细描述用于确定虚拟对象的布置的方法。由布置确定单元202生成的布置信息被输出到建模单元203。在步骤S45，基于所获取的虚拟对象信息和布置信息，建模单元203生成要插入到虚拟视点图像中的虚拟对象的三维模型，并将生成的三维模型输出到图像生成单元201。在步骤S46中，建模单元203将基于所获取的虚拟对象信息的纹理输出到图像生成单元201。步骤S46和步骤S45的处理顺序可以被颠倒，或者可以被并行进行。在步骤S47中，图像生成单元201通过使用虚拟对象的模型和纹理来生成虚拟视点图像，并将所生成的虚拟视点图像输出到控制装置3。然后，处理结束。

如上所述，基于由布置确定单元202生成的布置信息来生成虚拟对象的模型，并且在图像生成单元201中将虚拟对象与虚拟视点图像进行组合。换句话说，布置确定单元202可以通过基于所获取的虚拟照相机路径生成关于虚拟对象的位置的布置信息并输出生成的布置信息，来根据虚拟视点的移动路径控制用于在虚拟视点图像中显示虚拟对象的显示区域。

<处理的细节>

将参照图6A至图6C来描述与图像处理装置2确定虚拟对象的位置有关的处理。图6A示出图5的步骤S44中的处理的细节。在步骤S441中，布置确定单元202识别由布置候选信息指示的多个候选区域中的、在根据虚拟照相机路径移动的虚拟视点的视野内长时间出现的区域(在虚拟视点图像的运动图像中长时间显示的区域)，作为用于布置虚拟对象的区域。

换言之，布置确定单元202以分别与从虚拟照相机路径识别的移动路径上的多个虚拟视点相对应的多个虚拟视点图像当中的、预定数量的虚拟视点图像中包括虚拟对象的方式，来确定布置。该预定数量可以是基于包括在虚拟照相机路径中的虚拟照相机参数的数量而确定的值，或者可以是用户指定的值。此外，预定值可以是基于上述的多个虚拟视点图像中的多少个虚拟视点图像包括各个候选区域而确定的值。在本示例性实施例中，将包括在最大数量的虚拟视点图像中的候选区域描述为被识别为用于布置虚拟对象的区域。假定存在这样的候选区域，即，虚拟对象将被显示在上述的多个虚拟视点图像中的所有虚拟视点图像中。在这种情况下，该候选区域被识别为用于布置虚拟对象的区域。在本示例性实施例中，以这种方式确定的虚拟对象的位置是三维空间中的固定位置，并且不随着虚拟视点的移动而移动。

在步骤S442中，基于虚拟视点的移动路径，布置确定单元202确定要布置在所识别的区域中的虚拟对象的朝向和形状。虚拟对象的朝向和形状可以事先独立于虚拟视点来设置。在候选区域是由图3中的区域5e表示的二维区域的情况下，唯一地确定虚拟对象的朝向。

接下来，将参照图6B和图7A至图7G来描述用于识别用于布置虚拟对象的区域的处理。图6B示出在图6A的步骤S441中进行的处理的细节。在步骤S4411中，布置确定单元202通过分析虚拟照相机路径的前导虚拟照相机参数，来识别运动图像的开始帧中的虚拟视点6a的视野。在步骤S4412中，布置确定单元202确定虚拟视点6a的视野是否包括虚拟对象的布置候选区域5中包括的各个子区域51。

在步骤S4413中，布置确定单元202对于各个子区域51更新指示与虚拟视点6的视野内的子区域相对应的帧计数的计数器的值。在开始帧的虚拟视点6a具有图7A所示的视野61a的情况下，包括在由区域5a的粗框包围的部分中的子区域51在虚拟视点6a的视野内。因此，将这些子区域51中的各个的计数器的值从0更新为1。在步骤S4414中，布置确定单元202确定是否存在未处理的虚拟照相机参数。如果布置确定单元202确定存在未处理的虚拟照相机参数(步骤S4414中为“是”)，则处理进行到步骤S4415。在步骤S4415中，布置确定单元202将下一个虚拟照相机参数设置为分析目标。然后，处理返回到步骤S4411。

在如图7B所示虚拟视点6移动到虚拟视点6b的情况下，包括在由粗框包围的部分中的子区域51在虚拟视点6b的视野61b内。因此，对于这些子区域51中的各个，更新计数器的值。在图7B所示的示例中，从视野的内部向外部改变的子区域51的计数器的值保持为1，并且，停留在视野内的子区域51的计数器的值从1更新为2。假定类似地，虚拟视点6如图7C、图7D、图7E和图7F所示移动，并且虚拟视点6f是运动图像的结束帧中的虚拟视点。在这种情况下，分析所有虚拟照相机参数时的计数器指示图7F所示的值。如果布置确定单元202确定不存在未处理的虚拟照相机参数(步骤S4414中为“否”)，则处理进行到步骤S4416。

在步骤S4416中，布置确定单元202识别与指示最大值的计数器相对应的子区域51。在图7F所示的示例中，识别各自与指示最大值6的计数器相对应的子区域51f、51g和51h。在步骤S4417中，布置确定单元202基于所识别的子区域51中的相邻子区域51的数量，确定是否识别出具有足以用于布置虚拟对象的区域的尺寸的区域。具体地，通过确定所识别的相邻子区域51的数量是否等于或大于与虚拟对象的预定尺寸相对应的阈值来进行该确定。这样的确定不限于这个示例。例如，可以将识别的相邻子区域51的数量与子区域51的总数量的比率与阈值进行比较。

在与所识别的子区域51的数量进行比较的阈值是5的情况下，在图7F所示的示例中，识别的子区域51的数量是3。在这种情况下，布置确定单元202确定没有识别出具有足以用于布置虚拟对象的区域的尺寸的区域(步骤S4417中为“否”)。在这种情况下，处理进行到步骤S4418。在步骤S4418中，布置确定单元202另外识别与所识别的子区域51相邻的子区域51中的、与具有较大值的计数器相对应的子区域51。在图7F所示的示例中，子区域51e和51i与所识别的子区域51相邻，并且都对应于指示值5的计数器。因此，新识别作为子区域51e到51i的五个子区域。

由于子区域51是新识别的，所以在图7F所示的示例中，所识别的子区域51的数量是5。因此，布置确定单元202确定识别出具有足以用于布置虚拟对象的区域的尺寸的区域(在步骤S4417中为“是”)。在这种情况下，处理进行到步骤S4419。在步骤S4419中，布置确定单元202将所识别的子区域51确定为虚拟对象的布置区域52，并生成布置信息。图7G示出基于虚拟视点的移动路径7确定的布置区域52。由布置确定单元202生成的布置信息包括用于识别虚拟对象在被摄体所处的诸如体育场的三维空间中的位置(布置区域52)的信息。布置信息包括，例如，表示布置区域52的矩形的顶点、矩形的中心的坐标以及矩形的垂直和水平长度。

接下来，将参照图6C和图8A至图8H描述用于确定虚拟对象的形状的处理。图6C示出在图6A的步骤S442中进行的处理的细节。在步骤S4421中，布置确定单元202通过分析虚拟照相机路径的前导虚拟照相机参数，识别与虚拟视点6和布置区域52之间的位置关系相对应的虚拟对象形状53。在开始帧中的虚拟视点6a对应于图8A所示的位置和方向的情况下，识别与虚拟视点6a的视线垂直的虚拟对象形状53a。在步骤S4422中，布置确定单元202确定是否存在未处理的虚拟照相机参数。如果布置确定单元202确定存在未处理的虚拟照相机参数(步骤S4422中为“是”)，则处理进行到步骤S4423。在步骤S4423中，布置确定单元202将下一个目标参数设置为分析目标。然后，处理返回到步骤S4421。

在如图8B所示虚拟视点6移动到虚拟视点6b的情况下，识别与虚拟视点6b的视线垂直的虚拟对象形状53b。类似地，在如图8C和图8D所示，虚拟视点6移动到虚拟视点6c和6d的情况下，分别识别与虚拟视点6c的视线垂直的虚拟对象形状53c和垂直于虚拟视点6d的视线的虚拟对象形状53d。在如图8E和图8F所示，虚拟视点6分别移动到虚拟视点6e和6f的情况下，如果虚拟对象被包含在布置区域52中，则与虚拟视点6的视线垂直的虚拟对象形状53的尺寸小。因此，识别分别与虚拟视点6e的视线和虚拟视点6f的视线不垂直的虚拟对象形状53e和53f，以防止虚拟对象的尺寸太小。在步骤S4422中，如果布置确定单元202确定不存在未处理的虚拟照相机参数(步骤S4422中为“否”)，则处理进行到步骤S4424。

在步骤S4424中，布置确定单元202基于在步骤S4421中识别的虚拟对象形状53的变化，确定用于实际布置的虚拟对象形状53。例如，在所识别的虚拟对象形状53的变化大的情况下，如从虚拟对象形状53a到虚拟对象形状53f的变化所表示的那样，用于实际布置的形状53可以是弧形，如图8G中的虚拟对象形状53g所示。此外，在所识别出的虚拟对象形状53的变化不大的情况下，如从形状53a到形状53c的变化所表示的那样，图8B中的虚拟对象形状53b所示的中间形状53被确定为用于实际布置的形状53。可选地，在针对多个虚拟照相机参数识别相同的形状53的情况下，如形状53e和53f所示，可以将图8H中的虚拟对象形状53k确定为用于实际布置的虚拟对象形状53。换句话说，针对最大数量的虚拟照相机参数识别的形状53可以被确定为用于实际布置的形状53。虚拟视点图像是基于以这种方式确定的实际对象形状53而生成的，并且虚拟对象在三维空间中的形状不随着虚拟视点的移动而改变。图9A至图9C各自示出在由布置确定单元202确定的虚拟对象形状53是图8G中的虚拟对象形状53g的情况下虚拟视点图像中的虚拟对象的显示示例。图9A、图9B和图9C分别示出与虚拟视点6a、6c和6f相对应的显示示例。

如上所述，布置确定单元202通过基于所获取的虚拟照相机路径控制虚拟对象的位置、朝向和形状，来控制用于在虚拟视点图像中显示虚拟对象的显示区域。具体地，在本示例性实施例中，用于显示虚拟对象的显示区域是基于该移动路径上的第一时间点处的虚拟视点和第二时间点处的虚拟视点来确定的。显示区域将在与从虚拟照相机路径识别的移动路径上的第一时间点处的虚拟视点相对应的虚拟视点图像中显示虚拟对象。

在图7A至图7G和图8A至图8H所示的示例中，基于第一时间点处的虚拟视点(虚拟视点6f)和第二时间点处的虚拟视点(例如，虚拟视点6a)来确定第一时间点(当虚拟视点6位于虚拟视点6f时)处的虚拟对象在三维空间中的位置。此外，基于所确定的位置，确定用于在虚拟视点图像中显示虚拟对象的区域。这里，三维空间中的第一时间点处的虚拟对象的位置和第二时间点处的虚拟对象的位置是相同的。通过这样的布置确定处理，虚拟对象可以被显示在与第一时间点处的虚拟视点相对应的虚拟视点图像的适当区域中，并且虚拟对象可以被显示在与第二时间点处的虚拟视点相对应的虚拟视点图像的适当区域中。

用于确定虚拟对象的位置、形状和朝向的方法不限于上述的方法。例如，假定广告被显示在虚拟对象的一个面上，并且在其他面上不显示广告。在这种情况下，希望显示广告的面在根据虚拟照相机路径移动的虚拟视点的视野中长时间出现。因此，布置确定单元202可以以这样的方式确定虚拟对象的朝向：虚拟对象的面中的显示广告的面，被包括在与由虚拟照相机路径识别的移动路径上的虚拟视点相对应的虚拟视点图像中。

在本示例性实施例中，描述布置确定单元202以根据虚拟视点的移动路径确定虚拟对象的位置、形状和朝向。然而，这不是限制性的，并且可以根据虚拟视点的移动路径来确定虚拟对象的位置、尺寸、形状和朝向中的至少一者。此外，可以根据虚拟视点的移动路径来确定诸如虚拟对象要显示的广告的内容的信息。

<多个虚拟对象的布置>

接下来，将参照图10A至图10I描述用于在多个虚拟对象将被布置的情况下确定虚拟对象位置的方法。假定在虚拟视点6从虚拟视点6a移动到虚拟视点6f的情况下，根据移动路径7布置两个虚拟对象。在这种情况下，布置确定单元202识别分别对应于移动路径7的前半部分和后半部分的两个布置区域52。在图10A至图10I中所示的示例中，虚拟视点6a、6b和6c对应于移动路径7的前半部分，并且虚拟视点6d、6e和6f对应于移动路径7的后半部分。

在移动路径7的前半部分中，如图10A、图10B和图10C所示，为各个子区域51确定计数器的值。在移动路径7的后半部分中，如图10D、图10E和图10F所示，独立于前半部分的计数器，针对各个子区域51确定计数器的值。结果，图10G所示的布置区域52a被识别为与移动路径7的前半部分的计数器值相对应的布置区域52。此外，图10H所示的布置区域52d被识别为与移动路径7的后半部分的计数器值相对应的布置区域52。布置确定单元202以相应的两个虚拟对象的尺寸变成几乎相等的这种方式分配这两个识别的布置区域52交叠的子区域51。结果，以如下的这种方式确定虚拟对象的实际布置：将一个虚拟对象布置在布置区域52a'中，并且将另一个虚拟对象布置在布置区域52d'中，如图10I所示。虚拟视点图像是基于以这种方式确定的虚拟对象的实际布置而生成的。多个虚拟对象在三维空间中的布置不随着虚拟视点的移动而改变。

<虚拟对象的布置调整>

在以上描述中，基于虚拟视点的移动路径来自动确定虚拟对象的布置。然而，此外，可以允许用户调整所确定的虚拟对象的布置。以下将描述这种情况下的图像处理系统10。

当用户对由编辑单元301预览的虚拟视点图像进行用于调整虚拟对象的操作时，编辑单元301向布置确定单元202提供用于调整虚拟对象的指令。在从编辑单元301接收到用于调整虚拟对象的指令的情况下，布置确定单元202通过基于已经生成的布置信息和用于调整的指令调整虚拟对象的布置，来更新布置信息。这里，调整指令包括，例如，指示诸如尺寸调整或位置调整的调整类型的信息、以及指示诸如1.1倍放大或1米移动的调整量的信息。更新后的布置信息被输出到图像生成单元201，并且，生成调整了虚拟对象的布置的虚拟视点图像。

接下来，将描述与虚拟对象的调整有关的处理流程。在虚拟对象被调整的情况下的流程是对图4中的处理流程的变型。更具体地，如果编辑单元301在图4的步骤S7中确定用户期望的虚拟视点图像的生成不成功(步骤S7中为“否”)，则编辑单元301在显示单元上显示用于选择是否进行虚拟对象的调整的图像，并接收用户操作。如果编辑单元301确定进行了用于调整的用户操作，则编辑单元301指示图像处理装置2根据指定调整类型和调节量的用户操作来进行调整。然后，处理返回到步骤S5。另一方面，如果编辑单元301确定没有进行用于调整的用户操作，则处理进行到步骤S8，并且执行图4中的上述处理流程。

在编辑单元301提供用于调整的指令的情况下，图像处理装置2执行图11所示的处理，由此更新布置信息。随后，进行图5中的步骤S45至S47中的处理。由此输出包括已调整的虚拟对象的虚拟视点图像。接下来，将参照图11和图12A至图12F来描述由图像处理装置2调整虚拟对象的处理。当图像处理装置2从控制装置3接收到用于调整的指令时，图11所示的处理开始。然而，图11所示的处理开始的定时不限于上述定时。图像处理装置2的CPU 211将存储在ROM 212中的程序加载到RAM 213中，并执行加载的程序，从而实现图11所示的处理。不同于CPU 211的专用硬件可以实现图11中所示的处理的至少一部分。

在步骤S401中，布置确定单元202识别从编辑单元301接收的用于调整的指令的调整类型。在步骤S402中，布置确定单元202确定识别的调整类型是否是针对虚拟对象的尺寸调整。如果识别出的调整类型是尺寸调整(步骤S402中为“是”)，则处理进行到步骤S403。在步骤S403中，布置确定单元202识别调整量。然后，在步骤S404中，布置确定单元202调整虚拟对象的尺寸。尺寸调整可以是，例如，将虚拟对象的宽度和高度增加10％的调整，或者，可以是用于指定虚拟对象占据的区域与虚拟视点图像的比率的最大值或最小值的调整。

如果识别出的调整类型不是尺寸调整(步骤S402中为“否”)，则处理进行到步骤S405。在步骤S405中，布置确定单元202确定调整类型是否是针对虚拟对象的位置调整。如果调整类型是位置调整(步骤S405中为“是”)，则处理进行到步骤S406。在步骤S406中，布置确定单元202识别调整量。然后，在步骤S407中，布置确定单元202调整虚拟对象的位置。例如，位置调整可以是用于将布置区域52布置在远离虚拟视点6一米处的调整。可选地，位置调整可以是用于以如下的这种方式将布置区域52布置成远离虚拟视点6的调整：虚拟对象占据的区域与虚拟视点图像的比率等于或小于阈值。如果布置确定单元202确定调整类型不是位置调整(步骤S405中为“否”)，或者如果步骤S407中的调整完成，则处理进行到步骤S408。在步骤S408中，布置确定单元202更新虚拟对象的布置信息。然后，处理在图11中结束。

假定例如如图12A所示，指定用于从虚拟视点6g移动到虚拟视点6h的移动路径7，并且相应地确定布置区域52h和虚拟对象形状53h。图12B示出在这种情况下对应于虚拟视点6h的虚拟视点图像。在如这种情况下一样虚拟视点6与虚拟对象之间的距离较长的情况下，虚拟对象占据的区域与虚拟视点图像的比率小。因此，例如，在要由虚拟对象显示广告的情况下，调整虚拟对象的尺寸以使观看者可以更容易地视觉辨识广告是有效的。

假定用户通过确认虚拟视点图像的预览来确定虚拟对象占据的区域与虚拟视点图像的比率太小。在这种情况下，用户经由控制装置3所显示的GUI进行用于增加虚拟对象的尺寸的操作。假定在图12A所示的示例中进行用于当从虚拟视点6观看时将虚拟对象的宽度向左增大20％的操作。在这种情况下，通过由布置确定单元202进行的调整，布置区域52h被改变为布置区域52h'。结果，虚拟对象形状53h被改变为虚拟对象形状53h'。然后，如图12C所示，获得与调整之后的虚拟视点6h相对应的虚拟视点图像，并且提高了观看者对虚拟对象的可视性。

此外，在另一示例中，假定如图12D所示，指定了用于从虚拟视点6i移动到虚拟视点6j的移动路径7，并且相应地确定布置区域52j和虚拟对象形状53j。图12E示出在这种情况下与虚拟视点6j相对应的虚拟视点图像。在如这种情况下一样虚拟视点6与虚拟对象之间的距离太短的情况下，虚拟对象占据的区域与虚拟视点图像的比率太大。因此，为了减少由于虚拟对象不必要地显着而导致观看者不能关注真实被摄体的可能性，调整虚拟对象的位置是有效的。

假定用户通过确认虚拟视点图像的预览来确定虚拟对象占据的区域与虚拟视点图像的比率太大。在这种情况下，用户经由控制装置3所显示的GUI进行用于改变虚拟对象的位置的操作。假定在图12D所示的示例中进行用于当从虚拟视点6观看时将虚拟对象的位置向后移动10米的操作。在这种情况下，通过由布置确定单元202进行的调整，布置区域52j被改变为布置区域52j'。然后，获得与调整后的虚拟视点6j相对应的虚拟视点图像，如图12F所示，并且虚拟对象的不必要的显着外观被抑制。

如上所述，在基于虚拟视点的移动路径布置的虚拟对象在虚拟视点图像中太小或太大的情况下，图像处理装置2根据用户操作调整虚拟对象的尺寸或位置。这样，图像处理装置2可以以适当的可视性向观看者提供包括虚拟对象的虚拟视点图像。

在本示例性实施例中，布置确定单元202被描述为，确定被摄体所处的三维空间中的固定点作为虚拟对象的位置。另外，虚拟对象在三维空间中的形状和朝向不随着虚拟视点的移动而改变。由于虚拟对象以这种方式被布置和固定，所以虚拟对象与虚拟视点图像自然协调。因此，可以提高所生成的虚拟视点图像对于用户的可视性。然而，这不是限制性的。虚拟对象在三维空间中的位置、尺寸、形状和朝向可随着时间的推移和虚拟视点的移动而改变。此外，布置确定单元202可以根据虚拟视点的移动路径直接控制虚拟对象在二维虚拟视点图像中的位置、空间、形状和朝向，而不需要确定虚拟对象在三维空间中的位置、尺寸、形状和朝向。

此外，在本示例性实施例中，以这样的方式来确定虚拟对象的布置，使得虚拟对象在虚拟视点图像的运动图像中尽可能长时间地出现。根据用于确定布置的这种方法，例如，在虚拟对象是广告的情况下，可以增强对观看者的广告效果。然而，用于确定虚拟对象的布置的方法不限于该示例。例如，布置确定单元202可以以虚拟对象不被包括在虚拟视点图像的虚拟对象非显示区域中的方式来确定虚拟对象的布置。虚拟对象非显示区域例如可以是用户可指定的区域，例如，虚拟视点图像的中心部分。可选地，虚拟对象非显示区域可以是虚拟视点图像中要显示预定的被摄体的区域。这可以减少观看者可能难以观看到虚拟视点图像中的关注的被摄体的可能性。此外，虚拟对象非显示区域可以是用于显示包括在用于生成虚拟视点图像的拍摄图像中的真实广告的区域。由于用于显示真实广告的区域被设置为虚拟对象非显示区域，因此可以抑制虚拟视点图像的观看者失去看到真实广告的机会。

如上所述，根据本示例性实施例的图像处理系统10基于通过由多个照相机从不同方向对被摄体进行摄像所获得的多个拍摄图像和与虚拟视点的指定对应的信息，来生成虚拟视点图像。此外，包括在图像处理系统10中的图像处理装置2获取用于识别与虚拟视点图像的生成有关的虚拟视点的移动路径的视点信息。此外，图像处理装置2进行控制，以根据在第一时间点处的虚拟视点和第二时间点的虚拟观点，改变用于在与移动路径上的第一时间点处的虚拟视点相对应的虚拟视点图像中显示虚拟对象的区域。第二时间点处的虚拟视点在移动路径上，并且，第二时间点与第一时间点不同。

根据这样的构造，例如，可以控制虚拟对象的布置，以减少要在虚拟视点图像中包括的虚拟对象由于虚拟观点的移动而可能不包括在虚拟视点图像中的可能性。而且，例如，也可以控制虚拟对象的布置，以减少虚拟视点图像中包括的重要的被摄体由于虚拟视点的移动而可能被虚拟对象遮盖的可能性。换句话说，采用根据本示例性实施例的图像处理装置2，在与虚拟视点图像的生成有关的虚拟视点移动的情况下，可以在虚拟视点图像的更合适的区域中显示虚拟对象。

根据上述的示例性实施例，在与虚拟视点图像的生成有关的虚拟视点移动的情况下，可以在虚拟视点图像的更合适的区域中显示虚拟对象。

其它实施例

本发明的(多个)实施例也可以通过如下实现：一种系统或装置的计算机，该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如，一个或多个程序)，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，该系统或装置包括用于执行上述(多个)实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))；以及由该系统或者装置的计算机执行的方法，例如，从存储介质读出并执行计算机可执行指令，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，控制所述一个或多个电路以执行上述(多个)实施例中的一个或多个的功能。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如，存储介质可以包括如下中的一个或多个：硬盘，随机存取存储器(RAM)，只读存储器(ROM)，分布式计算系统的存储器，光盘(例如，压缩盘(CD)，数字多功能光盘(DVD)，或蓝光光盘(BD)TM)，闪速存储器装置，存储卡，等等。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类变型例以及等同的结构和功能。

Claims (18)

1.一种图像处理装置，其包括：

获取单元，其被构造为，获取用于识别与虚拟视点图像的生成有关的虚拟视点的移动路径的视点信息，所述虚拟视点图像是基于由从多个方向进行摄像的多个照相机获得的拍摄图像而生成的；以及

控制单元，其被构造为，确定要插入到虚拟视点图像中的虚拟对象的显示区域，

其中，控制单元基于根据所获取的视点信息识别的移动路径上的第一时间点处的虚拟视点和移动路径上的第二时间点处的虚拟视点，来确定虚拟对象在与第一时间点处的虚拟视点相对应的虚拟视点图像中的显示区域，第二时间点与第一时间点不同。

2.根据权利要求1所述的图像处理装置，其中，控制单元基于第一时间点处的虚拟视点和第二时间点处的虚拟视点，来确定虚拟对象在与第一时间点处的虚拟视点相对应的虚拟视点图像中的位置、尺寸、形状和朝向中的至少一者。

3.根据权利要求1所述的图像处理装置，

其中，控制单元基于第一时间点处的虚拟视点和第二时间点处的虚拟视点来确定第一时间点处的虚拟对象在三维空间中的位置，并且基于所确定的位置确定显示区域，并且

其中，第一时间点处的虚拟对象在三维空间中位置与第二时间点处的虚拟对象的位置相同。

4.根据权利要求1所述的图像处理装置，其中，控制单元基于移动路径将三维空间中的不随虚拟视点的移动而改变的固定位置确定为虚拟对象的位置，并基于所确定的固定位置来确定显示区域。

5.根据权利要求1所述的图像处理装置，其中，控制单元确定显示区域，使得在基于移动路径上的多个虚拟视点而生成的且时间上连续的多个虚拟视点图像中的所有虚拟视点图像中，显示虚拟对象。

6.根据权利要求4所述的图像处理装置，其中，控制单元在三维空间中的多个候选区域中，确定在基于移动路径上的多个虚拟视点而生成的且时间上连续的多个虚拟视点图像中被显示最长时段的候选区域，作为虚拟对象的位置。

7.根据权利要求1所述的图像处理装置，其中，控制单元确定显示区域，使得在与移动路径上的虚拟视点相对应的虚拟视点图像的虚拟对象非显示区域中，不显示虚拟对象。

8.根据权利要求7所述的图像处理装置，其中，虚拟对象非显示区域是虚拟视点图像中的要显示预定被摄体的区域。

9.根据权利要求7所述的图像处理装置，其中，虚拟对象非显示区域是要显示包括在拍摄图像中的真实广告的区域。

10.根据权利要求1所述的图像处理装置，其中，虚拟对象是用于在虚拟视点图像中显示不包括在拍摄图像中的广告的虚拟对象。

11.根据权利要求10所述的图像处理装置，其中，控制单元确定虚拟对象的朝向，使得在与移动路径上的虚拟视点相对应的虚拟视点图像中包括，虚拟对象的显示有广告的面。

12.根据权利要求1所述的图像处理装置，其中，由获取单元获取的视点信息包括用于识别视点位置的信息和用于识别观看方向的信息。

13.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

生成单元，其被构造为基于控制单元的确定，来生成包括虚拟对象的虚拟视点图像。

14.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

输出单元，其被构造为基于控制单元的确定，来将关于虚拟对象的位置、尺寸、形状和朝向中的至少一者的信息输出到生成虚拟视点图像的图像生成装置。

15.一种图像处理方法，其包括：

获取用于识别与虚拟视点图像的生成有关的虚拟视点的移动路径的视点信息，所述虚拟视点图像是基于由从多个方向进行摄像的多个照相机获得的拍摄图像而生成的；以及

进行控制以确定要插入到虚拟视点图像中的虚拟对象的显示区域，进行所述控制，以基于根据所获取的视点信息识别的移动路径上的第一时间点处的虚拟视点和移动路径上的第二时间点处的虚拟视点，来确定虚拟对象在与第一时间点处的虚拟视点相对应的虚拟视点图像中的显示区域，第二时间点与第一时间点不同。

16.根据权利要求15所述的图像处理方法，其中，进行所述控制，以基于第一时间点处的虚拟视点和第二时间点处的虚拟视点，来确定虚拟对象在与第一时间点处的虚拟视点相对应的虚拟视点图像中的位置、尺寸、形状和朝向中的至少一者。

17.根据权利要求15所述的图像处理方法，其中，进行所述控制，以将三维空间中的不随虚拟视点的移动而改变的固定位置确定为虚拟对象的位置，并基于所确定的固定位置来确定显示区域。

18.一种非暂态计算机可读存储介质，其存储用于使得计算机执行图像处理方法的程序，所述图像处理方法包括：

获取用于识别与虚拟视点图像的生成有关的虚拟视点的移动路径的视点信息，所述虚拟视点图像是基于由从多个方向进行摄像的多个照相机获得的拍摄图像而生成的；以及

进行控制以确定要插入到虚拟视点图像中的虚拟对象的显示区域，进行所述控制，以基于根据所获取的视点信息识别的移动路径上的第一时间点处的虚拟视点和移动路径上的第二时间点处的虚拟视点，来确定虚拟对象在与第一时间点处的虚拟视点相对应的虚拟视点图像中的显示区域，第二时间点与第一时间点不同。