CN115686295A

CN115686295A - 图像处理设备、图像处理方法和存储介质

Info

Publication number: CN115686295A
Application number: CN202210891013.7A
Authority: CN
Inventors: 小笠原拓
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-07-28
Filing date: 2022-07-27
Publication date: 2023-02-03
Also published as: JP2024019537A; BR102022014625A2; JP2023019088A; EP4125044A3; KR20230017745A; US20230033201A1; JP7406528B2; EP4125044A2

Abstract

本发明提供了图像处理设备、图像处理方法和存储介质。图像处理设备获得针对基于虚拟视点和三维虚拟空间的二维虚拟视点图像的附加信息的输入，将所输入的附加信息转换为布置在所述虚拟空间中的三维位置处的对象，并且将基于在所述三维位置处布置有所述对象的虚拟空间的所述虚拟视点图像显示在显示部件上。

Description

图像处理设备、图像处理方法和存储介质

技术领域

本发明涉及用于使虚拟视点图像的操作精密化(sophisticate)的技术。

背景技术

在用于执行呈现的应用中，已知如下功能：在图像显示期间，接受用于表示图像中的关注点的具有圆或线等形状的标记的输入，将页面图像与该标记进行合成并输出这些页面图像与标记。在日本特开2017-151491中，描述了一种将该功能应用于远程会议系统的技术。

近年来，从通过使用多个摄像装置进行摄像而获得的多个图像来生成从任意视点观看到拍摄场景的图像(虚拟视点图像)的技术受到了大量关注。即使在这样的虚拟视点图像中，也假设向在场景中待关注的目标添加标记。在将标记输入到虚拟视点图像的情况下，当从输入标记时的视点观看时，标记显示在适当位置处。然而，在视点被切换到其他视点的情况下，该标记可能显示在非预期位置处。如上所述，当针对虚拟视点图像绘制诸如标记等的附加信息时，所绘制的附加信息可能显示在非预期位置处。

发明内容

本发明提供了一种用于独立于视点来将针对虚拟视点图像而绘制的附加信息显示在适当位置处的技术。

根据本发明的一个方面，提供了一种图像处理设备，包括：获得部件，用于获得针对基于虚拟视点和三维虚拟空间的二维虚拟视点图像的附加信息的输入；转换部件，用于将所输入的附加信息转换为布置在所述虚拟空间中的三维位置处的对象；以及显示控制部件，用于将基于在所述三维位置处布置有所述对象的虚拟空间的所述虚拟视点图像显示在显示部件上。

根据本发明的另一方面，提供了一种图像处理设备所执行的图像处理方法，包括：获得针对基于虚拟视点和三维虚拟空间的二维虚拟视点图像的附加信息的输入；将所输入的附加信息转换为布置在所述虚拟空间中的三维位置处的对象；将基于在所述三维位置处布置有所述对象的虚拟空间的所述虚拟视点图像显示在显示部件上。

通过以下参考附图对示例性实施例的描述，本发明的其他特征将变得明显。

附图说明

图1A和图1B是示出图像处理系统的配置的示例的图；

图2A和图2B是示出图像处理设备的配置的示例的图；

图3A至图3D是用于说明虚拟视点的图；

图4A和图4B是示出操作画面的配置的示例的图；

图5A至图5E是用于说明标记对象和关注面的图；

图6是示出由图像处理设备执行的处理的过程的示例的流程图；

图7A至图7D是示出显示画面的示例的图；

图8是示出图像处理系统的配置的示例的图；

图9A至图9D是示出标记对象的数据配置的示例的图；

图10A至图10C是示出显示画面的示例的图；以及

图11A至图11C是示出显示画面的示例的图。

具体实施方式

在下文，将参考附图详细描述实施例。注意，以下实施例不意在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不限制于需要所有这样的特征的发明，并且可以适当地组合多个这样的特征。此外，在附图中，向相同或相似的配置给予相同的附图标记，并省略对这些配置的冗余描述。

(系统配置)

将参考图1A和图1B描述根据本实施例的图像处理系统100的配置的示例。图像处理系统100包括多个传感器系统(在图1A所示的示例中，为传感器系统101-1至101-n)。各个传感器系统包括至少一个摄像装置(例如，照相机)。注意，在下文中，如果不需要特别区分，则传感器系统101-1至101-n将被统称为“传感器系统101”。在图像处理系统100中，基于由多个传感器系统101获得的图像数据来生成虚拟视点图像数据，并将其提供给用户。

图1B示出传感器系统101的安装的示例。多个传感器系统101被安装成围绕着作为摄像的被摄体的区域(在下文中被称为所拍摄被摄体区域120)，并且从不同方向对所拍摄被摄体区域120进行拍摄。例如，如果所拍摄被摄体区域120被定义为进行足球或橄榄球比赛的体育场的场地，则n个(例如，多达100个)传感器系统101被安装成围绕着该场地。注意，所安装的传感器系统101的数量没有特别限制，并且至少安装多个传感器系统。注意，传感器系统101不需要总是安装在所拍摄被摄体区域120的整个周边上，并且由于例如安装场所的限制，可以安装在所拍摄被摄体区域120的周边的一部分上。此外，多个传感器系统101中的各个传感器系统101所包括的摄像装置可以包括诸如远摄照相机和广角照相机等的不同功能的摄像装置。

另外，除了摄像装置(照相机)之外，传感器系统101还可以包括声音收集装置(麦克风)。多个传感器系统101中的声音收集装置同步地收集声音。基于多个声音收集装置所收集的声音数据，图像处理系统100生成要与虚拟视点图像一起再现的虚拟听点声音数据，并将它们提供给用户。注意，尽管将为了简单起见而省略声音的描述，但图像和声音是一起被处理的。

注意，所拍摄被摄体区域120可以被定义为不仅包括体育场的场地，而且还包括例如体育场的看台。所拍摄被摄体区域120可以被定义为室内演播室或舞台。也就是说，作为生成虚拟视点图像的目标的所拍摄被摄体的区域可以被定义为所拍摄被摄体区域120。注意，这里的“所拍摄被摄体”可以是所拍摄被摄体区域120所定义的区域自身，或者除了该区域之外或代替该区域，还可以包括存在于该区域中的全部所拍摄被摄体，例如球以及诸如选手和裁判员等的人物。此外，在整个实施例中，虚拟视点图像是运动图像，但也可以是静止图像。

如图1B所示布置的多个传感器系统101使用传感器系统101中所设置的摄像装置同步拍摄共同的所拍摄被摄体区域120。在本实施例中，通过从多个视点同步拍摄共同的所拍摄被摄体区域120而获得的多个图像中所包括的图像将被称为“多视点图像”。注意，本实施例中的多视点图像可以是所拍摄图像自身，但是可以例如是经历了诸如从所拍摄图像提取预定区域的处理等的图像处理的图像。

此外，图像处理系统100还包括图像记录设备102、数据库103和图像处理设备104。图像记录设备102收集通过多个传感器系统101的摄像而获得的多视点图像，并且将这些多视点图像连同在摄像中使用的时间码一起存储在数据库103中。这里，时间码是用于唯一地识别摄像时间的信息。例如，时间码可以是以诸如日：时：分：秒.帧号等的形式指定摄像时间的信息。

图像处理设备104从数据库103获得与共同的时间码相对应的多个多视点图像，并且根据所获得的多视点图像来生成所拍摄被摄体的三维模型。三维模型被配置为例如包括形状信息(诸如表示所拍摄被摄体的形状的点群、或者在所拍摄被摄体的形状被表示为多边形的集合时所定义的面或顶点等)以及表示形状的表面上的颜色和纹理的纹理信息。注意，这仅仅是示例，并且可以以三维地表示所拍摄被摄体的任意格式来定义三维模型。例如，基于用户所指定的虚拟视点，图像处理设备104使用所拍摄被摄体的三维模型来生成与该虚拟视点相对应的虚拟视点图像，并输出该虚拟视点图像。例如，如图1B所示，基于与所拍摄被摄体区域120相关联的虚拟空间中的视点的位置和视线方向来指定虚拟视点110。用户通过在虚拟空间中移动虚拟视点来改变视线方向，从而例如从与多个传感器系统101的摄像装置中的任何摄像装置都不同的视点来浏览基于存在于虚拟空间中的所拍摄被摄体的三维模型而生成的所拍摄被摄体。注意，由于虚拟视点可以在三维虚拟空间中自由移动，因此虚拟视点图像也可以被称为“自由视点图像”。

图像处理设备104生成虚拟视点图像作为表示从虚拟视点110观察到的场景的图像。注意，这里生成的图像是二维图像。图像处理设备104例如是用户所使用的计算机，并且被配置为包括诸如触摸面板显示器或液晶显示器等的显示装置。此外，图像处理设备104可以具有用于在外部显示装置上显示图像的显示控制功能。图像处理设备104例如在这些显示装置的画面上显示虚拟视点图像。也就是说，图像处理设备104执行用于生成从虚拟视点可见的范围内的场景的图像作为虚拟视点图像、并将其显示在画面上的处理。

注意，图像处理系统100可以具有与图1A所示的配置不同的配置。例如，可以使用与图像处理设备104分离地包括诸如触摸面板显示器等的操作/显示装置的配置。例如，可以使用如下配置：在包括触摸面板显示器的平板电脑等上进行虚拟视点等的操作，响应于此而在图像处理设备104中生成虚拟视点图像，并且在平板电脑上显示该图像。注意，可以使用如下配置：多个平板电脑经由服务器连接到图像处理设备104，并且图像处理设备104将虚拟视点图像输出到多个平板电脑中的各个平板电脑。此外，数据库103和图像处理设备104可以一体化。此外，可以使用如下配置：在图像记录设备102中进行从多视点图像直到所拍摄被摄体的三维模型的生成为止的处理，并且将所拍摄被摄体的三维模型存储在数据库103中。在这种情况下，图像处理设备104从数据库103读出三维模型并生成虚拟视点图像。图1A示出多个传感器系统101以菊花链式连接的示例。例如，传感器系统101可以直接连接到图像记录设备102，或者可以以其他连接形式来连接。注意，为了使得传感器系统101能够同步进行摄像，例如图像记录设备102或用于时间同步的其他设备可以向各个传感器系统101通知基准时间信息。

在本实施例中，图像处理设备104还从用户接受对显示在画面上的虚拟视点图像的诸如圆或线等的标记的输入，并且显示叠加在虚拟视点图像上的该标记。如果输入这样的标记，则将该标记适当地显示在输入该标记的虚拟视点处。然而，当虚拟视点的位置或方向改变时，标记可能从添加有标记的对象偏离，从而导致非预期的显示。因此，在本实施例中，图像处理设备104执行用于无论虚拟视点的移动如何都在适当位置处显示在所显示的二维画面上接受的标记的处理。图像处理设备104将二维标记转换为三维标记对象。图像处理设备104对所拍摄被摄体的三维模型和三维标记对象进行组合，从而生成根据虚拟视点的移动而适当调整标记的位置的虚拟视点图像。下面将描述执行该处理的图像处理设备104的配置和处理的过程的示例。

(图像处理设备的配置)

接下来将参考图2A和图2B描述图像处理设备104的配置。图2A示出图像处理设备104的功能配置的示例。图像处理设备104例如包括虚拟视点控制单元201、模型生成单元202、图像生成单元203、标记控制单元204和标记管理单元205作为其功能配置。注意，这些仅仅是示例。可以省略所示功能中的至少一些功能，并且可以添加其他功能。如果可以执行稍后描述的功能，则图2A所示的全部功能可以被其他功能块代替。此外，图2A所示的两个或多于两个功能块可以集成到一个功能块中，或者一个功能块可以被划分为多个功能块。

虚拟视点控制单元201接受与虚拟视点110或时间码有关的用户操作，并且控制虚拟视点的操作。触摸面板或操纵杆等用于虚拟视点的用户操作。然而，本发明不限于此，并且可以通过任意装置接受用户操作。模型生成单元202从数据库103获得与用户操作等所指定的时间码相对应的多视点图像，并且生成表示所拍摄被摄体区域120中所包括的所拍摄被摄体的三维形状的三维模型。例如，模型生成单元202从多视点图像中获得提取了与诸如人物或球等的所拍摄被摄体相对应的前景区域的前景图像以及提取了除了前景区域之外的背景区域的背景图像。模型生成单元202基于多个前景图像来生成前景的三维模型。三维模型例如由通过诸如可视外壳(Visual Hull)等的形状估计方法所生成的点群形成。注意，表示对象的形状的三维形状数据的格式不限于此，并且可以使用网格或特有格式的三维数据。注意，模型生成单元202可以以相同方式生成背景的三维模型。关于背景的三维模型，可以获得由外部设备预先生成的三维模型。在下文中，为了便于描述，前景的三维模型和背景的三维模型将共同被称为“所拍摄被摄体的三维模型”，或者简称为“三维模型”。

基于所拍摄被摄体的三维模型和虚拟视点，图像生成单元203生成用于再现从该虚拟视点观看到的场景的虚拟视点图像。例如，图像生成单元203针对形成三维模型的各点从多视点图像获得适当的像素值，并进行着色处理。然后，图像生成单元203将三维模型布置在三维虚拟空间中，并且将该三维模型连同像素值一起投影并渲染到虚拟视点，从而生成虚拟视点图像。注意，虚拟视点图像生成方法不限于此，并且可以使用诸如在不使用三维模型的情况下通过所拍摄图像的投影转换来生成虚拟视点图像的方法等的其他方法。

标记控制单元204从用户接受对虚拟视点图像的诸如圆或线等的标记的输入。标记控制单元204将针对二维虚拟视点图像所进行的标记输入转换为作为虚拟空间上的三维数据的标记对象。标记控制单元204向图像生成单元203发送指示，使得根据虚拟视点的位置/姿势来生成对标记对象和所拍摄被摄体的三维模型进行组合的虚拟视点图像。注意，标记控制单元204例如将标记对象作为三维模型提供给图像生成单元203，并且图像生成单元203以与所拍摄被摄体相同的方式处理标记对象，从而生成虚拟视点图像。基于从标记控制单元204提供的标记对象，图像生成单元203可以与用于生成虚拟视点图像的处理分开地执行用于叠加标记对象的处理。标记控制单元204可以执行用于将基于标记对象的标记叠加在图像生成单元203所提供的虚拟视点图像上的处理。标记管理单元205进行存储控制，以将标记控制单元204所转换的三维模型的标记对象存储在例如稍后描述的存储单元216等中。标记管理单元205进行存储控制，使得标记对象与例如时间码相关联地存储。注意，模型生成单元202可以计算前景上的诸如人物或球等的各个对象的坐标，将这些坐标累积在数据库103中，并且使用各个对象的坐标来指定标记对象的坐标。

图2B示出图像处理设备104的硬件配置的示例。图像处理设备104例如包括CPU211、RAM 212、ROM 213、操作单元214、显示单元215、存储单元216和外部接口217作为其硬件配置。注意，CPU是中央处理单元(Central Processing Unit)的缩写，RAM是随机存取存储器(Random Access Memory)的缩写，并且ROM是只读存储器(Read Only Memory)的缩写。

CPU 211使用例如RAM 212或ROM 213等中所存储的程序和数据来执行整个图像处理设备104的控制或稍后将描述的处理。当CPU 211执行RAM 212或ROM 213中所存储的程序时，可以实现图2A所示的功能块。注意，图像处理设备104可以包括诸如除了CPU 211之外的一个或多于一个处理器等的专用硬件，并且使硬件执行CPU 211的处理的至少一部分。专用硬件例如可以是MPU(微处理单元)、ASIC(专用集成电路)、FPGA(现场可编程门阵列)或DSP(数字信号处理器)。ROM 213保持用于执行针对虚拟视点图像或标记的处理的程序和数据。RAM 212提供工作区域以临时存储从ROM 213读出并且由CPU 211用于执行各个处理的程序和数据。

操作单元214被配置为包括例如触摸面板和按钮的用于接受用户的操作的装置。操作单元214例如获得表示用户对虚拟视点或标记的操作的信息。注意，操作单元214可以连接到外部控制器并且接受与操作有关的来自用户的输入信息。外部控制器没有特别限制，并且例如是诸如操纵杆等的三轴控制器、或者键盘或鼠标。显示单元215被配置为包括诸如显示器等的显示装置。显示单元215例如显示CPU 211等所生成的虚拟视点图像。此外，显示单元215可以包括能够向用户呈现信息的各种种类的输出装置，例如用于音频输出的扬声器和用于振动输出的装置。注意，操作单元214和显示单元215可以使用例如触摸面板显示器等而一体地形成。

存储单元216被配置为例如包括诸如SSD(固态驱动器)或HDD(硬盘驱动器)等的大容量存储装置。注意，这些仅仅是示例，并且存储单元216可以被配置为包括其他任意存储装置。存储单元216记录要由程序处理的数据。存储单元216存储例如在CPU 211对经由操作单元214所接受的标记输入进行转换时所获得的三维标记对象。存储单元216还可以存储其他信息。外部接口217被配置为例如包括连接到诸如LAN(局域网)等的网络的接口装置。经由外部接口217向诸如数据库103等的外部设备发送信息/从该外部设备接收信息。另外，外部接口217可以被配置为包括诸如

或SDI等的图像输出端口。注意，HDMI是高清多媒体接口(Definition Multimedia Interface)的缩写，并且SDI是串行数字接口(Definition Multimedia Interface)的缩写。在这种情况下，可以经由外部接口217将信息发送到外部显示装置或投影设备。此外，图像处理设备可以使用外部接口217连接到网络，以经由网络接收虚拟视点或标记的操作信息或者发送虚拟视点图像。

(虚拟视点和视线方向)

接下来将参考图3A至图3D描述虚拟视点110。虚拟视点110及其操作是使用一个坐标系来指定的。在本实施例中，使用如图3A所示的由X轴、Y轴和Z轴形成的一般三维空间中的正交坐标系作为坐标系。注意，这仅仅是示例，并且可以使用能够表示三维空间中的位置的任意坐标系。使用坐标系来设置和使用所拍摄被摄体的坐标。所拍摄被摄体例如包括体育场的场地或演播室、以及存在于该场地或演播室的空间中的人物和诸如球等的物体。例如，在图3B所示的示例中，作为所拍摄被摄体，包括体育场的整个场地391以及存在于该场地391上的球392和选手393。注意，场地周围的看台等可以被包括在所拍摄被摄体中。在图3B所示的示例中，场地391的中心的坐标被设置为原点(0，0，0)，X轴被设置为场地391的长边方向，Y轴被设置为场地391的短边方向，并且Z轴被设置为相对于场地的垂直方向。当相对于场地391的中心设置各个所拍摄被摄体的坐标时，可以将从所拍摄被摄体生成的三维模型布置在三维虚拟空间中。注意，坐标设置方法不限于此。

接下来将参考图3C和图3D描述虚拟视点。虚拟视点定义了用于生成虚拟视点图像的视点和视线方向。参考图3C，四角锥的顶点表示虚拟视点的位置301，并且从顶点延伸的向量表示视线方向302。虚拟视点的位置301由三维虚拟空间上的坐标(x，y，z)来表示。视线方向302由包括各轴的分量作为标量的单位向量来表示，并且也被称为虚拟视点的光轴向量。视线方向302穿过前剪裁面(front clip plane)303和后剪裁面(rear clip plane)304中的各个剪裁面的中心。注意，剪裁面是将区域定义为绘制目标的面。夹在前剪裁面303和后剪裁面304之间的空间305被称为虚拟视点的视锥体，并且在该范围内生成虚拟视点图像(或者在该范围内对虚拟视点图像进行投影和显示)。注意，焦距(未示出)可以被设置为任意值。与一般的照相机同样，当焦距改变时，视角改变。也就是说，当使得焦距短时，可以使视角加宽，并且可以使视锥体加宽。另一方面，当使得焦距长时，视角变窄，并且可以使视锥体缩窄以拍摄大的所拍摄被摄体。注意，焦距仅仅是示例，并且可以使用能够设置视锥体的位置或大小的任意参数。

虚拟视点的位置和来自虚拟视点的视线方向可以在由三维坐标表示的虚拟空间中移动和旋转。如图3D所示，虚拟视点的移动306是虚拟视点的位置301的移动，并且由各轴的分量(x、y、z)表示。虚拟视点的旋转307如图3A所示由作为围绕Z轴的旋转的横摆(Yaw)、作为围绕X轴的旋转的俯仰(Pitch)和作为围绕Y轴的旋转的侧倾(Roll)来表示。由此，可以使虚拟视点的位置和来自虚拟视点的视线方向在三维虚拟空间中自由地移动和旋转，并且图像处理设备104可以将在假设从任意角度观察所拍摄被摄体的任意区域的情况下的图像再现作为虚拟视点图像。注意，在下文中，如果不需要特别区分，则虚拟视点的位置和来自虚拟视点的视线方向将一起被称为“虚拟视点”。

(虚拟视点和标记的操作方法)

将参考图4A和图4B描述虚拟视点和标记的操作方法。图4A是用于说明图像处理设备104所显示的画面的图。这里将描述使用包括触摸面板显示器的平板电脑型终端400的情况。注意，终端400不需要一定是平板电脑型终端，并且可以使用其他类型的任意信息处理设备作为终端400。如果终端400是图像处理设备104，则终端400被配置为生成并显示虚拟视点图像，并且还接受诸如虚拟视点和时间码的指定以及标记输入等的操作。另一方面，如果终端400是经由通信网络连接到图像处理设备104的设备，则终端400将表示虚拟视点或时间码的信息发送到图像处理设备104，并接收所提供的虚拟视点图像。此外，终端400接受针对虚拟视点图像的标记输入操作，并将表示所接受的标记输入的信息发送到图像处理设备104。

参考图4A，终端400上的显示画面401大致分为两个区域，包括虚拟视点操作区域402和时间码操作区域403。

在虚拟视点操作区域402中，接受与虚拟视点有关的用户操作，并且在该区域的范围中显示虚拟视点图像。也就是说，在虚拟视点操作区域402中，操作虚拟视点并显示虚拟视点图像，该虚拟视点图像再现了假设从该操作之后的虚拟视点观察到的场景。此外，在虚拟视点操作区域402中，接受针对虚拟视点图像的标记输入。注意，尽管标记的操作和虚拟视点的操作可以一起执行，但是在本实施例中假设独立于虚拟视点的操作来接受标记的操作。在示例中，如图4B所示的示例那样，可以通过使用用户的手指在终端400上的诸如轻触和拖动等的触摸操作来操作虚拟视点，并且可以通过使用诸如笔450等的绘制装置的轻触和拖动来进行标记操作。用户通过使用例如手指等的拖动操作431来使虚拟视点移动或旋转。此外，用户通过使用笔450的拖动操作在虚拟视点图像上绘制标记451或标记452。终端400在利用笔450的拖动操作的连续坐标上绘制标记。注意，手指的操作可以被分配给标记操作，并且笔的操作可以被分配给虚拟视点的操作。另外，如果终端400可以在虚拟视点的操作和标记操作之间进行区分，则可以使用其他任意操作方法。根据该配置，用户可以容易地选择性地使用虚拟视点的操作和标记操作。

注意，当独立地执行虚拟视点的操作和标记的操作时，不需要总是使用诸如笔450等的绘制装置。例如，可以在触摸面板上设置用于标记操作的开/关(ON/OFF)按钮(未示出)，并且可以通过按钮操作来切换是否进行标记操作。例如，为了进行标记操作而开启按钮。在按钮的开启(ON)状态期间，可以禁止虚拟视点操作。此外，为了进行虚拟视点的操作而关闭按钮。在按钮的关闭(OFF)状态期间，可以禁止标记操作。

时间码操作区域403用于指定要观看的虚拟视点图像的定时。时间码操作区域403例如包括主滑动条412、子滑动条413、速度指定滑动条414和取消按钮415。主滑动条412用于接受通过用户对钮422的位置的拖动操作等所选择的任意时间码。可以再现虚拟视点图像的整个时间段由主滑动条412的范围来表示。子滑动条413放大并显示时间码的一部分，并且使得用户能够进行例如以帧为单位的详细操作。子滑动条413用于接受用户通过对钮423的位置的拖动操作等对任意详细时间码的选择。

在终端400上，通过主滑动条412接受时间码的近似指定，并且通过子滑动条413接受时间码的详细指定。例如，主滑动条412和子滑动条413可以被设置成使得主滑动条412与同比赛的整个长度相对应的3小时的范围相对应，并且子滑动条413与作为该长度的一部分的约30秒的时间范围相对应。例如，主滑动条412所指定的时间码前后15秒的区间或从时间码起30秒的区间可以由子滑动条413来表示。此外，可以预先以30秒为单位将时间划分为区间，并且可以由子滑动条413表示这些区间中的包括主滑动条412所指定的时间码的区间。如上所述，主滑动条412和子滑动条413的时间尺度是不同的。注意，上述时间长度仅仅是示例，并且滑动条可以被配置为与其他时间长度相对应。注意，可以准备能够改变例如子滑动条413所对应的时间长度的设置的用户接口。此外，尽管图4A示出主滑动条412和子滑动条413在画面上以相同长度显示的示例，但是长度可以彼此不同。也就是说，主滑动条412可以更长，或者子滑动条413可以更长。此外，不需要总是显示子滑动条413。例如，可以在接受显示指示之后显示子滑动条413，或者可以在指示诸如暂停等的特定操作时显示子滑动条413。可以在不使用主滑动条412的钮422和子滑动条413的钮423的情况下进行时间码的指定和显示。例如，可以通过诸如以诸如日：时：分：秒.帧号等的形式的数值等的数值来指定和显示时间码。

速度指定滑动条414用于接受用户对1x速度再现或慢再现等的再现速度的指定。例如，根据使用速度指定滑动条414的钮424所选择的再现速度来控制时间码的向上计数间隔。取消按钮415用于取消与时间码有关的各个操作。另外，取消按钮415可以用于清除暂停并返回到正常再现。注意，如果按钮被配置为进行与时间码有关的操作，则不局限于取消。

使用如上所述的画面配置，用户可以使终端400显示在通过操作虚拟视点和时间码而从任意位置/姿势观看任意时间码的所拍摄被摄体的三维模型的情况下的虚拟视点图像。用户可以独立于虚拟视点的操作而将标记输入到虚拟视点图像。

(标记对象和关注面)

在本实施例中，将由用户输入到二维显示的虚拟视点图像的二维标记转换为三维标记对象。三维转换后的标记对象被布置在与虚拟视点相同的三维虚拟空间中。首先将参考图5A至图5E描述标记对象转换方法。

图5A示出使用笔450将标记输入到虚拟视点图像500的状态。这里，表示标记上的一个点的向量将被称为标记输入向量501。图5B是示意性地示出在生成图5A中所显示的虚拟视点图像500时所指定的虚拟视点的图。令[M_c]为图5A中的标记输入向量501。使用相对于作为原点的虚拟视点的位置301的照相机坐标，标记输入向量501可以被表示为[M_c]＝(a，b，f)。这里，“f”是虚拟视点的焦距。在图5B中，虚拟照相机的光轴与虚拟视点的焦平面之间的交点是(0，0，f)，并且标记输入向量[M_c]＝(a，b，f)表示从该交点在x方向上移动了a、并且在y方向上移动了b的点。关于标记输入向量，其在照相机坐标上表示为[M_c]，并且在世界坐标上表示为[M_W]＝(m_x，m_y，m_z)。世界坐标是虚拟空间中的坐标。使用从表示虚拟照相机的姿势的旋转矩阵获得的四元数Qt，通过[M_W]＝Qt·[M_c]来计算世界坐标上的标记输入向量502([M_W])。注意，虚拟照相机的四元数是通用技术术语，并且这里将省略其详细描述。

在本实施例中，为了将针对二维虚拟视点图像的标记输入转换为三维数据的标记对象，使用如图5C和图5D所示的关注面510。注意，图5C是整个关注面510的俯视图，并且图5D是在与关注面510平行的方向上观看的图。也就是说，图5C和图5D示出从不同方向观看同一所拍摄被摄体的状态。关注面510例如是与场地391(Z＝0)平行的面，并且是位于观看者易于关注的高度(例如，Z＝1.5m)处的面。关注面510可以由诸如z＝z_fix等的等式来表示。

将标记对象生成为与关注面510接触的三维数据。例如，生成标记输入向量502与关注面510之间的交点503，作为与同标记输入向量502相对应的标记上的一个点相对应的标记对象。也就是说，进行从标记到标记对象的转换，使得穿过虚拟视点和标记上的点的直线与作为关注面510而准备的预定面之间的交点变为与标记上的点相对应的标记对象中的点。注意，标记输入向量502([M_W]＝(m_x，m_y，m_z))与面510(z＝z_fix)之间的交点可以通过一般数学解法来计算，并且将省略其详细描述。这里，假设该交点作为交点坐标(A_w＝(a_x，a_y，a_z))而获得。针对作为标记输入而获得的各个连续点计算这样的交点坐标，并且通过连接这些交点坐标而获得的三维数据是标记对象520。也就是说，如果输入作为连续的直线或曲线的标记，则标记对象520被生成为与该连续的直线或曲线相对应的关注面510上的直线或曲线。因此，标记对象520被生成为观看者容易关注的与关注面接触的三维对象。可以基于观看者关注的对象的高度(例如，基于球主要存在的高度或选手的中心部分的高度)来设置关注面。注意，从标记到标记对象520的转换可以如上所述通过计算向量与关注面之间的交点来完成，或者从标记到标记对象的转换可以通过预定矩阵运算等来完成。另外，可以基于与虚拟视点和输入标记的位置相对应的表来生成标记对象。注意，无论要使用的方法如何，都可以进行处理，以使得在关注面上生成标记对象。

在示例中，当在图5A所示的平板电脑上对作为二维圆的输入标记进行上述转换时，生成图5E所示的具有三维圆环形状的标记对象520。标记对象是从连续点创建的，并且如图5E所示被生成为添加了预定高度的三维数据。

注意，在参考图5A至图5E描述的示例中，关注面510是与作为场地的X-Y面平行的面。然而，本发明不限于此。例如，如果所拍摄被摄体是在垂直方向上进行的运动(诸如攀岩等)，则关注面可以被设置为与X-Z面或Y-Z面平行的面。也就是说，可以使用可以在三维空间上被定义的任意面作为关注面。注意，关注面不限于平面，并且可以是曲面。也就是说，即使使用曲面，如果可以唯一地计算该曲面与标记输入向量之间的交点，则该曲面的形状也不受特别限制。

(处理的过程)

接下来将参考图6描述图像处理设备104所执行的处理的过程的示例。该处理由重复步骤S602至S611的处理的循环处理(步骤S601和S612)形成，并且以预定帧频执行循环。例如，如果帧频是60FPS，则以约16.6[ms]的间隔执行一个循环(一帧)的处理。结果，在稍后描述的步骤S611中，以该帧频输出虚拟视点图像。帧频可以被设置为与图像处理设备104的画面显示中的更新速率同步。然而，可以根据用于拍摄多视点图像的摄像装置的帧频或者数据库103中所存储的三维模型的帧频来设置帧频。注意，在下面的描述中，每次执行循环的处理时，将时间码向上计数一帧。可以根据用户操作等来改变时间码的向上计数间隔。例如，如果指定了1/2的再现速度，则可以在两个循环处理中进行一次时间码的帧的向上计数。此外，例如如果指定了暂停，则可以停止时间码的向上计数。

在循环处理中，图像处理设备104更新处理目标的时间码(步骤S602)。如上所述，这里的时间码以日：时：分：秒.帧号的形式表示，并且以帧为单位进行诸如向上计数等的更新。图像处理设备104判断所接受的用户操作是虚拟视点操作还是标记输入操作(步骤S603)。注意，操作的类型不限于这些。例如，如果接受了针对时间码的操作，则图像处理设备104可以使处理返回到步骤S602并更新时间码。如果没有接受用户操作，则图像处理设备104可以假设在紧挨在前的虚拟视点图像生成处理中进行虚拟视点指定操作而推进处理。图像处理设备104可以判断是否还接受了其他操作。

当在步骤S603中判断为接受了虚拟视点操作时，图像处理设备104获得针对虚拟视点的二维操作坐标(步骤S604)。这里的二维操作坐标例如是表示接受针对触摸面板的轻触操作的位置的坐标。基于在步骤S604中获得的操作坐标，图像处理设备104进行虚拟视点在三维虚拟空间上的移动和旋转其中至少之一(步骤S605)。上面关于图3D描述了虚拟视点的移动/旋转，并且这里将省略其重复描述。此外，可以使用已知技术来执行用于基于通过触摸面板上的触摸操作所获得的二维坐标来确定虚拟视点在三维空间上的移动和旋转的量的处理，并且这里将省略其详细描述。在步骤S604和S605的处理之后或与这些处理同时地，图像处理设备104判断在由移动/旋转后的虚拟视点确定的视场的范围内是否存在标记对象(步骤S606)。如果在由移动/旋转后的虚拟视点确定的视场的范围内存在标记对象(步骤S606中的“是”)，则图像处理设备104读出标记对象并将其布置在三维虚拟空间中(步骤S607)。在布置标记对象之后，图像处理设备104生成包括该标记对象的虚拟视点图像，并且输出该虚拟视点图像(步骤S611)。也就是说，根据虚拟视点，图像处理设备104使用与步骤S602中所更新的时间码相对应的所拍摄被摄体的三维模型以及布置在虚拟空间中的标记对象，来生成虚拟视点图像。注意，如果在由移动/旋转后的虚拟视点确定的视场的范围内不存在标记对象(步骤S606中的“否”)，则图像处理设备104在不布置标记对象的情况下生成虚拟视点图像，并且输出该虚拟视点图像(步骤S611)。

当在步骤S603中判断为接受了标记输入操作时，图像处理设备104获得虚拟视点图像中的标记操作的二维坐标(步骤S608)。也就是说，图像处理设备104获得如关于图4A所述针对虚拟视点操作区域402的标记操作输入的二维坐标。然后，图像处理设备104将步骤S608中所获得的标记输入的二维坐标转换为作为虚拟空间上的关注面上的三维数据的标记对象(步骤S609)。上面参考图5A至图5E描述了从标记输入向标记对象的转换方法，并且这里将省略其重复描述。当在步骤S609中获得了标记对象时，图像处理设备104将该标记对象连同时间码一起保持(步骤S610)。根据虚拟视点，图像处理设备104使用与步骤S602中所更新的时间码相对应的所拍摄被摄体的三维模型以及布置在虚拟空间中的标记对象，来生成虚拟视点图像(步骤S611)。

根据上述处理，可以使用虚拟空间中的关注面将针对二维虚拟视点图像的标记输入转换为三维数据，并且可以在同一虚拟空间中布置所拍摄被摄体的三维模型和标记对象。因此，无论虚拟视点的位置/姿势如何，都可以生成维持所拍摄被摄体与标记之间的位置关系的虚拟视点图像。

(画面显示的示例)

将参考图7A至图7D描述在执行上述处理的情况下以及在不执行该处理的情况下的画面显示的示例。图7A示出图像处理设备104显示标记输入之前的虚拟视点图像的状态。在该状态下，用户可以通过例如触摸操作701任意地使虚拟视点移动/旋转。这里，作为示例，通过用户操作暂停时间码，并且可以在该状态下接受标记输入。注意，标记输入可以与预定时间段期间的虚拟视点图像相对应，并且例如可以在从接受了操作的帧起的预定数量的帧中维持标记输入。此外，例如可以维持所输入的标记，直到用户输入明确的标记擦除指示为止。图7B示出在用户接受标记操作期间的状态。这里示出通过笔接受两个标记输入(圆711和曲线712)的示例。当接受了这样的标记输入时，图像处理设备104将这些标记输入转换为关注面上的三维模型的标记对象，并且将该标记对象连同虚拟视点图像一起绘制。注意，在虚拟视点不改变的状态下，进行与完成用户的标记输入的情况相同的显示，并且用户将其识别为简单地输入标记的状态。注意，在到标记对象的转换处理的执行期间，可以直接显示所接受的二维标记输入，并且当完成到标记对象的转换处理时，可以进行基于三维标记对象的重新绘制。

图7C示出在输入标记被转换为三维标记对象并进行绘制之后、通过用户的触摸操作721进行虚拟视点的移动/旋转的示例。根据本实施例的方法，由于三维标记对象在虚拟空间中布置在具有标记的应当关注的所拍摄被摄体的三维位置附近，因此即使在进行虚拟视点的移动/旋转之后，该标记也显示在应关注的所拍摄被摄体附近。另外，由于标记被转换为三维标记对象并且绘制在虚拟视点图像中，因此根据虚拟视点的移动/旋转来改变位置和方向并进行观察。如上所述，根据本实施例的方法，即使在虚拟视点的移动/旋转之后，也可以继续确保标记输入内容和虚拟视点图像的内容之间的一致性。另一方面，如果不应用根据本实施例的方法，则在进行虚拟视点的移动/旋转之后，标记保持显示在输入位置处，并且仅虚拟视点图像的内容改变。因此，标记输入内容与虚拟视点图像的内容不一致。

如上所述，根据本实施例，在布置有所拍摄被摄体的三维模型的虚拟空间中，在观看者易于关注的面上生成针对虚拟视点图像而输入的标记作为标记对象。然后，将标记对象连同所拍摄被摄体的三维模型一起绘制为虚拟视点图像。这使得可以维持所拍摄被摄体与标记之间的位置关系，并且消除或减少当虚拟视点移动到任意位置/姿势时由标记相对于所拍摄被摄体的偏离引起的不适感。

(标记对象的共享)

注意，通过上述方法生成的标记对象可以由其他装置共享。图8示出进行这样的共享的系统的配置的示例。参考图8，虚拟视点图像生成系统100被配置为执行关于图1A所描述的功能中的至少一些功能，并且进行被摄体的拍摄以及多视点图像或三维模型的生成。管理服务器801是被配置为以时间码为单位管理和存储所拍摄被摄体的三维模型或共享标记对象(稍后描述)的存储装置，并且还可以是被配置为以时间码为单位分发标记对象的分发装置。图像处理设备811至813中的各个图像处理设备具有与例如图像处理设备104相同的功能，从管理服务器801获得三维模型，并且生成并显示虚拟视点图像。此外，图像处理设备811至813中的各个图像处理设备可以从用户接受标记输入，生成标记对象，并且将所生成的标记对象上传到管理服务器801以使其进行存储。第一图像处理设备下载第二图像处理设备所上传的标记对象，从而通过对第二图像处理设备的用户所输入的标记和被摄体的三维模型进行组合来生成虚拟视点图像。

(标记对象的数据配置)

在示例中，图像处理设备104通过标记管理单元205以图9A至图9C所示的配置保持标记对象。例如，图像处理设备104可以在保持相同数据配置期间将标记对象的数据上传到管理服务器801。此外，图像处理设备104从管理服务器801下载相同数据配置的标记对象的数据。注意，图9A至图9C所示的数据配置仅仅是示例，并且可以使用能够指定标记对象在虚拟空间中的位置和形状的任意格式的数据。管理服务器801和图像处理设备104可以使用不同数据格式，并且可以根据预定规则按需再现标记对象的数据。

图9A示出标记对象的数据900的配置的示例。在数据集顶部处的头部901存储对象类型。例如，表示该数据集是“标记”的数据集的信息存储在头部901中。注意，可以将“前景”或“背景”等指定为数据集的类型。此外，标记对象的数据900包括帧计数902以及与一个或多于一个帧(时间码)相对应的一个或多于一个数据903。

各帧(时间码)的数据903例如具有如图9B所示的配置。数据903例如包括时间码911和数据大小912。注意，数据大小912使得能够指定帧(时间码)的数据和下一帧的数据之间的边界。可以在数据903外部准备与多个帧中的各个帧有关的数据大小。在这种情况下，数据大小的信息例如可以存储在头部901和帧计数902之间、帧计数902和数据903之间、或数据903之后。数据903还存储标记对象计数913。标记对象计数913表示时间码中所包括的标记的数量。例如，在图7B所示的示例中，输入了包括圆711和曲线712的两个标记。因此，在这种情况下，标记对象计数913表示存在两个标记对象。数据903包括与标记对象计数913所表示的数量一样多的标记对象的数据914。

各个标记对象的数据914例如具有如图9C所示的配置。各个标记对象的数据914包括数据大小921和数据类型922。数据大小921表示一个或多于一个数据914中的各个数据914的大小，并且用于指定各个标记对象的数据的边界。数据类型922表示三维模型的形状的类型。数据类型922例如指定诸如“点群”或“网格”等的信息。注意，三维模型的形状不限于此。作为示例，如果表示“点群”的信息存储在数据类型922中，则数据914在这之后包括点群计数923以及全部点群的坐标924和纹理934的一个或多于一个组合。注意，一个或多于一个数据914中的各个数据914不仅可以包括标记对象的三维数据，而且可以包括全部点群坐标的中心坐标或者各个三维轴(未示出)上的最小值和最大值。此外，一个或多于一个数据914中的各个数据914还可以包括其他数据。注意，标记对象的数据不需要总是以帧为单位进行准备，并且可以被配置为例如如场景图那样的格式的动画。

当使用如图9A至图9C所示的数据时，例如可以管理一个体育比赛中的不同时间码的多个标记对象。此外，可以与一个时间码相对应地管理多个标记。

接下来将描述管理服务器801的标记对象管理。图9D示出被配置为管理标记对象的表的配置的示例。沿着横坐标标绘时间码，并且沿着纵坐标存储表示与各个时间码相对应的标记对象的信息。例如，在与“第一对象”相对应的行的单元格中，存储多个时间码(帧)的数据903所示的“第一对象”的数据。例如，图9C所示的数据存储在一个单元格中。当使用如图9D所示的数据库的表配置时，如果指定了标记对象，则管理服务器801可以获得与该标记对象有关的全部时间码的数据。此外，当指定了时间码的范围时，管理服务器801可以获得该时间码中所包括的全部标记对象的数据。注意，这些仅仅是示例，并且如果可以管理和共享标记对象，则不需要总是使用如上所述的数据配置和管理方法。

(标记对象的共享和显示)

将参考图10A至图10C描述标记对象的共享和显示的示例。这里将描述由图8所示的图像处理设备811至813共享标记对象的情况。注意，这里图10A示出显示在图像处理设备811上的操作画面，图10B示出显示在图像处理设备812上的操作画面，并且图10C示出显示在图像处理设备813上的操作画面。作为示例，如图10A所示，假设在图像处理设备811中，针对某个时间码的虚拟视点图像接受具有圆1001的形状的标记。例如，基于用户对标记共享指示(未示出)的接受，图像处理设备811向管理服务器801发送从所输入的标记以上述方式转换后的标记对象的数据。此外，如图10B所示，假设在图像处理设备812中，针对与图10A相同的时间码的虚拟视点图像，接受具有曲线1002的形状的标记。基于用户对标记共享指示(未示出)的接受，图像处理设备812向管理服务器801发送从所输入的标记以上述方式转换后的标记对象。注意，标记对象与时间码相关联并且被发送以存储在管理服务器801中。为此，图像处理设备811至813具有用于将时间码和标记对象相关联地存储在管理服务器801中的存储控制功能。

假设在这种状态下，图像处理设备813接受标记更新指示(未示出)。在这种情况下，关于在图像处理设备811和812中如图10A和图10B所示输入标记的时间码，图像处理设备813从管理服务器801获得与时间码相对应的标记对象。然后，如图10C所示，图像处理设备813使用所拍摄被摄体的三维模型和所获得的标记对象来生成虚拟视点图像。注意，这里的所获得的各个标记对象是如上所述布置在与所拍摄被摄体的三维模型相同的虚拟空间中的三维数据。因此，即使在共享目的地的图像处理设备813上，所拍摄被摄体的三维模型和标记对象也以与输入到共享源的图像处理设备811和812时的位置关系相同的位置关系来布置。因此，即使在图像处理设备813中任意操作虚拟视点的位置和视线方向，也在维持它们的位置关系的同时生成虚拟视点图像。

注意，例如在接受标记更新指示时，图像处理设备811可以获得在图像处理设备812中输入的标记(曲线1002)的标记对象的信息。然后，图像处理设备811可以绘制除了在自身设备中输入的标记(圆1001)的标记对象和所拍摄被摄体的三维模型之外、还包括所获得的标记对象的虚拟视点图像。

注意，例如，如果图像处理设备813接受标记更新指示，则在管理服务器801中管理的标记对象可以显示在缩略图等列表中，并且可以选择要下载的标记对象。在这种情况下，如果在管理服务器801中管理的标记对象的数量大，则可以向接受了更新指示的时间码附近的标记对象给予更高的优先级并将其显示在缩略图等列表中。也就是说，在图像处理设备813中接受标记更新指示的时刻，为了促进对与该时刻相对应的时间码附近输入的标记的选择，可以优先显示该标记。另外，可以针对各个标记对象来管理接受下载指示的次数，并且可以向计数更多的标记对象给予更高的优先级并将其显示在缩略图等列表中。注意，具有高显示优先级的缩略图可以显示在接近列表顶部的位置处，或者可以以大尺寸显示。

以上述方式，针对虚拟视点图像所输入的标记可以在维持所拍摄被摄体和标记之间的位置关系的同时由多个装置共享。此时，如上所述，标记具有虚拟空间上的三维对象的格式。因此，即使虚拟视点的位置或视线方向在共享源的设备与共享目的地的设备之间改变，也可以在维持所拍摄被摄体和标记之间的位置关系的同时生成虚拟视点图像。

(根据时间码对标记的透明度的控制)

如果所拍摄被摄体随着时间的流逝而移动，则所拍摄被摄体和以上述方式显示的标记对象之间的位置关系改变。在这种情况下，如果标记对象保持显示，则用户可能会有不适感。为了避免这种情况，随着从输入标记对象的时间码起的时间流逝，使标记对象的透明度增加，从而向用户示出从原关注点的改变并减少不适感。如上所述，将标记对象与时间码相关联地保持。这里，假设在图10C所示的示例中，用户针对时间码执行操作751。在这种情况下，如图11A所示，图像处理设备813可以随着从标记对象的生成的时间码向分开的时间码的转变而改变标记的透明度(α值)。因此，进行绘制，使得标记随着相对于实际标记输入定时的偏离变大而以更浅的颜色显示。这可以减少用户的不适感。注意，如果用户返回时间码，则如图10C所示可以进行用于返回到原透明度的控制。注意，即使在与标记对象的生成的时间码之前的时间码相对应的虚拟视点图像中也可以绘制标记对象。同样在这种情况下，如果标记对象的生成的时间码与要绘制的虚拟视点图像的时间码之间的差大，则可以进行控制以增加透明度(以浅颜色显示标记对象)。另外，可以进行控制，使得在标记对象的生成的时间码之前的透明度变得高于在标记对象的生成的时间码之后的透明度(使得以浅颜色显示标记对象)。

注意，在上述示例中，描述了透明度随着时间码的转变而改变的示例。然而，本发明不限于此。例如，可以进行控制，以通过改变标记对象的明度、颜色饱和度和色度其中至少之一来以浅颜色显示标记。

(根据三维模型坐标的标记对象控制)

除了上述实施例之外或代替上述实施例，图像处理设备可以接受用于向前景的三维模型添加标记的操作。例如，如图11B所示，针对前景(人物)的三维模型接受标记添加指示1101。在这种情况下，例如，如图11C所示，图像处理设备生成圆形标记对象1102，该圆形标记对象1102以三维模型的关注面上的X和Y坐标为中心具有预定大小的半径。因此，可以生成与参考图5A至图5E所描述的标记对象相同的标记对象。注意，在接受了对前景的三维模型的标记对象添加指示(标记添加)的情况下生成的标记对象的形状不限于圆。这种情况下的标记对象的形状可以是矩形等，或者可以是三维模型可以受到关注的其他形状。

注意，对前景的三维模型添加的标记的位置可以随着该前景上的人物或球的移动而改变。注意，即使在参考图5A至图5E所描述的标记对象中，标记对象也可以与添加了标记的位置或周围的前景的三维模型相关联，并且标记对象的位置可以根据前景上的三维模型的位置而改变。也就是说，独立于添加标记的方法，可以针对各个时间码获得前景的三维模型的坐标，并且可以针对各个时间码改变标记对象的坐标。因此，如果前景上的人物等随着时间码的流逝而移动，则标记对象可以跟随三维模型而移动。可替代地，例如可以根据时间码的改变，通过用户操作来改变标记对象的位置。在这种情况下，根据用户操作，可以针对各个时间码指定标记对象的位置，并且可以存储/管理该位置。

注意，在上述实施例中，描述了在将标记添加到基于多个摄像装置所拍摄的多视点图像的虚拟视点图像的情况下的处理。然而，本发明不限于此。也就是说，例如，即使将标记添加到基于完全在计算机上人工创建的三维虚拟空间所生成的虚拟视点图像，也可以将该标记转换为该虚拟空间中的三维对象。此外，在上述实施例中，描述了生成并存储与同具有标记的虚拟视点图像相对应的时间码相关联的标记对象的示例。然而，时间码不需要总是与标记对象相关联。例如，如果虚拟视点图像是静止图像，或者如果虚拟视点图像仅用于在会议等中临时添加标记的目的，则可以与时间码无关地通过例如用户操作来显示或擦除标记对象。此外，在例如会议系统等中使用的图像处理设备中的至少一些图像处理设备不需要具有指定虚拟视点的能力。也就是说，在将标记添加到虚拟视点图像之后，仅诸如会议的引导者(facilitator)等的特定用户需要能够指定虚拟视点。其他用户所保持的图像处理设备不需要接受虚拟视点的操作。同样在这种情况下，由于根据特定用户所指定的虚拟视点来绘制标记对象，因此可以防止标记和虚拟视点图像的所拍摄被摄体之间的关系变得不一致。

[其他实施例]

在上述实施例中，描述了将标记对象显示为虚拟视点图像上所显示的附加信息的示例。然而，虚拟视点图像上所显示的附加信息不限于此。例如，可以在虚拟视点图像上将用户所指定的标记、图标、虚拟形象(avatar)和图示等其中至少之一显示为附加信息。可以预先准备多个附加信息，并且用户可以选择这些附加信息中的任意一个附加信息并将其布置在虚拟视点图像上。用户可以使得能够在触摸面板显示器中拖动图标等并将其布置在任意位置处。通过与上述实施例中相同的方法将诸如图标等的所布置的附加信息转换为三维数据。注意，该方法不限于此，并且可以预先使二维数据的附加信息和三维数据的附加信息相关联，并且在布置二维数据的附加信息的定时处，可以将该附加信息转换为相对应的三维数据的附加信息。如上所述，本实施例可以适用于在虚拟视点图像上显示各种种类的附加信息的情况。

此外，在上述实施例中，将附加信息(标记对象)转换为三维数据。此时的三维数据不需要总是表示三维形状的数据。也就是说，三维数据是至少具有虚拟空间中的三维位置的数据，并且附加信息的形状可以是面、线或点。

另外，不需要提供上述实施例中所描述的全部功能，并且可以通过组合任意功能来执行实施例。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参考示例性实施例描述了本公开，但是应当理解，本公开不限于所公开的示例性实施例。所附权利要求书的范围应被赋予最广泛的解释，以涵盖全部这些修改以及等效结构和功能。

Claims

1.一种图像处理设备，包括：

获得部件，用于获得针对基于虚拟视点和三维虚拟空间的二维虚拟视点图像的附加信息的输入；

转换部件，用于将所输入的附加信息转换为布置在所述虚拟空间中的三维位置处的对象；以及

显示控制部件，用于将基于在所述三维位置处布置有所述对象的虚拟空间的所述虚拟视点图像显示在显示部件上。

2.根据权利要求1所述的图像处理设备，其中，

所述转换部件进行所述转换，使得在所述虚拟空间中的预定面上生成所述对象。

3.根据权利要求2所述的图像处理设备，其中，

所述转换部件进行所述转换，使得在穿过与输入所述附加信息时的虚拟视点图像相对应的虚拟视点以及输入所述附加信息的点的直线相对于所述预定面的交点处，生成与输入所述附加信息的点相对应的对象的点。

4.根据权利要求1所述的图像处理设备，其中，

所述显示控制部件在所述转换部件所转换的对象不存在于基于所述虚拟视点的视场的范围内的情况下，显示不包括所述对象的虚拟视点图像，并且在所述转换部件所转换的对象存在于所述范围内的情况下，显示包括所述对象的虚拟视点图像。

5.根据权利要求1所述的图像处理设备，其中，

与输入所述附加信息时的所述虚拟视点图像相对应的时间码与所述对象相关联，以及

在显示与同所述对象相关联的时间码相对应的所述虚拟视点图像的情况下，所述显示控制部件基于布置有所述对象的虚拟空间来显示所述虚拟视点图像。

6.根据权利要求5所述的图像处理设备，还包括：

存储控制部件，用于将所述时间码和所述对象彼此相关联地存储在存储部件中。

7.根据权利要求1所述的图像处理设备，其中，

所述显示控制部件基于所述虚拟空间来显示所述虚拟视点图像，其中在所述虚拟空间中，基于其他图像处理设备所输入的其他附加信息的其他对象被布置在三维位置处。

8.根据权利要求1所述的图像处理设备，其中，

所述获得部件获得表示用户所指定的虚拟视点的信息。

9.根据权利要求8所述的图像处理设备，其中，

表示所述虚拟视点的信息包括表示所述虚拟视点的位置和来自所述虚拟视点的视线方向的信息。

10.根据权利要求8所述的图像处理设备，其中，

在用户进行第一操作的情况下，所述获得部件获得与所述第一操作相对应的附加信息的输入，并且在用户进行与所述第一操作不同的第二操作的情况下，所述获得部件获得表示根据所述第二操作所指定的虚拟视点的信息。

11.根据权利要求10所述的图像处理设备，其中，

所述第一操作和所述第二操作是针对触摸面板的操作，所述第一操作是用户的手指针对所述触摸面板的操作，并且所述第二操作是利用绘制装置的操作。

12.根据权利要求1所述的图像处理设备，其中，

所述显示控制部件进行控制，以在与输入所述附加信息的所述虚拟视点图像相对应的时间码和要显示的所述虚拟视点图像的时间码之间的差大的情况下以浅颜色显示所述对象。

13.根据权利要求12所述的图像处理设备，其中，

所述显示控制部件进行控制，以通过改变所述对象的透明度、明度、颜色饱和度和色度其中至少之一来以浅颜色显示所述对象。

14.根据权利要求1所述的图像处理设备，还包括指定部件，所述指定部件用于指定与在所述虚拟视点图像中添加所述附加信息的位置相对应的特定对象的三维模型，

其中，所述显示控制部件在与所述虚拟空间中的特定对象的三维模型相对应的三维位置处，显示布置有与所述附加信息相对应的对象的虚拟视点图像。

15.根据权利要求1所述的图像处理设备，其中，

所述附加信息包括标记、图标、虚拟形象和图示其中至少之一。

16.根据权利要求1所述的图像处理设备，其中，

所述虚拟视点图像是基于通过多个摄像装置的摄像所获得的多视点图像而生成的。

17.一种图像处理设备所执行的图像处理方法，包括：

获得针对基于虚拟视点和三维虚拟空间的二维虚拟视点图像的附加信息的输入；

将所输入的附加信息转换为布置在所述虚拟空间中的三维位置处的对象；

将基于在所述三维位置处布置有所述对象的虚拟空间的所述虚拟视点图像显示在显示部件上。

18.一种计算机可读存储介质，其存储有程序，所述程序用于使计算机用作根据权利要求1至16中任一项所定义的图像处理设备。