CN109429052B - 信息处理设备、信息处理设备的控制方法以及存储介质 - Google Patents

Abstract

本发明提供信息处理设备、信息处理设备的控制方法以及存储介质。所述信息处理设备使用由多个摄像装置拍摄的多个图像决定视点位置并且基于决定视点位置声称虚拟视点图像。所述信息处理设备包括：确定单元，被构造为确定与虚拟视点图像的生成有关的场景；以及决定单元，被构造为基于由所述确定单元确定的场景，来决定与由所述确定单元确定的场景中的虚拟视点图像有关的视点位置。

Description

信息处理设备、信息处理设备的控制方法以及存储介质

技术领域

本发明涉及一种用于生成虚拟视点图像的技术。

背景技术

存在如下技术：在不同位置处安装多个相机且从多个视点同步拍摄，并且使用通过拍摄而获得的多个视点图像来生成虚拟视点图像。日本特开2008-015756号公报公开了一种用于根据由多个摄像设备拍摄的图像生成虚拟视点图像的技术。

然而，担心设置关于虚拟视点图像的视点会麻烦。例如，将考虑用户观看体育场的体育赛事的虚拟视点图像的情况。在这种情况下，根据由用户设置的视点生成虚拟视点图像使得用户能够从用户偏好的视点观看比赛。例如，优选地从进球或投篮的选手处于场景(scene)中的视点来观看足球或篮球中的得分点的场景，而对于观看除得分点的场景以外的场景，可能期望跟随球的路径的远摄(long shot)。然而，不习惯设置用于虚拟视点图像的视点的用户可能花费时间来设置适合各个场景的视点，或者可能无法在期望的位置处设置视点。注意，关于虚拟视点图像的观看对象不限于体育运动，并且关于音乐会和其他事件也会发生同样的问题。

发明内容

一种信息处理设备，包括：指定单元，用于基于由多个摄像装置获得的多个图像来指定与虚拟视点图像的生成有关的场景；第一确定单元，用于基于由所述指定单元指定的场景来确定多个虚拟视点的候选；以及第二确定单元，用于从第一确定单元确定并呈现给用户的多个虚拟视点的候选中，确定基于用户操作而指定的虚拟视点，作为用于生成由所述指定单元指定的场景的虚拟视点图像的虚拟视点。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示图像处理系统的构造的图。

图2A至图2C是例示事件信息的示例的图。

图3是虚拟视点图像生成处理的序列图。

图4A至图4C是例示用户终端的画面示例的图。

图5A和图5B是例示被摄体列表编译处理的流程的流程图。

图6A至图6C是例示直至被摄体列表被编译的示例的图。

图7是例示构图情景(composition scenario)列表编译处理的流程的流程图。

图8是例示构图情景的示例的图。

图9是例示虚拟相机路径条件的示例的图。

图10A至图10C是例示虚拟相机路径条件的具体示例的图。

图11是例示虚拟相机路径计算处理的流程的流程图。

图12是例示场景选择画面示例的图。

图13是例示设备的硬件构造的图。

图14是例示由图像处理设备进行的处理的流程的流程图。

具体实施方式

将参照附图描述实施例。图1是例示根据本实施例的图像处理系统的示例的图。图1中所示的图像处理系统是根据通过例如从多个相机对拍摄对象(诸如实际要举行体育赛事等的场地)进行拍摄而获得的多个图像生成虚拟视点图像的信息处理系统。虚拟视点图像是使用从多个视点拍摄的图像而生成的图像，并且是表达来自可选视点或可选视线方向的虚拟拍摄结果的图像。

如图1中所示，图像处理系统包括存储设备100、图像处理设备300和用户终端400。存储设备100存储例如通过用安装在体育场中的多个相机进行拍摄而获得的多个图像或自动设置关于虚拟视点图像的视点所需的信息。图像处理设备300是决定与虚拟视点图像有关的视点的位置、生成虚拟视点图像等的信息处理设备。图像处理设备300根据所决定的视点的位置生成表达虚拟拍摄结果的虚拟视点图像。图像处理设备300还可以生成表达在将虚拟相机指向在已决定的视线方向上的情况下的拍摄结果的虚拟视点图像。图像处理设备300使用存储在存储设备100中的通过用多个相机进行拍摄而获得的多个图像来生成虚拟视点图像。图像处理设备300将生成的虚拟视点图像发送给用户终端400。

用户终端400在用户终端400具有的显示画面上显示从图像处理设备300输出的虚拟视点图像。用户终端400还基于用户输入来接受例如用于移动与虚拟视点图像有关的视点的位置、改变与虚拟视点图像有关的视线方向以及对视点进行切换的指令，并且向图像处理设备300发送表示其内容的传输信号作为虚拟视点信息。用户终端400还基于稍后描述的构图情景向图像处理设备300请求虚拟视点的自动设置。

接下来，将描述存储设备100、图像处理设备300和用户终端400的构造的示例。图13是例示存储设备100、图像处理设备300和用户终端400的硬件构造的示例的图。设备7000(存储设备100、图像处理设备300和用户终端400)包括控制器单元700、操作单元709和显示设备710。

控制器单元700具有CPU 701。CPU 701通过存储在只读存储器(ROM)702中的引导程序来启动操作系统(OS)。CPU 701在该OS上执行存储在硬盘驱动器(HDD)704中的应用程序。CPU 701通过执行应用程序来实现各种类型的处理。随机存取存储器(RAM)703被用作CPU 701的工作区域。HDD 704存储应用程序等。注意，CPU 701可以是单个处理器或多个处理器。

CPU 701经由系统总线708连接到ROM 702和RAM 703以及操作单元接口705、显示单元接口706和通信接口707。操作单元接口705是对操作单元709的接口。操作单元接口705将由用户从操作单元709输入的信息发送给CPU 701。操作单元709例如具有鼠标和键盘等。显示单元接口706将要在显示设备710上显示的图像数据输出到显示设备710。显示设备710具有诸如液晶显示器等的显示器。通信接口707是用于例如通过以太网(注册商标)等进行通信的接口，并且连接到传输线缆。通信接口707经由传输线缆与外部设备进行信息的输入/输出。注意，通信接口707可以是用于进行无线通信的电路和天线。设备7000还可以进行显示控制，以在显示设备710上显示图像。在这种情况下，设备7000通过将显示数据输出到显示设备710来实现显示控制。注意，并非图13中所示的全部构造对于存储设备100、图像处理设备300或用户终端400都是必不可少的。例如，显示设备710对于存储设备100和图像处理设备300不是必不可少的构造。虽然已经描述了控制器单元700具有CPU 701，但是这不是限制性的。例如，代替CPU 701或伴随CPU 701，控制器单元700可以具有诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的硬件。在这种情况下，诸如ASIC或FPGA的硬件可以进行CPU 701的处理的一部分或全部。

接下来，将参照图1描述存储设备100、图像处理设备300和用户终端400的功能构造的示例。图1中所示的构造通过图13中的CPU 701读出记录在ROM 702中的各种类型的程序并且执行各种部分的控制来实现。注意，图1中所示的构造的一部分或全部可以由专用硬件来实现。专用硬件的示例包括ASIC和FPGA。

将描述存储设备100的功能构造的示例。存储设备100包括图像存储单元10和事件信息存储单元20。图像存储单元10存储由安装在体育场地等周围的多个相机同步拍摄的多个图像。图像存储单元10存储的数据可以是表示静止图像的数据、表示运动图像的数据、或表示静止图像和运动图像二者的数据。除非另外具体说明，否则将在本实施例中进行的描述被理解为术语“图像”包括静止图像和运动图像。

事件信息存储单元20存储关于图像存储单元10所存储的图像的事件信息。这里使用的事件信息包括基本信息(例如作为拍摄对象的事件的标题、举行日期、举行会场)、人物信息(诸如事件中的表演者、组织者、参与者等)以及日志信息(按时间序列记录在事件期间发生的事项)。注意，事件信息不限于这些，并且可以包括这些信息或其他信息的一部分。图2A至图2C例示了在事件是足球比赛的情况下的事件信息的示例。如图2A中所示，事件基本信息可以包括事件的标题、举行事件的日期、举行事件的会场以及关于进行比赛的团队的名称的团队信息。如图2B中所示，事件人物信息可以包括团队名称、制服特征(诸如颜色、图案等)。如图2B中所示，事件人物信息可以包括选手信息(诸如选手姓名、制服编号等)。如果要拍摄的事件是相扑比赛，则事件人物信息可以包括将对战的相扑力士的姓名。如果要拍摄的事件是花样滑冰比赛，则事件人物信息可以包括进行表演的滑冰者的姓名。

事件日志信息包括事项的名称和发生的时间。在图2C中所示的示例中，事件日志信息可以包括表示就从基准时间起经过的时间而言发生事项的时间的信息，诸如从比赛开始(事件开始)起经过的时间的量(诸如“上半场3分钟”)。在图2C中所示的示例中，事件日志信息还可以包括补充信息，诸如用于识别事项的实体和与事项有关的个人的信息(诸如选手姓名)。此外，在图2C中所示的示例中，事件日志信息可以包括表示事项发生时的状态的信息，诸如表示事项发生时的得分的得分信息。在图2C中所示的示例中，事件日志信息还可以包括事项开始的时间和场景持续时间。而且，事件日志信息还可以包括事项的开始时间和结束时间。

在被拍摄的事件是诸如足球比赛等的球类运动的情况下，由事件日志信息表示的事项可能是“射门(得分成功)”、“射门(得分失败)”、“传球”、“角球”、“犯规”、“违例(越位等)”等等。此外，由事件日志信息表示的事项可能是“进球”、“点球”、“上半场结束”、“中场时间”、“下半场开始”等等。在被拍摄的事件是音乐会的情况下，由事件日志信息表示的事项可以是要演奏的曲名。在被拍摄的事件是体育赛事的情况下，由事件日志信息表示的事项可能是体育运动的名称。注意，图像处理设备300或用户终端400可以具有上述的存储设备100的功能构造的一部分或全部。

接下来，将描述图像处理设备300的功能构造的示例。图像处理设备300具有生成单元301、位置信息获得单元302、计算单元303、事件信息获得单元304和编译单元305。

生成单元301根据从图像存储单元10获得的多个图像生成3D模型，并且通过基于模型的渲染生成虚拟视点图像，所述基于模型的渲染根据与从计算单元303获得的虚拟视点图像有关的视点进行纹理映射。基于模型的渲染使用通过3D形状复原技术(诸如轮廓体积交叉(silhouette volume intersection)、多视图立体(multi-view stereo，MVS)等)获得的3D形状(模式)。基于模型的渲染是使用所生成的3D形状根据与虚拟视点图像有关的视点生成由虚拟相机拍摄的图像的技术。例如，也可以使用其他方法用于生成虚拟视点图像，诸如基于图像的渲染等。基于图像的渲染是一种根据从多个视点拍摄的图像生成虚拟视点图像而不进行建模(使用几何形状创建物体的形状的过程)的渲染方法。生成单元301经由网络将所生成的虚拟视点图像输出到用户终端400。

位置信息获得单元302对已拍摄的图像进行分析，并且获得关于特定被摄体的位置信息。例如，位置信息获得单元302基于生成单元301生成的3D模型获得特定被摄体的位置信息。位置信息获得单元302还基于生成单元301生成的3D模型获得表示特定被摄体的朝向(orientation)的信息。在体育赛事的情况下，特定被摄体可以是诸如特定的选手或裁判等的人物或者球。

计算单元303计算与被生成的虚拟视点图像有关的视点相关的位置和/或视线方向。在本实施例中，模拟要拍摄被生成的虚拟视点图像的虚拟相机并且设置与被生成的虚拟视点图像有关的视点的位置和/或视线方向，将被称为设置虚拟相机的“位置和朝向”。虚拟相机的位置和朝向的连续转变被称为“虚拟相机路径”。也就是说，图像处理设备300能够基于已设置的虚拟相机路径生成多个虚拟视点图像。图像处理设备300还能够将基于所设置的虚拟相机路径生成的多个虚拟视点图像生成为单个运动图像。

在基于来自用户终端400的用户操作获得了虚拟视点信息的情况下，计算单元303将与虚拟视点信息对应的位置和朝向决定为是与要输出的虚拟视点图像有关的视点和视线方向。虚拟视点信息至少包括位置信息和方向信息。在从用户终端400获得了表示用于决定虚拟相机路径的条件的构图情景的信息的情况下，计算单元303基于构图情景中表示的信息计算虚拟相机路径。计算单元303使用从位置信息获得单元302获得的被摄体位置信息，基于表示构图情景的信息，来计算在时间上连续的虚拟相机路径。注意，计算单元303通过设置虚拟相机参数来设置虚拟相机路径。虚拟相机参数包括与帧编号或时间代码相关的虚拟相机的位置和/或朝向。计算单元303还可以将虚拟相机的视角、焦距、变焦倍率等设置为虚拟相机参数。

事件信息获得单元304从事件信息存储单元20获得事件信息。编译单元305根据从事件信息存储单元20获得的事件人物信息和从图像存储单元10获得的多个图像来编译被摄体列表。这里的被摄体列表是表示在生成虚拟视点图像的场景中是否能够根据关于各个被摄体(诸如选手、球等)的视点生成虚拟视点图像的列表。稍后将详细描述被摄体列表。

编译单元305还根据用户已请求生成从用户终端400获得的虚拟视点图像所关于的场景、场景中发生的事项以及被摄体列表，来编译构图情景。构图情景给出用于设置虚拟相机路径的条件和想法。构图情景由关于虚拟相机的位置和朝向的条件的模板和规则表示。构图情景列表是在指定场景中可选择的构图情景的列表。稍后将详细描述构图情景列表。注意，编译单元305可以具有生成稍后描述的场景选择画面的功能。此外，存储设备100或用户终端400可以具有上述的图像处理设备300的功能构造的一部分或全部。

接下来，将描述用户终端400的功能构造的示例。用户终端400具有显示单元401、确定单元402、选择单元403和设置单元404。

显示单元401显示经由网络从图像处理设备300获得的虚拟视点图像以及各种类型的信息。确定单元402进行将已拍摄的事件划分成多个场景的确定。

确定单元402创建以多个场景作为选项示出的场景选择画面，并且在显示单元401上显示所创建的场景选择画面。确定单元402基于事件信息将已拍摄的事件划分成多个场景。确定单元402在显示单元401上显示用于用户选择要生成虚拟视点图像所针对的场景的场景选择画面，在该场景选择画面中，基于事件信息将事件划分成的多个场景是选项。注意，用户终端400可以从图像处理设备300接收场景选择画面并且在显示单元401上显示所接收的场景选择画面。确定单元402还确定与生成基于用户操作已识别的虚拟视点图像有关的场景。确定单元402还可以经由网络将表示与生成基于用户操作已识别的虚拟视点图像有关的场景的信息发送给图像处理设备300。确定单元402识别与已确定的场景有关的时间、场所和发生事项中的至少一个。确定单元402还可以基于所确定的场景，识别要生成的虚拟视点图像的拍摄时间、要生成的虚拟视点图像的场所以及要生成的虚拟视点图像中示出的事项中的至少一者。

选择单元403根据由编译单元305编译的构图情景列表创建构图情景选择画面，并且在显示单元401上显示所编译的构图情景选择画面。注意，用户终端400可以从图像处理设备300接收构图情景选择画面，并且在显示单元401上显示所接收的构图情景选择画面。选择单元403还选择基于用户操作从构图情景列表已识别的、与虚拟视点图像的生成有关的构图情景。此外，在需要从所选择的构图情景指定被摄体的情况下，选择单元403根据从图像处理设备300获得的被摄体列表创建被摄体选择画面，并且将其显示在显示单元401上。注意，用户终端400可以从图像处理设备300接收被摄体选择画面，并且在显示单元401上显示所接收的被摄体选择画面。

设置单元404基于由用户选择的构图情景和被摄体设置虚拟相机路径条件，并且经由网络将所设置的虚拟相机路径条件发送给图像处理设备300。这里的虚拟相机路径条件是关于用于生成虚拟视点图像的场景的、用于决定作为虚拟相机参数的虚拟相机的位置和朝向的条件。例如，虚拟相机路径条件是规定在发生了特定事项时虚拟相机的何种位置和朝向应当来拍摄特定被摄体的条件。注意，存储设备100或图像处理设备300可以具有上述的用户终端400的功能构造的一部分或全部。虽然图像处理系统被描述为由三个设备组成，但是其可以是一个、两个或四个或更多个设备。

将描述具有上述的构造的图像处理系统的操作。图3是由图像处理系统进行的虚拟视点图像生成处理的序列图。通过用户终端400启动虚拟视点图像查看应用，图像处理系统开始虚拟视点图像生成处理。用户终端400启动虚拟视点图像查看应用，并且开始场景选择画面呈现处理(S4001)。用户终端400向图像处理设备300请求事件信息(S4002)。

在从用户终端400接收到对事件信息的请求时，图像处理设备300获得事件信息存储单元20存储的事件信息。图像处理设备300将所获得的事件信息发送给用户终端400(S3001)。用户终端400基于所获得的事件信息生成场景选择画面，并且显示场景选择画面。

图4A例示了在用户终端400获得的事件信息是图2C中所示的事件信息的情况下基于事件日志信息显示的场景选择画面的示例。在图4A中所示的示例中，场景选择画面在场景选择画面中呈现事件信息中包括的信息当中的、表示事项的发生时间的信息、事项的名称以及关于得分有可能改变的事项的得分信息。可以使用呈现该信息的一部分的场景选择画面。此外，图像处理设备300可以生成图4A中所示的场景选择画面，并且用户终端400可以从图像处理设备300获得场景选择画面并显示该画面。

用户终端400显示场景选择画面，并且接受用户对场景的选择(S4003)。通过接受用户对场景的选择，用户终端400识别关于要生成虚拟视点图像所针对的时间、场所和状况的场景。

用户终端400开始构图情景选择画面呈现处理，以显示构图情景选择画面(S4004)。用户终端400向图像处理设备300请求与该场景有关的构图情景列表以及用于识别用户已选择的画面的信息(S4005)。图像处理设备300编译与所选择的场景有关的被摄体列表(S3002)。图像处理设备300使用编译单元305编译与所选择的场景有关的构图情景列表(S3003)。

现在，将详细描述S3002中的被摄体列表编译处理和S3003中的构图情景列表编译处理。图5A是例示由图像处理设备300的编译单元305进行的被摄体列表编译处理的流程的流程图。图5A中的流程图在接收到获得构图情景列表的请求的情况下开始。注意，下面描述的流程图的处理通过图像处理设备300的CPU 701计算信息并控制硬件来实现。注意，流程图中的步骤中的至少一部分可以由专用硬件来实现。专用硬件的示例包括ASIC和FPGA。

编译单元305通过从用户终端400接收获得构图情景列表的请求来开始被摄体列表编译处理。这里的被摄体列表是针对与指定场景对应的从开始时间至结束的各个帧的、表示是否能够关于诸如选手和球等的被摄体生成虚拟视点图像的列表。依据多个相机被安装的状态，会存在无法生成位于特定位置的被摄体的虚拟视点图像的情况。因此，例如，依据作为拍摄对象的场地的位置，会存在无法生成包括诸如选手等的特定被摄体的虚拟视点图像的时间段。

编译单元305从位置信息获得单元302获得与指定场景有关的被摄体位置信息(S1501)。被摄体位置信息是表示特定被摄体的位置的信息。被摄体位置信息还可以是与在指定场景中能够包括在虚拟视点图像中的被摄体有关的信息。被摄体位置信息还可以是关于在指定场景中从与被摄体有关的视点(诸如被摄体的视线)能够包括在虚拟视点图像中的被摄体的信息。关于各个被摄体的位置和朝向的信息以及用于识别各个被摄体的信息可以与时间相关地被包括在被摄体位置信息中。被摄体位置信息还可以包括各个被摄体的ID。

图5B是例示由位置信息获得单元302进行的被摄体位置信息获得处理的流程的流程图。位置信息获得单元302通过从编译单元305接受获得被摄体位置信息的请求来开始被摄体位置信息获得处理。位置信息获得单元302从生成单元301获得在指定场景的开始时间处的3D模型(S2501)。随后，位置信息获得单元302获得在场景的开始时间处的3D模型中包括的全部特定被摄体的位置(S2502)。可以进行如下布置以减少处理量：位置信息获得单元302根据包括在S4003中选择的场景中发生事项的位置获得预定范围中包括的特定被摄体的位置。

位置信息获得单元302赋予ID以个别地区分位于能够生成虚拟视点图像的范围中的各个被摄体(S2503)。在场景开始时被摄体的位置是图6B中所示的位置的情况下，在由虚线表示的圆(是能够生成虚拟视点图像的区域)中，存在三个穿着格子制服的选手、三个穿着条纹制服的选手和一个球，因此赋予ID01至ID07。接下来，位置信息获得单元302从生成单元301获得针对与要生成的虚拟视点图像中的下一帧对应的时间的3D模型(S2504)。位置信息获得单元302获得针对与已获得的下一帧对应的时间的3D模型中包括的全部被摄体的位置(S2505)。

位置信息获得单元302针对如下被摄体中的各个，识别关于与前一帧对应的时间具有最小位置差异的被摄体，该被摄体是位于针对与下一帧对应的时间能够生成虚拟视点图像的区域内的被摄体。然后，位置信息获得单元302对位置差异为预定值或更小的被摄体赋予与前一帧相同的ID(S2506)。在位于针对与下一帧对应的时间能够生成虚拟视点图像的区域内的被摄体中，存在与对应于前一帧的时间的位置差异不是预定值或更小的被摄体的情况下，位置信息获得单元302对其赋予新的ID(S2507)。在与下一帧对应的时间处的被摄体位置如图6C的示例中所示的情况下，在虚线圆(是能够生成虚拟视点图像的区域)中，存在三个穿着格子制服的选手、三个穿着条纹制服的选手和一个球。基于该帧中与对应于前一帧的时间的位置差异，被摄体被赋予ID01至ID06的相同的ID。在图6C中所示的示例中，右下处的穿着格子制服的选手已经移动到开始帧中的圆的外部，因此不对其赋予ID。右上处的穿着格子制服的选手已经从开始帧中的圆的外部移动到圆中，因此对其赋予新的ID08。位置信息获得单元302重复进行S2504至S2507的处理，直到用于生成虚拟视点图像的画面的结束时间。在已经结束直至与场景的结束时间对应的部分的处理的情况下(在S2508中为“是”)，位置信息获得单元302结束被摄体位置信息获得处理。

返回到图5A中的描述，编译单元305从事件信息存储单元20获得事件人物信息(S1502)。编译单元305分析从图像存储单元10获得的多视点视频，并且针对通过ID区分的被摄体中的各个提取诸如制服的颜色、图案和制服编号等的特征(S1503)。接下来，编译单元305将事件人物信息中包括的诸如制服的颜色、图案和制服编号等的特征与所提取的特征进行匹配，并且识别通过ID区分的各被摄体是谁(S1504)。能够通过在编译单元305中存储诸如形状和大小等的特征来识别诸如球等的非人物的被摄体。处理S1502的定时可以是任何定时，只要该定时在S1504之前即可，因此该定时可能在S1501之前或S1503之后。

接下来，编译单元305编译被摄体列表(S1505)。图6A例示了被摄体列表的示例。从图6A中所示的示例中能够看出，针对从场景的开始至结束的全部帧，五个选手和一个球位于能够生成虚拟视点图像的区域中，并且在这些帧的一部分处，两个选手位于能够生成虚拟视点图像的区域外部。

接下来，将详细描述S3003的构图情景列表编译处理。图7是例示由编译单元305进行的构图情景列表编译处理的流程的流程图。在被摄体列表编译处理结束时，编译单元305开始构图情景列表编译处理。编译单元305设置不依赖于场景内容的共同构图情景(S1701)。如在图8中，在事件是足球比赛的情况下，不依赖于场景内容的共同构图情景的示例是“从上方观看整个场景的移动”。在该构图情景中，生成虚拟相机位于空中的俯瞰虚拟视点图像，而不论所选择的场景是射门场景、犯规场景还是任何其他这样的场景。不依赖于场景内容的共同构图情景的另一示例是“以球在视图中心从侧线观看”。不依赖于场景内容的共同构图情景的又一示例是“以球的位置作为视点朝向球门观看”。

接下来，编译单元305识别所选择的场景的类型(S1702)。在事件是足球比赛的情况下，例如，编译单元305可以将用于生成虚拟视点图像的场景分类成得分成功、得分失败、越位和犯规中的一种。在这种情况下，编译单元305将诸如射门、角球、点球和其他这样的场景的场景的类型分类成得分成功还是得分失败。越位和犯规的场景类型分别是越位和犯规。

编译单元305添加依赖于所识别的场景类型的构图情景(S1703)。图8例示了在事件是足球比赛的情况下场景类型是得分成功的构图情景的示例。图8中的构图情景的示例包括“在*的前线处跟随球(其中，*是进攻、防守等)”和“在*的点处观看进球得分(其中，*是踢球、头球、球门等)”。在“进攻前线跟随球”的构图情景中，生成虚拟相机连续跟随与球接触的进攻选手的虚拟视点图像。这种构图情景是在从场景的开始至结束的各个帧中根据球和多个进攻侧选手的位置关系来决定虚拟相机的位置和朝向的构图情景的示例。

“在球门的点处观看进球得分”场景生成如下的虚拟视点图像：虚拟相机在从球被踢出的点至越过球门线的点的直线上被放置在球门后方，从而拍摄球飞入球门的路线。这样的构图情景是在特定时间(诸如踢球场景或球门场景)根据球和选手的位置关系来决定虚拟相机的位置和朝向的构图情景的示例。

此外，图8中的“仔细观看犯规的瞬间”构图情景生成如下的虚拟视点图像：虚拟相机围绕发生犯规的位置旋转，同时在发生犯规的帧处使时间停止，以便从360度观察犯规的瞬间。该构图情景是基于特定帧中的选手的位置使虚拟相机在时间停止的状态下移动的构图情景的示例。也就是说，在这种情况下，在时间上的特定点处从各种视点拍摄被摄体来生成多个虚拟视点图像。

注意，上面描述的构图情景是示例，并且可以使用其他构图情景。此外，可以使用与场景有关的构图情景，而不将场景分类成类型。例如，在要生成虚拟视点图像的场景中发生的事项是“射门(得分成功)”或“射门(得分失败)”的情况下，则可以使用“从守门员的视线观看”或“从前锋的视线观看”作为构图情景。此外，在要生成虚拟视点图像的场景中发生的事项是“传球”的情况下，可以使用“从接收传球的选手的视线观看”或“从传出传球的选手的视线观看”作为构图情景。作为选择，可以通过用户输入来决定与场景有关的构图情景。

接下来，编译单元305确认被摄体列表(S1704)，并且确定是否添加人物指定情景。例如，编译单元305在S1704中确定针对从场景的开始至结束的全部帧是否存在位于能够生成虚拟视点图像的区域中的人物。在针对全部帧存在位于能够生成虚拟视点图像的区域中的人物的情况下，编译单元305确定添加人物指定情景，并且在针对全部帧不存在位于能够生成虚拟视点图像的区域中的人物的情况下，编译单元305确定不添加人物指定情景。另外，例如，编译单元305在S1704中确定从场景的开始至结束是否存在被摄体列表中的人物。在从场景的开始至结束存在被摄体列表中的人物的情况下，编译单元305确定添加人物指定情景，并且在从场景的开始至结束不存在被摄体列表中的人物的情况下，编译单元305确定不添加人物指定情景。虽然这里描述为在针对从开始至结束的全部帧存在位于能够生成虚拟视点图像的区域中的人物的情况下确定添加人物指定情景，但这不是限制性的。例如，可以进行如下的布置：在针对预定数量的帧或更多帧存在位于能够生成虚拟视点图像的区域中的人物的情况下，添加人物指定情景。另外，例如，可以进行如下的布置：在存在面向场景中发生事项的发生点的人物的情况下，确定添加人物指定情景。此外，可以进行如下的布置：在场景中存在通过其视线能够生成虚拟视点图像的人物的情况下，确定添加人物指定情景。此外，可以进行如下的布置：省略S1705的处理，并且总是添加人物指定情景。

接下来，在确定添加人物指定情景的情况下(S1705中为是)，编译单元305添加人物指定构图情景(S1706)。人物指定情景的示例包括：在事件是足球比赛的情况下，“从所选择的选手的视点观看”或“从*继续跟随所选择的选手(其中，*是背后、正面、等)”。在“从所选择的选手的视点观看”构图情景中，通过将虚拟相机的位置和朝向与特定选手的脸部的位置和朝向匹配，来生成再现特定选手的视场的虚拟视点图像。这样的构图情景是根据一个特定选手在全部帧上的位置和朝向来决定虚拟相机的位置和朝向的构图情景的示例。还可以进行如下的构造：关于与要生成虚拟视点图像的场景有关的人物添加作为人物指定的构图情景。例如，可以在要生成虚拟视点图像的场景中，关于已与球接触的选手添加人物指定情景。

接下来，编译单元305检查关于所添加的构图情景是否能够针对所选择的场景生成虚拟视点图像(S1707)。在事件是足球比赛的情况下，例如，如果踢球射门，则不满足例如得分成功的构图情景“在头球的点处观看进球得分”，因此判断出无法生成虚拟视点图像。编译单元305排除判断出无法生成虚拟视点图像的构图情景。编译单元305编译判断出能够生成虚拟视点图像的构图情景的构图情景列表(S1708)。编译单元305已创建的构图情景列表被发送给用户终端400并且作为构图情景选择画面被呈现给用户。

图4B例示了在所选择的画面是诸如图2C中所示的示例中的“上半场3分钟，射门，(1-0)”等的得分成功场景并且添加了人物指定情景的情况下的构图情景选择画面的示例。在图4B中，作为用于设置虚拟相机路径的条件的多个构图情景以可选择的方式被呈现给用户。

返回到图3的描述，例如，用户终端400基于构图情景列表显示诸如图4B中所示的构图情景选择画面。用户终端400基于用户指定选择从构图情景选择画面识别的构图情景(S4006)。在所选择的构图情景涉及人物的情况下，用户终端400呈现被摄体选择画面(S4007)。例如，用户终端400基于被摄体列表显示诸如图4C中所示的被摄体选择画面。图4C是在观看者在图4B中所示的构图情景选择画面中选择了“从所选择的选手的视点观看”的情况下的被摄体选择画面的示例。作为用于设置虚拟相机路径的条件，在图4C中，以可选择地方式向用户呈现有多个人。被摄体选择画面还可以包括诸如人物姓名、制服编号、团队、脸部照片等的附加信息。

用户终端400从被摄体选择画面中选择特定人物(S4009)。接下来，用户终端400开始虚拟视点图像创建处理(S4010)。用户终端400的设置单元404基于从选择单元403接收的所选择的场景以及构图情景和人物设置虚拟相机路径条件(S4011)。虚拟相机路径条件是规定虚拟相机的位置和朝向与被摄体的位置信息之间的关系以实现构图情景的条件。

图9是在构图情景列表是图8中所示的示例的情况下由设置单元404对虚拟相机路径条件的设置的示例。例如，在事件是足球比赛的情况下，在构图情景“从上方观看整个场景的移动”中虚拟相机的位置是“涵盖球的移动路径的圆的中心上方8米”，并且虚拟相机的朝向是“直下”。注意，这些具体数字仅是示例性的，并且在构图情景“从上方观看整个场景的移动”中虚拟相机的位置可以是另一位置。

现在，将参照图10A至图10C描述虚拟相机路径条件的具体示例。在要生成虚拟视点图像的场景中，如图10A中所示，ID02的选手在与要生成的虚拟视点图像的开始帧对应的时间处踢球(该球具有ID03)，并且向具有ID06的选手传出传球。接收到传球的ID06的选手踢进球门。因此，与ID06的选手踢球射门的时间对应的虚拟视点图像的帧是射门帧。

由ID06的选手射门的球越过球门线。与越过球门线的时间对应的虚拟视点图像中的帧是进球帧。与结束要生成的虚拟视点图像的时间对应的虚拟视点图像的帧是结束帧。

从开始帧至结束帧的球的行进路径52如图10B中所示。涵盖该球的行进路径52的圆53如图10B中所示。因此，满足用于“从上方观看整个场景的移动”的虚拟相机路径条件的虚拟相机的位置是“涵盖球的移动路径的圆的中心上方8米”。因此，设置单元404设置如何使用哪个被摄体位置信息作为虚拟相机路径条件，使得计算单元303能够使用球的行进路径来决定虚拟相机的位置和朝向。

接下来，将参照图10A中所示的场景描述用于构图情景“在球门的点处观看进球得分”的虚拟相机条件的示例。构图情景“在球门的点处观看进球得分”中的虚拟相机位置为“球门点后方3米”，虚拟相机的朝向在射门前为“球”并且在射门后为“射门的点”。如图10C中所示，虚拟相机51的位置是从射门帧中的球位置至进球帧中的球位置的直线延伸了三米的位置。如图10C中所示，虚拟相机51的朝向从开始帧至射门帧被设置为使得球处于画面的中间，并且从射门帧至结束帧被固定在射门位置处。因此，设置单元404使用被摄体的位置信息以使计算单元303能够决定虚拟相机位置，并且设置关于哪个帧的哪个位置来定位虚拟相机以及如何定向虚拟相机的条件。注意，这些具体数字和具体位置仅是示例性的，并且用于构图情景“在球门的点处观看进球得分”的虚拟相机位置可以是其他位置。

接下来，将描述用于关于犯规场景的构图情景“仔细观看犯规的瞬间”的虚拟相机条件的示例。在构图情景“仔细观看犯规的瞬间”中虚拟相机的位置是从开始至发生犯规的副裁判的位置。虚拟相机的朝向被设置为使作为犯规的被摄体的选手从开始直到发生犯规处于图像中。在发生犯规的情况下，虚拟相机的位置在发生犯规的定时(停留在发生犯规的时间)围绕发生了犯规的选手在顺时针方向上旋转360度。也就是说，在虚拟视点图像中，可以从各种角度拍摄发生犯规的定时。当虚拟相机返回副裁判的位置时，虚拟相机被固定并且时间的经过被恢复。因此，设置单元404设置关于在何时停止虚拟相机以及从哪个被摄体位置在哪个方向上围绕哪个被摄体旋转相机的条件，以便能够决定用于停止虚拟视点图像中时间的经过的定时以及虚拟相机的旋转状态。注意，这些具体数字和具体位置仅是示例性的，并且用于构图情景“仔细观看犯规的瞬间”的虚拟相机位置可以是其他位置。此外，可以提供虚拟相机在射门时围绕踢球射门的选手以相同的方式旋转的构图情景。

关于除图9中所示的上述构图情景以外的构图情景，设置单元404还设置如何使用哪个帧中的哪个被摄体的位置信息作为虚拟相机路径条件。虽然已经描述了用户终端400设置虚拟相机路径条件的示例，但是可以进行如下的构造：图像处理设备300计算虚拟相机路径，而无需用户终端400设置虚拟相机路径条件。在这种情况下，用户终端400可以向图像处理设备300发送所选择的场景、构图情景和用于识别人物的信息。图像处理设备300可以被布置为基于接收到的所选择的场景、构图情景和用于识别人物的信息来设置虚拟相机路径。

返回到图3的描述，用户终端400向图像处理设备300发送虚拟视点图像创建请求，虚拟视点图像创建请求包括所选择的场景、构图情景、用于识别人物的信息和表示虚拟相机条件的信息(S4012)。在接收到来自用户终端400的虚拟视点图像创建请求时，图像处理设备300基于所接收的信息创建虚拟视点图像(S3005)。

现在，将参照图11描述图像处理设备300的虚拟相机路径计算处理。图11是例示由图像处理设备300的计算单元303进行的虚拟相机路径计算处理的流程的流程图。

图像处理设备300的计算单元303通过接收来自用户终端400的虚拟视点图像创建请求中包括的虚拟相机路径条件来开始虚拟相机路径计算处理。计算单元303获得虚拟相机路径条件(S1101)。计算单元303识别针对设置由虚拟相机路径条件表示的虚拟相机路径的被摄体(S1102)。例如，在图9中所示的示例当中，在虚拟相机路径条件是虚拟相机的位置为“涵盖球的移动路径的圆的中心上方8米”并且虚拟相机的朝向为“直下”的情况下，计算单元303将球识别为从开始至结束位置将被使用的被摄体。此外，在图9中所示的示例当中，将考虑虚拟相机路径条件是虚拟相机的位置为“球门点后方3米”的情况。在这种情况下，如果虚拟相机的朝向为“球/踢球点”，则计算单元303将从开始至选手将球射门的球和球门框中的球识别为位置被使用的被摄体。此外，在这种情况下，踢球射门的选手可以被识别为是位置被使用的被摄体。

计算单元303可以根据事件信息存储单元20中的事件日志信息识别在设置虚拟相机路径时使用的时间信息(诸如射门的时间或进球得分的时间)，或者可以根据进球得分的选手、球门线与球之间的位置关系来识别时间。此外，可以基于场景确定通过拍摄图像的图像处理，来识别在设置虚拟相机路径时使用的时间信息(诸如射门的时间或进球得分的时间)。例如，可以通过图像处理来基于离开得分选手的球确定射门的时间，并且可以根据拍摄该图像的时间获得该时间。可以进行如下的构造：针对确定球离开了选手的图像处理，从拍摄图像的帧中找到并识别最后帧，在该最后帧中得分选手与球之间的位置差异是预定值或更小。又例如，通过确定球位于球门线的内侧的第一帧来识别进球得分的时间，并且从拍摄该帧的时间来识别时间。

因此，计算单元303基于虚拟相机路径条件来识别要在哪个拍摄时间使用哪个被摄体的位置。如果由于例如射门点在能够生成虚拟视点图像的范围外部(在S1103中为否)而造成计算单元303无法识别要使用位置的被摄体，则向用户终端400通知错误(S1108)，并且结束虚拟相机路径计算处理。如果计算单元303能够识别要使用位置的被摄体(在S1103中为“是”)，则从位置信息获得单元302获得特定时间处的被摄体的位置信息(S1104)。计算单元303基于已获得的被摄体的位置信息以及虚拟相机路径条件，决定要生成的虚拟视点图像中的针对各个帧的虚拟相机的位置和朝向(S1105)。在构图情景是图9中所示的示例当中的“从上方观看整个场景的移动”的情况下，针对从场景的开始至结束的全部帧的虚拟相机路径，将是图10B中的示例所示的从圆53的中心上方8米面向直下的虚拟相机路径。在构图情景是图9中所示的示例当中的“在球门的点处观看进球得分”的情况下，虚拟相机路径将是如下的虚拟相机路径：虚拟相机51的位置如图10C中所示，从左向右跟随球平移，并且在选手踢球射门的位置处停止平移。因此，计算单元303针对全部帧决定虚拟相机参数以创建从场景的开始至结束的虚拟相机路径，以便满足虚拟相机路径条件，从而自动计算虚拟相机路径。这里决定的虚拟相机参数例如是针对生成的虚拟视点图像中的各个帧的位置和/或视线方向。注意，在已经计算的虚拟相机的移动超过预定阈值的情况下，可以由计算单元303将再现速度设置为虚拟相机参数，诸如将再现速度设置为半速度，使得观看者能够更好地观看虚拟视点图像。

接下来，使将由计算出的虚拟相机路径识别的各个帧中的虚拟相机的位置连接的线平滑化，并且由计算单元303将平滑化的线上的坐标识别为虚拟相机的位置(S1106)。虚拟相机路径的平滑化是为了抑制虚拟相机抖动并且抑制虚拟相机给出虚拟视点图像是用抖动的手从相机拍摄的印象，从而防止观看者遭受视觉诱发的晕动症。注意，可以省略S1106的处理。接下来，计算单元303请求生成单元301根据计算出的虚拟相机路径生成虚拟视点图像(S1107)。

返回到图3中的描述，图像处理设备300的生成单元301生成满足计算单元303计算出的虚拟相机的虚拟相机参数的虚拟视点图像。也就是说，生成单元301根据与依据构图情景决定的虚拟视点图像有关的视点的位置和/或视线方向来生成虚拟视点图像。

图像处理设备300将所生成的虚拟视点图像输出到用户终端400。用户终端400在显示单元401上显示所接收的虚拟视点图像。用户终端400通过在显示单元401上进行再现来将所接收的虚拟视点图像呈现给观看者(S4013)。

如上所述，根据本实施例，在对事件进行拍摄并且根据拍摄结果来生成虚拟视点图像的情况下，事件被划分成多个场景，并且用户能够从多个场景当中选择要生成虚拟视点图像的场景。因此，用户能够在不必进行麻烦的操作的情况下，生成关于事件中的期望的时间、场所或事项的虚拟视点图像。此外，根据本实施例，从与所选择的场景有关的、用于决定虚拟视点图像的视点的位置的多个条件中选择期望条件，使得能够在不必进行麻烦的操作的情况下生成虚拟视点图像。因此，用户能够在不必进行麻烦的操作的情况下，根据用户的偏好沿着适合于所选择的场景的虚拟相机路径观看虚拟视点图像。用户还能够在不必进行麻烦的操作的情况下，在虚拟相机路径上观看所选择的场景的虚拟视点图像。通过根据所选择的场景、构图情景和人物设置虚拟相机条件，并且自动计算从场景的开始至结束的虚拟相机路径，还能够向观看者提供有不限于单个被摄体位置或朝向的虚拟视点图像。因此，根据本实施例，即使不习惯进行关于虚拟视点图像的视点的设置的用户也能够容易地设置虚拟视点图像的视点。

注意，在上述的实施例中，可以进行如下的布置：确认与所选择的场景有关的构图情景的数量，并且如果该数量是1，则自动选择该构图情景而不向用户呈现构图情景选择画面。此外，在上述的实施例中已经描述了用户终端400获得事件日志信息、区分场景并且生成场景选择画面的布置，但是这不是限制性的。图像处理设备300可以获得事件日志信息，并且区分场景并生成场景选择画面。

还可以进行如下布置：基于用户操作在用户终端400处指定时间或时段以识别关于虚拟视点图像的生成的场景。图12例示了接受用户指令的画面的示例，以通过指定时间或时段来识别关于虚拟视点图像的生成的场景。图12中的画面用于指定场景开始时间和至场景结束的持续时间中的至少两个。画面可以是接受场景开始时间和场景结束时间的画面。至场景结束的持续时间可以被限制在预定值内，使得便于识别指定了什么类型的场景。图像处理设备300或用户终端400可以被布置为根据事件日志信息识别场景。如果指定的场景是如图12中所示的从10:03:48至8秒后的10:03:56，则在图2C中所示的事件日志信息的示例中可以看出，这包括在指定的场景开始之后两秒的10:03:50处的射门的得分场景。

变型例

将参照图14中所示的例示图像处理设备300的操作的流程的流程图描述上述的实施例的变型例。注意，变型例中的设备的构造与上述的实施例中的设备的构造相同。

在S1901中，图像处理设备300向用户呈现作为用于生成虚拟视点图像的候选的多个场景。注意，图像处理设备300基于事件信息生成上述的场景选择画面，并且将场景选择画面发送给用户终端400。

在S1902中，图像处理设备300基于从用户终端400接收的信息，确定通过用户操作指定了场景的用户是否识别了用于生成虚拟视点图像的场景。在从用户终端400接收到识别场景的信息的情况下，图像处理设备300确定已识别用于生成虚拟视点图像的场景。

在已识别用于生成虚拟视点图像的场景的情况下，在S1903中，图像处理设备300基于事件信息识别所识别的场景的场所、时间和事项。例如，在所识别的场景是踢球射门的场景的情况下，基于射门的位置的场所被图像处理设备300确定为是场景的场所，踢球射门的一系列的场上时间被确定为是所识别的场景的时间，并且射门被确定为是场景的事项。

在已识别用于生成虚拟视点图像的场景的情况下，在S1904中，图像处理设备300识别与在S1903中识别的场所、时间和事项有关的人物。例如，在所识别的场景是踢球射门的场景的情况下，踢球射门的选手、守门员和最靠近踢球射门的进攻选手的防守选手被图像处理设备300识别为与场景有关的人物。

在S1905中，图像处理设备300获得与所识别的场景的场所、时间和事项中的至少一个有关的构图情景以及与在S1903中识别的被摄体有关的构图情景。在所识别的场景是踢球射门的场景的情况下，图像处理设备300获得例如图9中所示的“在球门的点处观看进球得分”作为与所识别的场景的场所、时间和事项中的至少一个有关的构图情景。图像处理设备300还获得“从踢球射门的选手、守门员或最靠近踢球射门的进攻选手的防守选手的视点观看”作为与在S1903中识别的被摄体有关的构图情景。图像处理设备300创建用于从所获得的构图情景中选择构图情景的构图情景选择画面，并且发送给用户终端400以呈现给用户。

在S1906中，图像处理设备300基于从用户终端400接收的信息，确定通过用户操作指定了构图情景的用户是否识别了与要生成的虚拟视点图像有关的构图情景。在从用户终端400接收到识别构图情景的信息的情况下，图像处理设备300确定已识别构图情景。

在已识别与要生成的虚拟视点图像有关的构图情景的情况下，在S1907中，图像处理设备300基于所识别的构图情景识别虚拟相机参数。例如，在“从踢球射门的选手的视点观看”被识别为与要生成的虚拟视点图像有关的构图情景的情况下，图像处理设备300从位置信息获得单元302获得在要生成的场景中踢球射门的选手的位置信息和朝向。图像处理设备300设置如下的虚拟相机参数：在要生成的场景中踢球射门的选手的位置信息和朝向是虚拟相机路径。

在S1908中，图像处理设备300基于所识别的虚拟相机参数生成虚拟视点图像，并且在S1909中，图像处理设备300将所生成的虚拟视点图像输出到用户终端400。

因此，根据上面的变型例，即使不习惯进行关于虚拟视点图像的视点的设置的用户也能够容易地设置虚拟视点图像的视点。根据上面的实施例，能够容易地进行关于虚拟视点图像的视点的设置。

其他实施例

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (13)

1.一种信息处理设备，所述信息处理设备包括：

获得单元，用于获取与用于确定视点路径的一个或多个条件相关的信息，所述视点路径表示虚拟视点的位置和从虚拟视点的视点方向的连续转换；

指定单元，用于基于由多个摄像装置获得的多个图像来指定与要生成的虚拟视点图像有关的场景；

第一确定单元，用于通过获取与所述指定单元指定的场景相关联的一个或多个条件来确定多个视点路径候选，其中，多个场景分别与用于确定视点路径的一个或多个条件相关联；以及

第二确定单元，用于从第一确定单元确定并呈现给用户的多个视点路径候选中，确定基于用户操作而指定的视点路径，作为用于生成由所述指定单元指定的场景的虚拟视点图像的视点路径。

2.根据权利要求1所述的信息处理设备，其中，

多个摄像装置拍摄事件；以及

所述指定单元指定的场景是在所述事件期间发生的事项。

3.根据权利要求2所述的信息处理设备，

其中，在所述事件是球类运动的情况下，由所述指定单元指定的场景包括进球场景、传球场景和犯规场景中的至少一个。

4.根据权利要求1所述的信息处理设备，

其中，所述指定单元被配置为基于用户操作来指定场景。

5.根据权利要求1所述的信息处理设备，

其中，在由所述指定单元指定的场景中，与要生成的虚拟视点图像有关的多个摄像装置的拍摄时间、在要生成的虚拟视点图像中示出的场所以及在要生成的虚拟视点图像中示出的事项中的至少一个被识别，并被所述第一确定单元用作于确定多个视点路径候选。

6.根据权利要求1所述的信息处理设备，所述信息处理设备还包括：

生成单元，用于根据所述第二确定单元确定的视点路径，生成虚拟视点图像。

7.根据权利要求6所述的信息处理设备，所述信息处理设备还包括：

输出单元，用于输出由所述生成单元生成的虚拟视点图像。

8.根据权利要求1所述的信息处理设备，

其中，多个视点路径候选包括基于由多个摄像装置拍摄的特定被摄体的位置信息的视点位置的候选。

9.根据权利要求1所述的信息处理设备，

其中，在由所述指定单元指定的场景中，多个视点路径候选包括由多个摄像装置拍摄的特定被摄体的位置和视线方向。

10.根据权利要求1所述的信息处理设备，

其中，多个视点路径候选包括以预定位置为中心旋转的视点。

11.根据权利要求10所述的信息处理设备，

其中，在由所述指定单元指定的场景中，所述预定位置是由多个摄像装置拍摄的特定被摄体的位置。

12.一种信息处理设备的控制方法，所述控制方法包括：

获得步骤，获取与用于确定视点路径的一个或多个条件相关的信息，所述视点路径表示虚拟视点的位置和从虚拟视点的视点方向的连续转换；

指定步骤，基于由多个摄像装置获得的多个图像来指定与要生成的虚拟视点图像有关的场景；

第一确定步骤，通过获取与由所述指定步骤指定的场景相关联的一个或多个条件来确定多个视点路径候选，其中，多个场景分别与用于确定视点路径的一个或多个条件相关联；以及

第二确定步骤，从第一确定步骤确定并呈现给用户的多个视点路径候选中，确定基于用户操作而指定的视点路径，作为用于生成由所述指定步骤指定的场景的虚拟视点图像的视点路径。

13.一种计算机可读取存储介质，其存储包括在计算机执行程序时，使计算机执行根据权利要求12所述的方法指示的程序。

Images