CN114450713A - 信息处理装置、视频生成方法和程序 - Google Patents

Abstract

提供给信息处理装置(10a)的分数映射图生成单元(83)(图像质量预测单元)针对3D模型(90M)(3D对象)来预测从其观看3D模型(90M)的虚拟视点(V)的位置与从虚拟视点(V)的位置观看3D模型(90M)时获取的虚拟图像(J)的图像质量之间的关系。

Description

信息处理装置、视频生成方法和程序

技术领域

本公开内容涉及信息处理装置、视频生成方法和程序，并且更特别地，涉及能够预测在由虚拟摄像装置从任意方向捕获3D对象时获得的虚拟图像的图像质量的信息处理装置、视频生成方法和程序。

背景技术

在相关技术中，已经提出了以下技术：通过使用感测真实3D空间而获得的信息(例如通过从不同视点对对象进行成像获得的多视点视频)在观看空间中生成3D对象，并且生成看起来好像对象存在于观看空间中的视频。此外，已经提出了合成从任意视点位置对对象进行成像时获得的虚拟视频的技术(例如，专利文献1)。

引用列表

专利文献

专利文献1：JP 4671873 B2

发明内容

技术问题

然而，在专利文献1中，无法预测从任意方向捕获的虚拟图像的图像质量。

本公开内容提出了能够预测当从虚拟视点对3D对象成像时获得的虚拟图像的图像质量的信息处理装置、视频生成方法和程序。

问题的解决方案

为解决上述问题，根据本公开内容的实施方式的一种信息处理装置包括：图像质量预测单元，其针对3D对象，预测从其观看3D对象的虚拟视点的位置与从虚拟视点的位置观看3D对象时获得的虚拟图像的图像质量之间的关系。

附图说明

图1是示出根据第一实施方式的信息处理装置的基本配置的示例的框图。

图2是示出3D模型生成设备生成3D模型的流程的概述的图。

图3是示出摄像装置路径预测设备生成通过从虚拟视点对单个3D模型成像获得的虚拟图像的方法的图。

图4是示出摄像装置路径预测设备生成通过从虚拟视点对单个3D模型成像获得的虚拟图像的示例的图。

图5是示出摄像装置路径预测装置生成虚拟图像的过程的示例的流程图。

图6是示出根据第一实施方式的信息处理装置的硬件配置的示例的硬件框图。

图7是示出根据第一实施方式的信息处理装置的功能配置的示例的功能框图。

图8是用于说明对被摄体成像的真实摄像装置的布局的图。

图9是示出计算图像质量分数的示例的图。

图10是示出真实摄像装置的布局的示例的图。

图11是用于说明生成分数映射图的示例的图。

图12是示出生成摄像装置路径的方法的图。

图13是示出用于预测摄像装置路径的用户接口的示例的第一图。

图14是示出用于预测摄像装置路径的用户接口的示例的第二图。

图15是示出由摄像装置路径生成设备执行的处理的流程的示例的流程图。

图16是示出根据第二实施方式的信息处理装置的基本配置的示例的框图。

图17是示出根据第二实施方式的移动终端的功能配置的示例的功能框图。

图18是用于说明根据第二实施方式的移动终端的操作的图。

图19是示出根据第三实施方式的移动终端的功能配置的示例的功能框图。

图20是用于说明根据第三实施方式的移动终端的操作的图。

图21是示出根据第四实施方式的移动终端的功能配置的示例的功能框图。

图22是示出根据第五实施方式的3D模型生成设备的功能配置的示例的功能框图。

图23是用于说明根据第五实施方式的3D模型生成设备的操作的图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的实施方式。在以下实施方式中，相同的部分用相同的附图标记表示，并省略重复的描述。

此外，将按照以下项目的顺序来描述本公开内容。

1.第一实施方式

1-1.前提事项的描述——3D模型的生成

1-2.前提事项的描述——单个3D模型的虚拟视点视频的生成

1-3.信息处理装置的硬件配置的描述

1-4.信息处理装置的功能配置的描述

1-5.计算图像质量分数的方法的描述

1-6.生成分数映射图的方法的描述

1-7.生成摄像装置路径的方法的描述

1-8.摄像装置路径生成辅助方法的描述

1-9.由摄像装置路径生成设备执行的处理流程的描述

1-10.第一实施方式的效果

2.第二实施方式

3.第三实施方式

4.第四实施方式

5.第五实施方式

(1.第一实施方式)

根据本公开内容的第一实施方式的信息处理装置10a是在多个被摄体的3D模型被同时成像时生成提供高图像质量的摄像装置路径的装置。图1是示出根据第一实施方式的信息处理装置的基本配置的示例的框图。信息处理装置10a包括3D模型生成设备20和摄像装置路径生成设备30。

3D模型生成设备20独立地生成多个被摄体的3D模型。

当多个被摄体的3D模型被设置在同一空间中并且多个被摄体的3D模型被同时成像时，摄像装置路径生成设备30生成例如能够维持预定值或更大的图像质量的摄像装置路径，即虚拟视点的移动轨迹。

在下文中，在描述信息处理装置10a的细节之前，将对必要的前提事项进行说明。

[1-1.前提事项的描述——3D模型的生成]

图2是示出3D模型生成设备生成3D模型的流程的概述的图。

如图2所示，3D模型的生成包括：通过多个成像设备70(70a、70b、70c)对被摄体90进行成像以及通过3D建模生成具有关于被摄体90的3D信息的3D模型90M的处理。

具体地，如图2所示，多个成像设备70被向内设置在被摄体90的外部，以围绕存在于真实世界中的被摄体90。图2示出了其中成像设备的数量为三个并且成像设备70a、70b和70c被设置在被摄体90周围的示例。注意，在图2中，执行预定操作的人是被摄体90。此外，成像设备70的数量不限于三个，并且可以提供较大数量的成像设备。

从不同的视点，由三个成像设备70a、70b和70c使用通过体积成像同步捕获的多个视点图像来执行3D建模，并且以三个成像设备70a、70b和70c的视频帧为单位生成被摄体90的3D模型90M。

3D模型90M是具有关于被摄体90的3D信息的模型。注意，3D模型90M是本公开内容中的3D对象的示例。3D模型90M包括其中关于被摄体90的几何信息由顶点与顶点之间的连接表达的被称为多边形网格的网格数据、以及与每个多边形网格对应的纹理信息和深度信息(距离信息)。注意，3D模型90M中包括的信息不限于此，并且可以包括其他信息。注意，基于例如从由相邻成像设备捕获的图像中检测到的被摄体90的相同区域的视差来计算关于被摄体90的深度信息。注意，可以通过在成像设备的附近安装包括距离测量机构的传感器并由传感器测量到被摄体90的距离来获得深度信息。

3D模型90M经受所谓的纹理映射，在所谓的纹理映射中根据网格位置来粘贴指示网格的颜色、图案或纹理的纹理。在纹理映射中，期望粘贴与视点位置相关(ViewDependent)的纹理，以提高3D模型90M的真实性。因此，当从任意虚拟视点对3D模型90M进行成像时，纹理根据视点位置而变化，使得可以获得具有较高图像质量的虚拟图像(参见图4)。然而，由于计算量增加，因此可以将与视点位置无关的纹理(view independenttexture)附加至3D模型90M。

将包括读取的3D模型90M的内容数据发送至回放侧的设备并将其回放。包括3D模型90M的内容数据被回放，并且3D模型90M被呈现，由此在观看者的观看设备上显示3D形状视频。

在图2的示例中，诸如智能电话或平板终端的移动终端80被用作观看设备。即，将包括3D模型90M的图像显示在移动终端80的显示画面84上。

[1-2.前提事项的描述——单个3D模型的虚拟视点视频的生成]

图3是示出摄像装置路径生成设备生成通过从虚拟视点对单个3D模型进行成像获得的虚拟图像的方法的图。在图3中，成像设备70(70a、70b、70c)是用于创建被摄体90的3D模型90M的成像设备。在下文中，成像设备70(70a、70b、70c)被称为真实摄像装置70。注意，真实摄像装置70是本公开内容中的成像单元的示例。在使用3D模型90M的各种应用中，期望可以从各个方向对生成的3D模型90M进行成像。因此，已经开发了生成通过从与真实摄像装置70的位置不同的位置(虚拟视点)对3D模型90M进行成像获得的图像(虚拟图像)的技术。

例如，在图3中，假设生成在放置在虚拟视点Vl处的虚拟摄像装置72a捕获3D模型90M的图像时获得的虚拟图像J1(未示出)。可以通过内插由真实摄像装置70a和放置在虚拟摄像装置72a附近的真实摄像装置70c捕获的3D模型90M的图像来生成虚拟图像J1。即，通过将由真实摄像装置70a捕获的3D模型90M的图像与由真实摄像装置70c捕获的3D模型90M的图像相关联来计算关于被摄体90的深度信息。然后，通过将与计算的深度信息对应的区域的纹理投影到虚拟摄像装置72a上，可以生成从虚拟摄像装置72a观看的3D模型90M(被摄体90)的虚拟图像J1。

类似地，可以通过将由真实摄像装置70b捕获的3D模型90M的图像以及由真实摄像装置70c捕获的3D模型90M的图像内插来生成从放置在真实摄像装置70b和真实摄像装置70c附近的虚拟视点V2处的虚拟摄像装置72b观看的3D模型90M的虚拟图像J2(未示出)。注意，在下文中，将虚拟摄像装置72a和72b统称为虚拟摄像装置72。此外，将虚拟视点V1和V2统称为虚拟视点V，并且将虚拟图像J1和J2统称为作为虚拟图像J(未示出)。

由于以这种方式获得的虚拟图像J是通过内插生成的图像，因此与由真实摄像装置70捕获的3D模型90M的图像相比，图像质量劣化。

即，当虚拟摄像装置72与真实摄像装置70被放置在同一位置处并且在与真实摄像装置70相同的条件下捕获图像时，在虚拟摄像装置72在3D模型90M周围移动时获得的虚拟图像J的图像质量是最佳的。另一方面，当虚拟摄像装置72放置在远离真实摄像装置70的位置处时生成的虚拟图像J的图像质量低于由真实摄像装置70捕获的图像的图像质量。

此时，通过虚拟摄像装置72的布置位置和光学参数与真实摄像装置70的布置位置和光学参数来确定图像质量的劣化程度，并且一般地，虚拟摄像装置72的布置位置和光学参数与真实摄像装置70的布置位置和光学参数之间的差异越大，图像质量的劣化越大。

接下来，将参照图4描述生成虚拟图像J的示例。图4是示出摄像装置路径生成设备生成通过从虚拟视点对单个3D模型成像获得的虚拟图像的示例的图。

假设由九个真实摄像装置70从不同方向对被摄体90进行成像以生成3D模型90M。因此，假设图4所示的九个图像Ia至Ig被各个真实摄像装置70捕获。此时，将描述生成由放置在图4所示的位置处的虚拟摄像装置72a捕获的3D模型90M的虚拟图像Ja的方法。

为了简化描述，将生成3D模型90M的多边形P的虚拟图像的情况描述为示例。注意，假设3D模型90M被放置在任意设置的世界坐标系XYZ中的已知位置处。

首先，获得3D模型90M与虚拟摄像装置72a之间的位置关系。注意，假设虚拟摄像装置72a的布置位置(Xv，Yv，Zv)(即，虚拟视点)是已知的。由于3D模型90M的多边形P在世界坐标系XYZ中的位置是已知的，因此多边形P与虚拟摄像装置72a之间的位置关系(即，图4所示的矢量B)被唯一地确定。

接下来，对于九个图像Ia至Ig中的每一个，选择要在生成虚拟图像时使用的图像候选。具体地，确定多边形P是否在图像Ia至Ig的每一个中被示出。可以基于以下来确定多边形P是否被示出：确定是否发生遮挡以及确定关于与每个图像的多边形P对应的区域的深度信息是否与实际深度匹配。在图4的示例中，假设6个图像Ib、Ic、Ie、If、Ih和Ii包括多边形P。另一方面，假设未在图像Ia、Id和Ig中示出多边形P。

接下来，将捕获了生成虚拟图像时使用的图像候选的每个真实摄像装置70的位置与虚拟摄像装置72a的位置进行比较，并且按照与虚拟摄像装置72a的接近度的顺序将真实摄像装置70进行排序。

可以使用各种尺度来确定真实摄像装置70与虚拟摄像装置72a之间的接近度。例如，可以确定随着连接由每个真实摄像装置70捕获的图像中示出的多边形P和3D模型90M的多边形P的线段与矢量B形成的角度越小，真实摄像装置70和虚拟摄像装置72a越接近。

此外，可以确定随着真实摄像装置70与虚拟摄像装置72a之间的距离减小，真实摄像装置70和虚拟摄像装置72a越接近。

此外，可以确定随着多边形P的成像倍率越接近，真实摄像装置70和虚拟摄像装置72a越接近。具体地，可以确定，随着通过表达式(1)根据被摄体90的被摄体尺寸h、从每个摄像装置到被摄体90的距离D以及用于进行成像的透镜的焦距f计算的被摄体90的图像尺寸p越接近，真实摄像装置70和虚拟摄像装置72a越接近。

p＝h*(f/D) (1)

此外，用户他/她自己可以选择靠近虚拟摄像装置72a的真实摄像装置70。

接下来，按照与虚拟摄像装置72a的接近度的顺序，向各个真实摄像装置70赋予权重，并且基于给定的权重混合的纹理被映射并渲染在虚拟图像J上。因此，生成从虚拟摄像装置72a观看的多边形P的虚拟图像J。注意，可以通过对3D模型90M的多个多边形执行类似处理来生成从虚拟摄像装置72a观看的3D模型90M的虚拟图像J。

在下文中，将基于参照图5的流程图来描述创建虚拟图像J的方法。图5是示出摄像装置路径生成设备生成虚拟图像的过程的示例的流程图。

首先，设置用于对3D模型90M进行成像的虚拟视点V(步骤S11)。

接下来，计算3D模型90M与虚拟视点V之间的位置关系(步骤S12)。

此外，选择要用于渲染的真实摄像装置70(步骤S13)。

接下来，按照距虚拟视点V的接近度的顺序对在步骤S13中选择的真实摄像装置70进行排序(步骤S14)。

然后，从最接近于虚拟视点V的真实摄像装置70开始，依次向各个真实摄像装置赋予权重，并执行渲染处理(步骤S15)。

[1-3.信息处理装置的硬件配置的描述]

图6是示出根据第一实施方式的信息处理装置的硬件配置的示例的硬件框图。信息处理装置10a具有通过内部总线45连接中央处理单元(CPU)40、只读存储器(ROM)41、随机存取存储器(RAM)42、存储单元43和输入/输出控制器44的配置。

CPU 40开发并执行存储在存储单元43中的控制程序P1和存储在RAM 42上的ROM41中的诸如摄像装置参数的各种数据文件，从而控制信息处理装置10a的整体操作。即，信息处理装置10a具有通过控制程序P1操作的一般计算机的配置。注意，可以经由诸如局域网、因特网或数字卫星广播的有线传输介质或无线传输介质来提供控制程序P1。此外，信息处理装置10a可以通过硬件执行一系列处理。注意，由CPU 40执行的控制程序P1可以是按照本公开内容中描述的顺序按时间序列执行处理的程序，或者可以是并行或在必要的定时(例如在被调用时)执行处理的程序。

存储单元43包括例如闪速存储器以存储由CPU 40执行的控制程序Pl和3D模型90M。注意，由于3D模型90M通常具有大容量，因此可以根据需要从经由因特网等连接至信息处理装置10a的外部服务器(未示出)下载3D模型并将其存储在存储单元43中。

存储单元43还存储分数映射图M(θ，φ)和摄像装置路径Cp。分数映射图M(θ，φ)是通过量化与通过用虚拟摄像装置72对3D模型90M进行成像获得的虚拟图像J的图像质量有关的参数而获得的映射图。针对每个3D模型90M生成分数映射图M(θ，φ)。稍后将详细描述分数映射图M(θ，φ)。注意，分数映射图M(θ，φ)是本公开内容中的映射图的示例。摄像装置路径Cp存储例如摄像装置路径Cp，该摄像装置路径Cp是基于分数映射图M(θ，φ)生成的，并且是虚拟摄像装置72在维持预定值或更大值的图像质量的同时移动时虚拟视点的移动轨迹。稍后将详细描述摄像装置路径Cp。

输入/输出控制器44经由触摸面板接口46获取用于操作堆叠在液晶显示器54上的触摸面板50的信息，该液晶显示器54显示与信息处理装置10a有关的信息。输入/输出控制器44经由显示接口47在液晶显示器54上显示图像信息。此外，输入/输出控制器44经由摄像装置接口48控制真实摄像装置70的操作。

此外，虽然图6中未示出，但是输入/输出控制器44通过无线通信或有线通信与外部服务器(未示出)等进行通信。因此，信息处理装置10a接收例如在另一地方创建的3D模型90M。

[1-4.信息处理装置的功能配置的描述]

图7是示出根据第一实施方式的信息处理装置的功能配置的示例的功能框图。信息处理装置10a的CPU 40在RAM 42上开发控制程序P1并运行控制程序P1以实现图7中所示的每个功能单元。

即，信息处理装置10a的CPU 40实现成像控制单元81、3D模型生成单元82和分数映射图生成单元83的功能，作为3D模型生成设备20。

成像控制单元81通过控制真实摄像装置70的操作来对被摄体90进行成像。

3D模型生成单元82基于由成像控制单元81捕获的被摄体90的图像来生成被摄体90的3D模型90M。

分数映射图生成单元83针对3D模型90M来预测观看3D模型90M的虚拟视点的位置与从虚拟视点的位置观看3D模型90M时获得的虚拟图像J的图像质量之间的关系。然后，分数映射图生成单元83生成将虚拟图像J的估计的图像质量可视化的分数映射图M(θ，φ)。注意，分数映射图生成单元83是本公开内容中的图像质量预测单元的示例。稍后将描述生成分数映射图M(θ，φ)的特定方法。

此外，信息处理装置10a的CPU 40作为摄像装置路径生成设备30实现3D模型布置指定单元91、摄像装置路径生成单元92、摄像装置路径显示单元93、摄像装置路径选择单元94和渲染处理单元95的功能。

3D模型布置指定单元91指定多个3D模型90M在同一空间中的布置位置。具体地，操作控制单元98指定三维空间中的布置位置。

摄像装置路径生成单元92基于由3D模型布置指定单元91指定的多个3D模型90M的布置位置以及由分数映射图生成单元83针对每个3D模型90M生成的分数映射图M(θ，φ)，来生成作为虚拟视点V的移动轨迹的摄像装置路径Cp。可以设想用于生成摄像装置路径Cp的各种条件。例如，可以生成可以尽可能地维持等于或高于预定值的图像质量的摄像装置路径Cp。此外，可以生成摄像装置路径Cp以避免具有粗糙图像质量的虚拟视点，或者可以将由用户设置的摄像装置路径改变为利用其可以获得较高图像质量的摄像装置路径Cp。注意，摄像装置路径生成单元92是本公开内容中的移动轨迹生成单元的示例。稍后将描述生成摄像装置路径Cp的特定方法。

摄像装置路径显示单元93在液晶显示器54上显示由摄像装置路径生成单元92生成的摄像装置路径Cp。

摄像装置路径选择单元94从由摄像装置路径生成单元92生成的多个摄像装置路径Cp中选择由操作者指定的摄像装置路径Cp。

渲染处理单元95在沿由摄像装置路径选择单元94选择的摄像装置路径Cp移动虚拟视点V的同时执行从虚拟视点V观看的多个3D模型90M的渲染，并且生成虚拟图像J。

此外，信息处理装置10a的CPU 40实现操作控制单元98作为在操作3D模型生成设备20和摄像装置路径生成设备30时执行操作控制的功能。此外，CPU 40实现显示控制单元99作为执行显示控制以显示与3D模型生成设备20和摄像装置路径生成设备30有关的信息的功能。

操作控制单元98控制触摸面板50获取与操作者的3D模型生成设备20和摄像装置路径生成设备30有关的操作指令，并将该操作指令递送至相关的功能单元。

显示控制单元99控制液晶显示器54根据来自3D模型生成设备20和摄像装置路径生成设备30的各种类型信息的显示指令执行显示。

[1-5.计算图像质量分数的方法的描述]

接下来，将描述由本实施方式的信息处理装置10a使用的分数映射图M(θ，φ)。分数映射图M(θ，φ)是针对观看被摄体90的每个方向将在观看3D模型90M时的虚拟图像J的图像质量进行量化并且在3D模型生成设备20创建3D模型90M时同时生成的映射图。

图8是示出捕获被摄体的图像的真实摄像装置的布局的图。当创建被摄体90的3D模型90M时，多个真实摄像装置70被设置成围绕被摄体90。各个真实摄像装置70一般具有摄像装置的不同的光学参数(透镜焦距、像素的数目、传感器尺寸等)以及要捕获的视频的不同格式(HD(高清晰度)、全HD、4K、8K等)。

在图8的示例中，五个真实摄像装置70(70a、70b、70c、70d、70e)被设置在被摄体90周围。注意，真实摄像装置70在XY平面上的方向由角度θ表示。此外，真实摄像装置70在XZ平面上的方向由角度φ表示。即，真实摄像装置70的布置位置由坐标(θ，φ)指定。

真实摄像装置70a被设置在被摄体90的正面方向上的XY平面上以面向被摄体90的正面。真实摄像装置70b被设置成从被摄体90的稍上方面向被摄体90的正面。注意，在图8中，摄像装置的视角由等腰三角形的顶角来表示，其指示真实摄像装置70b具有广角透镜并且比其他真实摄像装置具有较广的视角。真实摄像装置70c被设置在从被摄体90的上方向下看被摄体90的正面的方向上。

此外，真实摄像装置70d被设置在被摄体90的背面侧以面向被摄体90的背面。真实摄像装置70e被设置在被摄体90位于视场之外的方向上。注意，假设真实摄像装置70a至真实摄像装置70d被设置在与被摄体90基本等距的位置处，并且真实摄像装置70e被设置得更远。

摄像装置路径生成设备10生成分数映射图M(θ，φ)，其将由每个真实摄像装置70捕获的被摄体90的图像的图像质量可视化。在下文中，将依次描述将图像的图像质量量化的方法以及生成分数映射图M(θ，φ)的过程。

首先，信息处理装置10a预测由真实摄像装置70a至70e中的每一个捕获的图像的图像质量分数Iq。假设通过例如表达式(2)来计算图像质量分数Iq。

Iq＝e*(p/s)*可见度*权重(2)

在表达式(2)中，e表示真实摄像装置70的分辨率(像素数目)。例如，在具有全HD图像质量的真实摄像装置70的情况下，e＝1920(水平)×1080(垂直)像素。此外，在具有4K图像质量的真实摄像装置70的情况下，e＝3840(水平)×2160(垂直)像素。此外，表达式(2)中的p是通过上述表达式(1)计算的被摄体90的图像尺寸。此外，s是真实摄像装置70中包括的图像传感器的尺寸。例如，在全尺寸图像传感器的情况下，s＝36.0(水平)×24.0(垂直)mm，并且在APS-C尺寸图像传感器的情况下，s＝23.6(水平)×15.8(垂直)mm。即，表达式(2)中的(p/s)指示被摄体90在由真实摄像装置70捕获的图像中的比率。那么，表达式(2)中的e*(p/s)表示要捕获的被摄体90的图像的像素数目。即，e*(p/s)的值越大，图像质量分数Iq越高。以这种方式，信息处理装置10a基于在生成3D模型90M(3D对象)时使用的真实摄像装置70(成像单元)的光学参数以及真实摄像装置70与3D模型90M图像之间的距离D来预测虚拟图像J的图像质量。

表达式(2)中的可见度(visibility)是指示被摄体90(3D模型90M)是否在图像中示出(即，真实摄像装置70是否捕获被摄体90)的信息。例如，在被摄体90被捕获的情况下，可见度＝1，并且在未捕获到被摄体90的情况下，可见度＝0。权重(weight)是任意设置的权重。例如，在真实摄像装置70位于被摄体90的正面的情况下，即在从正面捕获被摄体90的情况下，设置权重＝1.0，并且在其他情况下，设置权重＝0.5。注意，用于计算图像质量分数Iq的公式不限于表达式(2)，并且还可以考虑其他参数。例如，当被摄体90模糊时，图像质量分数Iq可以根据模糊程度被减小。

当真实摄像装置70从正面主要捕获被摄体90(3D模型90M)时，即，当被摄体90被成像成从正面完全示出在画面上时，通过表达式(2)计算的图像质量分数Iq具有较大的值。

3D模型生成设备20将通过表达式(2)计算的图像质量分数Iq设置在与真实摄像装置70的布置位置对应的空间(θ，φ)中，从而针对观看3D模型90M(3D对象)的每个方向生成分数映射图M(θ，φ)。稍后将描述细节(参见图11)。

接下来，将参照图9描述图像质量分数Iq的特定计算示例。图9是示出计算图像质量分数的示例的图。具体地，图9示出了在被摄体90的高度设置为h＝1.5m的情况下通过以上表达式(1)和(2)计算图像质量分数Iq的示例。注意，像素数目e和图像传感器的尺寸s是与被摄体90的高度方向对应的垂直方向上的值。

注意，在由真实摄像装置70捕获的图像中未示出被摄体90的面部的情况下，图像质量分数Iq被设置为0。此外，以在对焦时为100分在所捕获的图像上评估焦点。然后，例如，在评估分为50分的情况下，图像质量分数Iq乘以0.5。

如图9所示，虽然真实摄像装置70a、70b和70c具有不同的分辨率和不同的成像条件，但是通过使用表达式(1)和(2)，可以在平等的基础上进行比较捕获的图像的图像质量。

[1-6.生成分数映射图的方法的描述]

接下来，将参照图10和图11描述生成将图像质量分数Iq可视化的分数映射图M(θ，φ)的过程。图10是示出真实摄像装置的布局的示例的图。图11是示出生成分数映射图的示例的图。

作为示例，如图10所示，假设三个真实摄像装置70a、70b和70c设置在3D模型90M(被摄体90)周围。具体地，在俯视图中，真实摄像装置70a相对于角度θ的参考方向被设置在θ＝θ1的方向上。真实摄像装置70b被设置在θ＝θ2的方向上。真实摄像装置70c被设置在θ＝θ3的方向上。注意，3D模型90M面向真实摄像装置70a和70b的方向。即，真实摄像装置70a和70b从正面方向对3D模型90M成像。另一方面，真实摄像装置70c被设置成面向3D模型90M的背侧。注意，真实摄像装置70a包括焦距f比真实摄像装置70b和70c长的透镜。

此外，如图10所示，假设真实摄像装置70a、70b和70c设置在从斜上方俯视3D模型90M(被摄体90)的位置处。具体地，在侧视图中，真实摄像装置70a相对于角度φ的参考方向被设置在φ＝φ1的方向上。真实摄像装置70b被设置在φ＝φ2的方向上。然后，真实摄像装置70c被设置在φ＝φ3的方向上。

在由真实摄像装置70在角度θ的位置和与3D模型90M的距离D处捕获的图像的图像质量良好的情况下，在维持角度θ的状态下使虚拟摄像装置72a接近于3D模型90M的情况下，3D模型90M处于以进一步放大的方式成像的状态，并且因此，即使当真实摄像装置接近于3D模型90M可以在全屏上成像的位置时，也维持由真实摄像装置70a捕获的图像的图像质量。然后，当使虚拟摄像装置72a靠近于3D模型90M超过最近点74a(参见图10)时，3D模型90M被框出，因此无法对3D模型90M进行成像，即由真实摄像装置70a捕获的图像的图像质量未被维持。另一方面，在维持角度θ的同时将虚拟摄像装置72a从真实摄像装置70a的位置移开的情况下，假设虚拟摄像装置72a的焦距f和真实摄像装置70a的焦距f是相同的，3D模型90M被简单地捕获得小，并且因此由真实摄像装置70a捕获的图像的图像质量得以维持。

类似地，由真实摄像装置70b和70c捕获的3D模型90M的图像的图像质量维持远离图10所示的最近点74b和74c。注意，可以基于真实摄像装置70a、70b和70c的成像条件(具体地，3D模型90M的成像倍率)来计算最近点74a、74b和74c的特定位置。

分数映射图生成单元83(参见图7)根据图11所示的流程图来创建分数映射图M(θ，φ)，该分数映射图M(θ，φ)将由以这样的位置关系设置的真实摄像装置70a、70b和70c捕获的图像的图像质量分数Iq可视化。

首先，分数映射图生成单元83针对真实摄像装置70a、70b和70c中的每一个计算图像质量分数Iq(步骤S21)。注意，图像质量分数Iq的计算过程如上所述。

接下来，分数映射图生成单元83在(θ，φ)平面上绘制计算的图像质量分数Iq(步骤S22)。图11的上半部分中示出了实际绘制图像质量分数Iq的示例。在(θ，φ)平面上，在与真实摄像装置70a、70b和70c的布置位置对应的坐标(θ1、φ1)、(θ2、φ2)和(θ3，φ3)的各个位置处绘制图像质量分数Iq的值。

接下来，分数映射图生成单元83通过将绘制在(θ，φ)平面上的图像质量分数Iq的值扩散到(θ，φ)平面周围来生成针对每个真实摄像装置70的分数映射图(步骤S23)。

在虚拟摄像装置72设置在真实摄像装置70附近的情况下，当虚拟摄像装置72与真实摄像装置70之间的角度差小并且虚拟摄像装置72捕获图像中的3D模型90M时，图像质量分数Iq的值可以被认为是基本相等的。因此，即使在每个真实摄像装置70的分数映射图中存在真实摄像装置70与虚拟摄像装置72之间的微小角度差异时，也将绘制的图像质量分数Iq扩散到周围以允许差异。

具体地，可以在(θ，φ)平面上通过执行平滑操作将图像质量分数Iq扩散到周围。对于平滑操作，例如，可以使用已知的高斯滤波器。通过将图像质量分数Iq扩散到周围，获得以每个真实摄像装置70的布置位置为中心的山形分数分布，如图11的中间部分所示。注意，图11示出了离散值被分布成易于观看，但实际上形成了存储有连续值的单峰分布。即，图像质量分数Iq具有如下分布，在该分布中值在真实摄像装置70的安装位置处最高并且随着距真实摄像装置70的安装位置的距离增加而单调减小。

注意，在执行平滑操作时要操作的滤波器的尺寸可以根据图像质量分数Iq的值而改变。即，在图像质量评分Iq高的情况下，认为即使真实摄像装置70与虚拟摄像装置72的角度差稍大，也能够维持高图像质量。因此，期望应用具有大滤波器尺寸的平滑滤波器。在这种情况下，经平滑的图像质量分数Iq形成平缓的单峰分布。

相反，在图像质量分数Iq低的情况下，当真实摄像装置70与虚拟摄像装置72之间的角度差增大时，预期图像质量会迅速降低。因此，期望应用具有小滤波器尺寸的平滑滤波器。在这种情况下，经平滑的图像质量分数Iq形成陡峭的单峰分布。

然后，分数映射图生成单元83将各个真实摄像装置70a、70b和70c的分数映射图集成为一个分数映射图M(θ，φ)(步骤S24)。在集成真实摄像装置70a、70b和70c的分数映射图时，在多个真实摄像装置70在同一坐标(θ，φ)处具有图像质量分数Iq的情况下，将其最大值存储在分数映射图M(θ，φ)中。

注意，分数映射图M(θ，φ)不限于绘制在上述(θ，φ)平面上的分数映射图。即，可以绘制根据真实摄像装置70与3D模型90M之间的距离的图像质量分数Iq。此外，可以根据真实摄像装置70的焦距f绘制图像质量分数Iq。此外，可以绘制与真实摄像装置70的分辨率对应的图像质量分数Iq。此外，可以绘制与由真实摄像装置70捕获的3D模型90M的尺寸对应的图像质量分数Iq。

此外，分数映射图生成单元83还可以生成存储最近点74a、74b和74c与3D模型90M之间的距离的映射图。

[1-7.生成摄像装置路径的方法的描述]

接下来，将参照图12描述生成摄像装置路径Cp的方法。图12是示出生成摄像装置路径的方法的图。

在多个3D模型90M被设置在同一空间中的情况下，摄像装置路径生成单元92生成作为虚拟视点V的移动轨迹的摄像装置路径Cp并且可以例如在对多个3D模型90M成像时尽可能维持预定值的图像质量或更大的图像质量。

图12是示出两个3D模型90Ma(被摄体90a)和90Mb(被摄体90b)被设置在同一空间中的状态的俯视图。

注意，如图12所示，假设已经生成了3D模型90Ma和90Mb的分数映射图Ma(θ，φ)和Mb(θ，φ)。

首先，摄像装置路径生成单元92参考作为图像质量预测结果的分数映射图Ma(θ，φ)和Mb(θ，φ)，并且在三维空间中重构虚拟摄像装置72被估计成能够以高图像质量捕获3D模型90Ma和90Mb的区域。

例如，关注被预测能够在3D模型90Ma的评分映射图Ma(θ，φ)中获得高图像质量的聚类C1。在聚类C1中，具有特别高图像质量的区域分布在以角度θ＝θ1为中心的角度范围θa内。此外，被估计成具有高图像质量的区域分布在以角度θ＝θ1为中心的角度范围θb中。

即，具有特别高图像质量的区域被重构为从3D模型90Ma的位置在角度θ1的方向上延伸并且在角度范围θa上扩展的圆锥形区域。类似地，被估计成具有高图像质量的区域被重构为从3D模型90Ma的位置在角度θ1的方向上延伸并且在角度范围θb上扩展的圆锥形区域。

类似地，对于分数映射图Ma(θ，φ)和分数映射图Mb(θ，φ)中的其他聚类，可以将被估计成具有高图像质量的区域重构到三维空间。注意，在实践中，在考虑φ方向的三维空间中重构圆锥形区域，但为了简单起见，仅在θ方向上进行描述。

参考图12所示的重构结果，摄像装置路径生成单元92在摄像装置路径Cp在长时间内通过具有尽可能高的图像质量的区域的条件下生成摄像装置路径Cp。注意，摄像装置路径生成单元92将不使摄像装置路径更靠近比上述最近点更近的位置考虑为约束条件。

注意，由于可以无限地生成摄像装置路径Cp，因此期望首先指示摄像装置路径Cp的起点或者摄像装置路径Cp的起点和终点。

图12示出了当指定摄像装置路径Cp的起点110和终点112时生成摄像装置路径Cp的示例。摄像装置路径Cp理想地通过多个3D模型90Ma(被摄体90a)和多个3D模型90Mb(被摄体90b)两者被估计成能够以高图像质量成像的区域。因此，如图12所示，起点110和终点112被设置为其中多个3D模型90Ma和多个3D模型90Mb两者被估计成能够以高图像质量成像的区域。注意，可以由信息处理装置10a的操作者在观看液晶显示器54上显示的高图像质量区域的重构结果的同时使用触摸面板50来设置起点110和终点112。

然后，摄像装置路径生成单元92在跟踪图像质量分数Iq尽可能高的位置的同时搜索从设置的起点110到终点112的摄像装置路径Cp。注意，摄像装置路径生成单元92还在摄像装置路径Cp通过的每个点处设置虚拟摄像装置72的取向。虚拟摄像装置72的取向被设置成使得所有3D模型90Ma和90Mb可以一起被成像。当不能对所有3D模型90Ma和90Mb成像时，可以如在图12中的虚拟摄像装置72c中那样仅捕获被摄体90a的一部分。

以这种方式，摄像装置路径生成单元92按照虚拟摄像装置72b和虚拟摄像装置72c的顺序生成从安装在起点110处的虚拟摄像装置72a到安装在终点112处的虚拟摄像装置72d的摄像装置路径Cp。

例如，当搜索摄像装置路径Cp时，可以应用已知的动态编程方法。即，其中从起点110到终点112的摄像装置路径Cp的权重之和被最小化的摄像装置路径Cp可以通过对在微小区域中搜索的摄像装置路径Cp的多个候选中的每一个进行加权来生成。

摄像装置路径生成单元92还可以设置虚拟摄像装置72的移动速度。具体地，虚拟摄像装置72可以在被放置在具有高图像质量的区域中时缓慢移动，并且可以在被放置在具有低图像质量的区域中时迅速移动。

此外，在摄像装置路径Cp不得不通过具有低图像质量分数Iq的区域的情况下，摄像装置路径生成单元92可以将虚拟摄像装置72设置为不面向3D模型90M的方向。

此外，当生成摄像装置路径Cp时，可以对分数映射图M(θ，φ)进行调整，使得容易地生成摄像装置路径Cp。例如，可以将权重添加至分数映射图M(θ，φ)以将感兴趣被摄体90的3D模型90M的图像质量分数Iq校正为高方向。这使得可以生成优先通过可以以较高图像质量将3D模型90M成像的区域的摄像装置路径Cp。

此外，考虑到真实摄像装置70的分辨率，可以将在由具有高分辨率的真实摄像装置70捕获时的图像质量分数Iq校正为高方向。因此，当由具有长焦距f的透镜捕获的图像与以高分辨率捕获的图像具有相同的图像质量分数Iq时，可以在搜索摄像装置路径Cp时优先地搜索由真实摄像装置70以较高的分辨率捕获的高图像质量区域。

此外，根据多个3D模型90M的布置状态，当从虚拟摄像装置72观看时，多个3D模型90M可能交叠。由于摄像装置路径Cp通过这样的位置不是优选的，因此可以在移除发生遮蔽的虚拟摄像装置72的安装位置的状态下搜索摄像装置路径Cp。注意，发生遮蔽的虚拟摄像装置72的安装位置可以通过根据每个3D模型90M的安装位置的计算而被获得。

此外，说明了虚拟摄像装置72可以在虚拟摄像装置72在相同角度θ方向上远离3D模型90M移动时维持高图像质量，但是可以为3D模型90M与虚拟摄像装置72之间的距离设置上限值，以提高搜索摄像装置路径Cp的效率。

摄像装置路径显示单元93(参见图7)使显示控制单元99在液晶显示器54上显示由摄像装置路径生成单元92生成的摄像装置路径Cp。注意，摄像装置路径Cp的显示形式不受限制。例如，可以将生成的摄像装置路径Cp绘制在设置有多个3D模型90M的三维空间中，或者可以以三视图的形式绘制摄像装置路径Cp。

此外，摄像装置路径生成单元92可以生成多个摄像装置路径Cp。通过摄像装置路径显示单元93和显示控制单元99的动作在液晶显示器54上显示多个生成的摄像装置路径Cp。然后，信息处理装置10a的操作者通过摄像装置路径选择单元94的动作选择一个摄像装置路径Cp(参见图7)。具体地，当通过改变颜色等的显示形式而在触摸面板50上通过摄像装置路径选择单元94的动作从在液晶显示器54上显示的多个摄像装置路径Cp中选择一个摄像装置路径Cp时，通过检测到选择操作的操作控制单元98的动作来选择一个摄像装置路径Cp。

[1-8.摄像装置路径生成辅助方法的描述]

接下来，将参照图13描述辅助摄像装置路径Cp的生成的方法。图13是示出生成摄像装置路径时的用户接口的示例的第一图。

如上所述，由于可以无限地生成摄像装置路径Cp，因此期望施加一些约束条件以高效地生成摄像装置路径Cp。在下文中，将参照图13和图14描述用于高效地生成摄像装置路径Cp的用户接口。图13是示出用于预测摄像装置路径的用户接口的示例的第一图。图14是示出用于预测摄像装置路径的用户接口的示例的第二图。

图13示出了在液晶显示器54上显示多个被摄体90a和90b的布置状态、真实摄像装置70的布置状态以及每个真实摄像装置70的成像范围120的示例。

如图13所示，成像范围120是包括真实摄像装置的安装位置121、可以获得高图像质量的范围122(例如，其对应于图12所示的角度范围θa)以及真实摄像装置70的焦距123的信息。

信息处理装置10a的操作者可以通过显示有图13所示的信息的液晶显示器54上依次跟踪真实摄像装置70的位置来指定摄像装置路径Cp。图13示出了通过从安装位置121a起依次跟踪安装位置121b、安装位置121c、安装位置121d和安装位置121e来设置摄像装置路径Cp的示例。通过使用这样的方法，由于真实摄像装置70的布置被清晰地可视化，因此容易直观地生成摄像装置路径Cp。

注意，由于可以前后移动真实摄像装置70的位置，在图13中，可以在靠近或远离被摄体90a和90b的方向上跟踪真实摄像装置70。

图14示出了在液晶显示器54上显示多个被摄体90a和90b的布置状态、真实摄像装置70的布置状态以及每个真实摄像装置70的成像范围120的示例。与图13不同之处在于，将指示由各个真实摄像装置捕获哪个对象的信息添加至真实摄像装置70的成像范围。

具体地，在图14中，被摄体90a的3D模型由五个真实摄像装置70生成，这五个真实摄像装置70对各个成像范围120a1、120a2、120a3、120a4和120a5进行成像。此外，由对各个成像范围120b1、120b2、120b3、120b4、120b5和120b6进行成像的六个真实摄像装置70生成被摄体90b的3D模型。

信息处理装置10a的操作者可以通过显示有图14所示的信息的液晶显示器54上依次跟踪真实摄像装置70的位置来指定摄像装置路径Cp。此时，可以指定被摄体90a和被摄体90b之一，即聚焦在特定被摄体上的摄像装置路径Cp。

注意，可以将通过图13或图14所示的方法指定的摄像装置路径Cp传递给摄像装置路径生成单元92，并且摄像装置路径生成单元92可以执行重新计算使得指定的摄像装置路径Cp是利用其可以获得具有较高图像质量的虚拟图像J的摄像装置路径Cp。

然后，由摄像装置路径生成单元92生成的摄像装置路径Cp或由图13和图14所示的方法指定的摄像装置路径Cp被传递到渲染处理单元95。然后，渲染处理单元95在沿摄像装置路径Cp移动虚拟视点V的同时执行对多个被摄体90的渲染，并且生成虚拟图像J。然后，经受渲染处理的虚拟图像J通过显示控制单元99的动作显示在液晶显示器54上。

[1-9.由摄像装置路径生成设备执行的处理的流程的描述]

接下来，将参照图15描述由摄像装置路径生成设备30执行的处理的流程。图15是示出由摄像装置路径生成设备执行的处理的流程的示例的流程图。

3D模型布置指定单元91指定多个被摄体90的布置位置(步骤S31)。

摄像装置路径生成单元92从3D模型生成设备20获取每个被摄体90的分数映射图M(θ，φ)(步骤S32)。

摄像装置路径生成单元92生成摄像装置路径Cp，该摄像装置路径Cp是虚拟视点V的移动轨迹并且可以尽可能地维持等于或高于预定值的图像质量(步骤S33)。生成摄像装置路径Cp的特定方法如上所述。注意，除了生成能够维持等于或高于预定值的(高)图像质量的摄像装置路径Cp之外，摄像装置路径生成单元92还可以生成摄像装置路径Cp以避免具有粗糙图像质量的虚拟视点，或者可以将由用户设置的摄像装置路径改变为利用其可以获得较高图像质量的摄像装置路径Cp。

摄像装置路径显示单元93使显示控制单元99在液晶显示器54上显示摄像装置路径Cp(步骤S34)。

渲染处理单元95在沿摄像装置路径Cp移动虚拟摄像装置72的虚拟视点的同时对被摄体90执行渲染处理(步骤S35)。

绘制处理单元95还使显示控制单元99在液晶显示器54上显示渲染处理的结果(步骤S36)。

如上所述，根据第一实施方式的信息处理装置10a，包括在信息处理装置10a中的分数映射图生成单元83(图像质量预测单元)针对3D模型90M(3D对象)预测从其观看3D模型90M的虚拟视点V的位置与在从虚拟视点V的位置观看3D模型90M时获得的虚拟图像J的图像质量之间的关系。

因此，可以估计在从任意方向将3D模型90M成像时获得的虚拟图像J的图像质量并且将其可视化。

此外，根据第一实施方式的信息处理装置10a，摄像装置路径生成单元92(移动轨迹生成单元)基于由分数映射图生成单元83(图像质量预测单元)针对每个3D模型90M预测的虚拟图像J的图像质量和多个3D模型90M(3D对象)的布置位置来生成作为虚拟视点V的移动轨迹的摄像装置路径Cp。

因此，当在不同条件下生成的多个3D模型90M设置在同一空间中时，可以同时对多个3D模型90M进行成像并且生成其中可以生成具有尽可能高的图像质量的虚拟图像J的摄像装置路径Cp。

此外，根据第一实施方式的信息处理装置10a，分数映射图生成单元83(图像质量预测单元)基于在生成3D模型90M(3D对象)时使用的真实摄像装置70(成像单元)的光学参数(像素数目e、图像传感器的尺寸s以及焦距f)以及真实摄像装置70与3D模型90M之间的距离D来预测虚拟图像J的图像质量。

因此，可以通过简单的操作来预测图像质量。

此外，根据第一实施方式的信息处理装置10a，光学参数是与3D模型90M(3D对象)与由真实摄像装置70(成像单元)捕获的图像的比例有关的参数。

因此，即使当生成3D模型90M时使用的真实摄像装置70的信号格式不同时，也可以以相同的尺度比较图像质量。

此外，根据第一实施方式的信息处理装置10a，观看3D模型90M(3D对象)的方向包括指示真实摄像装置70(成像单元)是否捕获3D模型90M的信息和指示是否从正面捕获3D模型90M的信息中的至少一个。

因此，可以考虑到3D模型90M的取向来预测图像质量。

此外，根据第一实施方式的信息处理装置10a，分数映射图生成单元83(图像质量预测单元)生成分数映射图M(θ，φ)(映射图)，该分数映射图M(θ，φ)是通过针对观看3D模型90M(3D对象)的每个方向将与通过对3D模型90M进行成像获得的图像的图像质量有关的参数量化而获得的。

这使得可以考虑到3D模型90M的成像方向来将图像质量可视化。

此外，根据第一实施方式的信息处理装置10a，分数映射图生成单元83(图像质量预测单元)通过在与虚拟图像J的成像位置对应的位置处绘制经量化的与虚拟图像J的图像质量有关的参数并且将与虚拟图像J的图像质量有关的所绘制的参数从所绘制的位置扩散至周围来生成分数映射图M(θ，φ)(映射图)。

因此，当预测虚拟图像J的图像质量时，可以允许真实摄像装置70的位置与虚拟摄像装置72的位置之间的偏差。

此外，根据第一实施方式的信息处理装置10a，分数映射图生成单元83(图像质量预测单元)对绘制在分数映射图M(θ，φ)(映射图)上的虚拟图像J的图像质量执行平滑操作以将图像质量扩散到周围。

因此，可以通过简单的操作来确定真实摄像装置70的位置与虚拟摄像装置72的位置之间的偏差的大小。

此外，在第一实施方式的信息处理装置10a中，3D模型90M(3D对象)具有与视点位置相关的纹理信息。

因此，由于纹理根据视点位置而变化，因此可以对具有较高图像质量的虚拟图像J执行渲染。

此外，在第一实施方式的信息处理装置10a中，3D模型生成设备20独立地生成多个被摄体90的3D模型90M(3D对象)。

因此，可以设置能够在存在多个被摄体90的状态下以高图像质量对多个被摄体90进行成像的虚拟摄像装置72的摄像装置路径Cp。

(2.第二实施方式)

除了在生成摄像装置路径Cp的情况下使用上述分数映射图M(θ，φ)之外，还存在一种使用分数映射图M(θ，φ)的有效方法。在下文中，将描述分数映射图M(θ，φ)的其他用途。

根据本公开内容的第二实施方式的信息处理装置10b是基于由第一实施方式中描述的3D模型生成设备20生成的被摄体90的3D模型90M的分数映射图M(θ，φ)来评估3D模型90M的生成条件的信息处理装置10b的示例。

图16是示出根据本实施方式的信息处理装置的基本配置的示例的框图。信息处理装置10b包括3D模型生成设备20和移动终端32b。

3D模型生成设备20具有与第一实施方式中描述的功能相同的功能。注意，此处描述的3D模型生成设备20包括多个3D模型生成设备20a、20b...。这假设不同的3D模型生成设备20a、20b...被放置在多个不同的地方处的情况。3D模型生成设备20a、20b...中的每一个生成被摄体90的3D模型90M和分数映射图M(θ，φ)。然后，多个3D模型90M和在不同地方生成的分数映射图M(θ，φ)经由通信线路连接并被发送至移动终端32b。

移动终端32b获取由3D模型生成设备20a、20b...生成的分数映射图M(θ，φ)。然后，移动终端32b分析分数映射图M(θ，φ)以评估生成3D模型90M时的真实摄像装置70的安装位置。然后，移动终端32b输出评估结果。注意，移动终端32b是例如智能电话、移动PC等。

注意，3D模型生成设备20的硬件配置如第一实施方式中所描述的。此外，移动终端32b具有通用的计算机配置。

图17是示出根据第二实施方式的移动终端的功能配置的示例的功能框图。移动终端32b包括分数映射图获取单元33、分数映射图分析单元34和真实摄像装置位置提议单元35。

分数映射图获取单元33从3D模型生成设备20a、20b...中的每一个获取分数映射图M(θ，φ)。

分数映射图分析单元34基于从每个3D模型生成设备20a、20b...获取的分数映射图M(θ，φ)，来评估在生成3D模型90M(3D对象)时使用的真实摄像装置70(成像单元)的布置条件。注意，分数映射图分析单元34是本公开内容中的布置评估单元的示例。

真实摄像装置位置提议单元35将由分数映射图分析单元34进行的分析结果发送至对应的3D模型生成设备20a、20b...。

图18是用于说明根据第二实施方式的移动终端的操作的图。移动终端32b从3D模型生成设备20(准确地说，3D模型生成设备20a、20b...中的任何一个)获取图18中所示的分数映射图M(θ，φ)。如图18所示，分数映射图M(θ，φ)表示在为被摄体90布置两个真实摄像装置70a和70b的状态下生成的3D模型90M的图像质量。

分数映射图分析单元34参考分数映射图M(θ，φ)来分析是否存在信息缺失的区域(即，由真实摄像装置70未覆盖的区域)、在角度θ方向和角度φ方向上是否存在具有低图像质量的区域等。在图18的示例中，分数映射图分析单元34确定在角度θ方向存在信息缺失的区域w1。即，如图18所示，通过在信息缺失的区域w1中安装新的真实摄像装置70c并更新3D模型90M，可以生成覆盖较广范围的3D模型90M。

然后，真实摄像装置位置提议单元35将分析结果发送至已发送分数映射图M(θ，φ)的3D模型生成设备20a、20b...中的任一个。接收到分析结果的3D模型生成设备的操作者根据接收结果来更新3D模型90M。

如上所述，根据第二实施方式的信息处理装置10b，分数映射图分析单元34(布置评估单元)基于分数映射图M(θ，φ)(映射图)来评估在生成3D模型90M(3D对象)时使用的真实摄像装置70(成像单元)的布置条件。

因此，可以在通过用分数映射图M(θ，φ)将安装位置可视化来生成3D模型90M时，容易且可靠地评估真实摄像装置70的安装位置。

(3.第三实施方式)

根据本公开内容的第三实施方式的信息处理装置10c(未示出)包括移动终端32c(未示出)，代替第二实施方式中描述的信息处理装置10b中的移动终端32b。注意，信息处理装置10c的硬件配置与信息处理装置10b的硬件配置相同。

包括在信息处理装置10c中的移动终端32c接收由第一实施方式中描述的3D模型生成设备20生成的被摄体90的3D模型90M。然后，移动终端32c从由操作者指定的方向对3D模型90M执行渲染处理，并呈现重构的3D模型90M。此时，移动终端32c参考分数映射图M(θ，φ)，并且控制显示状态，以避免从图像质量低的方向或信息缺失的方向浏览。

图19是示出根据第三实施方式的移动终端的功能配置的示例的功能框图。移动终端32c包括分数映射图获取单元33、虚拟摄像装置安装禁止区域计算单元60、观察方向检测单元61、虚拟图像生成单元62、虚拟图像显示单元63和禁止区域视频处理单元64。

分数映射图获取单元33从3D模型生成设备20a、20b...中的每一个获取分数映射图M(θ，φ)。

虚拟摄像装置安装禁止区域计算单元60根据分数映射图M(θ，φ)来计算未安装虚拟视点V的位置(坐标(θ，φ)指示的方向)。注意，未安装虚拟视点V的位置例如是信息缺失的区域(即，由真实摄像装置70未覆盖的区域)或具有低图像质量的区域。注意，虚拟摄像装置安装禁止区域计算单元60是本公开内容中的浏览禁止区域计算单元的示例。

观察方向检测单元61检测由移动终端32c的操作者指示的渲染结果，即虚拟图像J的观察方向。具体地，虽然根据包括在移动终端32c中的操作系统而不同，例如，在通过改变移动终端32c的取向来改变观察方向的情况下，观察方向检测单元61通过监测例如包括在移动终端32c中的陀螺传感器的输出来检测观察方向。此外，在通过滑动移动终端32c的画面来改变观察方向的情况下，观察方向检测单元61通过监测执行的滑动操作来检测观察方向。

虚拟图像生成单元62生成从移动终端32c的操作者指示的观察方向观看的虚拟图像J。注意，移动终端32c对生成的虚拟图像J执行渲染处理。

虚拟图像显示单元63在移动终端32c的显示单元上显示由虚拟图像生成单元62生成的虚拟图像J。

当由观察方向检测单元61检测到的观察方向与由虚拟摄像装置安装禁止区域计算单元60计算的虚拟视点V(即未安装虚拟摄像装置72的位置(由坐标(θ，φ)指示的方向))相匹配时，不生成3D模型90M(3D对象)的虚拟图像J。具体地，虚拟图像J不是通过使移动终端32c的显示淡出、使移动终端32c的显示模糊、对移动终端32c的显示施加效果等而生成的。通过呈现这样的视频，操作者被引导到可以设置生成良好的虚拟图像J的虚拟视点V的观察方向。注意，禁止区域视频处理单元64是根据本公开内容的视频处理单元的示例。

图20是用于说明根据第三实施方式的移动终端的操作的图。假设当由真实摄像装置70a和70b创建被摄体90的3D模型90M时获得图20所示的分数映射图M(θ，φ)。此时，虚拟摄像装置安装禁止区域计算单元60分析分数映射图M(θ，φ)，以计算虚拟摄像装置安装禁止区域，作为未安装虚拟摄像装置72的位置(由坐标(θ，φ指示的方向)。即，虚拟摄像装置72的安装位置被限制在分数映射图M(θ，φ)中所指示的区域w2的范围(即，从角度θmin到角度θmax的范围)。

当在真实空间中重构这些信息片段时，图20中所示的区域w2限于虚拟摄像装置72的安装位置，即，虚拟视点V。

如上所述，根据第三实施方式的信息处理装置10c，虚拟摄像装置安装禁止区域计算单元60(浏览禁止区域计算单元)在根据3D模型90M(3D对象)生成虚拟图像J时，基于分数映射图M(θ，φ)(映射图)来计算未安装虚拟视点V的位置。然后，当3D模型90M的虚拟视点V与由虚拟摄像装置安装禁止区域计算单元60计算的虚拟视点V的位置相匹配时，禁止区域视频处理单元64(视频处理单元)不根据虚拟视点V的位置生成3D模型90M的虚拟图像J。

因此，可以避免将虚拟视点V设置在无法生成虚拟图像J或者所生成的虚拟图像J的图像质量低的位置处。

(4.第四实施方式)

根据本公开内容的第四实施方式的信息处理装置10d(未示出)包括移动终端32d(未示出)来代替第二实施方式中描述的信息处理装置10b中的移动终端32b。注意，信息处理装置10d的硬件配置与信息处理装置10b的硬件配置相同。

包括在信息处理装置10d中的移动终端32d接收由第一实施方式中描述的3D模型生成设备20生成的被摄体90的3D模型90M。然后，移动终端32d在从虚拟视点V观看3D模型90M时生成虚拟图像J。当以这种方式生成的虚拟图像J中还设置CG对象时，移动终端32d参考分数映射图M(θ，φ)并将CG对象集中设置在基于低图像质量的区域中。

图21是示出根据第四实施方式的移动终端的功能配置的示例的功能框图。移动终端32d包括分数映射图获取单元33、CG对象获取单元65、CG对象布置区域计算单元66和渲染处理单元95。

分数映射图获取单元33从3D模型生成设备20a、20b...中的每一个获取分数映射图M(θ，φ)。

CG对象获取单元65从服务器设备(未示出)等获取要设置在虚拟图像J中的CG对象。

CG对象布置区域计算单元66参考分数映射图M(θ，φ)来计算适合设置CG对象的区域。适合设置CG对象的区域例如是信息缺失的区域(即，由真实摄像装置70未覆盖的区域)或具有低图像质量的区域。注意，CG对象布置区域计算单元66是本公开内容中的布置位置计算单元的示例。

渲染处理单元95执行从虚拟视点V观看的3D模型90M的渲染并生成虚拟图像J。此外，渲染处理单元95将CG对象设置在虚拟图像J中。

如上所述，根据第四实施方式的信息处理装置10d、CG对象布置区域计算单元66(布置位置计算单元)基于分数映射图M(θ，φ)(映射图)来计算在生成的虚拟图像J上设置另一图像时的布置位置。

因此，在另一图像设置在虚拟图像J上的情况下，可以通过将另一图像集中设置在具有虚拟图像J的低图像质量的区域中，不干扰以良好图像质量显示的3D模型90M。

(5.第五实施方式)

根据本公开内容的第四实施方式的信息处理装置10e(未示出)是向第二实施方式中描述的信息处理装置10b中的3D模型生成设备20添加另一功能的设备。

在3D模型90M具有与视点位置相关的纹理的情况下，需要将由真实摄像装置70捕获的多个图像发送至执行渲染的设备。此时，尽可能减少要发送的数据的量是待解决的问题。

当将由真实摄像装置70捕获的被摄体90的多个图像发送至移动终端32b时，信息处理装置10e中包括的3D模型生成设备20生成多个图像存储在一个图像中的打包图像以发送打包图像，从而提高传输效率。具体地，根据本公开内容的3D模型生成设备20基于由3D模型生成设备20生成的分数映射图M(θ，φ)，以较大尺寸将具有高图像质量的图像打包。

图22是示出根据第五实施方式的3D模型生成设备的功能配置的示例的功能框图。3D模型生成设备20包括分数映射图生成单元67、打包图像生成单元68和打包图像发送单元69。

分数映射图生成单元67生成所生成的3D模型90M的分数映射图M(θ，φ)。

当生成由真实摄像装置70捕获的被摄体90的多个图像存储在一个图像中的打包图像时，打包图像生成单元68基于分数映射图M(θ，φ)，随着图像质量越高而执行具有越高分辨率的打包。注意，打包图像生成单元68是本公开内容中的图像生成单元的示例。

打包图像发送单元69将由打包图像生成单元68生成的打包图像发送至移动终端32b。

图23是用于说明根据第五实施方式的3D模型生成设备的操作的图。假设对由多个真实摄像装置70捕获的图像的图像质量进行预测，以获得如图23的上部分所示的分数映射图M(θ，φ)。

在M(θ，φ)中，发现获得预测具有高图像质量的聚类C1、C2和C3。在这种情况下，当生成打包图像时，打包图像生成单元68以高分辨率将在聚类C1、C2和C3的区域中捕获的图像打包。

具体地，如图23所示的打包图像130中，以高分辨率将在聚类C1的区域中捕获的图像130a、在聚类C2的区域中捕获的图像130b和在聚类C3的区域中捕获的图像130c打包。注意，为了在分辨率高的状态下执行打包，在本实施方式中增加了图像的尺寸。然后，以低分辨率即缩小的尺寸将除了这三个图像之外的图像(130d至130i)打包。

在接收到这样的打包图像130之后，移动终端32b生成具有高图像质量的虚拟图像J并且在具有高图像质量的聚类C1、C2和C3的区域中执行渲染处理。此外，在除聚类C1、C2和C3之外的区域中，移动终端32b生成具有与接收到的打包图像130中存储的图像对应的图像质量的虚拟图像J，并执行渲染处理。

如上所述，根据第五实施方式的3D模型生成设备20，当生成其中通过对3D模型90M(3D对象)进行成像而获得的多个图像存储在一个图像中的打包图像130时，打包图像生成单元68(图像生成单元)基于分数映射图M(θ，φ)(映射图)，随着图像质量越高，以越大的尺寸，即，以越高的分辨率执行打包。

因此，可以提高具有与视点位置相关的纹理的3D模型90M的传输效率。

此外，本说明书中描述的每个实施方式中的效果仅仅是示例，而不受限制，并且可以存在其他效果。此外，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。

例如，本公开内容也可以具有以下配置。

(1)

一种信息处理装置，包括：

图像质量预测单元，其针对3D对象，预测从其观看3D对象的虚拟视点的位置与从所述虚拟视点的位置观看所述3D对象时获得的虚拟图像的图像质量之间的关系。

(2)

根据(1)所述的信息处理装置，还包括：

移动轨迹生成单元，其基于多个3D对象的布置位置和由所述图像质量预测单元针对所述3D对象中的每一个预测的所述虚拟图像的图像质量，来生成所述虚拟视点的移动轨迹。

(3)

根据(1)或(2)所述的信息处理装置，其中，

所述图像质量预测单元基于在生成所述3D对象时使用的成像单元的光学参数以及所述成像单元与所述3D对象之间的距离来预测所述图像质量。

(4)

根据权利要求(3)所述的信息处理装置，其中，

所述光学参数是与所述3D对象与由所述成像单元捕获的图像的比例有关的参数。

(5)

根据(3)或(4)所述的信息处理装置，其中，

观看所述3D对象的方向包括指示成所述像单元是否捕获所述3D对象的信息以及指示所述成像单元是否从正面捕获所述3D对象的信息中的至少一个。

(6)

根据(1)至(5)中任一项所述的信息处理装置，其中，

所述图像质量预测单元针对所述3D对象，生成映射图，在所述映射图中，针对观看所述3D对象的每个方向，将与通过对所述3D对象进行成像获得的图像的图像质量有关的参数量化。

(7)

根据(1)至(6)中任一项所述的信息处理装置，其中，

所述图像质量预测单元在与所述图像的成像位置对应的位置处绘制经量化的与图像的图像质量有关的参数；以及

通过将所绘制的与图像的图像质量有关的参数从绘制位置扩散到周围来生成所述映射图。

(8)

根据权利要求(7)所述的信息处理装置，其中，

所述图像质量预测单元对绘制在所述映射图上的所述图像的图像质量执行平滑操作，以将所述图像质量扩散到周围。

(9)

根据(1)至(8)中任一项所述的信息处理装置，其中，

所述3D对象具有与视点位置相关的纹理信息。

(10)

根据(6)至(9)中任一项所述的信息处理装置，还包括：

布置评估单元，其基于所述映射图来评估在生成所述3D对象时使用的成像单元的布置条件。

(11)

根据(6)至(9)中任一项所述的信息处理装置，还包括：

浏览禁止区域计算单元，其基于所述映射图来计算在根据所述3D对象生成虚拟图像时不设置虚拟视点的位置；以及

视频处理单元，其在所述3D对象的虚拟视点与由所述浏览禁止区域计算单元计算的虚拟视点的位置相匹配时，不根据所述虚拟视点的位置来生成所述3D对象的虚拟图像。

(12)

根据(6)至(9)中任一项所述的信息处理装置，还包括：

布置位置计算单元，其基于所述映射图来计算在所生成的虚拟图像中设置其他图像时的布置位置。

(13)

根据(6)至(9)中任一项所述的信息处理装置，还包括：

图像生成单元，其在生成将通过对所述3D对象进行成像获得的多个图像存储在一个图像中的打包图像时，基于所述映射图对具有较高图像质量的图像以较高分辨率执行打包。

(14)

根据(2)至(13)中任一项所述的信息处理装置，其中，

所述多个3D对象是独立生成的。

(15)

一种视频生成方法，包括：

针对3D对象，预测观看所述3D对象的虚拟视点的位置与从所述虚拟视点的位置观看所述3D对象时获得的虚拟图像的图像质量之间的关系；以及

基于使用所述3D对象的布置位置与所述虚拟图像的图像质量之间的关系生成的所述虚拟视点的移动轨迹来生成视频图像。

(16)

一种使计算机用作以下的程序：

图像质量预测单元，其针对3D对象，预测观看3D对象的虚拟视点的位置与从所述虚拟视点的位置观看所述3D对象时获得的虚拟图像的图像质量之间的关系。

附图标记列表

10a 信息处理装置

20 3D 模型生成设备

30 摄像装置路径生成设备

32b 移动终端

34 分数映射图分析单元(布置评估单元)

60 虚拟摄像装置安装禁止区域计算单元(浏览禁止区域计算单元)

6 4禁止区域视频处理单元(视频处理单元)

66 CG 对象布置区域计算单元(布置位置计算单元)

70、70a、70b、70c、70d、70e 真实摄像装置(成像单元成像设备)

72、72a、72b、72c、72d 虚拟摄像装置

83 分数映射图生成单元(图像质量预测单元)

90、90a、90b 被摄体

90M、90Ma、90Mb 3D 模型(3D对象)

91 3D 模型布置指定单元

92 摄像装置路径生成单元(移动轨迹生成单元)

93 摄像装置路径显示单元

Cp 摄像装置路径

D 距离

e 像素数目

f 焦距

h 被摄体尺寸

Iq 图像质量分数

J、J1、J2 虚拟图像

M(θ，φ) 分数映射图(映射图)

p 图像尺寸

s 图像传感器的尺寸

V、V1、V2 虚拟视点

Claims (16)

1.一种信息处理装置，包括：

图像质量预测单元，其针对3D对象，预测观看3D对象的虚拟视点的位置与从所述虚拟视点的位置观看所述3D对象时获得的虚拟图像的图像质量之间的关系。

2.根据权利要求1所述的信息处理装置，还包括：

移动轨迹生成单元，其基于多个3D对象的布置位置和由所述图像质量预测单元针对所述3D对象中的每一个预测的所述虚拟图像的图像质量，来生成所述虚拟视点的移动轨迹。

3.根据权利要求1所述的信息处理装置，其中，所述图像质量预测单元基于在生成所述3D对象时使用的成像单元的光学参数以及所述成像单元与所述3D对象之间的距离来预测所述图像质量。

4.根据权利要求3所述的信息处理装置，其中，

所述光学参数是与所述3D对象与由所述成像单元捕获的图像的比例有关的参数。

5.根据权利要求3所述的信息处理装置，其中，

观看所述3D对象的方向包括指示所述成像单元是否捕获所述3D对象的信息以及指示所述成像单元是否从正面捕获所述3D对象的信息中的至少一个。

6.根据权利要求1所述的信息处理装置，其中，所述图像质量预测单元针对所述3D对象生成映射图，在所述映射图中，针对观看所述3D对象的每个方向，将与通过对所述3D对象进行成像获得的图像的图像质量有关的参数量化。

7.根据权利要求6所述的信息处理装置，其中，

所述图像质量预测单元在与所述图像的成像位置对应的位置处绘制经量化的与所述图像的图像质量有关的参数，以及通过将所绘制的与所述图像的图像质量有关的参数从绘制位置扩散到周围来生成所述映射图。

8.根据权利要求7所述的信息处理装置，其中，

所述图像质量预测单元对绘制在所述映射图上的所述图像的图像质量执行平滑操作，以将所述图像质量扩散到周围。

9.根据权利要求1所述的信息处理装置，其中，

所述3D对象具有与视点位置相关的纹理信息。

10.根据权利要求6所述的信息处理装置，还包括：

布置评估单元，其基于所述映射图来评估在生成所述3D对象时使用的成像单元的布置条件。

11.根据权利要求6所述的信息处理装置，还包括：

浏览禁止区域计算单元，其基于所述映射图来计算在根据所述3D对象生成虚拟图像时不设置虚拟视点的位置；以及

视频处理单元，其在所述3D对象的虚拟视点与由所述浏览禁止区域计算单元计算的虚拟视点的位置相匹配时，不根据所述虚拟视点的位置来生成所述3D对象的虚拟图像。

12.根据权利要求6所述的信息处理装置，还包括：

布置位置计算单元，其基于所述映射图来计算在所生成的虚拟图像中布置其他图像时的布置位置。

13.根据权利要求6所述的信息处理装置，还包括：

图像生成单元，其在生成将通过对所述3D对象进行成像获得的多个图像存储在一个图像中的打包图像时，基于所述映射图对具有较高图像质量的图像以较高分辨率执行打包。

14.根据权利要求2所述的信息处理装置，其中，

所述多个3D对象是独立生成的。

15.一种视频生成方法，包括：

针对3D对象，预测观看所述3D对象的虚拟视点的位置与从所述虚拟视点的位置观看所述3D对象时获得的虚拟图像的图像质量之间的关系；以及

基于使用所述3D对象的布置位置与所述虚拟图像的图像质量之间的关系生成的所述虚拟视点的移动轨迹来生成视频图像。

16.一种使计算机用作以下的程序：

图像质量预测单元，其针对3D对象，预测观看3D对象的虚拟视点的位置与从所述虚拟视点的位置观看所述3D对象时获得的虚拟图像的图像质量之间的关系。

Images