CN106464853A - 图像处理设备和方法 - Google Patents

Abstract

本公开涉及一种能够高速生成高清晰度视点插值图像的图像处理设备和方法。空间重构单元根据各个视点图像和各个差异(像素移位量)图来重构拍摄视点图像的空间，并且将所述空间的重构数据提供给插值位置设置单元。所述插值位置设置单元在改变光束(的倾度)的同时在所述重构的空间中设置插值位置，并且将指示设置好的插值位置的插值目标坐标提供给数据搜索单元。所述数据搜索单元通过对在从所述插值位置设置单元提供的插值目标坐标处的RGB值进行采样来生成在任何视点处的插值图像，并且将生成的插值图像输出至后续阶段。本公开适用于，例如，通过使用多视角图像来执行图像处理的图像处理设备。

Description

图像处理设备和方法

技术领域

本公开涉及一种图像处理设备和方法，更具体地，涉及一种能够高速生成高清晰度视点插值图像的图像处理设备和方法。

背景技术

迄今为止，已经提出并且开发了使用各种图像处理的视点插值技术。例如，非专利文件1公开了通过使用两个图像之间的对应关系(光学流)和这两个图像之间的图像位置来合成任何视点图像。

引用列表

专利文献

非专利文献1：Shenchang Eric Chen，“View Interpolation for ImageSynthesis”，兰斯·威廉姆斯苹果电脑公司，IJCV 2002

发明内容

本发明需要解决的问题

上面提及的处理是基于深度信息(两个视点之间的像素移位量)生成插值图像的技术。然而，当生成插值图像时，存在因前景而引起的相同像素的重叠和因缺乏信息而引起的填补。因此，当生成一个视点图像时，需要针对所有像素比较在相同像素处的像素移位量。

鉴于上述情况已经提出了本公开，并且本公开能够高速生成高清晰度视点插值图像。

问题的解决方案

根据本公开的一个方面的一种图像处理设备包括：重构处理单元，该重构处理单元执行根据在多视角图像中的对象的深度信息来重构拍摄多视角图像的空间的处理；以及，插值图像生成单元，该插值图像生成单元通过改变由重构处理单元重构的空间的倾度并且对重构的空间进行采样来生成插值图像。

重构处理单元可以执行根据作为深度信息的在多视角图像之间的对象的像素移位量来重构拍摄多视角图像的空间的处理。

重构处理单元可以执行通过在由参考视点的亮度和像素移位量形成的空间中反射另一个视点的亮度和差异来重构空间的处理。

当在相同的坐标中已经设置有值时，重构处理单元可以执行通过存储作为坐标的值的RGB值的平均值来重构空间的处理。

重构的空间在任何视点处具有指示发生遮挡的位置的值。

重构的空间可以具有作为存在于多个视点处的值的多个视点的平均值。

插值图像生成单元可以按照像素移位量的递减顺序在重构的空间中开始采样。

根据本公开的一个方面的一种图像处理方法包括：通过图像处理设备，执行根据在多视角图像中的对象的深度信息来重构拍摄多视角图像的空间的处理；以及，通过图像处理设备，通过改变重构的空间的倾度并且对重构的空间进行采样来生成插值图像。

在本公开的一个方面，根据在对视角图像中的对象的深度信息来执行重构拍摄多视角图像的空间的处理。然后，对倾度改变了的重构空间进行采样，并且生成插值图像。

发明效果

根据本公开的一个方面，可以处理多视角图像。具体地，可以高速生成高清晰度视点插值图像。

在本说明书中描述的有益效果仅是通过示例来说明的，本技术的有益效果并不限于本说明书中描述的有益效果，并且可以提供附加的有益效果。

附图说明

图1是示出应用本技术的摄像装置的配置示例的框图。

图2是图示了拍摄空间的重构的示意图。

图3是图示了拍摄空间的重构的示意图。

图4是图示了拍摄空间的重构的示意图。

图5是图示了拍摄空间的重构的示意图。

图6是图示了在二维平面上插值的情况的示意图。

图7是图示了重构的拍摄空间的示例的示意图。

图8是图示了重构的拍摄空间的采样的示例的示意图。

图9是图示了摄像装置的图像处理的流程图。

图10是图示了重构拍摄空间的处理的示意图。

图11是图示了光束插值处理的示意图。

图12是图示了像素移位量(差异)和深度的示意图。

图13是图示了多视角图像利用服务平台的示例的示意图。

图14是图示了使用多视角图像的应用的示例的示意图。

图15是图示了多视角图像利用服务提供系统的主要配置示例的示意图。

图16是图示了终端装置的主要配置示例的示意图。

图17是图示了摄像装置的轮廓的示意图。

图18是图示了服务器的主要配置示例的示意图。

图19是图示了终端装置和服务器中包括的功能的功能块。

图20是图示了由服务器管理的信息的示例的示意图。

图21是图示了多视角图像利用服务提供处理的流程的示例的流程图。

图22是图示了多视角图像和深度数据的示例的示意图。

图23是图示了多视角图像文件的主要配置示例的示意图。

图24是摄像机阵列的示例。

图25是图示了元数据的示例的示意图。

图26是图示了深度检测处理的流程的示例的流程图。

图27是图示了多视角图像利用服务提供系统的另一个配置示例的示意图。

图28是图示了应用提供服务器的主要配置示例的示意图。

图29是图示了终端装置、服务器和应用提供服务器中包括的功能的功能块。

图30是图示了多视角图像利用服务提供处理的流程的另一个示例的流程图。

图31是图示了信息显示器的示例的示意图。

图32是图示了多视角图像利用服务提供系统的又一个配置示例的示意图。

图33是图示了虚拟透镜处理的流程的状态的示例的示意图。

图34是图示了终端装置和服务器中包括的功能的功能块。

图35是图示了多视角图像利用服务提供处理的流程的又一个示例的流程图。

图36是图示了虚拟透镜选择的状态的示例的示意图。

图37是图示了虚拟透镜处理的流程的示例的流程图。

图38是图示了透镜剖面的示例的示意图。

具体实施方式

下面将对本公开的实施方式(在下文中称为实施例)进行说明。要注意的是，将按照如下顺序来进行说明。

1.第一实施例(多视角图像的摄像装置)

2.第二实施例(多视角图像利用服务平台)

3.第三实施例(多视角图像的管理)

4.第四实施例(应用销售)

5.第五实施例(虚拟透镜处理)

<1.第一实施例>

<摄像装置的配置>

图1是示出作为应用本技术的图像处理设备的摄像装置的配置示例的框图。该摄像装置是在能够光线追踪光束的路径的光场成像技术中通过使用由多个摄像机形成的摄像机阵列进行多视角成像的摄像装置。要注意的是，虽然图1示出了包括三个摄像机的摄像机阵列的示例，但是摄像机的数量并不限于三个。

图1所示的摄像装置11包括摄像机21-L、摄像机21-C、摄像机21-R、差异计算单元22和插值图像生成单元23。

在图1所示的示例中，摄像机21-C是位于中心处的摄像机，摄像机21-L是位于摄像机21-C的左侧的摄像机，而摄像机21-R是位于摄像机21-C的右侧的摄像机。当不需要区分摄像机21-L、摄像机21-C和摄像机21-R时，视情况将这些摄像机统称为摄像机21。

将摄像机21-L、摄像机21-C和摄像机21-R的视点图像输入至差异计算单元22。差异计算单元22使用输入的视点图像通过计算多视角图像之间的对象的视差(像素移位量)来生成各个差异图。差异计算单元22将多视角图像和作为多视角差异图的差异图提供给插值图像生成单元23。

要注意的是，当对摄像机21-L、摄像机21-C和摄像机21-R的视点图像彼此进行区分时，在下文中将视点图像分别称为视点图像L、视点图像C和视点图像R。进一步地，计算出的视点图像L、视点图像C和视点图像R的差异图分别称为Disparity Map_DL、DisparityMap_DC和Disparity Map_DR。要注意的是，Disparity Map_DL和Disparity Map_DR可以简单地从Disparity Map_DC生成。

插值图像生成单元23根据各个视点图像和各个差异图来重构拍摄视点图像的空间，并且在改变重构的空间的倾度的同时通过对重构的空间进行采样来生成在任何视点处的插值图像。

插值图像生成单元23包括空间重构单元31、插值位置设置单元32和数据搜索单元33。

空间重构单元31根据各个视点图像和各个差异图来重构拍摄视点图像的空间。空间重构单元31将该空间的重构数据提供给插值位置设置单元32。

插值位置设置单元32在改变光束(的倾度)的同时在由空间重构单元31重构的空间中设置插值位置，并且将指示设置好的插值位置的插值目标坐标提供给数据搜索单元33。

数据搜索单元33通过对在从插值位置设置单元32提供的插值目标坐标处的RGB值进行采样来生成在任何视点处的插值图像，并且将生成的插值图像输出至后续阶段。要注意的是，在后续阶段中，虽然未示出，但是在应用光场摄像技术的摄像装置11的情况下，使用插值图像和差异图来进行光线追踪，并且进一步进行聚集处理，从而在存储器中生成聚集的图像。

要注意的是，在图1所示的示例中的插值位置设置单元32和数据搜索单元33可以按照集成的方式来配置。

<拍摄空间的重构的示例>

接着，将参照图2至图5对拍摄空间的重构进行描述。

在图2所示的示例中，在左侧示出了在摄像机21-L的视点处拍摄的视点图像L和该视点图像的Disparity Map_DL。在中心处示出了在摄像机21-C的视点处拍摄的视点图像C和该视点图像的Disparity Map_DC。在右侧示出了在摄像机21-R的视点处拍摄的视点图像R和该视点图像的Disparity Map_DR。

视点图像L、视点图像C和视点图像R显示了在图像的前景中有作为对象的圆形物体，在该圆形物体的后面在右侧有矩形物体，而在后侧有背景。

该描述是在假设视差图像C为参照图像的情况下进行的。要注意的是，在各个图像中，例如，(R,G,B,D)可以从作为RGBD(D表示差异：像素移位量)数据的各个视点图像的(x,y)加载。

在本技术中，拍摄空间的重构是很重要的。因此，将视点图像L、视点图像C和视点图像R进行投影，并且根据差异图(像素移位量图)将Disparity Map_DL和Disparity Map_DR投影到在Disparity Map_DC的视点处的3D空间上。

图3是表示在具有Disparity Map_DC的一条水平线中的差异(像素移位量)的多层差异图。

在该多层差异图中，在视点图像的前景中的圆形物体的差异最大，矩形物体的差异居第二，而背景的差异较小。换言之，差异值在离图像最近的位置处最大，在朝着图像的方向上差异值变得越来越大，而在远离图像的方向上差异值变得越来越小。

在这种情况下，根据D(Disparity)将周边视点图像(在这种情况下为视点图像L和视点图像R)的RGBD数据移动至Disparity Map_DC的视点。

如图4的上部分所示，RGB的所有重叠点都是叠加的。在重叠点的情况下，基于视点位置对各个视点图像进行加权从而获得亮度。例如，将亮度的平均值设置为亮度值。要注意的是，不仅可以使用平均值，还可以使用中间值或者其它值。从而，可以减少在生成的插值图像中的噪音。

如图4的下部分所示的矩形物体中所示，沿着差异将称为遮挡并且从任何视点都可以看到但是不能从某个视点看到的表面发展成存储空间。

利用这些配置，如图5中所示的实心黑色部分所指示的，即使在不需要的部分中也可以通过利用信息产生各个差异值的多层差异图。进一步地，在图5中，以重叠的方式来更新(重构)在相同位置处的RGBD数据，这可以减少噪音。

如上所述，通过在3D空间上形成参考图像，来重构具有亮度和深度信息并且即使在相同的水平/垂直坐标处也具有多个值的多层空间。

在所重构的空间中，生成视点图像的情况等同于隐藏具有小差异值的图像并且使其不能被看到的情况。因此，优选地，通过假设具有最大差异的亮度值是有效的，来进行操作。换言之，待搜索的差异开始于，例如，值MAX。

具体地，在二维平面上插值的情况下，如图6和公式(1)所示，例如，需要不断比较两个视差L和R的差异。

[数学公式1]

d＝arg min(D_L(x),Dc(x+D_L(x)))

当D_L(x)＝＝D_R(x+D_L(x))时，两个视差的融合：

(x+d)＝(1-α)L(x)+αR(x)；

当D_L(x)<D_R(x+D_L(x))时，作为一个视差的相同颜色/相同亮度：

I(x+d)＝L(x)；

当D_L(x)>D_R(x+D_L(x))时，作为一个视差的相同颜色/相同亮度：

I(x+d)＝R(x)...(1)

要注意的是，D_L、D_C和D_R表示相应视点的差异图，并且d表示差异值。

另一方面，在本技术中，将视差图像的差异图发展成如图7所示的三维存储空间。

具体地，将关于从在左侧位置处的差异图获取的差异的信息返回至包括在中心位置处的差异图的存储空间。同样，将关于从在右侧位置处的差异图获取的视差的信息返回至存储空间。因此，在存储空间中重构还包括关于遮挡区域的信息的拍摄空间。

从前景(具有较大差异(例如，MAX)的一个前景)开始对该重构的拍摄空间进行采样，从而可以在不需要比较两个差异的情况下高速生成高清晰度插值图像。

进一步地，作为关于存储空间的信息，可以对RGBD(亮度信息、差异信息)、D+摄像机ID(深度信息、指示摄像机包括亮度信息的信息)、和各种纹理的极化信息等进行处理。

要注意的是，例如，在视点R处，通过利用相对于图7所示的重构的拍摄空间倾斜45度的向量对存储空间进行采样来获得相同的视点图像。要注意的是，同样，例如，在视点L处，通过利用相对于重构的拍摄空间倾斜135度的向量对存储空间进行采样来获得相同的视点图像。

如上所述，在改变图8所示的空间的倾度的同时对存储空间进行采样，从而可以在不需要比较各像素的差异值的情况下高速生成任何视点图像。在图8所示的示例中，垂直轴表示差异，而水平轴表示X坐标。

具体地，图8的A表示示出了R视点插值方法的示意图。如图8的A所示，在当从参考视点看时位于右侧(最右侧)的R视点处在45度的方向上进行采样，并且对在前景中有第一差异的RGB数据进行验证。这可以生成噪音减少了的R视点图像。

同样，图8的B表示示出了I视点插值方法的示例的示意图。在这种情况下，在与参考视点距离α的I视点中，以1/α的倾度进行采样，并且对在情景中有第一差异的RGB数据进行验证。这可以生成噪音减少了的I视点图像。

要注意的是，虽然上面已经描述了使用一个维度的示例，但是本技术是适用于三个维度的技术，例如，在垂直方向上，或者通过在前后方向上移位摄像机阵列。进一步地，虽然上面已经描述了使用三个视点的示例，但是视点的数量并不限于三个。本技术可以适用于任意数量的视点，只要使用了多个视点。

<图像处理的示例>

接着，将参照图9中的流程图对摄像装置11的图像处理进行描述。

在步骤S21中，差异计算单元22生成各个差异图。

具体地，将摄像机21-L、摄像机21-C和摄像机21-R的视点图像输入至差异计算单元22。差异计算单元22使用输入的视点图像来计算在多视角图像之间的对象的差异(像素移位量)，从而生成各个差异图。差异计算单元22将生成的作为多视角差异图的差异图和多视角图像提供给插值图像生成单元23。

在步骤S22中，空间重构单元31根据各个视点图像和各个差异图来重构拍摄视点图像的空间。稍后将参照图10对重构拍摄空间的处理进行描述。空间重构单元31将重构的空间的重构数据提供给插值位置设置单元32。

在步骤S23中，插值位置设置单元32进行光束插值处理。稍后将参照图11对光束插值处理进行说明。在步骤S23中，在改变光束(的倾度)的同时将插值位置设置到由空间重构单元31重构的空间，并且将表示设置好的插值位置的插值目标坐标提供给数据搜索单元33。

在步骤S24中，数据搜索单元33对重构的空间进行采样并且生成插值图像。具体地，数据搜索单元33对从插值位置设置单元32提供的插值目标坐标的RGB值进行采样，从而生成在任何视点处的插值图像，并且将生成的插值图像输出至后续阶段。

接着，将参照图10中的流程图对在图9所示的步骤S22中的重构拍摄空间的处理进行描述。

在步骤S41中，空间重构单元31设置目标输入视点数量，并且在步骤S42中设置水平/垂直坐标。

在步骤S43中，空间重构单元31确定是否已经将设置好的坐标值反射在重构的空间中。在步骤S43中，当确定已经将设置好的坐标值反射在重构的空间中时，该过程跳过步骤S44至S48并且转到步骤S49。

在步骤S43中，当确定没有将设置好的坐标值反射在重构的空间中时，该过程转到步骤S44。

在步骤S44中，空间重构单元31根据多视角差异图将坐标值反射在参考视点的RGBD空间中。在步骤S45中，空间重构单元31确定在相同的坐标处是否设置有值。

在步骤S45中，当确定在相同的坐标处已经设置有值时，该过程转到步骤S46。在步骤S46中，空间重构单元31通过使用已经设置的值来获得RGB值的平均值，并且将平均值存储到存储器中。然后，该过程转到步骤S48。

在步骤S45中，当确定在相同的坐标处没有设置有值时，该过程转到步骤S47。在步骤S47中，空间重构单元31将RGB值存储到存储器中，并且该过程转到步骤S48。

在步骤S48中，空间重构单元31记录视点数量，并且该过程转到步骤S49。

在步骤S49中，空间重构单元31确定是否已经将值反射在所有水平/垂直坐标中。在步骤S49中，当确定没有将值反射在所有水平/垂直坐标处时，该过程返回到步骤S42，并且重复执行在步骤S42和后续步骤中的处理。

在步骤S49中，当确定已经将值反射在所有水平/垂直坐标处时，该过程转到步骤S50。在步骤S50中，空间重构单元31确定是否已经将所有视点反射在重构的空间中。在步骤S50中，当确定没有将所有视点反射在重构的空间中时，该过程返回到步骤S41，并且重复执行在步骤S41和后续步骤中的处理。在步骤S50中，当确定已经将所有视点反射在重构的空间中，完成重构拍摄空间的处理，并且该过程返回到图9中的步骤S22。

接着，将参照图11中的流程图对在图9所示的步骤S23中的光束插值处理进行描述。

插值位置设置单元32在步骤S71中设置插值目标光束(倾度)，并且在步骤S72中设置水平/垂直坐标。在步骤S73中，插值位置设置单元32将搜索差异设置为MAX。这只因为如上所述按照差异的递减顺序来进行数据搜索。

在步骤S74中，插值位置设置单元32确定数据是否存在于重构的空间中。在步骤S74中，当确定数据存在于重构的空间中时，该过程跳过步骤S75至S77并且转到步骤S78。

在步骤S74中，当确定数据不存在于重构空间中时，该过程转到步骤S75。在步骤S75中，插值位置设置单元32将搜索差异减少了一个步长。

在步骤S76中，插值位置设置单元32确定搜索差异是否小于最小差异。最小差异是与例如背景相对应的差异。在步骤S76中，当确定搜索差异小于最小差异时，该过程转到步骤S77。在步骤S77中，插值位置设置单元32将其输出作为未知像素，并且该过程转到步骤S78。

在步骤S76中，当确定搜索差异不小于最小差异时，该过程返回到步骤S74，并且重复执行在步骤S74和后续步骤中的处理。

在步骤S78中，插值位置设置单元32确定是否已经搜索了所有的水平/垂直坐标。在步骤S78中，当确定没有搜索所有的水平/垂直坐标时，该过程返回到步骤S72，并且重复执行在步骤S72和后续步骤中的处理。

在步骤S78中，当确定已经搜索了所有的水平/垂直坐标时，该过程转到步骤S79。在步骤S79中，插值位置设置单元32确定是否已经处理了所有的插值目标光束。在步骤S79中，当确定还没有处理所有的插值目标光束时，该过程返回到步骤S71，并且重复执行在步骤S71和后续步骤中的处理。在步骤S79中，当确定处理了所有的插值目标光束时，完成光束插值处理，并且该过程返回到图9中所示的步骤S23。

如上所述，根据本技术，当从具有不同视差的图像执行生成视点插值图像的处理时，可以高速生成高清晰度视点插值图像，而不需要区别在各个视点处的各个像素的深度。

换言之，由于可以利用来自能够获取遮挡数据的摄像装置的所有亮度，所以可以提高生成的视点插值图像的质量，并且可以减少图像中的噪音。

要注意的是，在上面已经描述了从多视角图像之间的差异(像素移位量)生成差异图并且使用生成的差异图的示例。然而，在本说明书中，将像素移位量和深度统称为如下所述的深度。

<本说明书中的深度的示例>

图12是图示了像素移位量(差异)和深度的示意图。

如图12所示，当通过设置在位置C1处的摄像机c1和设置在位置C2处的摄像机c2拍摄对象M的颜色图像时，通过下列公式(2)定义深度Z，该深度Z是对象M在深度方向上离摄像机c1(摄像机c2)的距离。

[数学公式2]

Z＝(L/d)×f...(2)

要注意的是，L表示在水平方向上在位置C1与位置C2之间的距离(在下文中称为在摄像机之间的距离)。进一步地，d表示通过从在水平方向上在由摄像机c1拍摄的颜色图像上的对象M的位置处离颜色图像的中心的距离u1减去在水平方向上在由摄像机c2拍摄的颜色图像上的对象M的位置处离颜色图像的中心的距离u2而得到的值，即，像素移位量(也称为视差)。进一步地，f表示摄像机c1的焦距。在公式(2)中，假设摄像机c1的焦距与摄像机c2的焦距相同。

如公式(2)所示，可以将像素移位量d和深度Z进行唯一地转换。因此，在本说明书中，表示颜色图像的像素移位量d的图像、和表示在由摄像机c1和摄像机c2分别拍摄的两个视点处的深度Z的图像统称为深度图像(视差图像)。

要注意的是，深度图像(视差图像)可以是表示像素移位量d或者深度Z的图像。作为深度图像(视差图像)的像素值，可以采用通过归一化像素移位量d而得到的值或者通过归一化深度Z的倒数1/Z而得到的值，而不是不加改变地使用像素移位量d或者深度Z。

通过下列公式(3)，可以得到通过用8位(0至255)归一化像素移位量d而得到的值I。要注意的是，用于像素移位量的归一化的位的数量并不限于8位，而是可以使用其它数量的位，诸如10位或者12位。

[数学公式3]

要注意的是，在公式(3)中，D_max表示像素移位量d的最大值，而D_min表示像素移位量d的最小值。可以以一个屏幕为单位来设置最大值D_max和最小值D_min，或者可以以多个屏幕为单位来设置最大值D_max和最小值D_min。

进一步地，通过下列公式(4)，可以得到通过用8位(0至255)归一化深度Z的倒数1/Z而得到的值y。要注意的是，用于深度Z的倒数1/Z的归一化的位的数量并不限于8位，而是可以使用其它数量的位，诸如10位或者12位。

[数学公式4]

要注意的是，在公式(4)中，Z_far表示深度Z的最大值，而Z_near表示深度Z的最小值。可以以一个屏幕为单位来设置最大值Z_far和最小值Z_near，或者可以以多个屏幕为单位来设置最大值Z_far和最小值Z_near。

因此，在本说明书中，考虑到可以将像素移位量d和深度Z进行唯一地转换的事实，将通过归一化像素移位量d而得到的值I设置为像素值的图像和将通过归一化深度Z的倒数1/Z而得到的值y设置为像素值的图像统称为深度图像(视差图像)。此处，虽然假设深度图像(视差图像)的颜色格式为YUV420或者YUV400，但是可以使用其它的颜色格式。

要注意的是，当焦点在关于值I或者值y自身的信息上而不是在深度图像(视差图像)的像素值上时，将值I或者值y设置为深度信息(视差信息)。进一步地，将通过映射值I和值y而得到的结果称为深度图(视差图)。

如上所述，在本说明书中，上面提及的差异信息可以统称为深度信息，而差异图可以统称为深度图。

要注意的是，本技术可以应用于，例如，下面描述的多视角图像利用服务平台。具体地，在上述第一实施例中的插值图像生成方法用于，例如，下面将描述为应用等的服务。

<2.第二实施例>

<多视角图像利用服务平台>

图13是图示了多视角图像利用服务平台的示例的示意图。图13所示的多视角图像利用服务平台100是向用户提供使用由具有不同视点的多个图像构成的多视角图像的服务的基本结构/环境。多视角图像利用服务平台100包括多种功能，诸如，云存储101和应用市场102。

云存储101是用于存储并且管理多视角图像数据111的一种服务，该多视角图像数据111是多视角图像数据。例如，在多视角图像利用服务平台中注册的各个用户操作多视角成像装置121，对对象进行摄像，并且获取具有不同视角的多个捕捉图像作为多视角图像。进一步地，用户操作多视角成像装置121，并且将多视角图像数据提供给多视角图像利用服务平台100。云存储101存储提供的多视角图像数据并且为各个用户管理数据。

进一步地，云存储101可以根据需要基于多视角图像数据等生成与多视角图像数据相关联的数据，并且可以管理生成的数据。此外，响应于来自用户等的请求，云存储101可以根据需要向由用户操作的终端装置或者稍后将要描述的应用提供所管理的多视角图像数据以及与多视角图像数据相关联的数据。

应用市场102是通过利用多视角图像数据来进行一些处理，向用户提供应用112以向用户提供使用多视角图像的服务，销售并且执行该应用的一种服务。换言之，该应用112可以由多视角图像利用服务平台100执行，或者可以由终端装置执行。

通过执行应用112，可以向各个用户提供各种便利服务，诸如，使用多视角图像的游戏、空间合成、透镜模拟、空间识别和产品销售支持。

通过应用112可以提供任何类型的服务，只要这些服务使用多视角图像。例如，透镜模拟是用于模拟虚拟光学系统(使该系统以伪方式出现)并且通过使用虚拟光学系统生成对使用多视角图像的对象进行摄像而得到的虚拟捕捉图像的一种服务。在这种情况下，应用112设置例如虚拟透镜150，如图14中的A所示，并且，对作为从对象进入虚拟透镜150的入射光的光束向量151、作为已经传输通过虚拟透镜150的入射光的光束向量152和从光束向量152获得虚拟捕捉图像的虚拟图像传感器153等进行模拟(使其以伪方式出现)。然后，在这种情况下，例如，应用112基于上述模拟从多视角图像生成虚拟捕捉图像，并且向用户提供该虚拟捕捉图像。进一步地，例如，应用112可以进行待设置的虚拟透镜150的选择或者销售。

然后，例如，当在由应用112执行的服务中进行插值图像生成时，可以应用第一实施例的插值图像生成方法。在这种情况下，可以取得与第一实施例相同的有益效果。换言之，可以高速生成高清晰度视点插值图像。

由于可以在透镜模拟中设置虚拟透镜，所以可以模拟任何规格的系统。换言之，在透镜模拟中，不仅可以模拟实际的光学系统，而且还可以模拟非现实的光学系统。因此，这些附图的提供使用户能够再现通过各种光学系统得到的捕捉图像。例如，通过透镜模拟，用户可以通过使用具有比获得构成多视角图像的各个捕捉图像的光学系统的光圈更宽的光圈的光学系统容易获得捕捉图像。例如，透镜模拟使用户能够容易获得具有比多视角图像的各个图像的分辨率更高的分辨率的图像、广角图像、具有窄视角和长焦距的图像等。进一步地，例如，透镜模拟使用户能够容易获得使用精细透镜的捕捉图像和使用非现实的光学系统的捕获图像。换言之，用户可以以低成本获得各种捕捉图像。

例如，第一实施例的插值图像生成方法也可以应用于透镜模拟。在这种情况下，可以取得与第一实施例相同的有益效果。具体地，由于可以高速生成高清晰度插值图像，所以可以向用户提供高清晰度透镜模拟。

例如，产品销售支持是通过使用多视角图像进行物品销售的一种服务。可以按照任何方式进行对待销售物品的支持。例如，假设家具是待销售物品，可以提供用于将家具的图像设置在捕捉图像上的服务，如图14中的B所示。在这种情况下，应用112通过使多视角图像的捕捉图像重叠来生成捕捉图像，通过使用三维建模数据(也称为3D建模数据)和表示在多视角图像中到对象的距离的深度数据来将家具的图像设置在生成的捕捉图像上，并且将合成图像提供给用户。进一步地，应用112基于用户的操作来设置待设置的家具和该家具的位置。

第一实施例的插值图像生成方法也可以应用于这种服务。在这种情况下，可以取得与第一实施例相同的有益效果。具体地，由于可以高速生成高清晰度插值图像，所以可以向用户提供高清晰度合成图像。

例如，这种服务的提供使用户能够拍摄该用户的房间的图像并且将家具的图像设置在捕捉图像(即，该用户的房间的图像)上的期望位置处。这允许用户在购买之前精确地假设布局。具体地，该服务可以减少在购买之前用户的担心，诸如，担心“购买的家具是否可以放在他的/她的房间中”或者担心“购买的家具是否适合他的/她的房间”。这会导致用户的购买意愿的增加。换言之，应用112可以支持家具的销售。

如上所述，多视角图像利用服务平台100不仅能够从多视角图像生成并且提供一个图像，而且还能够管理关于用户和多视角图像的数据，进行应用的销售，并且通过使用应用来提供服务。从而，可以提供对用户而言更便利的各种服务。换言之，多视角图像利用服务平台100可以提高使用多视角图像的服务的便利性。

在这种情况下，第一实施例的插值图像生成方法的应用可以高速生成高清晰度视角插值图像，从而可以向用户提供高清晰度服务。

虽然在上面已经描述了由多个捕捉图像构成的多视角图像，但是多视角图像可以由任意数量的图像构成。进一步地，构成多视角图像的全部或者一些图像或者各个图像的整体或者一部分可以是非现实的图像，诸如，手工绘制的计算机图形图像(即，多视角图像可以包括除了捕捉图像之外的图像)。

进一步地，通过多视角图像利用服务平台100向其提供服务的终端装置可以是由拥有多视角图像的用户操作的多视图成像装置121、不同于由该用户操作的多视角成像装置121的终端装置、或者由被该用户授权使用多视角图像的另一个用户操作的终端设备。

进一步地，多视角图像利用服务平台100可以具有任何物理配置。例如，多视角图像利用服务平台可以配置有一个服务器，或者可以配置有多个服务器。例如，可以采用云计算配置，在该云计算配置中，多视角图像利用服务平台100的全部或者一些功能经由网络在多个装置之间共享并且协作处理。进一步地，可以通过终端装置来执行多视图利用服务平台100的全部或者一些功能。

下面将对由多视角图像利用服务平台100提供的服务的示例的细节进行描述。

<3.第三实施例>

<多视角图像的管理>

如在第二实施例中所述的，多视角图像利用服务平台100包括，例如，云存储101的功能，并且可以存储多视角图像数据并且提供管理服务。在本实施例中，将对多视角图像的管理进行描述。

<多视角图像利用服务提供系统>

图15是示出了多视角图像利用服务提供系统的主要配置示例的示意图。图15所示的多视角图像利用服务提供系统200是应用本技术的系统的示例，并且是服务器202经由网络210向连接至该服务器的终端装置201提供利用多视角图像的服务的系统。换言之，多视角图像利用服务提供系统200是用于实施多视角图像利用服务平台100的配置的示例。

图15示出了用于提供在待由多视角图像利用服务平台100提供的服务中的用于管理多视角图像的服务的配置的示例。在图15中，多视角图像利用服务提供系统200包括终端装置201和服务器202，该终端设备201和服务器202分别连接至网络210。

网络210是任意网络，诸如互联网或者局域网。网络210由以有线或者无线方式或者以有线连接和无线连接的组合配置的一个或者多个网络形成。终端装置201和服务器202分别以有线或者无线方式连接至网络210。

终端装置201进行多视角成像，以便通过对对象摄像来获得由具有不同视点的多个捕捉图像形成的多视角图像。在这种情况下，例如，通过第一实施例的插值图像生成方法来进行插值图像生成。进一步地，终端装置201通过对包括生成的插值图像的多视角图像数据进行编码来生成多视角编码数据。终端装置201将生成的多视角编码数据传输至服务器202。要注意的是，可以通过服务器202来进行插值图像生成。这会导致待传输数据的减少。

服务器202管理预先注册的用户。进一步地，服务器202获取传输的多视角图像编码数据，检测多视角图像的深度，并且生成深度数据。此外，服务器202将关于多视角图像的数据转换成文件，从而生成多视角图像文件。然后，服务器202存储(保存)并且管理生成的多视角图像文件。由服务器202管理的多视角图像文件与终端装置201和待执行的应用相关联，并且在需要时被提供给终端装置201或者待执行的应用。

<终端装置>

图16是示出了终端装置201的主要配置示例的框图。如图16所示，在终端装置201中，中央处理单元(CPU)221、只读存储器(ROM)222和随机存取存储器(RAM)223经由总线224互相连接。

总线224还与输入/输出接口230连接。输入/输出接口230与输入单元231、输出单元232、存储单元233、通信单元234和驱动器235连接。

输入单元231由接受外部信息(诸如，用户输入)的输入装置形成。例如，输入单元231包括操作按钮、触控面板、麦克风、输入终端等。进一步地，在输入单元231中可以包括各种传感器，诸如加速度传感器、光学光感器和温度传感器。输出单元232由输出信息(诸如，图像和音频)的输出装置形成。例如，输出单元232包括显示器、扬声器和输出终端等。

存储单元233由，例如，硬盘、RAM盘和非易失性存储器形成。通信单元234由，例如，网络接口形成。驱动器235驱动可移动介质241，诸如磁盘、光盘、磁光盘或者半导体存储器。

CPU 221通过例如经由输入/输出接口230和总线224将存储在存储介质233中的程序加载到RAM 223中并且执行该程序来进行各种过程。RAM 223存储，例如，CPU 221执行各种过程所需的数据。

由CPU 221执行的程序可以记录在，例如，作为封装介质的可移动介质241中，并且可以被提供给终端装置201。在这种情况下，当将可移动介质241安装在驱动器235中时，可以经由输入/输出接口230将程序安装在存储单元233中。

进一步地，经由有线或者无线传输介质，诸如LAN、互联网或者数字卫星广播，可以将该程序提供给终端装置201。在这种情况下，该程序可以经由有线或者无线传输介质通过通信单元234来接收，并且可以安装在存储单元233中。

作为替代方案，也可以将该程序预先安装在ROM 222或者存储单元233中。

输入/输出接口230还可以与摄像单元236连接。摄像单元236由例如CPU 221控制，并且通过对对象摄像来进行多视角成像以获得多视角图像，该多视角图像由具有不同视点的多个捕捉图像构成。摄像单元236包括摄像机模块242-1至242-N。N是大于等于2的任意整数。摄像机模块242-1至242-N是具有相似配置并且进行相似处理的模块。在下面的描述中，当不需要区分摄像机模块242-1至242-N时，将摄像机模块简单地称为摄像机模块242。

摄像机模块242是包括光学系统并且通过对对象进行摄像来获得捕捉图像的模块，该光学系统包括图像传感器(摄像元件)。摄像机模块242设置在平面或者曲面上的不同位置处，诸如，图17所示的C11、C12、C13、C21、C22、C23、C31、C32和C33，并且具有不同的视点。换言之，摄像机模块242-1至242-N对对象进行摄像并且获得具有参考视点的捕捉图像。

例如，摄像单元236由CPU 221控制以通过摄像机模块242-1至242-N对对象进行摄像，从而获得具有不同视点的N个(多个)捕捉图像。摄像单元236获得多个捕捉图像作为多视角图像(多视角图像数据)。换言之，摄像单元236通过使用摄像模块242进行多视角成像。

摄像单元236由例如CPU 221控制以插值所获得的多视角图像数据，经由输入/输出接口230、总线224等将插值图像数据提供给CPU 221和RAM 223，经由输入/输出接口230将数据提供给存储单元233并且使存储单元存储该数据，将数据提供给输出单元232并且使输出单元输出该数据，或者将数据提供给通信单元234并且使通信单元向外部提供该数据。

摄像机模块242可以具有相同的或者不同的视角和摄像方向。例如，某些摄像机模块242的视角和摄像方向中的一个或者两者都可以与其它摄像模块242的视角和摄像方向不同。进一步地，例如，所有的摄像机模块242可以具有不同的视角和不同的摄像方向。然而，如稍后所述，通过使图像重叠将多视角捕捉图像用于生成图像。因此，可取的是，各个摄像机模块242的成像范围(即，各个摄像机模块242的对象)至少部分地重叠。

要注意的是，在多视角成像中，各个摄像机模块242的成像条件，诸如摄像定时、曝光和光圈，可以相同或者不同。进一步地，通过多视角成像获得的各个多视角图像(构成多视角图像的各捕捉图像)可以是静止图像或者运动图像。

进一步地，可以在生产期间将摄像单元236设置在终端装置201的外壳中作为外壳的一个部件，或者摄像单元236可以配置为与终端装置201分开设置的并且可连接至终端装置201的模块。例如，摄像单元236可以是连接至终端装置201的外部终端等并且根据终端装置201的控制而运行的外部附件。同样，摄像单元236可以是与终端装置201分开设置的装置。例如，摄像单元236可以是与终端装置201分开设置的摄像装置，诸如摄像机，可以以有线或者无线通信方式连接至终端装置201，并且可以将通过多视角成像获得的多视角图像提供给终端装置201。

<服务器>

图18是示出了服务器202的主要配置示例的框图。如图18所示，在服务器202中，CPU 251、ROM 252和RAM 253经由总线254互相连接。

总线254还与输入/输出接口260连接。输入/输出接口260与输入单元261、输出单元262、存储单元263、通信单元264和驱动器265连接。

输入单元261由接受外部信息(诸如，用户输入)的输入装置形成,。例如，输入单元261包括操作按钮、触控面板、麦克风、摄像机、输入终端等。进一步地，在输入单元261中可以包括各种传感器，诸如加速度传感器、光学光感器和温度传感器。输出单元262由输出信息(诸如，图像和音频)的输出装置形成。例如，输出单元262包括显示器、扬声器和输出终端。

存储单元263由，例如，硬盘、RAM盘和非易失性存储器形成。通信单元264由，例如，网络接口形成。驱动器265驱动可移动介质271，诸如磁盘、光盘、磁光盘或者半导体存储器。

CPU 251通过例如经由输入/输出接口260和总线254将存储在存储介质263中的程序加载到RAM 253中并且执行该程序来进行各种过程。若适当，CPU 251执行各种过程所需的数据等存储在RAM 253中。

由CPU 251执行的程序可以记录在，例如，作为封装介质的可移动介质271中，并且可以被提供给服务器202。在这种情况下，当将可移动介质271安装在驱动器265中时，可以经由输入/输出接口260将程序安装在存储单元263中。

进一步地，经由有线或者无线传输介质，诸如LAN、互联网或者数字卫星广播，可以将该程序提供给服务器202。在这种情况下，该程序可以经由有线或者无线传输介质通过通信单元264来接收，并且可以安装在存储单元263中。

作为替代方案，也可以将该程序预先安装在ROM 252或者存储单元263中。

<功能块>

当CPU 221执行预定程序时，终端装置201包括在图19的A中被示为功能块的功能。如图19的A所示，CPU 221包括功能块，诸如摄像控制单元281、元数据生成单元282、编码单元283和传输控制单元284。

摄像控制单元281执行控制多视角成像的处理。元数据生成单元282执行生成通过多视角成像获得的多视角图像的元数据的处理。编码单元283执行对多视角图像进行编码的处理。传输控制单元284执行控制多视角图像数据等的传输的处理。

进一步地，当CPU 251执行预定程序时，服务器202包括在图19的B中被示为功能块的功能。如图19的B所示，COU 251包括功能块，诸如用户管理单元291、获取控制单元292、深度检测单元293、文件生成单元294和数据管理单元295。

用户管理单元291执行管理向其提供多视角图像利用服务的用户的处理。例如，用户管理单元291针对各个用户将如图20的A所示的用户管理信息301存储到存储单元263中，并且管理该用户管理信息。如图20的A所示，用户管理信息301包括：例如，用户ID(其为用户识别信息)、用户购买历史、文件管理信息识别信息(其为与各个用户相关联的文件管理信息的识别信息(向各个用户注册的))、收藏夹设置预计(其为指示通过例如统计分析对用户的收藏夹设置的预计结果的信息)、各个用户拥有的点(或者钱)、和发送至其它用户的评论或者从其它用户发来的评论。当然，用户管理信息301的内容是可选的。可以省略上述信息中的一些，或者可以包括除了上述信息之外的信息。

获取控制单元292执行控制对从终端装置201传输的信息(诸如，多视角图像数据)的获取的处理。深度检测单元293执行检测各个多视角图像的深度值的处理。文件生成单元294执行通过将包括多视角图像数据的各种数据转换成文件来生成多视角图像文件的处理。

数据管理单元295执行管理数据(诸如，多视角图像文件)的处理。例如，用户管理单元295针对各个多视角图像文件将如图20的B所示的文件管理信息302存储到存储单元263中，并且管理该用户管理信息。如图20的B所示，文件管理信息302包括：例如，多视角图像文件识别信息(其为多视角图像文件的识别信息)、编辑结果图像识别信息(其与多视角图像文件相关联，并且是由对各个多视角图像进行编辑而产生的编辑结果图像的识别信息)、和应用参数识别信息(其与多视角图像文件相关联，并且是作为例如使用各个多视角图像的应用操作的历史的应用参数的识别信息)。当然，文件管理信息302的内容是可选的。可以省略上述信息中的一些，或者可以包括除了上述信息之外的信息。

<多视角图像利用服务提供处理的流程>

具有上述配置的多视角图像利用服务提供系统的终端装置201和服务器202执行多视角图像利用服务提供处理，从而提供利用多视角图像的服务。在本实施例中，提供诸如多视角图像的管理之类的服务。参照图21中的流程图，将对由这些装置执行的多视角图像利用服务提供处理的流程的示例进行描述。

在步骤S101中，终端装置201的摄像控制单元281控制摄像单元236，并且进行对象的多视角成像从而获得多视角图像。例如，摄像控制单元281通过多视角成像获得由如图22的A所示的具有不同视点的多个捕捉图像构成的多视角图像311。要注意的是，在获取多视角图像之后，还可以通过在第一实施例中描述的插值图像生成处理来生成插值图像。在这种情况下，若适当，服务器202的CPU 251可以包括如上面参照图1所述的生成插值图像所需的功能块。

再次参照图21，当通过拍摄多视角图像来获得多视角图像数据时，在步骤S102中，元数据生成单元282生成多视角图像数据的元数据。虽然稍后将对元数据进行详细描述，但是，元数据包括：例如，指示多视角图像的视点之间的相对位置关系的信息、和指示各个多视角图像的视点的数量的视点数量信息。换言之，元数据生成单元282生成包括阵列信息和视点数量信息的元数据，并且将该元数据与多视角图像数据相关联。

在步骤S103中，编码单元283通过预定编码方法对多视角图像数据进行编码，从而生成多视角图像编码数据。作为编码方法，可以采用任何方法，只要能够对图像数据进行编码。例如，可以采用现有的编码方法(诸如，联合图像专家组(JPEG)和运动图像专家组(MPEG))和专用于多视角图像的新编码方法。要注意的是，在对多视角图像数据进行编码之后，通过元数据生成单元282使多视角图像数据的元数据(例如，阵列信息和视点数量信息)与多视角图像编码数据(成为了多视角编码数据的元数据)相关联。

在步骤S104中，传输控制单元284控制通信单元234，并且将在步骤S103中生成的多视角图像编码数据和在步骤S102中生成的元数据传输至服务器202。例如，传输控制单元284传输多视角图像编码数据和元数据作为位流或者关于位流的辅助信息。

在步骤S111中，服务器202的获取控制单元292控制通信单元264，并且获取在步骤S104中从终端装置201传输的多视角图像编码数据及其元数据。

在步骤S112中，深度检测单元293通过与在步骤S103中的编码方法相对应的解码方法来对在步骤S111中获取的多视角图像编码数据进行解码。要注意的是，代替在步骤S101之后生成插值图像，也可以在解码之后通过在第一实施例中描述的插值图像生成处理来生成插值图像。在这种情况下，若适当，服务器202的CPU 251可以包括如上面参照图1所述的生成插值图像所需的功能块。

在步骤S113中，深度检测单元293使用通过在步骤S112中对多视角图像编码数据进行解码获得的多视角图像数据来检测多视角图像的深度，从而生成深度数据。例如，深度检测单元293生成深度图312作为深度数据，该深度图312表示到对象的距离作为如图22的B所示的各个像素的亮度或者颜色。

要注意的是，稍后将对深度的检测的细节进行描述。

再次参照图21，当生成深度数据时，深度检测单元293对在步骤S114中检测到的深度的多视点图像数据进行编码，并且生成多视角图像编码数据。作为编码方法，可以采用任何方法，只要能够对图像数据进行编码。例如，可以采用现有的编码方法(诸如，JPEG和MPEG)或者专用于多视角图像的新编码方法。可以使用与在步骤S103中使用的编码方法相同的方法，或者可以使用与该编码方法不同的方法。深度检测单元293将生成的深度数据和多视角图像编码数据相关联。

要注意的是，深度的检测(深度数据的生成)可以在不同于服务器202的任何装置中进行，并且可以，例如，在终端装置201中进行。在这种情况下，若适当，终端装置201的CPU221可以包括必要的功能块，诸如深度检测单元293。在这种情况下，在编码单元283对多视角图像数据进行编码之前(在执行步骤S103中的处理之前)，深度检测单元293可以检测深度。进一步地，在步骤S103中，如上所述，编码单元283可以对多视角图像数据进行编码；深度检测单元293可以将多视角编码数据和深度数据相关联；并且，元数据生成单元282可以将多视角图像编码数据和元数据(例如，阵列信息或者视点数量信息)相关联。

在步骤S115中，文件生成单元294生成包括了在步骤S114中生成的多视角图像编码数据及其元数据和在步骤S113中生成的深度数据的多视角图像文件。要注意的是，多视角图像文件的格式是可选的。例如，当多视角图像是静止图像时，可以通过可交换图像文件格式(EXIF)文件格式将图像转换成文件。进一步地，例如，当多视角图像是运动图像时，可以通过MP4(MPEG-4Part 14)文件格式将图像转换成文件。当然，也可以使用其它格式来将图像转换成文件。

例如，文件生成单元294生成具有如图23所示的配置的多视角图像文件321。在图23所示的示例中，多视角图像文件321包括多视角图像编码数据331、深度数据332和元数据333。

多视角图像编码数据331是在步骤S114中生成的多视角图像编码数据。深度数据332是在步骤S113中生成的深度数据，并且是多视角图像编码数据331的多视角图像的深度数据。元数据33是在步骤102中生成的元数据并且是多视角图像编码数据331的元数据。

如图23所示，例如，元数据333包括摄像机模块信息341、摄像机阵列信息342、视点数量信息343、校准信息344和基线长度信息345。

摄像机模块信息341是关于获取各多视角图像的成像的信息，即，关于摄像单元236的各个摄像机模块242的信息。例如，当在摄像单元236中设置有N个摄像机模块242时，元数据333包括N条摄像机模块信息341。如图23所示，摄像机模块信息341包括多种信息，诸如，分辨率、焦距、ISO敏感性、摄像方向、快门速度、F值和视角。当然，摄像机模块信息341的配置是可选的。可以省略这些信息中的一些，或者可以包括除了这些信息之外的信息。

摄像机阵列信息342是指示各个摄像机模块242的相对位置关系的信息。具体地，摄像机阵列信息342是指示在多视角图像的视点之间的相对位置关系的信息。例如，如图24所示，摄像机阵列信息342包括从参考摄像机模块C0到另一个摄像机模块Cx(在图24所示的示例中，x＝1至8)的距离Lx和从参考摄像机模块C0到另一个摄像机模块Cx的方向Rx(从参考视点到各个视点的方向Rx)。

视点数量信息343是指示摄像机模块242的数量(视点的数量)的信息。校准信息344是指示摄像机模块242中的变动的信息。基线长度信息345是用作对多视角图像的长度的参考的信息。

要注意的是，元数据333的配置是可选的。可以省略这些信息中的一些，或者可以包括除了这些信息之外的信息。

图25是示出了各条元数据的配置示例的示意图。如图25的A所示，可以将信息，诸如分辨率、焦距、ISO敏感性、摄像方向、快门速度、F值和视角，显示为针对各个摄像机模块242的摄像机模块信息341。

假设各个摄像机模块242的这些参数是不同的值，例如，在使多视角图像的捕捉图像重叠的情况下，根据参数的值来控制对要重叠的捕捉图像的选择及其组合比。例如，仅使具有更接近期望值的参数的捕捉图像彼此叠加，或者以更高的速率使具有更接近期望值的参数的捕捉图像叠加(使得这些捕捉图像的组合比更高)，从而可以容易地获得具有更接近于期望值的参数的图像。因此，可以减少用于改变参数的不必要的图像处理。因此，可以减少因图像处理而引起的图像质量下降(可以获得具有更高质量的图像)。

进一步地，由于相应的捕捉图像具有作为参数的各种值，所以，无论由于叠加而获得的图像的参数的值为何，都可以获得具有更接近期望值的参数的捕捉图像。换言之，无论参数的值为何，都可以获得更高质量的图像。

摄像机阵列信息342可以指示具有如在图23所示的示例中的相对位置关系(CN、LN、RN)的摄像机模块242的阵列，或者可以指示如在图25的A所示的示例中的预定类型的阵列，诸如“X型”。在图23所示的示例中，可以增加阵列的自由度。在图25所示的示例中，可以减少元数据中的信息量的增加。

进一步地，在图25的A所示的示例中将视点数量信息343示出为数字。

例如，校准信息344可以由指示多视角图像的相应视点的位置的信息形成。在图25的A所示的示例中，校准信息344由关于相应摄像机模块242的坐标信息(或者指示相应摄像机模块的中心坐标的信息)形成。作为替代方案，例如，校准信息344可以由校正多视角图像的相应图像的亮度的信息形成。在图25的B所示的示例中，校准信息344由关于相应摄像机模块242的亮度校正数据信息形成。

基线长度信息345可以包括，例如，指示从参考视点到多视角图像的相应视点的距离的信息。在图25的C所示的示例中，基线长度信息345包括指示从参考摄像模块242到其它摄像机模块242的距离的信息。

再次参照图21，在步骤S116中，数据管理单元295将子步骤S115中生成的多视角图像文件提供且存储到存储单元263中，并且生成且管理关于多视角图像文件的文件管理信息302。进一步地，用户管理单元291更新存储在存储单元263中的关于用户的用户管理信息301，并且向用户注册多视角图像文件。

当完成了步骤S116中的处理时，多视角图像利用服务提供过程结束。

当执行这种多视角图像利用服务提供处理时，用户可以更容易地在服务器202中注册通过多视角成像获得的多视角图像数据。进一步地，将多视角图像数据和与多视角图像有关的数据(诸如，深度数据和元数据)转换成文件然后进行管理。因此，用户可以更容易地使用该用户已经注册的多视角图像数据。换言之，多视角图像利用服务提供系统200(多视角图像利用服务平台100)可以提高使用多视角图像的服务的便利性。

进一步地，在以上描述中，通过使用包括多个摄像机模块242的摄像单元236来进行多视角成像，以生成多视角图像(多视角图像数据)。然而，可以通过任何方法来生成多视角图像(多视角图像数据)。例如，可以通过在移动成像位置和成像方向(或者视点)的同时使用包括单个摄像元件和光学系统的摄像单元(或者包括单个摄像机模块242的摄像单元)进行成像(捕捉运动图像或者捕捉多个静止图像)，来生成多视角图像。作为替代方案，可以通过第一实施例的插值图像生成，来生成插值图像。在这种情况下，可取地是将关于在成像位置和成像方向(或者视点)上的位移的信息相关联，作为具有多视角图像数据(多视角图像编码数据)的元数据。

同样，在以上描述中，将由文件生成单元294生成的多视角图像文件存储在服务器202的存储单元263中并且进行管理。然而，可以在任何其它位置处对视角图像文件进行管理。例如，可以将多视角图像文件存储在除了服务器202之外的装置(诸如，文件管理服务器(未示出))中并且进行管理。在这种情况下，例如，文件生成单元294经由通信单元264将生成的多视角图像文件作为位流或者关于位流的辅助信息传输至该装置。在这种情况下，该装置可以包括：通过与服务器202进行通信来获取多视角图像文件的通信单元；存储获取的多视角图像文件的存储单元；和作为管理存储在存储单元中的多视角图像文件，更新多视角图像文件或者根据需要向另一个装置(诸如，终端装置201或者服务器202)提供多视角图像文件的功能块的数据管理单元。

进一步地，在以上描述中，在服务器202中生成多视角图像文件。然而，可以在任何装置中生成多视角图像文件。例如，可以在终端装置201中生成多视角图像文件。在这种情况下，若适当，终端装置201的CPU 221可以进一步包括必要的功能块，诸如文件生成单元294。在这种情况下，在通过编码单元283对多视角图像数据进行编码之后(或者在步骤S103中的处理之后)，文件生成单元294可以生成多视角图像文件。然后，在步骤S104中，例如，传输控制单元284将多视角图像文件作为位流或者关于位流的辅助信息传输至服务器202。在步骤S111中，获取控制单元292可以控制通信单元264获取多视角图像文件。

进一步地，在以上描述中，在将图像转换成文件之前，可以在服务器中生成多视角图像的插值图像。然而，在将图像显示在终端装置201上之前，可以通过上述第一实施例的方法来生成多视角图像的插值图像，并且可以显示生成有插值图像的多视角图像。

<深度检测处理的流程>

接着，将参照图26中的流程图对在图21所示的步骤S113中执行的深度检测处理的流程的示例进行描述。

当开始深度检测处理时，深度检测单元293在步骤S131中获取元数据333。在步骤S132中，深度检测单元293根据各个摄像机模块242的分辨率等来校正各个捕捉图像的分辨率。

在步骤S133中，深度检测单元293根据各个摄像机模块的快门速度等来校正各个捕捉图像的亮度。在步骤S134中，深度检测单元293根据各个摄像机模块的视角来设置待在深度计算中使用的区域。

在步骤S135中，深度检测单元293基于基线长度信息345等来校正在差异评估时的移位量。在步骤S136中，深度检测单元293基于摄像机阵列、视点数量等来确定参考摄像机、匹配轴线、图像插值方法等。

在步骤S137中，深度检测单元293基于校准信息344来校准各个捕捉图像。在步骤S138中，深度检测单元293通过重复进行立体匹配等来估计深度，并且检测深度数据。

在检测到深度数据之后，该过程返回到图21。

当以上述方式执行深度检测处理时，用户可以更容易地生成并且使用深度数据。

进一步地，例如，当将第一实施例应用于第三实施例时，可以在第三实施例中取得和第一实施例的有益效果相同的有益效果。例如，可以高速生成高清晰度视点插值图像。换言之，用户可以获得高清晰度图像。

<4.第四实施例>

<应用销售>

如在第二实施例中所述的，例如，多视角图像利用服务平台100可以提供在应用市场102中进行应用112的销售的服务。在本实施例中，将对这种应用销售进行描述。

<多视角图像利用服务提供系统>

图27是示出了多视角图像利用服务提供系统的主要配置示例的示意图。图27所示的多视角图像利用服务提供系统200是应用本技术的系统的示例，并且是服务器202经由网络210向连接至该服务器的终端装置201提供利用多视角图像的服务的系统。换言之，多视角图像利用服务提供系统200是用于实施多视角图像利用服务平台100的配置的示例。

图27示出了用于提供在待由多视角图像利用服务平台100提供的服务中的用于销售或者提供应用112的服务的配置的示例。在图27中，多视角图像利用服务提供系统200包括连接至网络210的终端装置401、服务器202和应用提供服务器402。

以有线或者无线方式连接至网络210的终端装置401与服务器202进行通信，从而进行购买应用112的过程。终端装置401可以是终端装置201，或者可以是不同于终端装置201的终端装置。终端装置401具有基本上与终端装置201的配置相似的配置。因此，图16所示的配置也适用于终端装置401。然而，由于终端装置401不需要与成像有关的任何功能，所以可以省略摄像单元236。

应用提供服务器402是向多视角图像利用服务平台100(应用市场102)提供应用112的服务器。服务器202向终端装置401(的用户)销售或者提供由应用提供服务器402提供的应用。

<服务器>

图28是示出了应用提供服务器402的主要配置示例的框图。如图28所示，在应用提供服务器402中，CPU 411、ROM 412和RAM 413经由总线414互相连接。

总线414还与输入/输出接口420连接。输入/输出接口420与输入单元421、输出单元422、存储单元423、通信单元424和驱动器425连接。

输入单元421由接受外部信息(诸如，用户输入)的输入装置形成。例如，输入单元421包括操作按钮、触控面板、麦克风、摄像机、输入终端等。进一步地，在输入单元421中可以包括各种传感器，诸如加速度传感器、光学光感器和温度传感器。输出单元422由输出信息(诸如，图像和音频)的输出装置形成。例如，输出单元422包括显示器、扬声器和输出终端等。

存储单元423由，例如，硬盘、RAM盘、非易失性存储器等形成。通信单元424由，例如，网络接口形成。驱动器425驱动可移动介质431，诸如磁盘、光盘、磁光盘或者半导体存储器。

CPU 411通过例如经由输入/输出接口420和总线414将存储在存储介质423中的程序加载到RAM 414中并且执行该程序来进行各种过程。若适当，CPU 411执行各种过程所需的数据等存储在RAM 413中。

由CPU 411执行的程序可以记录在作为封装介质的可移动介质431等中，并且可以被提供给应用提供服务器402。在这种情况下，当将可移动介质431安装在驱动器425中时，可以经由输入/输出接口420将程序安装在存储单元423中。

进一步地，经由有线或者无线传输介质，诸如LAN、互联网或者数字卫星广播，可以将该程序提供给应用提供服务器402。在这种情况下，该程序可以经由有线或者无线传输介质通过通信单元424来接收，并且可以安装在存储单元423中。

作为替代方案，也可以将该程序预先安装在ROM 412或者存储单元423中。

<功能块>

当CPU 221执行预定程序时，终端装置401包括在图29的A中被示为功能块的功能。如图29的A所示，CPU 221包括多个功能块，诸如应用购买处理单元441。

应用购买处理单元441控制相应单元(诸如，输入单元231、输出单元232、存储单元233和通信单元234)与服务器202进行通信，显示图像，并且接受用户的指令，从而进行与应用的购买有关的处理。

进一步地，当CPU 251执行预定程序时，服务器202包括在图29的B中被示为功能块的功能。如图29的B所示，CPU 251包括多个功能块，诸如用户管理单元451、应用销售处理单元452和数据管理单元453。

与用户管理单元291一样，用户管理单元451执行管理向其提供多视角图像利用服务的用户的处理。应用销售处理单元452控制通信单元262，例如，与终端装置401进行通信，从而执行与应用的销售有关的处理。与数据管理单元295(图19的B)一样，数据管理单元453执行与数据(诸如，多视角图像文件)的管理有关的处理。进一步地，例如，数据管理单元453执行与从应用提供服务器402提供的应用的管理有关的处理。

进一步地，当CPU 411执行预定程序时，应用提供服务器402包括在图29的C中被示为功能块的功能。如图29的C所示，CPU 411包括多个功能块，诸如应用提供处理单元461。

应用提供处理单元461控制通信单元424，例如，与服务器202进行通信，从而执行与向服务器202提供应用有关的处理。

<多视角图像利用服务提供处理的流程>

具有上述配置的多视角图像利用服务提供系统的终端装置401、服务器202和应用提供服务器402执行多视角图像利用服务提供处理，从而提供利用多视角图像的服务。在本实施例中，提供了用于进行应用的销售等的服务。将参照图30中的流程图对由这些装置执行的多视角图像利用服务提供处理的流程的示例进行描述。

在步骤S171中，例如，应用提供服务器402的应用提供处理单元461通过控制通信单元424提供待提供给服务器202的应用，并且注册该应用。

在步骤S161中，服务器202的数据管理单元453控制通信单元264等获取从应用提供服务器402提供的应用，使存储单元263存储该应用，并且管理该应用从而可以将该应用销售给终端装置401。

在步骤S151中，终端装置401的应用购买处理单元441控制通信单元234，并且请求服务器202购买应用。

在步骤S162中，例如，服务器202的应用销售处理单元452通过控制通信单元264来获取该请求。

在步骤S163中，应用销售处理单元452与用户管理单元451和数据管理单元453协作以创建可以销售给用户的应用的列表。然后，应用销售处理单元452通过，例如，控制通信单元264向终端装置401提供应用列表。

在步骤S152中，终端装置401的应用购买处理单元441获取应用列表。应用购买处理单元441控制输出单元232，例如，以在监控器等上显示应用列表，例如，从而向用户呈现应用列表，并且接受来自用户的指令。

例如，将图31的A所示的GUI(图形用户界面)471显示在终端装置401的监控器上。基于该GUI，用户从若干应用中选择期望的应用。在选择了用于透镜模拟的应用的情况下，例如，显示图31的B所示的GUI 472，选择虚拟透镜。进一步地，在选择了用于编辑图像的应用的情况下，例如，显示图31的C所示的GUI 473，选择编辑功能，诸如多视角图像的装饰印记或者再现。

再次参照图30，在步骤S153中，当用户从列表中选择了待购买的应用时，应用购买处理单元441接收选择指令，并且控制通信单元234，例如，以向服务器202提供用于选择待购买应用的控制信息。

在步骤S164中，例如，服务器20的应用销售处理单元452控制通信单元264获取其控制信息。在步骤S165中，应用销售处理单元452与用户管理单元451和数据管理单元453协作，并且将关于用户的用户管理信息301和所选择的应用(在指令中被用户指定要购买的应用)相关联，从而向用户注册所选择的应用。

在步骤S166中，应用销售处理单元452执行与应用的销售有关的结算处理。用户管理单元451使关于用户的用户管理信息301反映出结算信息(例如，从用户拥有的点或者钱中减去与价格或者费用相当的点。进一步地，将该销售添加到应用的购买历史。)

当完成了步骤S166中的处理时，多视角图像利用服务提供处理结束。

通过执行这种多视角图像利用服务提供处理，用户可以更容易地购买用于执行使用多视角图像的处理的应用。进一步地，由于已购买的应用向用户注册了并且在服务器202中对其进行管理，所以用户可以更容易地使用该用户已经购买的应用。换言之，多视角图像利用服务提供系统200(多视角图像利用服务平台100)可以增加使用多视角图像的服务的便利性。进一步地，将第一实施例的图像插值方法应用到这些应用中，这可以高速地提供高质量多视角图像。

要注意的是，应用可以不进行出售，而是可以免费提供。在这种情况下，可以省略结算处理。

<5.第五实施例>

<虚拟透镜处理>

通过执行上述向用户提供的应用，多视角图像利用服务平台100可以向用户提供使用多视角图像的各种服务。

在本实施例中，将执行第二实施例中所描述的用于进行透镜模拟(虚拟透镜处理)的应用的状态描述为应用的示例。

<多视角图像利用服务提供系统>

图32是示出了多视角图像利用服务提供系统的主要配置示例的示意图。图32所示的多视角图像利用服务提供系统200是应用本技术的系统的示例，并且是服务器202经由网络210向连接至该服务器的终端装置201提供利用多视角图像的服务的系统。换言之，多视角图像利用服务提供系统200是用于实施多视角图像利用服务平台100的配置的示例。

图32示出了用于提供在待由多视角图像利用服务平台100提供的服务中的用于透镜模拟(虚拟透镜处理)的服务的配置的示例。在图32中，多视角图像利用服务提供系统200包括终端装置401和服务器202，该终端设备401和服务器202分别连接至网络210。

以有线或者无线方式连接至网络210的终端装置401与服务器202进行通信，以选择待在透镜模拟中使用的多视角图像，选择待模拟的虚拟透镜，并且设置用户指定的参数，这些参数是具有由用户指定的值的与成像有关的参数，诸如聚焦位置和景深。

基于这些过程，服务器202执行虚拟透镜处理以模拟虚拟透镜，并且生成通过使用虚拟透镜的成像而获得的虚拟捕捉图像数据。服务器202还保存(储存和管理)该虚拟捕捉图像数据。进一步地，在上述透镜模拟中，服务器202生成并且保存(储存和管理)历史信息作为用于进行透镜模拟的应用的应用参数，该历史信息表明已经为哪个参数设置了什么值、用户已经进行了哪种操作(指令)、已经进行了哪种处理等。

<虚拟透镜处理的概述>

接着，将对虚拟透镜处理的概述进行描述。在虚拟透镜处理中，设置了如图14的A所示的由用户指定的虚拟透镜150，模拟作为从对象入射到虚拟透镜150上的光的光束向量151、作为通过虚拟透镜150之后的入射光的光束向量152、从光束向量152获得虚拟捕捉图像的虚拟图像传感器153等(以伪方式出现)，并且基于模拟从多视角图像生成虚拟捕捉图像。

例如，从图33的A所示的多视角图像501生成图33的B所示的插值图像502和深度数据503，并且通过使用插值图像50和深度数据503生成通过使用如图33的C所示的虚拟透镜(图14的A所示的虚拟光学系统)进行成像而获得的虚拟捕捉图像504。第一实施例的图像插值方法可以应用于生成插值图像502。

通过上述方式，获得了比多视角图像501的相应捕捉图像更大的并且反映了虚拟透镜150给出的光学效果的虚拟捕捉图像504。光学系统(诸如，虚拟透镜150)是通过使用对虚拟光学系统而言唯一的配置文件信息来模拟的，并且由用于再现虚拟光学系统的光学效果的参数形成。因此，服务器202可以容易地再现从现有光学系统到非现实虚拟系统的各种光学系统。简言之，通过这种服务，用户可以以较低成本获得各种捕捉图像。换言之，多视角图像利用服务提供系统200(多视角图像利用服务平台100)可以增加使用多视角图像的服务的便利性。

<功能块>

当CPU 221执行预定程序时，终端装置401包括在图34的A中被示为功能块的功能。如图34的A所示，CPU 221包括多个功能块，诸如用户指令接受处理单元511、显示控制单元512和传输控制单元513。

用户指令接受处理单元511控制输入单元231等执行与用户指令的接受有关的处理。显示控制单元512控制输出单元232等执行与显示控制有关的处理，例如，以在监控器上显示图像，诸如GUI或者导向。传输控制单元513控制通信单元234等执行与各种信息的传输有关的处理，诸如由用户指令接受处理单元511接受的用户指令。

当CPU 251执行预定程序时，服务器202包括在图34的B中被示为功能块的功能。如图34的B所示，CPU 251包括多个功能块，诸如用户管理单元521、应用选择处理单元522、图像选择处理单元523、透镜选择处理单元524、用户指定参数设置处理单元525、虚拟透镜处理单元526和数据管理单元527。

与用户管理单元291一样，用户管理单元521执行与管理向其提供多视角图像利用服务的用户有关的处理。应用选择处理单元522控制通信单元264，例如，与终端装置401进行通信，并且执行与待执行应用的选择有关的处理。图像选择处理单元523控制通信单元264，例如，与终端装置401进行通信，并且执行与待经过透镜模拟处理(虚拟透镜处理)的多视角图像的选择有关的处理。用户指定参数设置处理单元525控制通信单元264，例如，与终端装置401进行通信，并且执行与从终端装置401传输的用户指定参数的设置有关的处理。虚拟透镜处理单元526执行与虚拟光学系统的模拟(以伪方式出现)有关的处理。与数据管理单元295一样，数据管理单元527执行与数据(诸如，多视角图像文件)的管理、以及应用和与应用有关的数据的管理有关的处理。

例如，当将第一实施例应用于第五实施例时，生成插值图像。因此，可以在透镜模拟中高速地向用户提供高清晰度多视角图像。

<多视角图像利用服务提供处理的流程>

具有上述配置的多视角图像利用服务提供系统的终端装置401和服务器202执行多视角图像利用服务提供处理以提供利用多视角图像的服务。在本实施例中，提供了诸如透镜模拟之类的服务。现在参照图35中的流程图，将对由这些装置执行的多视角图像利用服务提供处理的流程的示例进行描述。

在步骤S201中，终端装置401的用户指令接受处理单元511控制输入单元231等接受来自用户的请求启动应用的指令。传输控制单元513控制通信单元234等向服务器202提供由用户指令接受处理单元511接受的应用启动请求。

在步骤S221中，服务器202的应用选择处理单元522控制通信单元264等获取该请求。响应于该请求，在步骤S222中，应用选择处理单元522基于由用户管理单元521管理的用户管理信息生成可以被用户使用的应用的列表，并且控制通信单元264等将该列表提供给终端装置401。

在步骤S202中，服务器401的传输控制单元513控制通信单元234等获取该列表。显示控制单元512控制输出单元232以在监控器上将获取的列表显示为图像。然后，用户基于该列表来选择待启动的应用。

在步骤S203中，用户指令接受处理单元511控制输入单元231等接受来自用户的关于待启动应用的选择的指令。传输控制单元513控制通信单元234等向服务器202提供由用户指令接受处理单元511接受的待启动应用选择指令。

在步骤S223中，服务器202的应用选择处理单元522控制通信单元264等获取选择指令。在步骤S224中，图像选择处理单元523基于由用户管理单元521管理的用户管理信息生成用户的多视角图像的列表，并且控制通信单元264等将该列表提供给终端装置401。

在步骤S204中，服务器401的传输控制单元513控制通信单元234等获取该列表。显示控制单元512控制输出单元232以在监控器上将获取的列表显示为图像。然后，用户基于该列表来选择待处理的多视角图像。

在步骤S205中，用户指令接受处理单元511控制输入单元231等接受来自用户的关于待处理应用的选择的指令。传输控制单元513控制通信单元234等向服务器202提供由用户指令接受处理单元511接受的待处理应用选择指令。

在步骤S225中，服务器202的图像选择处理单元523控制通信单元264等获取选择指令。在步骤S226中，透镜选择处理单元524基于由用户管理单元521管理的用户管理信息生成向用户注册的透镜的列表，并且控制通信单元264等将该列表提供给终端装置401。

在步骤S206中，服务器401的传输控制单元513控制通信单元234等获取该列表。显示控制单元512控制输出单元232以在监控器上将获取的列表显示为图像。然后，用户基于该列表来选择待模拟的虚拟透镜。

在步骤S207中，用户指令接受处理单元511控制输入单元231等接受来自用户的透镜选择指令。传输控制单元513控制通信单元234等向服务器202提供由用户指令接受处理单元511接受的透镜选择指令。

在步骤S227中，服务器202的透镜选择处理单元524控制通信单元264等获取选择指令。

进一步地，在步骤S208中，终端装置401的用户指令接受处理单元511控制输入单元231等接受用户指定参数，这些参数是与成像相关的参数，诸如具有由用户指定的值的成像条件。传输控制单元513控制通信单元234等向服务器202提供由用户指令接受处理单元511接受的用户指定参数。

在步骤S228中，服务器202的用户指定参数设置处理单元525控制通信单元264等获取用户指定参数。

在步骤S229中，虚拟透镜处理单元526执行虚拟透镜处理以生成虚拟捕捉图像，该虚拟捕捉图像是在使用多视角图像数据和包括了用于再现虚拟光学系统的光学效果的参数的配置文件信息的同时通过利用在步骤S227中选择的虚拟透镜来捕捉在步骤S225中选择的多视角图像中的对象的图像而获得的。在这种情况下，虚拟透镜处理单元526通过使用在步骤S228中获取的用户指定参数来再现具有较高精确度的虚拟透镜的光学影响。进一步地，在这种情况下，根据摄像机阵列信息342、视点数量信息343和包括在步骤S225中选择的多视角图像的多视角图像文件中的深度数据332，虚拟透镜处理单元526针对多视角图像生成插值图像。第一实施例的插值图像生成方法可以应用于插值图像生成。稍后将对虚拟透镜处理进行详细描述。

在步骤S230中，虚拟透镜处理单元526控制通信单元264等向终端装置401提供通过在步骤S229中的处理而生成的虚拟捕捉图像的数据。

在步骤S209，终端装置401的传输控制单元513获取虚拟捕捉图像的数据。显示控制单元512控制输出单元232在监控器上显示获取的虚拟捕捉图像。基于虚拟捕捉图像，用户确定是否保存虚拟捕捉图像。

在步骤S210中，用户指令接受处理单元511控制输入单元231等接受来自用户的保存虚拟捕捉图像的数据的指令。传输控制单元513控制通信单元234等向服务器202提供由用户指令接受处理单元511接受的虚拟捕捉图像数据保存指令。

在步骤S231中，服务器202的数据管理单元527控制通信单元264等获取虚拟图像数据保存指令。在步骤S232中，数据管理单元527生成关于该透镜模拟的应用参数。数据管理单元527存储并且管理通过在步骤S229中的处理而生成的虚拟捕捉图像的数据和应用参数，并且还向用户注册数据和应用参数(或者更新关于用户的用户管理信息)。

当完成了步骤S232中的处理时，多视角图像利用服务提供处理结束。

通过执行这个多视角图像利用服务提供处理，用户可以通过使用多视角图像更容易地进行虚拟透镜模拟(或者通过使用虚拟透镜的成像来生成虚拟捕获图像)。进一步地，由于生成的虚拟捕捉图像数据向用户注册了并且在服务器202中对其进行管理，所以用户可以更容易地使用虚拟捕捉图像数据。此外，由于将虚拟捕捉图像数据和在生成虚拟捕捉图像时使用的多视角图像、应用参数等进行联合管理，所以用户可以更容易地使用虚拟捕捉图像数据和其它相关数据。换言之，多视角图像利用服务提供系统200(多视角图像利用服务平台100)可以增加使用多视角图像的服务的便利性。

进一步地，当将第一实施例应用于第五实施例时，可以高速生成高清晰度视点插值图像。因此，用户可以获得具有高还原性的高质量图像。

<屏幕的示例>

图36是示出了在显示单元531上显示的已设置GUI的示例的示意图。

图36所示的屏幕显示了设置GUI和预览图像Pv。在图36所示的示例中，显影参数由关于透镜的设计信息、光圈的形状和焦点位置形成。

在这种情况下，将透镜单元选择部DL、光圈形状选择部DA和焦点位置选择部DF叠加在预览图像Pv上，并且在显示单元531上显示为设置GUI。

透镜单元选择部DL基于在显影参数中的关于透镜的设计信息的选择候选来显示表示透镜单元的图形。光圈形状选择部DA显示表示在显影参数中的光圈形状的选择候选的图形。焦点位置选择部DF显示指示焦点位置的选择候选的位置的设置条Fb。

用户用手指U触摸在透镜单元选择部DL中显示的表示期望透镜单元的图形，以选择与该透镜单元相对应的关于透镜的设计信息的选择候选。用户还用手指U触摸在光圈形状选择部DA中显示的表示期望光圈形状的图形，以选择光圈形状的选择候选。

用户还用手指U触摸在焦点位置选择部DF中的设置条Fb，并且将手指U上下移动，从而将设置条Fb移动到与期望焦点位置相对应的位置处。这允许用户选择期望焦点位置处的选择候选。

要注意的是，可以不通过用户在用手指U触摸设置条Fb之后移动手指U来移动设置条Fb。而是，可以通过用户触摸期望位置来将设置条Fb移动到焦点位置选择部DF中的期望位置处。进一步地，可以不显示焦点位置的选择候选。而是，可以选择离在用手指U触摸的位置处的对象最近的焦点位置的选择候选。

进一步地，图36所示的示例中，透镜单元选择部DL位于预览图像Pv的左上角；光圈形状选择部DA位于左下角；而焦点位置选择部DF位于右侧。然而，相应部分的位置并不限于上述情况。

虽然在附图中未示出，但是与白平衡、曝光校正等有关的其它显影参数的选择候选可以和透镜单元选择部DL、光圈形状选择部DA、焦点位置选择部DF等一起显示。

进一步地，在第五实施例中，显示单元531与触控面板一体成型。然而，如果显示单元不与触控面板一体成型，那么用户通过操作鼠标等(未示出)来移动待显示在屏幕上的指针，从而进行与触摸操作相对应的选择操作。

<虚拟透镜处理的流程>

接着，将参照图37中的流程图对在图35所示的步骤S229中执行的虚拟透镜处理的具体流程的示例进行描述。

当开始虚拟透镜处理时，虚拟透镜处理单元526在步骤S251中从存储单元263获取已选择的多视角图像文件。在步骤S252中，虚拟透镜处理单元526从存储单元263获取已选择的透镜的配置文件信息。

要注意的是，存储并且管理多视角图像文件和配置文件信息的位置是可选的，可以不是存储单元263。例如，可以在除了服务器202之外的装置(诸如终端装置401)中存储并且管理多视角图像文件和配置文件信息。在这种情况下，例如，虚拟透镜处理单元526控制通信单元264从存储有文件和信息的装置获取多视角图像文件和配置文件信息。要注意的是，存储多视角图像文件的位置和存储配置文件信息的位置可以彼此不同。

配置文件信息由用于再现虚拟光学系统的光学效果的参数组成，并且对虚拟光学系统而言是唯一的。配置文件信息包括RGB的相应颜色的点扩散函数(PSF)数据、光圈形状、插值次数指定信息等。

PSF数据也称为点扩散函数或者点图像分布函数，并且是指示在虚拟光学系统中包括的虚拟透镜对点光源的响应的函数。换言之，PSF数据是指示虚拟透镜对通过虚拟透镜的RGB的相应颜色的光束的影响的数据。图38的A示出了PSF数据的示例。在该示例中，针对(在相应行中的)相应颜色示出了根据到焦距内部分(或者点光源)的距离的PSF数据。

光圈形状是指示在虚拟光学系统中包括的虚拟光圈的形状的信息。该光圈形状可以是实际存在的光圈形状，或者可以是非现实的形状，诸如圆形、星形、或者在图38的B的左侧上示出的X形。要注意的是，可以通过任何方法来指定光圈形状。例如，可以通过识别信息(ID)等来指定预定形状。进一步地，例如，如图38的B的右侧所示，可以通过强度分布542来表示光圈形状。强度分布的大小(强度的数量)取决于通过插值次数指定信息来指定的插值图像的数量(插值次数)。如果假设插值次数为N，例如，那么通过N x N强度分布542来表示光圈形状。

插值次数指定信息是在生成虚拟捕捉图像时指定待生成的插值图像的数量的信息。换言之，在虚拟透镜处理中，虚拟透镜处理单元526生成如由插值次数指定信息指定的若干插值图像。随着插值图像的数量越多，可以获得具有越高清晰度的虚拟捕捉图像。通常，随着虚拟透镜具有越高等级(越高性能)，插值图像的数量越多。

如上所述，透镜配置文件信息由指示虚拟透镜的特征的信息形成。要注意的是，透镜配置文件信息的内容是可选的。可以省略上述信息中的一些，或者可以包括除了上述信息之外的信息。例如，在透镜配置文件信息中可以包括关于待用于模拟虚拟透镜的透镜的物理设计信息。

再次参照图37，在步骤S253中，虚拟透镜处理单元526设置在图35所示的步骤S228中获取的用户指定参数。

用户指定参数是具有由用户指定的值的与成像有关的参数。根据用户指定参数，虚拟透镜处理单元526生成虚拟捕捉图像。例如，用户指定参数包括聚焦位置指定信息、景深指定信息、超分辨率处理执行指令信息等。

聚焦位置指定信息(焦点位置指定信息)是指定待放置焦点的对象在捕捉图像中所处的区域(或者点)的信息。当用户将在捕捉图像中的任意位置指定为聚焦位置时，生虚拟捕捉图像，从而使焦点在位于聚焦位置处的对象上(或者距离)。

进一步地，景深指定信息是指定景深(光圈大小)的信息。*此外，超分辨率处理执行指令信息是包括与超分辨率处理有关的指令的信息，诸如，关于在将多视角图像的捕捉图像彼此叠加以生成虚拟捕捉图像时是否进行超分辨率处理的指令、和关于如果确定进行超分辨率处理时在哪个区域中进行超分辨率处理并且进行到哪种程度的指令。基于超分辨率处理执行指令信息，在叠加多视角图像的捕捉图像时进行超分辨率处理。

当然，用户指定参数的内容是可选的。可以省略上述信息中的一些，或者可以包括除了上述信息之外的信息。

在步骤S254中，基于在与待处理的多视角图像数据相关联的元数据中包括的摄像机阵列信息、视点数量信息等，虚拟透镜处理单元526确定参考摄像机(参考视点图像)、匹配轴线、图像插值方法等。

在步骤S255中，根据待生成的插值图像的位置，虚拟透镜处理单元526确定在图像插值中待使用的相应图像(或者待叠加的相应图像)的组合比。

在步骤S256中，根据深度数据和以上述方式设置的各种参数，虚拟透镜处理单元526生成插值图像。例如，根据深度数据，通过使用在步骤S254中确定的匹配轴线，虚拟透镜处理单元526通过叠加在步骤S254中确定的参考视点的图像和由在步骤S254中确定的插值方法指定的图像来生成插值图像。虚拟透镜处理单元526生成如由配置文件信息中的插值次数指定信息指定的若干插值图像。要注意的是，上述第一实施例的插值图像生成方法可以应用于在步骤S256中的插值图像生成。具体地，可以高速地生成高清晰度视点插值图像。

在步骤S257中，虚拟透镜处理单元256将指示配置文件信息的光圈形状的数据反映在各个插值图像中。

在步骤S258中，虚拟透镜处理单元526基于深度数据来获得由用户指定的聚焦位置(焦点位置)的深度值。具体地，例如，虚拟透镜处理单元526获取在步骤S228中获取的生成的虚拟捕捉图像的用户指定参数中包括的聚焦位置指定信息(焦点位置指定信息)指定的位置(坐标)处的对象的深度值(到对象的距离)。

在步骤S259中，虚拟透镜处理单元526设置由用户指定参数中的景深指定信息指定的景深。

在步骤S260中，例如，通过重复进行立体匹配，虚拟透镜处理单元526通过重叠多视角图像或者插值图像来生成虚拟捕捉图像。在这种情况下，虚拟透镜处理单元526根据虚拟透镜的深度数据(对象的深度值)来反映PSF数据。进一步地，虚拟透镜处理单元526生成虚拟捕捉图像，从而使焦点在步骤S258中获得深度值(距离)上。进一步地，通过在步骤S257中将光圈形状数据反映在各个差值图像中，虚拟透镜处理单元526可以将虚拟光圈的形状反映在虚拟捕捉图像中。进一步地，虚拟透镜处理单元526生成虚拟捕捉图像，从而获得在步骤S259设置的景深。

在步骤S261中，虚拟透镜处理单元526根据用户指定参数的超分辨率处理执行指令信息来对虚拟捕捉图像进行超分辨率处理。例如，当超分辨率处理执行指令信息指示不进行超分辨率处理时，虚拟透镜处理单元526不进行超分辨率处理。进一步地，例如，当超分辨率处理执行指令信息指示将要进行超分辨率处理时，虚拟透镜处理单元526进行超分辨率处理。

要注意的是，可以对整个虚拟捕捉图像进行超分辨率处理，或者可以仅对在包括聚焦位置的深度值的预定范围内的一些深度值进行超分辨率处理。待对对象的焦点外部分进行超分辨率处理会产生较小影响(提高图像质量)。因此，仅对聚焦位置和深度值彼此匹配或者彼此接近的部分进行超分辨率处理，从而可以在减少图像质量下降的同时减少处理负载。要注意的是，超分辨率处理执行指令信息可以指示进行超分辨率处理的部分。

当完成了步骤S261的处理时，虚拟透镜处理结束，并且该过程返回到图35。

通过以上述方式来进行虚拟透镜处理，用户可以更容易获得虚拟捕捉图像。进一步地，应用上述第一实施例的插值图像生成方法可以高速地生成高清晰度视点插值图像。

要注意的是，上述的虚拟透镜处理可以不由服务器202来进行。而是，虚拟透镜处理可以在任何装置中执行。例如，终端装置401的CPU 221可以包括虚拟透镜处理单元526等。并且可以在终端装置401中进行虚拟透镜处理。同样，在这种情况下，基本上可以通过与上述示例相似的方式来执行虚拟透镜处理。要注意的是，视情况而定，可以将用于虚拟透镜处理的并且在服务器202中存储(管理)的信息(诸如，多视角图像文件和虚拟透镜的配置文件信息)传输至终端装置401。

如上所述，在第二实施例至第五实施例的系统中可以通过服务器或者终端装置来进行第一实施例的插值图像生成方法。进一步地，生成的插值图像可以由服务器来管理，并且先经过图像处理然后再提供给终端装置，或者可以从服务器提供并且用于终端装置中的图像处理。作为替代方案，生成的插值图像可以由终端装置来管理并且经过终端的图像处理，或者可以传输至服务器并且由服务器来处理。

如上所述，将上述的第一实施例应用于第二实施例至第五实施例提供了除了第二实施例至第五实施例的有益效果之外的有益效果，诸如，向用户高速提供高质量图像的有益效果。

<6.其它>

上述的一系列过程可以通过硬件来执行，或者可以通过软件来执行。在上述的一系列过程是通过软件来执行的情况下，从网络或者记录介质中安装构成该软件的程序。

该记录介质由可移动介质(诸如，可移动介质241、可移动介质271或者可移动介质431)形成。该可移动介质分布为独立于装置将程序传送给用户，并且记录有程序，例如，如图16、18和28所示。该可移动介质可以是磁盘(包括软盘)或者光盘(包括CD-ROM和DVD)。该可移动介质还包括磁光盘(包括MD(微型光盘))、半导体存储器等。

在这种情况下，当将可移动介质安装在驱动器中时，可以经由输入/输出接口将程序安装到存储单元中。

作为替代方案，可以经由有线或者无线传输介质，诸如局域网、互联网或者数字卫星广播来提供该程序。在这种情况下，该程序可以通过各个装置的通信单元(例如，通信单元234、通信单元264或者通信单元424)来接收，并且可以安装在各个装置的存储单元(例如，存储单元233、存储单元263或者存储单元423)中。

作为替代方案，可以预先将该程序安装在各个装置的ROM(例如，ROM 222、ROM 252或者ROM 412)中，并且可以安装在各个装置的存储单元(例如，存储单元233、存储单元263或者存储单元423)中。

要注意的是，待由计算机执行的程序可以是用于根据本说明书中描述的序列按照时间顺序来执行过程的程序，或者可以是用于并行执行过程或者在必要时(诸如，当存在呼叫时)执行过程的程序。

进一步地，在本说明书中，写入在记录介质中记录的程序中的步骤不仅包括根据本文中描述的序列按照时间顺序执行的过程，而且还包括如果不一定按照时间顺序来执行过程时并行或者单独执行的过程。

进一步地，在本说明书中，系统是指由多个装置构成的整个装置。

进一步地，在上述示例中，描述为一个装置(或者一个处理单元)的任何配置可以划分成多个装置(或者处理单元)。反之，描述为多个装置(或者处理单元)的任何配置可以组合形成一个装置(或者一个处理单元)。同样，当然，可以将除了上述配置之外的配置添加到任何装置(或者任何处理单元)的配置。进一步地，可以将一个装置(或者一个处理单元)的部分配置合并到另一个装置(或者另一个处理单元)中，只要整个系统的配置和操作保持不变。换言之，本技术并不限于上述实施例，并且在不脱离本技术的主旨的情况下可以通过各种方式来修改。

虽然上面已经参照附图对本公开的优选实施例进行了详细描述，但是本公开并不限于这些实施例。本公开所属领域的普通技术人员显然可以在权利要求书中描述的技术构思的范围内设想并且获得各种更改示例和修改示例。当然，应该理解的是，这些实施例也属于本公开的技术范围。

要注意的是，本技术还可以具有如下配置。

(1)一种图像处理设备，其包括：

重构处理单元，该重构处理单元执行根据在多视角图像中的对象的深度信息来重构拍摄多视角图像的空间的处理；以及

插值图像生成单元，该插值图像生成单元通过改变由重构处理单元重构的空间的倾度并且对重构的空间进行采样来生成插值图像。

(2)根据(1)所述的图像处理设备，其中，重构处理单元执行根据作为深度信息的在多视角图像之间的对象的像素移位量来重构拍摄多视角图像的空间的处理。

(3)根据(2)所述的图像处理设备，其中，重构处理单元执行通过在由参考视点的亮度和像素移位量形成的空间中反射另一个视点的亮度和像素移位量来重构空间的处理。

(4)根据(3)所述的图像处理设备，其中，当在相同的坐标中已经设置有值时，重构处理单元执行通过存储RGB值的平均值作为坐标的值来重构空间的处理。

(5)根据(4)所述的图像处理设备，其中，重构的空间在任何视点处具有指示发生遮挡的位置的值。

(6)根据(1)至(5)中任一项所述的图像处理设备，其中，重构的空间具有作为存在于多个视点处的值的多个视点的平均值。

(7)根据(1)至(6)中任一项所述的图像处理设备，其中，插值图像生成单元按照像素移位量的递减顺序在重构的空间中开始采样。

(8)一种图像处理方法，其包括：

通过图像处理设备，执行根据在多视角图像中的对象的深度信息来重构拍摄多视角图像的空间的处理；以及

通过图像处理设备，通过改变重构的空间的倾度并且对重构的空间进行采样来生成插值图像。

附图标记列表：

11 摄像装置

21、21-L、21-C、21-R 摄像机

22 差异计算单元

23 插值图像生成单元

31 空间重构单元

32 插值位置设置单元

33 数据搜索单元

100 多视角图像利用服务平台

200 多视角图像利用服务提供系统

201 终端装置

202 服务器

221 CPU

236 摄像单元

251 CPU

281 摄像控制单元

282 元数据生成单元

283 编码单元

284 传输控制单元

291 用户管理单元

292 获取控制单元

293 深度检测单元

294 文件生成单元

295 数据管理单元

321 多视角图像文件

331 多视角图像编码数据

332 深度数据

333 元数据

401 终端装置

402 应用提供服务器

411 CPU

441 应用购买处理单元

451 用户管理单元

452 应用销售处理单元

453 数据管理单元

461 应用提供处理单元

511 用户指令接受处理单元

512 显示控制单元

513 传输控制单元

521 用户管理单元

522 应用选择处理单元

523 图像选择处理单元

524 透镜选择处理单元

525 用户指定参数设置处理单元

526 虚拟透镜处理单元

527 数据管理单元。

Claims (8)

1.一种图像处理设备，其包括：

重构处理单元，所述重构处理单元执行根据在多视角图像中的对象的深度信息来重构拍摄所述多视角图像的空间的处理；以及

插值图像生成单元，所述插值图像生成单元通过改变由所述重构处理单元重构的所述空间的倾度并且对所述重构的空间进行采样来生成插值图像。

2.根据权利要求1所述的图像处理设备，其中，所述重构处理单元执行根据作为所述深度信息的在所述多视角图像之间的所述对象的像素移位量来重构拍摄所述多视角图像的所述空间的处理。

3.根据权利要求2所述的图像处理设备，其中，所述重构处理单元执行通过在由参考视点的亮度和所述像素移位量形成的空间中反射另一个视点的亮度和像素移位量来重构所述空间的处理。

4.根据权利要求3所述的图像处理设备，其中，当在相同的坐标中已经设置有值时，所述重构处理单元执行通过存储RGB值的平均值作为所述坐标的值来重构所述空间的处理。

5.根据权利要求4所述的图像处理设备，其中，所述重构的空间在任何视点处具有指示发生遮挡的位置的值。

6.根据权利要求4所述的图像处理设备，其中，所述重构的空间具有作为存在于所述多个视点处的值的所述多个视点的平均值。

7.根据权利要求2所述的图像处理设备，其中，所述插值图像生成单元按照所述像素移位量的递减顺序在所述重构的空间中开始采样。

8.一种图像处理方法，其包括：

通过图像处理设备，执行根据在多视角图像中的对象的深度信息来重构拍摄所述多视角图像的空间的处理；以及

通过所述图像处理设备，通过改变所述重构的空间的倾度并且对所述重构的空间进行采样来生成插值图像。