CN111225199A - 图像处理设备及方法 - Google Patents

Abstract

本发明涉及一种能够使得使用多视点图像的服务的可用性得到提高的图像处理设备及方法。包括虚拟成像图像产生器，其通过使用多视点图像数据、表示多视点图像中距对象的距离的深度数据以及包括重现虚拟光学系统的光学效果的参数的配置信息，并且使用虚拟光学系统对多视点图像中的对象进行成像来产生虚拟成像图像。本发明例如可以用于图像处理设备中。

Description

图像处理设备及方法

本申请是申请日为2014年9月2日、发明名称为“图像处理设备及方法”以及申请号为201480049014.0的发明专利申请的分案申请。

技术领域

本公开涉及图像处理设备及方法，并且具体地涉及可以提高使用多视点图像的服务的便利性的图像处理设备及方法。

背景技术

通过使用具有不同视点的多个图像测量距测量目标(摄影对象)的距离的技术是已知的。例如，已经提出了使用被称为立体匹配(例如，参照专利文献1)的技术的距离计算方法。

此外，通过使用这样的立体匹配技术，认为可以从由具有相互不同的视点的多个图像组成的多视点图像获得表示距所述多视点图像中的摄影对象的距离的深度数据，通过使用所述深度数据生成与多视点图像交叠的图像，并且向用户提供该图像。

引用列表

专利文献

专利文献1：JP 2011-171858A

发明内容

技术问题

然而，作为使用这样的多视点图像的服务期望进一步提高便利性。

本公开通过考虑这样的情况被执行，并且可以提高使用多视点图像的服务的便利性。

问题的解决方案

根据本技术的图像处理设备，包括：虚拟拍摄图像生成单元，所述虚拟拍摄图像生成单元通过使用多视点图像数据、表示了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄影对象而获得的虚拟拍摄图像。

虚拟拍摄图像生成单元可以基于所述多视点图像通过所述配置信息生成指定数目的插值图像，并且通过使用所述多视点图像和所述插值图像生成所述虚拟拍摄图像。

虚拟拍摄图像生成单元可以根据表示了所述多视点图像的每个视点的相对位置关系的序列信息、表示了所述多视点图像的视点数目的眼数信息、以及所述深度数据来生成所述插值图像。

序列信息可以包括表示了从用作参考的视点至每个视点的距离的信息以及表示了每个视点相对于所述用作参考的视点的取向的信息。

虚拟拍摄图像生成单元可以基于所述序列信息和所述眼数信息确定用作参考的图像、匹配轴、以及插值方法。

虚拟拍摄图像生成单元可以通过使用所确定的用作参考的图像以及所述匹配轴，根据所述深度数据交叠由所述插值方法指定的图像来生成所述插值图像。

虚拟拍摄图像生成单元可以根据待生成的插值图像的位置确定每幅交叠图像的混合比。

虚拟拍摄图像生成单元可以通过交叠所述多视点图像与所述插值图像来生成所述虚拟拍摄图像。

配置信息可以包括：包括在所述虚拟光学系统中的虚拟透镜的PSF数据，表示了包括在所述虚拟光学系统中的虚拟光圈形状的光圈形状信息，以及表示了所述插值图像的数目的插值图像数目信息。

在交叠所述多视点图像与所述插值图像时，所述虚拟拍摄图像生成单元使得与所述深度数据对应的所述虚拟透镜的PSF数据得到反映。

在交叠所述多视点图像与所述插值图像时，所述虚拟拍摄图像生成单元使得通过所述光圈形状信息表示的所述虚拟光圈形状被反映在所述多视点图像和所述插值图像中。

虚拟拍摄图像生成单元可以根据作为与由用户指定的所述虚拟光学系统有关的参数的用户指定参数来生成所述虚拟拍摄图像。

用户指定参数可以包括指定所述虚拟拍摄图像内的焦点位置的焦点位置指定信息、指定所述虚拟拍摄图像的摄影视场深度的摄影视场深度指定信息、以及在生成所述虚拟拍摄图像时对于超分辨率处理执行指定的超分辨率指定信息。

虚拟拍摄图像生成单元可以基于所述深度数据获得由所述焦点位置指定信息指定的焦点位置的深度值，并且将所述虚拟拍摄图像的焦距设置到所述深度值。

虚拟拍摄图像生成单元可以将所述虚拟拍摄图像的摄影视场深度设置到由所述摄影视场深度指定信息指定的摄影视场深度。

虚拟拍摄图像生成单元可以根据所述超分辨率指定信息的指定对于所述虚拟拍摄图像执行超分辨率处理。

虚拟拍摄图像生成单元可以仅对于所述虚拟拍摄图像的深度值与由所述焦点位置指定信息指定的焦点位置的深度值相同或接近的部分执行超分辨率处理。

虚拟拍摄图像生成单元可以从存储单元获取特定于由用户选择的虚拟光学系统的配置信息。

虚拟拍摄图像生成单元可以从另一设备获取所述配置信息。

一种根据本技术的图像处理方法，包括：通过使用多视点图像数据、表示了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄影对象而获得的虚拟拍摄图像。

在本公开中，通过使用多视点图像数据、表示直到多视点图像中的摄影对象的距离的深度数据以及包括通过虚拟光学系统重现光学效果的参数的配置信息，生成了通过使用虚拟光学系统拍摄多视点图像的摄影对象而获得的虚拟拍摄图像。

发明的有益效果

根据本公开，可以处理图像。此外，根据本公开，可以提高使用多视点图像的服务的便利性。

附图说明

[图1]图1是描述多视点图像使用服务平台的示例的图。

[图2]图2是描述使用多视点图像的应用的示例的图。

[图3]图3是表示多视点图像使用服务提供系统的主要配置示例的图。

[图4]图4是表示终端设备的主要配置示例的图。

[图5]图5是描述成像单元的概要的图。

[图6]图6是表示服务器的主要配置示例的图。

[图7]图7是描述终端设备和服务器的功能的功能块图。

[图8]图8是表示通过服务器管理的信息的示例的图。

[图9]图9是表示多视点图像使用服务提供处理的流程的示例的流程图。

[图10]图10是表示多视点图像和深度数据的示例的图。

[图11]图11是表示多视点图像文件的主要配置示例的图。

[图12]图12是描述相机序列的示例的图。

[图13]图13是描述元数据的示例的图。

[图14]图14是描述深度检测处理的流程的示例的流程图。

[图15]图15是表示多视点图像使用服务提供系统的另一配置示例的图。

[图16]图16是表示应用提供服务器的主要配置示例的图。

[图17]图17是描述终端设备、服务器和应用提供服务器的功能的功能块图。

[图18]图18是表示多视点图像使用服务提供处理的流程的另一示例的流程图。

[图19]图19是表示信息显示示例的图。

[图20]图20是表示多视点图像使用服务提供系统的又一配置示例的图。

[图21]图21是描述虚拟透镜处理的流程的状态的示例的图。

[图22]图22是描述终端设备和服务器的功能的功能块图。

[图23]图23是表示多视点图像使用服务提供处理的流程的又一示例的流程图。

[图24]图24是描述虚拟透镜选择的状态的示例的图。

[图25]图25是描述虚拟透镜处理的流程的示例的流程图。

[图26]图26是描述透镜配置的示例的图。

[图27]图27是表示多视点图像使用服务提供系统的又一配置示例的图。

[图28]图28是描述家具的布局的状态的示例的图。

[图29]图29是描述布局的另一示例的图。

[图30]图30是描述终端设备、服务器和家具销售服务器的功能的功能块图。

[图31]图31是表示多视点图像使用服务提供处理的流程的又一示例的流程图。

[图32]图32是继续图31的表示多视点图像使用服务提供处理的流程的又一示例的流程图。

[图33]图33是继续图32的表示多视点图像使用服务提供处理的流程的又一示例的流程图。

[图34]图34是描述家具图像布置处理的流程的示例的流程图。

[图35]图35是描述家具布置更新的状态的示例的图。

[图36]图36是描述家具布置更新处理的流程的示例的流程图。

[图37]图37是描述接地确定的状态的示例的图。

[图38]图38是描述接地确定处理的流程的示例的流程图。

[图39]图39是描述测量的状态的示例的图。

[图40]图40是描述测量处理的流程的示例的流程图。

[图41]图41是描述照明的模拟的状态的示例的图。

[图42]图42是描述照明处理的流程的示例的流程图。

[图43]图43是描述移动线引导的状态的示例的图。

[图44]图44是描述移动线引导处理的流程的示例的流程图。

[图45]图45是描述人物图像布置的示例的图。

[图46]图46是描述人物图像布置处理的流程的示例的流程图。

[图47]图47是描述家具列表限制处理的流程的示例的流程图。

具体实施方式

在下文中，将描述用于执行本公开的模式(下文中称为实施例)。注意，将以如下顺序给出描述。

1.第一实施例(多视点图像使用服务平台)

2.第二实施例(多视点图像的管理)

3.第三实施例(应用销售)

4.第四实施例(虚拟透镜处理)

5.第五实施例(产品销售支持)

6.其他

<1.第一实施例>

<多视点图像使用服务平台>

图1是描述了多视点图像使用服务平台的示例的图。图1中表示的多视点图像使用服务平台100是向用户提供使用由具有相互不同视点的多幅图像组成的多视点图像的服务的基本结构/环境。例如，多视点图像使用服务平台100具有云存储101、应用市场102等的功能。

云存储101是存储并且管理多视点图像数据111的服务，多视点图像数据111为多视点图像的数据。例如，通过使在多视点图像使用服务平台中完成注册的用户操作多视点成像设备121来拍摄摄影对象，并且获得具有相互不同视点的多幅拍摄图像作为多视点图像。另外，通过使所述用户操作多视点成像设备121来将所述多视点图像数据提供至多视点图像使用服务平台100。云存储101存储所提供的多视点图像数据，并且对于每个用户执行管理。

此外，云存储101可以根据需要基于多视点图像数据等生成与所述多视点图像数据有关的数据。另外，云存储101可以根据来自用户的请求等将所述管理的多视点图像数据提供至由用户操作的终端设备或者下面将描述的应用。

应用市场102是通过使用多视点图像数据执行某种类型的处理，并且向用户提供、销售或执行应用112的服务，应用112向用户提供使用多视点图像的服务。即，应用112可以通过多视点图像使用服务平台100来执行，或者可以在终端设备中执行。

通过执行这样的应用112来向用户提供使用多视点图像的具有高便利性的各种服务，例如游戏、空间组合、透镜模拟、空间识别以及产品销售支持。

由应用112提供的服务可以是任意的，只要其使用多视点图像即可。例如，透镜模拟是通过使用多视点图像来模拟(模仿外观)虚拟光学系统，并且通过使用该虚拟光学系统生成拍摄摄影对象的虚拟拍摄图像的服务。在这种情况下，如图2的A中所示，例如，应用112设置了虚拟透镜150，并且模拟(模仿外观)光射线向量151(其为从摄影对象入射到虚拟透镜150上的入射光)、光射线向量152(其为透过虚拟透镜150之后的入射光)、虚拟图像传感器153(其从光射线向量152等获得虚拟拍摄图像)。此外，应用112基于诸如上述的模拟从多视点图像生成虚拟拍摄图像，并且将其提供给用户。此外，应用112可以执行设置虚拟透镜150的选择、销售等。

由于透镜模拟可以设置虚拟透镜，因此可以模拟任意规格的光学系统。即，透镜模拟可以执行模拟，即使其为实际光学系统或不真实的光学系统也是如此。因此，通过提供这样的服务，用户可以重现通过各种光学系统获得的拍摄图像。例如，通过这样的透镜模拟，用户可以使用与获得构成多视点图像的每幅拍摄图像的光学系统相比较大的孔径的光学系统来容易地获得拍摄图像。例如，通过这样的透镜模拟，用户可以更容易地获得与多视点图像的每幅图像相比具有较高分辨率的图像、具有较宽角度的图像、具有较窄视角的图像以及较长的焦距等。另外，例如，通过这样的透镜模拟，用户可以使用高档的透镜来容易地获得拍摄图像，或者使用非真实光学系统容易地获得拍摄图像。即，用户可以便宜地获得各种拍摄图像。

此外，例如，产品销售支持是通过使用多视点图像支持产品的销售的服务。销售产品或支持的方法可以是任意的。例如，其可以为待销售的产品被设定为家具的服务，并且如图2的B中所示，家具的图像虚拟地布置在拍摄图像中。在这种情况下，应用112通过交叠多视点图像的每幅拍摄图像来生成拍摄图像，通过使用3维建模数据(也称为3D建模数据)和表示多视点图像中距摄影对象的距离的深度数据将家具的图像布置在所述拍摄图像上，并且向用户提供该合成图像。此外，应用112基于用户的操作设置待布置的家具以及位置。

通过这样的服务，例如，用户可以拍摄他或她自己的房间，并且可以将家具的图像布置在拍摄图像(即，他或她自己的房间的图像)上的期望位置处。因此，用户可以在购买之前更精确地假定布局。即，通过这样的服务，可以减小用户购买之前的不确定性，例如“所购买的家具是否不能被安装在他或她自己的房间中”或者“所购买的家具是否与他或她自己的房间不匹配”，并且可以提高用户的购买意图。即，应用112可以支持家具销售。

如上所述，由于不仅可以从多视点图像生成并且提供1幅图像，而且可以管理与用户或者多视点图像有关的数据，并且可以执行应用的销售或者提供使用应用的服务，因此多视点图像使用服务平台100可以提供对于用户具有较高便利性的各种服务。即，多视点图像使用服务平台100可以提高使用多视点图像的服务的便利性。

虽然在此之前已经对于由多幅拍摄图像组成的多视点图像进行了描述，但是组成多视点图像的图像数目是任意的。此外，组成多视点图像的图像的一部分或全部，或者每幅图像的一部分或者全部可以是诸如人工绘制的计算机图形图像的非真实图像(即，多视点图像可以包括除了拍摄图像之外的其他图像)。

此外，多视点图像使用服务平台100向其提供服务的终端设备可以是由作为多视点图像的拥有者的用户操作的多视点成像设备121，可以是除了由所述用户操作的多视点成像设备121之外的终端设备，或者可以是由被所述用户允许使用多视点图像的另一用户操作的终端设备。

另外，多视点图像使用服务平台100的物理配置是任意的。例如，其可以由1台服务器组成，或者可以由多台服务器组成。此外，例如，多视点图像使用服务平台100的功能的一部分或者全部可以采用多个设备经由网络执行分配并且共同处理的云计算配置。另外，多视点图像使用服务平台100的功能的一部分或者全部可以在终端设备中执行。

在下文中，将描述通过多视点图像使用服务平台100提供的服务的示例的细节。

<2.第二实施例>

<多视点图像的管理>

如第一实施例中所描述的，多视点图像使用服务平台100可以具有云存储101的功能，例如，可以存储多视点图像数据，并且可以提供待管理的服务。在本实施例中，将描述多视点图像的管理。

<多视点图像使用服务提供系统>

图3是表示多视点图像使用服务提供系统的主要配置示例的图。图3中表示的多视点图像使用服务提供系统200为应用了本公开的系统的示例，并且为其中服务器202向经由网络210连接的终端设备201提供使用多视点图像的服务的系统。即，多视点图像使用服务提供系统200为实现多视点图像使用服务平台100的配置的示例。

图3表示来自由多视点图像使用服务平台100提供的服务中的，与多视点图像的管理有关的服务的提供有关的配置的示例。图3中，多视点图像使用服务提供系统200具有连接至网络210的终端设备201和服务器202。

例如，网络210为诸如因特网或局域网的任意网络。网络210为由有线、无线或两者组成的1个或多个网络组成。终端设备201和服务器202通过有线或无线分别连接至网络210。

终端设备201执行通过拍摄摄影对象获得多视点图像的多视点成像，所述多视点图像由具有相互不同的视点的多幅拍摄图像组成。此外，终端设备201对多视点图像数据进行编码，并且生成多视点编码数据。终端设备201将所生成的多视点编码数据传输至服务器202。

服务器202管理预先已经注册的用户。此外，服务器202获取所传输的多视点图像编码数据，检测多视点图像的深度，并且生成深度数据。另外，服务器202将与这些多视点图像有关的数据制成文件，并且生成多视点图像文件。此外，服务器202存储(保存)并且管理所生成的多视点图像文件。根据需要，通过服务器202管理的多视点图像文件被提供至终端设备201，或者所执行的应用。

<终端设备>

图4是表示终端设备201的主要配置示例的框图。如图4所示，在终端设备201中，中央处理单元(CPU)221、只读存储器(ROM)222以及随机存取存储器(RAM)223经由总线224相互连接。

输入/输出接口230也连接至总线224。输入单元231、输出单元232、存储单元233、通信单元234以及驱动器235连接至输入/输出接口230。

输入单元231由接收诸如用户输入的外部信息的输入装置组成。例如，操作按钮、触摸面板、麦克风、输入终端等被包括在输入单元231中。此外，诸如加速度传感器、光学传感器和温度传感器的各种类型的传感器可以包括在输入单元231中。输出单元232由输出诸如图像或音频的信息的输出装置组成。例如，显示器、扬声器、输出终端等被包括在输出单元232中。

存储单元233例如由硬盘、RAM盘、非易失性存储器等组成。通信单元234例如由网络接口组成。驱动器235例如驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质241。

CPU 221例如通过经由输入/输出接口230和总线224将存储在存储单元233中的程序载入RAM 223而执行该程序来执行各种类型的处理。从由CPU 221执行各种类型的处理的角度来说必要的数据等也被适当地存储在RAM 223中。

由CPU 221执行的程序例如可以通过记录至作为封装介质的可移除介质241等来提供至终端设备201。在这种情况下，可以通过将可移除介质241安装在驱动器235中来经由输入/输出接口230将程序安装在存储单元233中。

此外，程序可以经由诸如LAN、互联网或数字卫星广播的有线或无线传输介质来被提供至终端设备201。在这种情况下，程序可以经由有线或无线传输介质被通信单元234接收，并且可以安装在存储单元233中。

除此之外，所述程序可以预先安装在ROM 222中或存储单元233中。

成像单元236被另外地连接至输入/输出接口230。成像单元236例如被CPU 221控制，并且执行通过拍摄摄影对象获得由具有相互不同视点的多幅拍摄图像组成的多视点图像的多视点成像。成像单元236具有相机模块242-1至相机模块242-N。N为2以上的任意整数。相机模块242-1至相机模块242-N为具有彼此相同的配置并且执行类似处理的模块。在下文中，在可能不需要相互区分相机模块242-1至相机模块242-N来进行描述的情况下，将它们简单地称为相机模块242。

相机模块242为具有包括图像传感器(成像传感器)的光学系统，并且通过拍摄摄影对象来获得拍摄图像的模块。每个相机模块242布置在平坦表面或者弯曲表面上的相互不同的位置处，并且具有相互不同的视点，例如，图5所示的C11、C12、C13、C21、C22、C23、C31、C32和C33。即，相机模块242-1至相机模块242-N拍摄摄影对象，并且获得具有相互不同的视点的拍摄图像。

成像单元236被CPU 221等控制，通过使用这样的相机模块242-1至相机模块242-N拍摄摄影对象，并且获得具有相互不同的视点的N幅(多幅)拍摄图像。成像单元236获得所述多幅拍摄图像作为多视点图像(多视点图像数据)。即，成像单元236通过使用每个相机模块242执行多视点成像。

成像单元236被CPU 221等控制，并且将所获得的多视点图像数据经由输入/输出接口260、总线224等提供至CPU 221或RAM 223，经由输入/输出接口260提供并且存储在存储单元233中，提供并且输出至输出单元232，或者通过提供至通信单元234来提供至外部。

每个相机模块242的视角或成像方向可以彼此相同，或者可以不相同。例如，在相机模块242的一部分中，视角、成像方向或者所述两者可以不同于其他相机模块242的视角、成像方向或者所述两者。此外，例如，全部相机模块242的视角或成像方向可以相互不同。然而，由于诸如以下将描述的多视点拍摄图像被用于生成相互交叠的图像，因此期望每个相机模块242的成像范围(即，每个相机模块242的摄影对象)具有所述交叠的至少一部分。

注意，在多视点成像中，每个相机模块242的诸如成像定时、曝光或光圈的成像条件可以彼此相同，或者可以不相同。此外，通过多视点成像获得的多视点图像(组成多视点图像的每幅拍摄图像)可以为静态图像，或者可以为动态图像。

此外，成像单元236可以在制造时被安装作为终端设备201的壳体中的一件配置，或者可以被组成为与终端设备201不同主体的可连接至终端设备201的模块。例如，成像单元236可以连接至终端设备201的外部终端等，或者可以为通过终端设备201的控制操作的外部附接部。另外，成像单元236可以为与终端设备201不同主体的独立终端。例如，成像单元236可以是不同于终端设备201的诸如相机的成像设备，可以通过有线或无线通信连接至终端设备201，并且可以将通过多视点成像获得的多视点图像提供至终端设备201。

<服务器>

图6是表示服务器202的主要配置示例的框图。如图6所示，在服务器202中，CPU251、ROM 252和RAM 253经由总线254相互连接。

输入/输出接口260也连接至总线254。输入单元261、输出单元262、存储单元263、通信单元264和驱动器265连接至输入/输出接口260。

输入单元261由接收诸如用户输入的外部信息的输入装置组成。例如，操作按钮、触摸面板、麦克风、相机、输入终端等被包括在输入单元261中。此外，诸如加速度传感器、光学传感器和温度传感器的各种类型的传感器可以包括在输入单元261中。输出单元262由输出诸如图像或音频的信息的输出装置组成。例如，显示器、扬声器、输出终端等被包括在输出单元262中。

存储单元263例如由硬盘、RAM盘、非易失性存储器等组成。通信单元264例如由网络接口组成。驱动器265例如驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质271。

CPU 251例如通过经由输入/输出接口260和总线254将存储在存储单元263中的程序载入RAM 253中而执行该程序来执行各种类型的处理。从由CPU 251执行各种类型的处理的角度来说必要的数据等也被适当地存储在RAM 253中。

由CPU 251执行的程序例如可以通过记录至作为封装介质的可移除介质271等来提供至服务器202。在这种情况下，可以通过将可移除介质271安装在驱动器265中来经由输入/输出接口260将程序安装在存储单元263中。

此外，程序可以经由诸如LAN、互联网或数字卫星广播的有线或无线传输介质来被提供至服务器202。在这种情况下，程序可以经由有线或无线传输介质被通信单元264接收，并且可以安装在存储单元263中。

除此之外，所述程序可以预先安装在ROM 252中或存储单元263中。

<功能块>

终端设备201通过使CPU 221执行规定程序来具有如图7的A中功能块所示的功能。如图7的A中所示，CPU 221具有诸如成像控制单元281、元数据生成单元282、编码单元283和传输控制单元284的功能块。

成像控制单元281执行与多视点成像的控制有关的处理。元数据生成单元282执行与通过多视点成像获得的多视点图像的元数据的生成有关的处理。编码单元283执行与多视点图像的编码有关的处理。传输控制单元284执行与多视点图像数据的传输控制等有关的处理。

此外，服务器202通过使CPU 251执行规定程序来具有如图7的B中功能块所示的功能。如图7的B中所示，CPU 251具有诸如用户管理单元291、采集控制单元292、深度检测单元293、文件生成单元294和数据管理单元295的功能块。

用户管理单元291执行与多视点图像使用服务待提供给的用户的管理有关的处理。例如，用户管理单元291将诸如图8的A中所示的用户管理信息301存储在存储单元263中，并且对于每个用户执行管理。如图8的A中所示，例如，作为用户的识别信息的用户ID、用户的购买历史、作为与用户(注册用户)相关联的文件管理信息的识别信息的文件管理信息识别信息、作为例如通过统计分析等假定用户优选设置的信息的喜好设置假定、用户的点数(或金钱)、发送给其他用户或从其他用户发送的评论等被包括在用户管理信息301中。毋庸赘述，用户管理信息301的内容是任意的，并且上述信息的一部分可以被省略，或者除了上述信息之外的信息可以被包括。

采集控制单元292执行与诸如从终端设备201传输的多视点图像数据的信息的采集控制有关的处理。深度检测单元293执行与多视点图像的深度值的检测有关的处理。文件生成单元294执行与其中包括多视点图像数据的各种类型的数据被制成文件的多视点图像文件的生成有关的处理。

数据管理单元295执行与诸如多视点图像文件的数据的管理有关的处理。例如，数据管理单元295对于每个多视点图像文件将诸如图8的B中所示的文件管理信息302存储在存储单元263中，并且执行管理。如图8的B中所示，例如，作为多视点图像文件的识别信息的多视点图像文件识别信息、与多视点图像文件相关联的作为多视点图像的编辑结果的编辑结果图像的识别信息的编辑结果图像识别信息、与多视点图像文件相关联的作为诸如使用多视点图像的应用的操作的历史的应用参数的识别信息的应用参数识别信息等被包括在文件管理信息302中。毋庸赘述，文件管理信息302的内容是任意的，并且上述信息的一部分可以被省略，或者除了上述信息之外的信息可以被包括。

<多视点图像使用服务提供处理的流程>

诸如上述的配置的多视点图像使用服务提供系统的终端设备201和服务器202执行提供使用多视点图像的服务，或者在本实施例的情况下，通过执行多视点图像使用服务提供处理来提供诸如多视点图像的管理的服务。将通过参照图9的流程图描述被这些设备执行的多视点图像使用服务提供处理的流程的示例。

在步骤S101中，终端设备201的成像控制单元281通过控制成像单元236来多视点拍摄摄影对象，并且获得多视点图像。例如，成像控制单元281通过多视点成像获得由具有相互不同视点的多幅拍摄图像组成的多视点图像311，例如图10的A中所示。

返回图9，当在步骤S102中多视点图像数据通过多视点成像获得时，元数据生成单元282生成多视点图像数据的元数据。虽然以下将描述元数据的细节，但是例如表示多视点图像的每个视点的相对位置关系的序列信息、表示多视点图像的视点数目的眼数信息被包括在元数据中。即，元数据生成单元282生成包括这些序列信息和眼数信息并且使这些与多视点图像数据相关联的元数据。

在步骤S103中，编码单元283通过规定的编码方法对多视点图像数据进行编码，并且生成多视点图像编码数据。所述编码方法可以是任意编码方法，只要其是对图像数据进行编码的方法即可。例如，其可以是诸如联合图像专家组(JPEG)、运动图像专家组(MPEG)等的现有的编码方法，或者可以是专用于多视点图像的新的编码方法。注意，多视点图像数据的上述元数据(例如，序列信息、眼数信息等)在多视点图像数据的编码之后通过元数据生成单元282与所述多视点图像编码数据相关联(其变成多视点图像编码数据的元数据)。

在步骤S104中，传输控制单元284通过控制通信单元234使得在步骤S103中生成的多视点图像编码数据与在步骤S102中生成的元数据一起被传输至服务器202。例如，传输控制单元284传输多视点图像编码数据和元数据作为比特流，或者比特流的辅助信息。

在步骤S111中，服务器202的采集控制单元292通过控制通信单元264获取多视点图像编码数据以及在步骤S104中从终端设备201传输的所述元数据。

在步骤S112中，深度检测单元293通过与步骤S103的编码方法对应的解码方法对在步骤S111中获取的多视点图像编码数据进行解码。

在步骤S113中，深度检测单元293通过使用使多视点图像编码数据在步骤S112中解码获得的多视点图像数据来检测多视点图像的深度，并且生成深度数据。例如，深度检测单元293生成深度图312作为深度数据，在深度图312中距摄影对象的距离由每个像素的亮度和颜色来表示，例如图10的B中所示。注意，下面将描述深度检测的细节。

返回图9，当在步骤S114中生成深度数据时，深度检测单元293对已经检测深度的多视点图像数据进行编码，并且生成多视点图像编码数据。编码方法可以是任意方法，只要其是对图像数据进行编码的方法即可。例如，其可以是诸如JPEG、MPEG等的现有的编码方法，或者可以是专用于多视点图像的新的编码方法。其可以与步骤S103的编码方法相同，或者其可以不同。深度检测单元293使所生成的深度数据与所述多视点图像编码数据相关联。

注意，所述深度检测(深度数据的生成)可以在除了服务器202之外的任意设备中执行。例如，其可以在终端设备201中执行。在这种情况下，终端设备201的CPU 221可以适当地具有诸如深度检测单元293的必要的功能块。在这种情况下，深度检测单元293可以在多视点图像数据被编码单元283编码之前(在步骤S103的处理执行之前)检测深度。然后，在步骤S103中，如上所述，编码单元283可以对多视点图像数据进行编码，深度检测单元293可以将深度数据与多视点图像编码数据相关联，并且元数据生成单元282可以将元数据(例如，序列信息、眼数信息等)与多视点图像编码数据相关联。

在步骤S115中，文件生成单元294生成多视点图像文件，其包括在步骤S114中生成的多视点图像编码数据和元数据，以及在步骤S113中生成的深度数据。注意，多视点图像文件的格式形式是任意的。例如，在多视点图像为静态图像的情况下，其可以以可交换图像文件格式(EXIF)的文件格式制成文件。此外，例如，在多视点图像为动态图像的情况下，其可以以MPEG-4Part 14(MP4)的文件格式制成文件。毋庸赘述，其可以以除了这些之外的格式形式制成文件。

例如，文件生成单元294生成诸如图11所示的配置的多视点图像文件321。在图11的示例的情况下，多视点图像编码数据331、深度数据332和元数据333被包括在多视点图像文件321中。

多视点图像编码数据331为在步骤S114中生成的多视点图像编码数据。深度数据332为在步骤S113中生成的深度数据，并且为多视点图像编码数据331的多视点图像的深度数据。元数据333为在步骤S102中生成的元数据，并且为多视点图像编码数据331的元数据。

例如，如图11所示，相机模块信息341、相机序列信息342、眼数信息343、校准信息344和基线长度信息345被包括在元数据333中。

相机模块信息341是与获得多视点图像的成像有关的信息，即，与成像单元236的每个相机模块242有关的信息。例如，在成像单元236中安装有N个相机模块242的情况下，元数据333中包括N个相机模块信息341。例如，如图11所示，相机模块信息341中包括诸如分辨率、焦距、ISO灵敏度、成像方向、快门速度、F值和视角的信息。毋庸赘述，相机模块信息341的配置是任意的，并且可以省略在这些信息的一部分，或者可以包括除了这些之外的信息。

相机序列信息342是表示每个相机模块242的相对位置关系的信息。即，相机序列信息342是表示多视点图像的每个视点的相对位置关系的信息。例如，如图12所示，相机序列信息342包括从用作参考C₀的相机模块至除了C_x(对于图12的示例，x＝1至8)之外的相机模块的距离L_x(从用作参考的视点到每个视点的距离L_x)，和除了C_x之外的相机模块相对于用作参考C₀的相机模块的取向R_x(每个视点相对于用作参考的视点的取向R_x)。

眼数信息343是表示每个相机模块242的数目(视点数目)的信息。校准信息344是表示每个相机模块242的离差的信息。基线长度信息345是在多视点图像中用作长度参考的信息。

注意，元数据333的配置是任意的，并且在这些信息内，可以省略一部分，或者可以包括除了这些之外的信息。

图13是表示这种元数据的每个数据的配置示例的图。如图13的A中所示，相机模块信息341可以具有对于每个相机模块242表示的诸如分辨率、焦距、ISO灵敏度、成像方向、快门速度、F值和视角的信息。

在每个相机模块242的这些参数被设置为相互不同的值的情况下，当多视点图像的每幅拍摄图像例如通过根据参数的值控制交叠拍摄图像的选择以及这些的混合比来交叠时，可以获得较高质量的图像。例如，通过仅交叠其中所述参数接近于期望值的拍摄图像，或者更强烈地交叠其中所述参数接近于所述期望值(拍摄图像的混合比提高)，其中所述参数接近于期望值的图像变得容易获得。因此，由于可以减少用于改变参数的不必要的成像处理，因此可以抑制由于图像处理导致的图像质量的降低(可以获得较高质量的图像)。

此外，由于每幅拍摄图像对于这些参数采用了各种值，因此可以通过将作为交叠结果获得的图像的参数设置至某值来获得接近于期望值的拍摄图像。即，无论参数值如何，均可以获得较高的图像质量。

例如在图11的示例中，相机序列信息342可以通过相对位置关系(C_N.L_N.R_N)表示诸如上述的每个相机模块242的序列，或者例如在图13的A的示例中，可以通过预先确定的序列类型(例如，“X型”)来表示诸如上述的每个相机模块242的序列。通过例如在图11的示例中的设置可以提高序列的自由度，并且通过例如在图13的示例中的设置可以抑制元数据的信息量的增加。

此外，例如在图13的A中所示的示例中，眼数信息343由数字表示。

校准信息344例如可以由表示多视点图像的每个视点的位置的信息组成。在图13的A的示例的情况下，校准信息344由每个相机模块242的坐标信息(表示每个相机模块的中心坐标的信息)组成。此外，校准信息344例如可以由校正多视点图像的每幅图像的亮度的信息组成。在图13的B的示例的情况下，校准信息344由每个相机模块242的亮度校正数据信息组成。

基线长度信息345例如可以包括表示从用作多视点图像的参考的视点至每个视点的距离的信息。在图13的C的示例的情况下，基线长度信息345包括表示从用作参考的相机模块242至其他相机模块242的距离的信息。

返回图9，在步骤S116中，数据管理单元295将在步骤S115中生成的多视点图像文件提供至存储单元263以被存储，并且生成和管理所述多视点图像的文件管理信息302。此外，用户管理单元291更新用户的存储在存储单元263中的用户管理信息301，并且针对用户注册所述多视点图像文件。

当步骤S116的处理结束时，多视点图像使用服务提供处理结束。

通过执行这种多视点图像使用服务提供处理，用户可以更容易地执行对通过多视点成像获得的多视点图像数据的服务器202的注册。此外，由于多视点图像数据通过与所述多视点图像有关的相关数据(深度数据、元数据等)一起被制成文件来管理，因此用户可以更容易地使用由他自己或她自己注册的多视点图像数据。即，多视点图像使用服务提供系统200(多视点图像使用服务平台100)可以提高使用多视点图像的服务的便利性。

注意，虽然在此之前已经对于通过使用具有多个相机模块242的成像单元236执行多视点成像进行了描述，并且生成了多视点图像(多视点图像数据)，但是多视点图像(多视点图像数据)的生成方法是任意的。例如，可以通过执行成像(可以是动态图像成像，或者可以是多幅静态图像成像)，同时通过使用具有单个成像元件和光学系统的成像单元(即，具有单个相机模块242的成像单元)引起成像位置或成像方向(即，视点)移动，来生成多视点图像。在这种情况下，期望与成像位置或成像方向(视点)的移位有关的信息与多视点图像数据(多视点图像编码数据)相关联，作为元数据。

此外，虽然在此之前已经对于通过文件生成单元294生成的多视点图像文件在服务器202的存储单元263中存储和管理进行了描述，但是多视点图像文件被管理的位置是任意的。例如，多视点图像文件可以在除了服务器202之外的设备中(例如，文件管理服务器等，其未表示)存储和管理。在这种情况下，文件生成单元294例如经由通信单元264将所生成的多视点图像文件传输至所述设备，作为比特流或者比特流的辅助信息。在这种情况下，所述设备可以具有：通过与服务器202通信获取多视点图像文件的通信单元，存储所获取的多视点图像文件的存储单元，以及作为用于管理存储在所述存储单元中的多视点图像文件、根据需要更新所述多视点图像文件并且将其提供至诸如终端设备201或服务器202的另一设备的功能块的数据管理单元。

另外，虽然在此之前已经对于多视点图像文件在服务器202中生成进行了描述，但是多视点图像文件的生成可以在任意设备中执行。例如，其可以在终端设备201中执行。在这种情况下，终端设备201的CPU 221可以适当地具有诸如文件生成单元294的必要的功能块。在这种情况下，在多视点图像数据已经被编码单元283编码之后(在步骤S103的处理之后)，文件生成单元294可以生成多视点图像文件。然后，在步骤S104中，传输控制单元284可以将多视点图像文件传输至服务器202，作为比特流或者比特流的辅助信息，并且在步骤S111中，采集控制单元292可以通过控制通信单元264获取所述多视点图像文件。

<深度检测处理的流程>

接下来，将通过参照图14的流程图描述在图9的步骤S113中执行的深度检测处理的流程的示例。

当在步骤S131中深度检测处理开始时，深度检测单元293获取元数据333。在步骤S132中，深度检测单元293根据每个相机模块242的分辨率等来校正每幅拍摄图像的分辨率。

在步骤S133中，深度检测单元293根据每个相机模块的快门速度等校正每幅拍摄图像的亮度。在步骤S134中，深度检测单元293根据每个相机模块的视角等设置要用于深度计算的区域。

在步骤S135中，深度检测单元293基于基线长度信息345等校正视差评估时的偏移量。在步骤S136中，深度检测单元293基于相机序列、眼数等确定参考相机、匹配轴、图像插值方法等。

在步骤S137中，深度检测单元293基于校准信息344校准每幅拍摄图像。在步骤S138中，深度检测单元293通过重复立体匹配等执行深度估计，并且检测深度数据。

当检测到深度数据时，处理返回至图9。

如上所述，通过执行深度检测处理，用户可以更容易地生成和使用深度数据。

<3.第三实施例>

<应用销售>

如第一实施例中所述，多视点图像使用服务平台100可以提供例如在应用市场102中销售应用112的服务。在本实施例中，将描述所述应用的销售。

<多视点图像使用服务提供系统>

图15是表示多视点图像使用服务提供系统的主要配置示例的图。图15中表示的多视点图像使用服务提供系统200是应用了本公开的系统的示例，并且为其中服务器202向经由网络210连接的终端设备201提供使用多视点图像的服务的系统。即，多视点图像使用服务提供系统200是实现多视点图像使用服务平台100的配置的示例。

图15表示来自由多视点图像使用服务平台100提供的服务中的，与应用112的销售或提供有关的服务的提供有关的配置的示例。在图15中，多视点图像使用服务提供系统200具有连接至网络210的终端设备401、服务器202和应用提供服务器402。

通过有线或无线连接至网络210的终端设备401通过执行与服务器202的通信来执行与应用112的购买有关的程序。终端设备401可以是终端设备201，或者可以是不同于终端设备201的终端设备。终端设备401基本上具有与终端设备201的配置相同的配置。因此，图4中表示的配置也可以应用于终端设备401。然而，在终端设备401的情况下，与成像有关的功能可能是不必要的，并且因此可以省略成像单元236。

应用提供服务器402是将应用112提供至多视点图像使用服务平台100(应用市场102)的服务器。服务器202向终端设备401(的用户)销售或提供由应用提供服务器402提供的应用。

<服务器>

图16是表示应用提供服务器402的主要配置示例的框图。如图16所示，在应用提供服务器402中，CPU 411、ROM 412和RAM 413经由总线414相互连接。

输入/输出接口420也连接至总线414。输入单元421、输出单元422、存储单元423、通信单元424以及驱动器425连接至输入/输出接口420。

输入单元421由接收诸如用户输入的外部信息的输入装置组成。例如，操作按钮、触摸面板、麦克风、相机、输入终端等被包括在输入单元421中。此外，诸如加速度传感器、光学传感器和温度传感器的各种类型的传感器可以包括在输入单元421中。输出单元422由输出诸如图像或音频的信息的输出装置组成。例如，显示器、扬声器、输出终端等被包括在输出单元422中。

存储单元423例如由硬盘、RAM盘、非易失性存储器等组成。通信单元424例如由网络接口组成。驱动器425例如驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质431。

CPU 411例如通过经由输入/输出接口420和总线414将存储在存储单元423中的程序载入RAM 413中执行该程序来执行各种类型的处理。从由CPU 411执行各种类型的处理的角度来说必要的数据等也被适当地存储在RAM 413中。

通过CPU 411执行的程序例如可以通过记录至作为封装介质的可移除介质431等来提供至应用提供服务器402。在这种情况下，可以通过将可移除介质431安装在驱动器425中来经由输入/输出接口420将程序安装在存储单元423中。

此外，所述程序可以经由诸如LAN、互联网或数字卫星广播的有线或无线传输介质来被提供至应用提供服务器402。在这种情况下，程序可以经由有线或无线传输介质被通信单元424接收，并且可以安装在存储单元423中。

除此之外，所述程序可以预先安装在ROM 412中或存储单元423中。

<功能块>

终端设备401通过使CPU 221执行规定程序来具有如图17的A中功能块所示的功能。如图17的A中所示，CPU 221具有诸如应用购买处理单元441的功能块。

应用购买处理单元441控制输入单元231、输出单元232、存储单元233、通信单元234等中的每个单元，执行与服务器202的通信，并且通过显示图像或者接收用户的指令来执行与应用的购买有关的处理。

此外，服务器202通过使CPU 251执行规定程序来具有如图17的B中功能块所示的功能。如图17的B中所示，CPU 251具有诸如用户管理单元451、应用销售处理单元452和数据管理单元453的功能块。

类似于用户管理单元291，用户管理单元451执行与要向其提供多视点图像使用服务的用户的管理有关的处理。应用销售处理单元452通过控制通信单元264执行与终端设备401等的通信来执行与应用的销售有关的处理。类似于数据管理单元295，数据管理单元453执行与诸如多视点图像文件的数据的管理有关的处理。此外，例如，数据管理单元295执行与从应用提供服务器402提供的应用的管理有关的处理。

另外，应用提供服务器402通过使CPU 411执行规定程序来具有如图17的C中功能块所示的功能。如图17的C中所示，CPU 411具有诸如应用提供处理单元461的功能块。

应用提供处理单元461通过控制通信单元424执行与服务器202等的通信来执行与向服务器202提供应用有关的处理。

<多视点图像使用服务提供处理的流程>

诸如上述的配置的多视点图像使用服务提供系统的终端设备401、服务器202和应用提供服务器402执行提供使用多视点图像的服务，或者在本实施例的情况下，通过执行多视点图像使用服务提供处理提供诸如应用的销售的服务。将通过参照图18的流程图描述被这些设备执行的多视点图像使用服务提供处理的流程的示例。

在步骤S171中，应用提供服务器402的应用提供处理单元461通过控制通信单元424等将待提供的应用供应至服务器202，并且执行注册。

在步骤S161中，服务器202的数据管理单元453通过控制通信单元264等获得由应用提供服务器402提供的应用，使得其被存储在存储单元263中，并且管理所述应用以便能够执行向终端设备401的销售。

在步骤S151中，终端设备401的应用购买处理单元441控制通信单元234，并且向服务器202请求应用的购买。

在步骤S162中，服务器202的应用销售处理单元452通过控制通信单元264等获得所述请求。

在步骤S163中，应用销售处理单元452与用户管理单元451或数据管理单元453协作，并且产生可以向用户销售的应用列表。然后，应用销售处理单元452通过控制通信单元264等向终端设备401提供所述应用列表。

在步骤S152中，终端设备401的应用购买处理单元441获得所述应用列表。应用购买处理单元441通过控制输出单元232等来显示在监视器等上来将所述应用列表呈现给用户，并且接收来自用户的指令。

例如，图19的A中所示的图形用户界面(GUI)471被显示在终端设备401的监视器上。用户基于这种GUI从数个应用中缩小了期望应用。例如，在选择透镜模拟的应用的情况下，另外显示了诸如图19的B中所示的GUI 472，并且执行虚拟透镜的选择。此外，例如，在编辑图像的应用被选择的情况下，另外显示了诸如图19的C中所示的GUI 473，并且执行所述编辑功能的选择，例如修饰戳记等。

返回图18，在步骤S153中，当用户从所述列表中选择待购买的应用时，应用购买处理单元441接收所述选择指令，并且通过控制通信单元234等向服务器202提供选择待购买的应用的控制信息。

在步骤S164中，服务器202的应用销售处理单元452通过控制通信单元264等获得所述控制信息。在步骤S165中，应用销售处理单元452与用户管理单元451或数据管理单元453协作，并且通过关联用户的用户管理信息301来针对所述用户注册所选择的应用(所述用户已经指示购买的应用)。

在步骤S166中，应用销售处理单元452执行与应用销售有关的结算处理。用户管理单元451使得所述结算信息反映在所述用户的用户管理信息301中(例如，从所述用户的点数或金钱减去价格或对应于价格的点数。或者，此次的销售被添加至应用的购买历史)。

当步骤S166的处理结束时，多视点图像使用服务提供处理结束。

通过执行这种多视点图像使用服务提供处理，用户可以更容易地执行通过使用多视点图像执行处理的应用的购买。此外，由于所购买的应用针对用户注册并且在服务器202中管理，因此用户可以更容易地使用由他自己或她自己购买的应用。即，多视点图像使用服务提供系统200(多视点图像使用服务平台100)可以提高使用多视点图像的服务的便利性。

注意，应用可以不销售，或者可以免费提供。在这种情况下，可以省略结算处理。

<4.第四实施例>

<虚拟透镜处理>

通过执行诸如上述的提供给用户的应用，多视点图像使用服务平台100可以向用户提供使用多视点图像的各种服务。

在本实施例中，将描述执行第一实施例中描述的透镜模拟(虚拟透镜处理)的应用的执行的状态，作为所述应用的示例。

<多视点图像使用服务提供系统>

图20是表示多视点图像使用服务提供系统的主要配置示例的图。图20中表示的多视点图像使用服务提供系统200为应用了本公开的系统的示例，并且为其中服务器202向经由网络210连接的终端设备201提供使用多视点图像的服务的系统。即，多视点图像使用服务提供系统200为实现多视点图像使用服务平台100的配置的示例。

图20表示来自由多视点图像使用服务平台100提供的服务中的与透镜模拟(虚拟透镜处理)有关的服务的提供有关的配置的示例。在图20中，多视点图像使用服务提供系统200具有连接至网络210的终端设备401和服务器202。

通过有线或无线连接至网络210的终端设备401执行与服务器202的通信，并且执行待用于透镜模拟的多视点图像的选择、待模拟的虚拟透镜的选择以及用户指定参数的设置，用户指定参数为与成像有关的参数，用户指定诸如焦点位置或摄影视场深度等的值用于成像。

服务器202执行模拟虚拟透镜的虚拟透镜处理，并且基于这些处理生成作为通过使用虚拟透镜的成像获得的虚拟拍摄图像数据的虚拟拍摄图像数据。此外，服务器202保存(存储、管理)所述虚拟拍摄图像数据。另外，在上述的透镜模拟中，服务器202对于某个参数设置了某个值，使用户执行某个操作(指令)，生成表示处理已经被执行等的历史信息并将该历史信息保存(存储、管理)为执行所述透镜模拟的应用的应用参数。

<虚拟透镜处理的概要>

接下来，将描述虚拟透镜处理的概要。在虚拟透镜处理中，例如图2的A中所示，设置了由用户指定的虚拟透镜150，模拟(模仿外观)光射线向量151(其为从摄影对象入射到虚拟透镜150上的入射光)、光射线向量152(其为透过虚拟透镜150之后的入射光)、虚拟图像传感器153(其从光射线向量152等获得虚拟拍摄图像)，并且基于所述模拟，从多视点图像生成虚拟拍摄图像。

例如，从诸如图21的A中所示的多视点图像501生成诸如图21的B中所示的插值图像502和深度数据503，并且通过使用这些，生成了通过使用虚拟透镜150(图2的A中所示的虚拟光学系统)成像获得的虚拟拍摄图像504，例如图21的C中所示。

通过这种设置，获得虚拟拍摄图像504，其比多视点图像501的每幅拍摄图像大，并且其中反映由虚拟透镜150给出的光学效果。诸如虚拟透镜150的光学系统通过使用对于所述虚拟光学系统来说特有的、由通过所述虚拟光学系统重现光学效果的参数组成的配置信息来模拟。因此，服务器202可以容易地重现从真实光学系统到非真实光学系统的各种光学系统。即，通过该服务，用户可以便宜地获得各种拍摄图像。即，多视点图像使用服务提供系统200(多视点图像使用服务平台100)可以提高使用多视点图像的服务的便利性。

<功能块>

终端设备401通过使CPU 221执行规定程序来具有如图22的A中功能块所示的功能。如图22的A中所示，CPU 221具有诸如用户指令接收处理单元511、显示控制单元512和传输控制单元513的功能块。

用户指令接收处理单元511通过控制输入单元231等执行与用户指令的接收有关的处理。显示控制单元512通过控制输出单元232等执行与诸如在监视器上显示诸如GUI或引导的图像的显示控制有关的处理。传输控制单元513通过控制通信单元234等执行与诸如在用户指令接收处理单元511中接收的用户指令的各种类型的信息的传输有关的处理。

此外，服务器202通过使CPU 251执行规定程序来具有如图22的B中功能块所示的功能。如图22的B中所示，CPU 251具有诸如用户管理单元521、应用选择处理单元522、图像选择处理单元523、透镜选择处理单元524、用户指定参数设置处理单元525、虚拟透镜处理单元526和数据管理单元527的功能块。

类似于用户管理单元291，用户管理单元521执行与要向其提供多视点图像使用服务的用户的管理有关的处理。应用选择处理单元522通过控制通信单元264执行与终端设备401等的通信来执行与待执行的应用的选择有关的处理。图像选择处理单元523通过控制通信单元264执行与终端设备401等的通信来执行与将为透镜模拟(虚拟透镜处理)的处理目标的多视点图像的选择有关的处理。透镜选择处理单元524通过控制通信单元264执行与终端设备401等的通信来执行与待模拟的虚拟透镜的配置信息的选择有关的处理。用户指定参数设置处理单元525通过控制通信单元264执行与终端设备401等的通信来执行与从终端设备401传输的用户指定参数的设置有关的处理。虚拟透镜处理单元526执行与虚拟光学系统的模拟(模仿外观)有关的处理。类似于数据管理单元295，数据管理单元527执行与诸如多视点图像文件的数据的管理或者与应用和该应用有关的数据等的管理有关的处理。

<多视点图像使用服务提供处理的流程>

诸如上述的配置的多视点图像使用服务提供系统的终端设备401和服务器202执行提供使用多视点图像的服务，或者在本实施例的情况下，通过执行多视点图像使用服务提供处理来提供透镜模拟的服务。将通过参照图23的流程图描述被这些设备执行的多视点图像使用服务提供处理的流程的示例。

在步骤S201中，终端设备401的用户指令接收处理单元511通过控制输入单元231等接收来自用户的请求应用起动的指令。传输控制单元513通过控制通信单元234等将由用户指令接收处理单元511接收的应用的起动请求提供至服务器202。

在步骤S221中，服务器202的应用选择处理单元522通过控制通信单元264等获得所述请求。在步骤S222中，响应于所述请求，应用选择处理单元522基于由用户管理单元521管理的用户管理信息生成能够被用户使用的应用的列表，并且通过控制通信单元264等将所述列表提供至终端设备401。

在步骤S202中，终端设备401的传输控制单元513通过控制通信单元234等获得所述列表。显示控制单元512控制输出单元232，并且在监视器上显示所获得的列表作为图像。用户基于所述列表选择待起动的应用。

在步骤S203中，用户指令接收处理单元511通过控制输入单元231等接收来自用户的待起动的应用的选择指令。传输控制单元513通过控制通信单元234等将由用户指令接收处理单元511接收的待起动的应用的选择指令提供至服务器202。

在步骤S223中，服务器202的应用选择处理单元522通过控制通信单元264等获得所述选择指令。接下来，在步骤S224中，图像选择处理单元523基于通过用户管理单元521管理的用户管理信息，生成用户的多视点图像的列表，并且通过控制通信单元264等将所述列表提供至终端设备401。

在步骤S204中，终端设备401的传输控制单元513通过控制通信单元234等获得所述列表。显示控制单元512控制输出单元232，并且在监视器上显示所获得的列表作为图像。用户基于所述列表选择将为处理目标的多视点图像。

在步骤S205中，用户指令接收处理单元511通过控制输入单元231等接收来自用户的处理目标图像的选择指令。传输控制单元513通过控制通信单元234等将由用户指令接收处理单元511接收的处理目标图像的选择指令提供至服务器202。

在步骤S225中，服务器202的图像选择处理单元523通过控制通信单元264等获得所述选择指令。接下来，在步骤S226中，透镜选择处理单元524基于由用户管理单元521管理的用户管理信息生成针对用户注册的透镜的列表，并且通过控制通信单元264等将所述列表提供至终端设备401。

在步骤S206中，终端设备401的传输控制单元513通过控制通信单元234等获得所述列表。显示控制单元512控制输出单元232，并且在监视器上显示所获得的列表作为图像。用户基于所述列表选择待模拟的虚拟透镜。

在步骤S207中，用户指令接收处理单元511通过控制输入单元231等接收来自用户的透镜的选择指令。传输控制单元513通过控制通信单元234等将由用户指令接收处理单元511接收的透镜的选择指令提供至服务器202。

在步骤S227中，服务器202的透镜选择处理单元524通过控制通信单元264等获得所述选择指令。

此外，在步骤S208中，终端设备401的用户指令接收处理单元511例如通过控制输入单元231等接收用户指定参数，所述用户指定参数为与成像有关的参数，用户指定诸如成像条件的值用于所述成像。传输控制单元513通过控制通信单元234等将由用户指令接收处理单元511接收的用户指定参数提供至服务器202。

在步骤S228中，服务器202的用户指定参数设置处理单元525通过控制通信单元264等获得所述用户指定参数。

在步骤S229中，虚拟透镜处理单元526执行虚拟透镜处理，并且生成通过使用在步骤S227中选择的虚拟透镜，通过使用多视点图像数据以及包括通过虚拟光学系统重现光学效果的参数的配置信息拍摄在步骤S225中选择的多视点图像的摄影对象而获得的虚拟拍摄图像。此时，虚拟透镜处理单元526通过使用在步骤S228中获得的用户指定参数更准确地重现虚拟透镜的光学影响。另外，此时，虚拟透镜处理单元526根据包括在步骤S225中所选择的多视点图像的多视点图像文件中的相机序列信息342、眼数信息343和深度数据332生成多视点图像的插值图像。以下将描述虚拟透镜处理的细节。

在步骤S230中，虚拟透镜处理单元526通过控制通信单元264等将由步骤S229的处理生成的虚拟拍摄图像的数据(虚拟拍摄图像)提供至终端设备401。

在步骤S209中，终端设备401的传输控制单元513获得所述虚拟拍摄图像的数据。显示控制单元512控制输出单元232，并且将所获得的虚拟拍摄图像显示在监视器上。用户基于所述虚拟拍摄图像选择是否保存所述虚拟拍摄图像。

在步骤S210中，用户指令接收处理单元511通过控制输入单元231等接收来自用户的虚拟拍摄图像的数据的保存指令。传输控制单元513通过控制通信单元234等将由用户指令接收处理单元511接收的虚拟拍摄图像的数据的保存指令提供至服务器202。

在步骤S231中，服务器202的数据管理单元527通过控制通信单元264等获得所述虚拟图像的数据的保存指令。在步骤S232中，数据管理单元527生成所述透镜模拟的应用参数。数据管理单元527存储并且管理通过步骤S229的处理生成的虚拟拍摄图像的数据以及所述应用参数，并且另外地执行针对用户的注册(更新所述用户的用户管理信息)。

当步骤S232的处理结束时，多视点图像使用服务提供处理结束。

通过执行这种多视点图像使用服务提供处理，用户可以通过使用多视点图像更容易地执行虚拟透镜的模拟(即，通过使用虚拟透镜成像获得的虚拟拍摄图像的生成)。此外，由于所生成的虚拟拍摄图像数据针对用户注册并且在服务器202中被管理，因此用户可以更容易地使用所述虚拟拍摄图像数据。此外，由于通过将虚拟拍摄图像数据与多视点图像、用于所述虚拟拍摄图像的生成的应用参数等相关联来管理所述虚拟拍摄图像数据，因此用户可以连同其他相关数据一起使用所述虚拟拍摄图像数据。即，多视点图像使用服务提供系统200(多视点图像使用服务平台100)可以提高使用多视点图像的服务的便利性。

<屏幕的示例>

图24是表示在显示单元531上显示的设置GUI的示例的示意图。

在图24的屏幕上，设置GUI连同预览图像Pv一起被显示。在图24的示例中，开发参数由透镜的设计信息、光圈形状和焦点位置组成。

在这种情况下，通过在预览图像Pv上交叠，在显示单元531上显示了透镜单元选择单元DL、光圈形状选择单元DA和焦点位置选择单元DF作为设置GUI。

在透镜单元选择单元DL上显示了基于开发参数的透镜的设计信息的选择候选表示透镜单元的图。在光圈形状选择单元DA上显示了表示开发参数的光圈形状的选择候选的图。在焦点位置选择单元DF上显示了通过位置表示焦点位置的选择候选的设置条Fb。

用户通过手指U触摸操作表示显示在透镜单元选择单元DL上的期望透镜单元的图来选择与所述透镜单元对应的透镜的设置信息的选择候选。此外，用户通过手指U触摸操作表示显示在光圈形状选择单元DA上的期望光圈形状的图来选择所述光圈形状的选择候选。

此外，用户通过手指U触摸操作焦点位置选择单元DF的设置条Fb并且沿上下方向移动手指U来引起设置条Fb移动至对应于期望焦点位置的位置。以这样的方式，用户可以选择期望焦点位置的选择候选。

注意，设置条Fb不仅可以通过手指U的用户触摸操作设置条Fb并且然后移动手指U来移动，而且还可以通过使用户触摸操作焦点位置选择单元DF上的期望位置来移动至所述位置。此外，可以不显示焦点位置的选择候选，并且可以选择与屏幕内的手指U的触摸位置的摄影对象最靠近的焦点位置的选择候选。

此外，在图24的示例中，虽然透镜单元选择单元DL被布置在预览屏幕Pv的顶部左侧，光圈形状选择单元DA被布置在底部左侧，以及焦点位置选择单元DF被布置在右侧，但是布置位置不限于此。

虽然省略了说明，但是诸如白平衡或曝光校正的其他开发参数的选择候选也可以类似于透镜单元选择单元DL、光圈形状选择单元DA、焦点位置选择单元DF等被显示。

此外，虽然在第二实施例中显示单元531与触摸面板集成在一起，但是在显示单元531未与触摸面板集成在一起的情况下，用户通过鼠标等(其未表示)的操作引起屏幕内显示的指针移动，并且执行与触摸操作对应的选择操作。

<虚拟透镜处理的流程>

接下来，将通过参照图25的流程图描述在图23的步骤S229中执行的虚拟透镜处理的详细流程的示例。

当在步骤S251中虚拟透镜处理开始时，虚拟透镜处理单元526从存储单元263获得所选择的多视点图像文件。在步骤S252中，虚拟透镜处理单元526从存储单元263获得所选择的透镜的配置信息。

注意，多视点图像文件和配置信息存储和管理的位置是任意的，并且可以是除了存储单元263之外的位置。例如，多视点图像文件和配置信息可以在除了服务器202之外的诸如终端设备401等的设备中存储和管理。在这种情况下，虚拟透镜处理单元526例如通过控制通信单元264从存储多视点图像文件和配置信息的设备获得多视点图像文件和配置信息。注意，多视点图像文件存储的位置与配置信息存储的位置可以彼此不同。

配置信息是对于所述虚拟光学系统来说特有的、由通过虚拟光学系统重现光学效果的参数组成的信息。例如，对于每个RGB的点扩散函数(PSF)数据、光圈形状、插值数目指定信息等被包括在配置信息中。

PSF数据也称为点扩散函数或点分布函数，并且是表示对于包括在虚拟光学系统中的虚拟透镜的点光源的响应的函数。即，PSF数据是表示虚拟透镜对于透过虚拟透镜的光射线的影响的数据。在图26的A中表示了所述PSF数据的示例。在该示例的情况下，与距聚焦单元(即，点光源)的距离对应的PSF数据对于每种颜色(每行)被表示。

光圈形状是表示包括在虚拟光学系统中的虚拟光圈的形状的信息。所述光圈形状可以是实际存在的光圈形状，或者可以是例如不实际存在的任意形状，例如图26的B的左侧所示的圆型、星型、X型等。注意，所述光圈形状可以通过任意方式来指定。例如，可以通过识别信息(ID)等来指定预定的形状。此外，例如，其可以通过强度分布542来表示，例如图26的B的右侧所示。所述强度分布的大小(强度数目)取决于由插值数目指定信息指定的插值图像的数目(插值的数目)。例如，当插值的数目为N时，光圈形状由N×N强度分布542来表示。

插值数目指定信息是指定待在产生虚拟拍摄图像时生成的插值图像的数目的信息。即，在虚拟透镜处理中，虚拟透镜处理单元526生成通过所述插值数目指定信息指定数目的插值图像。随着插值图像数目的增加，可以获得较高清晰度的虚拟拍摄图像。通常，插值图像的数目随着虚拟透镜变成较高档(较高效能)透镜而增加。

如上所述，透镜配置信息由表示虚拟透镜特性的信息组成。注意，透镜配置信息的内容是任意的，并且在每个上述信息内，可以省略一部分，或者可以包括除了上述信息之外的信息。例如，用于模拟虚拟透镜的透镜的物理设计信息可以被包括在透镜配置信息中。

返回图25，在步骤S253中，虚拟透镜处理单元526设置在图23的步骤S228中获得的用户指定参数。

用户指定参数为与用户指定了值的成像有关的参数。虚拟透镜处理单元526根据所述用户指定参数生成虚拟拍摄图像。例如，用户指定参数中包括焦点位置指定信息、摄影视场深度指定信息、超分辨率处理执行指令信息等。

焦点位置指定信息(聚焦位置指定信息)是指定摄影对象被定位此处以聚焦在拍摄图像内的区域(或点)的信息。即，当用户指定拍摄图像的任意位置作为焦点位置时，生成虚拟拍摄图像使得在所述焦点位置的摄影对象(的距离)处执行聚焦。

此外，摄影视场深度指定信息是指定摄影视场深度(光圈大小)的信息。另外，超分辨率处理执行指令信息为包括如下的信息：与超分辨率处理有关的指令，例如，在交叠用于生成虚拟拍摄图像的多视点图像的每幅拍摄图像时，在是否执行超分辨率处理或者执行超分辨率处理的情况下，在某范围内执行处理的程度。在多视点图像的每幅拍摄图像交叠时的超分辨率处理基于所述超分辨率处理执行指令信息来执行。

毋庸赘述，用户指定参数的内容是任意的，并且在每个上述信息内，可以省略一部分，或者可以包括除了上述信息之外的信息。

在步骤S254中，虚拟透镜处理单元526基于包括在与处理目标的多视点图像数据相关联的元数据中的相机序列信息、眼数信息等确定参考相机(用作参考的视点的图像)、匹配轴、图像插值方法等。

在步骤S255中，虚拟透镜处理单元526根据待生成的插值图像的位置确定用于图像的插值的每幅图像(即，每幅交叠图像)的混合比。

在步骤S256中，虚拟透镜处理单元526根据深度数据或诸如上述设置的各种类型的参数生成插值图像。例如，虚拟透镜处理单元526通过使用在步骤S254中确定的用作参考的视点的图像以及在步骤S254中确定的匹配轴，通过根据深度数据交叠由在步骤S254中确定的插值方法指定的图像，生成插值图像。虚拟透镜处理单元526生成通过配置信息的插值数目指定信息指定数目的插值图像。

在步骤S257中，虚拟透镜处理单元526对于每幅插值图像反映配置信息的光圈形状数据。

在步骤S258中，虚拟透镜处理单元526基于深度数据获得由用户指定的焦点位置(聚焦位置)的深度值。即，虚拟透镜处理单元526获得例如待生成的虚拟拍摄图像的在步骤S228中获得的用户指定参数中包括的焦点位置指定信息(聚焦位置指定信息)中指定位置(坐标)的摄影对象的深度值(距摄影对象的距离)。

在步骤S259中，虚拟透镜处理单元526设置通过用户指定参数的摄影视场深度指定信息指定的摄影视场深度。

在步骤S260中，虚拟透镜处理单元526通过重复立体匹配等交叠多视点图像或插值图像来生成虚拟拍摄图像。此时，虚拟透镜处理单元526使得反映虚拟透镜的与深度数据(摄像对象的深度值)对应的PSF数据。此外，虚拟透镜处理单元526生成虚拟拍摄图像，以便聚焦在步骤S258中获得的深度值(距离)处。另外，虚拟透镜处理单元526可以通过对于步骤S257中的每幅插值图像反映光圈形状数据使得虚拟光圈形状反映在虚拟拍摄图像中。此外，虚拟透镜处理单元526生成虚拟拍摄图像，使得其变成在步骤S259中设置的摄影视场深度。

在步骤S261中，虚拟透镜处理单元526根据用户指定参数的超分辨率处理执行指令信息执行对于虚拟拍摄图像的超分辨率处理。例如，在通过超分辨率处理执行指令信息指示以便不执行超分辨率处理的情况下，虚拟透镜处理单元526不执行超分辨率处理。此外，例如，在通过超分辨率处理执行指令信息指示以便执行超分辨率处理的情况下，虚拟透镜处理单元526执行超分辨率处理。

注意，可以对于整个虚拟拍摄图像执行超分辨率处理，或者可以仅对于包括焦点位置的深度值的规定范围的深度值的部分执行超分辨率处理。对于摄影对象的未聚焦的部分，所获得的效果(图像质量的提高)将是小的，即使执行超分辨率处理也是如此。因此，通过仅对于这种焦点位置和深度值匹配或近似相同的部分执行超分辨率处理，可以减小处理的负荷，同时抑制图像质量的降低。注意，待执行这种超分辨率处理的部分可以通过超分辨率处理执行指令信息来指示。

当步骤S261的处理结束时，虚拟透镜处理结束，并且处理返回图23。

通过执行诸如上述的虚拟透镜处理，用户可以更容易地获得虚拟拍摄图像。

注意，上述的虚拟透镜处理不限于服务器202，并且可以在任意设备中实现。例如，终端设备401的CPU 221可以具有虚拟透镜处理单元526等，并且虚拟透镜处理可以在终端设备401中执行。在这种情况下，虚拟透镜处理可以与上述示例中基本上相同地被执行。注意，服务器202中存储(管理)的信息为用于虚拟透镜处理的信息，例如多视点图像文件或虚拟透镜的配置信息，其可以根据需要适当地传输至终端设备401。

<5.第五实施例>

<产品销售支持>

在本实施例中，将描述执行在第一实施例中描述的产品销售支持的应用的执行的状态，作为本应用的另一示例。注意，在本实施例中，将描述诸如在第一实施例中描述的支持家具销售的应用，作为产品销售支持的示例。

<多视点图像使用服务提供系统>

图27是表示多视点图像使用服务提供系统的主要配置示例的图。图27中表示的多视点图像使用服务提供系统200是应用了本公开的系统的示例，并且为其中服务器202向经由网络210连接的终端设备201提供使用多视点图像的服务的系统。即，多视点图像使用服务提供系统200是实现多视点图像使用服务平台100的配置的示例。

图27表示来自由多视点图像使用服务平台100提供的服务中，与产品销售支持(家具销售支持)有关的服务的提供有关的配置的示例。在图27中，多视点图像使用服务提供系统200具有连接至网络210的终端设备201、服务器202和家具销售服务器601。

终端设备201通过拍摄摄影对象执行获得多视点图像的多视点成像。此外，终端设备201检测通过多视点成像获得的多视点图像的深度。另外，终端设备201通过使用多视点成像生成1幅虚拟拍摄图像。此外，终端设备201对于虚拟拍摄图像执行与家具图像的布置有关的处理。另外，终端设备201将多视点图像数据等制成文件，并且生成多视点图像文件。

此外，通过有线或无线连接至网络210的终端设备201和服务器202通过互相执行通信来执行诸如家具数据的选择、3维建模数据(3D建模数据)的传输、家具购买处理以及各种类型数据的传输之类的处理。

服务器202执行诸如从终端设备201提供的各种类型的数据的保存之类的处理。

通过有线或无线连接至网络210的服务器202和家具销售服务器601通过互相执行通信来执行诸如提供3维建模数据(3D建模数据)或家具购买程序之类的处理。

家具销售服务器601是执行与家具的销售或销售的支持有关的处理的服务器。具体地，家具销售服务器601执行家具销售的结算、家具图像的提供或者用于销售支持的3D建模数据等，例如上述。家具销售服务器601基本上具有与应用提供服务器402相同的配置。因此，图15中所示的配置也可以应用于家具销售服务器601。

<家具销售支持>

接下来，将更具体地描述通过诸如上述的多视点图像使用服务提供系统200提供的家具销售支持服务中的销售的支持方法。应用了本公开的多视点图像使用服务平台100提供的产品销售支持服务为使得用户通过使为销售支持目标的产品的图像的对象被虚拟地布置在期望的背景图像上来假定使用产品时的状态的服务。由图27的多视点图像使用服务提供系统200提供的家具销售支持服务采用作为对象的示例的销售支持目标的家具的图像(家具图像)，并且采用虚拟拍摄图像作为背景图像的示例。即，所述家具销售支持服务为使用户通过将家具图像布置在虚拟拍摄图像上来假定将所述家具布置在房间等中时的状态的服务。注意，此时，家具销售支持服务不仅将家具图像与虚拟拍摄图像简单地合成，并且通过使用虚拟拍摄图像的深度数据，根据所述家具图像的布置位置来设置家具图像的大小和取向。以这种方式，可以由用户假定精确的状态。

更具体地，终端设备201从通过多视点成像获得的多视点图像生成诸如图28的A中所示的虚拟拍摄图像611。例如，用户多视点拍摄其中所购买的家具期望被安装的房间，并且生成所述房间的虚拟拍摄图像611。此外，终端设备201从通过多视点成像获得的多视点图像生成诸如图28的B中所示的虚拟拍摄图像611的深度数据(深度图)612。

此外，终端设备201从服务器202通过家具销售服务器601和3D建模数据获得待购买的家具的图像(家具图像)，并且将所述家具图像布置在虚拟拍摄图像611(房间的图像)上，例如图28的C中所示的合成图像613。通过使用深度数据612来执行家具图像的布置，并且根据所述布置位置等的深度方向的距离，家具图像的大小和取向被适当地设置。

此外，根据布置位置的深度方向的距离，与图像内的其他摄影对象的环境关系(交叠条件)被精确地重现，例如将诸如图29的B中所示的图像中的圣诞树布置在图29的A中所示的图像的人后面。

另外，可以通过用户指定布置位置，并且用户可以使家具图像在显示为虚拟拍摄图像611的房间内自由移动。此外，待布置的家具图像可以被用户从通过家具销售服务器601(服务器202)提供给用户的家具图像中任意选择。例如，用户可以改变家具的颜色或大小。此外，例如，可以改变家具的类型，例如从椅子改变为沙发。

待组合的家具的数目是任意的，并且可以是单个数目，或者可以是多个。此外，终端设备201可以使表示家具图像的布置结果的合成图像的图像数据被记录在服务器202等中。因此，此后，用户可以容易地再确认家具图像的布置结果。

通过例如在终端设备201中执行家具销售支持的应用，用户可以接收这样的家具销售支持。即，用户可以在购买家具之前在待布置家具的计划位置(房间等)处虚拟布置虚拟家具(家具图像)(可以执行家具布置的模拟)。因此，用户可以在家具购买之前去除与家具购买有关的不确定性，并且可以提高购买意图。即，通过提供诸如上述的家具销售支持服务，多视点图像使用服务提供系统200可以支持家具的销售。

<功能块>

终端设备201具有如图30的A中功能块所示的使CPU 221执行规定的程序的功能。如图30的A中所示，CPU 221具有诸如用户指令接收处理单元651、显示控制单元652、成像控制单元653、元数据生成单元654、深度检测单元655、虚拟拍摄图像生成单元656、家具图像布置处理单元657、购买处理单元658、文件生成单元659、合成图像数据生成单元660、应用参数生成单元661以及传输控制单元662的功能块。

用户指令接收处理单元651通过控制输入单元231等执行与用户指令的接收有关的处理。显示控制单元652通过控制输出单元232等执行与诸如在监视器上显示诸如GUI或引导的图像的显示控制有关的处理。成像控制单元653执行与多视点成像的控制有关的处理。元数据生成单元654执行与通过多视点成像获得的多视点图像的元数据的生成有关的处理。深度检测单元655执行与多视点图像的深度的检测有关的处理。虚拟拍摄图像生成单元656执行与虚拟拍摄图像的生成有关的处理。家具图像布置处理单元657执行与将家具图像布置至虚拟拍摄图像有关的处理。购买处理单元658执行与家具的购买有关的处理。文件生成单元659执行与多视点图像文件的生成有关的处理。合成图像数据生成单元660执行与其中家具图像与虚拟拍摄图像合成的合成图像数据的生成有关的处理。应用参数生成单元661执行与用于应用的应用参数的生成有关的处理。传输控制单元662通过控制通信单元234等执行与各种类型的信息的传输有关的处理。

此外，服务器202通过使CPU 251执行规定程序来具有如图30的B中功能块所示的功能。如图30的B中所示，CPU 251具有诸如用户管理单元671、应用选择单元672、家具数据选择单元673、购买处理单元674、采集控制单元675以及数据管理单元676的功能块。

类似于用户管理单元291，用户管理单元521执行与多视点图像使用服务待提供给的用户的管理有关的处理。应用选择单元672通过控制通信单元264执行与终端设备201等的通信来执行与待执行的应用的选择有关的处理。家具数据选择单元673通过控制通信单元264等执行与终端设备201的通信，并且执行与待布置在虚拟拍摄图像中的家具(家具图像)的选择有关的处理。购买处理单元674通过控制通信单元264等执行与终端设备201或家具销售服务器601的通信，并且执行与家具的购买有关的处理。采集控制单元675通过控制通信单元264等执行与从终端设备201等传输的各种类型的数据的采集有关的处理。类似于数据管理单元295，数据管理单元676执行与诸如多视点图像文件的数据的管理或与应用及应用相关数据的管理有关的处理。

另外，家具销售服务器601通过使CPU 411执行规定程序来具有如图30的C中功能块所示的功能。如图30的C中所示，CPU 411具有诸如家具数据提供单元681和购买处理单元682的功能块。

家具数据提供单元681例如执行与待用于家具的销售支持的诸如家具图像或3D建模数据的数据的提供有关的处理。购买处理单元682通过控制通信单元424等执行与服务器202的通信，并且执行与家具购买的程序有关的处理。

<多视点图像使用服务提供处理的流程>

诸如上述的配置的多视点图像使用服务提供系统的终端设备201、服务器202和家具销售服务器601执行提供使用多视点图像的服务，或者在本实施例的情况下，通过执行多视点图像使用服务提供处理来提供产品销售支持的服务。将通过参照图31至图33的流程图描述被这些设备执行的多视点图像使用服务提供处理的流程的示例。

在步骤S321中，家具销售服务器601的家具数据提供单元681将家具图像的图像数据和3D建模数据提供至服务器202，并且执行注册。在步骤S311中，服务器202的数据管理单元676采集这些数据，并且执行待支持销售的家具的注册和管理。

在步骤S301中，终端设备201的用户指令接收处理单元651通过控制输入单元231等接收来自用户的请求应用起动的指令。传输控制单元662通过控制通信单元234等将通过用户指令接收处理单元651接收的应用的起动请求提供至服务器202。

在步骤S312中，服务器202的应用选择单元672通过控制通信单元264等获得所述请求。在步骤S313中，响应于所述请求，应用选择单元672基于通过用户管理单元671管理的用户管理信息来生成能够被用户使用的应用的列表，并且通过控制通信单元264等将所述列表提供至终端设备201。

在步骤S302中，终端设备201的传输控制单元662通过控制通信单元234等获得所述列表。显示控制单元652控制输出单元232，并且将所获得的列表显示在监视器上作为图像。用户基于所述列表选择待起动的应用。

在步骤S303中，用户指令接收处理单元651通过控制输入单元231等接收来自用户的待起动的应用的选择指令。传输控制单元662通过控制通信单元234等将通过用户指令接收处理单元651接收的待起动的应用的选择指令提供至服务器202。

在步骤S314中，服务器202的应用选择单元672通过控制通信单元264等获得所述选择指令。接下来，在步骤S315中，家具数据选择单元673基于通过用户管理单元521管理的用户管理信息生成作为能够被销售给用户的家具的列表的产品销售列表，并且通过控制通信单元264等将所述列表提供至终端设备401。

在步骤S304中，终端设备401的传输控制单元662通过控制通信单元234等获得所述列表。显示控制单元652控制输出单元232，并且将所获得的列表显示在监视器上作为图像。用户基于所述列表选择作为处理目标的家具(家具数据)。

在步骤S305中，用户指令接收处理单元651通过控制输入单元231等接收来自用户的家具数据的选择指令。传输控制单元662通过控制通信单元234等将通过用户指令接收处理单元651接收的家具数据的选择指令提供至服务器202。

在步骤S316中，服务器202的家具数据选择单元673通过控制通信单元264等获得所述选择指令。

顺便提及，在步骤S306中，提供家具数据的选择指令的终端设备201的成像控制单元653通过控制成像单元236来执行多视点成像。在步骤S307中，元数据生成单元654生成与在步骤S306中生成的多视点图像相关联的元数据。然而元数据的内容是任意的，例如，其可以包括例如参照图11描述的诸如相机序列信息342或眼数信息343的信息。

在步骤S308中，深度检测单元655对于多视点图像检测深度值，并且生成深度数据(深度图)。例如，深度检测单元655通过执行参照图14等描述的深度检测处理来生成深度数据。在步骤S309中，虚拟拍摄图像生成单元656通过使用多视点图像生成虚拟拍摄图像。

前进至图32，在步骤S351中，在家具图像的图像数据或者3D建模数据已经被更新的情况下，家具销售服务器601的家具数据提供单元681控制通信单元424等，并且通过后台传输将这些数据适当地提供至服务器202。在步骤S341中，服务器202的数据管理单元676采集这些数据，并且更新所注册的信息。

在步骤S342中，服务器202的家具数据选择单元673基于在步骤S316中获得的家具数据的选择指令，通过控制通信单元264等，将所选择的家具的图像数据和3D建模数据提供至终端设备201。在步骤S331中，终端设备201的传输控制单元662通过控制通信单元234采集家具的图像数据和3D建模数据。

此外，在步骤S343中，服务器202的家具数据选择单元673选择具有与在步骤S342中提供的家具数据的家具高相关性的家具(例如，具有不同颜色的家具、具有不同尺寸的家具等)，并且通过控制通信单元264等将所述家具图像、3D建模数据等通过后台传输适当地提供至终端设备201。在步骤S332中，终端设备201的传输控制单元662通过控制通信单元234采集家具的图像数据和3D建模数据。

在没有来自终端设备201的请求的情况下，通过使相关的家具的这样的数据通过后台处理被传输至终端设备201，终端设备201的用户可以将待布置在虚拟拍摄图像上的家具图像替换为具有高相关性的其他家具的图像，而没有与数据采集有关的通信的时滞。

在步骤S333中，终端设备201的家具图像布置处理单元657执行家具图像布置处理，并且将作为对象的示例的家具图像布置在作为背景图像的示例的虚拟拍摄图像上。此时，家具图像布置处理单元657根据家具图像的位置布置，通过适当地设置家具图像的大小和取向来执行布置。在由于家具图像布置处理导致家具图像或3D建模数据的改变或添加可能变得必要的情况下，在步骤S334中，家具图像布置处理单元657通过控制通信单元234等向服务器202请求家具图像或3D建模数据的改变或添加。

在步骤S344中，当通过控制通信单元264等获得所述请求时，在步骤S345中，响应于所述请求，服务器202的家具数据选择单元673通过控制通信单元264等将家具的所选择的图像数据和3D建模数据提供至终端设备201。在步骤S335中，终端设备201的传输控制单元662通过控制通信单元234采集家具的图像数据和3D建模数据。

此外，在步骤S345中，服务器202的家具数据选择单元673选择具有与在步骤S344中提供的家具数据的家具高相关性的家具(例如，具有不同颜色的家具、具有不同尺寸的家具等)，并且通过控制通信单元264等将所述家具图像、3D建模数据等通过后台传输适当地提供至终端设备201。在步骤S336中，终端设备201的传输控制单元662通过控制通信单元234采集家具的图像数据和3D建模数据。

在没有来自终端设备201的请求的情况下，通过使相关的家具的这样的数据通过后台处理被传输至终端设备201，终端设备201的用户可以将待布置在虚拟拍摄图像上的家具图像替换为具有高相关性的其他家具的图像，而没有与数据采集有关的通信的时滞。

前进至图33，终端设备201的用户通过诸如上述的家具布置的模拟确定是否购买家具。在步骤S361中，用户指令接收处理单元651通过控制输入单元231等接收用户指令，并且根据所述指令确定待购买的家具。

在步骤S362中，终端设备201的购买处理单元658通过控制通信单元234等执行与服务器202的通信，并且执行与购买有关的处理，例如结算处理。在步骤S371中，服务器202的购买处理单元674通过控制通信单元264等执行与终端设备201或家具销售服务器601的通信，并且执行行与购买有关的处理，例如结算处理。在步骤S381中，家具销售服务器601的购买处理单元682通过控制通信单元424等执行与终端设备201或服务器202的通信，并且执行与购买有关的处理，例如结算处理。

在步骤S363中，终端设备201的文件生成单元659生成多视点图像文件。注意，所述多视点图像文件的格式形式是任意的。例如，在多视点图像是静态图像的情况下，其可以以EXIF文件格式被制成文件。此外，例如，在多视点图像是动态图像的情况下，其可以以MP4文件格式被制成文件。毋庸赘述，其可以以除了这些之外的格式形式被制成文件。

在步骤S364中，合成图像数据生成单元660生成其中通过根据用户指令执行布置使家具图像与虚拟拍摄图像合成的合成图像的数据(合成图像数据)。

在步骤S365中，在所述家具销售支持中，应用参数生成单元661对于某一参数设置某一值，由用户执行某一操作(指令)，并且生成表示已经执行哪种处理等的历史信息作为执行所述产品销售支持的应用的应用参数。

在步骤S366中，传输控制单元662通过控制通信单元234将诸如上述生成的各种类型的数据(多视点图像文件(多视点图像数据、深度数据、元数据等)、合成图像数据、应用参数等)提供至服务器202。

在步骤S372中，服务器202的采集控制单元675控制通信单元264，并且采集所述各种类型的数据。

在步骤S373中，数据管理单元676存储在步骤S372中采集的各种类型的数据，并且针对用户执行注册(反映在用户管理信息中)。

当步骤S373的处理结束时，多视点图像使用服务提供处理结束。

通过执行这样的多视点图像使用服务提供处理，用户可以通过使用多视点图像更容易地执行家具布置的透镜的模拟。此外，由于所生成的合成图像数据针对用户注册并且在服务器202中管理，因此用户可以容易地再确认家具的布置结果。即，多视点图像使用服务提供系统200(多视点图像使用服务平台100)可以提高使用多视点图像的服务的便利性。

<家具图像布置处理的流程>

接下来，将通过参照图34的流程图描述在图32的步骤S333中执行的家具图像布置处理的详细流程的示例。

当在步骤S391中开始家具图像布置处理时，家具图像布置处理单元657例如通过控制输入单元231等接收来自用户等的布置位置指定。

在步骤S392中，家具图像布置处理单元657基于作为背景图像的示例的虚拟拍摄图像(多视点图像)的深度数据和基线长度信息以及作为对象的示例的家具图像的3D建模数据，设置处于家具图像待布置在虚拟拍摄图像上的位置处的家具图像的取向和大小。

在步骤S393中，家具图像布置处理单元657通过对于虚拟拍摄图像在指定位置处(例如，通过在步骤S391中接收的布置位置指定)对在步骤S392中设置了方向和大小的家具图像进行布置来执行合成。

当步骤S393的处理结束时，家具图像布置处理结束，并且处理返回至图32。

通过执行诸如上述的家具图像布置处理，用户可以更容易地执行家具布置的模拟。

注意，上述家具图像布置处理不限于终端设备201，并且可以在任意设备中执行。例如，家具图像布置处理可以在服务器202中执行。在这种情况下，服务器202的CPU 251可以适当地具有必要的功能块，例如家具图像布置处理单元657。此外，在这种情况下，家具图像布置处理可以与上述示例中基本上相同地被执行。注意，终端设备201中获得的信息为用于家具图像布置处理的诸如多视点图像文件的信息，在传输控制单元662的控制下，所述信息可以根据需要适当地传输至服务器202。

类似地，毋庸赘述，所述家具图像布置处理例如可以在除了终端设备201或服务器202之外的执行多视点成像的设备(例如，终端设备401)等中执行。在这种情况下，所述设备的CPU可以适当地具有诸如家具图像布置处理单元657的必要的功能块。此外，在这种情况下，家具图像布置处理可以与上述示例中基本上相同地被执行。注意，在终端设备201或者服务器202中获得的信息为用于家具图像布置处理的诸如多视点图像文件或家具数据的信息，在传输控制单元662、家具数据选择单元673等的控制下，所述信息可以根据需要被适当地传输至所述设备。

<家具布置更新处理>

在诸如上述的产品销售支持的应用中，当布置位置指定已经被更新时，可以根据所述更新改变家具图像的组合位置。例如，如图35的A中所示，在布置在虚拟拍摄图像701上的家具图像702A的布置位置指定被更新的情况下，例如虚线箭头703，家具图像702A根据在所述更新之后的布置位置(家具图像702B)重新设置大小和取向。

此外，在虚拟拍摄图像的视点被更新的情况下，在新的视点的虚拟拍摄图像中，所布置的家具图像的位置可以不被更新，或者可以采用适合于初始位置的大小和取向重新布置所述家具图像。例如，如图35的B中所示，在其中房间704从视点705A被拍摄的虚拟拍摄图像中，沙发706被布置在诸如图35的B中。然后，在虚拟拍摄图像的视点移动至视点705B的情况下，在所述视点更新之后还期望沙发706反映在虚拟拍摄图像中。因此，在视点更新之后的虚拟拍摄图像中，沙发706被布置在所述位置处。此时，对于视点更新之后的虚拟拍摄图像，沙发706的取向和大小被适当地调整。

为了实现这样的功能，家具图像布置处理单元657执行家具布置更新处理。将通过参照图36的流程图描述所述家具布置更新处理的流程的示例。当开始家具布置更新处理时，在步骤S401中，家具图像布置处理单元657确定布置指定位置是否已经改变。例如，在经由输入单元231从用户已经接收新布置位置指定，并且确定布置位置指定已经改变的情况下，处理进入步骤S402。

在步骤S402中，家具图像布置处理单元657基于深度数据和基线长度信息以及3D模型数据设置家具图像的取向和大小。在步骤S403中，家具图像布置处理单元657在虚拟拍摄图像的更新之后在指定位置处合成家具图像。

当步骤S403的处理结束时，处理进行到步骤S404。此外，在步骤S401中，在确定布置指定位置未改变的情况下，处理进行到步骤S404。

在步骤S404中，家具图像布置处理单元657确定成像的位置和取向是否改变。例如，在确定成像的位置和取向改变的情况下，例如在执行新的多视点成像并且生成新的虚拟拍摄图像的情况下，或者在动态图像的多视点成像被执行同时移动的情况下，处理进行至步骤S405。

在步骤S405中，家具图像布置处理单元657通过虚拟地通过新的多视点图像重新产生拍摄图像来更新虚拟拍摄图像。在步骤S406中，在所述更新的虚拟拍摄图像中，家具图像布置处理单元657识别在虚拟拍摄图像更新之前布置的家具图像的位置。在步骤S407中，家具图像布置处理单元657设置更新的虚拟拍摄图像的在步骤S406中识别的位置处的家具图像的大小和取向。在步骤S408中，家具图像布置处理单元657采用在步骤S407中设置的大小和取向重新布置更新的虚拟拍摄图像的在步骤S406中识别的位置处的家具图像。

当步骤S408的处理结束时，家具布置更新处理结束。此外，在步骤S404中，在确定成像的位置和取向未改变的情况下，家具布置更新处理结束。

家具图像被布置在虚拟拍摄图像上，并且然后重复执行所述家具布置更新处理，直到家具布置的模拟结束。以这种方式，通常家具图像可以在适当的位置处与具有适当大小和取向的虚拟拍摄图像合成。

<接地确定>

此外，在家具图像的布置中，可以确定家具图像是否接触虚拟拍摄图像的地板等。例如，在图37的A中所示的虚拟拍摄图像711中，灯架712具有在诸如图37的A中所示的位置处的布置指定。在这种情况下，灯架712与地板714分离，例如通过虚线双箭头713所示，灯架712布置处于浮置在空气中的状态，并且不是真实的布置位置，因此作为家具布置的模拟是不适当和不期望的。

因此，在这样的情况下，如图37的B中所示，可以改变灯架712的布置位置，使得灯架712接触虚拟拍摄图像711的地板714。此外，可以不改变位置，并且可以给用户等警告。

为了实现这样的功能，家具图像布置处理单元657执行接地确定处理。将通过参照图38的流程图描述所述接地确定处理的流程的示例。

当接地确定处理开始时，在步骤S421中，家具图像布置处理单元657识别家具的布置指定位置的距家具的布置的可能位置例如地板的高度。在步骤S422中，家具图像布置处理单元657从所布置的家具图像的3D建模数据来确定所述家具图像是否接触家具布置的可能位置，例如地板。在确定未接地的情况下，处理进行至步骤S423。

在步骤S423中，家具图像布置处理单元657执行错误处理。所述错误处理的内容是任意的，并且可以执行任何处理。例如，如上所示，家具图像可以被移动使得家具图像接地，或者家具图像的布置位置可以不更新，并且可以给用户警告等。

当步骤S423的处理结束时，接地确定处理结束。此外，在步骤S422中，在确定家具图像接触家具布置的可能位置例如地板的情况下，接地确定处理结束。

每当执行家具布置时，执行所述接地确定处理。以这种方式，用户可以执行更真实的家具布置模拟。

此外，基于背景图像的内容(被包括在背景图像等中的对象的位置)不仅可以调整如上所述的对象的布置位置的高度方向，而且可以适当地调整对象的水平方向(左右方向或前后(深度)方向)的布置位置。

例如，将假定背景图像(虚拟拍摄图像)为具有最接近前面的大的柱子、所述柱子后的空间以及所述空间后的墙壁的房间的图像。在墙壁前面(房间内)，柱子的部分被设置为不能布置对象(家具图像)的区域，并且柱子后面与墙壁之间的空间被设置为能够布置对象(家具图像)的区域。此外，在执行指令使得家具图像被布置在不能这样布置的区域中的情况下，通过将所述家具图像移动至柱子后面与墙壁之间的空间来布置所述家具图像，所述空间为能够布置的区域。此时，家具图像不仅通过根据所述移动之后的布置位置设置大小和取向，而且通过执行处理以便根据需要使家具图像的一部分或者全部隐藏在柱子后面来与虚拟拍摄图像合成。

通过这样的设置，用户可以执行更真实的家具布置模拟。

<长度测量>

此外，可以测量虚拟拍摄图像的长度。例如，如图39中所示，在虚拟拍摄图像721中，测量了窗的水平宽度，例如虚线双箭头722。在虚拟拍摄图像721内，将根据所述窗的深度方向的距离等改变窗的大小。因此，可以通过使用多视点图像的深度数据、基线长度信息等，根据所述深度方向的距离校正所测量的长度。

为了实现这样的功能，家具图像布置处理单元657执行测量处理。将通过参照图40的流程图描述所述测量处理的流程的示例。

当开始测量处理时，在步骤S441中，家具图像布置处理单元657接收关于虚拟拍摄图像的范围指定。当执行范围指定时，在步骤S442中，家具图像布置处理单元657基于用于虚拟拍摄图像的生成的多视点图像的深度数据或基线长度信息测量所指定的范围的长度。当步骤S442的处理结束时，测量处理结束。

以这样的方式，例如，在图39的虚拟拍摄图像721中，可以更精确地测量窗的水平宽度的长度(虚线双箭头722)。因此，例如，在为该窗购买窗帘等时，可以抑制诸如窗帘尺寸的错误测量的错误的产生，并且可以抑制用户购买意图的降低。即，可以通过这样的服务支持销售。

<照明处理>

此外，可以再现照明(光线)投射到虚拟拍摄图像上的方式。例如，如图41所示，在灯架732布置在虚拟拍摄图像731上时，可以再现灯架732的照明被点亮的状态。

为了实现这样的功能，家具图像布置处理单元657执行照明处理。将通过参照图42的流程图描述所述照明处理的流程的示例。

当开始照明处理时，在步骤S461中，家具图像布置处理单元657接收包括与光源有关的诸如颜色、亮度或取向的参数的光源参数的指定。包括在所述光源参数中的每个参数的值可以由用户指定，或者可以提供作为与家具(照明装置)图像相关联的家具数据。在步骤S462中，家具图像布置处理单元657基于所指定的光源参数模拟(模仿外观)虚拟拍摄图像中照明(来自光源的光)的投射方式。在步骤S463中，家具图像布置处理单元657使得所述模拟结果反映在虚拟拍摄图像中。例如，照明投射的部分被点亮，照明未投射的部分变暗并且施加阴影。

通过这样的设置，用户可以执行更真实的照明装置布置模拟。因此，在购买照明装置时，诸如实际上购买的照明装置的光的颜色或亮度与当在商店、目录等中看到时估计的颜色或亮度显著不同的不便利性的产生可以被抑制，并且可以抑制用户的购买意图的降低。即，通过这样的服务可以支持销售。

<移动线引导处理>

此外，可以使变成移动线的部分在虚拟拍摄图像上高亮显示。例如，如图43所示，在其中桌子742被布置在虚拟拍摄图像741上的状态中，可以识别满足作为移动线的条件的部分743，并且所述部分可以被引导。在图43的示例的情况下，满足作为移动线的条件的部分743被显示，以便由对角图案线等来强调。虽然作为移动线的条件是任意的，例如，人能够站立在地板上等，但是也可以考虑确保人通过的程度的宽度。

表示满足作为移动线的条件的部分743的显示方法可以是通过颜色或者亮度，或者可以使用诸如箭头或星形的符号或图形。

为了实现这样的功能，家具图像布置处理单元657执行移动线引导处理。将通过参照图44的流程图描述所述移动线引导处理的流程的示例。

当开始移动线引导处理时，在步骤S481中，家具图像布置处理单元657基于基线长度信息识别虚拟拍摄图像中指定宽度以上的地板的部分，即满足作为移动线的条件的部分。在步骤S482中，家具图像布置处理单元657通过图案、颜色、亮度等高亮显示所述识别的部分。当步骤S482的处理结束时，移动线引导处理结束。

通过这样的设置，用户可以模拟家具的布置以便在家具布置时确保移动线。因此，例如，可以抑制诸如仅在家具太大并且人不能通过的空间中安装的不便利性的产生。此外，例如，诸如移动线是否可以在轮椅通过的地方被确保的确认可以在家具购买之前执行。因此，通过这样的服务可以提高用户的购买意图，并且可以支持销售。

<人物图像布置>

此外，在布置家具时，可以将人物图像布置在虚拟拍摄图像上。例如，如图45所示，可以将椅子752布置在虚拟拍摄图像751上，并且可以在椅子752附近布置人物图像753。所述人物图像可以是真实人的拍摄图像，或者可以是虚构人的图像。对于这些中的任一人物图像，与家具图像的3D建模数据类似的3D建模数据可以与该人物图像相关联。

为了实现这种功能，家具图像布置处理单元657执行人物图像布置处理。将通过参照图46的流程图描述所述人物图像布置处理的流程的示例。

当开始人物图像布置处理时，在步骤S501中，家具图像布置处理单元657经由输入单元231等接收来自用户等的人物图像的布置位置的位置指定。在步骤S502中，类似于家具图像的情况，家具图像布置处理单元657基于用于生成虚拟拍摄图像的拍摄图像的基线长度信息、深度数据等，设置在指定位置处的人物图像的大小和取向。在步骤S503中，家具图像布置处理单元657在指定位置处(例如，在步骤S501中)布置具有在步骤S502中设置的大小和取向的人物图像。当步骤S503的处理结束时，人物图像布置处理结束。

通过这种设置，用户不仅可以在虚拟拍摄图像中布置家具图像，而且可以在虚拟拍摄图像中布置人物图像。因此，可以比较所布置的家具和人物图像，并且可以更精确地表示所布置的家具的尺寸或气氛。因此，例如，可以抑制诸如所购买的家具大于所想或者不同于所想印象的不便利性的产生。因此，通过这样的服务，可以提高用户的购买意图，并且可以支持销售。

注意，人物图像的位置的设置方法是任意的。例如，可以根据家具图像的位置来确定人物图像的布置位置，例如在所布置的家具图像上或接近所布置的家具图像。此外，例如，用户可以指定家具图像，并且可以在与所指定的家具图像对应的位置处布置人物图像。注意，待布置的人物图像可以是1个人的图像，或者可以是多个人的图像。

注意，此处的人物图像不是作为用于支持销售的目标的对象(例如，家具图像)，而是待与背景图像(例如，虚拟拍摄图像)合成(布置)的图像的示例。即，可以通过类似于上述的人物图像的情况的方法来布置除了人物图像之外的任意图像。例如，其可以是诸如狗或猫的动物的图像(动物图像)，其可以是不为销售(支持)目标的产品的图像(产品图像)，或者其可以是其中将这些合成的图像诸如包括人物和动物两者的图像(混合图像)。

另外，在布置诸如上述的图像时，用户等可以选择待布置的图像。例如，可以选择是否布置人物图像、是否布置动物图像、是否布置产品图像、是否布置混合图像等。另外，可以执行详细的选择。例如，在人物图像的情况下，可以选择男人、女人、成年人、儿童、姿势(站立、坐下等)、服装、种族等。类似地，对于动物图像、产品图像和混合图像的情况，可以选择诸如类型、性别、年龄、大小或颜色的任意参数。注意，这种图像的选择方法是任意的。例如，用户等可以从预先准备的多个候选中选择期望的图像。此外，用户等可以通过对图像进行建立、处理和合成以建立待合成的诸如所述人物图像的图像。

<家具列表限制>

此外，如上所述，在用户选择待布置的家具时，虽然呈现了家具列表，但是在此时，其可以通过仅列出能够布置在虚拟拍摄图像内的家具来呈现给用户。即，可以从列表中省略不能布置的家具，并且用户等可以从能够被布置的家具图像(对象)中选择待布置在虚拟拍摄图像(背景图像)上的家具图像。

为了实现这样的功能，家具图像布置处理单元657执行家具列表限制处理。将通过参照图47的流程图描述所述家具列表限制处理的流程的示例。

当开始家具列表限制处理时，在步骤S521中，家具图像布置处理单元657根据用于生成虚拟拍摄空间的多视点图像的基线长度信息确定能够布置在虚拟拍摄图像内的家具的大小。在步骤S522中，家具图像布置处理单元657根据从服务器202提供的列表的家具图像的3D建模数据识别能够布置在虚拟拍摄图像内的家具。在步骤S523中，家具图像布置处理单元657仅建立在步骤S522中识别的家具的列表。显示控制单元652控制输出单元232，并且将通过家具图像布置处理单元657建立的所述列表显示在监视器上作为图像。当步骤S523的处理结束时，家具列表限制处理结束。

通过这样的设置，可以从呈现给用户的列表中去除不必要的家具。因此，用户可以参考更有用的列表，并且可以选择家具。特别地，在呈现大量或者多种类型的待售家具的情况下，用户从列表中选择家具可能将变得困难，并且因此将期望从列表中尽可能多地去除不必要的信息。因此，通过这样的服务，可以容易设置用户的家具选择，可以抑制购买意图的降低，并且可以支持销售。

注意，虽然在此之前已经描述了通过多视点成像获得的虚拟拍摄图像与家具图像被合成的示例，作为图像合成的示例，但是待被合成的图像可以是任意的。例如，可以合成拍摄图像，可以合成诸如计算机图形图像的人造图像，或者可以合成拍摄图像与人造图像。此外，可以合成其中拍摄图像的一部分变成人造图像的图像。另外，可以合成动态图像，可以合成静态图像，或者可以合成动态图像与静态图像。

此外，虽然在此之前已经描述了对象与背景图像合成，作为产品销售支持服务，但是所述对象可以是任意的，只要其为变成销售支持的目标的产品的图像即可，或者所述对象可以具有3D建模数据。例如，可以从与对象分离的位置提供3D建模数据。此外，例如，其可以不是3D建模数据，并且可以是表示大小的简单信息等。

此外，背景图像表示其上布置有对象的图像，并且未表示与对象交叠的关系(位置关系)。例如，对象前面交叠的前景可以被包括在背景图像中。此外，背景图像可以仅由所述前景组成(即，执行交叠使得整个背景图像位于对象的前面)。另外，背景图像可以根据对象待布置的位置变成对象的前景或者变成对象的背景。即，背景图像可以由多幅图像(所述多幅图像可以交叠)组成。此外，在此之前，虽然背景图像由1幅拍摄图像(虚拟拍摄图像)组成，但是对象和背景图像可以根据对象(家具图像)的布置位置(特别地，深度方向的位置)被适当地处理和合成，使得所述背景图像的一部分位于对象的前面。

<6.其他>

上述一系列的处理可以通过硬件来执行，或者可以通过软件来执行。在上述一系列的处理通过软件执行的情况下，从网络或记录介质安装组成所述软件的程序。

所述记录介质例如通过其中记录程序的、被分配用于将程序传送至用户的、与设备主体分离的可移除介质(例如，可移除介质241、可移除介质271、可移除介质431)组成，例如图4、图6和图16中所示。所述可移除介质中包括磁盘(包括柔性盘)和光盘(包括CD-ROM和DVD)。另外，还包括磁光盘(包括微型盘(MD))、半导体存储器等。

在这种情况下，通过将这些可移除介质安装在驱动器中，可以经由输入/输出接口将程序安装在存储单元中。

此外，所述程序可以经由有线或无线传输媒介例如局域网、互联网或数字卫星广播来提供。在这种情况下，可以通过每个设备的通信单元(例如，通信单元234、通信单元264、通信单元424)接收程序，并且程序可以安装在存储单元(例如，存储单元233、存储单元263、存储单元423)中。

除此之外，可以预先将所述程序安装在每个设备的ROM(例如，ROM222、ROM 252、ROM 412)或存储单元(例如，存储单元233、存储单元263、存储单元423)中。

注意，通过计算机执行的程序可以是以本公开中所述的顺序的时间序列执行处理的程序，或者可以是并行执行或者如在被调用执行时的必要时刻处执行处理的程序。

此外，在本公开中，描述了记录介质中记录的程序的步骤包括以所述顺序的时间序列执行的处理，并且还包括并行或单独执行的处理，而无需以时间序列处理。

此外，每个上述步骤中的处理可以在每个上述设备中执行，或者在除了每个上述设备之外的任意设备中执行。在这种情况下，执行这些处理的设备可以具有用于执行上述的这些处理的必要功能(功能块等)。此外，对于处理来说必要的信息可以被适当地传输至所述设备。

此外，在本公开中，系统表示多个组成元件(设备、模块(部件)等)的集合，并且不考虑全部组成元件是否在同一壳体内。因此，容纳在分离壳体中并且经由网络连接的多个设备以及其中多个模块被容纳在1个壳体内的1个设备都是系统。

此外，在此之前描述为1个设备(或处理单元)的配置可以被划分，并且可以配置为多个设备(或处理单元)。相反地，在此之前描述为多个设备(或处理单元)的配置可以被共同配置为1个设备(或处理单元)。此外，毋庸赘述，除了上述之外的配置可以添加至每个设备(或每个处理单元)的配置。另外，某一设备(或处理单元)的配置的一部分可以被包括在另一设备(或另一处理单元)的配置中，只要作为整个系统的配置和操作基本上相同即可。

本领域技术人员应当理解，根据设计需要和其他因素，可以存在各种修改、组合、子组合以及替换，只要其在所附权利要求或其等同内容的技术理念的范围内即可。

例如，本公开可以采用对于1项功能经由网络执行分配并且采用多个设备共同处理的云计算的配置。

此外，除了由1个设备执行之外，上述流程图中描述的每个步骤可以被分配并且由多个设备执行。

另外，在多个处理被包括在1个步骤中，并且不是由1个设备执行的情况下，包括在所述1个步骤中的所述多个处理可以被分配并且由多个设备执行。

根据上述实施例的图像处理设备例如可以应用于各种类型的电子装置，例如，卫星广播、诸如电缆电视的有线广播、互联网上分布的传输装置或接收装置、通过蜂窝通信等分布到终端、将图像记录至诸如光盘、磁盘和闪速存储器的介质的记录介质，或者从这些存储介质重现图像的重现设备。

此外，本公开不限于此，并且可以实施为安装在配置如下这样的设备或系统的设备中的任何配置：例如，作为系统大规模集成(LSI)等的处理器，使用多个处理器等的模块，使用多个模块等的单元，对除此之外的另外添加至单元(即，设备的配置的一部分)等的功能的设置。

另外，本技术还可以配置如下。

(1)一种图像处理设备，包括：

虚拟拍摄图像生成单元，所述虚拟拍摄图像生成单元通过使用多视点图像数据、表示了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄影对象而获得的虚拟拍摄图像。

(2)根据(1)以及(3)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元基于所述多视点图像通过所述配置信息生成指定数目的插值图像，并且通过使用所述多视点图像和所述插值图像生成所述虚拟拍摄图像。

(3)根据(1)、(2)以及(4)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元根据表示了所述多视点图像的每个视点的相对位置关系的序列信息、表示了所述多视点图像的视点数目的眼数信息、以及所述深度数据来生成所述插值图像。

(4)根据(1)至(3)以及(5)至(19)中任一项所述的图像处理设备，

其中，所述序列信息包括表示了从用作参考的视点至每个视点的距离的信息以及表示了每个视点相对于所述用作参考的视点的取向的信息。

(5)根据(1)至(4)以及(6)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元基于所述序列信息和所述眼数信息确定用作参考的图像、匹配轴、以及插值方法。

(6)根据(1)至(5)以及(7)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元通过使用所确定的用作参考的图像以及所述匹配轴，根据所述深度数据交叠由所述插值方法指定的图像来生成所述插值图像。

(7)根据(1)至(6)以及(8)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元根据待生成的插值图像的位置确定每幅交叠图像的混合比。

(8)根据(1)至(7)以及(9)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元通过交叠所述多视点图像与所述插值图像来生成所述虚拟拍摄图像。

(9)根据(1)至(8)以及(10)至(19)中任一项所述的图像处理设备，

其中，所述配置信息包括：包括在所述虚拟光学系统中的虚拟透镜的PSF数据，表示了包括在所述虚拟光学系统中的虚拟光圈形状的光圈形状信息，以及表示了所述插值图像的数目的插值图像数目信息。

(10)根据(1)至(9)以及(11)至(19)中任一项所述的图像处理设备，

其中，在交叠所述多视点图像与所述插值图像时，所述虚拟拍摄图像生成单元使得与所述深度数据对应的所述虚拟透镜的PSF数据得到反映。

(11)根据(1)至(10)以及(12)至(19)中任一项所述的图像处理设备，

其中，在交叠所述多视点图像与所述插值图像时，所述虚拟拍摄图像生成单元使得通过所述光圈形状信息表示的所述虚拟光圈形状被反映在所述多视点图像和所述插值图像中。

(12)根据(1)至(11)以及(13)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元根据作为与由用户指定的所述虚拟光学系统有关的参数的用户指定参数来生成所述虚拟拍摄图像。

(13)根据(1)至(12)以及(14)至(19)中任一项所述的图像处理设备，

其中，所述用户指定参数包括指定所述虚拟拍摄图像内的焦点位置的焦点位置指定信息、指定所述虚拟拍摄图像的摄影视场深度的摄影视场深度指定信息、以及在生成所述虚拟拍摄图像时对于超分辨率处理执行指定的超分辨率指定信息。

(14)根据(1)至(13)以及(15)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元基于所述深度数据获得由所述焦点位置指定信息指定的焦点位置的深度值，并且将所述虚拟拍摄图像的焦距设置到所述深度值。

(15)根据(1)至(14)以及(16)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元将所述虚拟拍摄图像的摄影视场深度设置到由所述摄影视场深度指定信息指定的摄影视场深度。

(16)根据(1)至(15)以及(17)至(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元根据所述超分辨率指定信息的指定对于所述虚拟拍摄图像执行超分辨率处理。

(17)根据(1)至(16)、(18)以及(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元仅对于所述虚拟拍摄图像的深度值与由所述焦点位置指定信息指定的焦点位置的深度值相同或接近的部分执行超分辨率处理。

(18)根据(1)至(17)以及(19)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元从存储单元获取特定于由用户选择的虚拟光学系统的配置信息。

(19)根据(1)至(18)中任一项所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元从另一设备获取所述配置信息。

(20)一种图像处理方法，包括：

通过使用多视点图像数据、表示了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄影对象而获得的虚拟拍摄图像。

附图标记列表

100 多视点图像使用服务平台

200 多视点图像使用服务提供系统

201 终端设备

202 服务器

221 CPU

236 成像单元

251 CPU

281 成像控制单元

282 元数据生成单元

283 编码单元

284 传输控制单元

291 用户管理单元

292 采集控制单元

293 深度检测单元

294 文件生成单元

295 数据管理单元

321 多视点图像文件

331 多视点图像编码数据

332 深度数据

333 元数据

401 终端设备

402 应用提供服务器

411 CPU

441 应用购买处理单元

451 用户管理单元

452 应用销售处理单元

453 数据管理单元

461 应用提供处理单元

511 用户指令接收处理单元

512 显示控制单元

513 传输控制单元

521 用户管理单元

522 应用选择处理单元

523 图像选择处理单元

524 透镜选择处理单元

525 用户指定参数设置处理单元

526 虚拟透镜处理单元

527 数据管理单元

601 家具销售服务器

651 用户指令接收处理单元

652 显示控制单元

653 成像控制单元

654 元数据生成单元

655 深度检测单元

656 虚拟拍摄图像生成单元

657 家具图像布置处理单元

658 购买处理单元

659 文件生成单元

660 合成图像数据生成单元

661 应用参数生成单元

662 传输控制单元

671 用户管理单元

672 应用选择单元

673 家具数据选择单元

674 购买处理单元

675 采集控制单元

676 数据管理单元

681 家具数据提供单元

682 购买处理单元

Claims (10)

1.一种图像处理设备，包括：

虚拟拍摄图像生成单元，所述虚拟拍摄图像生成单元通过使用多视点图像数据、表示了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄影对象而获得的虚拟拍摄图像。

2.根据权利要求1所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元基于所述多视点图像通过所述配置信息生成指定数目的插值图像，并且通过使用所述多视点图像和所述插值图像生成所述虚拟拍摄图像。

3.根据权利要求2所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元根据表示了所述多视点图像的每个视点的相对位置关系的序列信息、表示了所述多视点图像的视点数目的眼数信息、以及所述深度数据来生成所述插值图像。

4.根据权利要求3所述的图像处理设备，

其中，所述序列信息包括表示了从用作参考的视点至每个视点的距离的信息以及表示了每个视点相对于所述用作参考的视点的取向的信息。

5.根据权利要求4所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元基于所述序列信息和所述眼数信息确定用作参考的图像、匹配轴、以及插值方法。

6.根据权利要求5所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元通过使用所确定的用作参考的图像以及所述匹配轴，根据所述深度数据交叠由所述插值方法指定的图像来生成所述插值图像。

7.根据权利要求6所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元根据待生成的插值图像的位置确定每幅交叠图像的混合比。

8.根据权利要求7所述的图像处理设备，

其中，所述虚拟拍摄图像生成单元通过交叠所述多视点图像与所述插值图像来生成所述虚拟拍摄图像。

9.根据权利要求8所述的图像处理设备，

其中，所述配置信息包括：包括在所述虚拟光学系统中的虚拟透镜的PSF数据，表示了包括在所述虚拟光学系统中的虚拟光圈形状的光圈形状信息，以及表示了所述插值图像的数目的插值图像数目信息。

10.根据权利要求9所述的图像处理设备，

其中，在交叠所述多视点图像与所述插值图像时，所述虚拟拍摄图像生成单元使得与所述深度数据对应的所述虚拟透镜的PSF数据得到反映。

Images