CN109643467B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本公开涉及一种图像处理设备和图像处理方法，其中主服务器仅通过发送基于观看位置和视线方向的观看范围并从请求内容服务器请求生成三维图像所必需的纹理图像来再现三维图像。内容服务器针对包括在多相机单元中的每个相机，对多个多相机单元进行分组，基于每个组中的相机设置的评估值为每个组设置相机优先级，并且根据所设置的优先级和根据用户的视野范围选择的组将所选择的相机的表面的图像数据发送到主服务器。本公开可以应用于例如从全天球图像生成预定视点的显示图像的主服务器等。

Description

图像处理设备和图像处理方法

技术领域

本公开涉及图像处理设备和图像处理方法，尤其涉及能够使用全天球图像生成预定视点的高质量纹理图像的图像处理设备和图像处理方法。

背景技术

存在一种生成全天球图像的存储设备，其中由多相机单元以水平方向360度和垂直方向180度拍摄的拍摄图像被映射到2D图像(平面图像)，并且对全天球图像进行编码和存储(例如，参见专利文献1)。

此外，存在一种再现设备，该再现设备解码由存储设备存储的全天球图像的编码流，并使用作为结果获得的全天球图像来显示观看者视野范围内的纹理图像。这种再现设备使得在观看3D模型的表面时，从3D模型内的一个点的视点在观看者的视线方向上观看3D模型的表面时，观看者的视野范围内的纹理图像被显示，其中全天球图像被粘贴到诸如球体或立方体的3D模型的表面。因此，再现从预定视点在观看者的视野范围内拍摄的图像。

引文列表

专利文献

专利文献1：JP 2006-14174A

发明内容

技术问题

然而，使用由一个多相机单元拍摄的图像形成的全天球图像的显示受到限制。

本公开是针对这种情况而设计的，并且提供了一种能够通过使用由多个多相机单元拍摄的多个全天球图像来生成各种视点的高质量纹理图像的技术。

问题的解决方案

根据本公开的第一方面的图像处理设备是这样一种图像处理设备，其包括：分组单元，其被配置为将获取生成被摄体的三维数据所需的纹理图像的多个相机分类为多个组；以及优先级设置单元，其被配置为为多个组中的每个组设置多个相机的优先级。

组选择单元，其被配置为接收对纹理图像的请求，这些纹理图像是基于观看者的观看位置和视线方向，对应于观看者的视野范围，并且是生成对象的三维数据所必需的，并且从多个组中选择获取包括观看者的视野范围内的被摄体的纹理图像的相机组；以及图像选择单元，其被配置为根据由组选择单元选择的组中的相机的优先级来选择与观看者的视野范围相对应的纹理图像，并且可以进一步包括发送纹理图像。

还可以包括评估单元，其被配置为基于拍摄用于生成被摄体的三维数据的纹理图像的相机的配置，针对获取包括被摄体的纹理图像并被分类为多个组的多个相机的每个组，计算相机的配置关于三维数据的生成的评估值。优先级设置单元可以基于每个组的评估值来设置相机的优先级。

生成被摄体的三维数据所需的纹理图像可以包括全天球图像和包围图像，并且优先级设置单元可以基于评估值为每个组在全天球图像的情况下设置作为多个相机的优先级的全天球优先级，并且在包围图像的情况下设置作为多个相机的优先级的包围优先级。

由接收单元接收的请求可以包括指定全天球图像和包围图像之一的信息，在该请求包括指定全天球图像的信息的情况下，图像选择单元可以根据由组选择单元选择的组中的相机的全天球优先级来选择生成全天球图像所必需的并且对应于观看者视野范围的纹理图像，并且发送纹理图像，并且在该请求包括指定包围图像的信息的情况下，图像选择单元可以根据由组选择单元选择的组中的相机的包围优先级来选择生成包围图像所必需的并且对应于观看者的视野范围的纹理图像，并且发送纹理图像。

多个相机可以包括在多个多相机单元中，所述多个多相机单元在多个方向上执行拍摄，并且分组单元不仅可以将获取生成被摄体的三维数据所必需的纹理图像的多个相机分类为多个组，还可以将多相机单元分类为多个组。

优先级设置单元可以基于评估值，以多相机单元为单位，为多个组中的每个组设置多个相机的全天球优先级。

分组单元可以基于多个相机的位置将多个相机分类成多个组。

还可以包括组信息生成单元，其被配置为生成关于多个组中的每个组的组信息。组信息可以是指示包括分类成组的相机的区域的质心位置的信息。

分组单元可以将对应于纹理图像的相机分类为对应于使用纹理图像生成的三维数据的每个三维物体的组。

还可以包括组信息生成单元，其被配置为生成关于多个组中的每个组的组信息。组信息可以是指示对应于该组的三维物体的信息。

分组单元可以将对应于纹理图像的相机分类为对应于使用纹理图像生成的三维数据的每个三维空间的组。

还可以包括组信息生成单元，其被配置为生成关于多个组中的每个组的组信息。组信息可以是指示对应于该组的三维空间的信息。

根据本公开的第一方面的图像处理方法是这样一种图像处理方法，其包括以下步骤：将获取生成被摄体的三维数据所必需的纹理图像的多个相机分类为多个组；以及为多个组中的每个组设置多个相机的优先级。

根据本公开的第一方面，获取生成被摄体的三维数据所必需的纹理图像的多个相机被分类为多个组，并且为多个组中的每一个设置多个相机的优先级。

根据本公开的第二方面的图像处理设备是这样一种图像处理设备，其包括：发送单元，其被配置为发送对纹理图像的请求，该纹理图像是基于观看者的观看位置和视线方向，对应于观看者的视野范围，并且是生成被摄体的三维数据所必需的；以及再现单元，其被配置为再现根据在多个相机中设置的优先级选择和发送的纹理图像，所述多个相机基于所述请求被选择为与观看者的视野范围相对应的组，并且属于获取生成被摄体的三维数据所必需的纹理图像的多个相机被分类到的多个组中的组。

该请求可以包括指定全天球图像和包围图像之一的信息。

根据本公开的第二方面的图像处理方法是这样一种图像处理方法，其包括以下步骤：发送对纹理图像的请求，该纹理图像基于观看者的观看位置和视线方向，对应于观看者的视野范围，并且是生成被摄体的三维数据所必需的；以及再现根据在多个相机中设置的优先级选择和发送的纹理图像，所述多个相机基于该请求被选择为与观看者的视野范围相对应的组，并且属于获取生成被摄体的三维数据所必需的纹理图像的多个相机被分类到的多个组中的组。

根据本公开的第二方面，发送对纹理图像的请求，所述纹理图像基于观看者的观看位置和视线方向，对应于观看者的视野范围，并且是生成被摄体的三维数据所必需的，并且再现根据在多个相机中设置的优先级来选择和发送的纹理图像，所述多个相机基于所述请求被选择为与观看者的视野范围相对应的组，并且属于获取生成被摄体的三维数据所必需的纹理图像的多个相机所在被分类到的组中的组。

注意，这里描述的有利效果不一定是限制性的，也可以获得本公开中描述的有利效果。

附图说明

图1是示出应用本公开的图像显示系统的第一实施例的配置示例的框图。

图2是示出内容服务器的配置示例的框图。

图3是示出高分辨率图像处理单元的配置示例的框图。

图4是示出距离z和距离r的说明图。

图5是示出最小值zmin和最小值rmin的说明图。

图6是示出深度方向上的变化的说明图。

图7是示出当第一层的六个表面的深度图像映射到球体时，球体上的每个像素的位置的示例的图。

图8是示出第一层的表面的示例的图。

图9是示出第一层的视点位置信息和表面信息表的配置示例的图。

图10是示出与第一层的预定表面相对应的被摄体在深度方向上的位置的图。

图11是示出第一层和第二层的纹理图像的配置示例的图。

图12是示出第一层和第二层的纹理图像的示例的说明图。

图13是示出第一层和第二层的纹理图像的其他示例的说明图。

图14是示出第二层的视点的第一示例的图。

图15是示出第二层的视点位置信息和表面信息表的第一配置示例的图。

图16是示出第二层的视点的第二示例的图。

图17是示出第二层的视点位置信息和表面信息表的第二配置示例的图。

图18是示出流生成处理的说明性流程图。

图19是示出主服务器的配置示例的框图。

图20是示出ML 3D模型生成单元的配置示例的框图。

图21是示出连接信息的示例的说明图。

图22是示出连接信息的另一示例的说明图。

图23是示出采样点的示例的说明图。

图24是示出采样点的另一示例的说明图。

图25是示出遮挡处理的说明图。

图26是示出再现处理的说明性流程图。

图27是示出三维数据生成处理的细节的说明性流程图。

图28是示出三角形补片有效和无效信息的说明图。

图29是示出应用本公开的图像显示系统的第二实施例的配置示例的框图。

图30是示出第一层的纹理图像的另一示例的图。

图31是示出应用本公开的图像显示系统的第三实施例的配置示例的框图。

图32是示出图31的图像显示系统中的相机层的说明图。

图33是示出图31的图像显示系统中的相机层的说明图。

图34是示出图31的图像显示系统中的相机层的说明图。

图35是示出图31的图像显示系统中的相机层的说明图。

图36是示出图31的图像显示系统中的内容服务器中的高质量图像处理单元的配置示例的说明图。

图37是示出图36的分组处理单元的配置示例的说明图。

图38是示出相机的第一分类方法的第一示例的说明图。

图39是示出相机的第一分类方法的第二示例的说明图。

图40是示出第一分类方法中的全局表的配置示例的图。

图41是示出相机的第二分类方法的说明图。

图42是示出第二分类方法中的全局表的配置示例的图。

图43是示出相机的第三分类方法的说明图。

图44是示出第三分类方法中的全局表的配置示例的图。

图45是示出组表的示例的图。

图46是示出图36中的优先级设置单元的配置示例的说明图。

图47是示出候选包围设置的示例的说明图。

图48是示出图46中的评估单元的处理的说明图。

图49是示出由图46中的评估单元计算的评估值的说明图。

图50是示出由图46中的优先级确定单元确定的优先级的说明图。

图51是示出由图46中的优先级确定单元设置的优先级表的说明图。

图52是示出图36中的选择单元的配置示例的说明图。

图53是示出在全局表中选择组的方案的说明图。

图54是示出图31中的主服务器的流生成处理的说明性流程图。

图55是示出图31中的分组处理的说明性流程图。

图56是示出图31中的选择单元的配置示例的说明图。

图57是示出图31中的主服务器的再现处理的说明性流程图。

图58是示出图31中的内容服务器的再现处理的说明性流程图。

图59是示出计算机的硬件配置示例的框图。

图60是描述车辆控制系统的示意性配置的示例的框图。

图61是辅助说明车外信息检测部和摄像部的安装位置的示例的图。

具体实施方式

以下，将描述用于执行本公开的模式(以下称为实施例)。请注意，将按以下顺序进行描述。

1.第一实施例：图像显示系统(图1至图28)

2.第二实施例：图像显示系统(图29)

3.纹理图像的其它示例(图30)

4.第三实施例：图像显示系统(图31至图58)

5.第四实施例：计算机(图59)

6.应用示例(图60和图61)

<第一实施例>

(图像显示系统的第一实施例的配置示例)

图1是示出应用本公开的图像显示系统的第一实施例的配置示例的框图。

图1中的图像显示系统10包括多相机单元11、内容服务器12、主服务器13、转换设备14和头戴式显示器15。图像显示系统10从由多相机单元11拍摄的作为YCbCr图像(YUV图像)的拍摄图像生成全天球图像，并且在全天球图像中显示观看者的视野范围内的图像。

具体而言，图像显示系统10的多相机单元11包括多个相机(例如，图1的示例中的六个相机)，这些相机的拍摄范围在水平方向上为360度，在垂直方向上为180度，并且被设置为向外取向。每个相机执行拍摄并以帧为单位生成拍摄图像。多相机单元11将每个相机的拍摄图像提供给内容服务器12。

内容服务器12(图像处理设备)根据从多相机单元11提供的每个相机的拍摄图像，生成预定视点处的全天球图像的纹理图像和深度图像。在第一实施例中，深度图像是这样的图像，其中距离r的倒数1/r被设置为像素值，该距离r是指示从预定视点到每个像素处的被摄体的直线的距离r的8位值。

内容服务器12降低全天球图像的纹理图像和深度图像的分辨率，以生成低分辨率纹理图像和低分辨率深度图像。内容服务器12根据诸如高级视频编码(AVC)或高效视频编码(HEVC)/H.265的编码方案压缩和编码低分辨率纹理图像和低分辨率深度图像。内容服务器12存储作为结果获得的低分辨率纹理图像的编码流(以下称为低分辨率纹理流)和低分辨率深度图像的编码流(以下称为低分辨率深度流)。

此外，内容服务器12使用每个相机的拍摄图像来分级并生成对应于立方体的六个表面的纹理图像和深度图像，其中全天球图像中的视点是立方体的中心。具体地，内容服务器12生成六个表面的第一层和第二层的纹理图像和深度图像。注意，全天球图像中的视点可能与立方体的中心不同。

内容服务器12根据诸如AVC或HEVC的编码方案，针对每个表面、每种图像和每一层，对包括每个表面的第一层的纹理图像和深度图像的第一层图像以及包括每个表面的第二层的纹理图像和深度图像的第二层图像进行压缩和编码。内容服务器12存储作为结果获得的每个表面的第一层的纹理图像的编码流(以下称为第一层纹理流)、第一层的深度图像的编码流(以下称为第一层深度流)、第二层的纹理图像的编码流(以下称为第二层纹理流)以及第二层的深度图像的编码流(以下称为第二层深度流)。注意，用于第一层图像和第二层图像的编码方案可以是多视点视频编码(MVC)方案、3D-HEVC方案等。

此外，内容服务器12生成关于第一层和第二层的每个表面的信息等作为元数据，并存储元数据。内容服务器12经由网络(未示出)将存储的低分辨率纹理流和低分辨率深度流、第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据发送到主服务器13。

注意，内容服务器12还可以重新配置六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流(其细节将在下面描述)。在这种情况下，内容服务器12还可以将重新配置之后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及与其对应的元数据发送到主服务器13。然而，在下文中，为了便于描述，假设将重新配置之前的六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流传输到内容服务器12，即使在它们被重新配置的情况下。

主服务器13(图像处理设备)接收从内容服务器12发送的六个表面的低分辨率纹理流和低分辨率深度流、第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，以及元数据。

此外，主服务器13包含相机13A，并拍摄佩戴在观看者头上的头戴式显示器15上附着的标记15A。然后，主服务器13基于标记15A的捕获图像检测观看位置。此外，主服务器13经由转换设备14从头戴式显示器15接收头戴式显示器15的陀螺仪传感器15B的检测结果。主服务器13基于陀螺仪传感器15B的检测结果来决定观看者的视线方向，并且基于观看位置和视线方向来决定观看者的视野范围。

主服务器13从第一层的六个表面中选择与观看者的视线方向相对应的三个表面。然后，主服务器13解码对应于所选择的三个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。因此，主服务器13生成对应于所选三个表面的第一层和第二层的纹理图像和深度图像。

此外，主服务器13解码低分辨率纹理流和低分辨率深度流，以生成低分辨率纹理图像和低分辨率深度图像。主服务器13使用对应于所选三个表面的第一层和第二层的纹理图像和深度图像以及低分辨率纹理图像和低分辨率深度图像，生成观看者视野范围内的图像作为显示图像。主服务器13通过高清多媒体接口(HDMI：登记商标)电缆(未示出)将显示图像发送到转换设备14。

转换设备14将从主服务器13发送的显示图像中的坐标转换成头戴式显示器15中的坐标。转换设备14将坐标转换后的显示图像提供给头戴式显示器15。

头戴式显示器15包括标记15A和陀螺仪传感器15B，并且佩戴在观看者的头上。头戴式显示器15显示从转换设备14提供的显示图像。此外，包含在头戴式显示器15中的陀螺仪传感器15B检测头戴式显示器15的倾斜，并经由转换设备14将检测结果发送到主服务器13。

(内容服务器的配置示例)

图2是示出图1中的内容服务器12的配置示例的框图。

图2中的内容服务器12包括深度检测单元31、量化单元32、低分辨率图像处理单元33和高分辨率图像处理单元34。

内容服务器12的深度检测单元31对于从图1中的多相机单元11提供的每个相机的拍摄图像的每个像素，检测相机和垂直于深度方向并且包括每个像素中的被摄体的深度平面之间的深度方向上的距离z的倒数1/z。深度检测单元31将作为结果获得的每个相机的拍摄图像的每个像素的倒数1/z提供给量化单元32。

当被认为是全天球图像中的视点的多相机单元11的三维坐标系(以下称为相机坐标系)中的预定三维位置被设置为视点时，量化单元32将从深度检测单元31提供的每个相机的拍摄图像的每个像素的倒数1/z转换为倒数1/r。然后，量化单元32根据下面的表达式(1)对倒数1/r执行8位量化。

[数学式1]

注意，I_d(r)是距离r的倒数1/r的8位量化之后的值。这里，r_max和r_min分别是所有相机的拍摄图像中的距离r的最大值和最小值。

量化单元32通过将每个相机的拍摄图像的每个像素的倒数1/r的8位量化后的值设置为像素值来生成每个相机的深度图像，并将深度图像提供给低分辨率图像处理单元33和高分辨率图像处理单元34。

低分辨率图像处理单元33通过将从多相机单元11提供的每个相机的拍摄图像映射(执行透视投影)到以视点为中心的规则八面体，并将相机坐标系中的预定三维位置设置为视点，来生成全天球图像的纹理图像。此外，低分辨率图像处理单元33通过将从量化单元32提供的每个相机的深度图像映射到拍摄图像中的规则八面体来生成全天球图像的深度图像。

低分辨率图像处理单元33降低全天球图像的纹理图像和深度图像的分辨率，以生成低分辨率纹理图像和低分辨率深度图像。低分辨率图像处理单元33压缩和编码低分辨率纹理图像和低分辨率深度图像，并存储由此获得的低分辨率纹理流和低分辨率深度流。低分辨率图像处理单元33将存储的低分辨率纹理流和低分辨率深度流发送到图1中的主服务器13。

高分辨率图像处理单元34使用从多相机单元11提供的每个相机的拍摄图像，生成第一层和第二层的纹理图像，该纹理图像对应于立方体的六个表面，立方体的中心与低分辨率图像处理单元33中的正八面体的中心相同。高分辨率图像处理单元34使用从量化单元32提供的每个相机的深度图像，生成与拍摄图像中的六个表面对应的第一层和第二层的深度图像。

高分辨率图像处理单元34针对每个表面、每种图像和每一层压缩和解码每个表面的第一层和第二层的纹理图像和深度图像。内容服务器12存储作为结果获得的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

此外，高分辨率图像处理单元34生成并存储元数据。内容服务器12经由网络(未示出)将存储的六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及存储的元数据发送到主服务器13。

(高分辨率图像处理单元的配置示例)

图3是示出图2中的高分辨率图像处理单元34的配置示例的框图。

图3中的高分辨率图像处理单元34包括第一层生成单元52、编码器53、第二层生成单元54、编码器55、设置单元56、元数据生成单元57、存储器58、重新配置单元59和发送单元60。

设置单元56向第一层生成单元52提供视点位置信息，该视点位置信息指示原点作为三维坐标系(以下称为3D模型坐标系)中的第一层的视点的三维位置，其中相机坐标系中的全天球图像的视点为原点。此外，向第一层生成单元52提供3D模型坐标系中的三维位置和表面信息，所述表面信息指示关于包括六个表面中的每一个的尺寸，所述六个表面包括以3D模型坐标系的原点为中心的立方体的六个表面。

第一层生成单元52将视点位置信息指示的原点设置为第一层的视点(第一视点)。第一层生成单元52(图像生成单元)使用相机坐标系中的全天球图像的视点作为原点，从第一层的视点将从图1中的多相机单元11提供的拍摄图像映射到由六条表面信息表示的尺寸的三维位置和表面中的每一个。因此，第一层生成单元52生成第一层的六个表面的纹理图像。

此外，第一层生成单元52(图像生成单元)使用相机坐标系中的全天球图像的视点为原点，从第一层的视点，将从图2中的量化单元32提供的深度图像映射到由六条表面信息表示的尺寸的三维位置和表面中的每一个。因此，第一层生成单元52生成第一层的六个表面的深度图像。

由于对应于第一层的六个表面的视点是相同的，所以第一层的六个表面的纹理图像可以说是通过将映射到3D模型的全天球图像映射到六个表面而获得的图像，其中第一层的视点是在3D模型的中心。类似地，第一层的六个表面的深度图像可以说是通过将映射到3D模型的全天球图像的深度图像映射到六个表面而获得的图像，其中第一层的视点是3D模型的中心。第一层生成单元52将第一层的六个表面的纹理图像和深度图像提供给编码器53。

编码器53压缩和编码从第一层生成单元52提供的第一层的六个表面的纹理图像和深度图像，以生成第一层纹理流和第一层深度流。编码器53将第一层纹理流和第一层深度流提供给存储器58。

设置单元56向第二层生成单元54提供关于与第一层的每个表面相对应的第二层的每个表面的关于与第一层的视点不同的视点(第二视点)的视点位置信息以及与第一层的每个表面相对应的第二层的每个表面相关的表面信息。第二层生成单元54针对第二层的每个表面将由对应于每个表面的视点位置信息指示的三维位置设置为第二层的视点。

第二层生成单元54(图像生成单元)针对第二层的每个表面，从与每个表面相对应的第二层的视点，将从多相机单元11提供的拍摄图像中的第一层的视点处的遮挡区域映射到第二层的表面。因此，第二层生成单元54生成第二层的六个表面的纹理图像。

此外，第二层生成单元54(图像生成单元)针对第二层的每个表面，从与每个表面相对应的第二层的视点，将从量化单元32提供的深度图像中的第一层的观点处的遮挡区域映射到第二层的表面。因此，第二层生成单元54生成第二层的六个表面的深度图像。

即，多相机单元11的相机的位置存在差异。因此，当相机坐标系中的一个三维位置被设置为视点时，该视点处的遮挡区域被包括在拍摄图像中。然而，由于第一层的纹理图像是通过映射一个视点的全天球图像来生成的，因此第一层的纹理图像不包括该视点处的遮挡区域的拍摄图像。因此，第二层生成单元54包括遮挡区域的拍摄图像作为第二层的纹理图像。深度图像也是如此。

编码器55针对每个表面和每种图像压缩和编码从第二层生成单元54提供的六个表面的第二层的纹理图像和深度图像，以生成第二层纹理流和第二层深度流。编码器55将第二层纹理流和第二层深度流提供给存储器58。

设置单元56将3D模型坐标系中的原点设置为第一层的视点。设置单元56将包括立方体的六个矩形表面的六个表面设置为第一层的表面，其中第一层的视点是立方体的中心。此外，设置单元56为第一层的每个表面设置第二层的视点和矩形表面。

设置单元56将第一层的一条视点位置信息和第一层的六条表面信息提供给第一层生成单元52和元数据生成单元57。此外，设置单元56将与第一层的六个表面相对应的第二层的六条视点位置信息和六条表面信息提供给第二层生成单元54和元数据生成单元57。

元数据生成单元57生成包括从设置单元56提供的第一层的视点位置信息和表面信息以及第二层的视点位置信息和表面信息的表作为元数据，并将该表提供给存储器58。

存储器58存储从编码器53提供的第一层纹理流和第一层深度流以及从编码器55提供的第二层纹理流和第二层深度流。另外，存储器58存储从元数据生成单元57提供的元数据。

此外，存储器58存储从重新配置单元59提供的重新配置之后的元数据和第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

重新配置单元59根据需要读取并重新配置存储在存储器58中的六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

具体地，重新配置单元59使用重新配置之前的第一层纹理流改变对应于第一层纹理流的表面的数量或视场角，并且使用重新配置之前的第一层深度流改变对应于第一层深度流的表面的数量和视场角。例如，重新配置单元59将第一层的表面从包括形成立方体的六个表面的六个表面改变为通过将六个表面和十二个表面相加而获得的十八个表面，所述十二个表面是通过六个表面的中心的法线通过立方体的十二条边的中心点和视点的线。

备选地，重新配置单元59使用重新配置之前的第一层纹理流改变对应于第一层纹理流的表面的间隔(密度)，并且使用重新配置之前的第一层深度流改变对应于第一层深度流的表面的间隔。例如，重新配置单元59将第一层的表面从穿过中心的法线间隔为90度的包括形成立方体的六个表面的六个表面改变为穿过中心的法线间隔为45度的十八个表面。

当第一层表面的间隔变窄时，表面的数量增加。因此，总数据容量会增加。在主服务器13中，可以使用纹理图像和深度图像来生成显示图像，所述纹理图像和深度图像对应于更接近观看者视野范围的第一层的表面。结果，使用显示图像中的第一层或第二层的纹理图像和深度图像生成的高分辨率区域增加，从而提高了显示图像的质量。

注意，重新配置单元59可以通过使用重新配置之前的第一层纹理流改变第一层纹理流的表面位置，并且使用重新配置之前的第一层深度流改变第一层深度流的表面位置，借此执行重新配置。在这种情况下，例如，当主被摄体在第一层的表面之间的边界中时，重新配置单元59通过旋转对应于第一层的六个表面的立方体，使得主被摄体位于除第一层的表面的边界之外的位置(例如，中心)，借此执行重新配置。

此外，重新配置单元59可以通过使用重新配置之前的第一层纹理流改变第一层纹理流的表面的倾斜，并且使用重新配置之前的第一层深度流改变第一层深度流的表面的倾斜，借此执行重新配置。在这种情况下，例如，当第一层的纹理图像中的主被摄体倾斜时，重新配置单元59通过旋转对应于第一层的六个表面的立方体使得表面不倾斜，借此执行重新配置。

重新配置单元59针对以这种方式改变的第一层的每个表面设置重新配置之后的第二层的视点和表面。然后，重新配置单元59使用重新配置之前的第二层纹理流将与第二层纹理流相对应的视点和表面改变为重新配置之后的第二层的设定视点和表面。此外，重新配置单元59使用重新配置之前的第二层深度流将与第二层深度流相对应的视点和表面改变为重新配置之后的第二层的设定视点和表面。

重新配置单元59将重新配置后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给存储器58。此外，重新配置单元59生成包括重新配置后的第一层的视点位置信息和表面信息以及第二层的视点位置信息和表面信息的表作为元数据，并将元数据提供给存储器58。

传输单元60从存储器58读取六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并将它们发送到图1中的主服务器13。

如上所述，图3中的高分辨率图像处理单元34通过透视投影生成第一层图像和第二层图像。因此，主服务器13可以对第一层图像和第二层图像执行正常图像的处理。此外，高分辨率图像处理单元34可以根据发送正常图像的编码流的方法来发送第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

(深度图像的有利效果的说明)

图4是示出距离z和距离r的说明图，图5是示出距离z的最小值zmin和距离r的最小值rmin的说明图。

注意，图4和图5是示出当从上侧观察时对应于第一层的立方体的预定表面的图。

距离z是从视点到垂直于深度方向并且包括每个像素处的被摄体的深度平面的深度方向上的距离。此外，第一层的每个表面的深度方向是垂直于第一层的每个表面的方向。因此，第一层的每个表面平行于深度平面。因此，等距z表面(它是第一层的每个表面上与之相隔的距离z相同的深度平面)的形状是立方体形状，其中第一层的视点O为中心。因此，当从对应于第一层的立方体的预定表面观察时，等距z表面的形状是正方形，如图4的A中的虚线所示。

因此，在第一层的每个表面的视角改变的情况下，如图5的A所示，所有表面上的距离z的最小值zmin改变。例如，如图5的A所示，在第一层的每个表面的横向方向(图5中的上下方向)上的视角从90度改变到120度的情况下，改变后的每个表面的纹理图像包括在横向方向上与第一层的每个表面相邻并且深度方向不同于该表面的两个表面的纹理图像。因此，在第一层的每个表面的横向方向上的视角为120度的情况下的最小值zmin是视点O和深度平面之间在深度方向上的距离z的最小值，深度平面对应于在横向方向上相邻的两个相邻表面，并且包括在第一层的每个表面的横向方向上的视角为90度的情况下最小值zmin的等距z表面61的位置。距离z的最大值zmax也类似于最大值zmin。

此外，如图6所示，在对应于第一层的立方体80使用通过视点O的线作为轴线旋转并且第一层的每个表面的位置改变的情况下，改变之前的表面的深度方向p不同于改变之后的表面的深度方向q。因此，距离z的最小值zmin和最大值zmax被改变。注意，在图6中，虚线表示变化前表面的等距z表面，单点划线表示变化后表面的等距z表面。

此外，尽管未示出，但是即使在第一层的表面数量或表面间隔改变的情况下，深度方向也与第一层的每个表面的位置改变的情况一样改变。因此，最小值zmin和最大值zmax被改变。

如上所述，在第一层的视场角、位置、表面数量或表面间隔改变的情况下，距离z的最小值zmin和最大值zmax改变。因此，当距离z的倒数1/z被用作第一层的深度图像的每个像素的y值(像素值)时，需要在重新配置单元59重新配置时再次执行深度图像的8位量化。

另一方面，距离r是从视点到每个像素处的被摄体的直线距离。此外，从第一层的每个表面的视点O到被摄体的直线的方向是其中视点O为中心的圆的径向方向，而与表面无关。因此，第一层的每个表面上从其距离r相同的等距r表面的形状是以第一层的视点O为中心的球形。因此，当从对应于第一层的立方体的预定表面观察时，等距r表面的形状为圆形，如图4的B中的虚线所示。

如上所述，由于从第一层的每个表面的视点O到被摄体的直线的方向与表面无关都是相同的，所以所有表面上的距离r的最小值rmin不会改变，如图5的B所示，即使在第一层的每个表面的视场角改变的情况下。

例如，在改变之前的表面和在横向方向上相邻的两个表面(图5中的上下方向)上从第一层的每个表面的视点O到被摄体的直光的方向是相同的。因此，如图5的B所示，即使在第一层的每个表面的横向方向上的视场角从90度改变为120度并且改变后的表面的纹理图像包括改变前的表面的纹理图像和在横向方向上相邻的两个表面的情况下，最小值rmin也不改变。距离r的最大值rmax也类似于最小值rmin。

此外，尽管未示出，但是即使在第一层的表面的位置、表面的数量和/或表面的间隔改变的情况下，从第一层的每个表面的视点O到被摄体的直线的方向也不会像第一层的每个表面的视场角改变的情况下那样改变。因此，最小值rmin和最大值rmax不会改变。

因此，图2中的量化单元32可以通过使用倒数1/r的量化值而不是倒数1/z作为第一层深度图像的每个像素的y值，来减少在重新配置单元59重新配置时再次执行深度图像的8位量化的处理。

注意，在以上描述中，低分辨率纹理流和低分辨率深度流没有被重新配置，但是可以被重新配置。即使在这种情况下，因为低分辨率深度图像的每个像素的y值是倒数1/r的量化值，所以在重新配置时再次执行低分辨率深度图像的8位量化的处理可以像在第一层深度图像的重新配置时一样减少。

(深度图像的每个像素在第一层的六个表面中的球体上的位置示例)

图7是示出当第一层的六个表面的深度图像映射到球体时，每个像素在球体上的位置的示例的图。

注意，在图7中，在将第一层的六个表面的深度图像映射到球体时，每个像素在球体上的位置被指示为点。

深度图像上第一层的每个表面的深度图像的像素位置的间隔是等距的。然而，如图7所示，在将第一层的六个表面的深度图像映射到球体时，像素在球体上位置的间隔不是等距的。也就是说，在将第一层的六个表面的深度图像映射到球体时，像素在球体上的位置的密度不是恒定的。

(第一层表面的示例)

图8是示出第一层的表面的示例的图。

注意，在下文中，在穿过第一层的视点O和形成对应于第一层的立方体80的六个表面81至86的中心的六个轴线中，彼此垂直的三个轴线被称为X、Y和Z轴。此外，当R是视点O和六个表面81至86中的每一个之间的距离时，X＝R的表面81被适当地称为+X表面81，X＝-R的表面82也被适当地称为-X表面82。类似地，其中Y＝R的表面83、其中Y＝-R的表面84、其中Z＝R的表面85、其中Z＝-R的表面86也被适当地分别称为+Y表面83、-Y表面84、+Z表面85和-Z表面86。

此外，图8的A是示出第一层的立方体80的透视图，图8的B是示出Y轴的负方向上的第一层的立方体80的图。

如图8的A所示，第一层的一个表面91是在形成视点O为中心的立方体80的六个表面81至86中包括+Y表面83的表面。更具体地，表面91是被设置在与+Y表面83相同的位置处并且在横向和纵向方向上具有视场角并且大于+Y表面83的视场角90度并且小于180度的表面。

因此，如图8的B所示，表面91的纹理图像不仅包括映射到+Y表面83的纹理图像，还包括映射到与+Y表面83相邻的+X表面81、-X表面82、+Z表面85和-Z表面86的一些纹理图像。表面91的深度图像类似于纹理图像。

在图8中，虽然仅示出了第一层的一个表面91，但是其他五个表面是设置在与+X表面81、-X表面82、-Y表面84、+Z表面85和-Z表面86相同的位置处的表面，并且与表面91一样，在横向和纵向方向上具有大于90度且小于180度的视场角。

如上所述，由于第一层的六个表面包括形成立方体的六个表面81至86，全天球图像必须映射到第一层的六个表面之一。因此，当最多使用第一层的六个表面中的三个相邻表面时，主服务器13可以从作为观看位置的视点O生成水平方向周围360度和垂直方向周围180度的任意方向上的显示图像。

(第一层的视点位置信息和表面信息表的配置示例)

图9是示出由图3中的元数据生成单元57生成的元数据中的第一层的视点位置信息和表面信息的表的配置示例的图。

在图9的示例中，在表面信息中，指示表面在3D模型坐标系中的三维位置的信息是方位角、仰角、旋转角和视线矢量，指示尺寸的信息是水平视场角和垂直视场角。

方位角是在Z轴和将视点连接到每个表面中心的线之间在XZ平面方向上形成的角度，仰角是在XZ平面和将视点连接到每个表面中心的线之间形成的角度。这里，方位角的顺时针旋转被假定为正方向，仰角的逆时针旋转被假定为负方向。通过在XZ平面上将从Z轴方向上的视点延伸的线水平旋转方位角，然后将该线在Y轴方向上垂直旋转仰角而获得的线是穿过表面中心的法线。

旋转角度是当将视点连接到每个表面的中心的线设置为轴线时，每个表面在旋转方向上的角度。这里，旋转角度的顺时针旋转被假定为正方向。当视点是起点时，视线矢量是指向每个表面中心的长度为1的矢量，即穿过每个表面中心的法线矢量。水平视场角是由将视点连接到每个表面的横向方向上的两端的线形成的角度，垂直视场角是由将视点连接到每个表面的纵向方向上的两端的线形成的角度。

如图9所示，第一层的视点位置信息和表面信息的表被登记在文件的文件名的公共部分中，其中每个表面的第一层纹理流和第一层深度流被存储在图3中的存储器58中。

具体地，在图9的示例中，包括+Z表面85、-Z表面86、+X表面81、-X表面82、+Y表面83和-Y表面84的表面的第一层纹理流的文件名分别是posZ_texture、negZ_texture、posX_texture、negX_texture、posY_texture和negY_texture。此外，包括+Z表面85、-Z表面86、+X表面81、-X表面82、+Y表面83和-Y表面84的表面的第一深度流的文件名分别是posZ_depth、negZ_depth、posX_depth、negX_depth、posY_depth和negY_depth。因此，在图9的表中，posZ、negZ、posX、negX、posY和negY被登记为第一层表面的文件名的公共部分。

此外，在第一层的视点位置信息和表面信息的表中，与文件名的公共部分相关联地登记与文件名的公共部分相对应的表面的纹理图像和深度图像的表面信息、视点位置信息、水平像素数和垂直像素数。

具体地，在Z轴和将视点O连接到包括+Z表面85、-Z表面86、+X表面81、-X表面82、+Y表面83和-Y表面84的第一层的表面中心的线之间在XZ平面方向上形成的角度分别为0度、-180度、90度、-90度、0度和0度，并且XZ平面和线之间形成的角度为0度、0度、0度、0度、90度和-90度。因此，方位角“0度”、“-180度”、“90度”、“-90度”、“0度”和“0度”被登记，仰角“0度”、“0度”、“0度”、“0度”、“90度”和“-90度”分别与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联地登记。

此外，在图9的示例中，第一层的所有表面的旋转角度为0度。因此，旋转角度“0度”与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联地登记。此外，原点的坐标(0,0,0)与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联地登记为视点位置信息。

此外，从视点O来看，第一层的包括+Z表面85、-Z表面86、+X表面81、-X表面82、+Y表面83和-Y表面84的表面的视线矢量分别是(0,0,1)、(0,0,-1)、(1,0,0)、(-1,0,0)、(0,1,0)和(0,-1,0)。因此，视线矢量(0,0,1)、(0,0,-1)、(1,0,0)、(-1,0,0)、(0,1,0)和(0,-1,0)分别与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联地登记。

此外，在图9的示例中，第一层的所有表面的水平视场角和垂直视场角大于90度，为100度，并且作为纹理图像和深度图像的横向方向上的像素数的水平像素数和作为纵向方向上的像素数的垂直像素数是1024。因此，“100度”的水平视场角、“100度”的垂直视场角、“1024”的水平像素数和“1024”的垂直像素数分别与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联地登记。

(层级的描述)

图10是示出与第一层的预定表面相对应的被摄体在深度方向上的位置的图。图11是示出在第一层和第二层的视点相同的情况下，图10中的被摄体的第一层和第二层的纹理图像的配置示例的图。

此外，图10是示出当从上侧观察时第一层的视点O和被摄体的图。图10的上下方向是第一层的预定表面的深度方向，在该预定表面上被摄体被包括在视场角中。另外，在图11中，左右方向和上下方向分别表示纹理图像的横向和深度方向。图10和图11的向下方向是前侧，其向上方向是后侧。

在图10和图11的示例中，包括在第一层的预定表面的视场角中的被摄体是在中间的前景111和在前景后面的背景112。在这种情况下，如图11所示，第一层的预定表面的纹理图像包括前景111的拍摄图像121和背景112中未被前景111隐藏的区域112A的拍摄图像122A。

另一方面，与第一层的预定表面相对应的第二层的表面的纹理图像包括由多相机单元11在被背景112中的被前景111遮挡的遮挡区域112B中拍摄的拍摄遮挡区域112C的拍摄图像122C，作为有效区域，如图11所示。

除了第二层表面的纹理图像中的有效区域之外，任何东西都可以放置在其他区域。当处理诸如无效值的特殊值时，通过压缩编码来改变该特殊值，并且很难在主服务器13中通过解码来解压缩该特殊值。

因此，除了第二层的表面的纹理图像的有效区域之外的区域被划分为与区域112A相对应的不必要区域(背景区域)和遮挡区域112B中与拍摄的遮挡区域112C之外的区域相对应的假想区域。

然后，在与不存在遮挡区域的区域112A相对应的不必要区域中，与第一层一样布置拍摄图像122A，或者布置边缘部分不尖锐的平面图像。在拍摄图像122A被布置在不必要区域中的情况下，不必要区域中的第一层和第二层的纹理图像是相同的。因此，在参照第二层的纹理图像根据MVC方案、3D-HEVC方案等压缩和编码第一层的纹理图像的情况下，可以提高压缩率。此外，在平面图像被布置在不必要区域中的情况下，第二层的图像的压缩率可以比具有尖锐边缘部分的图像被布置的情况进一步提高。注意，拍摄图像122A被布置在不必要区域的一部分中，而平面图像被布置在另一部分中。

此外，假想区域是具有遮挡区域的区域，并且对应于遮挡区域112B中除了拍摄的遮挡区域112C之外没有被多相机单元11拍摄的区域。因此，在假想区域中，布置使用拍摄的遮挡区域112C的拍摄图像122C推断(修复)的修复图像，或者与第一层中一样布置拍摄的图像121。

注意，先前拍摄的图像可以用于修复。当内容服务器12执行修复时，主服务器13可以将虚拟区域视为等同于有效区域。此外，当内容服务器12在再现之前执行修复时，也可以执行花费大量时间的大处理负荷的修复。

此外，在拍摄图像121被布置在虚拟区域中的情况下，即使虚拟区域是点状的或者修复是困难的，也可以容易地生成虚拟区域。修复图像可以布置在虚拟区域的一部分中，并且拍摄图像121可以布置在另一部分中。

注意，第一层和第二层的深度图像的配置类似于第一层和第二层的纹理图像的配置，除了用深度图像替换拍摄的图像，因此将省略对其的描述。此外，下面将描述在第二层的不必要区域和假想区域中设置与第一层类似的拍摄图像或深度图像的情况。

(第一层和第二层视点的描述)

图12是示出在第一层和第二层的视点相同的情况下，对应于第一层的预定表面的第一层和第二层的纹理图像的示例的说明图。图13是示出在第一层和第二层的视点不同的情况下对应于第一层的预定表面的第一层和第二层的纹理图像的说明图。

图12的A和图13的A是示出当从上侧观察时第一层的视点O和被摄体的图。图12的A和图13的A中的上下方向是被摄体包括在视场角中的第一层的预定表面的深度方向。

如图12的A所示，在第二层的视点是第一层的视点O的情况下，延伸到在第一层的预定表面131的视场角内的视点O的棒状被摄体141是第一层的纹理图像151和第二层的纹理图像152中的点。

也就是说，由于第一层和第二层中从视点O朝向表面131的方向相同，因此对象141可以退化到第一层的纹理图像151和第二层的纹理图像152中的一点。因此，在纹理图像151和纹理图像152中，可以不表达被摄体141在延伸到视点O的方向上的长度。

相反，在第二层的视点是与第一层的视点O不同的视点O’的情况下，包括在第一层的表面131和第二层的表面161的视场角中的被摄体141是第二层的纹理图像172中的直线。

即，从第一层的视点O朝向表面131的方向不同于从第二层的视点O’朝向表面161的方向。因此，即使当第一层的纹理图像151中的被摄体141退化到一点时，第二层的纹理图像172中的被摄体141也不会退化到一点。因此，在纹理图像172中，可以表示被摄体141在延伸到视点O的方向上的长度。

如上所述，在内容服务器12中，第一层和第二层的视点被设置为不同。

(第二层视点的第一示例)

图14是示出第二层的视点的第一示例的图。

图14的A是示出第一层的立方体80的透视图。图14的B是示出当沿Y轴的负方向观察时立方体80的视图。这同样适用于图16。

在图14的示例中，对应于包括第一层的+X表面81的表面的第二层的表面的视点191从第一层的视点O被设置到在Y轴的正方向上移动立方体80的每条边的一半长度a的位置。如图14中附加到视点191的箭头所示，与包括第一层的+X表面81的表面相对应的第二层的表面的视线矢量类似于第一层(1,0,0)。

对应于包括第一层的-X表面82的表面的第二层的表面的视点192被设置在从视点O沿Y轴的负方向移动长度a的位置。如图14中附加到视点192的箭头所示，与包括第一层的-X表面82的表面相对应的第二层的表面的视线矢量类似于第一层(-1,0,0)。

此外，对应于包括第一层的+Y表面83的表面91的第二层表面的视点193和对应于包括-Y表面84的表面的第二层表面的视点194被设置在从视点O沿Z轴的正方向和负方向移动长度a的位置。如图14中附加到视点193和视点194的箭头所示，对应于与第一层的表面91的第二层的表面的视线矢量和对应于包括-Y表面84的表面的第二层的表面的视线矢量与第一层类似是(0,1,0)和(0,-1,0)。

此外，对应于包括第一层的+Z表面85的表面的第二层表面的视点195和对应于包括-Z表面86的表面的第二层表面的视点196被设置在从第一层的视点O沿X轴的正方向和负方向移动长度a的位置。如图14中附加到视点195和视点196的箭头所示，对应于包括第一层的+Z表面85的表面的第二层的表面的视线矢量和对应于包括-Z表面86的表面的第二层的表面的视线矢量与第一层相似为(0,0,1)和(0,0,-1)。

如上所述，在图14的示例中，第二层的表面的视点191至196被设置在从第一层的视点O沿垂直于视线矢量的一个方向移动长度a的位置。此外，第二层表面的视线矢量与第一层相应表面的视线矢量相同。此外，第二层的表面的视点191至196从视点O偏移的方向对于每个表面是不同的。

注意，第二层的表面的视点191至196与视点O之间在X轴方向、Y轴方向或Z轴方向上的距离不限于立方体80的每条边的一半的长度a。

(第二层的视点位置信息和表面信息表的第一配置示例)

图15是示出在图14中的视点191至196被设置为第二层的表面的视点的情况下，由图3中的元数据生成单元57生成的元数据中的第二层的视点位置信息和表面信息的表的配置示例的图。

除了文件名和视点位置信息的公共部分之外，图15中的表与图9中的表相同。

具体地，在图15的示例中，与包括+Z表面85、-Z表面86、+X表面81、-X表面82、+Y表面83和-Y表面84的第一层的表面相对应的第二层的表面的纹理图像的文件名分别是posZ2_texture、negZ2_texture、posX2_texture、negX2_texture、posY2_texture和negY2_texture。此外，对应于包括+Z表面85、-Z表面86、+X表面81、-X表面82、+Y表面83和-Y表面84的第一层表面的第二层表面的深度图像的文件名分别是posZ2_depth、negZ2_depth、posX2_depth、negX2_depth、posY2_depth和negY2_depth。因此，在图15的表中，posZ2、negZ2、posX2、negX2、posY2和negY2被登记为第二层表面的文件名的公共部分。

此外，当视点O是原点时，视点191至196的坐标(a,0,0)、(-a,0,0)、(0,a,0)、(0,-a,0)、(0,0,a)和(0,0,-a)分别与文件名的公共部分“posZ2、”“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”相关联地登记。

(第二层视点的第二示例)

图16是示出第二层的视点的第二示例的图。

在图16的示例中，对应于包括第一层的+X表面81的表面的第二层的表面的视点211和对应于包括-X表面82的表面的第二层的表面的视点212被设置在从第一层的视点O沿Y轴的正方向和Z轴的负方向以及Y轴的负方向和Z轴的正方向移动长度a的位置。如图16中附加到视点211和视点212的箭头所示，对应于包括第一层的+X表面81的表面的第二层的表面的视线矢量和对应于包括第一层的-X表面82的表面的第二层的表面的视线矢量与第一层类似地是(1，0，0)和(-1,0，0)。

此外，对应于包括第一层的+Y表面83的表面91的第二层的表面的视点213和对应于包括-Y表面84的表面的第二层的表面的视点214被设置在从视点O沿X轴的负方向和Z轴的正方向以及X轴的正方向和Z轴的负方向移动长度a的位置。如图16中附加到视点213和视点214的箭头所示，对应于第一层的表面91的第二层的表面的视线矢量和对应于包括-Y表面84的表面的第二层的表面的视线矢量与第一层类似为(0,1,0)和(0,-1,0)。

此外，对应于包括第一层的+Z表面85的表面的第二层表面的视点215和对应于包括-Z表面86的表面的第二层表面的视点216被设置在从视点O沿X轴的正方向和Y轴的负方向以及X轴的负方向和Y轴的正方向移动长度a的位置。如图16中附加到视点215和视点216的箭头所示，对应于包括第一层的+Z表面85的表面的第二层的表面的视线矢量和对应于包括-Z表面86的表面的第二层的表面的视线矢量与第一层类似地为(0,0,1)和(0,0,-1)。

如上所述，在图16的示例中，第二层的表面的视点211至216被设置在从第一层的视点O沿垂直于视线矢量的两个方向移动长度a的位置处。此外，第二层表面的视线矢量与第一层相应表面的视线矢量相同。此外，第二层的表面的视点211至216从视点O偏移的方向对于每个表面是不同的。此外，视点211至216相对于视点O彼此对称。

注意，第二层的表面的视点191至196与视点O之间在X轴方向、Y轴方向和Z轴方向中的两个方向上的距离不限于立方体80的每条边的一半的长度a。

(第二层的视点位置信息和表面信息表的第二配置示例)

图17是示出在图16中的视点211至216被设置为第二层的表面的视点的情况下，由图3中的元数据生成单元57生成的元数据中的第二层的视点位置信息和表面信息的表的配置示例的图。

除了视点位置信息之外，图17中的表与图15中的表相同。

具体地，在图17的表中，当视点O是原点时，视点211至216的坐标(a，-a,0)、(-a,a,0)、(0,a,-a)、(0,-a,a)、(-a，0,a)和(a，0，-a)分别与文件名的公共部分“posZ2”、“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”相关联地登记。

(内容服务器处理的描述)

图18是示出图2中的内容服务器12的流生成处理的说明性流程图。当从图1中的多相机单元11以帧为单位提供每个相机的拍摄图像时，流生成处理开始。

在图18的步骤S10中，内容服务器12的深度检测单元31从由多相机单元11提供的每个相机的拍摄图像中检测每个相机的拍摄图像的每个像素的倒数1/z，并将倒数1/z提供给量化单元32。

在步骤S11中，当被认为是全天球图像中的视点的相机坐标系中的预定三维位置被设置为视点时，量化单元32将每个相机的拍摄图像的每个像素的倒数1/z转换为倒数1/r，并对倒数1/r执行8位量化。量化单元32通过将每个相机拍摄图像的每个像素的倒数1/r的8位量化后的值设置为像素值来生成每个相机的深度图像，并将深度图像提供给低分辨率图像处理单元33和高分辨率图像处理单元34。

在步骤S12中，低分辨率图像处理单元33使用相机坐标系中的预定三维位置作为视点，从多相机单元11提供的每个相机的拍摄图像生成全天球图像的纹理图像，并降低纹理图像的分辨率。

在步骤S13中，与全天球图像的纹理图像一样，低分辨率图像处理单元33从量化单元32提供的每个相机的深度图像生成全天球图像的深度图像，并降低纹理图像的分辨率。

在步骤S14中，低分辨率图像处理单元33压缩和编码通过步骤S12的处理生成的低分辨率纹理图像和通过步骤S13的处理生成的低分辨率深度图像，并存储低分辨率纹理图像和低分辨率深度图像。

在步骤S15中，低分辨率图像处理单元33将存储的低分辨率纹理流和低分辨率深度流发送到图1中的主服务器13。

在步骤S16中，高分辨率图像处理单元34的设置单元56(见图3)将3D模型坐标系中的原点设置为第一层的一个公共视点，并将包括立方体的六个表面的六个表面设置为第一层的表面，在该立方体中第一层的视点被设置为中心。此外，设置单元56设置对应于第一层的表面的第二层的六个视点和六个表面。设置单元56将第一层的一条视点位置信息和六个表面的表面信息提供给第一层生成单元52和元数据生成单元57。此外，设置单元56将第二层的六条视点位置信息和六条表面信息提供给第二层生成单元54和元数据生成单元57。

在步骤S17中，第一层生成单元52将相机坐标系中的全天球图像的视点设置为原点，并且使用由第一层的视点位置信息指示的原点作为视点，从每个相机的拍摄图像生成对应于第一层的每条表面信息的每个表面的纹理图像。此外，与纹理图像一样，第一层生成单元52从每个相机的深度图像中生成对应于第一层的每个表面信息的每个表面的深度图像。

在步骤S18中，第二层生成单元54针对对应于第二层的表面信息的每个表面，将相机坐标系中的全天球图像的视点设置为原点，并且使用由第二层的视点位置信息指示的三维位置作为视点，从每个相机的拍摄图像生成纹理图像。此外，第二层生成单元54针对对应于第二层的表面信息的每个表面，与纹理图像一样，从每个相机的深度图像生成第二层的深度图像。

在步骤S19中，编码器53针对每个表面和每种图像，压缩和编码从第一层生成单元52提供的第一层的每个表面的纹理图像和深度图像，并将纹理图像和深度图像提供给存储器58，以使存储器58存储纹理图像和深度图像。

在步骤S20中，编码器55针对每个表面和每种图像，压缩和编码从第二层生成单元54提供的第二层的每个表面的纹理图像和深度图像，并将纹理图像和深度图像提供给存储器58，以使存储器58存储纹理图像和深度图像。

在步骤S21中，元数据生成单元57生成包括从设置单元56提供的第一层的视点位置信息和表面信息以及第二层的视点位置信息和表面信息的表作为元数据，并将该表提供给存储器58以使存储器58存储该表。

在步骤S22中，重新配置单元59确定是否需要重新配置第一层的纹理图像和深度图像。例如，在用户给出改变第一层的表面数量、视场角或间隔、位置或倾斜的指令的情况下，重新配置单元59确定有必要重新配置第一层的纹理图像和深度图像。

在步骤S22中，在确定需要重新配置第一层的纹理图像和深度图像的情况下，处理进行到步骤S23。在步骤S23中，重新配置单元59设置重新配置后的第一层的表面以及与重新配置后的第一层的表面相对应的第二层的视点和表面。

在步骤S24中，重新配置单元59生成包括重新配置后的第一层的视点位置信息和表面信息以及第二层的视点位置信息和表面信息的表作为元数据，并将元数据提供给存储器58。

在步骤S25中，重新配置单元59将存储在存储器58中的每个表面的第一层纹理流重新配置为在步骤S23中设置的重新配置之后的第一层表面的纹理流，并将该纹理流提供给存储器58以使存储器58存储该纹理流。此外，重新配置单元59将存储在存储器58中的第一层深度流重新配置为在步骤S23中设置的重新配置之后第一层表面的第一层深度流，并将第一层深度流提供给存储器58，以使存储器58存储第一层深度流。

此外，重新配置单元59将存储在存储器58中的每个表面的第二层纹理流重新配置为在步骤S23中设置的重新配置之后的第二层的视点和表面的第二层纹理流，并将第二层纹理流提供给存储器58，以使存储器58存储第二层纹理流。重新配置单元59将存储在存储器58中的第二层深度流重新配置为在步骤S23中设置的重新配置之后的第二层的视点和表面的第二层深度流，并将第二层深度流提供给存储器58，以使存储器58存储第二层深度流。然后，处理进行到步骤S26。

相反，在步骤S22中确定不需要重新配置第一层的纹理图像和深度图像的情况下，处理进行到步骤S26。

在步骤S26中，传输单元60从存储器58读取重新配置之前的元数据和六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，并将元数据和第一层纹理流、第一层深度流、第二层纹理流和第二层深度流传输到主服务器13。

如上所述，内容服务器12生成第一层的视点处的遮挡区域的纹理图像和深度图像作为第二层的纹理图像和深度图像。因此，在观看位置不同于视点O的情况下，主服务器13可以通过使用第二层的纹理图像和深度图像来生成显示图像中包括的视点O的遮挡区域。因此，主服务器13可以生成高质量的显示图像。

此外，内容服务器12将第二层的视点设置在不同于第一层的视点O的三维位置。因此，在第二层中，可以表示沿被摄体延伸到视点O的方向延伸到视点O的被摄体的长度。

此外，内容服务器12将深度图像的每个像素的y值设置为通过对倒数1/r执行8位量化获得的值。因此，内容服务器12不需要在重新配置时再次执行深度图像的8位量化。

(主服务器的配置示例)

图19是示出图1中的主服务器13的配置示例的框图。

图19中的主服务器13包括相机13A、接收单元231、存储器232、接收单元233、视线检测单元234、ML 3D模型生成单元235、ML 3D模型生成单元236、ML 3D模型生成单元237、3D模型生成单元238和绘图单元239。

主服务器13的接收单元231接收从内容服务器12发送的低分辨率纹理流和低分辨率深度流、六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，以及元数据，并将低分辨率纹理流和低分辨率深度流、六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据提供给存储器232。

存储器232存储从接收单元231提供的低分辨率纹理流和低分辨率深度流、六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，以及元数据。

接收单元233从头戴式显示器15接收图1中陀螺仪传感器15B的检测结果，并将检测结果提供给视线检测单元234。

视线检测单元234基于从接收单元233提供的陀螺仪传感器15B的检测结果，确定观看者在3D模型坐标系中的视线方向。此外，视线检测单元234从相机13A获取标记15A的拍摄图像，并基于拍摄图像检测3D模型坐标系中的观看位置。

视线检测单元234从存储器232读取元数据中的第一层的表。视线检测单元234基于3D模型坐标系中的观看位置和视线方向以及第一层的表，在六个表面中确定对应于与从观看位置沿视线方向延伸的视线最接近的视线矢量的三个表面作为选择表面。具体地，视线检测单元234将包括+X表面81和-X表面82之一的表面、包括+Y表面83和-Y表面84之一的表面以及包括+Z表面85和-Z表面86之一的表面决定为选择表面。

当以这种方式决定选择表面时，由下面将描述的绘图单元239使用与选择表面相对应的第一层和第二层的纹理图像和深度图像生成的显示图像中的高分辨率区域的比率变得最高。此外，当决定三个选择表面时，与选择一个选择表面的情况相比，可以使视线朝向立方体80的顶点附近的情况下的显示图像中的高分辨率区域的比率增加。

视线检测单元234从存储器232读取对应于三个选择表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测单元234将读取的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给每个表面的ML 3D模型生成单元235至237。此外，视线检测单元234从存储器232读取低分辨率纹理流和低分辨率深度流，并将低分辨率纹理流和低分辨率深度流提供给3D模型生成单元238。

视线检测单元234基于3D模型坐标系中的观看位置和视线方向来确定3D模型坐标系中观看者的视野范围。视线检测单元234将观看者的视野范围和观看位置提供给绘图单元239。视线检测单元234将三个选择表面以及与三个选择表面相对应的第二层的三个表面的视点位置信息和表面信息提供给绘图单元239。

ML 3D模型生成单元235至237各自使用第一层纹理流和第一层深度流，生成与第一层纹理图像的每个像素相对应的采样点的纹理图像坐标系中的三维位置(u,v,z)和连接信息，以及具有RGB值的三维数据，RGB值是颜色信息。注意，每个采样点的连接信息是指示该采样点(顶点)和另一采样点之间的连接的信息。纹理图像坐标系是以纹理图像的横向方向为u轴、纵向方向为v轴、深度方向为z轴的坐标系。

另外，ML 3D模型生成单元235至237各自使用从视线检测单元234提供的第二层纹理流和第二层深度流来生成与第二层纹理图像的每个像素相对应的采样点的三维数据。ML3D模型生成单元235至237将第一层和第二层的三维数据提供给绘图单元239。

3D模型生成单元238解码从视线检测单元234提供的低分辨率纹理流和低分辨率深度流，以生成低分辨率纹理图像和低分辨率深度图像。3D模型生成单元238将YCbCr值转换为RGB值，以设置与像素相对应的采样点的RGB值，YCbCr值是低分辨率纹理图像的像素的像素值。另外，3D模型生成单元238对低分辨率深度图像的像素的像素值执行8位逆量化，以获得倒数1/r。然后，3D模型生成单元238基于低分辨率深度图像的每个像素的倒数1/r，获得每个像素的三维位置(u,v,z)，作为对应于每个像素的采样点的三维位置(u,v，z)。

另外，3D模型生成单元238基于每个采样点的三维位置(u,v,z)生成每个采样点的连接信息，使得三个相邻的采样点被连接起来。3D模型生成单元238将每个采样点的三维位置(u,v,z)、连接信息和RGB值作为低分辨率纹理图像的三维数据提供给绘图单元239。

绘图单元239基于从3D模型生成单元238提供的低分辨率纹理图像的三维数据，在3D模型坐标系中执行低分辨率纹理图像的三角形补片绘图制(点群绘图)。此后，绘图单元239基于从ML 3D模型生成单元235至237中的每一个提供的第一层和第二层的三维数据以及从视线检测单元234提供的视点位置信息和表面信息，在3D模型坐标系中执行第一层和第二层的纹理图像的三角形补片绘制。

也就是说，低分辨率纹理图像的视点是3D模型坐标系中的原点，并且作为3D模型的规则八面体的每个表面的位置和尺寸被预先决定。因此，绘制单元239可以获得与规则八面体的每个表面相对应的每个相机的内部参数和外部参数。因此，绘制单元239可以使用内部参数和外部参数从低分辨率纹理图像的每个采样点的三维位置(u，v，z)识别每个采样点在屏幕上的位置(u,v)和在3D模型坐标系中的三维位置(X,Y,Z)。结果，绘制单元239可以使用低分辨率纹理图像的每个采样点在屏幕上的位置(u,v)和三维位置(X,Y,Z)、连接信息和RGB值来执行三角形补片绘图。

另外，绘制单元239可以基于第一层和第二层的视点位置信息和表面信息，获得对应于第一层和第二层的每个表面的每个相机的内部参数和外部参数。因此，绘制单元239可以使用内部参数和外部参数，从第一层和第二层的每个采样点的三维位置(u,v,z)识别每个采样点在屏幕上的位置(u,v)以及三维位置(X,Y,Z)。结果，绘制单元239可以使用第一层和第二层的每个采样点在屏幕上的位置(u,v)以及三维位置(X,Y,Z)、连接信息和RGB值来执行三角形补片绘制。

绘制单元239(图像生成单元)通过对在3D模型坐标系中绘制的三角形补片执行透视投影(映射)到视野范围来生成显示图像，该视野范围使用从视线检测单元234提供的观看位置作为视点。绘制单元239将显示图像发送到图1中的转换设备14。

(ML 3D模型生成单元的配置示例)

图20是示出图19中的ML 3D模型生成单元235的配置示例的框图。

图20中的ML 3D模型生成单元235包括解码器251、RGB转换单元252、解码器253、深度转换单元254、不连续性检测单元255、3D模型生成单元256、解码器257、RGB转换单元258、解码器259、深度转换单元260、遮挡处理单元261和3D模型生成单元262。

ML 3D模型生成单元235的解码器251解码从图19中的视线检测单元234提供的第一层纹理流，以生成第一层的纹理图像。解码器251将第一层的纹理图像提供给RGB转换单元252。

RGB转换单元252将YCbCr值转换为RGB值，以设置与像素相对应的采样点的RGB值，YCbCr值是第一层的纹理图像的像素的像素值。然后，RGB转换单元252将每个采样点的RGB值提供给3D模型生成单元256。

解码器253解码从视线检测单元234提供的第一层深度流，以生成第一层的深度图像。解码器253将第一层的深度图像提供给深度转换单元254。

深度转换单元254对从解码器253提供的第一层深度图像的每个像素的像素值执行8位逆量化，以获得倒数1/r。然后，深度转换单元254基于第一层深度图像的每个像素的倒数1/r，获得每个像素的三维位置(u,v,z)，作为对应于每个像素的采样点的三维位置(u,v,z)。深度转换单元254将每个采样点的三维位置(u,v,z)提供给不连续性检测单元255和3D模型生成单元256。

不连续性检测单元255基于从深度转换单元254提供的每个采样点的三维位置(u,v,z)，检测第一层的深度图像的像素中的不连续像素，该不连续像素是对应于其中z坐标与相邻采样点的差等于或大于阈值的采样点的像素。不连续性检测单元255将对应于不连续像素的采样点的三维位置(u,v,z)提供给3D模型生成单元256。

3D模型生成单元256(连接信息生成单元)生成每个采样点的连接信息，从而基于从深度转换单元254提供的每个采样点的三维位置(u，v,z)，连接采样点中的三个相邻采样点。即，3D模型生成单元256生成连接信息，该连接信息指示以采样点为顶点的三角形补片的三个顶点之间的连接。然后，3D模型生成单元256基于从不连续性检测单元255提供的与不连续像素相对应的采样点的三维位置(u,v，z)，删除生成的每个采样点的连接信息中表示与不连续像素相对应的采样点的连接的连接信息。

3D模型生成单元256生成第一层的每个采样点的三维位置(u，v,z)、RGB值以及删除后的连接信息作为第一层的三维数据，并将该三维数据提供给图19中的绘制单元239。

由于解码器257、RGB转换单元258、解码器259和深度转换单元260的处理与解码器251、RGB转换单元252、解码器253和深度转换单元254相同，除了第一层被第二层作为处理目标层替代之外，所以其描述将被省略。

遮挡处理单元261基于从深度转换单元260提供的每个采样点的三维位置(u,v,z)，检测第二层的深度图像的像素中的不连续像素。遮挡处理单元261基于第二层的每个采样点的三维位置(u,v,z)，执行校正与不连续像素相对应的采样点的三维位置(u,v,z)的遮挡处理。

具体地，例如，遮挡处理单元261将对应于不连续像素的采样点的二维位置(u,v)校正为该采样点附近和前方的采样点的二维位置(u,v)。遮挡处理单元261将第二层的每个采样点的遮挡处理之后的三维位置(u，v，z)提供给3D模型生成单元262。

对于每个采样点，3D模型生成单元262基于从遮挡处理单元261提供的每个采样点的三维位置(u,v,z)，生成指示采样点和两个相邻采样点之间的连接的连接信息。3D模型生成单元262生成每个采样点的三维位置(u,v,z)、连接信息和从RGB转换单元258提供的RGB值作为第二层的三维数据。3D模型生成单元256将第二层的三维数据提供给图19中的绘制单元239。

注意，尽管未示出，但是ML 3D模型生成单元236和ML 3D模型生成单元237具有与图20中的ML 3D模型生成单元235相同的配置。

(遮挡处理和连接信息删除的有利效果说明)

图21是示出在第一层的连接信息中表示与对应于不连续像素的采样点的连接的连接信息未被删除的情况下的连接信息的说明图。图22是示出删除情况下的连接信息的说明图。

在图21和图22中，左右方向表示纹理图像的横向方向，上下方向表示纹理图像的深度方向。图21和图22的上方向是前侧，下方向是后侧。此外，在图21和图22中，实线表示第一层的每个采样点的三维位置(u,v,z)，虚线表示第二层的每个采样点的三维位置(u,v,z)。此外，在图21和图22的示例中，被摄体是图10中的前景111和背景112。

在第一层和第二层都没有执行遮挡处理的情况下，如图21的A所示，与第一层前景111的拍摄图像121和背景112的区域112A的拍摄图像122A之间的边界中的不连续像素相对应的采样点的三维位置没有改变。

此外，如图21的A所示，在指示与第一层和第二层中的与不连续像素对应的采样点的连接的连接信息未被删除的情况下，与第一层和第二层的不连续像素对应的采样点连接到两个相邻的采样点。

因此，生成具有与第一层的不连续像素相对应的采样点和两个相邻采样点作为顶点的三角形补片，并且由于该三角形补片，有效区域的拍摄图像122C的涂绘被破坏。因此，在生成包括与从图的右下侧朝向左上侧的视线V相对应的拍摄遮挡区域112C的显示图像的情况下，可以不使用其中布置了拍摄遮挡区域112C的拍摄图像122C的第二层的有效区域。

此外，表示与第一层和第二层中的不连续像素对应的采样点的连接的连接信息没有被删除。然而，在执行遮挡处理的情况下，如图21的B所示，对应于第一层和第二层的不连续像素的采样点的二维位置被校正为采样点附近和前方的采样点的二维位置。

因此，在生成与视线V相对应的显示图像的情况下，第一层的区域112A的拍摄图像122A可以用作拍摄的遮挡区域112C的显示图像。结果，提高了显示图像的质量。

然而，对应于遮挡处理之后的第一层的不连续像素的采样点连接到两个相邻的采样点以生成三角形补片。因此，在与图21的A的情况一样生成与视线V相对应的显示图像的情况下，可以不使用设置有拍摄遮挡区域112C的拍摄图像122C的第二层的有效区域。

另一方面，3D模型生成单元256删除表示与第一层的不连续像素的连接的连接信息，如图22所示。因此，不生成具有对应于第一层的不连续像素的采样点作为顶点的三角形补片。因此，在生成与视线V相对应的显示图像的情况下，可以使用设置了拍摄的遮挡区域112C的拍摄图像122C的第二层的有效区域。因为第二层中的连接信息没有被删除，所以在没有第一层的三角形补片的区域中，必须存在第二层的三角形补片。

此外，遮挡处理单元261对第二层执行遮挡处理。因此，如图22所示，与第二层的有效区域和假想区域之间的边界中的连续像素相对应的采样点中的后侧采样点的二维位置被校正为采样点附近和前方的采样点的二维位置。因此，第二层中的遮挡区域被删除。因此，用于生成对应于视线V的显示图像的第二层的质量得到改善。结果，提高了显示图像的质量。

(第一层表面的视场角的有利效果的说明)

图23和图24是示出在第一层的每个表面的视场角分别为90度和100度的情况下采样点的示例的说明图。

在图23和图24的示例中，为了便于描述，假设在第一层的每个表面的视场角为90度和100度的情况下，第一层的纹理图像和深度图像的分辨率分别为4×4像素和6×6像素。

如图23的B所示，在第一层的每个表面的视场角为90度的情况下，第一层的六个表面是形成立方体80的六个表面81至86。

然而，如图23的A所示，第一层的-Z表面86的纹理图像280上的采样点291的位置(u,v)，即，从3D模型坐标系中的视点O朝向采样点291的线与-Z表面86相交的位置，是每个像素281的中心。此外，与-Z表面86类似，其他表面81至85的采样点的位置(u,v)也是像素的中心。

因此，如图23的B所示，通过在图中由黑色圆圈指示的采样点中将三个相邻采样点彼此连接而形成的所有三角形补片的尺寸在每个表面81至86上的区域283的u方向和v方向上比每个表面81至86的尺寸小像素的一半。因此，不生成对应于表面81至86的边界的三角形贴片。结果，难以生成具有穿过表面81至86的边界的高质量视线的显示图像。

相反，在第一层的每个表面的视场角为100度的情况下，如图24的A所示，包括-Z表面86的第一层的表面的纹理图像310的尺寸比图23中的纹理图像280的尺寸大6×6像素。包括其它表面81至85的第一层的每个表面的纹理图像的大小也类似地为6×6像素。

因此，如图24的B所示，通过在图中由黑色圆圈表示的采样点中将三个相邻采样点彼此连接而形成的所有三角形补片的尺寸在-Z表面86上的区域311的u方向和v方向上比每个-Z表面86大像素的一半尺寸。尽管未示出，但是包括其他表面81至85的第一层的每个表面的三角形贴片的区域在u方向和v方向上的尺寸也比每个表面81至85的尺寸大像素的一半，就像区域311中那样。因此，生成对应于表面81至86的边界的三角形贴片。结果，可以生成包括穿过表面81至86的边界的视线的任意视线的高质量显示图像。

在图23和图24中，已经描述了第一层的每个表面的视场角为100度的情况下的有利效果。然而，当第一层的每个表面的视场角大于90度时，即使在视场角不是100度的情况下，也获得类似的有利效果。

(第二层表面的视场角的有利效果的说明)

图25是示出第二层的每个表面的视场角为90度和100度的情况下的遮挡处理的说明图。

在图25中，横轴表示u轴，纵轴表示z轴。此外，圆圈表示采样点。此外，在图25的示例中，随着深度方向上的位置向后，z坐标更大。

在第二层的每个表面的视场角为90度的情况下，采样点仅映射到第二层的任何一个表面。因此，如图25的A所示，与映射到处理目标表面在u方向上的端部的采样点331相邻的采样点332没有映射到处理目标表面，并且在处理目标表面的遮挡处理时采样点332在z轴上的位置是未知的。

因此，即使在采样点331和采样点332的z坐标之差等于或大于阈值的情况下，对应于采样点331的像素也不会被检测为不连续像素。类似地，即使在采样点332映射到的表面被认为是处理目标表面的情况下，对应于采样点332的像素也不会被检测为不连续像素。因此，可以不对采样点331和采样点332执行遮挡处理。即，由于对采样点331和采样点332执行遮挡处理，因此除了处理目标表面的深度图像之外，还需要使用与处理目标表面相邻的表面的深度图像。

相反，在第二层的每个表面的视场角为100度的情况下，映射到除了与该表面相邻的表面的端部之外的区域的采样点被映射为与每个表面的端部重叠作为重叠宽度。例如，映射到除了与处理目标表面相邻的表面的端部之外的区域的采样点332被映射到采样点331所映射到的处理目标表面的端部。

因此，在采样点331和采样点332的z坐标之差等于或大于阈值的情况下，对应于采样点331和采样点332的像素被检测为不连续像素。因此，如图25的B所示，可以对采样点331和采样点332执行遮挡处理。结果，对应于不连续像素的采样点332的u坐标被校正为采样点332前面(其z坐标较小)和采样点332附近的采样点333的u坐标。

注意，在图25的示例中，由于映射到处理目标表面的末端以外的区域的采样点334和采样点335的z坐标之间的差等于或大于阈值，因此对应于采样点334和采样点335的像素被检测为不连续像素。结果，如图25的B所示，采样点334的u坐标被校正为采样点334前面并且在采样点334附近的采样点336的u坐标。

此外，处理目标表面的u坐标最大的端部处的采样点337被映射到除了与处理目标表面相邻的表面端部之外的区域。因此，在该表面被认为是处理目标表面的情况下，确定对应于采样点337的像素是否为不连续像素。在像素被确定为不连续像素的情况下，可以对采样点337执行遮挡处理。

如上所述，在第二层的每个表面的视场角为100度的情况下，也可以仅使用每个表面的采样点对映射到除了每个表面的末端之外的区域的末端的采样点331执行遮挡处理。结果，减少了第二层的遮挡区域，并且可以提高显示图像的质量。

在图25中，已经描述了第二层的每个表面的视场角为100度的情况下的有利效果。然而，当第二层的每个表面的视场角大于90度时，即使在视场角不是100度的情况下，也获得类似的有利效果。

注意，ML 3D模型生成单元235至237可以执行图像处理，诸如使用外围像素对作为解码结果获得的纹理图像或深度图像执行的滤波处理。在这种情况下，由于第一层和第二层的每个表面的视场角大于90度，因此可以获得如在遮挡处理中同样在除了每个表面的端部之外的区域的端部上执行图像处理的有利效果。

(主服务器处理的说明)

图26是示出图19中的主服务器13的再现处理的说明性流程图。例如，当传送从内容服务器12传送的低分辨率纹理流和低分辨率深度流、六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据时，再现处理开始。

在图26的步骤S41中，主服务器13的接收单元231从内容服务器12接收低分辨率纹理流和低分辨率深度流、六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并将低分辨率纹理流和低分辨率深度流、六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据提供给存储器232。

在步骤S42中，存储器232存储低分辨率纹理流和低分辨率深度流、六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

在步骤S43中，接收单元233从头戴式显示器15接收图1中的陀螺仪传感器15B的检测结果，并将检测结果提供给视线检测单元234。

在步骤S44中，视线检测单元234基于从接收单元233提供的陀螺仪传感器15B的检测结果，确定在3D模型坐标系中的观看者的视线方向。在步骤S45中，相机13A拍摄附着到头戴式显示器15的标记15A，并将作为结果获得的拍摄图像提供给视线检测单元234。

在步骤S46中，视线检测单元234基于从相机13A提供的标记15A的拍摄图像检测3D模型坐标系中的观看位置，并将观看位置提供给绘制单元239。

在步骤S47中，视线检测单元234基于存储在存储器232中的元数据中的第一层的表格以及3D模型坐标系中的观看位置和视线方向，将六个表面中的与最接近视线的视线矢量相对应的三个表面确定为选择表面。

在步骤S48中，视线检测单元234基于3D模型坐标系中的观看位置和视线方向来确定3D模型坐标系中观看者的视野范围，并将视野范围提供给绘制单元239。

在步骤S49中，视线检测单元234从存储器232读取低分辨率纹理流和低分辨率深度流，并将低分辨率纹理流和低分辨率深度流提供给3D模型生成单元238。另外，视线检测单元234从存储器232读取对应于三个选择表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测单元234将读取的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给每个表面的ML 3D模型生成单元235至237。此外，视线检测单元234从存储器232读取对应于三个选择表面的视点位置信息和表面信息，并将视点位置信息和表面信息提供给绘制单元239。

在步骤S50中，ML 3D模型生成单元235至237执行为每个表面生成第一层和第二层的每个采样点的三维数据的三维数据生成处理。下面将参照图27描述三维数据生成处理的细节。

在步骤S51中，3D模型生成单元238从由视线检测单元234提供的低分辨率纹理流和低分辨率深度流生成低分辨率纹理图像的每个采样点的三维数据，并将三维数据提供给绘制单元239。

在步骤S52中，绘制单元239基于从3D模型生成单元238提供的低分辨率纹理图像的三维数据，在3D模型坐标系中执行低分辨率纹理图像的三角形补片绘制。此后，绘制单元239基于从ML 3D模型生成单元235至237中的每一个提供的第一层和第二层的三维数据以及从视线检测单元234提供的视点位置信息和表面信息，在3D模型坐标系中执行第一层和第二层的纹理图像的三角形补片绘制。

在步骤S53中，绘制单元239通过将在3D模型坐标系中绘制的三角形补片透视投影到使用从视线检测单元234提供的观看位置作为视点的视野范围来生成显示图像。在步骤S54中，绘制单元239将显示图像发送到图1中的转换设备14。

图27是示出由ML 3D模型生成单元235在图26的步骤S50中执行的三维数据生成处理的细节的说明图。

在图27的步骤S71中，ML 3D模型生成单元235的解码器251(图20)解码从图19中的视线检测单元234提供的第一层纹理流，以生成第一层的纹理图像。解码器251将第一层的纹理图像提供给RGB转换单元252。

在步骤S72中，RGB转换单元252将YCbCr值转换为RGB值，以设置与像素相对应的采样点的RGB值，YCbCr值是第一层的纹理图像的像素的像素值。然后，RGB转换单元252将每个采样点的RGB值提供给3D模型生成单元256。

在步骤S73中，解码器253解码从视线检测单元234提供的第一层深度流，以生成第一层的深度图像。解码器253将第一层的深度图像提供给深度转换单元254。

在步骤S74中，深度转换单元254对从解码器253提供的第一层深度图像的每个像素的像素值执行8位逆量化，以获得第一层深度图像的每个像素的倒数1/r。

在步骤S75中，深度转换单元254基于第一层深度图像的每个像素的倒数1/r，获得第一层深度图像的每个像素的三维位置(u,v,z)，作为对应于每个像素的采样点的三维位置(u,v,z)。深度转换单元254将每个采样点的三维位置(u,v,z)提供给不连续性检测单元255和3D模型生成单元256。

在步骤S76中，不连续检测单元255基于从深度转换单元254提供的每个采样点的三维位置(u,v,z)，检测第一层的深度图像的像素中的不连续像素。不连续性检测单元255将对应于不连续像素的采样点的三维位置(u,v,z)提供给3D模型生成单元256。

在步骤S77中，3D模型生成单元256基于从深度转换单元254提供的每个采样点的三维位置(u,v,z)生成第一层的每个采样点的连接信息，以便在采样点之中连接三个相邻的采样点。

在步骤S78中，3D模型生成单元256基于从不连续性检测单元255提供的与不连续像素相对应的采样点的三维位置(u,v,z)，删除在步骤S77中生成的每个采样点的连接信息中表示与不连续像素相对应的采样点的连接的连接信息。

在步骤S79中，3D模型生成单元256生成第一层的每个采样点的三维位置(u,v,z)、RGB值以及在步骤S78的处理中删除之后的连接信息，作为第一层的三维数据。3D模型生成单元256将第一层的三维数据提供给图19中的绘制单元239。

在步骤S80中，解码器257解码从视线检测单元234提供的第二层纹理流，以生成第二层的纹理图像。解码器257将第二层的纹理图像提供给RGB转换单元258。

在步骤S81中，RGB转换单元258将YCbCr值转换为RGB值，以设置与像素相对应的采样点的RGB值，YCbCr值是第二层纹理图像的像素的像素值。然后，RGB转换单元258将每个采样点的RGB值提供给3D模型生成单元262。

在步骤S82中，解码器259解码从视线检测单元234提供的第二层深度流，以生成第二层的深度图像。解码器259将第二层的深度图像提供给深度转换单元260。

在步骤S83中，深度转换单元260对从解码器259提供的第二层深度图像的每个像素的像素值执行8位逆量化，以获得第二层深度图像的每个像素的倒数1/r。

在步骤S84中，深度转换单元260基于第二层深度图像的每个像素的倒数1/r，获得第二层深度图像的每个像素的三维位置(u,v,z)，作为对应于每个像素的采样点的三维位置(u,v,z)。深度转换单元260将每个采样点的三维位置(u,v,z)提供给遮挡处理单元261和3D模型生成单元262。

在步骤S85中，遮挡处理单元261基于从深度转换单元260提供的每个采样点的三维位置(u,v,z)，检测第二层深度图像的像素中的不连续像素。

在步骤S86中，遮挡处理单元261基于第二层的每个采样点的三维位置(u,v,z)，执行校正与不连续像素相对应的采样点的三维位置(u，v，z)的遮挡处理。遮挡处理单元261将第二层的每个采样点的遮挡处理之后的三维位置(u,v,z)提供给3D模型生成单元262。

在步骤S87中，3D模型生成单元262基于从遮挡处理单元261提供的每个采样点的三维位置(u,v,z)生成第二层的每个采样点的连接信息，以便在采样点之中连接三个相邻的采样点。

在步骤S88中，3D模型生成单元262生成每个采样点的三维位置(u,v,z)、连接信息和从RGB转换单元258提供的RGB值作为第二层的三维数据。3D模型生成单元256将第二层的三维数据提供给图19中的绘制单元239。

注意，由ML 3D模型生成单元236和ML 3D模型生成单元237执行的三维数据生成处理与图27的三维数据处理相同。

如上所述，主服务器13使用第一层和第二层生成显示图像。因此，在观看位置不同于视点O的情况下，可以通过使用第二层来生成显示图像中包括的视点O的遮挡区域。因此，可以生成高质量的显示图像。

此外，主服务器13不仅使用纹理图像而且使用深度图像来生成显示图像。因此，通过用三角形补片绘图将纹理图像映射到具有与被摄体相对应的三维形状的三角形补片，可以使用该三角形补片生成显示图像。因此，与通过仅使用纹理图像将纹理图像映射到预定表面来生成显示图像的情况相比，可以生成高质量的显示图像。

此外，第一层的纹理图像和深度图像是通过将全天球图像的纹理图像和深度图像映射到预定表面而获得的纹理图像和深度图像。因此，可以在再现设备中再现第一层的纹理图像和深度图像，该再现设备仅再现通过将全天球图像的纹理图像和深度图像映射到预定表面而获得的纹理图像和深度图像。

即，由内容服务器12生成的第一层和第二层的纹理图像和深度图像的格式与通过将全天球图像的纹理图像和深度图像映射到预定表面而获得的纹理图像和深度图像的格式兼容。此外，主服务器13的再现方法与再现设备的再现方法兼容，该再现设备仅再现通过将全天球图像的纹理图像和深度图像映射到预定表面而获得的纹理图像和深度图像。

另外，主服务器13可以仅使用第一层的纹理图像和深度图像来生成显示图像。在这种情况下，执行遮挡处理，而不是删除关于第一层的连接信息。

此外，在以上描述中，3D模型生成单元256已经删除了指示与由不连续性检测单元255检测到的不连续像素对应的采样点的连接的连接信息，但是可以基于从内容服务器12发送的三角形路径有效性或无效性信息(其细节将在下面描述)删除连接信息。在这种情况下，不设置不连续性检测单元255。

(三角形补片有效性或无效性信息的说明)

图28是示出在这种情况下从内容服务器12发送的三角形路径有效性或无效性信息的说明图。

在图28的示例中，第一层的采样点351的数量是12个。因此，具有三个相邻采样点351作为顶点的三角形补片352的数量是12个。

在这种情况下，内容服务器12像在不连续性检测单元255中一样检测不连续像素。然后，内容服务器12将以对应于不连续像素的采样点作为顶点的三角形补片352设置为无效(OFF)，并将不包括对应于不连续像素的采样点的三角形补片352设置为有效(ON)。

内容服务器12(生成单元)生成表示每个三角形补片352的有效性或无效性的三角形补片有效性或无效性信息，并且在元数据中包括三角形补片有效性或无效性信息。

主服务器13的3D模型生成单元256基于三角形补片有效性或无效性信息删除表示作为无效三角形补片顶点的采样点之间的连接的连接信息。结果，三角形补片有效性或无效信息指示无效的三角形补片没有被绘制。

请注意，除了右端和下端的采样点之外，每个采样点都会生成两个三角形补片。此外，三角形补片有效性或无效性信息是表示三角形补片有效性或无效性的1位信息。因此，当第一层的纹理图像的水平方向上的像素数是宽度并且垂直方向上的像素数是高度时，所有三角形补片的三角形补片有效性或无效性信息的位数是(宽度-1)*(高度-1)*2位。

三角形补片有效性或无效性信息通过无损压缩或非压缩从内容服务器12发送到主服务器13。注意，三角形补片有效性或无效性信息可以被设置为深度图像的Cb和Cr值。

<第二实施例>

(图像显示系统的第二实施例的配置示例)

图29是示出应用本公开的图像显示系统的第二实施例的配置示例的框图。

在图29所示的配置中，对与图1中的配置相同的配置给予相同的附图标记。重复的描述将适当地省略。

图29中的图像显示系统400包括多相机单元11、内容服务器12、转换设备14、头戴式显示器15、递送服务器401、网络402和再现设备403。在图像显示系统400中，六个表面中仅对应于视线的一个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流被递送到再现设备403以被再现。

具体地，图像显示系统400的递送服务器401接收并存储从内容服务器12发送的低分辨率纹理流和低分辨率深度流、六个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，以及元数据。

此外，递送服务器401经由网络402连接到再现设备403。响应于来自再现设备403的请求，递送服务器401经由网络402将存储的低分辨率纹理流和低分辨率深度流、存储的一个表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及存储的元数据发送到再现设备403。

再现设备403(图像处理设备)经由网络402请求递送服务器401发送低分辨率纹理流、低分辨率深度流和元数据，并接收响应于该请求发送的低分辨率纹理流、低分辨率深度流和元数据。

此外，再现设备403包含相机13A。再现设备403检测3D模型坐标系中的观看位置，并决定3D模型坐标系中观看者的视线方向和视野范围，就像主服务器13中一样。

然后，再现设备403基于3D模型坐标系中的观看位置和视线方向以及元数据中包括的第一层的表格，在第一层的六个表面中确定与最接近视线的视线矢量相对应的一个表面作为选择表面。再现设备403经由网络402请求对应于一个选择表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。再现设备403接收响应于请求而发送的对应于一个选择表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

再现设备403使用低分辨率纹理流和低分辨率深度流以及对应于一个选择表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流来生成显示图像。由于再现设备403的显示图像生成处理与主服务器13的处理相同，除了选择表面的数量为1之外，因此将省略对其的描述。再现设备403经由HDMI电缆(未示出)将显示图像发送到转换设备14。

<纹理图像的其他示例>

图30是示出第一层的纹理图像的另一示例的图。

在以上描述中，第一层的每个表面的纹理图像是一个视点O的纹理图像，但是可以是对应于视点O的右眼视点和左眼视点的纹理图像的组合图像。

具体而言，如图30的A所示，第一层的每个表面的纹理图像可以是例如包装图像420，其中对应于视点O的左眼视点的第一层的每个表面的纹理图像421和右眼视点的第一层的每个表面的纹理图像422在横向方向(水平方向)上被包装。

此外，如图30的B所示，第一层的每个表面的纹理图像可以是例如其中纹理图像421和纹理图像422在纵向方向(垂直方向)上被包装的包装图像440。

类似地，第二层的每个表面的纹理图像可以是包装图像，其中对应于一个表面的第二层的视点的左眼视点的第二层的纹理图像和右眼视点的第二层的纹理图像在横向方向或纵向方向上被包装。

如上所述，在第一层和第二层的每个表面的纹理图像是其中右眼视点和左眼视点的图像被打包的纹理图像的情况下，作为解码结果获得的纹理图像被分离成右眼视点的纹理图像和左眼视点的纹理图像。然后，为第一层和第二层生成右眼三维数据和左眼三维数据。

然后，基于与观看者的观看方向和观看位置相对应的左眼的观看方向和观看位置，从左眼三维数据生成左眼显示图像。此外，基于与观看者的观看方向和观看位置相对应的右眼的观看方向和观看位置，从右眼三维数据生成右眼显示图像。然后，在头戴式显示器15可以执行3D显示的情况下，头戴式显示器15通过将右眼显示图像显示为右眼图像并将左眼显示图像显示为左眼图像来将显示图像显示为3D图像。

注意，在第一和第二实施例中，拍摄图像被映射到规则八面体以生成全天球图像，但是拍摄图像被映射到的3D模型可以是除了规则八面体之外的球体、立方体等。在拍摄图像映射到球体的情况下，全天球图像例如是符合拍摄图像映射到的球体的等距圆柱投影的图像。

此外，可以不生成低分辨率纹理流和低分辨率深度流。可以不生成第一层和第二层的深度图像。此外，第二层的纹理图像和深度图像可以仅针对主被摄体的拍摄图像映射到的一些表面生成。

此外，低分辨率纹理图像和低分辨率深度图像可以像在高分辨率纹理图像和深度图像中一样被分级和生成。

<第三实施例>

(使用由多个多相机单元拍摄的图像的再现示例)

上面已经描述了使用由一个多相机单元11拍摄的图像再现全天球图像的示例。然而，通过使用由多个多相机单元11拍摄的纹理图像和深度图像，或者使用上述纹理图像、深度图像和元数据的格式，从由多个多相机单元11拍摄的纹理图像和深度图像渲染的纹理图像和深度图像，全天球图像可以被显示在各种视点位置，或者各种视点的图像可以被显示，使得同一被摄体被不同相机包围。

图31是示出图像显示系统的第三实施例的配置示例的框图，其中使用多个多相机单元11在各种视点显示全天球图像或包围图像。注意，在图31中，对具有与图1相同功能的配置给予相同的参考数字，并且将适当地省略其描述。

也就是说，在图31中的图像显示系统10中，设置了多个多相机单元11，如多相机单元11-1和11-n所示。代替内容服务器12和主服务器13，新提供了内容服务器501和主服务器502。

内容服务器501的基本功能类似于内容服务器12的基本功能，但是形成每个预定视点的全天球图像的第一层和第二层的纹理图像和深度图像是从由多个多相机单元11-1和11-n提供的相机的拍摄图像生成的。此外，内容服务器501响应于来自主服务器502的与视点位置和视线方向形成的视点信息相关联的纹理图像和深度图像的请求，基于每个多相机单元11的每个预定视点的纹理图像和全天球图像的深度图像，基于请求生成图像，并将图像提供给主服务器502。注意，在不特别需要区分多相机单元11-1和11-n的情况下，多相机单元11-1和11-n也被简单地称为多相机单元11，这也适用于其他配置。

主服务器502的基本功能类似于主服务器13的基本功能，但是主服务器502向内容服务器501请求从头戴式显示器15提供的基于与头戴式显示器15的观看位置和视线方向相对应的观看位置和视线方向的从观看者的视野范围指定的纹理图像和深度图像，获取纹理图像和深度图像，并且经由转换设备14使头戴式显示器15显示纹理图像和深度图像。

(再现方法概述)

接下来，将参照图32描述使用由图31中的内容服务器501从多个多相机单元11-1至11-n提供的纹理图像和深度图像的再现方法的概述。

如参考图8所述，在仅考虑第一层的情况下，从每个多相机单元11提供的纹理图像和深度图像被管理为包括+X表面81、-X表面82、+Y表面83、-Y表面84、+Z表面85和-Z表面86的六个表面的纹理图像。

当发送由多个多相机单元11拍摄的图像时，内容服务器501存储每个多相机单元的六个表面的表面信息。

然后，响应于来自主服务器502的请求，当使用由多个多相机单元11拍摄的图像来再现图像时，内容服务器501使用包括作为相机层的多个层的图像数据来再现针对每个多相机单元拍摄的图像。

例如，当从多相机单元11-1和11-2发送六个表面的纹理图像和深度图像时，内容服务器501存储每个多相机单元11的纹理图像和深度图像，并且响应于来自主服务器502的请求，使用这些图像再现图像。

更具体地，在使用多相机单元11-1和11-2中的每一个的六个表面的图像的情况下，当多相机单元11的数量为1台时，内容服务器501仅使用由一个多相机单元11拍摄的六个图像来显示全天球图像。然而，当使用多个多相机单元11的图像时，例如，如图32所示，关于六个图像中的每一个，将每个多相机单元11的多个图像通过多个相机层提供给主服务器502，并且选择性地显示多个相机层的任何图像，或者根据混合多个层的图像的方案来显示图像。

这里，在图32中，如图32的右上部分所示，由每个多相机单元11拍摄的六个表面的表面信息针对每个多相机单元11被表示为正六面体的展开图。用于识别每个相机层和关于每个相机的每个表面的参考数字被给予每个相机层。此外，针对每个相机层绘制了堆叠状态的正六面体的展开图。

也就是说，对于图32中的多相机单元11-1的六个表面，假设相机层为P1，并且与表面名称相对应地用参考数字表示为+X表面P1+X、-X表面P1-X、+Y表面P1+Y、-Y表面P1-Y、+Z表面P1+Z和-Z表面P1-Z。此外，对于多相机单元11-2的六个表面，假设相机层为P2，并且与表面名称相对应地用参考数字表示为+X表面P2+X、-X表面P2-X、+Y表面P2+Y、-Y表面P2-Y、+Z表面P2+Z和-Z表面P2-Z。此外，在图32中，相机层P1被表示为堆叠在相机层P2的展开图上。

这里，在图32的左上部分中，示出了多相机单元11-1和11-2的俯视图，并且多相机单元11均被表示为正方形。此外，每个正方形形状的多相机单元11的中心位置是视点位置，并且用作从视点到每个表面的法线的轴的名称被认为是每个表面的名称。例如，从多相机单元11-1的视点位置以+Z轴为法线的表面，即以+Z方向为视线方向的表面，是相机层P1的+Z表面，并且在展开图中显示为+Z表面P1+Z。

此外，类似地，从多相机单元11-1在图中的视点位置以相对于+Z轴形成90度的+X轴作为法线的表面，即以+X轴作为视线方向的表面，是+X表面P1+X。类似地，对于多相机单元11-2，从视点位置起以+Z轴作为法线的表面，即具有+Z轴方向作为视线方向的表面，是相机层P2的+Z表面P2+Z。从视点位置起以-X轴作为法线的表面，即以-X轴方向作为视线方向的表面，是相机层P的-X表面P2-X。

此外，由于纸面上的多相机单元11-1和11-2的前侧或后侧相对于每个视点位置是+Y轴和-Y轴方向，尽管未示出，但是从视点位置起以+Y轴作为法线的表面，即以+Y轴方向作为视线方向的表面，是+Y表面P1+Y。类似地，存在-Y表面P1-Y、+Y表面P2+Y和-Y表面P2-Y。

以这种方式，多相机单元11-1和11-2中的每一个的六个表面被表示为展开图，其中，如图32的右上部分所示，在该展开图中，以十字形状在纵向方向上布置了三个表面和在横向方向上布置了四个表面。每个表面显示为形成相机层P1和P2的每个表面。

因此，在下文中，作为六个表面的集合并且是关于展开图形状的描述的因素，例如，假设多相机单元11-1的六个表面中的每一个的数据被称为相机层P1的表面数据，并且假设多相机单元11-2的六个表面中的每一个的数据被称为相机层P2的表面数据。因此，在图32的右上部分，包括相机层P1和P2的每一条表面数据的六个表面的数据被表示为堆叠状态。

此外，在图32中，以视点位置为中心的每90度的范围是每个表面的视场角，该视点位置表示为延伸以正方形表示的多相机单元11-1和11-2中的每一个的对角线的延长线段，因此也示出了多相机单元11-1和11-2的空间位置关系。

因此，在图32中，在被摄体511位于多相机单元11-1和11-2之间的情况下，被摄体511被拍摄在两个表面上，即+Z表面P1+Z和+Z表面P2+Z。

注意，如上所述，这里提到的相机层表示与主要是前景的第一层和主要是背景的第二层不同的层次。

在以这种方式使用多个多相机单元11的表面数据的情况下，针对每个多相机单元11设置相机层，并且针对每个相机层将形成全天球图像的六个表面设置为六个表面的表面数据。

因此，例如，当假设图像被再现为全天球图像并且设定了虚拟视点512的情况下，被摄体511被多相机单元11-11至11-13以图33所示的位置关系包围时，通过使用作为最接近虚拟视点512的多相机单元11-11的相机层P11的六个表面的数据，可以高精度地在虚拟视点512处再现图像。

注意，如图33所示，设置多相机单元11-11至11-13的相机层P11、P12和P13中的每一个的六个表面的表面数据。堆叠层配置在图33的左上部分中。

此外，如图34的左侧部分所示，在假设围绕被摄体511提供的图像被再现为根据假想视点切换和显示的包围图像的情况下，以及在围绕被摄体511设置多相机单元11-11至11-13的情况下，在为每个多相机单元11形成的相机层P11、P12和P13中仅使用拍摄被摄体511的表面的图像。

即，在图34的左侧部分的情况下，在三个表面上拍摄被摄体511的图像，即多相机单元11-11的+Z表面P11+Z表面、多相机单元11-12的-X表面P12-X和多相机单元11-13的+Z表面P13+Z。

另一方面，如图34的右侧部分所示，在假想视点521和被摄体511被移动的情况下，表面被改变为两个表面，即多相机单元11-12的+Z表面P12+Z和多相机单元11-13的-X表面P13-X。

因此，在每个相机层中设置的六个表面中，必要的表面是三个表面。因此，即使当主服务器502中需要多个相机层的图像时，也可以通过仅向主服务器502发送必要的表面来允许频带余量。

即，如图35的中下部所示，用于设置是否发送每条表面数据的优先级表被设置在每三个相机层设置的六条表面数据中。在图35的中下部，示出了优先级表，其中左项表示在每个相机层P0和P1中设置的六个表面的数据，右项设置是否在每个相机层中发送表面数据。在图35中，当需要发送表面数据时，“1”被设置为每个表面的优先级。发送对应于设置了“1”优先级的表面的数据，并且不发送关于未设置“1”优先级的表面的数据。

因此，如图35的左下方所示，例如，在假设全天球图像的再现的情况下，通过使用作为最接近假想视点521的多相机单元11-11的相机层P11的六个表面(图中顶层的六个表面)的数据，可以高精度地在假想视点512处再现图像。因此，在优先级表中，对应于形成相机层P11的六个表面的数据被设置为“1”并被发送，并且相机层P12和P13中的每一个的六个表面的数据不被发送。

此外，如图35的右上部分所示，在假设图像被再现为包围图像的情况下，被摄体511的图像被拍摄在三个表面上，即多相机单元11-11的+Z表面P11+Z、多相机单元11-12的+X表面P12+X和多相机单元11-13的+Z表面P13+Z。因此，在优先级表中，与三个表面即多相机单元11-11的+Z表面P11+Z、多相机单元11-12的+X表面P12+X和多相机单元11-13的+Z表面P13+Z相对应的数据被设置为“1”，并且被发送，而其他表面的数据不被发送。

以这种方式，由多个多相机单元11-1至11-n拍摄的图像被管理为针对每个多相机单元11设置的相机层单元中的六个表面的数据。此外，在再现时，根据被摄体和假想视点之间的位置关系，生成用于指定必须被发送的表面的优先级表。在全天球图像的情况下，仅发送特定相机层的图像。在发送包围图像时，仅发送必要表面的数据，因此可以减少与发送相关的发送频带的负载。

在下文中，将使用参考图31至图35描述的相机层的概念来描述根据本公开的图像显示系统。

(图31中的内容服务器的配置示例)

接下来，将参照图36的框图描述高分辨率图像处理单元34的配置示例。注意，图31中的内容服务器501的配置仅在高分辨率图像处理单元34的配置方面不同于图2中的内容服务器12的配置。因此，这里将仅描述图31中的内容服务器501中的高分辨率图像处理单元34的配置示例。

图36中的高分辨率图像处理单元34和图3中的高分辨率图像处理单元34之间的区别在于，提供了分组单元551、优先级设置单元552和选择单元553。

分组单元551基于每个多相机单元11的内部参数和外部参数中的至少一个，将多个多相机单元11分类为多个组。分组单元551生成全局表，在该全局表中登记了关于多个组的组信息。

此外，分组单元551为每个组生成一个组表，在该组表中登记了在根据由分类成组的多相机单元11拍摄的纹理图像生成三维数据时使用的相机信息。作为相机信息，存在内部参数、外部参数等。分组单元551将全局表和分组表存储在存储器58中。

优先级设置单元552将存在被摄体的观看区域划分成以组为单位的多个网格，为每个网格设置在多个多相机单元11中的每个中配置的表面的相机的每个相机设置的评估值(这里，因为有六个表面，所以有六个相机)，并且根据评估值设置优先级。

更具体地，优先级设置单元552基于包括在多相机单元11中的六个相机中的相机的每个图像中的每个相机的外部参数和内部参数，为多个多相机单元11的每组获取每个相机的视场角。优先级设置单元552基于每个相机的视场角计算关于三维数据生成的相机设置的评估值。

例如，由于被摄体和多相机单元11的设置之间的位置关系在预定组中是固定的，所以优先级设置单元552将存在被摄体的观看区域划分成网格，以网格单位和视觉方向单位改变属于预定组的多相机单元11的相机的存在或不存在模式，计算每个相机设置的评估值，基于每个评估值计算相机设置中包括的每个相机的优先级，设置优先级表，并将优先级表存储在存储器58中。

选择单元553基于由对应于假想视点的相机拍摄的表面的优先级，并基于从优先级设置单元552提供的从由主服务器502请求的假想视点的优先级表，选择具有最高优先级的图像(表面)，并将图像从发送单元60发送到主服务器502。

(分组单元的配置示例)

接下来，将参照图37的框图描述图36中的分组单元551的配置示例。

图37中的分组单元551包括分组单元561、全局表生成单元562和组表生成单元563。

分组单元551的分组单元561基于由优先级设置单元552设置的每个相机的内部参数和外部参数中的至少一个，将多个相机分类为多个组。分组单元561生成每个组的组信息，并将组信息提供给全局表生成单元562。

此外，分组单元561针对每个组，将分类成组的多相机单元11以及每个相机的内部参数和外部参数提供给组表生成单元563。

全局表生成单元562(组信息生成单元)基于从分组单元561提供的每个组的组信息来生成全局表。全局表生成单元562将全局表提供给存储器58，并使全局表被存储。

组表生成单元563(相机信息生成单元)基于分类到从分组单元561提供的每个组中的多相机单元11的内部参数和外部参数，为每个组生成组表。组表生成单元563将组表提供给存储器58，并使组表被存储。

(多相机单元的第一分类方法说明)

图38和图39是示出分组单元561对多相机单元11的第一分类方法的说明图。

在图38和图39的示例中，三个三维物体572-0至572-2被十三个多相机单元11之一的相机571-0至571-12作为主要被摄体拍摄。注意，这适用于下面将要描述的图41。此外，在下文中，在不特别需要区分相机571-0至571-12的情况下，相机571-0至571-12统称为相机71。此外，在下文中，在多相机单元11的分组方法的说明中将说明在属于多相机单元11的六个相机571中仅分组一个相机的示例。假设多相机单元11属于每个相机571所属的每个组。

在这种情况下，例如，在第一分类方法中，分组单元551基于由相机571的外部参数指示的位置，根据k平均法等将相机571所属的多相机单元11分类为组，如图38所示。也就是说，在多相机单元11中，例如，六个表面由六个相机拍摄。因此，一个多相机单元11相对于六个表面中的每一个属于一个组。因此，所有多相机单元11被分类为任一组。在图38的示例中，分组单元561将四个相机571-0至571-3所属的多相机单元11分类为第一组，将五个相机71-4至71-8所属的多相机单元11分类为第二组，并将四个相机71-9至71-12所属的多相机单元11分类为第三组。

此时，分组单元561确定区域573-0至573-2，该区域573-0至573-2包括被分类为每组的所有相机571所属的多相机单元11的位置，并获得区域573-0至573-2的质心574-0至574-2。在区域573-0至573-2中彼此相邻的区域可以接触或不接触。

在图38的第一分类方法中，包括相机571的多相机单元11被分类为任一组。然而，如图39所示，在一些情况下，至少一个相机571所属的多相机单元11被分类为两个或更多组。在这种情况下，对于包括由所有相机571的外部参数指示的位置的区域，分组单元561设置作为区域的一部分的部分区域，使得至少一个部分区域与另一部分区域重叠。然后，分组单元561针对每个部分区域将位于部分区域内的相机571所属的多相机单元11分类为一组。

在图39的示例中，在包括所有相机571所属的多相机单元11的位置的区域中设置了三个圆形局部区域581-0至581-2。然后，位于部分区域581-0内的四个相机571-0至571-3所属的多相机单元11被分类为第一组，位于部分区域581-1内的五个相机571-4至571-8所属的多相机单元11被分类为第二组。此外，位于部分区域581-2内的六个相机571-7至571-12所属的多相机单元被分类为第三组。因此，相机571-7和571-8所属的多相机单元11被分为第二组和第三组。

此时，分组单元561获得部分区域581-0至581-2的质心(中心)582-0至582-2。

注意，在图38和图39的示例中，由相机571拍摄的主要被摄体是三维物体，但是也可以是三维空间。

(第一分类方法中全局表的配置示例)

图40是示出第一分类方法中的全局表的配置示例的图。

注意，在图40的示例中，组的数量是3，并且组ID从0按顺序分给每个组。

在图40的全局表中，包括组的质心位置、区域信息和组表获取信息的组信息与每个组的组ID相关联地登记。

质心位置是三维坐标，表示区域的质心位置，包括分类成组的所有相机的位置(图38的示例中的质心574-0至574-2和图39的示例中的质心582-0至582-2)。在图40中，组ID为i(其中i＝0、1和2)的组的质心位置被写入三维坐标(xi,yi,zi)。

此外，区域信息是指示包括分类成组的所有相机的位置的区域的信息(图38的示例中的区域573-0至573-2和图39的示例中的部分区域581-0至581-2)。在像在区域573-0至573-2中那样区域的形状不是圆形的情况下，区域信息例如是区域的每个顶点的三维坐标。相反，在像在部分区域581-0至581-2中那样区域的形状是圆形的情况下，区域信息是例如指示区域半径的信息。在图40的示例中，组ID为i的组的区域信息被写为区域i。

组表获取信息是例如用于指定全局表在存储器58中的位置的信息，例如统一资源定位符(URL)。在图40中，组ID为i的组的组表获取信息被写为URLi。

(多相机单元的第二分类方法的说明)

图41是示出图37中的分组单元561对多相机单元11的第二分类方法的说明图。

在第二分类方法中，假设安装在假想视点处的相机与多相机单元11的相机的内部参数和外部参数相同。

此外，如图41所示，关于三维物体572-0至572-2，分组单元561将属于与三维物体572-0至572-2是被摄体的纹理图像相对应的多相机单元11中的任一个的相机分类成组。具体地，分组单元561针对每个相机，基于内部参数和外部参数，使用纹理图像(二维图像)来识别相应的三维物体。然后，分组单元561针对每个三维物体，将对应于三维物体的相机分类成组，并将与对应的多相机单元11相关联的相机分类成组。

在图41的示例中，分组单元561将六个相机571-0至571-3、71-10和571-11所属的多相机单元11分类为对应于三维物体72-0的组。此时，分组单元561确定包括多相机单元11的位置的区域601，并且获得区域601的质心602，所有被分类为对应于三维物体572-0的组的相机571都属于该区域。

此外，分组单元561将相机571所属的多相机单元11分类为与三维物体572-1和572-2相对应的组，就像在与三维物体572-0相对应的组中一样。然后，分组单元561为每个组确定包括分类到该组中的所有相机571所属的多相机单元11的位置的区域，并获得该区域的质心。

(第二分类方法中全局表的配置示例)

图42是示出第二分类方法中的全局表的配置示例的图。

图42的全局表的配置不同于图40的配置，因为组信息中还包括三维物体位置。

也就是说，在图42的全局表中，与每个组的组ID相关联地，作为指示对应于该组的三维物体(图41的示例中的三维物体572-0至572-2)的信息的三维物体的中心的三维坐标被登记为三维物体位置。也就是说，三维物体位置是指示由属于多相机单元11的相机拍摄的纹理图像是否被用于生成特定三维物体的三维数据的信息，所述多相机单元11对应于分类到每个组中的相机。在图42中，组ID为i(其中i＝0、1和2)的组的三维物体位置被写入为三维坐标(xsi,ysi,zsi)。

(相机的第三分类方法的说明)

图43是示出图37中的分组单元561对相机的第三分类方法的说明图。

在第三分类方法中，属于多相机单元11的每个相机的主要被摄体是三维空间。在图43的示例中，属于多相机单元11的相机的数量是13个，并且在13个相机571-0至571-12中设置内部参数和外部参数。

此外，如图43所示，分组单元561根据网格、Voronoi等将三维空间划分为三维空间划分区域。在图43的示例中，属于任何多相机单元11的十三个相机571作为主要被摄体拍摄三个三维空间划分区域621-0至621-2。注意，三维物体包括在由相机571拍摄的三维空间划分区域621-0至621-2中。

此外，如图43所示，分组单元561将对应于纹理图像的相机分类到关于每个三维空间划分区域621-0至621-2的组中，其中三维空间划分区域621-0至621-2是该纹理图像中的被摄体。具体地，分组单元561针对每个相机，基于内部参数和外部参数识别与使用纹理图像生成的三维数据相对应的三维空间划分区域。然后，分组单元561针对每个三维空间划分区域，将对应于该三维空间划分区域的相机分类为组。

在图43的示例中，分组单元561将六个相机571-0至571-3、571-10和571-11所属的多相机单元11分类为对应于三维空间划分区域621-0的组。此时，分组单元561确定包括被分类到对应于三维空间划分区域621-0的组中的所有相机571的多相机单元11的位置的区域601，并且获得区域601的质心602。

此外，分组单元561将相机571所属的多相机单元11分类为与三维空间划分区域621-1和621-2相对应的组，如同在与三维空间划分区域621-0相对应的组中一样。然后，分组单元561为每个组确定包括分类到该组中的所有相机571所属的多相机单元11的位置的区域，并获得该区域的质心。

(第三种分类方法中的全局表的配置示例)

图44是示出第三分类方法中的全局表的配置示例的图。

图44的全局表的配置与图40的配置的不同之处在于，组信息中还包括三维空间划分区域位置。

也就是说，在图44的全局表中，与每个组的组ID相关联地，作为指示与该组相对应的三维空间划分区域(在图43的示例中，是三维空间划分区域621-0至621-2)的信息的三维空间划分区域的中心的三维坐标被登记为三维空间划分区域位置。也就是说，三维空间划分区域位置是指示由分类到每个组中的相机拍摄的纹理图像等是否用于生成特定三维空间划分区域的三维数据的信息。在图44中，组ID为i的组的三维空间划分区域位置(其中i＝0、1和2)被写为三维坐标(xci,yci,zci)。

(组表示例)

图45是示出由图37中的组表生成单元563生成的组表的示例的图。

如图45所示，在组表中，相机的内部参数、外部参数和流获取信息与被分类为对应于组表的组的多相机单元11所属的多相机单元ID和由属于每个多相机单元的相机拍摄的表面相关联地被登记为相机信息。

在图45的示例中，分类到对应于组表的组中的多相机单元11的数量是3，多相机单元11的多相机单元ID是1至3，并且由每个多相机单元11所属的相机拍摄的表面是posZi、negZi、posXi、negXi、posYi和negYi(其中i＝1、2和3)。注意，对应于多相机单元11中的相机的表面对应于参照图8描述的表面81至86。

此外，在图45中，相机的内部参数，即posZi、negZi、posXi、negXi、posYi和negYi(其中i＝1、2和3)被写为Kij(其中j＝0至5)，外部参数被写为Rij|Tij。

流获取信息包括纹理图像获取信息和深度图像获取信息。在图45中，用于识别相机的表面是posZi、negZi、posXi、negXi、posYi和negYi(其中i＝1、2和3)的相机的纹理图像获取信息被写为VIDEO URL ij(其中j＝0至5)。

深度图像获取信息是用于获取由相机拍摄的深度图像数据的编码流的信息，并且是例如用于指定深度图像数据在存储器58中的位置的URL等信息。在图45中，用于识别相机的表面是posZi、negZi、posXi、negXi、posYi和negYi(其中i＝1、2和3)的相机的深度图像数据采集信息被写入DEPTH URL ij(其中j＝0至5)。

选择单元553响应于来自主服务器502的请求，基于以这种方式登记在组表中的每个相机的相机信息，从所有登记相机的相机信息中选择用于生成由主服务器502再现的三维数据的相机信息。

(优先级设置单元的配置示例)

接下来，将参照图46的框图描述优先级设置单元552的配置示例。优先级设置单元552包括评估单元651和优先级确定单元652。

评估单元651基于为每个组生成包围图像所需的每个相机的外部参数和内部参数来获得每个相机的视场角。评估单元651针对形成组的每个相机设置，基于每个相机的视场角，计算用于生成三维数据的每个相机设置的评估值。评估单元651以组为单位将每个相机设置的评估值提供给优先级确定单元652。优先级确定单元652将从评估单元651提供的每个组的每个相机设置的评估值提供给优先级确定单元652。

优先级确定单元652基于从评估单元651提供的每个组的每个相机设置的评估值，在显示全天球图像时以多相机单元11为单位设置全天球优先级，在显示包围图像时以每个相机单元为单位设置包围优先级，生成优先级表，并将优先级表存储在存储器58中。例如，优先级确定单元652可以设置包围优先级，该包围优先级是下面将要描述的包围图像的优先级，并且可以使用在单个相机单元中设置的优先级来设置全天球优先级(该优先级是全天球图像的优先级)，而与用包围优先级设置的多相机单元11无关。例如，优先级确定单元652可以通过根据全天球优先级在各个相机中设置的优先级的总指示符来设置每个多相机单元11的全天球优先级。

(包围图像示例)

这里，将参照图47描述由拍摄生成包围图像所必需的图像的相机进行的包围设置的示例。

例如，在包围图像中，相机571的设置是在安装了多相机单元11的每个相机571的安装区域691包括观看区域692的情况下的包围设置，观看区域692是每个组中的被摄体或被摄体区域，如图47所示。在图47中，安装区域691被分成多个(在图47的示例中，是12(横向)×8(纵向))网格693。然后，在所有网格693的顶点中的三个顶点的每个组合中，假设这三个顶点被包括为每个相机571的位置t，并且生成每个相机571的外部参数，包括姿势R，在该姿势R处，每个相机571的光轴穿过观看区域692的中心点694。假设三个顶点的每个组合中的每个相机571的外部参数被确定为每个相机571的设置的外部参数。

注意，对于所有相机571的视场角包括观看区域692的每个组，实现了相机571在安装区域691内的设置。

这里，将再次描述优先级设置单元552的配置示例。优先级设置单元552的评估单元651包括划分单元671、投影单元672、确定单元673和计算单元674。

评估单元651的划分单元671将指示与各组中的被摄体相关联的观看区域信息的位置的观看区域的表面划分成多个网格。划分单元671向投影单元672提供网格信息，该网格信息包括指示每个网格左上角位置的三维坐标等。

例如，划分单元671将图48的A所示的观看区域741的表面划分成多个网格742，并将指示网格742的左上角位置743的三维坐标作为网格信息提供给投影单元672。注意，图48的A是示出观看区域741的透视图。

投影单元672针对相机571的每个设置，基于从划分单元671提供的网格信息以及每个相机571的外部参数和内部参数，将每个网格投影到每个相机571，并且生成指示关于每个组的投影线的投影线信息。投影单元672针对每组相机571，将给每个网格的每个相机571的投影线信息提供给确定单元673。

例如，投影单元672将图48的B所示的网格742左上角的位置743投影到每个相机571-1至571-3，并将指示投影线744的投影线信息提供给确定单元673。注意，图48的B是示出从相机571的上侧观看的相机571和观看区域741的图。这同样适用于图48的C。

确定单元673针对每组中的每个相机571，基于从投影单元672提供的投影线信息，相对于每个网格检测特定相机571的数量Viewcount，其中到该些相机571的投影线在每个相机571的视场角内。

针对每个网格，在数量Viewcount是相机571的数量N的情况下，即，到每个相机571的所有投影线都在相机571的视场角内的情况下，确定单元673在指示相机571的设置是否有效(即，相机571有效地拍摄了被摄体)的ValidFlag中设置1，从而指示有效性。

另一方面，针对每个网格，在数量Viewcount小于相机571的数量N的情况下，即，在到每个相机571的投影线中的至少一条不在相机571的视场角内的情况下，确定单元673在ValidFlag中设置0，指示无效。确定单元673针对相机571的每个设置，将每个网格的ValidFlag提供给计算单元675。

例如，从图48的B所示左上角位置743到相机571-1和571-2的投影线在相机571-1的视场角742-1和相机571-2的视场角742-2内。然而，从左上角位置743到相机571-3的投影线不在相机571-3的视场角742-3内。因此，确定单元673确定相对于左上角位置743的网格742，相机571的确定数量Viewcount为2。然后，由于作为确定数量Viewcount的2小于作为相机571的数量N的3，所以确定单元673在左上角位置743的网格742的ValidFlag中设置0，并将ValidFlag提供给计算单元675。

另一方面，从图48的B中所示的中下位置743到相机571-1和571-3的投影线分别在相机571-1至571-3的视场角742-1至742-3内。因此，确定单元673确定相对于中下位置743的网格742，相机571的数量Viewcount为3。然后，由于作为确定数量Viewcount的3等于作为相机571的数量N的3，所以确定单元673在中下位置743的网格742的ValidFlag中设置1，并将ValidFlag提供给计算单元675。

计算单元674针对相机571的每个设置，基于每个相机571的外部参数和内部参数生成凸包(Convex Hull)。凸包是当相机571的视场角被投影到三维坐标时相交的区域，并且是根据相机571的视场角生成的视觉包。凸包的细节例如在C.BRADFORD BARBER,DAVIDP.DOBKIN，HANNU HUHDANPAA的The Quickhull Algorithm for Convex Hulls中有所描述。

在图48的B示例中，计算单元674生成凸包745。这里，从凸包745突出的观看区域741的三维数据可以不使用由相机571拍摄的纹理图像和深度图像来生成。

此外，对于相机571的每个设置，计算单元674基于凸包的x、y和z坐标的最小值和最大值来计算边界框(Bounding Box)的三维坐标，边界框是与凸包外接的四角柱。对于相机571的每个设置，计算单元674将边界框的三维坐标提供给计算单元675。

例如，计算单元674基于图48的C中凸包745的x、y和z坐标的最小值和最大值来计算边界框746的三维坐标，边界框746是与凸包745外接的四角柱，并且将三维坐标提供给计算单元675。

计算单元675针对相机571的每个设置，基于从确定单元673提供的每个网格的ValidFlag，确定所有网格的ValidFlag是否为1。在计算单元675确定所有网格的ValidFlag为1的情况下，计算单元675基于下面的表达式(2)计算评估值E。

[数学式2]

(viewing region观看区域)

注意，len(R)是区域R在x方向、y方向和z方向上的边的长度之和。此外，在本说明书中，观看区域的形状是四角柱，但是可以是除四角柱以外的形状。在这种情况下，在表达式(2)中，使用与观看区域外接的四角柱的区域来代替观看区域。

根据表达式(2)，占据边界框的观看区域的比例越大，评估值E就越接近1。也就是说，占据凸包的观看区域的比例越大，评估值E就越接近1。

例如，如图49的B的上部所示，在观看区域741占据凸包752的比例相对较大的情况下，评估值E是比观看区域741占据凸包751的比例相对较小的情况更接近1的值，如图49的A的上部所示。

此外，在相机571的设置是包围设置的情况下，使用来自由相机571拍摄的纹理图像等的可视壳(Visual Hull)来生成三维数据。因此，如图49的A的上部所示，在占据凸包751的观看区域741的比例相对较小的情况下，如图49的A的下部所示，观看区域741的纹理图像762在由三维数据生成的纹理图像761中的比例相对较小，其中凸包751是在视场角中生成的可视壳。

另一方面，如图49的B的上部所示，在观看区域741占据凸包752的比例相对较大的情况下，如图49的B的下部所示，从三维数据生成的纹理图像763内的观看区域741的纹理图像764的比例相对较大。因此，观看区域741的纹理图像762的分辨率高于观看区域741的纹理图像764的分辨率。因此，表达式(2)中获得的评估值E越接近1，三维数据的精度就越高。

此外，计算单元675在至少一个网格的ValidFlag被确定为1的情况下，即，在至少一个相机571的视场角中不包括至少一部分观看区域的情况下，将评估值E确定为0。计算单元675将相机571的每个设置的评估值E提供给优先级确定单元652。

如上所述，当确定评估值E时，对应于三维数据的精度最高的相机571的设置的评估值E最接近1。因此，优先级确定单元652使用评估值E最接近1的设置来确定优先级作为最佳设置的图像。

注意，在图46的示例中，投影单元672已经将网格投影到相机571，但是相机571也可以被投影到网格。

此外，当评估值E是指示使用由相机571拍摄的纹理图像等生成的可视壳的精度的值时，评估值E可以是指示观看区域占据边界框的比例的值以外的值。

例如，评估值E可以被设置为指示占据凸包的观看区域的比例、凸包的体积或表面积、边界框的x、y和z方向上的边的长度差异等的值。在这种情况下，与特定评估值E相对应的设置被选择为最佳布置，该评估值E指示占据凸包的观看区域的比例最大，凸包的体积或表面积最小，或者边界框在x、y和z方向上的边的长度差最小(边界框最接近立方体)。

优先级确定单元652基于对应于相机设置的评估值E，确定上述观看区域中网格单元中每个对应相机571的包围优先级。更具体地，在相机571-1至571-4被设置在观看区域771中的情况下，如图50的左侧部分所示，作为视场角内的被摄体的网格771A被包括在例如相机571-1至571-3的相机配置中，并且相对高的值被设置为评估值E。相反，因为相机571-4不包括在作为被摄体的网格771A中，所以设置相对低的值。

结果，在图50的左侧部分的情况下，在观看区域771中的网格771A中，其中网格771A包括在视场角内的相机571-1至571-3的包围优先级被设置为优先级＝1，并且其中网格771A不包括在视场角内的相机571-4被设置为优先级＝0。

此外，在图50的右侧部分的情况下，在观看区域771中的网格771B中，其中网格771A包括在视场角内的相机571-1至571-3的包围优先级被设置为优先级＝1，并且其中网格771B包括在视场角内的相机571-4被设置为优先级＝0。请注意，包围优先级越高，该值越高。包围优先级越低，该值越接近于0。这里，优先级的范围在0和1之间。这里，该范围不限于0至1，而是可以是不同于0至1的范围。

此外，优先级确定单元652基于包围优先级的值，在全天球图像中以多相机单元11为单位设置全天球优先级。例如，优先级确定单元652可以以组为单位，将属于每个多相机单元11的相机的包围优先级的总和设置为多相机单元11的全天球优先级，并且可以将该总和值设置为属于多相机单元11的所有相机中的全天球优先级。此外，优先级确定单元652可以在属于最靠近作为被摄体的网格771的多相机单元11的相机中设置高优先级，而与包围优先级无关，并且可以在属于远离的多相机单元11的相机中设置低优先级。

注意，由于相机的设置基本上是固定的，所以可以通过改变属于该组中的组的相机的组合中的相机的设置来获得评估值，并且可以将具有最大评估值的相机设置中的优先级设置为同一组中的组中的优先级。

(优先级表)

优先级确定单元652根据参照图50描述的方案，基于每个相机571的优先级，生成优先级表，该优先级表是关于优先级的元数据，并使优先级表存储在存储器58中。

更具体地，例如，为图51所示的查看区域中的每个网格和每个组生成优先级表，并将其存储在存储器58中。

在图51中，全天球优先级和包围优先级与从图左侧开始属于多相机单元11的多相机单元ID以及由属于每个多相机单元的相机拍摄的每个表面相关联地登记。

全天球优先级是以多相机单元11为单位的优先级，并且是以属于相对于网格以相机571为单位设置的优先级最高的多相机单元11的相机为单位设置的优先级。

包围优先级是在每个组和每个网格的单个相机中设置的优先级。

因此，例如，在图51所示的优先级表中，用于识别相机的多相机单元11的相机ID＝1的表面为posZ1、negZ1、posX1、negX1、posY1和negY1的相机的全天球优先级都被写为2。注意，此处优先级被设置在0到2的范围内。

此外，其中用于识别相机的多相机单元11的多相机单元ID＝1的表面为posZ1和negZ3的相机的优先级都被写为2，并且其中表面为posX2的相机的优先级被写为1。

在图51的优先级表中设定了全天球图像的显示的情况下，例如，如图51的右上部分所示，在设定全天球优先级时，在将多相机单元ID设定为1至3的同时，选择属于多相机单元ID＝1的六个表面PX1、NX1、PY1、NY1、PZ1和NZ1的图像。

此外，在包围图像上的显示被设置的情况下，在包围优先级的设置中选择表面PX1、NX2和PX3的图像，例如，如图51的右下部分所示。

(选择单元的配置示例)

接下来，将参照图52的框图描述选择单元553的配置示例。

图52中的选择单元553包括全局表获取单元781、组选择单元782、组表获取单元783和表面选择单元784。

选择单元553的全局表获取单元781获取从存储器58提供的全局表，并将全局表提供给组选择单元782。

组选择单元782基于观看位置、视线方向和从全局表获取单元781提供的全局表，从所有组中选择包括选择表面的组。组选择单元782将登记在全局表中的所选组提供给优先级表获取单元783。

优先级表获取单元783(相机信息获取单元)基于关于组的信息，获取根据相应组的优先级表中的观看位置和视线方向指定的网格的优先级表，根据用户指定的图像是全天球图像还是包围图像来选择优先级，并将关于所选表面的信息提供给表面选择单元784。

表面选择单元784从由组表获取单元783提供给传输单元60的关于所选表面的信息中，将与存储在存储器58中的表面相对应的纹理图像和深度图像提供给传输单元60。

(组表选择方法说明)

将参照图53描述由组选择单元782进行的组表选择方法。

如图53的左侧部分所示，假想地安装在假想视点处的相机800在例如视场角fov内，并且根据离被摄体前表面的距离near和离被摄体后表面的距离far来指定栅格771C。

如图53的左侧部分所示，在作为图的上部的观看区域771中的网格771C被设置为来自假想地安装在假想视点处的相机800的观看区域的情况下，具有组ID＝1的组被选择为例如由网格771C指定的组，并且相机571-11至571-13属于该组，如图53的右侧部分所示。

如上所述，组选择单元782指定安装在假想视点处的相机800的被摄体处于相机800的视场角fov内并且处于离被摄体前表面的距离为near和离被摄体后表面的距离为far的网格，并基于包括网格的区域信息选择关联的组。因此，表面选择单元784根据所选择的组读取优先级表的设置，并且在高优先级的相机的图像中获取必要表面的信息。

(流生成处理说明)

接下来，将参照图54的流程图描述图31中的内容服务器501的流生成处理。注意，图54的流程图中的步骤S101至S116的处理与图18的步骤S10至S25的处理相同，因此将省略其描述。此外，当图31中的多相机单元11-1至11-n的相机的拍摄图像以帧单元顺序提供时，流生成处理开始。

当通过步骤S101至S116的处理生成各个多相机单元11的每个表面的第一层纹理流、第一层深度流、第二层纹理流和元数据并将其存储在存储器58中时，处理进行到步骤S117。

在步骤S117中，分组单元551执行分组处理，将多相机单元11和属于每个多相机单元11的相机分组，以生成全局表和组表，并将全局表和组表存储在存储器58中。注意，将参照图55的流程图描述分组处理的细节。

在步骤S118中，优先级设置单元552根据参照图46至图50描述的方案，为每个组设置关于每个多相机单元11和观看区域中的每个相机以及网格单元的全天球优先级和包围优先级，生成包括全天球优先级和包围优先级的优先级表，并使优先级表存储在存储器58中。

通过上述处理，生成各个多相机单元11的每个表面的第一层纹理流、第一层深度流、第二层纹理流和元数据，并将其存储在存储器58中，并且生成全局表、组表和优先级表。

(分组处理)

接下来，将参照图55的流程图描述分组处理。

在步骤S131中，分组单元551的分组单元561(参见图37)基于属于每个多相机单元11的相机的内部参数和外部参数中的至少一个，将多个多相机单元11分类为多个组。分组单元561生成关于每个组的组信息，并将该组信息提供给全局表生成单元562。

此外，分组单元561将分类为每组的多相机单元11的多相机单元ID、用于识别多相机单元11的相机的表面、内部参数、外部参数、纹理图像获取信息和深度图像获取信息提供给组表生成单元563。

在步骤S132中，全局表生成单元562基于从分组单元561提供的每个组的组信息来生成全局表。全局表生成单元562将全局表提供给存储器58。

在步骤S133中，组表生成单元563基于从分组单元561提供的分类为每个组的多相机单元11的多相机单元ID、用于识别多相机单元11的每个相机的表面、内部参数、外部参数、纹理图像获取信息和深度图像获取信息，为每个组生成组表。组表生成单元563将组表提供给存储单元58。

通过上述处理，除了多个多相机单元11中的每一个之外，还将用于识别属于每个多相机单元11的相机的表面的信息分组，并且全局表和分组表被生成并存储在存储器58中。

(图31中的主服务器的配置示例)

接下来，将参照图56的框图描述图31中的主服务器502的配置示例。注意，在图56中的主服务器502中，对具有与图19中的主服务器13相同的功能的配置给予相同的附图标记和相同的名称，并且将适当地省略其描述。

主服务器502与主服务器13的不同之处在于，代替视线检测单元234设置了视线检测单元831，并且新设置了图像请求单元832。

视线检测单元831具有与视线检测单元234相同的功能作为基本功能，还基于3D模型坐标系中的观看位置和视线方向和第一层的表格，在六个表面中确定关于选择表面的信息，所述选择表面是与在视线方向上从观看位置延伸的视线最接近的视线矢量相对应的三个表面，并且除了观看位置和视线方向之外，还将该信息提供给图像请求单元832。

当获取了视线检测单元831提供的观看位置、视线方向和关于选择表面的信息时，图像请求单元832向内容服务器501请求除了观看位置和视线方向之外的作为对应三个表面的选择表面。

接收单元231响应于该请求接收关于选择表面的信息，并将该信息存储在存储器232中。视线检测单元831从存储器232读取对应于三个选择表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

(图31的再现处理)

将参照图57和图58的流程图描述图31中的图像显示系统的再现处理。注意，图57的流程图是主服务器502的处理，图58的流程图是内容服务器501的处理。

注意，图57的流程图中的步骤S181至S186和S189至S193的处理与图26的流程图中的步骤S43至S48和步骤S50和S54的处理相同，因此将适当地省略其描述。

也就是说，当通过步骤S181至S186的处理确定视野范围时，图像请求单元832在步骤S187中基于充当假想视点的观看者的视野范围请求观看位置、视线方向和相应选择表面的图像。此时，图像请求单元832还请求在全天球图像和包围图像之间选择图像类型。

响应于该请求，在步骤S211(见图58)，选择单元553的全局表获取单元781获取从存储器58提供的全局表，并将全局表提供给组选择单元782。

在步骤S212中，组选择单元782基于请求中包括的观看位置和视线方向、对应的选择表面以及从全局表获取单元781提供的全局表，通过例如参照图54描述的方案从所有组中选择包括选择表面的组。组选择单元782将关于登记在全局表中的所选组的信息提供给优先级表获取单元783。

在步骤S213中，优先级表获取单元783(相机信息获取单元)基于组表获取信息获取根据对应组的优先级表中的假想视点指定的网格的优先级表，并且基于取决于用户指定的图像是全天球图像还是包围图像的优先级，将所请求的关于选择表面的信息提供给表面选择单元784。

在步骤S214中，表面选择单元784从存储器232读取从组表获取单元783提供的关于选择表面的信息中与存储在存储器58中的关于表面的信息中的三个选择表面对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测单元234将读取的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给发送单元60。

通过该处理，在步骤S188中，接收单元231从存储器232读取对应于三个选择表面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测单元234使得读取的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流被存储在存储器232中。

视线检测单元831在从存储器232读取之后执行处理。

在通过上述处理基于观看位置和视线方向从全局表中选择该组的情况下，所选择的组的优先级表例如是图51的左侧部分，并且设置在全天球图像上的显示，在如图51的右上部分的左侧部分所示的全天球优先级的设置中，在多相机单元ID被设置为1至3的同时选择属于多相机单元ID的六个表面PX1、NX1、PY1、NY1、PZ1和NZ1的图像，并且发送关于作为这六个表面中的选择表面的三个表面的信息。

此外，如图51的右下部分所示，在设置包围图像上的显示的情况下，在包围优先级的设置中选择表面PX1、NX2和PX3的图像。

结果，在内容服务器中，可以累积由多个多相机单元拍摄的图像。此外，可以针对每一组关于每个多相机单元和属于多相机单元的每一个相机来管理图像。

此外，对应于相机全天球图像的全天球优先级和对应于包围图像的包围优先级可以在每组中设置，并且可以与观看位置和视线方向相关联地被传送到主服务器。

此时，当内容服务器响应于来自主服务器的基于观看位置和视线方向的图像请求而仅发送表面的图像数据时，可以实现主服务器中的再现。此外，由于仅发送响应于来自主服务器的基于观看位置和视线方向的图像请求的表面图像数据，因此可以降低主服务器中的存储容量或对硬件要求的处理速度，并且可以减少发送频带。此外，当发送图像数据时，由多个多相机单元11拍摄的相同表面的图像数据可以在多层中发送，因此可以生成精度更高的三维数据。

<第四实施例>

(对应用本实施例的计算机的说明)

上述一系列处理可以通过硬件或软件来执行。当一系列处理由软件执行时，构成软件的程序被安装在计算机中。这里，计算机的示例包括结合在专用硬件中的计算机和通用个人计算机，当各种程序安装在其中时，该通用个人计算机能够执行各种功能。

图59是示出通过程序执行上述一系列处理的计算机的示例性硬件配置的框图。

在图59的计算机中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004彼此连接。

输入/输出接口1005进一步连接到总线1004。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接到输入/输出接口1005。

输入单元1006包括键盘、鼠标、麦克风等。输出单元1007包括显示器、扬声器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动可移除介质1011，例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机1000中，CPU 1001经由输入/输出接口1005和总线1004将存储在例如存储单元1008中的程序加载到RAM 1003上，并执行该程序。因此，执行上述一系列处理。

将由计算机(CPU 1001)执行的程序被记录在可移除介质1011中而提供，可移除介质1011是封装介质等。此外，程序可以通过有线或无线发送介质提供，例如局域网、互联网或数字卫星广播。

在图59的计算机中，通过将可移除介质1011插入驱动器1010中，程序可以经由输入/输出接口1005安装在存储单元1008中。此外，该程序可由通信单元1009经由有线或无线发送介质接收并安装在存储单元1008中。此外，该程序可以预先安装在ROM 1002或存储单元1008中。

应当注意，由图59中的计算机执行的程序可以是根据本说明书中描述的顺序按时间序列处理的程序，或者是并行处理的程序，或者是以必要的时序例如在调用时处理的程序。

<应用示例>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术被实现为安装在任何类型的移动体上的装置，该移动体例如是汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)。

图60是描绘车辆控制系统7000的示意性配置的示例的框图，该车辆控制系统7000作为可应用根据本公开实施例的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图60所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以例如是符合任意标准的车载通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay等。

每个控制单元包括：根据各种程序执行算术处理的微型计算机；存储部，其存储由微型计算机执行的程序、用于各种操作的参数等；和驱动各种控制目标设备的驱动电路。每个控制单元还包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；和通信I/F，用于通过有线通信或无线电通信与车辆内外的设备、传感器等进行通信。图60所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其它控制单元类似地包括微型计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元7100用作以下设备的控制设备：用于产生车辆驱动力的驱动力产生设备，例如内燃机、驱动电机等，用于将驱动力传递到车轮的驱动力传递机构，用于调节车辆转向角度的转向机构，用于产生车辆制动力的制动设备等。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定性控制(ESC)等的控制设备的功能。

驱动系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括检测车身轴向旋转运动角速度的陀螺仪传感器、检测车辆加速度的加速度传感器、以及检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮转速等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行算术处理，并且控制内燃机、驱动电机、电动转向设备、制动设备等。

车身系统控制单元7200根据各种程序控制提供给车身的各种设备的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗设备或例如前照灯、倒车灯、刹车灯、转向灯、雾灯等各种灯的控制设备。在这种情况下，可以将从移动设备发送的无线电波输入到车身系统控制单元7200，作为各种开关的按键或信号的替代。车身系统控制单元7200接收这些输入无线电波或信号，并控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。例如，从包括二次电池7310的电池设备向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余电量等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制，或者控制提供给电池设备等的冷却设备。

车外信息检测单元7400检测关于包括车辆控制系统7000的车辆外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。车外信息检测部7420例如包括用于检测当前大气条件或天气条件的环境传感器和用于检测包括车辆控制系统7000的车辆周边上的另一车辆、障碍物、行人等的周边信息检测传感器中的至少一个。

环境传感器例如可以是检测雨的雨滴传感器、检测雾的雾传感器、检测日照程度的阳光传感器和检测降雪的雪传感器中的至少一个。周边信息检测传感器可以是超声波传感器、雷达设备和LIDAR设备(光检测和测距设备或激光成像检测和测距设备)中的至少一个。成像部7410和车外信息检测部7420中的每一个可以被提供为独立的传感器或设备，或者可以被提供为其中集成了多个传感器或设备的设备。

图61描绘了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部挡风玻璃上部的位置中的至少一个位置。设置在前鼻的成像部7910和设置在车辆内部挡风玻璃上部的成像部7918主要获得车辆7900前部的图像。设置在侧视镜上的成像部7912和7914主要获得车辆7900侧面的图像。设置在后保险杠或后门上的成像部7916主要获得车辆7900后部的图像。设置在车辆内部挡风玻璃上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号灯、交通标志、车道等。

顺便提及，图61描绘了各个成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置在前鼻上的成像部7910的成像范围。成像范围b和c分别表示设置在侧视镜上的成像部7912和7914的成像范围。成像范围d表示设置在后保险杠或后门上的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，可以获得从上方观看的车辆7900的鸟瞰图像。

车外信息检测部7920、7922、7924、7926、7928和7930设置在车辆7900的前部、后部、侧面和拐角处，并且车辆内部的挡风玻璃的上部可以是例如超声波传感器或雷达设备。例如，设置在车辆7900的前鼻、后保险杠、车辆7900的后门和车辆内部挡风玻璃的上部的车外信息检测部7920、7926和7930可以是LIDAR设备。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

回到图60，将继续描述。车外信息检测单元7400使成像部7410对车外的图像进行成像，并接收成像图像数据。另外，车外信息检测单元7400从连接到车外信息检测单元7400的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收接收到的反射波的信息。基于接收到的信息，车外信息检测单元7400可以执行检测物体(例如人、车辆、障碍物、标志、路面上的字符等)的处理，或者检测距离的处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息计算到车外物体的距离。

此外，基于接收到的图像数据，车外信息检测单元7400可以执行识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理，或者检测到其距离的处理。车外信息检测单元7400可以对接收的图像数据进行诸如失真校正、对准等处理，并且组合由多个不同成像部7410成像的图像数据以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由包括不同成像部分的成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500例如与检测驾驶员状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行成像的相机、检测驾驶员生物信息的生物传感器、收集车辆内部声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并检测坐在座椅上的乘客或握着方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否正在打瞌睡。车内信息检测单元7500可以对通过声音收集获得的音频信号进行诸如噪声消除处理等处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部7800连接。输入部7800由能够由乘坐者进行输入操作的设备实现，该设备例如是触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可以被提供有通过对通过麦克风输入的语音进行语音识别而获得的数据。输入部7800可以是例如使用红外线或其他无线电波的遥控设备，或者支持车辆控制系统7000的操作的外部连接设备，例如移动电话、个人数字助理(PDA)等。输入部7800可以是例如相机。在这种情况下，乘客可以通过手势输入信息。备选地，可以输入通过检测乘坐者佩戴的可穿戴设备的运动而获得的数据。此外，输入部7800可以例如包括输入控制电路等，其基于乘坐者等使用上述输入部7800输入的信息生成输入信号，并且将生成的输入信号输出到集成控制单元7600。乘坐者等通过操作输入部7800向车辆控制系统7000输入各种数据或给出用于处理操作的指令。

存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可以由诸如硬盘驱动器(HDD)等磁存储设备、半导体存储设备、光存储设备、磁光存储设备等来实现。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F协调与外部环境7750中存在的各种装置的通信。通用通信I/F 7620可以实现蜂窝通信协议，诸如全球移动通信系统(GSM)、全球微波接入互操作性(WiMAX)、长期演进(LTE))、高级LTE(LTE-A)等，或者诸如无线LAN(也称为无线保真(Wi-Fi)、蓝牙等的另一无线通信协议。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司专用网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可以使用例如对等(P2P)技术连接到存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或者机器类型通信(MTC)终端)。

专用通信I/F 7630是支持为车辆使用而开发的通信协议的通信I/F。专用通信I/F7630可以实现标准协议，诸如例如，作为车辆环境中的无线接入(WAVE)，其是作为低层的电气和电子工程师协会(IEEE)802.11P和作为高层的IEEE 1609的组合，专用短程通信(DSRC)，或者蜂窝通信协议。专用通信I/F 7630通常执行概念V2X通信，包括车辆和车辆之间的通信(车辆对车辆)、道路和车辆之间的通信(车辆对基础设施)、车辆和家庭之间的通信(车辆对家庭)以及行人和车辆之间的通信(车辆对行人)中的一个或多个。

定位部7640例如通过从全球导航卫星系统(GNSS)卫星接收GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从具有定位功能的诸如移动电话、个人手持电话系统(PHS)或智能电话的终端获得位置信息。

信标接收部7650例如接收从安装在道路等上的无线电台发射的无线电波或电磁波，从而获得关于当前位置、拥塞、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以包括在上述专用通信I/F 7630中。

车内设备I/F 7660是通信接口，它协调微型计算机7610和存在于车辆内的各种车载设备7760之间的连接。车内设备I/F 7660可以使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)之类的无线通信协议建立无线连接。此外，车内设备I/F 7660可以通过通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链路(MHL)等经由图中未示出的连接终端(以及如果必要的话电缆)建立有线连接。车载设备7760可以例如包括乘坐者拥有的移动设备和可穿戴设备中的至少一个，以及携带到车辆中或附接到车辆的信息设备。车载设备7760还可以包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车载设备7760交换控制信号或数据信号。

车载网络I/F 7680是协调微型计算机7610和通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010支持的预定协议发送和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660和车载网络I/F 7680中的至少一个获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可以基于获得的关于车辆内外的信息来计算驱动力产生设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括车辆的防撞或减震、基于跟随距离的跟随驾驶、车速保持驾驶、车辆碰撞警告、车辆偏离车道警告等。此外，微型计算机7610可以通过基于所获得的关于车辆周围的信息控制驱动力产生设备、转向机构、制动设备等来执行旨在用于自动驾驶的协作控制，这使得车辆自主行驶而不依赖于驾驶员的操作等。

微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660和车载网络I/F 7680中的至少一个获得的信息，生成车辆和诸如周围结构、人等的物体之间的三维距离信息，并且生成包括关于车辆当前位置周围环境的信息的局部地图信息。此外，微型计算机7610可以基于所获得的信息来预测危险，例如车辆碰撞、行人接近、进入封闭道路等，并生成警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号发送到输出设备，该输出设备能够可视地或可听地向车辆的乘坐者或车辆外部通知信息。在图60的示例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出设备。显示部7720可以例如包括车载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出设备可以不是这些设备，并且可以是另一设备，诸如耳机、诸如由乘坐者佩戴的眼镜型显示器等的可穿戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以各种形式可视地显示通过微型计算机7610执行的各种处理获得的结果或从另一控制单元接收的各种形式的信息，例如文本、图像、表格、图表等。此外，在输出设备是音频输出设备的情况下，音频输出设备将由再现的音频数据或声音数据等构成的音频信号转换成模拟信号，并且可听地输出模拟信号。

顺便提及，在图60所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。备选地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的另一控制单元。此外，由上述描述中的控制单元之一执行的部分或全部功能可以被分配给另一个控制单元。即，只要经由通信网络7010发送和接收信息，任何控制单元都可以执行预定的算术处理。类似地，连接到控制单元之一的传感器或设备可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

注意，用于实现根据使用图1至图59描述的本实施例的图像显示系统10(400)的每个功能的计算机程序可以在任何控制单元等上实现。此外，还可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以例如经由网络传送，而不使用记录介质。

在上述车辆控制系统7000中，根据参照图1至图58描述的实施例的图像显示系统10(400)可以应用于根据图60所示的应用示例的车辆控制系统7000。例如，图像显示系统10(400)的多相机单元11等同于成像部7410的至少一部分。此外，内容服务器12、主服务器13(递送服务器401、网络402和再现设备403)和转换设备14被集成为等同于集成控制单元7600的微型计算机7610和存储部7690。头戴式显示器15等同于显示部7720。注意，在图像显示系统10(400)应用于车辆控制系统7000的情况下，不设置相机13A、标记15A和陀螺仪传感器15B，并且通过作为观看者的乘坐者的输入部7800的操作来输入观看者的视线方向和观看位置。如上所述，通过将图像显示系统10(400)应用于根据图60所示的应用示例的车辆控制系统7000，可以使用全天球图像生成高质量的显示图像。

此外，使用图1至图59描述的图像显示系统10(400)的至少一部分组件可以在图60所示的集成控制单元7600的模块(例如，配置有一个管芯的集成电路模块)处实现。备选地，使用图1至图30描述的图像显示系统10(400)可以用图60所示的车辆控制系统7000的多个控制单元来实现。

在本公开中，系统具有一组多个配置元件(例如装置或模块(部件))的含义，并且不考虑所有配置元件是否在同一壳体中。因此，该系统可以是存储在单独壳体中并通过网络连接的多个装置，或者是单个壳体内的多个模块。

本说明书中描述的有益效果仅仅是示例而非限制性的，并且可以实现其它有益效果。

本公开的实施例不限于上述实施例，并且在不脱离本公开的范围的情况下，可以进行各种改变和修改。

例如，本公开可以采用云计算的配置，其通过由多个装置通过网络分配和连接一个功能来进行处理。

此外，由上述流程图描述的每个步骤可以由一个装置或通过分配多个装置来执行。

此外，在一个步骤中包括多个处理的情况下，该一个步骤中包括的多个处理可以由一个装置或通过共享多个装置来执行。

此外，本技术也可以如下配置。

<1>

一种图像处理设备，其包括：

分组单元，其被配置为将获取生成被摄体的三维数据所需的纹理图像的多个相机分类为多个组；和

优先级设置单元，其被配置为为所述多个组中的每个组设置所述多个相机的优先级。

<2>

根据<1>所述的图像处理设备，其还包括：

组选择单元，其被配置为接收对纹理图像的请求，所述纹理图像基于观看者的观看位置和视线方向，对应于观看者的视野范围，并且是生成被摄体的三维数据所必需的，并且从多个组中选择获取包括观看者视野范围内的被摄体的纹理图像的相机组；和

图像选择单元，其被配置为根据由组选择单元选择的组中的相机的优先级来选择与观看者的视野范围相对应的纹理图像，并发送纹理图像。<3>

根据<1>或<2>所述的图像处理设备，其还包括：

评估单元，其被配置为针对获取包括被摄体的纹理图像并被分类为多个组的多个相机的每个组，基于拍摄用于生成被摄体的三维数据的纹理图像的相机设置，计算相机设置关于三维数据生成的评估值，

其中优先级设置单元基于每个组的评估值来设置相机的优先级。<4>

根据<3>所述的图像处理设备，

其中生成被摄体的三维数据所需的纹理图像包括全天球图像和包围图像，并且

优先级设置单元基于评估值针对每个组设置作为全天球图像的情况下的多个相机的优先级的全天球优先级，并且设置作为包围图像的情况下的多个相机的优先级的包围优先级。

<5>

根据<4>所述的图像处理设备，

其中由接收单元接收的请求包括指定全天球图像和包围图像之一的信息，

在请求包括指定全天球图像的信息的情况下，图像选择单元根据由组选择单元选择的组中的相机的全天球优先级，选择生成全天球图像所必需的并且对应于观看者视野范围的纹理图像，并且发送纹理图像，并且

在请求包括指定包围图像的信息的情况下，图像选择单元根据由组选择单元选择的组中的相机的包围优先级，选择生成包围图像所必需的并且对应于观看者视野范围的纹理图像，并且发送纹理图像。

<6>

根据<4>所述的图像处理设备，

其中所述多个相机包括在多个多相机单元中，所述多个多相机单元在多个方向上执行拍摄，并且

分组单元不仅将获取生成被摄体的三维数据所必需的纹理图像的多个相机分类，而且将多相机单元分类为多个组。

<7>

根据<6>所述的图像处理设备，

其中优先级设置单元基于评估值，针对所述多组中的每一组，以多相机单元为单位设置所述多个相机的全天球优先级。

<8>

根据<1>至<7>中任一项所述的图像处理设备，

其中分组单元基于多个相机的位置将多个相机分类成多个组。

<9>

根据<8>所述的图像处理设备，还包括：

组信息生成单元，其被配置为生成关于所述多个组中的每个组的组信息，

其中组信息是指示包括分类到组中的相机的区域的质心位置的信息。

<10>

根据<1>至<9>中任一项所述的图像处理设备，

其中分组单元针对对应于使用纹理图像生成的三维数据的每个三维物体，将对应于纹理图像的相机分类为组。

<11>

根据<10>所述的图像处理设备，还包括：

组信息生成单元，其被配置为生成关于所述多个组中的每个组的组信息，

其中组信息是指示对应于该组的三维物体的信息。

<12>

根据<1>至<11>所述的图像处理设备，

其中所述分组单元将对应于纹理图像的相机分类为对应于使用纹理图像生成的三维数据的每个三维空间的组。

<13>

根据<12>所述的图像处理设备，还包括：

组信息生成单元，其被配置为生成关于所述多个组中的每个组的组信息，

其中组信息是指示对应于该组的三维空间的信息。

<14>

一种图像处理方法，包括以下步骤：

将获取生成被摄体的三维数据所必需的纹理图像的多个相机分类成多个组；和

为多个组中的每一组设置多个相机的优先级。

<15>

一种图像处理设备，包括：

发送单元，其被配置为发送对纹理图像的请求，所述纹理图像基于观看者的观看位置和视线方向，对应于观看者的视野范围，并且是生成被摄体的三维数据所必需的；和

再现单元，其被配置为再现根据在多个相机中设置的优先级选择和发送的纹理图像，所述多个相机基于所述请求被选择为与观看者的视野范围相对应的组，并且属于获取生成所述被摄体的三维数据所必需的纹理图像的多个相机被分类到的多个组中的组。

<16>

根据<15>所述的图像处理设备，其中请求包括指定全天球图像和包围图像之一的信息。

<17>

一种图像处理方法，包括以下步骤：

发送对纹理图像的请求，所述纹理图像基于观看者的观看位置和视线方向，对应于观看者的视野范围，并且是生成被摄体的三维数据所必需的；和

再现根据在多个相机中设置的优先级选择和发送的纹理图像，所述多个相机基于所述请求被选择为与观看者的视野范围相对应的组，并且属于获取生成被摄体的三维数据所必需的纹理图像的多个相机被分类到的多个组中的组。

参考符号列表

12 内容服务器

13 主服务器

52 第一层生成单元

54 第二层生成单元

57 元数据生成单元

239 绘图单元

256 三维模型生成单元

261 遮挡处理单元

403 再现设备

501 内容服务器

502 主服务器

551 分组单元

552 优先级设置单元

523 选择单元

561 分组单元

562 全局表生成单元

563 组表生成单元

651 评估单元

652 优先级确定单元

671 划分单元

672 投影单元

673 确定单元

674 运算单元

675 计算单元

781 全局表获取单元

782 组选择单元

783 优先级表获取单元

784 表面选择单元。

Claims (15)

1.一种图像处理设备，包括：

分组单元，其被配置为将获取生成被摄体的三维数据所必需的纹理图像的多个相机分类为多个组；

优先级设置单元，其被配置为针对所述多个组中的每个组设置所述多个相机的优先级；和

评估单元，其被配置为：针对所述多个组中的每个组，基于所述相机的设置计算所述相机的设置在所述三维数据的生成方面的评估值，

其中，所述纹理图像包括全天球图像和包围图像，并且所述优先级设置单元基于所述评估值，针对所述多个组中的每个组设置作为所述全天球图像的情况下所述多个相机的优先级的全天球优先级并设置作为所述包围图像的情况下所述多个相机的优先级的外围优先级。

2.根据权利要求1所述的图像处理设备，还包括：

组选择单元，其被配置为接收对基于观看者的观看位置和视线方向的并且与所述观看者的视野范围相对应的、生成所述被摄体的三维数据所必需的纹理图像的请求，并且从所述多个组中选择获取包括所述观看者的视野范围内的所述被摄体的纹理图像的相机组；和

图像选择单元，其被配置为根据由所述组选择单元选择的组中的相机的优先级来选择与所述观看者的视野范围相对应的纹理图像，并发送所选择的纹理图像。

3.根据权利要求2所述的图像处理设备，

其中，由所述组选择单元接收的请求包括指定所述全天球图像和所述包围图像之一的信息，

在所述请求包括指定所述全天球图像的信息的情况下，所述图像选择单元根据由所述组选择单元选择的组中的相机的全天球优先级，选择与所述观看者的视野范围相对应的、生成所述全天球图像所必需的纹理图像，并且

在所述请求包括指定所述包围图像的信息的情况下，所述图像选择单元根据由所述组选择单元选择的组中的相机的包围优先级，选择与所述观看者的视野范围相对应的、生成所述包围图像所必需的纹理图像。

4.根据权利要求1所述的图像处理设备，

其中，所述多个相机被包括在多个多相机单元中，所述多相机单元在多个方向上执行拍摄，并且

所述分组单元不仅将所述多个相机分类为所述多个组，而且将所述多个相机所属于的所述多相机单元分类为所述多个组。

5.根据权利要求4所述的图像处理设备，

其中，所述优先级设置单元基于所述评估值，针对所述多个组中的每个组，以所述多相机单元为单位设置所述多个相机的全天球优先级。

6.根据权利要求1所述的图像处理设备，

其中，所述分组单元基于所述多个相机的位置将所述多个相机分类为所述多个组。

7.根据权利要求6所述的图像处理设备，还包括：

组信息生成单元，其被配置为生成关于所述多个组中的每个组的组信息，

其中，所述组信息是指示包括分类到所述组中的相机的区域的质心位置的信息。

8.根据权利要求1所述的图像处理设备，

其中，所述分组单元针对对应于使用所述纹理图像生成的三维数据的每个三维物体，将对应于所述纹理图像的相机分类为组。

9.根据权利要求8所述的图像处理设备，还包括：

组信息生成单元，其被配置为生成关于所述多个组中的每个组的组信息，

其中，所述组信息是指示对应于所述组的三维物体的信息。

10.根据权利要求1所述的图像处理设备，

其中，所述分组单元针对对应于使用所述纹理图像生成的三维数据的每个三维空间，将对应于所述纹理图像的相机分类为组。

11.根据权利要求10所述的图像处理设备，还包括：

组信息生成单元，其被配置为生成关于所述多个组中的每个组的组信息，

其中，所述组信息是指示对应于所述组的三维空间的信息。

12.一种图像处理方法，包括以下步骤：

将获取生成被摄体的三维数据所必需的纹理图像的多个相机分类成多个组；

针对所述多个组中的每一组设置所述多个相机的优先级；和

针对所述多个组中的每个组，基于所述相机的设置，计算所述相机的设置在所述三维数据的生成方面的评估值，

其中，所述纹理图像包括全天球图像和包围图像，并且，针对所述多个组中的每个组，基于所述相机的设置来设置作为所述全天球图像的情况下所述多个相机的优先级的全天球优先级以及作为所述包围图像的情况下所述多个相机的优先级的外围优先级。

13.一种图像处理设备，包括：

发送单元，被配置为发送对纹理图像的请求，所述纹理图像基于观看者的观看位置和视线方向，与所述观看者的视野范围相对应，并且是生成被摄体的三维数据所必需的；和

再现单元，其被配置为再现根据在多个相机中设置的优先级而选择和发送的纹理图像，其中，所述多个相机基于所述请求而被选择为与所述观看者的视野范围相对应的组，并且属于获取生成所述被摄体的三维数据所必需的纹理图像的相机被分类到的多个组当中的组，

其中，所述纹理图像包括全天球图像和包围图像，并且所述优先级包括基于评估值而针对所述多个组中的每个组设置的全天球优先级和外围优先级，所述全天球优先级是所述全天球图像的情况下所述相机的优先级，所述外围优先级是所述包围图像的情况下所述相机的优先级，并且所述评估值是针对所述多个组中的每个组、基于所述相机的设置而计算的所述相机的设置在所述三维数据的生成方面的评估值。

14.根据权利要求13所述的图像处理设备，其中，所述请求包括指定所述全天球图像和所述包围图像之一的信息。

15.一种图像处理方法，包括以下步骤：

发送对纹理图像的请求，所述纹理图像基于观看者的观看位置和视线方向，与所述观看者的视野范围相对应，并且是生成被摄体的三维数据所必需的；和

再现根据在多个相机中设置的优先级而选择和发送的纹理图像，其中，所述多个相机基于所述请求而被选择为与所述观看者的视野范围相对应的组，并且属于获取生成所述被摄体的三维数据所必需的纹理图像的相机被分类到的多个组当中的组，

其中，所述纹理图像包括全天球图像和包围图像，并且所述优先级包括基于评估值而针对所述多个组中的每个组设置的全天球优先级和外围优先级，所述全天球优先级是所述全天球图像的情况下所述相机的优先级，所述外围优先级是所述包围图像的情况下所述相机的优先级，并且所述评估值是针对所述多个组中的每个组、基于所述相机的设置而计算的所述相机的设置在所述三维数据的生成方面的评估值。

Images