CN109496325A - 图像处理装置和图像处理方法 - Google Patents

Abstract

提供了可以使用全向图像从预定视点生成高图片质量的纹理图像的图像处理装置和图像处理方法。绘制单元使用第一层图像和第二层图像来生成给定视点的显示图像，第一层图像包括全向图像的纹理图像和深度图像，以及第二层图像包括第一层图像的视点处的遮挡区域的纹理图像和深度图像。例如，本公开内容可以应用于从全向图像生成预定视点的显示图像的家庭服务器等。

Description

图像处理装置和图像处理方法

技术领域

本发明内容涉及图像处理装置和图像处理方法，并且特别地涉及使得可以使用全向图像在预定视点处生成高图片质量的纹理图像的图像处理装置和图像处理方法。

背景技术

存储装置可用于生成全向图像，其中用多个摄像装置成像的沿水平方向围绕360度并且沿纵向方向围绕180度上的拾取图像被映射成2D图像(平面图像)，并且存储装置可用于编码和存储所生成的全向图像(例如，参见专利文献1)。

此外，再现装置可用于对由存储装置存储的全向图像的编码流进行解码，并且使用作为解码结果获得的全向图像显示在观看者的观看范围内的纹理图像。当观看者从作为3D模型内部的一个点的视点沿视线方向观看粘贴到全向图像的诸如球体、立方体等的3D模型的表面时，如刚才描述的这样的再现装置显示在观看者的观看范围内的纹理图像。因此，再现了来自预定视点的观看者的观看范围内的拾取图像。

引用列表

专利文献

专利文献1

日本专利特开第2006-14174号

发明内容

本技术问题

然而，在生成时的视点和在全向图像的再现时的视点彼此不同的情况下，在再现时的视点处的观看者的观看范围中的生成的纹理图像包括在全向图像的生成时的视点的遮挡区域。因此，在再现时的视点处的观看者的观看范围内的纹理图像的图像质量降低。遮挡区域是被前方的成像对象隐藏的后方中的成像对象的区域。

鉴于如上所述的这样的情况作出了本公开内容并且使得可以使用全向图像在预定视点处生成高图片质量的纹理图像。

问题的解决方案

本公开内容的第一方面的图像处理装置是一种图像处理装置，该图像处理装置包括图像生成部，该图像生成部被配置成使用第一层图像和第二层图像来生成给定视点的纹理图像，其中，第一层图像包括全向图像的纹理图像和深度图像，以及第二层图像包括第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

根据本公开内容的第一方面的图像处理方法与根据本公开内容的第一方面的图像处理装置对应。

本公开内容的第一方面中，使用第一层图像和第二层图像来生成给定视点的纹理图像，其中第一层图像包括全向图像的纹理图像和深度图像，以及第二层图像包括第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

本公开内容的第二方面的图像处理装置是包括图像生成部的图像处理装置，该图像生成部被配置成生成第一层图像和第二层图像，其中，第一层图像包括全向图像的纹理图像和深度图像，以及第二层图像包括第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

根据本公开内容的第二方面的图像处理方法与本公开内容的第二方面的图像处理装置对应。

在本公开内容的第二方面中，生成第一层图像和第二层图像，其中，第一层图像包括全向图像的纹理图像和深度图像，以及第二层图像包括第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

要注意的是，可以通过使计算机执行程序来实现本公开内容的第一和第二方面的图像处理装置。

此外，为了实现本公开内容的第一和第二方面的图像处理装置，可以通过传输介质的传输或通过将程序记录在记录介质上来提供用于由计算机执行的程序。

发明的有益效果

根据本公开内容的第一方面，可以生成图像。此外，根据本公开内容的第一方面，可以使用全向图像生成给定视点的高图片质量的纹理图像。

同时，根据本公开内容的第二方面，可以生成图像。此外，根据本公开内容的第二方面，可以生成图像使得可以使用全向图像生成给定视点的高图片质量的纹理图像。

要注意的是，此处描述的效果不必是限制性的并且可以是本公开内容中描述的一些效果。

附图说明

图1是示出应用本公开内容的图像显示系统的第一实施方式的配置示例的框图。

图2是示出内容服务器的配置示例的框图。

图3是示出高分辨率图像处理部的配置示例的框图。

图4是示出距离z和距离r的视图。

图5是示出3D模型坐标系的X轴的变化的视图。

图6是示出响应于3D模型坐标系的X轴的变化的最小值z_min和最小值r_min的变化的视图。

图7是示出当第一层的六个面的深度图像被映射在球体上时、球体上的每个像素的位置的示例的视图。

图8是示出第一层的面的示例的视图。

图9是示出用于在第一实施方式中的第一层的视点位置信息和面信息的表格的配置示例的视图。

图10是示出与第一层的预定面对应的成像对象的深度方向上的位置的视图。

图11是示出第一层和第二层的纹理图像的配置示例的视图。

图12是示出第一层和第二层的纹理图像的示例的视图。

图13是示出第一层和第二层的纹理图像的另一示例的视图。

图14是示出第二层的视点的第一示例的视图。

图15是示出第二层的视点位置信息和面信息的表格的第一配置示例的视图。

图16是示出第二层的视点的第二示例的视图。

图17是示出第二层的视点位置信息和面信息的表格的第二配置示例的视图。

图18是示出流生成处理的流程图。

图19是示出家庭服务器的配置示例的框图。

图20是示出ML3D模型生成部的配置示例的框图。

图21是示出连接信息的示例的视图。

图22是示出连接信息的另一示例的视图。

图23是示出采样点的示例的视图。

图24是示出采样点的另一示例的视图。

图25是示出遮挡处理的视图。

图26是示出了再现处理的流程图。

图27是示出三维数据生成处理的细节的流程图。

图28是示出了三角形补丁有效无效信息的视图。

图29是示出应用本公开内容的图像显示系统的第二实施方式的配置示例的框图。

图30是示出投影平面的坐标系的视图。

图31是示出tan轴投影的视图。

图32是示出透视投影和tan轴投影中的投影点的视图。

图33是示出由透视投影生成的第一层的高分辨率图像上的拾取图像的像素的示例的视图。

图34是示出由tan轴投影生成的第一层的高分辨率图像上的拾取图像的像素的示例的视图。

图35是示出由透视投影和tan轴投影生成的第一层的高分辨率图像上的拾取图像的像素的另一示例的视图。

图36是示出在第三实施方式中的第一层的视点位置信息和面信息的表格的配置示例的视图。

图37是示出第一层的纹理图像的不同示例的视图。

图38是示出计算机的硬件的配置示例的框图。

图39是示出车辆控制系统的示意性配置的示例的框图。

图40是有助于说明车外信息检测部和成像部的安装位置的示例的图。

具体实施方式

在以下中，描述了用于执行本公开内容的模式(在下文中被称为“实施方式”)。要注意的是，该描述是按照以下顺序给出的：

1.第一实施方式：图像显示系统(图1至图28)

2.第二实施方式：图像显示系统(图29)

3.第三实施方式：图像显示系统(图30至图36)

3.纹理图像的不同示例(图37)

4.第四实施方式：计算机(图38)

5.应用示例(图39和图40)

<第一实施方式>

(图像显示系统的第一实施方式的配置示例)

图1是示出应用本公开内容的图像显示系统的第一实施方式的配置示例的框图。

图1的图像显示系统10包括多摄像装置11、内容服务器12、家庭服务器13、转换装置14和头戴式显示器15。图像显示系统10从作为由多摄像装置11拾取的YCbCr图像(YUV图像)的拾取图像生成全向图像，并且显示来自全向图像内的观看者的观看范围的图像。

具体地，图像显示系统10的多摄像装置11包括向外设置的多个(在图1的示例中为六个)摄像装置，使得其成像范围沿水平方向围绕为360度并且沿纵向方向围绕为180度。每个摄像装置执行成像来以帧为单位生成拾取图像。多摄像装置11将摄像装置的所拾取的图像提供给内容服务器12。

内容服务器12(图像处理装置)根据从多摄像装置11提供的摄像装置的拾取图像生成预定视点的全向图像的纹理图像和深度图像。在第一实施方式中，深度图像是以下图像，在该图像中由从预定视点到每个像素上的成像对象的直线的距离r的倒数1/r给出像素值，距离r是8位的值。

内容服务器12降低全向图像的纹理图像和深度图像的分辨率以生成低分辨率纹理图像和低分辨率深度图像。内容服务器12通过诸如AVC(高级视频编码)、HEVC(高效视频编码)/H.265等的编码方法来对低分辨率纹理图像和低分辨率深度图像进行压缩编码。内容服务器12存储作为压缩编码结果获得的低分辨率纹理图像的编码流(下文中称为低分辨率纹理流)和低分辨率深度图像的编码流(下文中称为低分辨率深度流)。

此外，内容服务器12使用摄像装置的拾取图像来以层次关系生成纹理图像和深度图像，该纹理图像和深度图像与构成以全向图像的视点为中心的立方体的六个面对应。具体地，内容服务器12生成六个面的第一层和第二层的纹理图像和深度图像。要注意的是，全向图像的视点和立方体的中心可以彼此不同。

内容服务器12根据用于每个面、每种类型的图像和每个层的诸如AVC、HEVC等的编码方法，对包括每个面的第一层的纹理图像和深度图像的第一层图像和包括每个面的第二层的纹理图像和深度图像的第二层图像进行压缩编码。内容服务器12存储作为压缩编码结果获得的每个面的第一层的纹理图像的编码流(下文中称为第一层纹理流)、第一层的深度图像的编码流(下文中称为第一层深度流)、第二层的纹理图像的编码流(下文中称为第二层纹理流)和第二层的深度图像的编码流(下文中称为第二层深度流)。要注意的是，用于第一层图像和第二层图像的编码方法可以是MVC(多视图视频编码)方法、3D-HEVC方法等。

此外，内容服务器12将第一层和第二层的面有关的信息等生成为元数据并且将其存储为元数据。内容服务器12通过未示出的网络将存储在其中的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据发送到家庭服务器13。

要注意的是，内容服务器12还可以重建(下文中描述细节)六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。在该情况下，内容服务器12还可以将在重建之后的第一层纹理流、第一层深度流、第二层纹理流和第二层纹深度流以及与其对应的元数据发送到家庭服务器13。然而，假设在以下描述中，即使在执行重建的情况下，也向内容服务器12发送重建之前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

家庭服务器13(图像处理装置)接收从内容服务器12向其发送的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

此外，家庭服务器13具有设置在其中的摄像装置13A并且对安装在观看者头部上的头戴式显示器15施加的标记15A成像。然后，家庭服务器13基于标记15A的拾取图像来检测观看位置。此外，家庭服务器13通过转换装置14从头戴式显示器15接收头戴式显示器15的陀螺仪传感器15B的检测结果。家庭服务器13基于陀螺仪传感器15B的检测结果确定观看者的视线方向并且基于观看位置和视线方向确定观看者的观看范围。

家庭服务器13从第一层的六个面选择与观看者的视线方向对应的三个面。然后，家庭服务器13对与所选择的三个面对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流进行解码。因此，家庭服务器13生成与所选择的三个面对应的第一层和第二层的纹理图像和深度图像。

此外，家庭服务器13对低分辨率纹理流和低分辨率深度流进行解码以生成低分辨率纹理图像和低分辨率深度图像。家庭服务器13使用与所选择的三个面对应的第一层和第二层的纹理图像和深度图像以及低分辨率纹理图像和低分辨率深度图像来将观看者的观看范围的图像生成为显示图像。家庭服务器13通过未示出的HDMI(注册商标)(高清晰度多媒体接口)电缆将显示图像发送到转换装置14。

转换装置14将从家庭服务器13向其发送的显示图像上的坐标转换成头戴式显示器15中的坐标。转换装置14将坐标转换之后的显示图像提供给头戴式显示器15。

头戴式显示器15具有标记15A和陀螺仪传感器15B并且被安装在观看者的头部上。头戴式显示器15显示从转换装置14提供的显示图像。此外，设置在头戴式显示器15中的陀螺仪传感器15B检测头戴式显示器15的倾角并且通过转换装置14将检测结果发送到家庭服务器13。

(内容服务器的配置示例)

图2是示出图1的内容服务器12的配置示例的框图。

图2的内容服务器12包括深度检测部31、低分辨率图像处理部33和高分辨率图像处理部34。

内容服务器12的深度检测部31针对从图1的多摄像装置11提供的摄像装置的拾取图像的像素中的每一个，检测在包括像素处的成像对象的、垂直于深度方向的深度平面与摄像装置之间在深度方向上的距离z的倒数1/z。深度检测部31将具有作为检测结果获得的摄像装置的拾取图像的像素的倒数1/z作为像素值的z图像提供给低分辨率图像处理部33和高分辨率图像处理部34。

低分辨率图像处理部33将多摄像装置11的三维坐标系(下文中称为摄像装置坐标系)中的预定三维位置设置为视点，并且执行将从多摄像装置11向其提供的摄像装置的拾取图像映射(透视投影)到以视点为中心的正八面体以生成全向图像的纹理图像。此外，低分辨率图像处理部33与拾取图像类似通过将从深度检测部31提供的摄像装置的z图像映射到正八面体来生成全向图像的z图像。

低分辨率图像处理部33将全向图像的z图像的每个像素的倒数1/z转换成倒数1/r。然后，低分辨率图像处理部33根据以下表达式(1)对倒数1/r执行8位量化。

[数学式1]

要注意的是，I_d(r)是距离r的倒数1/r的8位量化之后的值。r_max和r_min分别是全向图像中距离r的最大值和最小值。

低分辨率图像处理部33将8位量化之后的全向图像的像素的倒数1/r的值设置为像素值以生成全向图像的深度图像。

低分辨率图像处理部33降低全向图像的纹理图像和深度图像的分辨率以生成低分辨率纹理图像和低分辨率深度图像。低分辨率图像处理部33对低分辨率纹理图像和低分辨率深度图像进行压缩编码，并且存储作为压缩编码的结果获得的低分辨率纹理流和低分辨率深度流。低分辨率图像处理部33将存储在其中的低分辨率纹理流和低分辨率深度流发送到图1的家庭服务器13。

高分辨率图像处理部34使用从多摄像装置11提供的摄像装置的拾取图像来生成与构成具有与低分辨率图像处理部33中的正八面体的中心相同的中心的立方体的六个面对应的第一层和第二层的纹理图像。高分辨率图像处理部34使用从深度检测部31提供的摄像装置的z图像以与拾取的图像类似地生成与六个面对应的第一层和第二层的深度图像。

高分辨率图像处理部34针对每个面、每种图像和每个层对第一层和第二层的纹理图像和深度图像进行压缩编码。内容服务器12存储作为压缩编码结果获得的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

此外，高分辨率图像处理部34生成元数据并且存储元数据。内容服务器12通过未示出的网络将存储在其中的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层纹理流以及元数据发送到家庭服务器13。

(高分辨率图像处理部的配置示例)

图3是示出图2的高分辨率图像处理部34的配置示例的框图。

图3的高分辨率图像处理部34包括第一层生成部50、量化部51、编码器52、第二层生成部53、另一量化部54、另一编码器55、设置部56、元数据生成部57、存储装置58、重建部59以及传输部60。

从设置部56向第一层生成部50提供指示作为三维坐标系中第一层的视点的三维位置的原点的视点位置信息，该三维坐标系的原点是由摄像装置坐标系(下文称为3D模型坐标系)中的全向图像的视点给出。此外，向第一层生成部50提供指示六个面的3D模型坐标系中的三维位置和尺寸的面信息，该六个面分别包括构成以3D模型坐标系的原点为中心的立方体的六个面。

第一层生成部50将由视点位置信息指示的原点设置成第一层的视点(第一视点)。第一层生成部50(图像生成部)执行：将摄像装置坐标系中的全向图像的视点设置为原点，根据第一层的视点、将从图1的多摄像装置11提供的拾取图像分别映射到由六个面的面信息指示的三维位置和尺寸的面。因此，第一层生成部50生成第一层的六个面的纹理图像。

此外，第一层生成部50(图像生成部)执行：将摄像装置坐标系中的全向图像的视点设置为原点，根据第一层的视点、将从图2的深度检测部31提供的z图像分别映射到由六个面的面信息指示的三维位置和尺寸的面。因此，第一层生成部50生成第一层的六个面的z图像。

由于与第一层的六个面对应的视点彼此相同，因此可以认为第一层的六个面的纹理图像是通过将映射到以第一层的视点为中心的3D模型的全向图像映射到六个面而获得的图像。类似地，可以认为第一层的六个面的z图像是通过将映射到以第一层的视点为中心的3D模型的全向图像的z图像映射到六个面而获得的图像。第一层生成部50将第一层的六个面的纹理图像提供给编码器52，并且将第一层的六个面的z图像提供给量化部51。

量化部51将从第一层生成部50提供的第一层的六个面中的每一个的z图像的每个像素的倒数1/z转换为倒数1/r。然后，量化部51根据上文中给出的表达式(1)对倒数1/r执行8位量化。要注意的是，表达式(1)中的r_max和r_min分别是全部六个面的距离r的最大值和最小值。与应用每个面的距离r的最大值和最小值的替选情况相比，可以通过将r_max和r_min设置为全部六个面的距离r的最大值和最小值来防止针对每个面量化步长改变。量化部51通过将对第一层的六个面的z图像的像素的倒数1/r的8位量化之后的值设置为像素值来生成第一层的六个面的深度图像并且将深度图像提供给编码器52。

编码器52针对每个面和每种图像对第一层的六个面的纹理图像和深度图像进行压缩编码以生成第一层纹理流和第一层深度流。编码器52将第一层纹理流和第一层深度流提供给存储装置58。

从设置部56向第二层生成部53提供与第一层的每个面对应的第二层的每个面的、不同于第一层的视点的视点(第二视点)的视点位置信息，以及与第一层的每个面对应的第二层的每个面的面信息。第二层生成部53针对第二层的每个面，将由与面对应的视点位置信息指示的三维位置设置成第二层的视点。

第二层生成部53(图像生成部)针对第二层的每个面执行：根据与第二层的面对应的第二层的视点，将从多摄像装置11提供的拾取图像内的第一层的视点处的遮挡区域映射到第二层的面上。因此，第二层生成部53生成第二层的六个面的纹理图像。

此外，第二层生成部53(图像生成部)针对第二层的每个面执行：根据与第二层的面对应的第二层的视点，将从深度检测部31提供的z图像内的第一层的视点处的遮挡区域映射到第二层的面上。因此，第二层生成部53生成第二层的六个面的z图像。

具体地，由于多摄像装置11的摄像装置的位置彼此不同，所以当摄像装置坐标系中的一个三维位置被设置为视点时，拾取图像包括视点处的遮挡区域。然而，由于通过在一个视点处映射全向图像来生成第一层的纹理图像，因此第一层的纹理图像不包括视点处的遮挡区域的拾取图像。因此，第二层生成部53包括作为第二层的纹理图像的遮挡区域中的拾取图像。这也类似地应用于z图像。第二层生成部53将第二层的六个面的纹理图像提供给编码器55并且将第二层的六个面的z图像提供给量化部54。

量化部54将从第二层生成部53提供的第二层的六个面的z图像的像素的倒数1/z转换为倒数1/r。然后，量化部54类似于量化部51，根据上文中给出的表达式(1)对倒数1/r执行8位量化。量化部54通过将对第二层的六个面的z图像的像素的倒数1/r的8位量化之后的值设置为像素值来生成第二层的六个面的深度图像，并且将深度图像提供给编码器55。

编码器55针对每个面和针对每种图像对第二层的六个面的纹理图像和深度图像进行压缩编码以生成第二层纹理流和第二层深度流。编码器55将第二层纹理流和第二层深度流提供给存储装置58。

设置部56将3D模型坐标系的原点设置为第一层的视点。设置部56将分别包括构成以第一层的视点为中心的立方体的六个矩形面的六个面设置为第一层的面。此外，设置部56针对第一层的每个面设置第二层的视点和矩形面。

设置部56将第一层的六个面的一个视点的视点位置信息和面信息提供给第一层生成部50和元数据生成部57。此外，设置部56将与第一层的六个面对应的第二层的六个视点的视点位置信息和六个面的面信息提供给第二层生成部53和元数据生成部57。

元数据生成部57将包括从设置部56向其提供的第一层的视点位置信息和面信息和第二层的视点位置信息和面信息的表格生成为元数据并且将元数据提供给存储装置58。

存储装置58存储从编码器52提供的第一层纹理流和第一层深度流以及从编码器55提供的第二层纹理流和第二层深度流。此外，存储装置58存储从元数据生成部57提供的元数据。

此外，存储装置58存储从重建部59提供的重建之后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流和元数据。

根据情况需要，重建部59读出并且重建存储在存储装置58中的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

具体地，重建部59使用重建之前的第一层纹理流来改变与第一层纹理流对应的面的数目或视角，并且使用重建之前的第一层深度流来改变与第一层深度流对应的面的数目或视角。例如，重建部59将第一层的面从分别包括构成立方体的六个面的六个面改变成除了六个面之外还包括12个面的18个面，在该12个面中分别通过六个面的中心的法线是通过立方体的12个侧的中点和视点的线。

作为替选，重建部59使用重建之前的第一层纹理流来改变与第一层纹理流对应的面(的密度)之间的距离，并且使用重建之前的第一层深度流来改变与第一层深度流对应的面之间的距离。例如，重建部59将第一层的面从分别包括构成通过中心的法线之间的距离是90度的立方体的六个面的六个面改变成18个面，该18个面的中心的法线使通过至其的距离为45度。

随着第一层的面之间的距离减小，总数据容量增加，因为面的数目增加，并且家庭服务器13可以使用与更接近观看者的观看范围的第一层的平面对应的纹理图像和深度图像来生成显示图像。因此，使用显示图像中的第一层或第二层的纹理图像和深度图像生成的高分辨率区域增加并且显示图像的图片质量改善。

要注意的是，重建部59可以使用重建之前的第一层纹理流来改变与第一层纹理流对应的面的位置并且使用重建之前的第一层深度流来改变与第一层深度流对应的面的位置以执行重建。在该情况下，重建部59通过旋转与第一层的六个面对应的立方体来执行重建使得例如当主成像对象在第一层的面的边界上存在时，主成像对象在除第一层的边界之外的位置处(例如，在中心处)存在。

此外，重建部59可以使用重建之前的第一层纹理流来改变与第一层纹理流对应的面的倾角并且可以使用重建之前的第一层深度流来改变与第一层深度流对应的面的倾角以执行重建。在该情况下，重建部59例如通过当第一层的纹理图像中的主成像对象倾斜时旋转与第一层的六个面对应的立方体使得倾角消失，来执行重建。

重建部59相对于以上描述的方式改变的第一层的面设置再现之后的第二层的视点和面。然后，重建部59使用重建之前的第二层纹理流以将第二层纹理流的视点和面改变成设置重建之后的第二层的视点和面。此外，重建部59改变重建之前的第二层深度流，以将与第二层深度流对应的视点和面改变成设置重建之后的第二层的视点和面。

重建部59将重建之后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给存储装置58。此外，重建部59将包括重建之后的第一层的视点位置信息和面信息和第二层的视点位置信息和面信息的表格生成为元数据并且将元数据提供给存储装置58。

传输部60从存储装置58读出六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据并且将其发送到图1的家庭服务器13。

以该方式，高分辨率图像处理部34通过透视投影生成第一层图像和第二层图像。因此，家庭服务器13可以对第一层图像和第二层图像执行普通图像处理。此外，高分辨率图像处理部34可以通过用于图像的编码流的普通传输方法来发送第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

(距离z和距离r的描述)

图4是示出距离z和距离r的视图。

要注意的是，图4是当从上方观看与第一层对应的立方体的预定面时的视图。

距离z是在深度方向上从视点至包括每个像素上的成像对象的、垂直于深度方向的深度平面距离。此外，第一层的每个面的深度方向是垂直于第一层的面的方向。因此，第一层的每个面和深度平面彼此平行。因此，作为与第一层的面的距离z彼此相等的深度平面的相等距离z面的形状是以第一层的视点O为中心的立方体形状。因此，从与第一层对应的立方体的预定面上方观看的等距离z平面的形状是如图4的A中的虚线指示的正方形。

相比之下，距离r是从视点至每个像素中的成像对象的直线距离。此外，从第一层的每个面的视点O至成像对象的直线的方向是与面无关的、以视点O为中心的圆的径向。因此，从第一层的面至其的距离r彼此相等的相等距离r面的形状是以第一层的视点O为中心的球形形状。因此，从与第一层对应的立方体的预定面的上方观看的相等距离r面时的形状是如

图4的B中的虚线指示的圆形形状。

(深度图像的效果的描述)

要注意的是，在以下的描述中，将来自配置与第一层对应的立方体80的六个面的法向矢量(法向矢量通过第一层的视点O和六个面的中心)中，彼此正交的三个法向矢量定义为3D模型坐标系的X轴、Y轴和Z轴的正方向并且将与前三个法向矢量相反方向的三个法向矢量定义为3D模型坐标系的X轴、Y轴和Z轴的负方向。

图5是示出3D模型坐标系的X轴的变化的视图，并且图6是示出响应于3D模型坐标系的X轴的变化的最小值z_min和最小值r_min的变化的视图。

注意，假设在图5和图6的示例中，第一层的面的视角是90度。

在与第一层对应的立方体80在围绕如图5所示Y轴的XZ平面上旋转45度以改变第一层的面的位置的情况下，X轴在XZ平面上旋转45度。因此，法向矢量是X轴的正方向的第一层的面81的深度方向在XZ平面上旋转45度。

因此，当如图6所示，在面81的视角内作为成像对象存在以其X坐标为正值并且其Z坐标为0的位置处为中心的球体76时，旋转之前的面81的最小值z_min为在如图6的A示出的视点O与球体76之间沿图6的A中的X轴的正方向的距离的最小值。然而，旋转之后的面81的最小值z_min是在图6的B中示出的视点O与视角中的球体76(如图6的B中的球体76的上半部)之间沿图6的B中的X轴的正方向的距离的最小值。

此外，在图6的示例的情况下，由于旋转之前的面81的最大值z_max是无穷大，因此旋转之后的面81的最大值z_max也是无穷大。然而，在最大值z_max不是无穷大的情况下，根据类似于最小值z_min的原因的原因面81的最大值z_max在旋转之前和旋转之后改变。同样关于第一层的其他面，最小值z_min和最大值z_max类似地改变。

此外，尽管省略了描述，但是同样在第一层的面的视角、数目或之间的距离改变的情况下，第一层的全部面的最小值z_min和最大值z_max变化。

因此，如果距离z的倒数1/z用作第一层的深度图像的每个像素的y值(亮度值)，则在由重建部59重建时，有必要重新计算每个面的最小值z_min和最大值z_max并且重新确定全部面的最小值z_min和最大值z_max。因此，有必要重做深度图像的8位量化。

相比之下，无论第一层的面的位置如何，从视点O至成像对象的直线的方向都是相同的。因此，即使在如图5示出的立方体80在围绕Y轴的XZ平面上旋转45度的情况下，最小值r_min和最大值r_max也保持相同。

具体地，即使图6的A中的X轴在XZ平面上旋转45度，与旋转之前类似如图6的B中示出的从视点O至成像对象的直线方向是从视点O径向延伸的方向。因此，无论X轴的旋转如何，关于第一层的全部面的最小值r_min是从视点O至球体76的直线距离的最小值。根据与最小值r_min的情况中的原因类似的原因，关于第一层的全部面的最大值r_max在旋转之前和旋转之后也不变化。

此外，尽管省略了描述，但是即使在第一层的面的视角、数目或距离改变的情况下，由于从视点O至成像对象的直线的方向不变化，因此最小值r_min和最大值r_max不变化。

因此，可以通过不使用倒数1/z而使用倒数1/r的量化值作为第一层的深度图像的每个像素的y值，减少用于重做对由重建部59重建时的深度图像的8位量化的处理。

要注意的是，虽然在前面的描述中，不重建低分辨率纹理流和低分辨率深度流，但是可以以其他方式重建低分辨率纹理流和低分辨率深度流。同样在该情况下，由于低分辨率深度图像的每个像素的y值是倒数1/r的量化值，因此可以类似在重建第一层的深度图像时，减少用于重做对重建时的低分辨率深度图像的8位量化的处理。

此外，可以通过改变低分辨率纹理流和低分辨率深度流的映射方法来执行低分辨率纹理流和低分辨率深度流的重建。同样在该情况下，可以通过将深度图像的像素的y值设置成倒数1/r的量化值，减少用于重做对在重建时的低分辨率深度图像的8位量化的处理。

(第一层的六个面的深度图像的每个像素的球体上的位置的示例)

图7是示出当第一层的六个面的深度图像被映射到球体时的球体上的每个像素的位置的示例的视图。

要注意的是，在图7中，由点表示当第一层的六个面的深度图像被映射到球体时的球体上的每个像素的位置。

第一层的面的深度图像的像素的深度图像上的位置之间的距离彼此相等。然而，如图7所示，当第一层的六个面的深度图像被映射到球体时的像素的球体上的位置之间的距离不是相等的距离。换句话说，当第一层的六个面的深度图像被映射到球体时的球体上的像素的位置密度不固定。

(第一层的面的示例)

图8是示出第一层的面的示例的视图。

要注意的是，在以下描述中，当视点O与六个面之间的距离由R表示时满足X＝R的面适当地称为+X面，并且满足X＝-R的面适当地称为-X面。类似地，满足Y＝R的面、满足Y＝-r的面、满足Z＝R的面和满足Z＝-R的面适当地分别称为+Y面、-Y面、+Z面和-Z面。

此外，图8的A是第一层的立方体80的透视图，并且图8的B是在Y轴的负方向上观看第一层的立方体80时的视图。

如图8的A所示，第一层的一个面91是包括来自构成以视点O为中心的立方体80的六个面81至86中的+Y面83的面。更具体地，面91是被设置成与+Y面83的位置相同的位置的面并且在横向方向和纵向方向上具有大于作为+Y面83的视角的90度但小于180度的视角。

因此，如图8的B所示出的，面91的纹理图像不仅包括映射到+Y面83的纹理图像还包括映射到与+Y面83相邻的+X面81、-X面82、+Z面85和-Z面86的纹理图像的部分。关于纹理图像仅给出的的描述同样应用于面91的深度图像。

虽然在图8中仅示出了第一层的一个面91，但是与面91类似的、其他五个面也是被设置成与+X面81、-X面82、-Y面84、+Z面85和-Z面86的位置相同的位置的面并且在横向方向和纵向方向上具有大于90度但小于180度的视角。

如上所述，由于第一层的六个面被配置成分别包括构成立方体的六个面81至86，因此全向图像被可靠地映射到第一层的六个面中的一个面。因此，如果家庭服务器13使用来自第一层的六个面中的彼此相邻的三个面，则可以在将视点O设置为观看位置的情况下在沿水平方向围绕360度并且沿纵向方向围绕180度上的任意方向上生成显示图像。

(第一层的视点位置信息和面信息的表格的配置示例)

图9是示出来自由图3的元数据生成部57生成的元数据中的第一层的视点位置信息和面信息的表格的配置示例的视图。

在图9的示例中，在面信息内，指示3D模型坐标系中的面的三维位置的信息是方位角、仰角、旋转角和视线矢量并且指示尺寸的信息是横向视角和纵向视角。

方位角是由将视点与每个面的中心互连的线和Z轴限定的XZ平面方向上的角度，并且仰角是由连接视点与每个面的中心的线和XZ平面限定的角度。此处，在方位角中，顺时针方向是正方向，并且在仰角中，逆时针方向是正方向。当从视点沿Z轴方向延伸的线在XZ平面上水平旋转方位角并且然后在Y轴方向上向上或向下旋转仰角时的线是通过面的中心的法线。

当将视点与面的中心互连的线作为轴时旋转角度是每个面的旋转方向上的角度。此处，在旋转角度中，顺时针方向是正方向。视线矢量是从由视点给出的起点指向每个面的中心并且具有长度为1的矢量，即，通过每个面的中心的法向矢量。横向视角是由将每个面的横向方向上的两个端部和视点互连的两条线限定的角度，并且纵向视角是由将每个面的纵向方向上的两个端部与视点互连的两条线限定的角度。

如图9所示，在第一层的视点位置信息和面信息的表格中，将每个面的第一层纹理流和放置有第一层深度流的文件的文件名的公共部登记在图3的存储装置58中。

具体地，在图9的示例中，包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的面的第一层纹理流的文件名分别是posZ_texture、negZ_texture、posX_texture、negX_texture、posY_texture和negY_texture。此外，包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的面的第一深度流的文件名分别是posZ_depth、negZ_depth、posX_depth、negX_depth、posY_depth和negY_depth。因此，在图9的表格中，将posZ、negZ、posX、negX、posY和negY登记为第一层的面的文件名的公共部分。

此外，在第一层的视点位置信息和面信息的表格中，以与文件名的公共部分的关联关系登记与文件名的公共部分对应的面的纹理图像和深度图像的面信息、视点位置信息以及横向像素数和纵向像素数。

具体地，由将包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的第一层的面的中心和视点O分别互连的线和Z轴限定的XZ平面方向上的角度分别为0度、-180度、90度、-90度、0度和0度，并且相对于XZ平面的角度分别为0度、0度、0度、0度、90度和-90度。因此，以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”“negY”的关联关系分别登记方位角“0度”、“-180度”、“90度”、“-90度”、“0度”和“0度”并且登记仰角“0度”、“0度”、“0度”、“0度”、“90度”和“-90度”。

此外，在图9的示例中，第一层的全部面的旋转角度是0度。因此，以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”关联的关系登记旋转角度“0度”。此外，以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”关联的关系登记作为视点位置信息的原点的坐标(0，0，0)。

此外，从视点O、分别包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的第一层的面的视线矢量是(0，0，1)、(0，0，-1)、(1，0，0)、(-1，0，0)、(0，1，0)和(0，-1，0)。因此，分别以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”关联的关系登记视线矢量(0，0，1)、(0，0，-1)、(1，0，0)、(-1，0，0)、(0，1，0)和(0，-1，0)。

此外，在图9的示例中，第一层的全部面的横向视角和纵向视角为大于90度的100度，并且作为纹理图像和深度图像的横向方向上的像素的数目的横向像素数和纵向方向上的像素数目的纵向像素数是1024。因此，分别以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”关联的关系登记横向视角“100度”、纵向视角“100度”、横向像素数“1024”和纵向像素数“1024”。

(层次结构描述)

图10是示出与第一层的预定面对应的成像对象的深度方向上的位置的视图，并且图11是示出在第一层和第二层的视点相同的情况下图10的成像对象的第一层和第二层的纹理图像的配置示例的视图。

要注意的是，图10是从上方观看时的第一层的视点O和成像对象的视图，并且图10的向上和向下方向是包括在视角中的成像对象的第一层的预定平面的深度方向。此外，在图11中，向左和向右方向以及向上和向下方向分别表示纹理图像的横向方向和深度方向。图10和图11中的向上方向是该侧，并且向下方向是深侧。

在图10和图11的示例中，中间的前景111和前景后面的背景112是包括在第一层的预定视角中的成像对象。在该情况下，如图11所示出的，第一层的预定面的纹理图像包括前景111的拾取图像121和未被前景111隐藏的背景112的区域112A中的拾取图像122A。

另一方面，与第一层的预定面对应的第二层的面的纹理图像包括来自如图11所示被前景111遮蔽的背景112的遮挡区域112B中的、由多摄像装置11成像的成像遮挡区域112C中的拾取图像122C作为有效区域。

尽管可以将任何东西放置在来自第二层的面的纹理图像内的除有效区域之外的区域中，但是如果放置诸如无效值等的特殊值，则特殊值的值通过压缩编码变化，导致通过由家庭服务器13的解码难以再现特殊值。

因此，除了第二层的面的纹理图像的有效区域之外的区域被划分成与区域112A对应的不必要区域(背景区域)以及与来自遮挡区域112B内的除成像的遮挡区域112C之外的区域对应的虚区域。

然后，在与遮挡区域不存在的区域112A对应的不必要区域中，与第一层类似地布置拾取图像122A或者布置边缘部分不陡峭的平坦图像。在拾取图像122A被布置在不必要区域中的情况下，由于不必要区域中的第一层和第二层中的纹理图像变得相同，因此在通过参考第二层的纹理图像来由MVC方法、3D-HEVC方法等对第一层的纹理图像进行压缩编码的情况下，可以提高压缩比率。此外，在不必要区域中显示平面图像的情况下，与布置具有陡峭边缘部分的图像的替选情况下的压缩比率相比，可以提高第二层图像的压缩比率。要注意的是，拾取图像122A可以被布置在不必要区域的部分中而平坦图像被布置在其他部分中。

此外，虚区域是以下区域，在该区域中，尽管存在遮挡区域，但不是由多摄像装置11执行成像并且该区域与来自遮挡区域112B内的除了成像的遮挡区域112C之外的区域对应。因此，在虚区域中，类似于第一层，布置使用成像的遮挡区域112C的拾取图像122C推断(修复)的修复(inpaint)图像或者布置拾取图像121。

要注意的是，对于修复，可以使用过去拾取的图像。在内容服务器12执行修复的情况下，家庭服务器13可以将虚区域等效于有效区域。此外，在内容服务器12在再现之前执行修复的情况下，也可以执行处理负荷为高并且需要很多时间的修复。

此外，在拾取图像121被布置在虚区域中的情况下，当虚区域被分散或难以进行修复时，也可以容易地生成虚区域。修复图像可以被布置在虚区域的部分处而拾取图像121被布置在其他部分处。

要注意的是，由于除了将拾取图像替换为深度图像之外、第一层和第二层的深度图像的配置与第一层和第二层的纹理图像的配置类似，因此省略相同的描述。此外，在以下中，描述了类似于第一层的拾取图像或深度图像被放置在第二层的不必要区域和虚区域中的情况。

(第一层和第二层的视点描述)

图12是示出在第一层和第二层的视点相同的情况下与第一层的预定面对应的第一层和第二层的纹理图像的视图。图13是示出在第一层和第二层的视点彼此不同的情况下与第一层的预定面对应的第一层和第二层的纹理图像的视图。

图12的A和图13的A是从上方观看时的第一层的视点O和成像对象的视图，并且图12的A和图13的A中的向上和向下方向是包括在视角中的成像对象的第一层的预定面的深度方向。

如图12的A所示，在第二层的视点是第一层的视点O的情况下，延伸至第一层的预定面131的视角中的视点O的条形成像对象141形成在第一层的纹理图像151和第二层的纹理图像152两者中的点。

具体地，由于从第一层和第二层的视点O朝向面131的方向相同，因此成像对象141被退化成在第一层的纹理图像151和第二层的纹理图像152两者中的一个点。因此，在纹理图像151和纹理图像152中，可以不表示在朝向视点O的方向上延伸的成像对象141的长度。

相比之下，在第二层的视点是与第一层的视点O不同的视点O的情况下，包括在第一层的面131和第二层的面161的视角中的成像对象141变为第二层的纹理图像172中的直线。

具体地，从第一层的视点O朝向面131的方向和从第二层的视点O'朝向面161的方向彼此不同。因此，即使成像对象141被退化成在第一层的纹理图像151中的一个点，成像对象141也不退化成第二层的纹理图像172中的一个点。因此，在纹理图像172中，可以表示在朝向视点O的方向上延伸的成像对象141的长度。

根据前述内容，在内容服务器12中，第一层和第二层的视点被设置为彼此不同。

(第二层的视点的第一示例)

图14是示出第二层的视点的第一示例的视图。

图14的A是第一层的立方体80的透视图，并且图14的B是在Y轴的负方向上观看时立方体80的视图。这也类似地应用于图16。

在图14的示例中，与包括第一层的+X面81的面对应的第二层的面的视点191被设置成从第一层的视点O沿Y轴的正方向上移动等于立方体80的每一侧长度的一半的长度a的位置。如由应用于图14中的视点191的箭头标记所示，与包括第一层的+X面81的面对应的第二层的面的视线矢量与第一层中类似地为(1，0，0)。

与包括第一层的-X面82的面对应的第二层的面的视点192被设置成从视点O沿Y轴的负方向移动长度a的位置。如应用于图14中的视点192的箭头标记所示，与包括第一层的-X面82的面对应的第二层的面的视线矢量与第一层类似地为(-1，0，0)。

此外，与包括第一层的+Y面83的面91对应的第二层的面的视点193和与包括-Y面84的面对应的第二层的面的视点194被分别设置成从视点O沿Z轴的正方向和负方向移动长度a的位置。如由应用于图14中的视点193和视点194的箭头标记所示，与第一层的面91对应的第二层的面的视线矢量和与包括-Y面84的面对应的第二层的视线矢量与第一层中类似地分别为(0，1，0)和(0，-1，0)。

此外，与包括第一层的+Z面85的面对应的第二层的面的视点195和与包括-Z面86的面对应的第二层的面的视点196被分别设置成从第一层的视点O沿X轴的正方向和负方向上移动长度a的位置。如由应用于图14中的视点195和视点196的箭头标记所示，与第一层的+Z面85对应的第二层的面的视线矢量和与包括-Z面86的面对应的第二层的面的视线矢量与第一层中类似地分别为(0，0，1)和(0，0，-1)。

以该方式，在图14的示例中，第二层的面的视点191至196被设置成从第一层的视点O沿垂直于视线矢量的一个方向移动长度a的位置。此外，第二层的面的视线矢量与第一层的对应面的视线矢量相同。此外，第二层的面的视点191至196相对于视点O的位移方向对于每个面而不同。

要注意的是，第二层的面的视点191至196与视点O之间的沿X轴方向、Y轴方向或Z轴方向的距离不限于等于立方体80的每一侧的长度的一半的长度a。

(第二层的视点位置信息和面信息的表格的第一配置示例)

图15是示出在图14的视点191至196设置为第二层的面的视点的情况下、将来自由图3的元数据生成部57生成的元数据内的第二层的视点位置信息和面信息的表格的配置示例的视图。

除了文件名的共同部分和视点位置信息之外图15的表格与图9的表格相同。

具体地，在图15的示例中，与包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的第一层的面对应的第二层的面的纹理图像的文件名分别是posZ2_texture、negZ2_texture、posX2_texture、negX2_texture、posY2_texture和negY2_texture。此外，与包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的第一层的面对应的第二层的面的深度图像的文件名分别是posZ2_depth、negZ2_depth、posX2_depth、negX2_depth、posY2_depth和negY2_depth。因此，在图15的表格中，将“posZ2”、“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”登记为第二层的面的文件名的公共部分。

此外，以与文件名的公共部分“posZ2”、“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”的关联关系分别登记当视点O被确定为原点时的视点191至196的坐标(a，0，0)、(-a，0，0)、(0，a，0)、(0，-a，0)、(0，0，a)和(0，0，-a)。

(第二层的视点的第二示例)

图16是示出第二层的视点的第二示例的视图。

在图16的示例中，与包括第一层的+X面81的面对应的第二层的面的视点211和与包括第一层的-X面82的面对应的第二层的面的视点212被分别设置成从第一层的视点O沿Y轴的正方向和Z轴的负方向移动长度a的位置和从第一层的视点O沿Y轴负方向和Z轴的正方向移动长度a的位置。如由应用于图16中的视点211和视点212的箭头标记所示，与包括第一层的+X面81的面对应的第二层的面的视线矢量和与包括第一层的-X面82的面对应的第二层的面的视线矢量与第一层中类似地为(1，0，0)和(-1，0，0)。

与包括第一层的+Y面83的面91对应的第二层的面的视点213和与包括-Y面84的面对应的第二层的面的视点214被分别设置成从视点O沿X轴的负方向和Z轴的正方向与沿X轴的正方向和Z轴的负方向移动长度a的位置。如由应用于图16中的视点213和视点214的箭头标记所示，与第一层的面91对应的第二层的面的视线矢量和与包括-Y面84的面对应的第二层的面的视线矢量与第一层类似地类似为(0，1，0)和(0，-1，0)。

此外，与包括+Z面85的面对应的第二层的面的视点215和与包括第一层的-Z面86的面对应的第二层的面的视点216被分别设置成从视点O沿X轴的正方向和Y轴的负方向移动长度a的位置和沿X轴的负方向和Y轴的正方向移动长度a的位置。如由应用于图16中的视点215和视点216的箭头标记所示，与包括第一层的+Z面85的面对应的第二层的面的视线矢量和与包括-Z面86的面对应的第二层的视线矢量与第一层中类似地分别为(0，0，1)和(0，0，-1)。

以该方式，在图16的示例中，第二层的面的视点211至216被设置成从第一层的视点O沿垂直于视线矢量的两个方向移动长度a的位置。此外，第二层的面的视线矢量与第一层的对应面的视线矢量相同。此外，第二层的面的视点211至216相对于视点O的位移方向在不同面中不同。此外，视点211至216相对于视点O处于对称关系。

要注意的是，第二层的面的视点199至196与视点O之间在沿X轴方向、Y轴方向或Z轴方向中的两个方向上的距离不限于等于立方体80的每一侧的长度的一半的长度a。

(第二层的视点位置信息和面信息的表格的第二配置示例)

图17是示出在图16的视点211至216被设置为第二层的面的视点的情况下的、来自由图3的元数据生成部57生成的元数据内的第二层的视点位置信息和面信息的表格的配置示例的视图。

除了视点位置信息之外图17的表格与图15的表格相同。

具体地，以与文件名的公共部分“posZ2”、“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”的关联关系分别登记当视点O被确定为原点时的视点211至216的坐标的(a，-a，0)、(-a，a，0)、(0，a，-a)、(0，-a，a)、(-a，0，a)和(a，0，-a)。

(内容服务器的处理的描述)

图18是示出图2的内容服务器12的流生成处理的流程图。当从图1的多摄像装置11提供摄像装置的拾取图像时开始该流生成处理。

在图18的步骤S11处，内容服务器12的深度检测部31根据从多摄像装置11提供的每个摄像装置的拾取图像中检测每个摄像装置的拾取图像的每个像素的倒数1/z并且将这样的倒数1/z提供给低分辨率图像处理部33和高分辨率图像处理部34。

在步骤S12处，低分辨率图像处理部33使用摄像装置坐标系中的预定三维位置作为视点，以根据从多摄像装置11提供的摄像装置的拾取图像生成全向图像的纹理图像来降低分辨率。

在步骤S13处，低分辨率图像处理部33根据从深度检测部31提供的摄像装置的z图像生成全向图像的深度图像以降低分辨率。

在步骤S14处，低分辨率图像处理部33对通过步骤S12处的处理生成的低分辨率纹理图像和通过步骤S13处的处理生成的低分辨率深度图像进行压缩编码和存储。

在步骤S15处，低分辨率图像处理部33将存储在其中的低分辨率纹理流和低分辨率深度流发送到图1的家庭服务器13。

在步骤S16处，高分辨率图像处理部34的设置部56(图3)将3D模型坐标系的原点设置为第一层中共同的一个视点并且将包括构成以第一层的视点处为中心的立方体的六个面的六个面设置为第一层的面。此外，设置部56设置与第一层的面对应的第二层的六个视点和六个面。设置部56将第一层的一个视点的视点位置信息和六个面的面信息提供给第一层生成部50和元数据生成部57。此外，设置部56将第二层的六个视点的视点位置信息和六个面的面信息提供给第二层生成部53和元数据生成部57。

在步骤S17处，第一层生成部50在将摄像装置坐标系中的全向图像的视点设置为原点并且将由第一层的视点位置信息指示的原点设置为视点的情况下，根据摄像装置的拾取图像生成与第一层的面信息对应的面的纹理图像。此外，第一层生成部50根据摄像装置的z图像生成与第一层的面信息对应的面的z图像以将z图像提供给量化部51，并且量化部51根据面的z图像生成面的深度图像。

在步骤S18处，第二层生成部53在将摄像装置坐标系中的全向图像的视点设置为原点并且将由第二层的视点位置信息指示的三维位置设置为视点的情况下，针对与第二层的面信息对应的面中的每一个，根据摄像装置的拾取图像生成纹理图像。此外，第二层生成部53针对与第二层的面信息对应的面中的每一个，根据摄像装置的z图像生成面的z图像以将z图像提供给量化部54，并且量化部54根据面的z图像生成面的深度图像。

在步骤S19处，编码器52针对每个面和针对每种图像对第一层的面的纹理图像和深度图像进行压缩编码，并且将得到的图像存储到存储装置58以便存储。

在步骤S20处，编码器55针对每个面和针对每种图像对第二层的面的纹理图像和深度图像进行压缩编码，并且将得到的图像存储到存储装置58以便存储。

在步骤S21处，元数据生成部57将包括从设置部56提供的第一层的视点位置信息和面信息和第二层的视点位置信息和面信息的表格生成为元数据，并且将元数据提供给存储装置58并且将元数据存储到存储装置58中。

在步骤S22处，重建部59判定是否有必要重建第一层的纹理图像和深度图像。例如，在从用户发出用于改变第一层的面的数目、视角、之间的距离、位置或倾角的指令的情况下，重建部59判定有必要重建第一层的纹理图像和深度图像。

在步骤S22处判定有必要重建第一层的纹理图像和深度图像的情况下，处理前进至步骤S23。在步骤S23处，重建部59设置重建之后的第一层的面和与重建之后的第一层的面对应的第二层的视点和面。

在步骤S24处，重建部59将包括重建之后的第一层的视点位置信息和面信息和第二层的视点位置信息和面信息的表格生成为元数据并且将元数据提供给存储装置58。

在步骤S25处，重建部59将存储在存储装置58中的面的第一层纹理流重建成在步骤S23处设置的重建之后的第一层的面的纹理流并且将得到的纹理流提供给存储装置58以便存储。此外，重建部59将存储在存储装置58中的第一层深度流重建成在步骤S23处设置的重建之后的第一层的面的第一层深度流并且将得到的深度流提供给存储装置58以便存储。

此外，重建部59将存储在存储装置58中的面的第二层纹理流重建成在步骤S23处设置的重建之后的第二层的视点和面的第二层纹理流并且将得到的纹理流提供给存储装置58以便存储。重建部59将存储在存储装置58中的第二层深度流重建成在步骤S23处设置的重建之后的第二层的视点和面的第二层深度流并且将得到的深度流提供给存储装置58以便存储。然后，处理前行至步骤S26。

另一方面，在步骤S22处判定不必要重建第一层的纹理图像和深度图像的情况下，处理前进至步骤S26。

在步骤S26处，传输部60从存储装置58读出重建之前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并且将读出的流和元数据发送到家庭服务器13。

内容服务器12以如上所述这样的方式分别将第一层的视点处的遮挡区域中的纹理图像和深度图像生成为第二层的纹理图像和深度图像。因此，在观看位置与视点O不同的情况下，家庭服务器13可以通过使用第二层的纹理图像和深度图像来生成包括在显示图像中的视点O的遮挡区域。因此，家庭服务器13可以生成高图片质量的显示图像。

此外，内容服务器12将第二层的视点设置成与第一层的视点O不同的三维位置。因此，在第二层中，可以表示在其延伸到视点O的方向上延伸到视点O的成像对象的长度。

此外，内容服务器12将深度图像的每个像素的y值设置为通过倒数1/r的8位量化获得的值。因此，对于内容服务器12不必要在重建时重做对深度图像的8位量化。

(家庭服务器的配置示例)

图19是示出图1的家庭服务器13的配置示例的框图。

图19的家庭服务器13包括摄像装置13A、接收部231、存储装置232、另一接收部233、视线检测部234、ML3D模型生成部235、另一ML3D模型生成部236、又一ML3D模型生成部237、3D模型生成部238和绘制部239。

家庭服务器13的接收部231接收从内容服务器12向其发送的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据并且将其发送到存储装置232。

存储装置232存储从接收部231提供的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

接收部233从头戴式显示器15接收图1的陀螺仪传感器15B的检测结果并且将检测结果提供给视线检测部234。

视线检测部234基于从接收部233提供的陀螺仪传感器15B的检测结果来确定3D模型坐标系中的观看者的视线方向。此外，视线检测部234从摄像装置13A获取标记15A的拾取图像并且基于所拾取图像来检测3D模型坐标系中的观看位置。

视线检测部234从存储装置232中读出来自元数据内的第一层的表格。视线检测部234基于3D模型坐标系中的观看位置和视线方向以及第一层的表格，将来自六个面中的与从观看位置沿视线方向延伸的视线最接近的视线矢量对应的三个面确定为选择面。具体地，视线检测部234将包括+X面81和-X面82中的一个的面、包括+Y面83和-Y面84中的一个的面和包括+Z面85和-Z面86中的一个的面选择为选择面。

由于以如上所述这样的方式确定选择面，因此由下文中描述的绘制部239使用与选择面对应的第一层和第二层的纹理图像和深度图像生成的显示图像中的高分辨率区域的比率是最高的。此外，由于确定了三个选择面，因此与选择一个选择面的替选情况相比，可以增加在视线指向立方体80的顶点附近的情况下的显示图像中的高分辨率区域的比率。

视线检测部234从存储装置232读出与三个选择面对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测部234针对每个面将读出的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给ML3D模型生成部235至237。此外，视线检测部234从存储装置232读出低分辨率纹理流和低分辨率深度流并且将其提供给3D模型生成部238。

此外，视线检测部234基于3D模型坐标系中的观看位置和视线方向来确定3D模型坐标系中的观看者的观看范围。视线检测部234将观看者的观看范围和观看位置提供给绘制部239。视线检测部234将三个选择面和与三个选择面对应的第二层的三个面的视点位置信息和面信息提供给绘制部239。

ML3D模型生成部235至237分别使用第一层纹理流和第一层深度流，生成包括与第一层的纹理图像的像素对应的采样点的纹理图像坐标系中的三维位置(u，v，z)和连接信息的三维数据和作为颜色信息的RGB值。要注意的是，每个采样点的连接信息是表示采样点(顶点)与不同采样点之间的连接的信息。纹理图像坐标系是具有由横向方向给出的u轴、由纵向方向给出的v轴和在纹理图像的深度方向上的z轴的坐标系。

此外，ML3D模型生成部235至237使用从视线检测部234提供的第二层纹理流和第二层深度流来生成与第二层的纹理图像的每个像素对应的采样点的三维数据。ML3D模型生成部235至237将第一层和第二层的三维数据提供给绘制部239。

3D模型生成部238对从视线检测部234提供的低分辨率纹理流和低分辨率深度流进行解码以生成低分辨率纹理图像和低分辨率深度图像。3D模型生成部238将作为低分辨率纹理图像的每个像素的像素值的YCbCr值转换为RGB值以使得采样点的RGB值与每个像素对应。此外，3D模型生成部238对低分辨率深度图像的每个像素的像素值执行8位去量化并且获得倒数1/r。然后，3D模型生成部238基于低分辨率深度图像的像素的这样的倒数1/r将每个像素的三维位置(u，v，z)计算为与像素对应的采样点的三维位置(u，v，z)。

此外，3D模型生成部238基于采样点的三维位置(u，v，z)生成采样点的连接信息使得每三个相邻采样点彼此连接。3D模型生成部238将采样点的三维位置(u，v，z)、连接信息和RGB值作为低分辨率纹理图像的三维数据提供给绘制部239。

绘制部239基于从3D模型生成部238提供的低分辨率纹理图像的三维数据，对3D模型坐标系中的低分辨率纹理图像执行三角形补丁绘制(点云绘制)。此后，绘制部239基于从ML3D模型生成部235至237提供的第一层和第二层的三维数据以及从视线检测部234提供的视点位置信息和面信息，对3D模型坐标系中第一层和第二层的纹理图像执行三角形补丁绘制。

具体地，低分辨率纹理图像的视点是3D模型坐标系的原点，并且预先确定作为3D模型的正八面体的面中的每一个的位置和尺寸。因此，绘制部239可以计算与正八面体的面对应的摄像装置的内部参数和外部参数。因此，绘制部239可以使用内部参数和外部参数以从低分辨率纹理图像的采样点的三维位置(u，v，z)识别屏幕图像上的位置(u，v)和每个采样点的3D模型坐标系中的三维位置(X，Y，Z)。因此，可以使用低分辨率纹理图像的采样点的屏幕图像上的位置(u，v)和三维位置(X，Y，Z)、连接信息和RGB值来执行三角形补丁绘制。

此外，绘制部239可以基于第一层和第二层的视点位置信息和面信息来计算与第一层和第二层的面对应的摄像装置的内部参数和外部参数。因此，绘制部239可以使用内部参数和外部参数来从第一层和第二层的采样点的三维位置(u，v，z)识别屏幕图像上的位置(u，v)和采样点的三维位置(X，Y，Z)。因此，绘制部239可以使用第一层和第二层的屏幕图像上的位置(u，v)和采样点的三维位置(X，Y，Z)、连接信息和RGB值以执行三角形补丁绘制。

绘制部239(图像生成部)通过将3D模型坐标系中绘制的三角形补丁透视地投影(映射)在从作为从视线检测部234提供的观看位置给出的视点起的观看范围内，生成显示图像。绘制部239将显示图像发送到图1的转换装置14。

(ML3D模型生成部的配置示例)

图20是示出图19的ML3D模型生成部235的配置示例的框图。

图20的ML3D模型生成部235包括解码器251、RGB转换部252、另一解码器253、深度转换部254、不连续性检测部255、3D模型生成部256、另一解码器257、另一RGB转换部258、又一解码器259，另一深度转换部260、遮挡处理部261和3D模型生成部262。

ML3D模型生成部235的解码器251对从图19的视线检测部234提供的第一层纹理流进行解码以生成第一层的纹理图像。解码器251将第一层的纹理图像提供给RGB转换部252。

RGB转换部252将作为第一层的纹理图像的像素的像素值的YCbCr值转换为RGB值以获得与像素对应的采样点的RGB值。然后，RGB转换部252将采样点的RGB值提供给3D模型生成部256。

解码器253对从视线检测部234提供的第一层深度流进行解码以生成第一层的深度图像。解码器253将第一层的深度图像提供给深度转换部254。

深度转换部254对从解码器253提供的第一层的深度图像的像素的像素值执行8位去量化以获得倒数1/r。然后，深度转换部238基于第一层的深度图像的像素的倒数1/r将像素的三维位置(u，v，z)计算为与像素对应的采样点的三维位置(u，v，z)。深度转换部254将采样点的三维位置(u，v，z)提供给不连续检测部255和3D模型生成部256。

不连续检测部255基于从深度转换部254提供的采样点的三维位置(u，v，z)检测来自第一层的深度图像的像素中的、作为与采样点对应的像素的不连续像素，在这些采样点中的每一个处与相邻采样点的z坐标的差等于或大于阈值。不连续检测部255将与不连续性像素对应的采样点的三维位置(u，v，z)提供给3D模型生成部256。

3D模型生成部256(连接信息生成部)基于从深度转换部254提供的采样点的三维位置(u，v，z)生成采样点的连接信息，使得来自采样点中的每三个相邻采样点彼此连接。具体地，3D模型生成部256针对每个采样点生成表示包括作为顶点的采样点的三角形补丁的三个顶点之间的连接的连接信息。然后，3D模型生成部256基于与从不连续检测部255提供的不连续像素对应的采样点的三维位置(u，v，z)，删除表示来自采样点的所生成的连接信息中的、与不连续像素对应的采样点的连接的连接信息。

3D模型生成部256将在删除第一层的采样点之后的三维位置(u，v，z)、RGB值和连接信息生成为第一层的三维数据并且将三维数据提供给图19的绘制部239。

除了处理目标的层从第一层改变到第二层之外，解码器257、RGB转换部258、解码器259和深度转换部260的处理与解码器251、RGB转换部252、解码器253和深度转换部254的处理类似，并且因此省略其描述。

遮挡处理部261基于从深度转换部260提供的采样点的三维位置(u，v，z)从第二层的深度图像的像素中检测不连续像素。遮挡处理部261基于第二层的采样点的三维位置(u，v，z)，执行用于校正与不连续像素对应的采样点的三维位置(u，v，z)的遮挡处理。

具体地，遮挡处理部261将与不连续像素对应的每个采样点的二维位置(u，v)校正成与采样点在接近侧上相邻的采样点的二维位置(u，v)。遮挡处理部261将第二层的采样点的遮挡处理之后的三维位置(u，v，z)提供给3D模型生成部262。

3D模型生成部262针对每个采样点基于从遮挡处理部261提供的采样点的三维位置(u，v，z)生成表示与和采样点相邻的两个采样点连接的连接信息。3D模型生成部262将采样点的三维位置(u，v，z)和连接信息和从RGB转换部258提供的RGB值生成为第二层的三维数据。3D模型生成部256将第二层的三维数据提供给图19的绘制部239。

要注意的是，尽管未示出，但是与图20的ML3D模型生成部235类似地配置ML3D模型生成部236和ML3D模型生成部237。

(删除连接信息和遮挡处理的效果的描述)

图21是示出在未删除第一层的连接信息中的表示与和不连续像素对应的采样点连接的连接信息的情况下的连接信息的视图，并且图22是示出在删除这样的连接信息的情况下的连接信息的视图。

参照图21和图22，向左和向右方向表示纹理图像的横向方向并且向上和向下方向表示纹理图像的深度方向。图21和图22中的向上方向是近侧，并且向下方向是深侧。此外，在图21和图22中，实线表示第一层的采样点的三维位置(u，v，z)，并且虚线表示第二层的采样点的三维位置(u，v，z)。此外，在图21和图22的示例中，图10的前景111和背景112是成像对象。

没有在第一层和第二层中不执行遮挡处理的情况下，采样点的三维位置与如图21的A所示第一层的前景111的拾取图像121和背景112的区域112A的拾取图像122A的边界上的不连续像素对应。

此外，在连接信息表示与和第一层和第二层两者中的不连续像素对应的采样点连接的情况下，如图21的A所示与第一层和第二层的不连续像素对应的采样点被连接至两个相邻采样点。

因此，生成在与第一层的不连续像素对应的采样点和两个相邻采样点处具有顶点的三角形补丁，并且通过三角形补丁填充有效区域中的拾取图像122C。因此，在要生成包括与从图中的右下部指向左上部的视线V对应的成像遮挡区域112C的显示图像的情况下，可以不使用布置成像遮挡区域112C的拾取图像122C的第二层的有效区域。

另一方面，在未删除表示与和不连续像素对应的采样点连接的连接信息但是在第一层和第二层两者中执行遮挡处理的情况下，如图21的B所示出的，与第一层和第二层中的不连续像素对应的采样点的二维位置被校正成与采样点在接近侧上相邻的采样点的二维位置。

因此，在要生成与视线V对应的显示图像的情况下，第一层的区域112A的拾取图像122A可以用作成像遮挡区域112C的显示图像。因此，提高了显示图像的图片质量。

然而，与遮挡处理之后的第一层的不连续像素对应的采样点被连接至两个相邻的采样点并且生成三角形补丁。因此，与图21的A的情况下类似地，在要生成与视线V对应的显示图像的情况下，可以不使用布置成像遮挡区域112C的拾取图像122C的第二层的有效区域。

相比之下，3D模型生成部256删除如图22所示出的表示与第一层的不连续像素连接的连接信息。因此，不生成在与第一层的不连续像素对应的采样点处具有顶点的三角形补丁。因此，在要生成与视线V对应的显示图像的情况下，可以使用布置有成像遮挡区域112C的拾取图像122C的第二层的有效区域。由于在第二层中不执行连接信息的删除，因此在第一层的三角形补丁不存在的区域中必定存在第二层的三角形补丁。

此外，遮挡处理部261对第二层执行遮挡处理。因此，如图22所示，来自在与第二层的有效区域与虚区域之间的边界上的不连续像素对应的采样点之间的深度侧上的采样点的二维位置被连接至与深度侧上的采样点在接近侧上相邻的采样点的二维位置。因此，在第二层中，减少了遮挡区域。因此，提高了当要生成与视线V对应的显示图像时使用的第二层的图片质量，并且因此提高了显示图像的图片质量。

(第一层的面的视角效果的描述)

图23和图24是示出在第一层的每个面的视角分别为90度和100度的情况下的采样点的视图。

在图23和图24中的示例中，为了便于描述，假设在第一层的每个面的视角为90度和100度的情况下的第一层的纹理图像和深度图像的分辨率分别是4×4像素和6×6像素。

如图23的B所示，在第一层的每个面的视角为90度的情况下，第一层的六个面是构成立方体80的六个面81至86。

然而，如图23的A所示，第一层的-Z面86的纹理图像280上的采样点291的位置(u，v)，即，从3D模型坐标系中的视点O指向采样点291的线与-Z面86交叉的位置是每个像素281的中心。此外，与-Z面86中类似地，其他面81至85的采样点的位置(u，v)是像素的中心。

因此，通过连接来自均由图23的B中的黑色圆形标记指示的采样点中的彼此相邻的每三个采样点而构成的全部三角形补丁的面81至86上的区域283的u方向和v方向上的尺寸与面81至86相比更小像素的一半的尺寸。因此，不生成与面81至86的边界对应的三角形补丁，并且因此，变得难以以高图片质量生成通过面81至86之间的边界的视线的显示图像。

相比之下，在第一层的每个面的视角是100度的情况下，如图24的A所示包括-Z面86的第一层的面的纹理图像310的尺寸变为比图23的纹理图像280的尺寸更大的6×6个像素。此外，包括其他面81至85的第一层的每个面的纹理图像的尺寸类似地变为6×6像素。

因此，如图24的B所示，通过连接来自均由图中的黑色圆形标记指示的采样点中的每三个采样点而构成的全部三角形补丁的-Z面86上的区域311的u方向和v方向上的尺寸与-Z面86的情况相比更大像素的一半的尺寸。尽管未示出，但是与包括其他面81至85的第一层的每个面的三角形补丁的区域的u方向和v方向上的尺寸与面81至85的类似于区域311的区域相比更大像素的一半的尺寸。因此，生成与面81至86中的每个面的边界对应的三角形补丁，并且因此，可以以高图片质量生成包括通过面81至86中的每个面的边界的视线的任意视线的显示图像。

尽管参照图23和图24描述了在第一层的每个面的视角为100度的情况下的效果，但是如果第一层的每个面的视角大于90度，则即使在视角不是100度的情况下也产生类似的效果。

(第二层的面的视角效果的描述)

图25是示出在第二层的每个面的视角为90度和100度的情况下的遮挡处理的视图。

参照图25，横坐标轴表示u轴并且纵坐标轴表示z轴。此外，圆形标记表示采样点。此外，在图25的示例中，深度方向上的位置的z坐标朝向深侧增加。

在第二层的每个面的视角为90度的情况下，采样点仅被映射到第二层的面中的一个。因此，如图25的A所示出的，与被映射到处理目标的面的u方向上的端部的采样点331相邻的采样点332不被映射到处理目标的面，并且在处理目标的面的遮挡处理时，采样点332在z轴上的位置是未知的。

因此，即使在采样点331和采样点332的z坐标之间的差等于或大于阈值的情况下，与采样点331对应的像素也不被检测为不连续像素。类似地，同样在采样点332被映射到的面是处理目标的面的情况下，与采样点332对应的像素不被检测为不连续像素。因此，可以不对采样点331和采样点332执行遮挡处理。换句话说，为了对采样点331和采样点332执行遮挡处理，除了处理目标的面的深度图像之外，还有必要使用与处理目标的面相邻的面的深度图像。

相比之下，在第二层的每个面的视角为100度的情况下，在每个面的端部处，将被映射到除了与面相邻的面的端部之外的区域的采样点以交叠关系映射为边距。例如，在采样点331被映射到的处理目标的面的端部处，映射在除了与处理目标的面相邻的面的端部之外的区域中映射的采样点332。

因此，在采样点331和采样点332的z坐标之间的差等于或大于阈值的情况下，与采样点331和采样点332对应的像素被检测为不连续像素。因此，如图25的B所示可以对采样点331和采样点332执行遮挡处理。因此，与不连续像素对应的采样点332的u坐标被校正成在采样点332(具有较小的z坐标)附近并且比采样点332更接近侧上的采样点333的u坐标。

要注意的是，由于在如图25的示例中，映射到除了处理目标的面的端部之外的区域的采样点334与采样点335之间的z坐标的差等于或大于阈值，因此与采样点334和采样点335对应的像素也被检测为不连续像素。因此，如图25的B所示出的，采样点334的u坐标被连接至采样点334附近并且比采样点334更接近侧上的采样点336的u坐标。

此外，具有最大u坐标的处理目标的面的端部处的采样点337被映射到除了与处理目标的面相邻的面的端部之外的区域。因此，在将该面设置为处理目标的面的情况下，判定与采样点337对应的像素是否是不连续像素，并且当判定像素是不连续像素时，可以对采样点337执行遮挡处理。

如上所述，在第二层的每个面的视角为100度的情况下，可以仅使用每个面的采样点来对映射到除了每个面的端部之外的区域的端部的采样点331执行遮挡处理。因此，减小了第二层的遮挡区域，并且可以提高显示图像的图片质量。

尽管参照图25描述了在第二层的每个面的视角为100度的情况下的效果，但是如果第二层的每个面的视角大于90度，则即使视角不是100度也生成类似的效果。

要注意的是，ML3D模型生成部235至237可以对作为解码结果获得的纹理图像或深度图像使用周边像素等执行诸如滤波处理的图像处理。在该情况下，由于第一层和第二层的每个面的视角大于90度，因此同样在除了每个面的端部之外的区域的端部处的效果，可以与遮挡处理类似地执行图像处理。

(家庭服务器的处理的描述)

图26是示出图19的家庭服务器13的再现处理的流程图。当例如从内容服务器12将低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据发送到家庭服务器13时开始该再现处理。

在图26的步骤S41处，家庭服务器13的接收部231接收从内容服务器12发送的低分辨率纹理流和低分辨率深度流和六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据并且将其提供给存储装置232。

在步骤S42处，存储装置232存储低分辨率纹理流和低分辨率深度流和六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

在步骤S43处，接收部233从头戴式显示器15接收图1的陀螺仪传感器15B的检测结果并且将检测结果提供给视线检测部234。

在步骤S44处，视线检测部234基于从接收部233提供的陀螺仪传感器15B的检测结果来确定3D模型坐标系中的观看者的视线方向。在步骤S45处，摄像装置13A对应用于头戴式显示器15的标记15A进行成像并且将作为成像结果获得的拾取图像提供给视线检测部234。

在步骤S46处，视线检测部234基于从摄像装置13A提供的标记15A的拾取图像检测3D模型坐标系中的观看位置并且将观看位置提供给绘制部239。

在步骤S47处，视线检测部234基于来自存储在存储装置232中的元数据内的第一层的表格和3D模型坐标系中的观看位置和视线方向，将来自六个面中的与最接近视线的视线矢量对应的三个面确定为选择面。

在步骤S48处，视线检测部234基于3D模型坐标系中的观看位置和视线方向确定3D模型坐标系中的观看者的观看范围，并且将观看范围提供给绘制部239。

在步骤S49处，视线检测部234从存储装置232读出低分辨率纹理流和低分辨率深度流并且将其提供给3D模型生成部238。此外，视线检测部234从存储装置232读出与三个选择面对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测部234针对每个面将读出的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给ML3D模型生成部235至237。此外，视线检测部234从存储器232读出与三个选择面对应的视点位置信息和面信息并且将其提供给绘制部239。

在步骤S50处，ML3D模型生成部235至237对每个面执行用于生成第一层和第二层的采样点的三维数据的三维数据生成处理。下文中参照图27描述三维数据生成处理的细节。

在步骤S51处，3D模型生成部238根据从视线检测部234提供的低分辨率纹理流和低分辨率深度流生成低分辨率纹理图像的采样点的三维数据并且将三维数据提供给绘制部239。

在步骤S52处，绘制部239基于从3D模型生成部238提供的低分辨率纹理图像的三维数据对3D模型坐标系中的低分辨率纹理图像执行三角形补丁绘制。此后，绘制部239基于从ML3D模型生成部235至237提供的第一层和第二层的三维数据以及从视线检测部234提供的视点位置信息和面信息，对3D模型坐标系中第一层和第二层的纹理图像执行三角形补丁绘制。

在步骤S53处，绘制部239通过将3D模型坐标系中绘制的三角形补丁透视地投影到相对于作为从视线检测部234提供的观看位置给出的视点的视线范围来生成显示图像。在步骤S54处，绘制部239将显示图像发送到图1的转换装置14。

图27是示出由图26的步骤S50处的ML3D模型生成部235执行的三维数据生成处理的细节的流程图。

在图27的步骤S71处，ML3D模型生成部235的解码器251(图20)对从图19的视线检测部234提供的第一层纹理流进行解码以生成第一层的纹理图像。解码器251将第一层的纹理图像提供给RGB转换部252。

在步骤S72处，RGB转换部252将作为第一层的纹理图像的像素的像素值的YCbCr值转换成RGB值并且将其确定为与像素对应的采样点的RGB值。然后，RGB转换部252将采样点的RGB值提供给3D模型生成部256。

在步骤S73处，解码器253对从视线检测部234提供的第一层深度流进行解码以生成第一层的深度图像。解码器253将第一层的深度图像提供给深度转换部254。

在步骤S74处，深度转换部254对从解码器253提供的第一层的深度图像的每个像素的像素值执行8位去量化并且获得第一层的深度图像的每个像素的倒数1/r。

在步骤S75处，深度转换部254基于第一层的深度图像的每个像素的倒数1/r将第一层的深度图像的每个像素的三维位置(u，v，z)计算为与像素对应的采样点的三维位置(u，v，z)。深度转换部254将采样点的三维位置(u，v，z)提供给不连续检测部255和3D模型生成部256。

在步骤S76处，不连续检测部255基于从深度转换部254提供的采样点的三维位置(u，v，z)从第一层的深度图像的像素中检测不连续像素。不连续检测部255将与不连续像素对应的采样点的三维位置(u，v，z)提供给3D模型生成部256。

在步骤S77处，3D模型生成部256基于从深度转换部254提供的采样点的三维位置(u，v，z)生成第一层的采样点的连接信息使得来自采样点中的每三个相邻采样点彼此连接。

在步骤S78处，3D模型生成部256基于与从不连续检测部255提供的不连续像素对应的采样点的三维位置(u，v，z)，删除表示来自在步骤S77处生成的采样点的连接信息中的、与和不连续像素对应的采样点连接的连接信息。

在步骤S79处，3D模型生成部256将第一层的采样点的三维位置(u，v，z)、RGB值和通过步骤S78处的处理删除之后的连接信息生成为第一层的三维数据。3D模型生成部256将第一层的三维数据提供给图19的绘制部239。

在步骤S80处，解码器257对从视线检测部234提供的第二层纹理流进行解码以生成第二层的纹理图像。解码器257将第二层的纹理图像提供给RGB转换部258。

在步骤S81处，RGB转换部258将作为第二层的纹理图像的像素的像素值的YCbCr值转换成RGB值并且将其确定为与像素对应的采样点的RGB值。然后，RGB转换部258将采样点的RGB值提供给3D模型生成部262。

在步骤S82处，解码器259对从视线检测部234提供的第二层深度流进行解码以生成第二层的深度图像。解码器259将第二层的深度图像提供给深度转换部260。

在步骤S83处，深度转换部260对从解码器259提供的第二层的深度图像的像素的像素值执行8位去量化并且获得第二层的深度图像的像素的倒数1/r。

在步骤S84处，深度转换部260基于第二层的深度图像的像素的倒数1/r将第二层的深度图像的像素的三维位置(u，v，z)计算为与像素对应的采样点的三维位置(u，v，z)。深度转换部260将采样点的三维位置(u，v，z)提供给遮挡处理部261和3D模型生成部262。

在步骤S85处，遮挡处理部261基于从深度转换部260提供的采样点的三维位置(u，v，z)检测第二层的深度图像的像素中的不连续像素。

在步骤S86处，遮挡处理部261基于第二层的采样点的三维位置(u，v，z)执行用于对与不连续像素对应的采样点的三维位置(u，v，z)校正的遮挡处理。遮挡处理部261将对第二层的采样点的遮挡处理之后的三维位置(u，v，z)提供给3D模型生成部262。

在步骤S87处，3D模型生成部262基于从遮挡处理部261提供的采样点的三维位置(u，v，z)生成第二层的采样点的连接信息，使得采样点中的每三个相邻采样点彼此连接。

在步骤S88处，3D模型生成部262将采样点的三维位置(u，v，z)和连接信息以及从RGB转换部258提供的RGB值生成为第二层的三维数据。3D模型生成部256将第二层的三维数据提供给图19的绘制部239。

要注意的是，与图27的三维数据处理类似地执行由ML3D模型生成部236和ML3D模型生成部237执行的三维数据生成处理。

家庭服务器13使用如上所述的第一层和第二层生成显示图像。因此，在观看位置与视点O不同的情况下，可以使用第二层生成包括在显示图像中的视点O的遮挡区域。因此，可以生成高图片质量的显示图像。

此外，家庭服务器13不仅使用纹理图像而且使用深度图像来生成显示图像。因此，通过三角形补丁绘制，可以根据成像对象将纹理图像映射到三维形状的三角形补丁并且使用三角形补丁生成显示图像。因此，与通过仅使用纹理图像将纹理图像映射到预定面来生成显示图像的替选情况相比，可以生成高图片质量的显示图像。

此外，第一层的纹理图像和深度图像分别是通过映射全向图像的纹理图像和深度图像来获得的纹理图像和深度图像。因此，仅再现通过将全向图像的纹理图像和深度图像映射到预定面而获得的纹理图像和深度图像的再现装置可以再现第一层的纹理图像和深度图像。

具体地，由内容服务器12生成的第一层和第二层的纹理图像和深度图像的格式具有与通过映射全向图像的纹理图像和深度图像而获得的纹理图像和深度图像的格式的兼容性。此外，通过家庭服务器13的再现方法具有与再现装置的再现方法的兼容性，该再现装置仅再现通过将全向图像的纹理图像和深度图像映射到预定面而获得的纹理图像和深度图像。

要注意的是，家庭服务器13可以仅使用第一层的纹理图像和深度图像来生成显示图像。在该情况下，针对第一层，执行遮挡处理来代替删除连接信息。

此外，虽然在前面的描述中，3D模型生成部256删除表示与和由不连续检测部255检测到的不连续像素对应的采样点连接的连接信息，但是可以另外基于从内容服务器12发送的三角形补丁有效无效信息(下文中将详细描述)删除连接信息。在该情况下，不提供不连续检测部255。

(三角形补丁有效无效信息的描述)

图28是示出在刚才描述的这样的情况下从内容服务器12发送的三角形补丁有效无效信息的视图。

在图28的示例中，第一层的采样点351的数目是12。因此，在三个相邻采样点351处均具有顶点的三角形补丁352的数目是12。

在该情况下，内容服务器12与不连续检测部255类似地检测不连续像素。然后，内容服务器12将与每个不连续像素对应的采样点处具有顶点的三角形补丁352设置为无效(关闭)并且将不包括与任何不连续像素对应的采样点的每个三角形补丁352设置为有效(开启)。

内容服务器12(生成部)生成指示每个三角形补丁352有效或无效的三角形补丁有效无效信息并且将三角形补丁有效无效信息放入到元数据中。

家庭服务器13的3D模型生成部256基于三角形补丁有效无效信息删除表示构成每个无效三角形补丁的顶点的采样点之间的连接的连接信息。因此，不绘制其三角形补丁有效无效信息表示无效的任何三角形补丁。

要注意的是，除了右端和下端处的采样点之外对于每个采样点由两个生成三角形补丁。此外，三角形补丁有效无效信息是指示三角形补丁有效或无效的1位的信息。因此，如果第一层的纹理图像的水平方向上的像素数由宽度表示并且纵向方向上的像素数由高度表示，则全部三角形补丁的三角形补丁有效无效信息的位数是(宽度-1)*(高度-1)*2位。

以无损压缩状态或非压缩状态将三角形补丁有效无效信息从内容服务器12发送到家庭服务器13。要注意的是，三角形补丁有效无效信息可以被布置为深度图像的Cb和Cr值。

<第二实施方式>

(图像显示系统的第二实施方式的配置示例)

图29是示出应用本公开内容的图像显示系统的第二实施方式的配置示例的框图。

由相同的附图标记表示与图1的部件一样的图29中所示的部件。适当地省略交叠的描述。

图29的图像显示系统400包括多摄像装置11、内容服务器12、转换装置14、头戴式显示器15、分布式服务器401、网络402和再现装置403。在图像显示系统400中，仅来自六个面中的与视线对应的一个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流被分发到再现装置403并且由再现装置403再现。

具体地，图像显示系统400的分布服务器401接收并且存储从内容服务器12向其发送的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

此外，分布服务器401通过网络402连接至再现装置403。分布服务器401响应于来自再现装置403的请求，通过网络402将存储在其中的低分辨率纹理流和低分辨率深度流、一个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据发送到再现装置403。

再现装置403(图像处理装置)通过网络402向分发服务器401请求低分辨率纹理流、低分辨率深度流和元数据，并且根据请求接收向其发送的低分辨率纹理流、低分辨率深度流和元数据。

此外，再现装置403具有设置在其中的摄像装置13A。类似于家庭服务器13，再现装置403检测3D模型坐标系中的观看位置并且确定3D模型坐标系中的观看者的视线方向和观看范围。

然后，再现装置403基于3D模型坐标系中的观看位置和视线方向以及元数据中包括的第一层的表格，将来自第一层的六个面中的与最接近视线的视线矢量对应的一个面确定为选择面。再现装置403通过网络402请求与一个选择面对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。再现装置403响应于请求接收向其发送的与一个选择面对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

再现装置403使用与一个选择面对应的低分辨率纹理流和低分辨率深度流以及第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以生成显示图像。除了选择面的数目是一个之外、用于生成再现装置403的显示图像的处理与家庭服务器13的处理类似，并且因此，省略对其的描述。再现服务器403通过未示出的HDMI电缆将显示图像发送到转换装置14。

<第三实施方式>

除了执行tan轴投影(下文中描述细节)来代替透视投影之外、应用本公开内容的图像显示系统的第三实施方式的配置与图1的图像显示系统10的配置相同。因此，在以下中，仅描述了tan轴投影。

(投影平面坐标系的描述)

图30是示出投影平面的坐标系的视图。

要注意的是，在第三实施方式中，投影平面是当内容服务器12生成低分辨率图像时拾取图像被tan轴投影到的正八面体的面中的每一个、当内容服务器12生成第一层图像和第二层图像时拾取图像或z图像被tan轴投影到的每个面，或者当家庭服务器13生成显示图像时三角形补丁被tan轴投影到的观看范围。

在图30的示例中，在3D模型坐标系中设置Z为-1.0的投影平面501。在该情况下，投影平面501的中心O'是原点并且投影平面501的水平方向是s方向而纵向方向是t方向的二维st坐标系是投影平面501的坐标系。

要注意的是，在以下描述中，从3D模型坐标系的原点O朝向st坐标系的坐标(s，t)前进的矢量502被称为使用坐标(s，t)和从原点O到投影平面501的距离的-1.0的矢量(s，t，-1.0)。

(tan轴投影的描述)

图31是示出tan轴投影(正切轴投影)的视图。

图31是沿Z的负方向看时的投影平面501的视图。在图31的示例中，在st坐标系中，投影平面501的s值和t值的最小值是-1.0并且最大值是1.0。

在该情况下，在透视投影中，投影点被设置在投影平面501上使得从原点O前进至投影平面501上的投影点的投影矢量变为矢量(s'，t'，-1.0)。要注意的是，s'是在s值从-1.0至1.0的范围内提供的每个预定距离处的值，并且t'是在t值从-1.0至1.0的范围内提供的每个预定距离处的值。因此，透视投影中的投影点在投影平面501上是均匀的。

相比之下，如果投影平面501的横向视角和纵向视角各自是视角θw(在图31的示例中，π/2)，则在tan轴投影中，投影点被设置在投影平面501上使得投影矢量变为矢量(tan(s'*θw/2)，tan(t'*θw/2)，-1.0)。

具体的，如果s'*θw/2是θ并且t'*w/2是则矢量(tan(s'*θw/2)，tan(t'*θw/2)，-1.0)变为矢量(tanθ，-1.0)。此时，如果视角θw接近π，则tanθ或发散到无穷大。因此，为了不允许tanθ或发散到无穷大的目的，将矢量(tanθ，-1.0)校正为矢量 并且投影点被设置在投影平面501上使得投影矢量变为矢量因此，在tan轴投影中，由与彼此相邻的投影点对应的投影矢量限定的角度彼此相等。

要注意的是，与对数轴(对数标度)类似，tan(s'*θw/2)和tan(t'*θw/2)被理解为tan轴的s'和t'。因此，在本说明书中，投影矢量是矢量(tan(s'*θw/2)，tan(t'*θw/2)，-1.0)的投影被称为tan轴投影。

(透视投影和tan轴投影中的投影点的描述)

图32是示出透视投影和tan轴投影中的投影点的视图。

图32是沿Y的负方向观看时投影平面501的视图。在图32的示例中，九个投影点被布置在投影平面501上，并且映射的全向图像被投影到球体511。

在该情况下，在透视投影中，如图32所示投影点P1至P9以相等的距离d被布置在投影平面501上。因此，分别与投影点P1至P9对应的映射到球体511的全向图像上的点P1'至P9'之间的距离d'不是相等的距离。具体地，距离d'依赖于投影矢量，并且距离d'在更接近投影平面501的中心的投影点处更大。

相比之下，在tan轴投影中，投影点Q1至Q9被布置成使得由彼此相邻的投影点的投影矢量限定的角度变为相等的角度α。因此，分别与投影点Q1至Q9对应的映射到球体511的全向图像上的点Q1'至Q9'之间的距离变成相等的距离d”。

(由透视投影和tan轴投影生成的第一层的高分辨率图像上的拾取图像的像素的示例)

图33是示出通过透视投影生成的第一层的高分辨率图像上的拾取图像的像素的示例的视图，并且图34是示出通过tan轴投影生成的第一层的高分辨率图像上的拾取图像的像素的示例的视图。

要注意的是，在图33和图34中，第一层的高分辨率图像上的拾取图像的像素之间的每个边界由白线指示。这类似适用于下文描述的图35。此外，在图33和图34的示例中，拾取图像被一次映射到球体并且投射映射到球体的拾取图像。此外，在图33和图34的示例中，第一层的每个面是立方体的面。

在该情况下，如图33所示，通过将映射到球体的拾取图像的像素透视投影到立方体的面而生成的第一层的高分辨率图像521至526上的拾取图像的像素530(图中由白线围绕的矩形)的密度朝向屏幕图像的中心变得更高。

具体地，在投影点之间的距离在立方体的每个面上相等的透视投影中，与映射到球体的拾取图像上的投影点对应的点的每个角度的密度在接近立方体的每个面的中心的投影点处变得更低。因此，第一层的高分辨率图像521至526上的拾取图像的像素530的密度朝向屏幕图像的中心变得更高。

相比之下，如图34所示，在通过将映射到球体的拾取图像的像素tan轴投影到立方体的面而生成的第一层的高分辨率图像541至546上的拾取图像的像素550(图中由白线围绕的矩形)的密度变得基本均匀。

具体地，在映射到球体的拾取图像上与投影点对应的点的距离是相同的tan轴投影中，与透视投影相比，映射到球体的拾取图像上与投影点对应的点的每个角度的密度变得均匀。因此，第一层的高分辨率图像541至546上的拾取图像的像素550的密度基本上是均匀的。因此，与拾取图像的像素密度不均匀的第一层的高分辨率图像521至526的图片质量相比，第一层的高分辨率图像541至546的图片质量提高。

要注意的是，由于第一层的高分辨率图像541或第一层的高分辨率图像546的像素550之间的边界不绘制同心圆，因此第一层的高分辨率图像541或第一层的高分辨率图像546与由鱼眼镜头成像的拾取图像不同。此外，由于第一层的高分辨率图像521至526中的每一个和第一层的高分辨率图像541至546中的每一个是拾取图像的相同区域被投影到的图像，因此可以进行它们的相互转换。

图35是示出通过透视投影和tan轴投影生成的第一层的高分辨率图像上的拾取图像的像素的不同示例的视图。

在图35的上段上，示出了通过横向视角和纵向视角是60度、90度、120度、150度和170度的透视投影生成的第一层的高分辨率图像561至565。

同时，在图35的下段上，示出了通过横向视角和纵向视角是60度、90度、120度、150度和170度的tan轴投影生成的第一层的高分辨率图像571至575。

如图35中的上段所示，通过透视投影生成的第一层的高分辨率图像561至565上的拾取图像的像素密度差异取决于屏幕图像中的位置，随着横向视角或纵向视角增加而增加。另一方面，如图35中的下段所示，在由tan轴投影生成的第一层的高分辨率图像571至575上的拾取图像的像素密度在屏幕图像中接近均匀。因此，随着横向视角或纵向视角的增加，与通过透视投影生成的第一层的高分辨率图像561至565的图片质量相比，由tan轴投影生成的第一层的高分辨率图像571至575的图片质量提高。

此外，通过透视投影生成的第一层的高分辨率图像561至565的屏幕图像的中间的拾取图像的像素密度随着横向视角或纵向视角的增加而增加。因此，例如，与横向视角和纵向视角为90度的第一层的高分辨率图像562的屏幕图像中间的分辨率相比，横向视角和纵向视角为120度的第一层的高分辨率图像563的屏幕图像中间的分辨率减小。

同时，虽然通过tan轴投影生成的第一层的全部高分辨率图像571至575的拾取图像的像素密度随着横向视角或纵向视角的增加而增加，但是其在屏幕图像中接近均匀。因此，在tan轴投影中，与透视投影相比，可以抑制屏幕图像中间的拾取图像的像素密度随着横向视角或纵向视角的增加而增加。

例如，通过tan轴投影生成并且具有120度的横向视角和纵向视角的第一层的高分辨率图像573的屏幕图像中间的拾取图像的像素密度基本上等于通过透视投影生成并且具有90度的横向视角和纵向视角的第一层的高分辨率图像562的屏幕图像中间的拾取图像的像素密度。因此，在tan轴投影中，与透视投影的情况相比，可以提高屏幕图像中间的重要区域中的分辨率。

要注意的是，尽管未示出，但是如果执行透视投影使得第一层的高分辨率图像521至526作为纹理被映射到立方体的面，两个相邻面之间的边界被投影到屏幕图像的中心，则透视投影的拾取图像的像素密度朝向边界增加。类似地，如果执行透视投影使得三个相邻面之间的边界被投影到屏幕图像的中间，则透视投影的拾取图像的像素密度朝向边界增加。换句话说，从第一层的高分辨率图像521至526被映射到的立方体的顶点附近透视地投影的拾取图像的像素密度高于其他区域中的像素密度。

此外，尽管省略了描述，但是在通过tan轴投影生成的第一层和第二层图像的深度图像和显示图像中，也可以获得与第一层的高分辨率图像的有利效果类似的有利效果。

(第一层的视点位置信息和面信息的表格的配置示例)

图36是示出第三实施方式中的第一层的视点位置信息和面信息的表格的配置示例的视图。

除了将用于每个面的投影方法新登记为投影方法之外，图36的表格的配置与图9的配置相同。具体地，在第三实施方式中，由于用于每个面的投影方法是tan轴投影，因此在图36的表格中，tan轴投影以与第一层的面的文件名的公共部分关联的关系被登记为投影方法。

要注意的是，同样在第一和第二实施方式中，投影方法可以与第三实施方式中类似地登记在表格中，或者在第三实施方式中，投影方法可以不与第一实施方式中类似地登记在表格中。

以该方式，在第三实施方式中，由于通过将拾取图像或z图像tan轴投影到面来生成第一层图像和第二层图像，因此可以提高第一层图像和第二层图像的图片质量。此外，由于通过将三角形补丁tan轴投影到观看范围来生成显示图像，因此可以提高显示图像的图片质量。

要注意的是，当生成第一层图像、第二层图像和显示图像时执行的投影可以是除了透视投影或tan轴投影之外的任何投影。此外，投影方法可以针对每个面而不同。此外，在第二实施方式中，可以执行tan轴投影来代替透视投影。

<纹理图像的不同示例>

图37是示出第一层的纹理图像的不同示例的视图。

虽然在前面的描述中，第一层的每个面的纹理图像是一个视点O的纹理图像，但是可以是与观点O对应的左眼的视点和右眼的视点的纹理图像的合成图像。

具体地，如图37的A所示第一层的每个面的纹理图像可以是例如通过在横向方向(水平方向)上打包与视点O对应的左眼的视点的第一层的每个面的纹理图像621和右眼的视点的第一层的每个面的纹理图像622而获得的打包图像620。

此外，如图37的B所示，第一层的每个面的纹理图像可以是例如通过打包纵向方向(纵向方向)上的纹理图像621和纹理图像622而获得的打包图像640。

类似地，第二层的每个面的纹理图像可以是例如通过在横向方向或纵向方向上打包与面上的第二层的一个视点对应的左眼的视点的第二层的纹理图像和右眼的视点的第二层的纹理图像而获得的打包图像。

如上所述，在第一层和第二层的面中的每个面的纹理图像是通过打包左眼的视点和右眼的视点的图像而获得的纹理图像的情况下，作为解码结果获得的纹理图像被分成左眼的视点的纹理图像和右眼的视点的纹理图像。然后，关于第一层和第二层生成用于左眼的三维数据和用于右眼的三维数据。

然后，基于与观看者的观看方向和观看位置对应的左眼的观看方向和观看位置，从用于左眼的三维数据生成用于左眼的显示图像。此外，基于与观看者的观看方向和观看位置对应的右眼的观看方向和观看位置，从用于右眼的三维数据生成用于右眼的显示图像。然后，在头戴式显示器15可以执行3D显示的情况下，头戴式显示器15将用于左眼的显示图像显示为用于左眼的图像并且将用于右眼的显示图像显示为用于右眼的显示图以3D显示显示图像。

要注意的是，虽然在第一和第二实施方式中，拾取图像被映射到正八面体以生成全向图像，但是除了正八面体之外，要映射拾取图像的3D模型还可以是球体、立方体等。在拾取图像被映射到球体的情况下，全向图像是例如根据将拾取图像映射到的球体的正金字塔投影的图像。

此外，可以不生成低分辨率纹理流和低分辨率深度流。可以不生成第一层和第二层的深度图像。此外，可以仅在将重要成像对象的拾取图像映射到的面中的一个上生成第二层的纹理图像和深度图像。

此外，类似于高分辨率的纹理图像和深度图像，也可以在分级状态下生成低分辨率纹理图像和低分辨率深度图像。

<第四实施方式>

(应用本公开内容的计算机的描述)

虽然以上所述的一系列处理可以由硬件执行，但是可以以其他方式由软件执行。在通过软件执行一系列处理的情况下，将构成软件的程序安装到计算机中。在此，计算机包括并入硬件中的专用计算机，例如，可以通过安装各种程序来执行各种功能的通用个人计算机等。

图38是示出根据程序执行在上文中描述的一系列处理的计算机的配置的示例的硬件的框图。

在计算机900中，CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903通过总线904彼此连接。

输入/输出接口905还连接至总线904。输入/输出接口905连接有输入部906、输出部907、存储部908、通信部909和驱动器910。

输入部906包括键盘、鼠标、麦克风等。输出部907包括显示器、扬声器等。存储部908包括硬盘、非易失性存储器等。通信部909包括网络接口等。驱动器910对诸如磁盘、光盘、磁光盘、半导体存储器等的可移除介质911进行驱动。

在以如上所述的这样的方式配置的计算机900中，CPU 901通过输入/输出接口905和总线904将存储在例如存储部908中的程序加载到RAM903中以执行以上所述的一系列处理。

由计算机900(CPU 901)执行的程序可以记录到可移除记录介质911中并且被设置为可移除介质911，例如设置为封装介质等。此外，可以通过诸如局域网、因特网或数字卫星广播等的有线或无线传输介质来提供程序。

在计算机900中，可以通过将可移除介质911安装在驱动器910上来通过输入/输出接口905将程序安装到存储部908中。此外，程序可以通过有线或无线传输介质被通信部909接收并且被安装到存储部908中。此外，可以将程序预先安装到ROM 902或存储部908中。

要注意的是，由计算机900执行的程序可以是根据本文中描述的顺序按照时间序列执行处理的程序或者可以是以并行执行处理或例如在调用程序的必要定时处执行处理的程序等。

<应用示例>

根据本公开内容的技术可以应用于各种产品。例如，根据本公开内容的技术可以被实现为结合诸如汽车、混合动力电动汽车、摩托车、自行车、个人移动装置、飞机、无人驾驶飞机、船舶、机器人、建筑机械、农业机械(拖拉机)等的各种类型的移动体中的装置。

图39是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是可应用作为根据本公开的实施方式的技术的移动体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图39所示出的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay等。

各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图39所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100可具有防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身系统控制单元7200用作控制设备来控制：无钥匙进入系统，智能钥匙系统，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元7200可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。

车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)摄像装置、立体摄像装置、单目摄像装置、红外摄像装置以及其他摄像装置中的至少一个。车外信息检测部7420例如包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。

图40示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918例如被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图40示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。

布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以是例如LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。

回到图39，继续进行描述。车外信息检测单元7400使成像部7410成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理，以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500例如连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的摄像装置、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器例如布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是例如使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是例如摄像装置。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可以例如包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制系统7000输入各种数据，处理操作的指令。

存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F，调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信系统(GSM)、全球互通微波接入(WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620可以例如经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可以例如使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端)相连接。

专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。

定位部7640可以例如通过，接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度以及高度的位置信息。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，或者可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统(PHS)或具有定位功能的智能电话。

信标接收部7650例如接收来自安装在道路等上的无线电站传输的无线电波或电磁波，并且从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F 7630中。

车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F 7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。车内设备7760可以例如包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是例如用于产生警告声音或点亮警报灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图39的实例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可以例如包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，并且以听觉方式输出该模拟信号。

顺便提及，在图39所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。

要注意的是，用于实现根据参照图1至图37的本实施方式的图像显示系统10(400)的功能的计算机程序可以结合到一些控制单元等中。此外，还可以提供存储如刚才描述的这样的计算机程序的可读记录介质。记录介质可以是例如磁盘、光盘、磁光盘、闪速存储器等。此外，可以例如通过网络而不使用记录介质来分发以上所述的计算机程序。

在以上所述的车辆控制系统7000中，根据上文中参照图1至图37描述的本实施方式的图像显示系统10(400)可以应用于图39所示的应用示例的车辆控制系统7000。例如，图像显示系统10(400)的多摄像装置11至少与成像部7410的部分对应。此外，内容服务器12、家庭服务器13(分发服务器401、网络402和再现装置403)和转换装置14被集成并且与集成控制单元7600的微型计算机7610和存储部7690对应。头戴式显示器15与显示部7720对应。要注意的是，在将图像显示系统10(400)应用于车辆控制系统7000的情况下，不提供摄像装置13A、标记15A和陀螺仪传感器15B，并且通过由作为观看者的乘客操作输入部7800来输入观看者的视线方向和观看位置。可以通过以上文中所述的这样的方式将图像显示系统10(400)应用于图39所示的应用示例的车辆控制系统7000来使用全向图像生成高图片质量的显示图像。

此外，上文中参照图1至图37描述的图像显示系统10(400)的至少部分部件可以由图39所示的集成控制单元7600的模块(例如，通过由一个管芯配置的集成电路模块)实现。作为替选，参照图1至图37描述的图像显示系统10(400)可以由图39所示的车辆控制系统7000的多个控制单元来实现。

在本说明书中，术语“系统”用于表示包括多个组成元件(设备、模块(部件)等)的聚合，并且全部组成元件是否都容置在同一壳体中无关紧要。因此，容置在单独的壳体中并且通过网络彼此连接的多个装置构成系统，并且同样包括容置在单个壳体中的多个模块的一个装置构成系统。

要注意的是，本文中描述的有益效果是说明性的并且不是限制性的，并且可以获得其他优点。

此外，本发明内容的实施方式不限于上文中描述的实施方式，并且在不脱离本公开内容的主题的情况下可以是各种方式。

例如，本公开内容可以采用用于云计算的配置，在该云计算中一个功能通过网络由多个装置共享并且被合作地处理。

此外，上文中结合流程图描述的步骤可以由单个装置执行或者可以由多个装置共享的方式执行。

此外，在一个步骤包括多个处理的情况下，包括在一个步骤中的多个处理可以由单个装置执行并且还可以由多个装置共享来执行。

要注意的是，本公开内容可以采用如下所述的这样的配置。

(1)一种图像处理设备，包括：

图像生成部，其被配置成使用第一层图像和第二层图像来生成给定视点的纹理图像，其中，所述第一层图像包括全向图像的纹理图像和深度图像，以及所述第二层图像包括所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

(2)根据上述(1)所述的图像处理装置，其中，

所述第一层图像包括通过将所述全向图像的纹理图像和深度图像投影到给定面而获得的纹理图像和深度图像，并且

所述第二层图像包括通过将所述遮挡区域中的纹理图像和深度图像投影到给定面而获得的纹理图像和深度图像。

(3)根据上述(1)或(2)所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域之外的区域中的背景区域与所述第一层图像的背景区域相同。

(4)根据上述(1)或(2)所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域之外的区域中的背景区域是平坦图像。

(5)根据上述(1)至(4)中任一项所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域和背景区域之外的区域是使用所述遮挡区域推断的图像。

(6)根据上述(1)至(4)中任一项所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域和背景区域之外的区域与所述第一层图像的区域相同。

(7)根据上述(6)所述的图像处理装置，还包括：

遮挡处理部，其被配置成校正所述第二层图像的深度图像的像素中的、与相邻像素在深度方向上具有等于或大于阈值的位置差的不连续像素的三维位置，其中

所述图像生成部使用所述第一层图像、所述第二层图像的纹理图像和通过所述遮挡处理部校正之后的三维位置，生成所述给定视点的纹理图像。

(8)根据上述(7)所述的图像处理装置，还包括：

连接信息生成部，其被配置成生成表示与所述第一层图像的深度图像的像素对应的采样点中的每个采样点与所述采样点中的不同一个采样点的连接的连接信息，使得所述采样点中的彼此相邻的三个采样点彼此连接，其中

所述连接信息生成部从所生成的连接信息中删除表示与和所述第一层图像的深度图像的不连续像素对应的采样点的连接的连接信息，并且

所述图像生成部使用所述第一层图像的纹理图像、所述第二层图像的纹理图像、通过所述遮挡处理部校正之后的三维位置、所述第一层图像的每个像素的三维位置、通过所述连接信息生成部删除之后的连接信息和所述第二层图像的连接信息，生成所述给定视点的纹理图像。

(9)根据上述(7)所述的图像处理装置，还包括：

连接信息生成部，其被配置成生成表示与所述第一层图像的深度图像的像素对应的采样点中的每个采样点与所述采样点中的不同一个采样点的连接的连接信息，使得所述采样点中的彼此相邻的三个采样点彼此连接，其中

所述连接信息生成部基于指示通过将所述三个采样点彼此连接而生成的三角形补丁中的每一个的有效或无效的三角形补丁有效无效信息，删除表示构成无效三角形补丁的所述三个采样点间的连接的连接信息，并且

所述图像生成部使用所述第一层图像的纹理图像、所述第二层图像的纹理图像、通过所述遮挡处理部校正之后的三维位置、所述第一层图像的每个像素的三维位置、通过所述连接信息生成部删除之后的连接信息和所述第二层图像的连接信息，生成所述给定视点的纹理图像。

(10)一种通过图像处理装置进行的图像处理方法，包括：

使用第一层图像和第二层图像来生成给定视点的纹理图像的图像生成步骤，其中，所述第一层图像包括全向图像的纹理图像和深度图像，以及所述第二层图像包括所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

(11)一种图像处理装置，包括：

图像生成部，其被配置成生成第一层图像和第二层图像，其中，所述第一层图像包括全向图像的纹理图像和深度图像，以及所述第二层图像包括所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

(12)根据上述(11)所述的图像处理装置，其中，

所述图像生成部根据多个视点的拾取图像生成所述第二层图像的遮挡区域和所述第一层图像。

(13)根据上述(11)或(12)所述的图像处理装置，其中，

所述图像生成部通过将所述全向图像的纹理图像和深度图像分别投影到给定面来生成所述第一层图像，并且通过将所述遮挡区域中的纹理图像和深度图像分别投影到给定面来生成所述第二层图像。

(14)根据上述(11)至(13)中任一项所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域之外的区域中的背景区域与所述第一层图像的背景区域相同。

(15)根据上述(11)至(13)中任一项所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域之外的区域中的背景区域是平坦图像。

(16)根据上述(11)至(15)中任一项所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域和背景区域之外的区域是使用所述遮挡区域推断的图像。

(17)根据上述(11)至(15)中任一项所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域和背景区域之外的区域与所述第一层图像的区域相同。

(18)根据上述(11)至(17)中任一项所述的图像处理装置，还包括：

生成部，其被配置成生成指示三角形补丁中的每一个的有效或无效的三角形补丁有效无效信息，所述三角形补丁是通过将与所述第一层图像的深度图像的像素对应的采样点中的彼此相邻的三个采样点彼此连接来生成的。

(19)根据上述(18)所述的图像处理装置，其中，

以下三角形补丁的三角形补丁有效无效信息是指示三角形补丁的无效的信息：所述三角形补丁以与所述第一层图像的深度图像的像素中的、与相邻像素在深度方向上具有等于或大于阈值的位置差的不连续像素对应的采样点为顶点。

(20)一种通过图像处理装置进行的图像处理方法，包括：

生成第一层图像和第二层图像的图像生成步骤，其中，所述第一层图像包括全向图像的纹理图像和深度图像，以及所述第二层图像包括所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

附图标记列表

12内容服务器、13家庭服务器、50第一层生成部、53第二层生成部、57元数据生成部、239绘制部、256 3D模型生成部、261遮挡处理部、403再现装置。

Claims (20)

1.一种图像处理装置，包括：

图像生成部，其被配置成使用第一层图像和第二层图像来生成给定视点的纹理图像，其中，所述第一层图像包括全向图像的纹理图像和深度图像，以及所述第二层图像包括所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

2.根据权利要求1所述的图像处理装置，其中，

所述第一层图像包括通过将所述全向图像的纹理图像和深度图像投影到给定面而获得的纹理图像和深度图像，并且

所述第二层图像包括通过将所述遮挡区域中的纹理图像和深度图像投影到给定面而获得的纹理图像和深度图像。

3.根据权利要求1所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域之外的区域中的背景区域与所述第一层图像的背景区域相同。

4.根据权利要求1所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域之外的区域中的背景区域是平坦图像。

5.根据权利要求1所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域和背景区域之外的区域是使用所述遮挡区域推断的图像。

6.根据权利要求1所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域和背景区域之外的区域与所述第一层图像的区域相同。

7.根据权利要求6所述的图像处理装置，还包括：

遮挡处理部，其被配置成校正所述第二层图像的深度图像的像素中的、与相邻像素在深度方向上具有等于或大于阈值的位置差的不连续像素的三维位置，其中

所述图像生成部使用所述第一层图像、所述第二层图像的纹理图像和通过所述遮挡处理部校正之后的三维位置，生成所述给定视点的纹理图像。

8.根据权利要求7所述的图像处理装置，还包括：

连接信息生成部，其被配置成生成表示与所述第一层图像的深度图像的像素对应的采样点中的每个采样点与所述采样点中的不同一个采样点的连接的连接信息，使得所述采样点中的彼此相邻的三个采样点彼此连接，其中

所述连接信息生成部从所生成的连接信息中删除表示与和所述第一层图像的深度图像的不连续像素对应的采样点的连接的连接信息，并且

所述图像生成部使用所述第一层图像的纹理图像、所述第二层图像的纹理图像、通过所述遮挡处理部校正之后的三维位置、所述第一层图像的每个像素的三维位置、通过所述连接信息生成部删除之后的连接信息和所述第二层图像的连接信息，生成所述给定视点的纹理图像。

9.根据权利要求7所述的图像处理装置，还包括：

连接信息生成部，其被配置成生成表示与所述第一层图像的深度图像的像素对应的采样点中的每个采样点与所述采样点中的不同一个采样点的连接的连接信息，使得所述采样点中的彼此相邻的三个采样点彼此连接，其中

所述连接信息生成部基于指示通过将所述三个采样点彼此连接而生成的三角形补丁中的每一个的有效或无效的三角形补丁有效无效信息，删除表示构成无效三角形补丁的所述三个采样点间的连接的连接信息，并且

所述图像生成部使用所述第一层图像的纹理图像、所述第二层图像的纹理图像、通过所述遮挡处理部校正之后的三维位置、所述第一层图像的每个像素的三维位置、通过所述连接信息生成部删除之后的连接信息和所述第二层图像的连接信息，生成所述给定视点的纹理图像。

10.一种通过图像处理装置进行的图像处理方法，包括：

使用第一层图像和第二层图像来生成给定视点的纹理图像的图像生成步骤，其中，所述第一层图像包括全向图像的纹理图像和深度图像，以及所述第二层图像包括所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

11.一种图像处理装置，包括：

图像生成部，其被配置成生成第一层图像和第二层图像，其中，所述第一层图像包括全向图像的纹理图像和深度图像，以及所述第二层图像包括所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

12.根据权利要求11所述的图像处理装置，其中，

所述图像生成部根据多个视点的拾取图像生成所述第二层图像的遮挡区域和所述第一层图像。

13.根据权利要求11所述的图像处理装置，其中，

所述图像生成部通过将所述全向图像的纹理图像和深度图像分别投影到给定面来生成所述第一层图像，并且通过将所述遮挡区域中的纹理图像和深度图像分别投影到给定面来生成所述第二层图像。

14.根据权利要求11所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域之外的区域中的背景区域与所述第一层图像的背景区域相同。

15.根据权利要求11所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域之外的区域中的背景区域是平坦图像。

16.根据权利要求11所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域和背景区域之外的区域是使用所述遮挡区域推断的图像。

17.根据权利要求11所述的图像处理装置，其中，

所述第二层图像的除了所述遮挡区域和背景区域之外的区域与所述第一层图像的区域相同。

18.根据权利要求11所述的图像处理装置，还包括：

生成部，其被配置成生成指示三角形补丁中的每一个的有效或无效的三角形补丁有效无效信息，所述三角形补丁是通过将与所述第一层图像的深度图像的像素对应的采样点中的彼此相邻的三个采样点彼此连接来生成的。

19.根据权利要求18所述的图像处理装置，其中，

以下三角形补丁的三角形补丁有效无效信息是指示三角形补丁的无效的信息：所述三角形补丁以与所述第一层图像的深度图像的像素中的、与相邻像素在深度方向上具有等于或大于阈值的位置差的不连续像素对应的采样点为顶点。

20.一种通过图像处理装置进行的图像处理方法，包括：

生成第一层图像和第二层图像的图像生成步骤，其中，所述第一层图像包括全向图像的纹理图像和深度图像，以及所述第二层图像包括所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。