CN109478348A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本公开涉及图像处理装置和图像处理方法，利用其可以使用全方向图像生成来自预定视点的高质量纹理图像。绘制单元使用以下图像生成来自预定视点的显示图像：第一层图像，其包括来自第一视点的全方向图像的纹理图像和深度图像；以及第二层图像，其包括来自与第一视点不同的第二视点的、第一层图像的视点处的遮挡区域的纹理图像和深度图像。本公开可以应用于例如根据全方向图像生成来自预定视点的显示图像的家庭服务器等。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及图像处理装置和图像处理方法，并且具体地涉及使得能够使用全方向图像生成预定视点处的高图片质量的纹理图像的图像处理装置和图像处理方法。

背景技术

可获得下述存储装置：该存储装置用于生成全方向图像并且编码和存储所生成的全方向图像，在该全方向图像中，利用多个相机成像的水平方向上周围360度上和垂直方向上周围180度上的拍摄图像被映射到2D图像(平面图像)(例如，参见PTL1)。

此外，可获得下述再现装置：该再现装置对由存储装置存储的全方向图像的编码流进行解码，并使用作为解码结果而获得的全方向图像在观看者的视野范围内显示纹理图像。当粘贴有全方向图像的3D模型(诸如球体或立方体等)的表面被从作为3D模型内部的一个点的视点、在观看者的视线方向上观看时，如上所述的这种再现装置在观看者的视野范围内显示纹理图像。因此，再现了来自预定视点的观看者的视野范围内的拍摄图像。

引用列表

专利文献

[专利文献1]

日本专利特开第2006-14174号

发明内容

技术问题

然而，在全方向图像的生成时的视点和再现时的视点彼此不同的情况下，再现时的视点处的观看者的视野范围中的所生成的纹理图像包括全方向图像的生成时的视点的遮挡区域。因此，再现时的视点处的观看者的视野范围中的纹理图像的图片质量降低。遮挡区域是被前方的成像对象所隐藏的后方的成像对象的区域。

鉴于如上所述的这种情况做出了本公开，并且本公开使得可以使用全方向图像生成预定视点处的高图片质量的纹理图像。

[问题的解决方案]

本公开的第一方面的图像处理装置是包括图像生成部的图像处理装置，该图像生成部被配置成使用第一层图像和第二层图像来生成给定视点的纹理图像，其中，第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，第二层图像包括在第一层图像的视点处的遮挡区域中的与第一视点不同的第二视点处的纹理图像和深度图像。

本公开的第一方面的图像处理方法对应于本公开的第一方面的图像处理装置。

在本公开的第一方面中，使用第一层图像和第二层图像来生成给定视点的纹理图像，其中，第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，第二层图像包括在第一层图像的视点处的遮挡区域中的与第一视点不同的第二视点处的纹理图像和深度图像。

本公开的第二方面的图像处理装置是包括图像生成部的图像处理装置，该图像生成部被配置成生成第一层图像和第二层图像，其中，第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，第二层图像包括在第一层图像的视点处的遮挡区域中的与第一视点不同的第二视点处的纹理图像和深度图像。

本公开的第二方面的图像处理方法对应于本公开的第二方面的图像处理装置。

在本公开的第二方面中，生成第一层图像和第二层图像，其中，第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，第二层图像包括在第一层图像的视点处的遮挡区域中的与第一视点不同的第二视点处的纹理图像和深度图像。

应注意，可以通过使计算机执行程序来实现本公开的第一方面和第二方面的图像处理装置。

此外，为了实现本公开的第一方面和第二方面的图像处理装置，可以通过经由传输介质进行传输或通过将程序记录在记录介质上来提供用于由计算机执行的程序。

[本发明的有益效果]

根据本公开的第一方面，可以生成图像。此外，根据本公开的第一方面，可以使用全方向图像生成给定视点的高图片质量的纹理图像。

同时，根据本公开的第二方面，可以生成图像。此外，根据本公开的第二方面，可以生成图像，使得可以使用全方向图像生成给定视点的高图片质量的纹理图像。

应当注意，这里描述的效果不一定是限制性的，并且可以是在本公开中描述的一些效果。

附图说明

[图1]图1是示出应用本公开的图像显示系统的第一实施例的配置示例的框图。

[图2]图2是示出内容服务器的配置示例的框图。

[图3]图3是示出高分辨率图像处理部的配置示例的框图。

[图4]图4是示出距离z和距离r的视图。

[图5]图5是示出3D模型坐标系的X轴的变化的视图。

[图6]图6是示出响应于3D模型坐标系的X轴的变化的最小值z_min和最小值r_min的变化的视图。

[图7]图7是示出当第一层的六个面的深度图像被映射在球体上时球体上的每个像素的位置的示例的视图。

[图8]图8是示出第一层的面的示例的视图。

[图9]图9是示出用于第一层的视点位置信息和面信息的表的配置示例的视图。

[图10]图10是示出与第一层的预定面对应的成像对象的深度方向上的位置的视图。

[图11]图11是示出第一层和第二层的纹理图像的配置示例的视图。

[图12]图12是示出第一层和第二层的纹理图像的示例的视图。

[图13]图13是示出第一层和第二层的纹理图像的另一示例的视图。

[图14]图14是示出第二层的视点的第一示例的视图。

[图15]图15是示出第二层的视点位置信息和面信息的表的第一配置示例的视图。

[图16]图16是示出第二层的视点的第二示例的视图。

[图17]图17是示出第二层的视点位置信息和面信息的表的第二配置示例的视图。

[图18]图18是示出流生成处理的流程图。

[图19]图19是示出家庭服务器的配置示例的框图。

[图20]图20是示出ML 3D模型生成部的配置示例的框图。

[图21]图21是示出连接信息的示例的视图。

[图22]图22是示出连接信息的另一示例的视图。

[图23]图23是示出采样点的示例的视图。

[图24]图24是示出采样点的另一示例的视图。

[图25]图25是示出遮挡处理的视图。

[图26]图26是示出再现处理的流程图。

[图27]图27是示出三维数据生成处理的细节的流程图。

[图28]图28是示出三角面片有效性信息的视图。

[图29]图29是示出应用本公开的图像显示系统的第二实施例的配置示例的框图。

[图30]图30是示出第一层的纹理图像的不同示例的视图。

[图31]图31是示出计算机的硬件的配置示例的框图。

[图32]图32是示出车辆控制系统的示意性配置的示例的框图。

[图33]图33是帮助说明外部车辆信息检测部和成像部的安装位置的示例的图。

具体实施方式

在下文中，描述了用于执行本公开的模式(下文中称为实施例)。要注意的是，按以下顺序给出描述。

1.第一实施例：图像显示系统(图1至图28)

2.第二实施例：图像显示系统(图29)

3.纹理图像的不同示例(图30)

4.第三实施例：计算机(图31)

5.应用示例(图32和图33)

<第一实施例>

(图像显示系统的第一实施例的配置示例)

图1是示出应用本公开的图像显示系统的第一实施例的配置示例的框图。

图1的图像显示系统10包括多相机11、内容服务器12、家庭服务器13、转换装置14和头戴式显示器15。图像显示系统10根据作为由多相机11拍摄的YCbCr图像(YUV图像)的拍摄图像来生成全方向图像，并且显示来自全方向图像内的观看者的视野范围的图像。

特别地，图像显示系统10的多相机11包括多个(在图1的示例中为六个)相机，这些相机向外设置，使得其成像范围为水平方向上周围360度和垂直方向上周围180度。每个相机执行成像以生成以帧为单位的拍摄图像。多相机11将各相机的拍摄图像提供给内容服务器12。

内容服务器12(图像处理装置)根据从多相机11提供的相机的拍摄图像来生成预定视点的全方向图像的纹理图像和深度图像。在第一实施例中，深度图像是下述图像，在该图像中，像素值由从预定视点到每个像素上的成像对象的直线的距离r的倒数1/r给出，其中距离r是8位的值。

内容服务器12降低全方向图像的纹理图像和深度图像的分辨率，以生成低分辨率纹理图像和低分辨率深度图像。内容服务器12通过诸如AVC(高级视频编码)或HEVC(高效视频编码)/H.265等的编码方法对低分辨率纹理图像和低分辨率深度图像进行压缩编码。内容服务器12存储作为压缩编码的结果而获得的低分辨率纹理图像的编码流(下文中称为低分辨率纹理流)和低分辨率深度图像的编码流(下文中称为低分辨率深度流)。

此外，内容服务器12使用相机的拍摄图像来生成下述纹理图像和深度图像，这些纹理图像和深度图像以分层的关系对应于构成以全方向图像的视点为中心的立方体的六个面。具体地，内容服务器12生成六个面的第一层和第二层的纹理图像和深度图像。应注意，全方向图像的视点与立方体的中心可以彼此不同。

内容服务器12根据对于每个面、每种类型的图像和每个层的编码方法(诸如AVC或HEVC等)，对每个面的第一层的包括纹理图像和深度图像的第一层图像以及每个面的第二层的包括纹理图像和深度图像的第二层图像进行压缩编码。内容服务器12存储作为压缩编码的结果而获得的每个面的第一层的纹理图像的编码流(下文中称为第一层纹理流)、第一层的深度图像的编码流(下文中称为第一层深度流)、第二层的纹理图像的编码流(下文中称为第二层纹理流)、以及第二层的深度图像的编码流(下文中称为第二层深度流)。应注意，第一层图像和第二层图像的编码方法可以是MVC(多视图视频编码)方法或3D-HEVC方法等。

此外，内容服务器12生成并存储与第一层和第二层的面有关的信息等作为元数据。内容服务器12通过未示出的网络向家庭服务器13发送存储在其中的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

应注意，内容服务器12也可以重构(下文中描述细节)六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。在这种情况下，内容服务器12也可以向家庭服务器13发送重构之后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及与其对应的元数据。然而，假设在以下描述中，甚至在执行重构的情况下，也向内容服务器12发送重构之前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

家庭服务器13(图像处理装置)接收从内容服务器12向其发送的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

此外，家庭服务器13具有内置在其中的相机13A，并且对应用于安装在观看者者头部上的头戴式显示器15的标记15A进行成像。然后，家庭服务器13基于标记15A的拍摄图像来检测观看位置。此外，家庭服务器13通过转换装置14从头戴式显示器15接收头戴式显示器15的陀螺仪传感器15B的检测结果。家庭服务器13基于陀螺仪传感器15B的检测结果确定观看者的视线方向，并且基于观看位置和视线方向确定观看者的视野范围。

家庭服务器13选择第一层的六个面中的与观看者的视线方向相对应的三个面。然后，家庭服务器13对与所选择的三个面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流进行解码。因此，家庭服务器13生成与所选择的三个面相对应的第一层和第二层的纹理图像和深度图像。

此外，家庭服务器13对低分辨率纹理流和低分辨率深度流进行解码，以生成低分辨率纹理图像和低分辨率深度图像。家庭服务器13使用与所选择的三个面相对应的第一层和第二层的纹理图像和深度图像以及低分辨率纹理图像和低分辨率深度图像来生成观看者的视野范围的图像作为显示图像。家庭服务器13通过未示出的HDMI(注册商标)(高清晰度多媒体接口)电缆向转换装置14发送显示图像。

转换装置14将从家庭服务器13向其发送的显示图像上的坐标转换为头戴式显示器15中的坐标。转换装置14将坐标转换后的显示图像提供给头戴式显示器15。

头戴式显示器15具有标记15A和陀螺仪传感器15B，并被安装在观看者的头部上。头戴式显示器15显示从转换装置14提供的显示图像。此外，内置在头戴式显示器15中的陀螺仪传感器15B检测头戴式显示器15的倾斜度，并通过转换装置14将检测结果发送至家庭服务器13。

(内容服务器的配置示例)

图2是示出图1的内容服务器12的配置示例的框图。

图2的内容服务器12包括深度检测部31、低分辨率图像处理部33和高分辨率图像处理部34。

内容服务器12的深度检测部31针对从图1的多相机11提供的、相机的拍摄图像的每个像素，检测包括该像素处的成像对象的、垂直于深度方向的深度平面与相机之间的深度方向上的距离z的倒数1/z。深度检测部31将作为检测结果而获得的以相机的拍摄图像的像素的上述倒数1/z作为像素值的z图像提供给低分辨率图像处理部33和高分辨率图像处理部34。

低分辨率图像处理部33将多相机11的三维坐标系(下文中称为相机坐标系)中的预定三维位置设置为视点，并对从多相机11向其提供的相机的拍摄图像执行到以该视点为中心的正八面体的映射(透视投影)，以生成全方向图像的纹理图像。此外，低分辨率图像处理部33通过将从深度检测部31提供的相机的z图像与拍摄图像类似地映射到正八面体来生成全方向图像的z图像。

低分辨率图像处理部33将全方向图像的z图像的每个像素的倒数1/z转换为倒数1/r。然后，低分辨率图像处理部33根据以下表达式(1)对倒数1/r执行8位量化。

[数学式1]

应注意，I_d(r)是距离r的倒数1/r的8位量化之后的值。r_max和r_min分别是全方向图像中距离r的最大值和最小值。

低分辨率图像处理部33将8位量化之后的全方向图像的像素的倒数1/r的值设置为像素值，以生成全方向图像的深度图像。

低分辨率图像处理部33降低全方向图像的纹理图像和深度图像的分辨率，以生成低分辨率纹理图像和低分辨率深度图像。低分辨率图像处理部33对低分辨率纹理图像和低分辨率深度图像进行压缩编码，并存储作为压缩编码的结果获得的低分辨率纹理流和低分辨率深度流。低分辨率图像处理部33向图1的家庭服务器13发送存储在其中的低分辨率纹理流和低分辨率深度流。

高分辨率图像处理部34使用从多相机11提供的相机的拍摄图像来生成与构成立方体的六个面相对应的第一层和第二层的纹理图像，该立方体具有与低分辨率图像处理部33中的正八面体的中心相同的中心。高分辨率图像处理部34使用从深度检测部31提供的相机的z图像，与拍摄图像类似地生成与六个面相对应的第一层和第二层的深度图像。

高分辨率图像处理部34针对每个面、每种图像和每个层对第一层和第二层的纹理图像和深度图像进行压缩编码。内容服务器12存储作为压缩编码的结果获得的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

此外，高分辨率图像处理部34生成并存储元数据。内容服务器12通过未示出的网络向家庭服务器13发送存储在其中的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

(高分辨率图像处理部的配置示例)

图3是示出图2的高分辨率图像处理部34的配置示例的框图。

图3的高分辨率图像处理部34包括第一层生成部50、量化部51、编码器52、第二层生成部53、另一量化部54、另一编码器55、设置部56、元数据生成部57、存储器58、重构部59和发送部60。

从设置部56向第一层生成部50提供指示作为第一层的视点在三维坐标系中的三维位置的原点的视点位置信息，该三维坐标系的原点是由相机坐标系(以下称为3D模型坐标系)中的全方向图像的视点给出的。此外，向第一层生成部50提供指示六个面在3D模型坐标系中的三维位置和尺寸的面信息，上述六个面分别包括构成以3D模型坐标系的原点为中心的立方体的六个面。

第一层生成部50将由视点位置信息指示的原点设置为第一层的视点(第一视点)。第一层生成部50(图像生成部)在将相机坐标系中的全方向图像的视点设置为原点的情况下，执行从第一层的视点看将从图1的多相机11提供的拍摄图像分别映射到由六个面的面信息指示的三维位置和尺寸的面。因此，第一层生成部50生成第一层的六个面的纹理图像。

此外，第一层生成部50(图像生成部)在将相机坐标系中的全方向图像的视点设置为原点的情况下，执行从第一层的视点看将从图2的深度检测部31提供的z图像分别映射到由六个面的面信息指示的三维位置和尺寸的面。因此，第一层生成部50生成第一层的六个面的z图像。

由于与第一层的六个面相对应的视点彼此相同，因此可以认为第一层的六个面的纹理图像是通过将映射到以第一层的视点为中心的3D模型的全方向图像映射到六个面而获得的图像。类似地，可以认为第一层的六个面的z图像是通过将映射到以第一层的视点为中心的3D模型的全方向图像的z图像映射到六个面而获得的图像。第一层生成部50将第一层的六个面的纹理图像提供给编码器52，并将第一层的六个面的z图像提供给量化部51。

量化部51将从第一层生成部50提供的第一层的六个面中的每个面的z图像的每个像素的倒数1/z转换为倒数1/r。然后，量化部51根据上面给出的表达式(1)对倒数1/r进行8位量化。应注意，表达式(1)中的r_max和r_min分别是六个面中的所有面的距离r的最大值和最小值。通过将r_max和r_min设置为六个面中的所有面的距离r的最大值和最小值，与应用每个面的距离r的最大值和最小值的替选情况相比，可以防止量化步骤针对每个面改变。量化部51通过将第一层的六个面的z图像的像素的倒数1/r的8位量化之后的值设置为像素值来生成第一层的六个面的深度图像，并将深度图像提供给编码器52。

编码器52针对每个面和每种图像对第一层的六个面的纹理图像和深度图像进行压缩编码，以生成第一层纹理流和第一层深度流。编码器52将第一层纹理流和第一层深度流提供给存储器58。

从设置部56向第二层生成部53提供与第一层的每个面对应的第二层的每个面的、与第一层的视点不同的视点(第二视点)的视点位置信息以及与第一层的每个面对应的第二层的每个面的面信息。第二层生成部53针对第二层的每个面，将由与该面相对应的视点位置信息指示的三维位置设置为第二层的视点。

针对第二层的每个面，第二层生成部53(图像生成部)执行从与第二层的面对应的第二层的视点看将从多相机11提供的拍摄图像内的第一层的视点处的遮挡区域映射到第二层的面上。因此，第二层生成部53生成第二层的六个面的纹理图像。

此外，第二层生成部53(图像生成部)针对第二层的每个面执行从与第二层的面对应的第二层的视点看将从深度检测部31提供的z图像内的第一层的视点处的遮挡区域映射到第二层的面上。因此，第二层生成部53生成第二层的六个面的z图像。

具体地，由于多相机11的各相机的位置彼此不同，所以当相机坐标系中的一个三维位置被设置为视点时，拍摄图像包括视点处的遮挡区域。然而，由于通过映射一个视点处的全方向图像来生成第一层的纹理图像，因此第一层的纹理图像不包括视点处的遮挡区域的拍摄图像。因此，第二层生成部53包括遮挡区域中的拍摄图像作为第二层的纹理图像。这也类似地适用于z图像。第二层生成部53将第二层的六个面的纹理图像提供给编码器55，并将第二层的六个面的z图像提供给量化部54。

量化部54将从第二层生成部53提供的第二层的六个面的z图像的像素的倒数1/z转换为倒数1/r。然后，量化部54与量化部51类似地根据上面给出的表达式(1)对倒数1/r执行8位量化。量化部54通过将第二层的六个面的z图像的像素的倒数1/r的8位量化之后的值设置为像素值来生成第二层的六个面的深度图像，并将深度图像提供给编码器55。

编码器55针对每个面并针对每种图像对第二层的六个面的纹理图像和深度图像进行压缩编码，以生成第二层纹理流和第二层深度流。编码器55将第二层纹理流和第二层深度流提供给存储器58。

设置部56将3D模型坐标系的原点设置为第一层的视点。设置部56将分别包括构成以第一层的视点为中心的立方体的六个矩形面的六个面设置为第一层的面。此外，设置部56针对第一层的每个面设置第二层的视点和矩形面。

设置部56将第一层的六个面的面信息和一个视点的视点位置信息提供给第一层生成部50和元数据生成部57。此外，设置部56将与第一层的六个面相对应的第二层的六个面的面信息和六个视点的视点位置信息提供给第二层生成部53和元数据生成部57。

元数据生成部57生成包括从设置部56向其提供的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表作为元数据，并将元数据提供给存储器58。

存储器58存储从编码器52提供的第一层纹理流和第一层深度流以及从编码器55提供的第二层纹理流和第二层深度流。此外，存储器58存储从元数据生成部57提供的元数据。

此外，存储器58存储从重构部59提供的重构后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

重构部59根据需要读出并重构存储在存储器58中的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

具体地，重构部59使用重构之前的第一层纹理流来改变与第一层纹理流相对应的面的数量或视角，并使用重构之前的第一层深度流来改变与第一层深度流相对应的面的数量或视角。例如，重构部59将第一层的面从分别包括构成立方体的六个面的六个面改变为除了六个面之外还包括12个面的18个面，在上述12个面中分别通过六个面的中心的法线为通过立方体12个边的中点和视点的线。

作为替选，重构部59使用在重构之前的第一层纹理流来改变与第一层纹理流相对应的面之间的距离(面的密度)，并使用重构之前的第一层深度流来改变与第一层深度流相对应的面之间的距离。例如，重构部59将第一层的面从分别包括构成通过中心的法线之间的距离是90度的立方体的六个面的六个面改变为18个面，通过这18个面中心的法线具有为45度的距离。

随着第一层的面之间的距离减小，总数据容量因为面的数量增加而增加，并且家庭服务器13可以使用与更接近观看者的视野范围的第一层的平面相对应的纹理图像和深度图像来生成显示图像。因此，显示图像中使用第一层或第二层的纹理图像和深度图像生成的高分辨率区域增加，并且显示图像的图片质量得到改善。

要注意的是，重构部59可以使用重构之前的第一层纹理流来改变与第一层纹理流相对应的面的位置并且使用重构之前的第一层深度流来改变与第一层深度流相对应的面的位置以执行重构。在这种情况下，重构部59通过下述方式执行重构：旋转与第一层的六个面相对应的立方体，使得例如当主成像对象存在于第一层的面的边界上时，主成像对象存在于除第一层的边界之外的位置(例如，在中心)。

此外，重构部59可以使用重构之前的第一层纹理流来改变与第一层纹理流相对应的面的倾斜度并且可以使用重构之前的第一层深度流来改变与第一层深度流相对应的面的倾斜度以执行重构。在这种情况下，重构部59例如通过下述方式执行重构：在使第一层的纹理图像中的主成像对象倾斜时，旋转与第一层的六个面相对应的立方体使得倾斜消失。

重构部59相对于以上述方式改变的第一层的面设置再现之后的第二层的视点和面。然后，重构部59使用重构之前的第二层纹理流将第二层纹理流的视点和面改变为设置重构之后的第二层的视点和面。此外，重构部59改变重构之前的第二层深度流，以将与第二层深度流相对应的视点和面改变为设置重构之后的第二层的视点和面。

重构部59将重构之后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给存储器58。此外，重构部59生成包括重构后的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表作为元数据，并将元数据提供给存储器58。

发送部60从存储器58读出六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并将它们发送至图1的家庭服务器13。

以这种方式，图3的高分辨率图像处理部34通过透视投影生成第一层图像和第二层图像。因此，家庭服务器13可以对第一层图像和第二层图像执行普通图像处理。此外，高分辨率图像处理部34可以通过用于图像的编码流的普通发送方法来发送第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

(距离z和距离r的描述)

图4是示出距离z和距离r的视图。

应注意，图4是当从上方观看与第一层相对应的立方体的预定面时的视图。

距离z是从视点到包括每个像素上的成像对象的、垂直于深度方向的深度平面的深度方向上的距离。此外，第一层的每个面的深度方向是与第一层的面垂直的方向。因此，第一层的每个面和深度平面彼此平行。因此，作为距第一层的面的距离z彼此相等的深度平面的等距离z面的形状是以第一层的视点O为中心的立方体形状。因此，从与第一层对应的立方体的预定面上方观看的等距离z平面的形状是正方形，如图4的A中的虚线所示。

相反，距离r是从视点到每个像素中的成像对象的直线距离。此外，从第一层的每个面的视点O到成像对象的直线的方向与面无关而是以视点O为中心的圆的径向。因此，距第一层的面的距离r彼此相等的等距离r面的形状是以第一层的视点O为中心的球体形状。因此，当从与第一层对应的立方体的预定面上方观看等距离r面时的形状是圆形，如图4的B中的虚线所示。

(深度图像的效果的描述)

需要注意的是，在以下的说明中，在通过第一层的视点O和构成与第一层对应的立方体80的六个面的中心的、这六个面的法向矢量当中，将彼此正交的三个法向矢量定义为3D模型坐标系的X轴、Y轴和Z轴的正方向，并且将与前三个法向矢量相反方向的三个法向矢量定义为3D模型坐标系的X轴、Y轴和Z轴的负方向。

图5是示出3D模型坐标系的X轴的变化的视图，并且图6是示出响应于3D模型坐标系的X轴的变化的最小值z_min和最小值r_min的变化的视图。

注意，假设在图5和图6的示例中，第一层的面的视角是90度。

在与第一层相对应的立方体80如图5所示在围绕Y轴的XZ平面上旋转45度以改变第一层的面的位置的情况下，X轴在XZ平面上旋转45度。因此，其法线矢量是X轴的正方向的、第一层的面81的深度方向在XZ平面上旋转45度。

因此，当如图6所示存在以X坐标为正值且Z坐标为0的位置为中心的球体76作为面81的视角内的成像对象时，旋转之前的面81的最小值z_min是如图6的A所示的视点O与球体76之间的、图6的A中的X轴的正方向上的距离的最小值。然而，旋转后的面81的最小值z_min是如图6的B中所示的视点O与视角中的球体76(图6的B的球体76的上半部分)之间的、图6的B中的X轴的正方向上的距离的最小值。

此外，在图6的示例的情况下，由于旋转前的面81的最大值z_max是无穷大，因此旋转后的面81的最大值z_max也是无穷大。然而，在最大值z_max不是无穷大的情况下，面81的最大值z_max在旋转之前和之后由于与最小值z_min类似的原因而改变。同样关于第一层的其他面，最小值z_min和最大值z_max类似地改变。

此外，尽管省略了描述，但是在第一层的面的视角、第一层的面的数量或第一层的面之间的距离改变的情况下，第一层的所有面的最小值z_min和最大值z_max也发生变化。

因此，如果距离z的倒数1/z被用作第一层的深度图像的每个像素的y值(亮度值)，则在由重构部59重构时，需要重新计算每个面的最小值z_min和最大值z_max，并重新确定所有面的最小值z_min和最大值z_max。因此，需要重做深度图像的8位量化。

相反，无论第一层的面的位置如何，从视点O到成像对象的直线的方向都是相同的。因此，甚至在如图5所示立方体80在围绕Y轴的XZ平面上旋转45度的情况下，最小值r_min和最大值r_max也保持相同。

特别地，即使图6的A中的X轴在XZ平面上旋转45度，从视点O到成像对象的直线的方向也是与旋转前类似的、如图6的B所示的从视点O径向延伸的方向。因此，不管X轴的旋转如何，关于第一层的所有面的最小值r_min是从视点O到球体76的直线距离的最小值。由于与最小值r_min的情况类似的原因，关于第一层的所有面的最大值r_max在旋转之前和之后也不会发生变化。

此外，尽管省略了描述，但甚至在第一层的面的视角、数量或距离改变的情况下，由于从视点O到成像对象的直线的方向不改变，因此最小值r_min和最大值r_max也不会发生变化。

因此，通过不使用倒数1/z而使用倒数1/r的量化值作为第一层的深度图像的每个像素的y值，可以减少在重构部59重构时重新进行深度图像的8位量化的处理。

应注意，虽然在前面的描述中，不重构低分辨率纹理流和低分辨率深度流，但是替选地也可以重构它们。同样在这种情况下，由于低分辨率深度图像的每个像素的y值是倒数1/r的量化值，所以在重构时重新进行低分辨率深度图像的8位量化的处理可以与重构第一层的深度图像时类似地减少。

此外，可以通过改变低分辨率纹理流和低分辨率深度流的映射方法来执行低分辨率纹理流和低分辨率深度流的重构。同样在这种情况下，通过将深度图像的像素的y值设置为倒数1/r的量化值，可以减少重构时重新进行低分辨率深度图像的8位量化的处理。

(第一层的六个面的深度图像的每个像素在球体上的位置的示例)

图7是示出当第一层的六个面的深度图像被映射到球体时球体上的每个像素的位置的示例的视图。

应注意，在图7中，当第一层的六个面的深度图像被映射到球体时每个像素在球体上的位置由点表示。

第一层的面的深度图像的像素在深度图像上的位置之间的距离彼此相等。然而，如图7所示，当第一层的六个面的深度图像被映射到球体时像素在球体上的位置之间的距离不是相等的距离。换句话说，当第一层的六个面的深度图像被映射到球体时球体上的像素的位置的密度不是固定的。

(第一层的面的示例)

图8是示出第一层的面的示例的视图。

应注意，在以下描述中，当视点O与六个面之间的距离由R表示时，满足X＝R的面被适当地称为+X面，并且满足X＝-R的面被适当地称为-X面。类似地，满足Y＝R的面、满足Y＝-r的面、满足Z＝R的面和满足Z＝-R的面分别被适当地称为+Y面、-Y面、+Z面和-Z面。

此外，图8的A是第一层的立方体80的透视图，并且图8的B是当在Y轴的负方向上观看第一层的立方体80时的视图。

如图8的A所示，第一层的一个面91是包括构成以视点O为中心的立方体80的六个面81至86中的+Y面83的面。更具体地，面91是这样的面：该面被设置到与+Y面83的位置相同的位置，并且具有比作为+Y面83的视角的90度大但比180度小的横向方向和垂直方向上的视角。

因此，如图8的B所示，面91的纹理图像不仅包括映射到+Y面83的纹理图像，还包括映射到与+Y面83相邻的+X面81、-X面82、+Z面85和-Z面86的纹理图像的一部分。刚刚给出的关于纹理图像的描述类似地适用于面91的深度图像。

虽然在图8中仅示出了第一层的一个面91，但是同样地，其他五个面与面91类似地是这样的面：这些面被设置到与+X面81、-X面82、-Y面84、+Z面85和-Z面86的位置相同的位置，并且具有比90度大但比180度小的横向方向和垂直方向上的视角。

如上所述，由于第一层的六个面被配置成使得分别包括构成立方体的六个面81至86，所以全方向图像必定被映射到第一层的六个面中的一个面。因此，如果家庭服务器13使用第一层的六个面中的彼此相邻的三个面，则它可以在视点O被设置为观看位置的情况下，生成水平方向上周围360度和垂直方向上周围180度上的任意方向上的显示图像。

(第一层的视点位置信息和面信息的表的配置示例)

图9是示出由图3的元数据生成部57生成的元数据中的第一层的视点位置信息和面信息的表的配置示例的视图。

在图9的示例中，在面信息中，指示面在3D模型坐标系中的三维位置的信息是方位角、仰角、旋转角和视线矢量，并且指示尺寸的信息是横向视角和垂直视角。

方位角是由将视点和每个面的中心互连的线与Z轴限定的XZ平面中的角度，并且仰角是由将视点和每个面的中心互连的线与XZ平面限定的角度。这里，在方位角中，顺时针方向是正方向，并且在仰角中，逆时针方向是正方向。下述情况下的线是通过面的中心的法线：从视点起在Z轴方向上延伸的线在XZ平面上水平旋转方位角，然后在Y轴方向上向上或向下旋转仰角。

旋转角是在以将视点和面的中心互连的线为轴的情况下每个面的旋转方向上的角度。这里，在旋转角中，顺时针方向是正方向。视线矢量是从由视点给出的起点指向每个面的中心并且长度为1的矢量，即，通过每个面的中心的法线矢量。横向视角是由将每个面的横向方向上的两个端部和视点互连的两条线所限定的角度，并且垂直视角是由将每个面的垂直方向上的两个端部和视点互连的两条线所限定的角度。

如图9所示，在第一层的视点位置信息和面信息的表中，在图3的存储器58中登记放置每个面的第一层纹理流和第一层深度流的文件的文件名的公共部分。

特别地，在图9的示例中，包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的面的第一层纹理流的文件名分别是posZ_texture、negZ_texture、posX_texture、negX_texture、posY_texture和negY_texture。此外，包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的面的第一深度流的文件名是posZ_depth、negZ_depth、posX_depth、negX_depth、posY_depth和negY_depth。因此，在图9的表中，登记了posZ、negZ、posX、negX、posY和negY作为第一层的面的文件名的公共部分。

此外，在第一层的视点位置信息和面信息的表中，以与文件名的公共部分相关联的关系，登记与文件名的公共部分对应的面的面信息、视点位置信息以及纹理图像和深度图像的横向像素数和垂直像素数。

特别地，由将包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的第一层的面的中心分别和视点O互连的线与Z轴限定的XZ平面方向上的角度分别为0度、-180度、90度、-90度、0度和0度，并且相对于XZ平面的角度分别为0度、0度、0度、0度、90度和-90度。因此，分别以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联的关系登记方位角“0度”、“-180度”、“90度”、“-90度”、“0度”和“0度”并登记仰角“0度”、“0度”、“0度”、“0度”、“90度”和“-90度”。

此外，在图9的示例中，第一层的所有面的旋转角都是0度。因此，以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联的关系登记旋转角“0度”。此外，以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联的关系登记原点的坐标(0,0,0)作为视点位置信息。

此外，从视点O开始的分别包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的第一层的面的视线矢量是(0,0,1)、(0,0,-1)、(1,0,0)、(-1,0,0)、(0,1,0)和(0,-1,0)。因此，分别以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联的关系登记视线矢量(0,0,1)、(0,0,-1)、(1,0,0)、(-1,0,0)、(0,1,0)和(0,-1,0)。

此外，在图9的示例中，第一层的所有面的横向视角和垂直视角是大于90度的100度，并且纹理图像和深度图像的作为横向方向上的像素的数量的横向像素数和作为垂直方向上的像素的数量的垂直像素数是1024。因此，分别以与文件名的公共部分“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”相关联的关系登记横向视角“100度”、垂直视角“100度”、横向像素数“1024”和垂直像素数“1024”。

(分层结构的描述)

图10是示出与第一层的预定面对应的成像对象的深度方向上的位置的视图，并且图11是示出在第一层和第二层的视点相同的情况下图10的成像对象的第一层和第二层的纹理图像的配置示例的视图。

应注意，图10是从上方观看的成像对象和第一层的视点O的视图，并且图10的上下方向是包括视角中的成像对象的第一层的预定平面的深度方向。此外，在图11中，左右方向以及上下方向分别表示纹理图像的横向方向和深度方向。图10和图11中的向上方向是近侧，并且向下方向是深侧。

在图10和图11的示例中，中间前景111和前景后面的背景112是在第一层的预定视角中包括的成像对象。在这种情况下，如图11所示，第一层的预定面的纹理图像包括前景111的拍摄图像121和未被前景111隐藏的背景112的区域112A中的拍摄图像122A。

另一方面，与第一层的预定面相对应的第二层的面的纹理图像如图11所示包括由多相机11从由前景111遮挡的背景112的遮挡区域112B内成像的、成像遮挡区域112C中的拍摄图像122C作为有效区域。

尽管可以在第二层的面的纹理图像内在除有效区域之外的区域中进行任何配置，但是如果配置特殊值诸如无效值等，则特殊值的值通过压缩编码发生变化，导致难以通过家庭服务器13进行解码再现特殊值。

因此，第二层的面的纹理图像中除有效区域之外的区域被划分为与区域112A相对应的非必要区域(背景区域)以及与遮挡区域112B内除成像遮挡区域112C之外的区域相对应的虚构区域。

然后，在与不存在遮挡区域的区域112A对应的非必要区域中，与第一层中类似地布置拍摄图像122A，或者布置其边缘部不陡峭的平坦图像。在拍摄图像122A布置在非必要区域中的情况下，由于非必要区域中的第一层和第二层中的纹理图像变得相同，所以在第一层的纹理图像通过参考第二层的纹理图像而由MVC方法或3D-HEVC方法等压缩编码的情况下，可以提高压缩比。此外，在非必要区域中显示平坦图像的情况下，与布置具有陡峭边缘部的图像的替选情况相比，可以提高第二层图像的压缩比。应注意，拍摄图像122A可以布置在非必要区域的一部分中，而平坦图像布置在另一部分中。

此外，虚构区域是这样的区域：在该区域中尽管存在遮挡区域，但是多相机11不执行成像，并且该区域对应于遮挡区域112B内除成像遮挡区域112C以外的区域。因此，在虚构区域中，布置使用成像遮挡区域112C的拍摄图像122C推断(修复)的修复图像，或者与第一层中类似地布置拍摄图像121。

应注意，对于修复，可以使用过去拍摄的图像。在内容服务器12执行修复的情况下，家庭服务器13可以按照与有效区域等同的方式处理虚构区域。此外，在内容服务器12在再现之前执行修复的情况下，也可以执行处理负荷高并且需要很多时间的修复。

此外，在拍摄图像121布置在虚构区域中的情况下，当虚构区域散开或难以进行修复时，也可以容易地生成虚构区域。修复图像可以布置在虚构区域的一部分上，而拍摄图像121布置在另一部分上。

应注意，由于除了将拍摄图像替换为深度图像以外，第一层和第二层的深度图像的配置类似于第一层和第二层的纹理图像的配置，因此省略对相同部分的描述。此外，在下文中，描述了这样的情况：与第一层类似的拍摄图像或深度图像被放置在第二层的非必要区域和虚构区域中。

(第一层和第二层的视点的描述)

图12是示出在第一层和第二层的视点相同的情况下，与第一层的预定面相对应的第一层和第二层的纹理图像的视图。图13是示出在第一层和第二层的视点彼此不同的情况下，与第一层的预定面相对应的第一层和第二层的纹理图像的视图。

图12的A和图13的A是从上方观看的第一层的视点O和成像对象的视图，并且图12的A和图13的A中的上下方向是包括视角中的成像对象的第一层的预定面的深度方向。

如图12的A所示，在第二层的视点是第一层的视点O的情况下，在第一层的预定面131的视角中延伸到视点O的条形成像对象141在第一层的纹理图像151和第二层的纹理图像152两者中形成点。

特别地，由于从第一层和第二层的视点O朝向面131的方向相同，因此成像对象141在第一层的纹理图像151和第二层的纹理图像152中都退化为一个点。因此，在纹理图像151和纹理图像152中，不能表示在朝向视点O的方向上延伸的成像对象141的长度。

相反，在第二层的视点是与第一层的视点O不同的视点O'的情况下，第一层的面131和第二层的面161的视角中包括的成像对象141成为第二层的纹理图像172中的直线。

特别地，从第一层的视点O朝向面131的方向和从第二层的视点O'朝向面161的方向彼此不同。因此，即使成像对象141在第一层的纹理图像151中退化为一个点，成像对象141在第二层的纹理图像172中也不会退化为一个点。因此，在纹理图像172中，可以表示在朝向视点O的方向上延伸的成像对象141的长度。

根据前述内容，在内容服务器12中，第一层和第二层的视点被设置为彼此不同。

(第二层的视点的第一示例)

图14是示出第二层的视点的第一示例的视图。

图14的A是第一层的立方体80的透视图，并且图14的B是当在Y轴的负方向上观看时立方体80的视图。这类似地适用于图16。

在图14的示例中，与第一层的包括+X面81的面相对应的第二层的面的视点191被设置到从第一层的视点O在Y轴的正方向上的移动长度a的位置，该长度a等于立方体80的每个边的长度的一半。如图14中应用于视点191的箭头标记所示，与第一层中类似，与第一层的包括+X面81的面相对应的第二层的面的视线矢量是(1,0,0)。

与第一层的包括-X面82的面相对应的第二层的面的视点192被设置到从视点O在Y轴的负方向上移动长度a的位置。如图14中应用于视点192的箭头标记所示，与第一层类似，与第一层的包括-X面82的面相对应包括的第二层的面的视线矢量是(-1,0,0)。

此外，与第一层的包括+Y面83的面91相对应的第二层的面的视点193和与包括-Y面84的面相对应的第二层的面的视点194被设置到从视点O分别在Z轴的正方向和负方向上移动长度a的位置。如图14中应用于视点193和视点194的箭头标记所示，与第一层中类似，与第一层的面91相对应的第二层的面的视线矢量和与包括-Y面84的面相对应的第二层的视线矢量分别是(0,1,0)和(0,-1,0)。

此外，与第一层的包括+Z面85的面相对应的第二层的面的视点195和与包括-Z面86的面相对应的第二层的面的视点196被设置到从第一层的视点O分别在X轴的正方向和负方向上移动长度a的位置。如图14中应用于视点195和视点196的箭头标记所示，与第一层中类似，与第一层的+Z面85相对应的第二层的面的视线矢量和与包括-Z面86的面相对应的第二层的面的视线矢量分别是(0,0,1)和(0,0,-1)。

以这种方式，在图14的示例中，第二层的面的视点191至196被设置到从第一层的视点O在与视线矢量垂直的一个方向上移动长度a的位置。此外，第二层的面的视线矢量与第一层的相应的面的视线矢量相同。此外，第二层的面的视点191至196相对于视点O的移位方向对于每个面不同。

应注意，第二层的面的视点191至196与视点O之间在X轴方向、Y轴方向或Z轴方向上的距离不限于等于立方体80的每个边的长度的一半的长度a。

(第二层的视点位置信息和面信息的表的第一配置示例)

图15是示出在图14的视点191至196被设置为第二层的面的视点的情况下由图3的元数据生成部57生成的元数据内的第二层的视点位置信息和面信息的表的配置示例的视图。

除了文件名的公共部分和视点位置信息之外，图15的表与图9的表相同。

特别地，在图15的示例中，与包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的第一层的面相对应的第二层的面的纹理图像的文件名分别是posZ2_texture、negZ2_texture、posX2_texture、negX2_texture、posY2_texture和negY2_texture。此外，与包括+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y面84的第一层的面相对应的第二层的面的深度图像的文件名分别是posZ2_depth、negZ2_depth、posX2_depth、negX2_depth、posY2_depth和negY2_depth。因此，在图15的表中，“posZ2”、“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”被登记为第二层的面的文件名的公共部分。

此外，以与文件名的公共部分“posZ2”、“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”相关联的关系分别登记在视点O被确定为原点的情况下的视点191至196的坐标(a,0,0)、(-a,0,0)、(0,a,0)、(0,-a,0)、(0,0,a)和(0,0,-a)。

(第二层的视点的第二示例)

图16是示出第二层的视点的第二示例的视图。

在图16的示例中，与第一层的包括+X面81的面相对应的第二层的面的视点211和与第一层的包括-X面82的面相对应的第二层的面的视点212分别被设置到从第一层的视点O在Y轴的正方向和Z轴的负方向上移动长度a的位置和从第一层的视点O在Y轴的负方向和Z轴的正方向上移动长度a的位置。如图16中应用于视点211和视点212的箭头标记所示，与第一层中类似，与第一层的包括+X面81的面相对应的第二层的面的视线矢量和与第一层的包括-X面82的面相对应的第二层的面的视线矢量分别是(1,0,0)和(-1,0,0)。

与第一层的包括+Y面83的面91相对应的第二层的面的视点213和与包括-Y面84的面相对应的第二层的面的视点214被设置到从视点O分别在X轴的负方向和Z轴的正方向上以及在X轴的正方向和Z轴的负方向上移动长度a的位置。如图16中应用于视点213和视点214的箭头标记所示，与第一层中类似，与第一层的面91相对应的第二层的面的视线矢量和与包括-Y面84的面相对应的第二层的面的视线矢量分别是(0,1,0)和(0,-1,0)。

此外，与包括+Z面85的面相对应的第二层的面的视点215和与第一层的包括-Z面86的面相对应的第二层的面的视点216分别被设置到从视点O在X轴的正方向和Y轴的负方向上移动长度a的位置以及在X轴的负方向和Y轴的正方向上移动长度a的位置。如图16中应用于视点215和视点216的箭头标记所示，与第一层中类似，与第一层的包括+Z面85的面相对应的第二层的面的视线矢量和与包括-Z面86的面相对应的第二层的视线矢量分别是(0,0,1)和(0,0,-1)。

以这种方式，在图16的示例中，第二层的面的视点211至216被设置到从第一层的视点O在与视线矢量垂直的两个方向上移动长度a的位置。此外，第二层的面的视线矢量与第一层的相应的面的视线矢量相同。此外，第二层的面的视点211至216相对于视点O的移位方向在不同面之间是不同的。此外，视点211至216关于视点O呈对称关系。

应注意，第二层的面的视点191至196与视点O之间在X轴方向、Y轴方向和Z轴方向中的两个方向上的距离不限于等于立方体80的每个边的长度的一半的长度a。

(第二层的视点位置信息和面信息的表的第二配置示例)

图17是示出在图16的视点211至216被设置为第二层的面的视点的情况下由图3的元数据生成部57生成的元数据内的第二层的视点位置信息和面信息的表的配置示例的视图。

除了视点位置信息之外，图17的表与图15的表相同。

特别地，在图17的表中，以与文件名的公共部分“posZ2”、“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”相关联的关系分别登记在视点O被确定为原点的情况下的视点211至216的坐标(a,-a,0)、(-a,a,0)、(0,a,-a)、(0,-a,a)、(-a,0,a)和(a,0,-a)。

(内容服务器的处理的描述)

图18是示出图2的内容服务器12的流生成处理的流程图。当从图1的多相机11提供相机的拍摄图像时，开始该流生成处理。

在图18的步骤S11，内容服务器12的深度检测部31根据从多相机11提供的每个相机的拍摄图像检测每个相机的拍摄图像的每个像素的倒数1/z，并将这样的倒数1/z提供给低分辨率图像处理部33和高分辨率图像处理部34。

在步骤S12，低分辨率图像处理部33使用相机坐标系中的预定三维位置作为视点来根据从多相机11提供的相机的拍摄图像生成全方向图像的纹理图像以降低分辨率。

在步骤S13，低分辨率图像处理部33根据从深度检测部31提供的相机的z图像生成全方向图像的深度图像以降低分辨率。

在步骤S14，低分辨率图像处理部33对通过步骤S12处的处理生成的低分辨率纹理图像和通过步骤S13处的处理生成的低分辨率深度图像进行压缩编码和存储。

在步骤S15处，低分辨率图像处理部33向图1的家庭服务器13发送存储在其中的低分辨率纹理流和低分辨率深度流。

在步骤S16，高分辨率图像处理部34的设置部56(图3)将3D模型坐标系的原点设置为第一层中共同的一个视点，并将包括构成以第一层的视点为中心的立方体的六个面的六个面设置为第一层的面。此外，设置部56设置与第一层的面相对应的第二层的六个视点和六个面。设置部56将第一层的一个视点的视点位置信息和六个面的面信息提供给第一层生成部50和元数据生成部57。此外，设置部56将第二层的六个视点的视点位置信息和六个面的面信息提供给第二层生成部53和元数据生成部57。

在步骤S17，在将相机坐标系中的全方向图像的视点设置为原点并将由第一层的视点位置信息指示的原点设置为视点的情况下，第一层生成部50根据相机的拍摄图像生成与第一层的面信息相对应的面的纹理图像。此外，第一层生成部50根据相机的z图像生成与第一层的面信息相对应的面的z图像，以将z图像提供给量化部51，并且量化部51根据面的z图像生成面的深度图像。

在步骤S18，第二层生成部53在将相机坐标系中的全方向图像的视点设置为原点并将由第二层的视点位置信息指示的三维位置设置为视点的情况下，针对与第二层的面信息相对应的面中的每个面根据相机的拍摄图像生成纹理图像。此外，第二层生成部53针对与第二层的面信息相对应的面中的每个面根据相机的z图像生成面的z图像，以将z图像提供给量化部54，并且量化部54根据面的z图像生成面的深度图像。

在步骤S19，编码器52针对每个面并针对每种图像对第一层的面的纹理图像和深度图像进行压缩编码，并将得到的图像存储到存储器58以进行存储。

在步骤S20，编码器55针对每个面并针对每种图像对第二层的面的纹理图像和深度图像进行压缩编码，并将得到的图像存储到存储器58以进行存储。

在步骤S21，元数据生成部57生成包括从设置部56提供的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表作为元数据，并将元数据提供给存储器58并将元数据存储在存储器58中。

在步骤S22，重构部59判定是否需要重构第一层的纹理图像和深度图像。例如，在从用户发出改变第一层的面的数量、第一层的面的视角、第一层的面的之间的距离、第一层的面的位置或第一层的面的倾斜度的指令的情况下，重构部59判定需要重构第一层的纹理图像和深度图像。

在步骤S22处判定需要重构第一层的纹理图像和深度图像的情况下，处理进行到步骤S23。在步骤S23，重构部59设置重构后的第一层的面和与重构后的第一层的面相对应的第二层的视点和面。

在步骤S24，重构部59生成包括重构后的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表作为元数据，并将元数据提供给存储器58。

在步骤S25，重构部59将存储在存储器58中的面的第一层纹理流重构为在步骤S23设置的重构之后的第一层的面的纹理流，并将得到的纹理流提供给存储器58以进行存储。此外，重构部59将存储在存储器58中的第一层深度流重构为在步骤S23设置的重构之后的第一层的面的第一层深度流，并将得到的深度流提供给存储器58以进行存储。

此外，重构部59将存储在存储器58中的面的第二层纹理流重构为在步骤S23设置的重构之后的第二层的视点和面的第二层纹理流，并将得到的纹理流提供给存储器58以进行存储。重构部59将存储在存储器58中的第二层深度流重构为在步骤S23设置的重构之后的第二层的视点和面的第二层深度流，并将得到的深度流提供给存储器58以进行存储。然后，处理进行到步骤S26。

另一方面，在步骤S22处判定不需要重构第一层的纹理图像和深度图像的情况下，处理进行到步骤S26。

在步骤S26处，发送部60从存储器58读出重构之前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并将读出的流和元数据发送至家庭服务器13。

内容服务器12以如上所述的方式生成第一层的视点处的遮挡区域中的纹理图像和深度图像，分别作为第二层的纹理图像和深度图像。因此，在观看位置与视点O不同的情况下，家庭服务器13可以通过使用第二层的纹理图像和深度图像来生成显示图像中所包括的视点O的遮挡区域。因此，家庭服务器13可以生成高图片质量的显示图像。

此外，内容服务器12将第二层的视点设置到与第一层的视点O不同的三维位置。因此，在第二层中，可以表示延伸至视点O的成像对象在其延伸至视点O的方向上的长度。

此外，内容服务器12将深度图像的每个像素的y值设置为通过倒数1/r的8位量化获得的值。因此，内容服务器12不需要在重构时重新进行深度图像的8位量化。

(家庭服务器的配置示例)

图19是示出图1的家庭服务器13的配置示例的框图。

图19的家庭服务器13包括相机13A、接收部231、存储器232、另一接收部233、视线检测部234、ML3D模型生成部235、另一ML3D模型生成部236、又一ML3D模型生成部237、3D模型生成部238和绘制部239。

家庭服务器13的接收部231接收从内容服务器12向其发送的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并将它们提供给存储器232。

存储器232存储从接收部231提供的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

接收部233从头戴式显示器15接收图1中的陀螺仪传感器15B的检测结果，并将检测结果提供给视线检测部234。

视线检测部234基于从接收部233提供的陀螺仪传感器15B的检测结果来确定3D模型坐标系中的观看者的视线方向。此外，视线检测部234从相机13A获取标记15A的拍摄图像，并且基于拍摄图像检测3D模型坐标系中的观看位置。

视线检测部234从存储器232读出元数据内的第一层的表。视线检测部234基于3D模型坐标系中的观看位置和视线方向以及第一层的表，确定六个面中与从观看位置起在视线方向上延伸的视线最接近的视线矢量相对应的三个面作为选择面。具体地，视线检测部234选择包括+X面81和-X面82中的一个的面、包括+Y面83和-Y面84中的一个的面和包括+Z面85和-Z面86中的一个的面，作为选择面。

由于以如上所述的方式确定选择面，因此由下文描述的绘制部239使用与选择面相对应的第一层和第二层的纹理图像和深度图像生成的显示图像中的高分辨率区域的比率最高。此外，由于确定了三个选择面，因此与在选择一个选择面的替选情况相比，可以增加在视线指向立方体80的顶点附近的情况下显示图像中的高分辨率区域的比率。

视线检测部234从存储器232读出与三个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测部234将读出的针对每个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给ML3D模型生成部235至237。此外，视线检测部234从存储器232读出低分辨率纹理流和低分辨率深度流，并将它们提供给3D模型生成部238。

此外，视线检测部234基于3D模型坐标系中的观看位置和视线方向来确定3D模型坐标系中的观看者的视野范围。视线检测部234将观看者的视野范围和观看位置提供给绘制部239。视线检测部234将三个选择面以及与三个选择面相对应的第二层的三个面的面信息和视点位置信息提供给绘制部239。

ML3D模型生成部235至237分别使用第一层纹理流和第一层深度流来生成包括与第一层的纹理图像的像素相对应的采样点的纹理图像坐标系中的三维位置(u,v,z)和连接信息以及RGB值的三维数据作为颜色信息。应注意，每个采样点的连接信息是表示采样点(顶点)与不同采样点之间的连接的信息。纹理图像坐标系是具有纹理图像的横向方向给出的u轴、垂直方向给出的v轴和深度方向上的z轴的坐标系。

此外，ML3D模型生成部235至237使用从视线检测部234提供的第二层纹理流和第二层深度流来生成与第二层的纹理图像的每个像素相对应的采样点的三维数据。ML3D模型生成部235至237将第一层和第二层的三维数据提供给绘制部239。

3D模型生成部238对从视线检测部234提供的低分辨率纹理流和低分辨率深度流进行解码，以生成低分辨率纹理图像和低分辨率深度图像。3D模型生成部238将作为低分辨率纹理图像的每个像素的像素值的YCbCr值转换为RGB值，以使得采样点的RGB值与每个像素相对应。此外，3D模型生成部238针对低分辨率深度图像的每个像素的像素值执行8位去量化，并获得倒数1/r。然后，3D模型生成部238基于低分辨率深度图像的像素的这种倒数1/r计算每个像素的三维位置(u,v,z)，作为与像素相对应的采样点的三维位置(u,v,z)。

此外，3D模型生成部238基于采样点的三维位置(u,v,z)生成采样点的连接信息，使得每三个相邻采样点彼此连接。3D模型生成部238将采样点的三维位置(u,v,z)、连接信息和RGB值作为低分辨率纹理图像的三维数据提供给绘制部239。

绘制部239基于从3D模型生成部238提供的低分辨率纹理图像的三维数据来执行3D模型坐标系中的低分辨率纹理图像的三角面片绘制(点云绘制)。此后，绘制部239基于从ML3D模型生成部235至237提供的第一层和第二层的三维数据以及从视线检测部234提供的视点位置信息和面信息来执行3D模型坐标系中第一层和第二层的纹理图像的三角面片绘制。

特别地，低分辨率纹理图像的视点是3D模型坐标系的原点，并且预先确定作为3D模型的正八面体的面中的每一个面的位置和尺寸。因此，绘制部239可以计算与正八面体的面相对应的相机的内部参数和外部参数。因此，绘制部239可以使用内部参数和外部参数根据低分辨率纹理图像的采样点的三维位置(u，v，z)来识别每个采样点的屏幕图像上的位置(u，v)和3D模型坐标系中的三维位置(X，Y，Z)。因此，可以使用低分辨率纹理图像的采样点的屏幕图像上的位置(u，v)和三维位置(X，Y，Z)、连接信息和RGB值来执行三角面片绘制。

此外，绘制部239可以基于第一层和第二层的视点位置信息和面信息来计算与第一层和第二层的面相对应的相机的内部参数和外部参数。因此，绘制部239可以使用内部参数和外部参数根据第一层和第二层的采样点的三维位置(u，v，z)来识别采样点的屏幕图像上的位置(u，v)和三维位置(X，Y，Z)。因此，绘制部239可以使用第一层和第二层的采样点的屏幕图像上的位置(u，v)和三维位置(X，Y，Z)、连接信息和RGB值来执行三角面片绘制。

绘制部239(图像生成部)通过下述方式生成显示图像：将3D模型坐标系中绘制的三角面片透视地投影(映射)在从作为由视线检测部234提供的观看位置给出的视点起的视野范围内。绘制部239将显示图像发送至图1的转换装置14。

(ML3D模型生成部的配置示例)

图20是示出图19的ML3D模型生成部235的配置示例的框图。

图20的ML3D模型生成部235包括解码器251、RGB转换部252、另一解码器253、深度转换部254、不连续性检测部255、3D模型生成部256、又一解码器257、另一RGB转换部258、再一解码器259、另一深度转换部260、遮挡处理部261和3D模型生成部262。

ML3D模型生成部235的解码器251对从图19的视线检测部234提供的第一层纹理流进行解码，以生成第一层的纹理图像。解码器251将第一层的纹理图像提供给RGB转换部252。

RGB转换部252将作为第一层的纹理图像的像素的像素值的YCbCr值转换为RGB值，以获得与像素对应的采样点的RGB值。然后，RGB转换部252将采样点的RGB值提供给3D模型生成部256。

解码器253对从视线检测部234提供的第一层深度流进行解码，以生成第一层的深度图像。解码器253将第一层的深度图像提供给深度转换部254。

深度转换部254针对从解码器253提供的第一层的深度图像的像素的像素值执行8位去量化，以获得倒数1/r。然后，深度转换部254基于第一层的深度图像的像素的倒数1/r计算像素的三维位置(u，v，z)，作为与像素相对应的采样点的三维位置(u，v，z)。深度转换部254将采样点的三维位置(u，v，z)提供给不连续性检测部255和3D模型生成部256。

不连续性检测部255基于从深度转换部254提供的采样点的三维位置(u，v，z)检测不连续像素，不连续像素是第一层的深度图像的像素中与下述采样点相对应的像素：这些采样点中的每个采样点的z坐标与相邻采样点的差等于或大于阈值。不连续性检测部255向3D模型生成部256提供与不连续像素相对应的采样点的三维位置(u，v，z)。

3D模型生成部256(连接信息生成部)基于从深度转换部254提供的采样点的三维位置(u，v，z)生成采样点的连接信息，使得采样点中的每三个相邻采样点彼此连接。具体地，3D模型生成部256针对每个采样点生成连接信息，该连接信息表示包括该采样点作为顶点的的三角面片的三个顶点之间的连接。然后，3D模型生成部256基于从不连续性检测部255提供的与不连续像素相对应的采样点的三维位置(u，v，z)，从所生成的采样点的连接信息内删除表示和与不连续像素对应的采样点的连接的连接信息。

3D模型生成部256生成第一层的采样点的三维位置(u，v，z)、RGB值和删除之后的连接信息作为第一层的三维数据，并向图19的绘制部239提供该三维数据。

除了处理目标的层从第一层改变为第二层之外，解码器257、RGB转换部258、解码器259和深度转换部260的处理类似于解码器251、RGB转换部252、解码器253和深度转换部254的处理，因此省略相同部分的描述。

遮挡处理部261基于从深度转换部260提供的采样点的三维位置(u，v，z)从第二层的深度图像的像素中检测不连续像素。遮挡处理部261基于第二层的采样点的三维位置(u，v，z)来执行用于校正与不连续像素相对应的采样点的三维位置(u，v，z)的遮挡处理。

特别地，遮挡处理部261将与不连续像素相对应的每个采样点的二维位置(u，v)校正为与该采样点相邻的近侧采样点的二维位置(u，v)。遮挡处理部261将第二层的采样点的遮挡处理之后的三维位置(u，v，z)提供给3D模型生成部262。

3D模型生成部262针对每个采样点，基于从遮挡处理部261提供的采样点的三维位置(u,v,z)，生成表示与该采样点相邻的两个采样点的连接的连接信息。3D模型生成部262生成采样点的三维位置(u,v,z)和连接信息以及从RGB转换部258提供的RGB值作为第二层的三维数据。3D模型生成部256将第二层的三维数据提供给图19的绘制部239。

应注意，尽管未示出，但是ML3D模型生成部236和ML3D模型生成部237与图20的ML3D模型生成部235类似地配置。

(删除连接信息和遮挡处理的效果的说明)

图21是示出在未删除第一层的连接信息中的表示和与不连续像素相对应的采样点的连接的连接信息的情况下的、连接信息的视图，并且图22是示出在删除这样的连接信息的情况下的连接信息的视图。

参照图21和图22，左右方向表示纹理图像的横向方向，并且上下方向表示纹理图像的深度方向。图21和图22中的向上方向是近侧，并且向下方向是深侧。此外，在图21和图22中，实线表示第一层的采样点的三维位置(u,v,z)，并且虚线表示第二层的采样点的三维位置(u,v,z)。此外，在图21和图22的示例中，图10的前景111和背景112是成像对象。

在第一层和第二层中都不执行遮挡处理的情况下，如图21的A所示，采样点的三维位置对应于第一层的前景111的拍摄图像121和背景112的区域112A的拍摄图像122A的边界上的不连续像素。

此外，在表示第一层和第二层中的与不连续像素相对应的采样点的连接的连接信息的情况下，如图21的A中所示的，第一层和第二层的与不连续像素相对应的采样点连接至两个相邻采样点。

因此，生成在第一层的与不连续像素相对应的采样点和两个相邻采样点处具有顶点的三角面片，并且通过该三角面片填充有效区域中的拍摄图像122C。因此，在要生成与从图中的右下部指向左上部的视线V对应的包括成像遮挡区域112C的显示图像的情况下，不能使用布置有成像遮挡区域112C的拍摄图像122C的第二层的有效区域。

另一方面，在不删除表示和与不连续像素对应的采样点的连接的连接信息、但在第一层和第二层中都执行遮挡处理的情况下，如图21的B所示，第一层和第二层中的与不连续像素相对应的采样点的二维位置被校正为与该采样点相邻的近侧采样点的二维位置。

因此，在要生成与视线V对应的显示图像的情况下，第一层的区域112A的拍摄图像122A可以用作成像遮挡区域112C的显示图像。因此，改善了显示图像的图片质量。

然而，遮挡处理之后的第一层的与不连续像素相对应的采样点连接至两个相邻的采样点，并且生成三角面片。因此，类似于图21的A的情况，在要生成与视线V相对应的显示图像的情况下，不能使用布置有成像遮挡区域112C的拍摄图像122C的第二层的有效区域。

相较之下，如图22所示，3D模型生成部256删除第一层的表示和不连续像素的连接的连接信息。因此，不生成在第一层的与不连续像素对应的采样点处具有顶点的三角面片。因此，在要生成与视线V相对应的显示图像的情况下，可以使用布置有成像遮挡区域112C的拍摄图像122C的第二层的有效区域。由于在第二层中不执行连接信息的删除，因此在第一层的三角面片不存在的区域中必定存在第二层的三角面片。

此外，遮挡处理部261对第二层执行遮挡处理。因此，如图22所示，第二层的有效区域与虚构区域之间的边界上的与不连续像素对应的采样点当中的深度侧的采样点的二维位置被校正为与该深度侧的采样点相邻的近侧采样点的二维位置。因此，在第二层中，减少了遮挡区域。因此，改善了当要生成与视线V相对应的显示图像时使用的第二层的图片质量，因此，改善了显示图像的图片质量。

(第一层的面的视角的效果的描述)

图23和图24是示出在第一层的每个面的视角分别为90度和100度的情况下的采样点的视图。

在图23和图24的示例中，为了便于描述，假设在第一层的每个面的视角为90度和100度的情况下的第一层的纹理图像和深度图像的分辨率分别是4×4像素和6×6像素。

如图23的B所示，在第一层的每个面的视角是90度的情况下，第一层的六个面是构成立方体80的六个面81至86。

然而，如图23的A所示，第一层的-Z面86的纹理图像280上的采样点291的位置(u,v)、即从3D模型坐标系中的视点O指向采样点291的线与-Z面86交叉处的位置是每个像素281的中心。另外，与-Z面86中类似，其他面81至85的采样点的位置(u,v)也是像素的中心。

因此，所有三角面片的面81至86上的区域283的u方向和v方向上的尺寸与面81至86的尺寸相比小像素的一半的尺寸，上述三角面片通过连接各自由图23的B中的黑色圆形标记指示的采样点当中的彼此相邻的每三个采样点构成。因此，没有生成与面81至86的边界对应的三角面片，因此，以高图片质量生成通过面81至86之间的边界的视线的显示图像变得困难。

相较之下，如图24的A所示，在第一层的每个面的视角是100度的情况下，包括-Z面86的第一层的面的纹理图像310的尺寸变为比图23的纹理图像280的尺寸大的6×6像素。此外，包括其他面81至85的第一层的每个面的纹理图像的尺寸类似地变为6×6像素。

因此，如图24的B所示，所有三角面片的-Z面86上的区域311的u方向和v方向上的尺寸与-Z面86的尺寸相比大像素的一半的尺寸，上述三角面片通过连接各自由图中的黑色圆形标记指示的采样点当中的每三个相邻采样点构成。尽管未示出，但是类似于区域311，包括其他面81至85的第一层的每个面的三角面片的区域的u方向和v方向的尺寸与面81至85的尺寸相比大像素的一半的尺寸。因此，生成与面81至86中的每一个的边界相对应的三角面片，因此，可以以高图片质量生成包括通过面81至86中的每一个的边界的视线的任意视线的显示图像。

尽管参照图23和图24描述了在第一层的每个面的视角为100度的情况下的效果，但是如果第一层的每个面的视角大于90度，则甚至在视角不是100度的情况下也产生类似的效果。

(第二层的面的视角的效果的描述)

图25是示出在第二层的每个面的视角是90度和100度的情况下的遮挡处理的视图。

参照图25，横坐标轴表示u轴，并且纵坐标轴表示z轴。此外，圆形标记表示采样点。此外，在图25的示例中，深度方向上的位置的z坐标朝向深侧增加。

在第二层的每个面的视角是90度的情况下，采样点仅被映射到第二层的面中的一个。因此，如图25的A所示，与被映射到处理目标的面的u方向上的端部的采样点331相邻的采样点332不被映射到处理目标的面，并且在处理目标的面的遮挡处理时，采样点332在z轴上的位置是未知的。

因此，甚至在采样点331与采样点332的z坐标之间的差等于或大于阈值的情况下，与采样点331相对应的像素也不被检测为不连续像素。类似地，在采样点332被映射到的面是处理目标的面的情况下，与采样点332相对应的像素也不被检测为不连续像素。因此，不能对采样点331和采样点332执行遮挡处理。换句话说，为了对采样点331和采样点332执行遮挡处理，除了处理目标的面的深度图像之外，还需要使用与处理目标的面相邻的面的深度图像。

相较之下，在第二层的每个面的视角是100度的情况下，在每个面的端部处，映射到与该面相邻的面的端部之外的区域的采样点以交叠关系被映射为余量。例如，在采样点331被映射到的处理目标的面的端部处，映射了采样点332，该采样点332被映射在与处理目标的面相邻的面的端部之外的区域中。

因此，在采样点331与采样点332的z坐标之间的差等于或大于阈值的情况下，与采样点331和采样点332相对应的像素被检测为不连续像素。因此，如图25的B所示，可以对采样点331和采样点332执行遮挡处理。因此，与不连续像素对应的采样点332的u坐标被校正为在采样点332附近并且比采样点332在更近侧的采样点333(其具有更小的z坐标)的u坐标。

应注意，由于在图25的示例中，采样点334与映射至处理目标的面的端部之外的区域的采样点335之间的z坐标的差等于或大于阈值，因此与采样点334和采样点335相对应的像素也被检测为不连续像素。因此，如图25的B所示，采样点334的u坐标被校正为在采样点334附近并且比采样点334在更近侧的采样点336的u坐标。

此外，具有最大u坐标的、处理目标的面的端部处的采样点337被映射到与处理目标的面相邻的面的端部之外的区域。因此，在将该面设置为处理目标的面的情况下，判定与采样点337对应的像素是否是不连续像素，并且在判定像素是不连续像素的情况下，可以执行针对采样点337的遮挡处理。

如上所述，在第二层的每个面的视角是100度的情况下，同样可以仅使用每个面的采样点来对映射到每个面的端部之外的区域的端部的采样点331执行遮挡处理。因此，减小了第二层的遮挡区域，并且可以改善显示图像的图片质量。

虽然参照图25描述了在第二层的每个面的视角为100度的情况下的效果，但是如果第二层的每个面的视角大于90度，则甚至在视角不是100度的情况下也产生类似的效果。

应注意，ML3D模型生成部235至237可以对作为解码的结果获得的纹理图像或深度图像执行诸如使用周边像素的滤波处理等的图像处理。在这种情况下，由于第一层和第二层的每个面的视角大于90度，所以具有可以与遮挡处理类似地还在每个面的端部之外的区域的端部处执行图像处理的效果。

(家庭服务器的处理的描述)

图26是示出图19的家庭服务器13的再现处理的流程图。当低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据被例如从内容服务器12发送至家庭服务器13时，开始该再现处理。

在图26的步骤S41，家庭服务器13的接收部231接收从内容服务器12发送的低分辨率纹理流和低分辨率深度流、以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并将它们提供给存储器232。

在步骤S42，存储器232存储低分辨率纹理流和低分辨率深度流、以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

在步骤S43，接收部233从头戴式显示器15接收图1中的陀螺仪传感器15B的检测结果，并将检测结果提供给视线检测部234。

在步骤S44，视线检测部234基于从接收部233提供的陀螺仪传感器15B的检测结果来确定3D模型坐标系中的观看者的视线方向。在步骤S45，相机13A对应用于头戴式显示器15的标记15A进行成像，并将作为成像的结果获得的拍摄图像提供给视线检测部234。

在步骤S46，视线检测部234基于从相机13A提供的标记15A的拍摄图像来检测3D模型坐标系中的观看位置，并将观看位置提供给绘制部239。

在步骤S47，视线检测部234基于存储在存储器232中的元数据内的第一层的表以及3D模型坐标系中的观看位置和视线方向，确定六个面中的与最接近视线的视线矢量相对应的三个面作为选择面。

在步骤S48，视线检测部234基于3D模型坐标系中的观看位置和视线方向确定3D模型坐标系中的观看者的视野范围，并将视野范围提供给绘制部239。

在步骤S49，视线检测部234从存储器232读出低分辨率纹理流和低分辨率深度流，并将它们提供给3D模型生成部238。此外，视线检测部234从存储器232读出与三个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测部234将读出的针对每个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给ML3D模型生成部235至237。此外，视线检测部234从存储器232读出与三个选择面对应的视点位置信息和面信息，并将它们提供给绘制部239。

在步骤S50，ML3D模型生成部235至237针对每个面执行用于生成第一层和第二层的采样点的三维数据的三维数据生成处理。下面参照图27描述三维数据生成处理的细节。

在步骤S51，3D模型生成部238根据从视线检测部234提供的低分辨率纹理流和低分辨率深度流生成低分辨率纹理图像的采样点的三维数据，并将该三维数据提供给绘制部239。

在步骤S52，绘制部239基于从3D模型生成部238提供的低分辨率纹理图像的三维数据，执行3D模型坐标系中的低分辨率纹理图像的三角面片绘制。此后，绘制部239基于从ML3D模型生成部235至237提供的第一层和第二层的三维数据以及从视线检测部234提供的视点位置信息和面信息，执行3D模型坐标系中的第一层和第二层的纹理图像的三角面片绘制。

在步骤S53，绘制部239通过下述方式生成显示图像：将在3D模型坐标系中绘制的三角面片透视地投影到关于作为从视线检测部234提供的观看位置而给出的视点的视野范围。在步骤S54处，绘制部239将显示图像发送至图1的转换装置14。

图27是示出图26的步骤S50处的由ML3D模型生成部235执行的三维数据生成处理的细节的流程图。

在图27的步骤S71，ML3D模型生成部235的解码器251(图20)对从图19的视线检测部234提供的第一层纹理流进行解码，以生成第一层的纹理图像。解码器251将第一层的纹理图像提供给RGB转换部252。

在步骤S72，RGB转换部252将作为第一层的纹理图像的像素的像素值的YCbCr值转换为RGB值，并将其确定为与像素对应的采样点的RGB值。然后，RGB转换部252将采样点的RGB值提供给3D模型生成部256。

在步骤S73，解码器253对从视线检测部234提供的第一层深度流进行解码，以生成第一层的深度图像。解码器253将第一层的深度图像提供给深度转换部254。

在步骤S74，深度转换部254对从解码器253提供的第一层的深度图像的每个像素的像素值执行8位去量化，并获得第一层的深度图像的每个像素的倒数1/r。

在步骤S75，深度转换部254基于第一层的深度图像的每个像素的倒数1/r计算第一层的深度图像的每个像素的三维位置(u，v，z)，作为与像素相对应的采样点的三维位置(u，v，z)。深度转换部254将采样点的三维位置(u，v，z)提供给不连续性检测部255和3D模型生成部256。

在步骤S76，不连续性检测部255基于从深度转换部254提供的采样点的三维位置(u，v，z)，在第一层的深度图像的像素当中检测不连续像素。不连续性检测部255向3D模型生成部256提供与不连续像素相对应的采样点的三维位置(u，v，z)。

在步骤S77，3D模型生成部256基于从深度转换部254提供的采样点的三维位置(u，v，z)生成第一层的采样点的连接信息，使得采样点中的每三个相邻采样点彼此连接。

在步骤S78，3D模型生成部256基于从不连续性检测部255提供的与不连续像素相对应的采样点的三维位置(u，v，z)，从步骤S77处生成的采样点的连接信息内删除表示和与不连续像素对应的采样点的连接的连接信息。

在步骤S79，3D模型生成部256生成第一层的采样点的三维位置(u，v，z)、RGB值和通过步骤S78的处理进行删除之后的连接信息，作为第一层的三维数据。3D模型生成部256将第一层的三维数据提供给图19的绘制部239。

在步骤S80，解码器257对从视线检测部234提供的第二层纹理流进行解码，以生成第二层的纹理图像。解码器257将第二层的纹理图像提供给RGB转换部258。

在步骤S81，RGB转换部258将作为第二层的纹理图像的像素的像素值的YCbCr值转换为RGB值，并将其确定为与像素对应的采样点的RGB值。然后，RGB转换部258将采样点的RGB值提供给3D模型生成部262。

在步骤S82，解码器259对从视线检测部234提供的第二层深度流进行解码，以生成第二层的深度图像。解码器259将第二层的深度图像提供给深度转换部260。

在步骤S83，深度转换部260对从解码器259提供的第二层的深度图像的像素的像素值执行8位去量化，并获得第二层的深度图像的像素的倒数1/r。

在步骤S84，深度转换部260基于第二层的深度图像的像素的倒数1/r计算第二层的深度图像的像素的三维位置(u，v，z)，作为与像素相对应的采样点的三维位置(u，v，z)。深度转换部260将采样点的三维位置(u，v，z)提供给遮挡处理部261和3D模型生成部262。

在步骤S85，遮挡处理部261基于从深度转换部260提供的采样点的三维位置(u，v，z)，在第二层的深度图像的像素当中检测不连续像素。

在步骤S86，遮挡处理部261基于第二层的采样点的三维位置(u，v，z)，执行用于校正与不连续像素相对应的采样点的三维位置(u，v，z)的遮挡处理。遮挡处理部261将第二层的采样点的遮挡处理之后的三维位置(u，v，z)提供给3D模型生成部262。

在步骤S87，3D模型生成部262基于从遮挡处理部261提供的采样点的三维位置(u，v，z)生成第二层的采样点的连接信息，使得采样点中的每三个相邻采样点彼此连接。

在步骤S88，3D模型生成部262生成采样点的三维位置(u,v,z)和连接信息以及从RGB转换部258提供的RGB值作为第二层的三维数据。3D模型生成部262将第二层的三维数据提供给图19的绘制部239。

应注意，由ML3D模型生成部236和ML3D模型生成部237执行的三维数据生成处理与图27的三维数据处理类似地执行。

如上所述，家庭服务器13使用第一层和第二层来生成显示图像。因此，在观看位置与视点O不同的情况下，可以使用第二层来生成显示图像中所包括的视点O的遮挡区域。因此，可以生成高图片质量的显示图像。

此外，家庭服务器13不仅使用纹理图像而且使用深度图像来生成显示图像。因此，通过三角面片绘制，可以将纹理图像映射到根据成像对象的三维形状的三角面片，并使用三角面片生成显示图像。因此，与仅使用纹理图像通过将纹理图像映射到预定面来生成显示图像的替选情况相比，可以生成高图片质量的显示图像。

此外，第一层的纹理图像和深度图像分别是通过映射全方向图像的纹理图像和深度图像而获得的纹理图像和深度图像。因此，仅再现通过将全方向图像的纹理图像和深度图像映射到预定面而获得的深度图像和纹理图像的再现装置可以再现第一层的纹理图像和深度图像。

特别地，由内容服务器12生成的第一层和第二层的纹理图像和深度图像的格式与通过映射全方向图像的纹理图像和深度图像而获得的纹理图像和深度图像的格式兼容。此外，家庭服务器13的再现方法与下述再现装置的再现方法兼容，该再现装置仅再现通过将全方向图像的纹理图像和深度图像映射到预定面而获得的纹理图像和深度图像。

应注意，家庭服务器13可以仅使用第一层的纹理图像和深度图像来生成显示图像。在这种情况下，对于第一层，执行遮挡处理来代替删除连接信息。

此外，虽然在前面的描述中，3D模型生成部256删除表示和由不连续检测部255检测到的与不连续像素相对应的采样点的连接的连接信息，但是可以以其他方式基于从内容服务器12发送的三角面片有效性信息(下文中将详细描述)而删除连接信息。在这种情况下，不设置不连续性检测部255。

(三角面片有效性信息的说明)

图28是示出在刚刚描述的这种情况下从内容服务器12发送的三角面片有效性信息的视图。

在图28的示例中，第一层的采样点351的数量是12。因此，各自在三个相邻采样点351处具有顶点的三角面片352的数量是12。

在这种情况下，内容服务器12与不连续性检测部255类似地检测不连续像素。然后，内容服务器12将在与每个不连续像素对应的采样点处具有顶点的三角面片352设置为无效(OFF)，并且将不包括与任何不连续像素对应的采样点的每个三角面片352设置为有效(ON)。

内容服务器12(生成部)生成指示每个三角面片352有效或无效的三角面片有效性信息，并将三角面片有效性信息放入元数据中。

家庭服务器13的3D模型生成部256基于三角面片有效性信息删除表示构成每个无效三角面片的顶点的采样点之间的连接的连接信息。因此，不绘制其三角面片有效性信息指示无效的任何三角面片。

应注意，除了右端和下端的采样点之外，对于每个采样点，三角面片按两个生成。此外，三角面片有效性信息是指示三角面片有效或无效的1位的信息。因此，如果第一层的纹理图像的水平方向上的像素数由宽度表示并且垂直方向上的像素数由高度表示，则所有三角面片的三角面片有效性信息的位数是(宽度-1)*(高度-1)*2位。

三角面片有效性信息以无损压缩状态或非压缩状态从内容服务器12发送至家庭服务器13。应注意，三角面片有效性信息可以被布置成深度图像的Cb和Cr值。

<第二实施例>

(图像显示系统的第二实施例的配置示例)

图29是示出应用本公开的图像显示系统的第二实施例的配置示例的框图。

图29中示出的与图1中类似的部件由相似的附图标记表示。适当省略重复描述。

图29的图像显示系统400包括多相机11、内容服务器12、转换装置14、头戴式显示器15、分发服务器401、网络402和再现装置403。在图像显示系统400中，六个面中的仅与视线对应的一个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流被分发至再现装置403并由再现装置403再现。

特别地，图像处理系统400的分发服务器401接收并存储从内容服务器12向其发送的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

此外，分发服务器401通过网络402连接至再现装置403。分发服务器401响应于来自再现装置403的请求而通过网络402向再现装置403发送存储在其中的低分辨率纹理流和低分辨率深度流、一个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

再现装置403(图像处理装置)通过网络402向分发服务器401请求低分辨率纹理流、低分辨率深度流和元数据，并接受根据请求向其发送的低分辨率纹理流、低分辨率深度流和元数据。

此外，再现装置403具有内置的相机13A。类似于家庭服务器13，再现装置403检测3D模型坐标系中的观看位置，并确定3D模型坐标系中的观看者的视线方向和视野范围。

然后，再现装置403基于3D模型坐标系中的观看位置和视线方向以及元数据中包括的第一层的表，在第一层的六个面中确定与最接近视线的视线矢量相对应的一个面作为选择面。再现装置403通过网络402请求与一个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。再现装置403接收响应于请求而向其发送的与一个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

再现装置403使用低分辨率纹理流和低分辨率深度流以及与该一个选择面对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流来生成显示图像。除了选择面的数量是一个之外，再现装置403的用于生成显示图像的处理类似于家庭服务器13的处理，因此，省略对相同内容的描述。再现装置403通过未示出的HDMI电缆将显示图像发送至转换装置14。

<纹理图像的不同示例>

图30是示出第一层的纹理图像的不同示例的视图。

虽然在前面的描述中，第一层的每个面的纹理图像是一个视点O的纹理图像，但是它可以是与视点O相对应的用于左眼的视点和用于右眼的视点的纹理图像的合成图像。

特别地，第一层的每个面的纹理图像可以是如图30的A中所示例如下述打包图像420：通过在横向方向(水平方向)上对与视点O相对应的用于左眼的视点的第一层的每个面的纹理图像421和用于右眼的视点的第一层的每个面的纹理图像422进行打包，而获得该打包图像420。

此外，如图30的B所示，第一层的每个面的纹理图像可以是例如通过在垂直方向(纵向方向)上对纹理图像421和纹理图像422进行打包而获得的打包图像440。

类似地，第二层的每个面的纹理图像可以是例如下述打包图像：通过在横向方向或垂直方向上对与该面上的第二层的一个视点相对应的用于左眼的视点的第二层的纹理图像和用于右眼的视点的第二层的纹理图像进行打包，而获得该打包图像。

如上所述，在第一层和第二层的面中的每一个面的纹理图像是通过对用于左眼的视点的图像和用于右眼的视点的图像进行打包而获得的纹理图像的情况下，作为解码的结果而获得的纹理图像被分成用于左眼的视点的纹理图像和用于右眼的视点的纹理图像。然后，关于第一层和第二层生成用于左眼的三维数据和用于右眼的三维数据。

然后，基于与观看者的观看方向和观看位置相对应的左眼的观看方向和观看位置，根据用于左眼的三维数据生成用于左眼的显示图像。此外，基于与观看者的观看方向和观看位置相对应的右眼的观看方向和观看位置，根据用于右眼的三维数据生成用于右眼的显示图像。然后，在头戴式显示器15可以执行3D显示的情况下，头戴式显示器15将用于左眼的显示图像显示为用于左眼的图像并将用于右眼的显示图像显示为用于右眼的图像，以3D显示显示图像。

要注意的是，虽然在第一实施例和第二实施例中，拍摄图像被映射到正八面体以生成全方向图像，但是除了正八面体之外，要映射拍摄图像的3D模型还可以是球体或立方体等。在拍摄图像被映射到球体的情况下，全方向图像是例如根据被映射有拍摄图像的球体的正金字塔投影的图像。

此外，可以不生成低分辨率纹理流和低分辨率深度流。可以不生成第一层和第二层的深度图像。此外，可以仅在各面当中重要成像对象的拍摄图像被映射到的那一个面上生成第二层的纹理图像和深度图像。

此外，类似于高分辨率的纹理图像和深度图像，也可以在分层状态下生成低分辨率纹理图像和低分辨率深度图像。

<第三实施例>

(应用本公开的计算机的描述)

虽然上述一系列处理可以通过硬件执行，但也可以以另外的方式通过软件执行。在一系列处理由软件执行的情况下，将构造软件的程序安装到计算机中。在此，计算机包括并入硬件中的专用计算机，例如，可以通过安装各种程序来执行各种功能的通用个人计算机等。

图31是示出根据程序执行在上文中描述的一系列处理的计算机的配置示例硬件的框图。

在计算机500中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504彼此连接。

输入/输出接口505也连接至总线504。输入/输出接口505连接有输入部506、输出部507、存储部508、通信部509和驱动器510。

输入部506包括键盘、鼠标、麦克风等。输出部507包括显示器、扬声器等。存储部508包括硬盘、非易失性存储器等。通信部509包括网络接口等。驱动器510对可移除介质511如磁盘、光盘、磁光盘、半导体存储器等进行驱动。

在以如上所述的方式配置的计算机500中，CPU 501通过输入/输出接口505和总线504将例如存储在存储部508中的程序载入RAM 503中以执行上述一系列处理。

由计算机500(CPU 501)执行的程序可以被记录到可移除介质511中并且作为可移除介质511而被提供，例如作为封装介质等。此外，可以通过有线或无线传输介质诸如局域网、因特网或数字卫星广播等来提供程序。

在计算机500中，通过将可移除介质511安装在驱动器510上，可以通过输入/输出接口505将程序安装到存储部508中。此外，程序可以通过有线或无线传输介质被通信部509接收并被安装至存储部508中。此外，程序可以预先安装在ROM 502或存储部508中。

要注意的是，由计算机500执行的程序可以是按照本文描述的顺序按时间序列执行处理的程序，或者可以是并行地或在必要的定时例如当调用程序等时执行处理的程序。

<应用示例>

根据本公开的技术可以应用至各种产品。例如，根据本公开的技术可以被实现为结合在各种类型的移动体中的装置，移动体例如汽车、混合动力电动汽车、摩托车、自行车、个人移动装置、飞机、无人驾驶飞机、船舶、机器人、建筑机械、农业机械(拖拉机)等。

图32是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是可应用作为根据本公开的实施例的技术的移动体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图32所示出的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay等。

各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图32所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100可具有防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身系统控制单元7200用作控制设备来控制：无钥匙进入系统，智能钥匙系统，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元7200可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。

车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。

图33示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图33示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。

布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。

回到图32，继续进行描述。车外信息检测单元7400使成像部7410成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理,以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制系统7000输入各种数据，处理操作的指令。

存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F,调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信系统(GSM)、全球互通微波接入(WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端)相连接。

专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。

定位部7640可以通过，接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，生成包括车辆的纬度、经度以及高度的位置信息，而执行定位。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统(PHS)或具有定位功能的智能电话。

信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F 7630中。

车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F 7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图32的实例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。

顺便提及，在图32所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。

应注意，用于实现参照图1至图30描述的根据本实施例的图像显示系统10(400)的功能的计算机程序可以结合到一些控制单元等中。此外，还可以提供一种计算机可读记录介质，其中存储有刚才描述的这种计算机程序。记录介质可以是例如磁盘、光盘、磁光盘、闪速存储器等。此外，上述计算机程序可以例如通过网络而不使用记录介质进行分发。

在上述车辆控制系统7000中，根据以上参照图1至图30描述的本实施例的图像显示系统10(400)可以应用于图32中描述的应用示例的车辆控制系统7000。例如，图像显示系统10(400)的多相机11至少对应于成像部7410的一部分。此外，内容服务器12、家庭服务器13(分发服务器401、网络402和再现装置403)和转换装置14被集成，并且对应于集成控制单元7600的微型计算机7610和存储部7690。头戴式显示器15对应于显示部7720。应注意，在图像显示系统10(400)应用于车辆控制系统7000的情况下，不设置相机13A、标记15A和陀螺仪传感器15B，并且由作为观看者的乘客通过输入部7800的操作输入观看者的视线方向和观看位置。通过以如上所述的方式将图像显示系统10(400)应用于图32描述的应用示例的车辆控制系统7000，可以使用全方向图像生成高图片质量的显示图像。

此外，上面参照图1至图30描述的图像显示系统10(400)的部件的至少一部分可以由用于图32中描述的集成控制单元7600的模块(例如，通过由一个管芯配置的集成电路模块)实现。作为替选方式，参照图1至图30描述的图像显示系统10(400)可以由图32中示出的车辆控制系统7000的多个控制单元实现。

在本说明书中，术语系统用于表示包括多个构成元件(设备、模块(部件)等)的聚合，这些构成元件是否全部都容置在同一壳体中并不重要。因此，容置在单分开的壳体中并通过网络彼此连接的多个装置构成系统，并且包括容置在单个壳体中的多个模块的一个装置也构成系统。

应注意，本文描述的有利效果是说明性的并且不是限制性的，并且可以获得其他优点。

此外，本公开的实施例不限于在上文中描述的实施例，并且在不脱离本公开的主题的情况下可以进行各种改变。

例如，本公开可以假设用于群组计算的配置，其中一个功能由多个设备通过网络共享并且协作处理。

此外，上文结合流程图所述的步骤可以由单个装置执行，或者可以由多个装置共享来执行。

此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由单个设备执行，并且也可以由多个装置共享来执行。

应该注意，本公开可以采用如下所述的配置。

(1)

一种图像处理装置，包括：

图像生成部，其被配置成使用第一层图像和第二层图像来生成给定视点的纹理图像，其中，所述第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，所述第二层图像包括在所述第一层图像的视点处的遮挡区域中的与所述第一视点不同的第二视点处的纹理图像和深度图像。

(2)

根据(1)或(2)所述的图像处理装置，其中，

所述第一层图像的视角和所述第二层图像的视角彼此相等并且大于90度但小于180度。

(3)

根据(1)所述的图像处理装置，其中，

所述图像生成部基于包括指示所述第一视点的位置和所述第二视点的位置的信息的元数据来生成所述给定视点的纹理图像。

(4)

根据(3)所述的图像处理装置，其中，

所述元数据包括作为与所述第一层图像对应的视线矢量的第一视线矢量以及作为与所述第二层图像对应的视线矢量的第二视线矢量。

(5)

根据(4)所述的图像处理装置，其中，

所述第一视线矢量和所述第二视线矢量彼此相同。

(6)

根据(5)所述的图像处理装置，其中，

所述第一层图像按照每个所述第一视线矢量而包括与所述第一视线矢量相对应的纹理图像和深度图像，所述第一视线矢量的起点是所述第一视点，

所述第二层图像按照每个所述第二视线矢量而包括与所述第二视线矢量相对应的纹理图像和深度图像，所述第二视线矢量的起点是从所述第一视点在给定方向上间隔开给定距离的所述第二视点，以及

所述图像生成部使用给定第一视线矢量的所述第一层图像以及与所述给定第一视线矢量相同的所述第二视线矢量的所述第二层图像来生成所述给定视点的纹理图像。

(7)

根据(6)所述的图像处理装置，其中，

所述给定方向对于每个所述第二视线矢量不同。

(8)

一种图像处理方法，包括：

图像生成步骤：通过图像处理装置使用第一层图像和第二层图像来生成给定视点的纹理图像，其中，所述第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，所述第二层图像包括在所述第一层图像的视点处的遮挡区域中的与所述第一视点不同的第二视点处的纹理图像和深度图像。

(9)

一种图像处理装置，包括：

图像生成部，其被配置成生成第一层图像和第二层图像，所述第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，所述第二层图像包括在所述第一层图像的视点处的遮挡区域中的与所述第一视点不同的第二视点处的纹理图像和深度图像。

(10)

根据(9)所述的图像处理装置，其中，

所述第一层图像的视角和所述第二层图像的视角彼此相等并且大于90度但小于180度。

(11)

根据(9)或(10)所述的图像处理装置，还包括：

元数据生成部，其被配置成生成包括指示所述第一视点的位置和所述第二视点的位置的信息的元数据。

(12)

根据(11)所述的图像处理装置，其中，

所述元数据包括作为与所述第一层图像对应的视线矢量的第一视线矢量以及作为与所述第二层图像对应的视线矢量的第二视线矢量。

(13)

根据(12)所述的图像处理装置，其中，

所述第一视线矢量和所述第二视线矢量彼此相同。

(14)

根据(13)所述的图像处理装置，其中，

所述第一层图像按照每个所述第一视线矢量而包括与所述第一视线矢量相对应的纹理图像和深度图像，所述第一视线矢量的起点是所述第一视点，以及

所述第二层图像按照每个所述第二视线矢量而包括与所述第二视线矢量相对应的纹理图像和深度图像，所述第二视线矢量的起点是从所述第一视点在给定方向上间隔开给定距离的所述第二视点。

(15)

根据(14)所述的图像处理装置，其中，

所述给定方向对于每个所述第二视线矢量不同。

(16)

一种图像处理方法，包括：

图像生成步骤：通过图像处理装置生成第一层图像和第二层图像，其中，所述第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，所述第二层图像包括在所述第一层图像的视点处的遮挡区域中的与所述第一视点不同的第二视点处的纹理图像和深度图像。

附图标记列表

12内容服务器，13家庭服务器，50第一层生成部，53第二层生成部，57元数据生成部，239绘制部，256 3D模型生成部，261遮挡处理部，403再现装置。

Claims (16)

1.一种图像处理装置，包括：

图像生成部，其被配置成使用第一层图像和第二层图像来生成给定视点的纹理图像，其中，所述第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，所述第二层图像包括在所述第一层图像的视点处的遮挡区域中的与所述第一视点不同的第二视点处的纹理图像和深度图像。

2.根据权利要求1所述的图像处理装置，其中，

所述第一层图像的视角和所述第二层图像的视角彼此相等并且大于90度但小于180度。

3.根据权利要求1所述的图像处理装置，其中，

所述图像生成部基于包括指示所述第一视点的位置和所述第二视点的位置的信息的元数据来生成所述给定视点的纹理图像。

4.根据权利要求3所述的图像处理装置，其中，

所述元数据包括作为与所述第一层图像对应的视线矢量的第一视线矢量以及作为与所述第二层图像对应的视线矢量的第二视线矢量。

5.根据权利要求4所述的图像处理装置，其中，

所述第一视线矢量和所述第二视线矢量彼此相同。

6.根据权利要求5所述的图像处理装置，其中，

所述第一层图像按照每个所述第一视线矢量而包括与所述第一视线矢量相对应的纹理图像和深度图像，所述第一视线矢量的起点是所述第一视点，

所述第二层图像按照每个所述第二视线矢量而包括与所述第二视线矢量相对应的纹理图像和深度图像，所述第二视线矢量的起点是从所述第一视点在给定方向上间隔开给定距离的所述第二视点，以及

所述图像生成部使用给定第一视线矢量的所述第一层图像以及与所述给定第一视线矢量相同的所述第二视线矢量的所述第二层图像来生成所述给定视点的纹理图像。

7.根据权利要求6所述的图像处理装置，其中，

所述给定方向对于每个所述第二视线矢量不同。

8.一种图像处理方法，包括：

图像生成步骤：通过图像处理装置使用第一层图像和第二层图像来生成给定视点的纹理图像，其中，所述第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，所述第二层图像包括在所述第一层图像的视点处的遮挡区域中的与所述第一视点不同的第二视点处的纹理图像和深度图像。

9.一种图像处理装置，包括：

图像生成部，其被配置成生成第一层图像和第二层图像，所述第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，所述第二层图像包括在所述第一层图像的视点处的遮挡区域中的与所述第一视点不同的第二视点处的纹理图像和深度图像。

10.根据权利要求9所述的图像处理装置，其中，

所述第一层图像的视角和所述第二层图像的视角彼此相等并且大于90度但小于180度。

11.根据权利要求9所述的图像处理装置，还包括：

元数据生成部，其被配置成生成包括指示所述第一视点的位置和所述第二视点的位置的信息的元数据。

12.根据权利要求11所述的图像处理装置，其中，

所述元数据包括作为与所述第一层图像对应的视线矢量的第一视线矢量以及作为与所述第二层图像对应的视线矢量的第二视线矢量。

13.根据权利要求12所述的图像处理装置，其中，

所述第一视线矢量和所述第二视线矢量彼此相同。

14.根据权利要求13所述的图像处理装置，其中，

所述第一层图像按照每个所述第一视线矢量而包括与所述第一视线矢量相对应的纹理图像和深度图像，所述第一视线矢量的起点是所述第一视点，以及

所述第二层图像按照每个所述第二视线矢量而包括与所述第二视线矢量相对应的纹理图像和深度图像，所述第二视线矢量的起点是从所述第一视点在给定方向上间隔开给定距离的所述第二视点。

15.根据权利要求14所述的图像处理装置，其中，

所述给定方向对于每个所述第二视线矢量不同。

16.一种图像处理方法，包括：

图像生成步骤：通过图像处理装置生成第一层图像和第二层图像，其中，所述第一层图像包括第一视点处的全方向图像的纹理图像和深度图像，所述第二层图像包括在所述第一层图像的视点处的遮挡区域中的与所述第一视点不同的第二视点处的纹理图像和深度图像。