CN110268450B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本公开内容涉及图像处理装置和图像处理方法，其使得能够将辅助信息存储在YCbCR格式的CbCr分量中，以使得不会发生由于编解码失真而引起的劣化。该图像处理装置被配备有：接收单元，其接收深度图像数据，在该深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且辅助信息被存储在YCbCr格式的CbCR分量中；以及辅助信息利用单元，其使用辅助信息对纹理图像和/或深度图像执行规定的图像处理。针对纹理图像中的每个像素的辅助信息的可能值具有N种模式，并且CbCr分量存储关于两个像素的辅助信息的组合被转换成N×N个灰度值所得的灰度值。例如，本技术可以应用于根据全向图像来生成具有规定视点的显示图像的家庭服务器等。

Description

图像处理装置和图像处理方法

技术领域

本公开内容涉及图像处理装置和图像处理方法，具体地，涉及能够将辅助信息以YCbCr格式存储在CbCr分量中以防止由编解码失真 (codec distortion)引起的劣化的图像处理装置和图像处理方法。

背景技术

PTL 1公开了如下编码器：该编码器对与第一视点(例如，右视点) 相关联的第一视频数据和第一深度数据以及与第二视点(左视点)相关联的第二视频数据和第二深度数据进行编码，并且将经编码的第一视频数据和第一深度数据以及经编码的第二视频数据和第二深度数据传送到多视图渲染设备。

此外，PTL 1公开了编码器将辅助信息(元数据)存储在深度数据的色度分量中。

[引用列表]

[专利文献]

[PTL 1]JP-T-2016-524373

发明内容

[技术问题]

在将辅助信息存储在色度分量中并对辅助信息进行编码的情况下，存在发生编解码失真并且不能正确地对辅助信息进行解码的可能情况；然而，PTL 1没有提到针对这个问题的解决方案。

鉴于这样的状况而实现了本公开内容，并且本公开内容的目的是将辅助信息以YCbCr格式存储在CbCr分量中，以防止由编解码失真引起的劣化。

[针对问题的解决方案]

根据本公开内容的第一方面的一种图像处理装置包括：接收部，其接收深度图像数据，在该深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且辅助信息被存储在YCbCr 格式的CbCr分量中；以及辅助信息利用部，其利用辅助信息对纹理图像或深度图像中的至少一个执行预定图像处理。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式，并且通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在CbCr分量中。

根据本公开内容的第一方面的一种图像处理方法包括以下步骤：使图像处理装置接收深度图像数据，在该深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且辅助信息被存储在YCbCr格式的CbCr分量中；以及使图像处理装置利用辅助信息对纹理图像或深度图像中的至少一个执行预定图像处理。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式，并且通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在 CbCr分量中。

根据本公开内容的第一方面，接收深度图像数据，在该深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且辅助信息被存储在YCbCr格式的CbCr分量中；以及利用辅助信息对纹理图像或深度图像中的至少一个执行预定图像处理。针对纹理图像的每个像素而辅助信息可以采用的值具有N种模式，并且通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在CbCr分量中。

根据本公开内容的第二方面的一种图像处理装置包括：图像数据生成部，其生成深度图像数据，在该深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且在对纹理图像或深度图像中的至少一个的处理中利用的辅助信息被存储在YCbCr格式的 CbCr分量中。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式，并且图像数据生成部将通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值存储在CbCr分量中。

根据本公开内容的第二方面的一种图像处理方法包括以下步骤：使图像处理装置生成深度图像数据，在该深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且在对纹理图像或深度图像中的至少一个的处理中利用的辅助信息被存储在YCbCr格式的CbCr分量中。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式，并且通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在CbCr分量中。

根据本公开内容的第二方面，生成深度图像数据，在该深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且在对纹理图像或深度图像中的至少一个的处理中利用的辅助信息被存储在YCbCr格式的CbCr分量中。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式，并且通过将与两个像素相关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在CbCr分量中。

图像处理装置可以是独立的装置，或者可以是构成一个装置的内部块。

注意，根据本公开内容的第一方面和第二方面的图像处理装置可以各自通过使计算机执行程序来实现。

此外，为了实现根据本公开内容的第一方面和第二方面的图像处理装置中的每一个，可以通过经由传输介质传送或者通过被记录在记录介质中来提供由计算机执行的程序。

[本发明的有益效果]

根据本公开内容的第一方面，可以使用存储在YCbCr格式的CbCr 分量中的辅助信息，以防止由编解码失真引起的劣化。

根据本公开内容的第二方面，可以将辅助信息存储在YCbCr格式的CbCr分量中，以防止由编解码失真引起的劣化。

要注意的是，效果并不总是限于本文描述的效果，而可以是本公开内容中描述的任何效果。

附图说明

图1是示出应用了本公开内容的图像显示系统的第一实施方式的配置示例的框图。

图2是示出内容服务器的配置示例的框图。

图3是示出高分辨率图像处理部的配置示例的框图。

图4表示距离z和r的说明图。

图5是示出3D模型坐标系的X轴的变化的示图。

图6表示伴随3D模型坐标系的X轴的变化的最小值z_min和r_min的变化的说明图。

图7是示出在将第一层的与六个面相对应的深度图像映射到球体上时球体上的像素的位置的示例的示图。

图8表示示出第一层的面的示例的示图。

图9是示出与第一层有关的视点位置信息和面信息的表的配置示例的示图。

图10是示出与第一层的预定面相对应的对象在深度方向上的位置的示图。

图11是示出第一层和第二层的纹理图像的构造示例的图。

图12表示第一层和第二层的纹理图像的示例的说明图。

图13表示第一层和第二层的纹理图像的另一示例的说明图。

图14表示示出第二层的视点的第一示例的示图。

图15是示出与第二层有关的视点位置信息和面信息的表的配置的第一示例的示图。

图16表示示出第二层的视点的第二示例的示图。

图17是示出与第二层有关的视点位置信息和面信息的表的配置的第二示例的示图。

图18是流生成处理的说明性流程图。

图19是示出家庭服务器的配置示例的框图。

图20是示出ML 3D模型生成部的配置示例的框图。

图21表示连接信息的示例的说明图。

图22是连接信息的另一示例的说明图。

图23表示采样点的示例的说明图。

图24表示采样点的另一示例的说明图。

图25表示遮挡处理的说明图。

图26是再现处理的说明性流程图。

图27是三维数据生成处理的细节的说明性流程图。

图28是示出图像显示系统的第二实施方式中的高分辨率图像处理部的配置示例的框图。

图29是示出图28的编码器的配置示例的框图。

图30表示由YCbCr420转换部执行的420转换处理的说明图。

图31是在N＝2的情况下420转换处理的说明图。

图32是在N＝2的情况下420转换处理的说明图。

图33是在N＝2的情况下420转换处理的说明图。

图34是在N＝3的情况下420转换处理的说明图。

图35是在N＝3的情况下420转换处理的说明图。

图36是在N＝3的情况下420转换处理的说明图。

图37是根据第二实施方式的第一层流生成处理的说明性流程图。

图38是图37的第一层流生成处理的第一变型例的说明性流程图。

图39是图37的第一层流生成处理的第二变型例的说明性流程图。

图40是图37的第一层流生成处理的第三变型例的说明性流程图。

图41是示出图像显示系统的第二实施方式中的ML 3D模型生成部的配置示例的框图。

图42是与利用辅助信息有关的功能框图。

图43是根据第二实施方式的第一层深度流解码处理的说明性流程图。

图44是辅助信息利用处理的说明性流程图。

图45是存储分段信息作为辅助信息的示例的说明图。

图46是存储分段信息作为辅助信息的示例的说明图。

图47是存储分段信息作为辅助信息的示例的说明图。

图48表示存储边缘信息作为辅助信息的示例的说明图。

图49是存储滤波因子信息作为辅助信息的示例的说明图。

图50是可以获得来作为一层中的辅助信息的各种信息及其效果的概要的示图。

图51表示存储分段信息作为辅助信息的示例的说明图。

图52是存储层号作为辅助信息的示例的说明图。

图53是存储三角形有效/无效信息作为辅助信息的示例的说明图。

图54是可以获得来作为多个层中的辅助信息的各种信息及其效果的概要的示图。

图55是示出应用了本公开内容的图像显示系统的第三实施方式的配置示例的框图。

图56表示第一层的纹理图像的其他示例的说明图。

图57是示出计算机硬件的配置示例的框图。

图58是示出车辆控制系统的示意性配置的实例的框图。

图59是车外信息检测部和成像部的安装位置的实例的示图。

具体实施方式

在下文中，将描述用于执行本公开内容的模式(在下文中，称为“实施方式”)。注意，将按以下顺序给出描述。

1.第一实施方式：图像显示系统(图1至图27)

2.第二实施方式：图像显示系统(图28至图54)

3.第三实施方式：图像显示系统(图55)

4.纹理图像的其他示例(图56)

5.第四实施方式：计算机(图57)

6.应用示例(图58和图59)

<1.第一实施方式>

(图像显示系统的第一实施方式的配置示例)

图1是示出应用了本公开内容的图像显示系统的第一实施方式的配置示例的框图。

图1的图像显示系统10被配置有多重摄像装置(multi-camera)11、内容服务器12、家庭服务器13、转换设备14和头戴式显示器15。图像显示系统10根据作为由多重摄像装置11捕获的YCbCr图像(YUV图像)的捕获图像来生成全向图像(omnidirectional image)，并且显示在全向图像中的观看者的视野范围内的图像。

具体地，图像显示系统10中的多重摄像装置11被配置有多个(在图1的示例中为六个)摄像装置，这些摄像装置在水平方向具有360度视野以及在垂直方向具有180度视野作为拍摄范围并且向外布置。每个摄像装置执行拍摄，并且摄像装置逐帧地生成捕获图像。多重摄像装置 11将摄像装置的捕获图像提供给内容服务器12。

内容服务器12(图像处理装置)根据从多重摄像装置11提供的每个摄像装置的捕获图像来生成预定视点的全向图像的纹理图像和深度图像。在第一实施方式中，深度图像是以距离r的倒数1/r作为像素值的图像，距离r是从预定视点到每个像素中的对象的直线的距离r，并且是八位值。

内容服务器12降低全向图像的纹理图像和深度图像的分辨率，以生成低分辨率纹理图像和低分辨率深度图像。内容服务器12通过诸如 H.264/MPEG(运动图像专家组)-4AVC(高级视频编码)、H.265/HEVC (高效视频编码)、MPEG2或DV的编码方案对低分辨率纹理图像和低分辨率深度图像进行压缩和编码。内容服务器12存储作为压缩和编码的结果而获得的低分辨率纹理图像的编码流(下文中称为“低分辨率纹理流”)和低分辨率深度图像的编码流(下文中称为“低分辨率深度流”)。

此外，内容服务器12使用摄像装置的捕获图像来对与构成以全向图像的视点作为中心的立方体的六个面相对应的纹理图像和深度图像进行分层和生成。具体地，内容服务器12生成六个面上的第一层和第二层的纹理图像和深度图像。注意，全向图像的视点可以与立方体的中心不同。

内容服务器12针对每个面、每个图像类型和每层，通过诸如 H.264/MPEG-4AVC、H.265/HEVC、MPEG2或DV的编码方案来对每个面上的第一层的每一个均包括纹理图像和深度图像的第一层图像、以及每个面上的第二层的每一个均包括纹理图像和深度图像的第二层图像进行压缩和编码。内容服务器12存储作为压缩和编码的结果而获得的、每个面上的第一层的纹理图像的编码流(下文中，称为“第一层纹理流”)、每个面上的第一层的深度图像的编码流(下文中，被称为“第一层深度流”)、每个面上的第二层的纹理图像的编码流(下文中，称为“第二层纹理流”)、以及每个面上的第二层的深度图像的编码流(下文中，称为“第二层深度流”)。注意，第一层图像和第二层图像的编码方案可以是MVC(多视图视频编码)、3D-HEVC等。

此外，内容服务器12生成与第一层和第二层的每个面相关的信息等作为元数据并存储元数据。内容服务器12经由未示出的网络向家庭服务器13传送全部都存储在内容服务器12中的低分辨率纹理流和低分辨率深度流、六个面上的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据。

注意，内容服务器12可以重构(稍后将详细描述)六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。在这种情况下，内容服务器12可以向家庭服务器13传送重构之后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及与其对应的元数据。然而，为了方便起见，在下文中假设，即使在执行重构的情况下，也向内容服务器12传送重构之前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

家庭服务器13(图像处理装置)接收全部都从内容服务器12传送的低分辨率纹理流、低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据。

此外，家庭服务器13将摄像装置13A并入其中并且捕获附于附接至观看者头部的头戴式显示器15的标记15A的图像。然后，家庭服务器 13基于标记15A的捕获图像来检测观看位置。此外，家庭服务器13经由转换设备14从头戴式显示器15接收头戴式显示器15中的陀螺仪传感器15B的检测结果。家庭服务器13基于陀螺仪传感器15B的检测结果而确定观看者的视线方向，并且基于观看位置和视线方向来确定观看者的视野范围。

家庭服务器13从第一层的六个面中选择与观看者的视线方向相对应的三个面。另外，家庭服务器13对与所选择的三个面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流进行解码。从而，家庭服务器13生成与所选择的三个面相对应的第一层和第二层的纹理图像和深度图像。

此外，家庭服务器13对低分辨率纹理流和低分辨率深度流进行解码，并且生成低分辨率纹理图像和低分辨率深度图像。家庭服务器13使用与所选择的三个面相对应的第一层和第二层的纹理图像和深度图像、低分辨率纹理图像、以及低分辨率深度图像来生成观看者的视野范围内的图像作为显示图像。家庭服务器13经由未示出的HDMI(注册商标)(高清晰度多媒体接口)电缆将显示图像传送至转换设备14。

转换设备14将从家庭服务器13传送的显示图像中的坐标转换成头戴式显示器15中的坐标。转换设备14将经坐标转换的显示图像提供给头戴式显示器15。

头戴式显示器15具有标记15A和陀螺仪传感器15B，并且附接至观看者的头部。头戴式显示器15显示从转换设备14提供的显示图像。此外，并入头戴式显示器15中的陀螺仪传感器15B检测头戴式显示器15 的倾斜度并经由转换设备14将倾斜度的检测结果传送至家庭服务器13。

(内容服务器的配置示例)

图2是示出图1的内容服务器12的配置示例的框图。

图2的内容服务器12被配置有深度检测部31、低分辨率图像处理部 33和高分辨率图像处理部34。

内容服务器12中的深度检测部31针对从图1的多重摄像装置11提供的每个摄像装置的捕获图像的每个像素，检测在包含像素中的对象且与深度方向垂直的深度平面与摄像装置之间的在深度方向上的距离z的倒数1/z。深度检测部31将以作为检测结果而获得的每个摄像装置的捕获图像的每个像素的倒数1/z作为像素值的z图像提供给低分辨率图像处理部33和高分辨率图像处理部34。

低分辨率图像处理部33通过将从多重摄像装置11提供的每个摄像装置的捕获图像映射(透视地投影)到以多重摄像装置11的三维坐标系 (下文中，称为“摄像装置坐标系”)中的预定三维位置作为视点的正八面体上，来生成全向图像的纹理图像。此外，低分辨率图像处理部33 通过与捕获图像类似地将从深度检测部31提供的每个摄像装置的z图像映射到正八面体上来生成全向图像的z图像。

低分辨率图像处理部33将全向图像的z图像的每个像素的倒数1/z 转换为倒数1/r。然后，低分辨率图像处理部33通过以下等式(1)来对倒数1/r执行8位量化。

[数学式1]

应注意，I_d(r)表示距离r的倒数1/r的8位量化值。此外，r_max和r_min分别表示全向图像中的距离r的最大值和最小值。

低分辨率图像处理部33通过使用全向图像的每个像素的倒数1/r的 8位量化值作为像素值来生成全向图像的深度图像。

低分辨率图像处理部33降低全向图像的纹理图像和深度图像的分辨率，以生成低分辨率纹理图像和低分辨率深度图像。低分辨率图像处理部33对低分辨率纹理图像和低分辨率深度图像进行压缩和编码，并存储作为压缩和编码的结果而获得的低分辨率纹理流和低分辨率深度流。低分辨率图像处理部33将存储在其中的低分辨率纹理流和低分辨率深度流传送至图1的家庭服务器13。

高分辨率图像处理部34使用从多重摄像装置11提供的摄像装置的捕获图像来生成与构成中心与低分辨率图像处理部33中使用的正八面体的中心相同的立方体的六个面相对应的第一层和第二层的纹理图像。高分辨率图像处理部34使用从深度检测部31提供的摄像装置的z图像来与捕获图像类似地生成与六个面相对应的第一层和第二层的深度图像。

高分辨率图像处理部34针对每个面、每个图像类型和每层，对面上的第一层和第二层的纹理图像和深度图像进行压缩和编码。内容服务器 12存储作为压缩和编码的结果而获得的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

此外，高分辨率图像处理部34生成并存储元数据。内容服务器12 经由未示出的网络向家庭服务器13传送全部存储在内容服务器12中的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

(高分辨率图像处理部的配置示例)

图3是示出图2的高分辨率图像处理部34的配置示例的框图。

图3的高分辨率图像处理部34被配置有第一层生成部50、量化部 51、编码器52、第二层生成部53、量化部54、编码器55、设置部56、元数据生成部57、存储装置58、重构部59和传送部60。

从设置部56向第一层生成部50提供指示原点的视点位置信息来作为第一层的视点在以摄像装置坐标系中的全向图像的视点为原点的三维坐标系(下文中，称为“3D模型坐标系”)中的三维位置。还向第一层生成部50提供面信息，该面信息指示包含构成以3D模型坐标系中的原点作为中心的立方体的六个面的六个面中的每个面的、在3D模型坐标系中的三维位置和尺寸。

第一层生成部50将由视点位置信息指示的原点设置为第一层的视点 (第一视点)。第一层生成部50(图像生成部)从第一层的视点将从图 1的多重摄像装置11提供的捕获图像映射到具有由关于六个面的面信息指示的三维位置和尺寸的面上，其中以摄像装置坐标系中的全向图像的视点作为原点。由此，第一层生成部50生成第一层的六个面的纹理图像。

此外，在以摄像装置坐标系中的全向图像的视点作为原点的情况下，第一层生成部50(图像生成部)从第一层的视点将从图2的深度检测部 31提供的z图像映射到具有由关于六个面的面信息指示的三维位置和尺寸的面上。由此，第一层生成部50生成第一层的六个面的z图像。

由于与第一层的六个面相对应的视点是相同的，因此第一层的六个面的纹理图像可以被视为通过将被映射到以第一层的视点作为中心的 3D模型上的全向图像映射到六个面上而获得的图像。类似地，第一层的六个面的z图像可以被视为通过将被映射到以第一层的视点作为中心的 3D模型上的全向图像的z图像映射到六个面上而获得的图像。第一层生成部50将第一层的六个面的纹理图像提供给编码器52，并且将第一层的六个面的z图像提供给量化部51。

量化部51将从第一层生成部50提供的第一层的六个面的z图像中的每一个的每个像素的倒数1/z转换为倒数1/r。然后，量化部51通过上述的等式(1)来对倒数1/r执行8位量化。在等式(1)中，r_max和r_min表示分别在全部六个面上距离r的最大值和最小值。与设置每个面的距离r的最大值和最小值的情况相比，将r_max和r_min设置为全部六个面上距离r的最大值和最小值使得可以防止量化步骤根据面而改变。量化部51 将第一层的六个面的z图像的每个像素的倒数1/r的8位量化值设置为像素值，从而生成第一层的六个面的深度图像并且将深度图像提供给编码器52。

编码器52针对每个面和每个图像类型而对第一层的六个面的纹理图像和深度图像进行压缩和编码，以生成第一层纹理流和第一层深度流。编码器52将第一层纹理流和第一层深度流提供给存储装置58。

从设置部56向第二层生成部53提供关于与第一层的每个面相对应的第二层的每个面的、与第一层的视点不同的视点(第二视点)的视点位置信息、以及关于与第一层的每个面相对应的第二层的每个面的面信息。第二层生成部53针对每个面而将由与第二层的每个面相对应的视点位置信息指示的三维位置设置为第二层的视点。

第二层生成部53(图像生成部)从与第二层的面相对应的第二层的视点将从多重摄像装置11提供的捕获图像中的、在第一层的视点处的遮挡区域映射到第二层的每个面上。由此，第二层生成部53生成第二层的六个面的纹理图像。

此外，第二层生成部53(图像生成部)从与第二层的面相对应的第二层的视点将从深度检测部31提供的z图像中的、在第一层的视点处的遮挡区域映射到第二层的每个面上。由此，第二层生成部53生成第二层的六个面的z图像。

换句话说，摄像装置位于多重摄像装置11中的不同位置；因此，当摄像装置坐标系中的一个三维位置被假设为视点时，每个捕获的图像包含在视点处的遮挡区域。然而，由于通过映射在一个视点处的全向图像来生成第一层的纹理图像，因此第一层的纹理图像不包含在视点处的遮挡区域的捕获图像。因此，第二层生成部53包含遮挡区域的捕获图像作为第二层的纹理图像。这类似地适用于z图像。第二层生成部53将第二层的六个面的纹理图像提供给编码器55，并将第二层的六个面的z图像提供给量化部54。

量化部54将从第二层生成部53提供的第二层的六个面的z图像中的每一个的每个像素的倒数1/z转换为倒数1/r。然后，类似于量化部51，量化部54通过上述的等式(1)对倒数1/r执行8位量化。量化部54将第二层的六个面的z图像的每个像素的倒数1/r的8位量化值设置为像素值，从而生成第二层的六个面的深度图像并将深度图像提供给编码器55。

编码器55针对每个面和每个图像类型而对第二层的六个面的纹理图像和深度图像进行压缩和编码，以生成第二层纹理流和第二层深度流。编码器55将第二层纹理流和第二层深度流提供给存储装置58。

设置部56将3D模型坐标系中的原点设置为第一层的视点。设置部 56将包含构成以第一层的视点作为中心的立方体的六个矩形面的六个面设置为第一层的面。另外，设置部56针对第一层的每个面而设置第二层的视点和矩形面。

设置部56将关于第一层的一个视点位置信息和六条面信息提供给第一层生成部50和元数据生成部57。另外，设置部56将关于与第一层的六个面相对应的第二层的六条视点位置信息和六条面信息提供给第二层生成部53和元数据生成部57。

元数据生成部57生成包含从设置部56提供的关于第一层的视点位置信息和面信息以及关于第二层的视点位置信息和面信息的表作为元数据，并将元数据提供给存储装置58。

存储装置58将从编码器52提供的第一层纹理流和第一层深度流以及从编码器55提供的第二层纹理流和第二层深度流存储在其中。存储装置58还将从元数据生成部57提供的元数据存储在其中。

此外，存储装置58将从重构部59提供的重构后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据存储在其中。

重构部59根据需要读取并重构存储装置58中存储的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

具体地，重构部59使用重构前的第一层纹理流来改变与第一层纹理流相对应的面和视角的数量，并且使用重构前的第一层深度流来改变与第一层深度流相对应的面和视角的数量。例如，重构部59通过向构成立方体的六个面添加通过这六个面的中心的法线是穿过立方体的12个边的中点和视点的线的12个面来将包含这六个面的第一层的六个面分别改变为18个面。

替选地，重构部59使用在重构前的第一层纹理流来改变与第一层纹理流相对应的面与面间隔(密度)，并且使用重构前的第一层深度流来改变与第一层深度流相对应的面与面间隔。例如，重构部59将分别包含构成立方体的六个面且通过中心的法线的间隔是90度的第一层的六个面改变为通过中心的法线的间隔是45度的18个面。

如果第一层的面与面间隔较窄，则面的数量增加并且总数据容量增加；然而，家庭服务器13可以使用与更接近观看者的视野范围的第一层的面相对应的纹理图像和深度图像来生成显示图像。因此，使用第一层或第二层的纹理图像和深度图像来生成的高分辨率区域的数量在显示图像中增加，并且显示图像的图像质量得到改善。

注意，重构部59可以通过以下步骤来执行重构：使用重构前的第一层纹理流来改变与第一层纹理流相对应的面的位置，并且使用重构前的第一层深度流来改变与第一层深度流相对应的面的位置。在这种情况下，当主要对象例如存在于第一层的面之间的边界上时，重构部59通过旋转与第一层的六个面相对应的立方体来执行重构，以使得主要对象存在于除第一层的面之间的边界之外的位置(例如，在中心)处。

此外，重构部59可以通过如下步骤来执行重构：使用重构前的第一层纹理流来改变与第一层纹理流相对应的面的倾斜度，并且使用重构前的第一层深度流来改变与第一层深度流相对应的面的倾斜度。在这种情况下，重构部59通过例如旋转与第一层的六个面相对应的立方体来执行重构，以使得当第一层的纹理图像中的主要对象倾斜时主要对象的倾斜被消除。

重构部59针对到目前为止所描述的被改变的第一层的每个面而设置重构后的第二层的视点和面。然后，重构部59使用重构前的第二层纹理流来将与第二层纹理流相对应的视点和面改变为所设置的重构后的第二层的视点和面。此外，重构部59使用重构前的第二层深度流来将与第二层深度流相对应的视点和面改变为所设置的重构后的第二层的视点和面。

重构部59将重构后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给存储装置58。此外，重构部59生成包含重构后的关于第一层的视点位置信息和面信息以及关于第二层的视点位置信息和面信息的表作为元数据，并将元数据提供给存储装置58。

传送部60从存储装置58读取六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并将六个面的第一层纹理流、第一层深度流、第二层纹理流、第二层深度流以及元数据传送至图1的家庭服务器13。

如到目前为止所述的，图3的高分辨率图像处理部34通过透视投影来生成第一层图像和第二层图像。因此，家庭服务器13可以对第一层图像和第二层图像执行通常的图像处理。此外，高分辨率图像处理部34可以通过通常的图像编码流传送方法来传送第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

(距离z和r的说明)

图4表示距离z和r的说明图。

应注意，图4表示从上方与第一层相对应的立方体的预定面的视图。

距离z是从视点到包含对象且垂直于每个像素中的深度方向的深度平面的距离。此外，第一层的每个面的深度方向是与第一层的面垂直的方向。因此，第一层的每个面与深度平面平行。从而，作为第一层的面上的距离z相同的深度平面的等距z面被成形为以第一层的视点O作为中心的立方体。因此，当从与第一层相对应的立方体的预定面上方观看时，等距z面的形状是正方形，如图4的A中的虚线所示。

另一方面，距离r是从视点到每个像素中的对象的直线的距离。此外，从第一层的每个面的视点O到对象的直线的方向与面无关地是以视点O为中心的圆的径向。因此，在第一层的面上的距离r相同的等距r 面被成形为以第一层的视点O为中心的球体。因此，当从与第一层相对应的立方体的预定面上方观看时，等距z面的形状是圆形，如图4的B 中的虚线所示。

(深度图像的效果说明)

在下文中假设在通过第一层的视点O和构成与第一层相对应的立方体80的六个面的中心的六个面的法向矢量中的、彼此正交的三个法向矢量在3D模型坐标系的X轴、Y轴和Z轴的正方向上，并且在与前三个法向矢量的方向相反的方向上的三个法向矢量在3D模型坐标系的X轴、 Y轴和Z轴的负方向上。

图5是示出3D模型坐标系的X轴的变化的示图，并且图6表示伴随3D模型坐标系的X轴的变化的、最小值z_min和r_min的变化的说明图。

在图5和图6的示例中，假设第一层的每个面的视角是90度。

如图5所示，在与第一层相对应的立方体80在XZ平面上以Y轴为轴旋转了45度并且第一层的面的位置改变的情况下，X轴在XZ平面上旋转了45度。具有在X轴的正方向上的法向矢量的第一层的面81的深度方向在XZ平面上旋转了45度。

因此，如图6所示，当在面81的视角内存在围绕以正值作为X坐标且以0作为Z坐标的位置的球体76作为对象时，旋转前的面81上的最小值z_min是如图6的A所示的、视点O与图6的A的球体76的X轴的正方向之间的距离的最小值。然而，旋转后的面81上的最小值z_min是如图6的B中所示的、视点O与视角内的球体76的图6的B的X轴的正方向(图6的B的球体76的上半部分)之间的距离的最小值。

此外，在图6的示例的情况下，旋转前的面81上的最大值z_max是无穷大，因此，旋转后的面81上的最大值z_max是无穷大；然而，在最大值 z_max不是无穷大的情况下，由于与最小值z_min的原因相似的原因，在面 81上最大值z_max在旋转前后改变。类似地，关于第一层的其他面，最小值z_min和最大值z_max改变。

此外，尽管省略了说明，但是即使在第一层的面的视角、其面的数量或间隔改变的情况下，最小值z_min和最大值z_max在第一层的所有面上也改变。

因此，在使用距离z的倒数1/z作为第一层的深度图像的每个像素的 y值(亮度值)的情况下，需要在由重构部59进行重构时重新计算每个面上的最小值z_min和最大值z_max并且重新确定所有面上的最小值z_min和最大值z_max。因此，需要再次对深度图像执行8位量化。

另一方面，无论第一层的面的位置如何，从视点O到对象的直线的方向都保持不变。因此，即使在如图5所示的那样、立方体80在XZ平面上以Y轴作为轴旋转了45度的情况下，最小值r_min和最大值r_max保持不变。

换句话说，如图6的B所示，即使图6的B的X轴在XZ平面上旋转了45度，与旋转前的情况类似地，从视点O到对象的直线的方向是从视点O径向延伸的方向。因此，第一层的所有面上的最小值r_min是从视点O到球体76的直线的距离的最小值，而与X轴的旋转无关。由于与最小值r_min的原因相似的原因，第一层的所有面上的最大值r_max在旋转前后保持不变。

此外，尽管省略了说明，但即使在第一层的面的视角、其面的数量或其间隔改变的情况下，从视点O到对象的直线的方向也不会改变，因此最小值r_min和最大值r_max保持不变。

因此，不使用倒数1/z而使用倒数1/r的量化值作为第一层的深度图像的每个像素的y值使得能够省去在重构部59重构时用于再次对深度图像执行8位量化的处理。

虽然上面已经描述了不重构低分辨率纹理流和低分辨率深度流，但是可以重构低分辨率纹理流和低分辨率深度流。在这种情况下，与上述类似，低分辨率深度图像的每个像素的y值是倒数1/r的量化值；因此，与在重构第一层的深度图像时类似，可以省去在重构时再次对低分辨率深度图像执行8位量化的处理。

此外，可以通过改变低分辨率纹理流和低分辨率深度流的映射方案来重构低分辨率纹理流和低分辨率深度流。在这种情况下，与上述类似，使用倒数1/r的量化值作为低分辨率深度图像的每个像素的y值使得可以省去在重构时用于再次对低分辨率深度图像执行8位量化的处理。

(第一层的六个面的深度图像的像素在球体上的位置的示例)

图7是示出在将第一层的六个面的深度图像映射到球体上时球体上的像素的位置的示例的示图。

注意，在将第一层的六个面的深度图像映射到球体上时球体上的像素的位置由图7中的点表示。

第一层的每个面的每个深度图像的像素在深度图像上以相等的间隔而隔开。然而，如图7所示，在将第一层的六个面的深度图像映射到球体上时球体上的像素不是以相等的间隔而隔开。换句话说，在将第一层的六个面的深度图像映射到球体上时像素在球体上的位置的密度不是固定的。

(第一层的面的示例)

图8表示示出第一层的面的示例的示图。

注意，当视点O与六个面之间的距离均被假设为R时，X＝R的面也将被称为“+X面”，并且X＝-R的面也将被称为为“-X面”，视情况而定。类似地，Y＝R的面、Y＝-r的面、Z＝R的面、以及Z＝-R的面也将被称为“+Y面”、“-Y面”、“+Z面”和“-Z面”，视情况而定。

此外，图8的A是与第一层相对应的立方体80的透视图，而图8 的B示出了沿Y轴的负方向观看的与第一层相对应的立方体80。

如图8的A所示，第一层的一个面91是在构成以视点0为中心的立方体80的六个面81至86中的、包含+Y面83的面。更具体地，面91 是这样的面：其位置被设置为与+Y面83的位置相同，并且其在横向方向和纵向方向上的视角大于为+Y面83的视角的90度且小于180度。

因此，如图8的B所示，面91的纹理图像不仅包含被映射到+Y面 83上的纹理图像，还包含被映射到与+Y面83相邻的+X面81、-X面82、 +Z面85和-Z面86上的纹理图像的一部分。与面91的纹理图像一样，这类似地适用于面91的深度图像。

虽然图8仅示出了第一层的一个面91，但是与面91类似地，第一层的另外五个面是这样的面：其位置被设置成与+X面81、-X面82、-Y面 84、+Z面85和-Z面86的位置相同，并且其在横向方向和纵向方向上的视角大于90度且小于180度。

如上所述，第一层的六个面中的每一个均包含构成立方体的六个面 81至86；因此，全向图像总是被映射到第一层的六个面中的任一个面上。因此，使用第一层的六个面中的最多三个相邻面使得家庭服务器13能够在水平方向上的360度视野和垂直方向上的180度视野中的任意方向上生成显示图像，其中视点O被假设为观看位置。

(关于第一层的视点位置信息和面信息的表的配置示例)

图9是示出由图3的元数据生成部57生成的元数据中的关于第一层的视点位置信息和面信息的表的配置示例的示图。

在图9的示例中，指示每个面在3D模型坐标系中的三维位置的信息是面信息中的方位角、仰角、旋转角和视线矢量，以及指示尺寸的信息是横向视角和纵向视角。

方位角是在XZ平面方向上在将视点连接至每个面的中心的线与Z 轴之间形成的角度，以及仰角是在将视点连接至每个面的中心的线与XZ 平面之间形成的角度。本文假设方位角的顺时针方向是正方向，以及仰角的逆时针方向是正方向。通过将在Z轴方向上从视点起延伸的线在XZ 平面上水平地旋转了方位角、然后在Y轴方向上垂直地旋转了仰角而获得的线是穿过每个面的中心的法线。

旋转角是每个面在旋转方向上以将视点与面的中心连接的线作为轴的角度。本文假设旋转角的顺时针方向是正方向。视线矢量是从作为起点的视点到每个面的中心的、长度为1的矢量，即，穿过每个面的中心的法向矢量。横向视角是在将每个面在横向方向上的两个端部与视点连接的线之间形成的角度，并且纵向视角是在将每个面在纵向方向上的两个端部与视点连接的线之间形成的角度。

如图9所示，在关于第一层的视点位置信息和面信息的表中登记在图3的存储装置58中存储每个面的第一层纹理流和第一层深度流的文件的文件名的共同部分。

具体地，在图9的示例中，包含+Z面85、-Z面86、+X面81、-X 面82、+Y面83和-Y面84的面的第一层纹理流的文件名分别是 posZ_texture、negZ_texture、posX_texture、negX_texture、posY_texture 和negY_texture。此外，包含+Z面85、-Z面86、+X面81、-X面82、 +Y面83和-Y面84的面的第一层深度流的文件名是posZ_depth、 negZ_depth、posX_depth、negX_depth、posY_depth和negY_depth。因此， posZ、negZ、posX、negX、posY和negY被登记在图9的表中，作为第一层的面的文件名的共同部分。

此外，在关于第一层的视点位置信息和面信息的表中与文件名的共同部分相对应地登记与文件名的共同部分对应的、关于每个面的面信息、视点位置信息、以及纹理图像和深度图像的横向像素的数量和纵向像素的数量。

具体地，在XZ平面方向上在将包含+Z面85、-Z面86、+X面81、 -X面82、+Y面83和-Y面84的第一层的面的中心与视点0连接的线和 Z轴之间的角度分别为0度、-180度、90度、-90度、0度和0度，以及线与XZ平面之间的角度分别为0度、0度、0度、0度、90度和-90度。因此，分别与文件名“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”的共同部分相对应地登记方位角“0度”、“-180度”、“90 度”、“-90度”、“0度”和“0度”，以及分别与其对应地登记仰角“0度”、“0度”、“0度”、“0度”、“90度”和“-90度”。

此外，在图9的示例中，第一层的所有面的旋转角都是0度。因此，与文件名“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”的共同部分相对应地登记旋转角“0度”。此外，与文件名“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”的共同部分相对应地将原点的坐标(0,0,0)登记为视点位置信息。

此外，包含+Z面85、-Z面86、+X面81、-X面82、+Y面83和-Y 面84的第一层的面与视点O的视线矢量分别是(0,0,1)、(0,0,-1)、 (1,0,0)、(-1,0,0)、(0,1,0)和(0,-1,0)。因此，分别与文件名“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”的共同部分相对应地登记视线矢量(0,0,1)、(0,0,-1)、(1,0,0)、(-1,0,0)、(0,1,0) 和(0,-1,0)。

此外，在图9的示例中，第一层的所有面的横向视角和纵向视角是大于90度的100度，并且作为纹理图像和深度图像中的每一个在横向方向上的像素数量的横向像素数量以及作为纹理图像和深度图像中的每一个在纵向方向上的像素数量的纵向像素数量是1024。因此，与文件名“posZ”、“negZ”、“posX”、“negX”、“posY”和“negY”的共同部分相对应地登记横向视角“100度”、纵向视角“100度”、横向像素数量“1024”和纵向像素数量“1024”。

(分层的说明)

图10是示出与第一层的预定面相对应的、对象在深度方向上的位置的示图，并且图11是示出在第一层的视点与第二层的视点相同的情况下图10中的对象的第一层和第二层的纹理图像的构造示例的示图。

注意，图10示出了从上方观看的第一层的视点O和对象，并且图 10的垂直方向是包含视角内的该对象的第一层的预定面的深度方向。此外，在图11中，水平方向和垂直方向分别表示纹理图像的横向方向和深度方向。图10和图11的向上方向表示前侧，以及向下方向表示后侧。

在图10和图11的示例中，在第一层的预定面的视角内包含的对象是在中心的前景111和在前景的后面的背景112。在这种情况下，如图 11所示，第一层的预定面的纹理图像由前景111的捕获图像121和背景 112中的未被前景111隐藏的区域112A的捕获图像122A构成。

另一方面，如图11所示，第二层的与第一层的预定面相对应的面的纹理图像包含在背景112中的被前景111遮挡的遮挡区域112B中的、由多重摄像装置11捕获的遮挡区域112C的捕获图像122C，作为有效区域。

任何东西都可以设置在除了第二层的面的纹理图像中的有效区域以外的区域中；然而，设置诸如无效值的特殊值会导致通过压缩和编码而改变特殊值的值，并且家庭服务器13难以通过解码来重建特殊值。

因此，除了第二层的面的纹理图像中的有效区域之外的区域被分成与区域112A相对应的非必要区域(背景区域)和与遮挡区域112B中的除捕获的遮挡区域112C以外的区域相对应的虚构区域。

在与不存在遮挡区域的区域112A相对应的非必要区域中的每一个中，与第一层类似地设置捕获图像122A，或者设置不具有尖锐边缘部分的平坦图像。在将捕获图像122A设置在非必要区域中的情况下，在非必要区域中，第一层的纹理图像与第二层的纹理图像相同；因此，在通过 MVC方案或3D-HEVC方案对第一层的纹理图像进行压缩和编码、同时参考第二层的纹理图像的情况下，可以提高压缩比。此外，在将平坦图像设置在非必要区域中的情况下，与设置具有尖锐边缘部分的图像的情况相比，可以提高第二层图像的压缩比。注意，捕获图像122A可以设置在非必要区域的一部分中，并且平坦图像可以设置在非必要区域的另一部分上。

此外，虚构区域是这样的区域：在该区域中存在遮挡区域，但是该区域对应于多重摄像装置11未捕获的且与遮挡区域112B中的捕获的遮挡区域112C不同的区域。因此，与第一层类似地，使用拍摄的遮挡区域 112C的捕获图像122C来估计(修复(inpaint))的修复图像被设置在虚构区域中，或者捕获图像121被设置在其中。

注意，过去的捕获图像可以用于修复。内容服务器12执行修复，由此家庭服务器13可以与有效区域等同地处理虚构区域。此外，内容服务器12在再现之前执行修复，从而使得能够执行需要更长时间且处理负荷高的修复。

此外，在将捕获图像121设置在虚构区域中的情况下，即使当虚构区域是分散的或者难以执行修复时，也可以容易地生成虚构区域。修复图像可以被设置在虚构区域的一部分中，并且捕获图像121可以被设置在虚构区域的其他部分中。

除了用深度图像替代捕获图像之外，第一层和第二层的深度图像的构造类似于第一层和第二层的纹理图像的构造；因此，将省略说明。此外，下面将描述将与第一层中的捕获图像类似的捕获图像或者深度图像设置在第二层的非必要区域和虚构区域中的情况。

(第一层和第二层的视点的说明)

图12表示在第一层的视点与第二层的视点相同的情况下第一层和与第一层的预定面相对应的第二层的纹理图像的说明图。图13表示在第一层的视点与第二层的视点不同的情况下第一层和与第一层的预定面相对应的第二层的纹理图像的说明图。

图12的A和图13的A是从上方观看的第一层的视点O和对象的示图，并且图12的A和图13的A的垂直方向是包含在视角内的该对象的第一层的预定面的深度方向。

如图12的A所示，在第二层的视点是第一层的视点O的情况下，在第一层的预定面131的视角内延伸至视点O的棒状对象141在第一层的纹理图像151和第二层的纹理图像152中变成点。

换句话说，由于第一层和第二层在从视点O到面131的方向上是相同的，因此对象141在第一层的纹理图像151和第二层的纹理图像152 中都退化为一个点。因此，在纹理图像151和152中无法表现对象141 在延伸至视点O的方向上的长度。

另一方面，在第二层的视点是与第一层的视点O不同的视点O'的情况下，在第一层的面131和第二层的面161的视角内包含的对象141在第二层的纹理图像172中变成直线。

换句话说，从第一层的视点O到其面131的方向不同于从第二层的视点O'到其面161的方向。因此，即使对象141在第一层的纹理图像151 中退化为一个点，对象141在第二层的纹理图像172中也不会退化为一个点。因此，能够在纹理图像172中表现对象141在延伸至视点O的方向上的长度。

鉴于上述内容，内容服务器12将第一层的视点和第二层的视点设置为彼此不同。

(第二层的视点的第一示例)

图14表示示出第二层的视点的第一示例的示图。

图14的A是第一层的立方体80的透视图，以及图14的B是在Y 轴的负方向上观看到的立方体80的示图。这类似地适用于图16。

在图14的示例中，与第一层的包含+X面81的面相对应的第二层的面的视点191被设置在从第一层的视点O沿Y轴的正方向移动了为立方体80的每边的长度的一半的长度a的位置处。在图14中，如添加到视点191的箭头所示，与第一层的面的视线矢量类似，与第一层的包含+X 面81的面相对应的第二层的面的视线矢量是(1,0,0)。

与第一层的包含-X面82的面相对应的第二层的面的视点192被设置在从视点O沿Y轴的负方向移动了长度a的位置处。在图14中，如添加到视点192的箭头所示，与第一层的面的视线矢量类似，与第一层的包含-X面82的面相对应的第二层的面的视线矢量是(-1,0,0)。

此外，与第一层的包含+Y面83的面91相对应的第二层的面的视点 193和与第一层的包含-Y面84的面相对应的第二层的面的视点194设置在分别从视点O沿Z轴的正方向和负方向移动了长度a的位置处。在图 14中，如添加到视点193和194的箭头所示，与第一层的面的视线矢量类似，与第一层的面91相对应的第二层的面的视线矢量是(0,1,0)，并且与第一层的包含-Y面84的面相对应的第二层的面的视线矢量是(0,-1,0)。

此外，与第一层的包含+Z面85的面相对应的第二层的面的视点195 和与第一层的包含-Z面86的面相对应的第二层的面的视点196被设置在分别从第一层的视点O沿X轴的正方向和负方向移动了长度a的位置处。在图14中，如添加到视点195和196的箭头所示，与第一层的面的视线矢量类似，与第一层的包含+Z面85的面相对应的第二层的面的视线矢量是(0,0,1)，并且与第一层的包含-Z面86的面相对应的第二层的面的视线矢量是(0,0,-1)。

如到目前为止所描述的，在图14的示例中，第二层的面的视点191 至196各自被设置在从第一层的视点O沿与视线矢量垂直的一个方向移动了长度a的位置处。此外，第二层的每个面的视线矢量与第一层的对应面的视线矢量相同。此外，第二层的面的视点191至196偏离视点O 的方向随着面的不同而不同。

应注意，第二层的面的视点191至196与视点O之间的、在X轴Y 轴或Z轴方向上的距离不限于为立方体80的每边的长度的一半的长度a。

(关于第二层的视点位置信息和面信息的表的第一配置示例)

图15是示出在将图14的视点191至196设置为第二层的面的视点的情况下由图3的元数据生成部57生成的元数据中的、关于第二层的视点位置信息和面信息的表的配置示例的示图。

除了文件名的共同部分和视点位置信息之外，图15的表与图9的表相同。

具体地，在图15的示例中，与包含+Z面85、-Z面86、+X面81、 -X面82、+Y面83和-Y面84的第一层的面相对应的第二层的面的纹理图像的文件名分别是posZ2_texture、negZ2_texture、posX2_texture、 negX2_texture、posY2_texture和negY2_texture。此外，与包含+Z面85、 -Z面86、+X面81、-X面82、+Y面83和-Y面84的第一层的面相对应的第二层的面的深度图像的文件名分别是posZ2_depth、negZ2_depth、 posX2_depth、negX2_depth、posY2_depth和negY2_depth。因此，posZ2、 negZ2、posX2、negX2、posY2和negY2被登记在图15的表中，作为第二层的面的文件名的共同部分。

此外，在假设视点O为原点的情况下视点191至196的坐标(a,0,0)、 (-a,0,0)、(0,a,0)、(0,-a,0)、(0,0,a)和(0,0,-a)分别与文件名的共同部分“posZ2”、“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”相对应地被登记。

(第二层的视点的第二示例)

图16表示示出第二层的视点的第二示例的示图。

在图16的示例中，与第一层的包含+X面81的面相对应的第二层的面的视点211被设置在从第一层的视点O沿Y轴的正方向和Z轴的负方向移动了长度a的位置处，以及与第一层的包含-X面82的面相对应的第二层的面的视点212被设置在从第一层的视点O沿Y轴的负方向和Z轴的正方向移动了长度a的位置处。在图16中，如添加到视点211和212 的箭头所示，与第一层的面的视线矢量类似地，与第一层的包含+X面81 的面相对应的第二层的面的视线矢量是(1,0,0)，并且与第一层的包含-X 面82的面相对应的第二层的面的视线矢量是(-1,0,0)。

此外，与第一层的包含+Y面83的面91相对应的第二层的面的视点 213被设置在从视点O沿X轴的负方向和Z轴的正方向移动了长度a的位置处，并且与第一层的包含-Y面84的面相对应的第二层的面的视点 214被设置在从视点O沿X轴的正方向和Z轴的负方向移动了长度a的位置处。在图16中，如添加到视点213和214的箭头所示，与第一层的面的视线矢量类似地，与第一层的面91相对应的第二层的面的视线矢量是(0,1,0)，并且与第一层的包含-Y面84的面相对应的第二层的面的视线矢量是(0,-1,0)。

此外，与第一层的包含+Z面85的面相对应的第二层的面的视点215 被设置在从视点O沿X轴的正方向和Y轴的负方向移动了长度a的位置处，并且与第一层的包含-Z面86的面相对应的第二层的面的视点216 被设置在从视点O沿X轴的负方向和Y轴的正方向移动了长度a的位置处。在图16中，如添加到视点215和216的箭头所示，与第一层的面的视线矢量类似地，与第一层的包含+Z面85的面相对应的第二层的面的视线矢量是(0,0,1)，并且与第一层的包含-Z面86的面相对应的第二层的面的视线矢量是(0,0,-1)。

如到目前为止所描述的，在图16的示例中，第二层的面的视点211 至216各自被设置在从第一层的视点O沿与视线矢量垂直的两个方向移动了长度a的位置。此外，第二层的每个面的视线矢量与第一层的对应面的视线矢量相同。此外，第二层的面的视点211至216偏离视点O的方向随着面的不同而不同。此外，视点211至216关于视点O对称。

应注意，第二层的面的视点191至196与视点O之间的、在X轴、 Y轴和Z轴中的两个方向上的距离不限于为立方体80的每边的长度的一半的长度a。

(关于第二层的视点位置信息和面信息的表的第二配置示例)

图17是示出在将图16的视点211至216设置为第二层的面的视点的情况下由图3的元数据生成部57生成的元数据中的、关于第二层的视点位置信息和面信息的表的配置示例的示图。

除了视点位置信息之外，图17的表与图15的表相同。

具体地，在将视点O假设为原点的情况下视点211到216的坐标 (a,-a,0)、(-a,a,0)、(0,a,-a)、(0,-a,a)、(-a,0,a)和(a,0,-a)分别与文件名的共同部分“posZ2”、“negZ2”、“posX2”、“negX2”、“posY2”和“negY2”相对应地被登记在图17的表中。

(由内容服务器执行的处理的说明)

图18是由图2的内容服务器12执行的流生成处理的说明性流程图。当按单位从图1的多重摄像装置11提供每个摄像装置的捕获图像时，开始该流生成处理。

在图18的步骤S11中，内容服务器12中的深度检测部31根据从多重摄像装置11提供的摄像装置的捕获图像来检测每个摄像装置的捕获图像的每个像素的倒数1/z，并且将倒数1/z提供给低分辨率图像处理部33 和高分辨率图像处理部34。

在步骤S12中，低分辨率图像处理部33在摄像装置坐标系中的预定三维位置被假设为视点的情况下根据从多重摄像装置11提供的每个摄像装置的捕获图像来生成全向图像的纹理图像，并且降低纹理图像的分辨率。

在步骤S13中，低分辨率图像处理部33根据从深度检测部31提供的每个摄像装置的z图像来生成全向图像的深度图像，并且降低深度图像的分辨率。

在步骤S14中，低分辨率图像处理部33对通过步骤S12中的处理而生成的低分辨率纹理图像和通过步骤S13中的处理而生成的低分辨率深度图像进行压缩和编码，并且存储所得到的图像。

在步骤S15中，低分辨率图像处理部33向图1的家庭服务器13传送所存储的低分辨率纹理流和所存储的低分辨率深度流。

在步骤S16中，高分辨率图像处理部34中的设置部56(图3)将 3D模型坐标系中的原点设置为对于第一层而言共同的一个视点，并且将包含构成以第一层的视点作为中心的立方体的六个面的六个面分别设置为第一层的面。另外，设置部56设置与第一层的面相对应的第二层的六个视点和六个面。设置部56将关于第一层的一个视点位置信息和六条面信息提供给第一层生成部50和元数据生成部57。另外，设置部56将关于第二层的六条视点位置信息和六条面信息提供给第二层生成部53和元数据生成部57。

在步骤S17中，第一层生成部50根据每个摄像装置的捕获图像来生成与关于第一层的每个面信息相对应的每个面的纹理图像，其中摄像装置坐标系中的全向图像的视点被假设为原点并且由关于第一层的视点位置信息指示的原点被假设为视点。此外，第一层生成部50根据每个摄像装置的z图像生成与关于第一层的每个面信息相对应的每个面的z图像并将z图像提供给量化部51，并且量化部51根据每个面的z图像来生成每个面的深度图像。

在步骤S18中，第二层生成部53根据每个摄像装置的捕获图像来生成纹理图像，其中摄像装置坐标系中的全向图像的视点被假设为原点，并且由关于第二层的视点位置信息指示的三维位置作为与关于第二层的面信息相对应的每个面的视点。此外，第二层生成部53针对与关于第二层的面信息相对应的每个面、根据每个摄像装置的z图像来生成每个面的z图像并将z图像提供给量化部54，并且量化部54根据每个面的z图像来生成每个面的深度图像。

在步骤S19中，编码器52针对每个面和每种图像类型而对第一层的每个面的纹理图像和深度图像进行压缩和编码，将得到的图像提供给存储装置58以将图像存储在其中。

在步骤S20中，编码器55针对每个面和每种图像类型而对第二层的每个面的纹理图像和深度图像进行压缩和编码，将得到的图像提供给存储装置58以将图像存储在其中。

在步骤S21中，元数据生成部57生成包含从设置部分56提供的关于第一层的视点位置信息和面信息以及关于第二层的视点位置信息和面部信息的表作为元数据，将元数据提供给存储装置58以将元数据存储在其中。

在步骤S22中，重构部59确定是否需要重构第一层的纹理图像和深度图像。例如，在用户发出改变第一层的面的数量、面的视角、面与面间隔、面的位置或倾斜度的指令的情况下，重构部59确定需要重构第一层的纹理图像和深度图像。

在步骤S22中确定需要重构第一层的纹理图像和深度图像的情况下，处理进行到步骤S23。在步骤S23中，重构部59设置重构后的第一层的面、以及与重构后的第一层的面相对应的第二层的视点和面。

在步骤S24中，重构部59生成包含关于重构后的第一层的视点位置信息和面信息以及关于重构后的第二层的视点位置信息和面信息的表作为元数据，并将元数据提供给存储装置58。

在步骤S25中，重构部59将在存储装置58中存储的面的第一层纹理流重构为在步骤S23中设置的重构后的第一层的面的纹理流，并且将重构后的第一层纹理流提供给存储装置58以将第一层纹理流存储在其中。此外，重构部59将存储装置58中存储的第一层深度流重构为在步骤S23中设置的重构后的第一层的面的第一层深度流，并且将重构后的第一层深度流提供给存储装置58，以将重构后的第一层深度流存储在其中。

此外，重构部59将存储装置58中存储的面的第二层纹理流重构为重构后的第二层的视点和面的第二层纹理流，并且将在步骤S23中设置的重构后的第二层纹理流提供给存储装置58以将重构后的第二层纹理流存储在其中。重构部59将存储装置58中存储的第二层深度流重构为在步骤S23中设置的重构后的第二层的视点和面的第二层深度流，并且将重构后的第二层深度流提供给存储装置58，以将重构后的第二层深度流存储在其中。然后，处理进行到步骤S26。

另一方面，在步骤S22中确定不需要重构第一层的纹理图像和深度图像的情况下，处理进行到步骤S26。

在步骤S26中，传送部60从存储装置58读取重构前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据，并且将重构前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据传送至家庭服务器13。

如到目前为止所描述的，内容服务器12生成在第一层的视点处的遮挡区域中的纹理图像和深度图像作为第二层的纹理图像和深度图像。因此，在观看位置与视点O不同的情况下，家庭服务器13可以通过使用第二层的纹理图像和深度图像来生成在显示图像中包含的视点O处的遮挡区域。因此，家庭服务器13可以生成图像质量高的显示图像。

此外，内容服务器12将第二层的视点设置在与第一层的视点O的三维位置不同的三维位置处。因此，在第二层中可以表现延伸到视点O的对象在延伸到视点O的方向上的长度。

此外，内容服务器12将深度图像的每个像素的y值设置为通过对倒数1/r执行8位量化而获得的值。因此，内容服务器12不需要在重构时对深度图像再次执行8位量化。

(家庭服务器的配置示例)

图19是示出图1的家庭服务器13的配置示例的框图。

图19的家庭服务器13包括摄像装置13A、接收部231、存储装置 232、接收部233、视线检测部234、ML 3D模型生成部235、236和237、 3D模型生成部238、以及渲染(rendering)部239。

家庭服务器13中的接收部231接收从内容服务器12传送的低分辨率纹理流、低分辨率深度流、以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据，并将流和元数据提供给存储装置232。

存储装置232将从接收部231提供的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据存储在其中。

接收部233从头戴式显示器15接收图1的陀螺仪传感器15B的检测结果，并将检测结果提供给视线检测部234。

视线检测部234基于从接收部233提供的陀螺仪传感器15B的检测结果来确定3D模型坐标系中的观看者的视线方向。此外，视线检测部 234从摄像装置13A获取标记15A的捕获图像，并且基于捕获图像来检测3D模型坐标系中的观看位置。

视线检测部234从存储装置232读取元数据中的、第一层的表。视线检测部234基于3D模型坐标系中的观看位置和视线方向以及第一层的表，从六个面中将与从观看位置沿视线方向延伸的视线最接近的视线矢量相对应的三个面确定为选择面。具体地，视线检测部234将包含+X面 81或-X面82的面、包含+Y面83或-Y面84的面、以及包含+Z面85 或-Z面86的面确定为选择面。

到目前为止描述的确定选择面使得如稍后描述的由渲染部239使用与选择面相对应的第一层和第二层的纹理图像和深度图像来生成的显示图像中的高分辨率区域的比率最高。此外，与选择一个选择面的情况相比，确定三个选择面使得在视线指向立方体80的顶点的邻域的情况下能够增加显示图像中的高分辨率区域的比率。

视线检测部234从存储装置232读取与三个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测部234 将所读取的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流与面相对应地提供给ML 3D模型生成部235到237。另外，视线检测部234从存储装置232读取低分辨率纹理流和低分辨率深度流，并将低分辨率纹理流和低分辨率深度流提供给3D模型生成部238。

此外，视线检测部234基于3D模型坐标系中的观看位置和视线方向来确定3D模型坐标系中的观看者的视野范围。视线检测部234将观看者的视野范围和观看位置提供给渲染部239。视线检测部234将三个选择面以及与三个选择面相对应的、关于第二层的三个面的视点位置信息和面信息提供给渲染部239。

ML 3D模型生成部235至237中的每一个使用第一层纹理流和第一层深度流来生成由与第一层的纹理图像的像素相对应的采样点的在纹理图像坐标系中的三维位置(u，v，z)和连接信息、以及RGB值构成的三维数据作为颜色信息。应注意，关于采样点的连接信息是表示每个采样点(顶点)与其他采样点之间的连接的信息。纹理图像坐标系是以纹理图像的横向方向作为u轴、其纵向方向作为v轴以及其深度方向作为z 轴的坐标系。

此外，ML 3D模型生成部235至237中的每一个均使用从视线检测部234提供的第二层纹理流和第二层深度流来生成关于与第二层的纹理图像的像素对应的采样点的三维数据。ML 3D模型生成部235至237均将关于第一层和第二层的三维数据提供给渲染部239。

3D模型生成部238对从视线检测部234提供的低分辨率纹理流和低分辨率深度流进行解码，并且生成低分辨率纹理图像和低分辨率深度图像。3D模型生成部238将作为低分辨率纹理图像的每个像素的像素值的 YCbCr值转换为RGB值，并且将RGB值设置为与每个像素相对应的采样点的RGB值。此外，3D模型生成部238对低分辨率深度图像的每个像素的像素值执行8位逆量化以获得倒数1/r。然后，3D模型生成部238 基于低分辨率深度图像的像素的倒数1/r而获得每个像素的三维位置 (u,v,z)作为与像素对应的采样点的三维位置(u,v,z)。

此外，3D模型生成部238基于每个采样点的三维位置(u,v,z)来生成关于采样点的连接信息，使得三个相邻的采样点彼此连接。3D模型生成部238将每个采样点的三维位置(u,v,z)、连接信息和RGB值作为关于低分辨率纹理图像的三维数据提供给渲染部239。

渲染部239基于从3D模型生成部238提供的关于低分辨率纹理图像的三维数据来对3D模型坐标系中的低分辨率纹理图像执行三角形补片(triangle patch)渲染(点群渲染)。然后，渲染部239基于从ML 3D 模型生成部235和237提供的关于第一层和第二层的三维数据、以及从视线检测部234提供的视点位置信息和面信息，对3D模型坐标系中的第一层和第二层的纹理图像执行三角形补片渲染。

换句话说，每个低分辨率纹理图像的视点是3D模型坐标系中的原点，并且预先确定作为3D模型的正八面体的每个面的位置和大小。因此，渲染部239可以获得与正八面体的每个面相对应的每个摄像装置的内部参数和外部参数。因此，渲染部239可以使用内部参数和外部参数来根据低分辨率纹理图像的每个采样点的三维位置(u,v,z)识别每个采样点在画面上的位置(u,v)以及其在3D模型坐标系中的三维位置(X,Y,Z)。因此，渲染部239可以使用低分辨率纹理图像的每个采样点在画面上的位置 (u,v)、其三维位置(X,Y,Z)、连接信息和RGB值来执行三角形补片渲染。

此外，渲染部239可以基于关于第一层和第二层的视点位置信息和面信息而获得与第一层和第二层的每个面相对应的每个摄像装置的内部参数和外部参数。因此，渲染部239可以使用内部参数和外部参数来根据第一层和第二层的每个采样点的三维位置(u,v,z)来识别每个采样点在画面上的位置(u,v)及其三维位置(X,Y,Z)。因此，渲染部239可以使用第一层和第二层的每个采样点在画面上的位置(u,v)、其三维位置(X,Y,Z)、连接信息和RGB值来执行三角形补片渲染。

渲染部239(图像生成部)通过将在3D模型坐标系中渲染的三角形补片透视地投影(映射)到视野范围上来生成显示图像，其中从视线检测部234提供的观看位置被假设为视点。渲染部239将显示图像传送至图1的转换设备14。

(ML 3D模型生成部的配置示例)

图20是示出图19的ML 3D模型生成部235的配置示例的框图。

图20的ML 3D模型生成部235被配置有解码器251、RGB转换部 252、解码器253、深度转换部254、不连续性检测部255、3D模型生成部256、解码器257、RGB转换部258、解码器259、深度转换部260、遮挡处理部261和3D模型生成部262。

ML 3D模型生成部235中的解码器251对从图19的视线检测部234 提供的第一层纹理流进行解码，并且生成第一层的纹理图像。解码器251 将第一层的纹理图像提供给RGB转换部252。

RGB转换部252将作为第一层的纹理图像的每个像素的像素值的 YCbCr值转换为RGB值，并将RGB值设置为与每个像素对应的采样点的RGB值。然后，RGB转换部252将每个采样点的RGB值提供给3D 模型生成部256。

解码器253对从视线检测部234提供的第一层深度流进行解码并且生成第一层的深度图像。解码器253将第一层的深度图像提供给深度转换部254。

深度转换部254对从解码器253提供的第一层的深度图像的每个像素的像素值执行8位逆量化，以获得倒数1/r。然后，深度转换部254基于第一层的深度图像的像素的倒数1/r而获得每个像素的三维位置(u,v,z) 作为与像素对应的采样点的三维位置(u,v,z)。深度转换部254将每个采样点的三维位置(u,v,z)提供给不连续性检测部255和3D模型生成部256。

不连续性检测部分255基于从深度转换部254提供的每个采样点的三维位置(u,v,z)检测不连续像素，该不连续像素是第一层的深度图像的像素中的、与相邻采样点的z坐标之差等于或大于阈值的采样点对应的像素。不连续性检测部255将与不连续像素对应的采样点的三维位置(u,v,z) 提供给3D模型生成部256。

3D模型生成部256(连接信息生成部)基于从深度转换部254提供的每个采样点的三维位置(u,v,z)来生成关于每个采样点的连接信息，使得采样点中的三个相邻采样点彼此连接。换句话说，3D模型生成部256针对每个采样点而生成表示以采样点作为顶点的三角形补片的三个顶点之间的连接的连接信息。然后，3D模型生成部256基于从不连续性检测部255提供的与不连续像素相对应的采样点的三维位置(u,v,z)，从所生成的关于每个采样点的连接信息中删除表示与对应于不连续像素的采样点的连接的连接信息。

3D模型生成部256生成第一层的每个采样点的三维位置(u,v,z)、RGB 值、和删除后的连接信息作为关于第一层的三维数据，并且将三维数据提供给图19的渲染部239。

除了要处理的层从第一层变为第二层之外，由解码器257、RGB转换部258、解码器259和深度转换部260执行的处理类似于由解码器251、 RGB转换部252、解码器253和深度转换部254执行的处理；因此，将省略对其的说明。

遮挡处理部261基于从深度转换部260提供的每个采样点的三维位置(u,v,z)而从第二层的深度图像的像素中检测不连续像素。遮挡处理部 261执行用于基于第二层的每个采样点的三维位置(u,v,z)来校正与不连续像素相对应的采样点的三维位置(u,v,z)的遮挡处理。

具体地，遮挡处理部261将例如与不连续像素相对应的采样点的二维位置(u,v)校正为在该采样点的附近和前面的采样点的二维位置。遮挡处理部261将第二层的每个采样点的遮挡处理之后的三维位置(u,v,z)提供给3D模型生成部262。

3D模型生成部262基于从遮挡处理部261提供的每个采样点的三维位置(u,v,z)，针对每个采样点而生成表示采样点与两个相邻采样点的连接的连接信息。3D模型生成部262生成每个采样点的三维位置(u,v,z)和连接信息以及从RGB转换部258提供的RGB值作为关于第二层的三维数据。3D模型生成部256将关于第二层的三维数据提供给图19的渲染部239。

尽管未示出，但是与图20的ML 3D模型生成部235类似地配置ML 3D模型生成部236和237。

(对连接信息的删除和遮挡处理的效果的说明)

图21表示在未删除关于第一层的连接信息中的表示与对应于不连续像素的采样点的连接的连接信息的情况下的连接信息的说明图，以及图 22是在删除连接信息的情况下的连接信息的说明图。

在图21和图22中，水平方向表示纹理图像的横向方向，而垂直方向表示纹理图像的深度方向。图21和图22的向上方向表示前侧，而其向下方向表示后侧。此外，在图21和图22中，实线表示第一层的每个采样点的三维位置，而虚线表示第二层的每个采样点的三维位置。此外，在图21和图22的示例中，对象是图10的前景111和背景112。

在不对第一层和第二层中的任一个执行遮挡处理的情况下，如图21 的A中所示，与在第一层的前景111的捕获图像121与背景112的区域 112A的捕获图像122A之间的边界上的不连续像素相对应的采样点的三维位置不变。

此外，在针对第一层和第二层中的任一个都没有删除表示与对应于不连续像素的采样点的连接的连接信息的情况下，如图21的A所示，对应于第一层与第二层之间的不连续像素的采样点连接至两个相邻的采样点。

因此，生成以与第一层的每个不连续像素相对应的采样点和两个相邻的采样点作为顶点的三角形补片，并且用这样的三角形补片填充有效区域的捕获图像122C。因此，在生成与从右下到左上的视线V相对应的包含拍摄的遮挡区域112C的显示图像的情况下，不能使用其中设置有拍摄的遮挡区域112C的捕获图像122C的第二层的有效区域。

此外，在针对第一层和第二层中的任一个都没有删除表示与对应于不连续像素的采样点的连接的连接信息但是执行了遮挡处理的情况下，如图21的B所示，对应于第一层与第二层之间的不连续像素的采样点被校正到在该采样点附近和前面的采样点的二维位置。

因此，在生成与视线V相对应的显示图像的情况下，第一层的区域 112A的捕获图像122A可以用作拍摄的遮挡区域112C的显示图像。因此，显示图像的图像质量得到改善。

然而，遮挡处理之后的与第一层的与不连续像素相对应的采样点连接至两个相邻的采样点，并且生成三角形补片。因此，与图21的A的情况类似地，在生成与视线V相对应的显示图像的情况下，不能使用其中设置有拍摄的遮挡区域112C的捕获图像122C的第二层的有效区域。

另一方面，如图22所示，3D模型生成部256删除表示与第一层的不连续像素的连接的连接信息。因此，没有生成以与第一层的不连续像素相对应的采样点作为一个顶点的三角形补片。因此，在生成与视线V 相对应的显示图像的情况下，可以使用其中设置有拍摄的遮挡区域112C 的捕获图像122C的第二层的有效区域。由于在第二层中没有删除连接信息，因此第二层的三角形补片总是存在于三角形补片不存在的第一层的区域中。

此外，遮挡处理部261对第二层执行遮挡处理。因此，如图22所示，与在第二层的有效区域与虚构区域之间的边界上的不连续像素相对应的采样点中的、在背面上的采样点的二维位置被校正到在这些采样点附近和前面的采样点的二维位置。因此，在第二层中减少了遮挡区域。从而，在生成与视线V对应的显示图像时使用的第二层的图像质量得到改善，并且显示图像的图像质量最终得到改善。

(对第一层的面的视角效果的说明)

图23和图24是在第一层的每个面的视角分别为90度和100度的情况下的采样点的说明图。

为了方便起见，在图23和24的示例中，假设在第一层的每个面的视角是90度和100度的情况下，第一层的纹理图像和深度图像的分辨率是4×4像素和6×6像素。

如图23的B所示，在第一层的每个面的视角是90度的情况下，第一层的六个面是构成立方体80的六个面81至86。

然而，如图23的A所示，在第一层的-Z面86上的纹理图像280上的采样点291的位置(u,v)，即，3D模型坐标系中的从视点O朝向采样点 291的线与-Z面86相交的位置位于每个像素281的中心。此外，与-Z面 86类似，其他面81至85上的每个采样点的位置(u,v)也在每个像素的中心处。

因此，如图23的B所示，每一个均是通过连接由黑色圆圈表示的采样点中的三个相邻的采样点而构造的所有三角形补片在面81至86中的每一个上的区域283的在u方向和v方向中的每一个上的尺寸与面81至 86的尺寸相比小了像素的一半。因此，没有生成与面81至86的边界相对应的三角形补片，因此难以生成具有高图像质量的通过面81至86的边界的视线的显示图像。

相较之下，如图24的A所示，在第一层的每个面的视角是100度的情况下，包含-Z面86的第一层的面的纹理图像310的尺寸为比图23的纹理图像280的尺寸大的6×6像素。类似地，包含其他面81至85的第一层的面上的纹理图像的尺寸是6×6像素。

因此，如图24的B所示，每一个均通过连接由黑色圆圈表示的采样点中的三个相邻采样点而构造的所有三角形补片在-z面86上的区域311 的在u方向和v方向中的每个方向上的尺寸与-z面86的尺寸相比小了像素的一半。尽管未示出，但是三角形补片在包含其他面81至85的第一层的面上的区域的在u方向和v方向中的每个方向上的尺寸与面81至85 的尺寸相比均大了像素的一半。因此，生成了与面81至86的边界相对应的三角形补片，从而可以生成具有高图像质量的包括通过面81至86 的边界的视线的任意视线的显示图像。

虽然已经参照图23至图24描述了在第一层的每个面的视角为100 度的情况下的效果，但是即使在第一层的每个面的视角不是100度的情况下也产生类似的效果，只要其视角大于90度。

(对第二层的面的视角的效果的说明)

图25示出在第二层的每个面的视角是90度和100度的情况下的遮挡处理的说明图。

在图25中，横轴表示u轴，以及纵轴表示z轴。此外，圆圈表示采样点。此外，在图25的示例中，随着深度方向上的位置越靠近后侧，z 坐标就越高。

在第二层的每个面的视角是90度的情况下，采样点仅被映射到第二层的一个面上。因此，如图25的A所示，与被映射到要处理的面的在u 方向上的端部上的采样点331相邻的采样点332没有被映射到要处理的面上，并且在对要处理的面的遮挡处理时，采样点332在z轴上的位置是未知的。

因此，即使在采样点331的z坐标和采样点332的z坐标之间的差等于或大于阈值的情况下，与采样点331相对应的像素没有被检测为不连续像素。类似地，在将采样点332被映射到其上的面视为要处理的面的情况下，与采样点332相对应的像素没有被检测为不连续像素。因此，不可以对采样点331和332执行遮挡处理。换句话说，为了对采样点331 和332执行遮挡处理，不仅需要使用要处理的面上的深度图像，而且还需要使用与要处理的面相邻的面上的深度图像。

相比之下，在第二层的每个面的视角是100度的情况下，在每个面上交叠地映射被映射到除了与该面相邻的面的端部之外的区域上的采样点来作为拼接的边缘。例如，被映射到除了与要处理的面相邻的面的端部之外的区域上的采样点332被映射到要处理的面的端部上，其中，采样点331被映射到该要处理的面。

因此，在采样点331的z坐标与采样点332的z坐标之间的差等于或大于阈值的情况下，与采样点331和332相对应的像素被检测为不连续像素。因此，如图25的B所示，可以对采样点331和332执行遮挡处理。因此，与不连续像素相对应的采样点332的u坐标被校正为在采样点332的附近且在采样点332的前方(在z方向比采样点332低)的采样点333的u坐标。

在图25的示例中，被映射到除了要处理的面的端部之外的区域上的采样点334和335的z坐标之间的差等于或大于阈值；因此，与采样点 334和335相对应的像素也被检测为不连续像素。因此，如图25的B所示，采样点334的u坐标被校正为在采样点334附近且在采样点334前面的采样点336的u坐标。

此外，在要处理的面的具有最高u坐标的端部的采样点337被映射到除了与要处理的面相邻的面的端部之外的区域。因此，在将该面视为要处理的面的情况下，确定与采样点337相对应的像素是否是不连续像素，并且在与采样点337相对应的像素被确定为不连续像素的情况下，可以对采样点337执行遮挡处理。

如到目前为止所描述的那样，在第二层的每个面的视角是100度的情况下，也可以甚至对仅使用每个面上的采样点来映射到除了每个面的端部之外的区域的端部上的采样点331执行遮挡处理。因此，减少了第二层的遮挡区域，并且可以改善显示图像的图像质量。

虽然已经参照图25描述了在第二层的每个面的视角为100度的情况下的效果，但是即使在第二层的每个面的视角不是100度的情况下也产生类似的效果，只要其视角大于90度即可。

应注意，ML 3D模型生成部235至237可以对作为解码的结果而获得的纹理图像和深度图像执行图像处理，诸如使用周边像素的滤波处理。在这种情况下，与遮挡处理类似，由于第一层和第二层的每个面的视角大于90度，因此可以获得甚至可以对除了每个面的端部之外的区域的端部执行图像处理的效果。

(对家庭服务器执行的处理的说明)

图26是由图19的家庭服务器13执行的再现处理的说明性流程图。例如当内容服务器12向家庭服务器13传送低分辨率纹理流、低分辨率深度流、以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据时，开始该再现处理。

在图26的步骤S41中，家庭服务器13中的接收部231从内容服务器12接收低分辨率纹理流、低分辨率深度流、以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据，并将低分辨率纹理流、低分辨率深度流和、以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据提供给存储装置232。

在步骤S42中，存储装置232在其中存储低分辨率纹理流、低分辨率深度流、以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据。

在步骤S43中，接收部233从头戴式显示器15接收图1的陀螺仪传感器15B的检测结果，并将检测结果提供给视线检测部234。

在步骤S44中，视线检测部234基于从接收部233提供的陀螺仪传感器15B的检测结果来确定3D模型坐标系中的观看者的视线方向。在步骤S45中，摄像装置13A拍摄附于头戴式显示器15的标记15A，并将得到的捕获图像提供给视线检测部234。

在步骤S46中，视线检测部234基于从摄像装置13A提供的标记15A 的捕获图像来检测3D模型坐标系中的观看位置，并将观看位置提供给渲染部239。

在步骤S47中，视线检测部234基于存储装置232中存储的元数据中的第一层的表以及3D模型坐标系中的观看位置和视线方向，将六个面中的与最接近视线的视线矢量相对应的三个面确定为选择面。

在步骤S48中，视线检测部234基于3D模型坐标系中的观看位置和视线方向来确定3D模型坐标系中的观看者的视野范围，并将视野范围提供给渲染部239。

在步骤S49中，视线检测部234从存储装置232读取低分辨率纹理流和低分辨率深度流，并将低分辨率纹理流和低分辨率深度流提供给3D 模型生成部238。另外，视线检测部234从存储装置232读取与三个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测部234将所读取的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流与面相对应地提供给ML 3D模型生成部235到 237。此外，视线检测部234从存储装置232读取与三个选择面相对应的视点位置信息和面信息，并将视点位置信息和面信息提供给渲染部239。

在步骤S50中，ML 3D模型生成部235至237均执行用于与面相对应地生成与第一层和第二层的每个采样点有关的三维数据的三维数据生成处理。下面将参照图27描述该三维数据生成处理的细节。

在步骤S51中，3D模型生成部238根据从视线检测部234提供的低分辨率纹理流和低分辨率深度流来生成与低分辨率纹理图像的每个采样点有关的三维数据，并且将三维数据提供给渲染部239。

在步骤S52中，渲染部239基于与从3D模型生成部238提供的低分辨率纹理图像有关的三维数据来对3D模型坐标系中的低分辨率纹理图像执行三角形补片渲染。然后，渲染部239基于从ML 3D模型生成部235 和237提供的关于第一层和第二层的三维数据、以及从视线检测部234 提供的视点位置信息和面信息，对3D模型坐标系中的第一层和第二层的纹理图像执行三角形补片渲染。

在步骤S53中，渲染部239通过将在3D模型坐标系中渲染的三角形补片透视地投影到视野范围上来生成显示图像，其中从视线检测部234 提供的观看位置被假设为视点。在步骤S54中，渲染部239将显示图像传送至图1的转换设备14。

图27是示出图26的步骤S50中的由ML 3D模型生成部235执行的三维数据生成处理的细节的说明流程图。

在图27的步骤S71中，ML 3D模型生成部235中的解码器251(图 20)对从图19的视线检测部234提供的第一层纹理流进行解码，并且生成第一层的纹理图像。解码器251将第一层的纹理图像提供给RGB转换部252。

在步骤S72中，RGB转换部252将作为第一层的纹理图像的每个像素的像素值的YCbCr值转换为RGB值，并将RGB值设置为与每个像素相对应的采样点的RGB值。然后，RGB转换部252将每个采样点的RGB 值提供给3D模型生成部256。

在步骤S73中，解码器253对从视线检测部234提供的第一层深度流进行解码并且生成第一层的深度图像。解码器253将第一层的深度图像提供给深度转换部254。

在步骤S74中，深度转换部254对从解码器253提供的第一层的深度图像的每个像素的像素值执行8位逆量化，以获得第一层的深度图像的每个像素的倒数1/r。

在步骤S75中，深度转换部254基于第一层的深度图像的每个像素的倒数1/r而获得第一层的深度图像的每个像素的三维位置(u,v,z)作为与每个像素相对应的采样点的三维位置(u,v,z)。深度转换部254将每个采样点的三维位置(u,v,z)提供给不连续性检测部255和3D模型生成部256。

在步骤S76中，不连续性检测部255基于从深度转换部254提供的每个采样点的三维位置(u,v,z)，在第一层的深度图像的像素中检测不连续像素。不连续性检测部255将与不连续像素对应的采样点的三维位置 (u,v,z)提供给3D模型生成部256。

在步骤S77中，3D模型生成部256基于从深度转换部254提供的每个采样点的三维位置(u,v,z)来生成与第一层的每个采样点有关的连接信息，以使得采样点中的三个相邻的采样点彼此连接。

在步骤S78中，3D模型生成部256基于与从不连续性检测部255提供的不连续像素相对应的采样点的三维位置(u,v,z)，从在步骤S77中生成的关于每个采样点的连接信息中删除表示与对应于不连续像素的采样点的连接的连接信息。

在步骤S79中，3D模型生成部256生成在第一层的每个采样点的三维位置(u,v,z)、RGB值和步骤S78的删除后的连接信息作为关于第一层的三维数据。3D模型生成部256将第一层的三维数据提供给图19的渲染部239。

在步骤S80中，解码器257对从视线检测部234提供的第二层纹理流进行解码，并且生成第二层的纹理图像。解码器257将第二层的纹理图像提供给RGB转换部258。

在步骤S81中，RGB转换部258将作为第二层的纹理图像的每个像素的像素值的YCbCr值转换为RGB值，并将RGB值设置为与每个像素相对应的采样点的RGB值。然后，RGB转换部258将每个采样点的RGB 值提供给3D模型生成部262。

在步骤S82中，解码器259对从视线检测部234提供的第二层深度流进行解码并且生成第二层的深度图像。解码器259将第二层的深度图像提供给深度转换部260。

在步骤S83中，深度转换部260对从解码器259提供的第二层的深度图像的每个像素的像素值执行8位逆量化，以获得第二层的深度图像的每个像素的倒数1/r。

在步骤S84中，深度转换部260基于第二层的深度图像的每个像素的倒数1/r而获得第二层的深度图像的每个像素的三维位置(u,v,z)作为与每个像素相对应的采样点的三维位置(u,v,z)。深度转换部260将每个采样点的三维位置(u,v,z)提供给遮挡处理部261和3D模型生成部262。

在步骤S85中，遮挡处理部261基于从深度转换部260提供的每个采样点的三维位置(u,v,z)来检测第二层的深度图像的像素中的不连续像素。

在步骤S86中，遮挡处理部261执行用于基于第二层的每个采样点的三维位置(u,v,z)来校正与不连续像素相对应的采样点的三维位置(u,v,z) 的遮挡处理。遮挡处理部261将遮挡处理后的第二层的每个采样点的三维位置(u,v,z)提供给3D模型生成部262。

在步骤S87中，3D模型生成部262基于从遮挡处理部261提供的每个采样点的三维位置(u,v,z)来生成与第二层的每个采样点有关的连接信息，使得采样点中的三个相邻的采样点彼此连接。

在步骤S88中，3D模型生成部262生成每个采样点的三维位置(u,v,z) 和连接信息以及从RGB转换部258提供的RGB值，作为关于第二层的三维数据。3D模型生成部262将关于第二层的三维数据提供给图19的渲染部239。

注意，由ML 3D模型生成部236和237执行的三维数据生成处理类似于图27的三维数据生成处理。

如上所述，家庭服务器13使用第一层和第二层来生成显示图像。因此，在观看位置不同于视点O的情况下，可以使用第二层来生成在显示图像中包含的视点O处的遮挡区域。因此，可以生成图像质量高的显示图像。

此外，家庭服务器13不仅使用纹理图像、而且使用深度图像来生成显示图像。因此，执行三角形补片渲染以将纹理图像映射到根据对象的三维形状的三角形补片上，并且可以使用三角形补片来生成显示图像。因此，与仅使用纹理图像来通过将纹理图像映射到预定面上而生成显示图像的情况相比，可以生成图像质量高的显示图像。

此外，第一层的纹理图像和深度图像是通过将全向图像的纹理图像和深度图像映射到预定面上而获得的纹理图像和深度图像。因此，仅再现通过将全向图像的纹理图像和深度图像映射到预定面上而获得的纹理图像和深度图像的再现设备可以再现第一层的纹理图像和深度图像。

换句话说，由内容服务器12生成的第一层和第二层的纹理图像和深度图像的格式与通过将全向图像的纹理图像和深度图像映射到预定面上而获得的纹理图像和深度图像的格式兼容。此外，家庭服务器13的再现方法与再现设备的再现方法兼容，该再现设备仅再现通过将全向图像的纹理图像和深度图像映射到预定面上而获得的纹理图像和深度图像。

应注意，家庭服务器13可以仅使用第一层的纹理图像和深度图像来生成显示图像。在这种情况下，作为删除连接信息的替选，对第一层执行遮挡处理。

<2.第二实施方式>

接下来将描述图像显示系统的第二实施方式。

在第二实施方式中，将适当地省略对与第一实施方式中的部分重复的部分的说明，并且将仅描述不同的部分。

在第一实施方式中，内容服务器12通过对第一层的纹理图像进行压缩和编码来生成第一层纹理流并通过对第一层的深度图像进行压缩和编码来生成第一层深度流，并且向家庭服务器13传送第一层纹理流和第一层深度流。

另外，内容服务器12通过对第二层的纹理图像进行压缩和编码来生成第二层纹理流并通过对第二层的深度图像进行压缩和编码来生成第二层深度流，并且向家庭服务器13传送第二层纹理流和第二层深度流。

因此，内容服务器12传送每层的纹理图像和深度图像；然而，在某些情况下，内容服务器12旨在传送附加辅助信息以及每层的纹理图像和深度图像。因此，在第二实施方式中，将描述使得可以传送辅助信息以及每层的纹理图像和深度图像的配置。

稍后将描述辅助信息的详细信息。虽然可以在没有辅助信息的情况下生成显示图像，但是辅助信息是用于使得使用纹理图像和深度图像来生成的显示图像的图像质量或功能高的附属信息。可以向第一层和第二层中的每一个添加相同类型的辅助信息，或者可以向第一层和第二层中的每一个添加不同类型的辅助信息。此外，可以仅向第一层或第二层中的一个添加辅助信息。

(高分辨率图像处理部的配置示例)

图28是示出根据第二实施方式的高分辨率图像处理部34的配置示例的框图。

在图28中，与图3所示的根据第一实施方式的高分辨率图像处理部 34的配置的部分对应的部分由相同的附图标记表示，并且将适当地省略对这些部分的说明。

与图3所示的第一实施方式的比较表明，辅助信息生成部601被新添加到根据第二实施方式的高分辨率图像处理部34中，并且编码器602 和603作为编码器53和55的替选被设置在高分辨率图像处理部34中。

辅助信息生成部601基于设置部56的控制来生成在使用第一层和第二层的纹理图像和深度图像的图像处理中使用的辅助信息。设置部56发出关于要生成什么类型的辅助信息的指令。设置部56基于例如用户的操作而将用于识别要创建的辅助信息的辅助信息识别信息提供给辅助信息生成部601。

辅助信息生成部601根据要创建的辅助信息、按照需要来利用由多重摄像装置11生成的摄像装置的捕获图像、由第一层生成部50生成的每个面上的第一层的纹理图像和深度图像、由第二层生成部53生成的每个面上的第二层的纹理图像和深度图像等。

由辅助信息生成部601生成的辅助信息被提供给编码器602和603。更具体地，在使用第一层的纹理图像和深度图像的图像处理中利用的辅助信息被提供给编码器602，并且在使用第二层的纹理图像和深度图像的图像处理中利用的辅助信息被提供给编码器603。

与第一实施方式中的编码器52类似，编码器602针对每个面和每个图像类型而对第一层的六个面的纹理图像和深度图像进行压缩和编码，以生成第一层纹理流和第一层深度流。

此处，编码器602与第一实施方式中的编码器52的不同之处在于：在通过对第一层的每个面的深度图像进行压缩和编码来生成第一层深度流时，编码器602将从辅助信息生成部601提供的辅助信息存储在YCbCr 格式的CbCr分量中，并生成第一层深度流。

换句话说，编码器602针对第一层的六个面中的每个面而将从量化部51提供的第一层的深度图像的像素值(深度值)存储在YCbCr格式的Y分量中，将从辅助信息生成部601提供的关于第一层的辅助信息存储在YCbCr格式的CbCr分量中，执行压缩和编码，并且生成第一层深度流。对于通过对第一层的六个面中的每个面的纹理图像进行压缩和编码而生成的第一层纹理流，编码器602类似于第一实施方式中的编码器 52。

除了经受压缩和编码的层不是第一层而是第二层之外，编码器603 类似于编码器602。

换句话说，与第一实施方式中的编码器55类似，编码器603针对每个面和每种图像类型而对第二层的六个面的纹理图像和深度图像进行压缩和编码，以生成第二层纹理流和第二层深度流。

此处，编码器603针对第二层的六个面中的每个面而将从量化部54 提供的第二层的深度图像的像素值(深度值)存储在具有YCbCr格式的 Y分量中，将从辅助信息生成部601提供的关于第二层的辅助信息存储在YCbCr格式的CbCr分量中，执行压缩和编码，并且生成第二层深度流。对于通过对第二层的六个面中的每个面的纹理图像进行压缩和编码而生成的第二层纹理流，编码器603类似于第一实施方式中的编码器55。

(编码器的配置示例)

图29是示出图28的编码器602的配置示例的框图。

编码器602被配置有YCbCr420转换部621、纹理编码部622、 YCbCr420转换部641和深度编码部642。

YCbCr420转换部621将从第一层生成部50提供的第一层的六个面中的每个面的具有YCbCr444格式的纹理图像转换(下转换)成具有 YCbCr420格式的纹理图像，并将得到的纹理图像提供给纹理编码部622。

换句话说，将第一层的六个面中的每个面的纹理图像以针对每个像素具有Y分量、Cb分量和Cr分量的YCbCr444格式从第一层生成部50 提供给YCbCr420转换部621。YCbCr420转换部621将具有YCbCr444 格式的纹理图像转换成针对四个像素具有一个Cb分量和一个Cr分量的 YCbCr420格式的纹理图像，并将得到的纹理图像提供给纹理编码部622。

纹理编码部622通过诸如H.265/HEVC的预定编码方案对具有 YCbCr420格式的纹理图像进行压缩和编码，并将经压缩和编码的纹理图像提供给存储装置58以将纹理图像存储在其中。

YCbCr420转换部641(图像数据生成部)针对从量化部51以 YCbCr444格式提供的第一层的六个面中的每个面的深度图像而将从辅助信息生成部601提供的关于第一层的辅助信息存储在YCbCr444格式的Cb分量或Cr分量中，并生成具有YCbCr444格式的深度图像。从量化部51提供的深度图像的像素值被存储在YCbCr444格式的Y分量中。在下文中，将辅助信息被存储在Cb分量或Cr分量中的深度图像称为“添加有辅助信息的深度图像”。

此外，YCbCr420转换部641将具有YCbCr444格式的添加有辅助信息的深度图像转换(下转换)成针对四个像素具有一个Cb分量和一个 Cr分量的YCbCr420格式的添加有辅助信息的深度图像，并将得到的添加有辅助信息的深度图像提供给深度编码部642。

深度编码部642通过诸如H.265/HEVC的预定编码方案对具有 YCbCr420格式的添加有辅助信息的深度图像进行压缩和编码，并将经压缩和编码的添加有辅助信息的深度图像提供给存储装置58以将该深度图像存储在其中。

如目前为止所描述的那样配置编码器602。编码器603的详细配置类似于编码器602的详细配置。

(高分辨率图像处理部的配置示例)

接下来将参照图30至图36来描述由YCbCr420转换部641执行的 420转换处理。

如在图30的A中所示，在YCbCr420格式中，在2×2即四个像素当中共享一个色差分量(Cr分量和Cb分量)。

假设针对纹理图像的每个像素，由辅助信息生成部601生成的辅助信息可以采用N种模式的值(N种类型的值)。

如图30的B中所示，YCbCr420转换部641通过N×N个灰度值来表现与2×2即四个像素中的两个上部像素的辅助信息的组合，并且存储灰度值作为Cb分量(的值)。

此外，YCbCr420转换部641通过N×N个灰度值来表现与2×2即四个像素中的两个下部像素有关的辅助信息的组合，并且存储灰度值作为Cr分量(的值)。

Cb分量和Cr分量中的每一个均采用灰度值(0，δ，2δ，3δ，...，和 255)中的任一灰度值。然而，要注意的是，δ＝256/(NxN-1)以及在0与 255之间的灰度值δ、2δ、3δ等不超过255。

通过这样的灰度值来表现由2×2即四个像素保持的辅助信息使得可以尽可能地扩展灰度值之间的间隔(灰度宽度)，并且即使四个像素受到编解码引起的失真的影响，也可以在解码期间正确地区分四个像素。

将灰度值(0，δ，2δ，3δ，...，和255)中的每个灰度值的中间值确定为阈值使得可以正确地区分由2×2即四个像素保持的辅助信息。

将具体描述N＝2的情况。

假设辅助信息生成部601生成表示纹理图像的每个像素是与前景对应的像素还是与背景对应的像素的分段信息作为辅助信息，并将分段信息提供给YCbCr420转换部641。

在这种情况下，关于每个像素的辅助信息采用前景或背景；因此，N ＝2。

如图31所示，YCbCr420转换部641通过2×2即四个灰度值来表现与2×2即四个像素中的两个上部像素有关的辅助信息的组合，并且将灰度值存储在Cb分量中。

此外，YCbCr420转换部641通过2×2即四个灰度值来表现与2×2 即四个像素中的两个下部像素有关的辅助信息的组合，并且将灰度值存储在Cr分量中。

Cb分量和Cr分量中的每一个均采用灰度值(0，85，170和255) 中的任一灰度值。具体地，如图32所示，例如，YCbCr420转换部641 在与Cb分量或Cr分量对应的关于两个像素的辅助信息是(前景，前景) 的情况下代入灰度值0，在(前景，背景)的情况下代入灰度值85，在 (背景，前景)的情况下代入灰度值170，并且在(背景，背景)的情况下代入灰度值255。

灰度值(0，85，170和255)的中间值42.5、127.5和212.5用作用于再现侧确定所传送的辅助信息的阈值。换句话说，在通过解码而获得的灰度值等于或大于0且小于42.5的情况下，判别出关于两个像素的辅助信息是对应于灰度值0的(前景，前景)。在通过解码而获得的灰度值等于或大于42.5且小于127.5的情况下，判别出关于两个像素的辅助信息是对应于灰度值85的(前景，背景)。在通过解码而获得的灰度值等于或大于127.5且小于212.5的情况下，判别出关于两个像素的辅助信息是对应于灰度值170的(背景，前景)。在通过解码而获得的灰度值等于或大于212.5且等于或小于255的情况下，判别出关于两个像素的辅助信息是对应于灰度值255的(背景，背景)。

如图33所示，例如，假设被设置为压缩和编码之前的Cb分量的灰度值0由于编解码失真而变为8。即使在这种情况下，由于通过解码而获得的灰度值等于或大于0且小于42.5，因此再现侧可以判别出辅助信息是对应于灰度值0的(前景，前景)。

同样地，假设被设置为压缩和编码之前的Cr分量的灰度值170由于编解码失真而变为180。即使在这种情况下，由于通过解码而获得的灰度值等于或大于127.5且小于212.5，因此再现侧可以判别出关于两个像素的辅助信息是对应于灰度值170的(背景，前景)。假设再现侧已知辅助信息可以采用N种模式的值(N种类型的值)。

接下来将具体描述N＝3的情况。

辅助信息生成部601将纹理图像分类为三个区域，并且基于分类结果而将分段ID＝0、1和2中的任一个分配给纹理图像的每个像素。辅助信息生成部601将表示分段ID＝0、1和2中的任一个的分段信息作为辅助信息提供给YCbCr420转换部641。

在这种情况下，关于每个像素的辅助信息采用分段ID＝0、1和2中的任一个；因此，N＝3。

如图34所示，YCbCr420转换部641通过3×3即九个灰度值来表现与2×2即四个像素中的两个上部像素有关的辅助信息的组合，并且将灰度值存储在Cb分量中。

此外，YCbCr420转换部641通过3×3即九个灰度值来表现与2×2 即四个像素中的两个下部像素有关的辅助信息的组合，并且将灰度值存储在Cr分量中。

Cb分量和Cr分量中的每一个均采用灰度值(0，32，64，96，128， 160，192，224和255)中的任一灰度值。具体地，如图35所示，例如， YCbCr420转换部641在与Cb分量或Cr分量对应的两个像素的分段ID 是(0，0)的情况下代入灰度值0，在(0，1)的情况下代入灰度值32，在(0，2)的情况下代入灰度值64，并且在(1，0)的情况下代入灰度值96。

同样地，YCbCr420转换部641在与Cb分量或Cr分量对应的两个像素的分段ID是(1，1)的情况下代入灰度值128，在(1，2)的情况下代入灰度值160，在(2，0)的情况下代入灰度值192，在(2，1)的情况下代入灰度值224，并且在(2，2)的情况下代入灰度值255。

灰度值(0，32，64，96，128，160，192，224和255)的中间值16、 48、80、112、144、176、208和240用作用于再现侧确定所传送的辅助信息的阈值。

如图36所示，例如，假设被设置为压缩和编码之前的Cb分量的灰度值0由于编解码失真而变为8。即使在这种情况下，由于通过解码而获得的灰度值等于或大于0且小于16，因此再现侧可以判别出辅助信息是对应于灰度值0的分段ID＝(0，0)。

同样地，假设被设置为压缩和编码之前的Cr分量的灰度值192由于编解码失真而变为202。即使在这种情况下，由于通过解码而获得的灰度值等于或大于176且小于208，因此再现侧可以判别出关于两个像素的辅助信息是对应于灰度值192的分段ID＝(2，0)。

如目前为止所描述的那样，YCbCr420转换部641将通过将与2×2 即四个像素中的两个上部像素有关的辅助信息的组合转换成N×N个灰度值中的任一个而获得的灰度值存储在Cb分量中，并且将通过将与两个下部像素有关的辅助信息的组合转换成N×N个灰度值中的任一个而获得的灰度值存储在Cr分量中。

通常，在诸如H.264/MPEG-4AVC、H.265/HEVC和MPEG2的压缩和编码方案中，采用YCbCr420格式作为运动视频输入类型格式。如上所述，在YCbCr420格式中，在2×2即四个像素当中共享色差(Cr分量和Cb分量)；因此，发生了信息劣化。

然而，如上所述，将关于两个像素的辅助信息的组合转换成N×N 个灰度值中的任一个并且将灰度值存储在Cb分量和Cr分量中的每一个中，使得即使在由于YCbCr420格式和编解码失真而发生信息劣化的情况下，再现侧也可以正确地区分辅助信息。换句话说，可以实现辅助信息的无损传输。

(对由编码器执行的处理的说明)

图37是由图29的编码器602执行的用于生成第一层纹理流和第一层深度流的第一层流生成处理的说明性流程图。在该处理开始之前，将第一层的六个面的纹理图像和深度图像以及要用于第一层的纹理图像或深度图像的辅助信息提供给编码器602。

首先，在步骤S101中，YCbCr420转换部621将从第一层生成部50 以YCbCr444格式提供的第一层的六个面中的预定面的纹理图像下转换成具有YCbCr420格式的纹理图像，并且将得到的纹理图像提供给纹理编码部622。

在步骤S102中，纹理编码部622通过诸如H.265/HEVC的预定编码方案来对具有YCbCr420格式的纹理图像进行压缩和编码，并将得到的纹理图像作为第一层的预定面的第一层纹理流提供给存储装置58以将第一层纹理流存储在其中。

在步骤S103中，YCbCr420转换部641针对从量化部51以YCbCr444 格式提供的第一层的六个面中的预定面的深度图像，将从辅助信息生成部601提供的且与第一层的深度图像的每个像素对应的辅助信息存储在 YCbCr444格式的CbCr分量中，并且生成具有YCbCr444格式的添加有辅助信息的深度图像。辅助信息例如存储在YCbCr444格式的Cb分量或 Cr分量中。

在步骤S104中，YCbCr420转换部641将具有YCbCr444格式的添加有辅助信息的深度图像下转换成针对四个像素具有一个Cb分量和一个Cr分量的YCbCr420格式的添加有辅助信息的深度图像，并将得到的深度图像提供给深度编码部642。

在步骤S105中，深度编码部642通过预定编码方案来对从YCbCr420 转换部641提供的具有YCbCr420格式的添加有辅助信息的深度图像进行压缩和编码，并将得到的深度图像作为第一层的预定面的第一层深度流提供给存储装置58以将第一层深度流存储在其中。

对从第一层生成部50提供的第一层的所有六个面执行到目前为止描述的第一层流生成处理。可以按顺序或并行地对六个面执行第一层流生成处理。针对所有六个面的图38的第一层流生成处理对应于参照图18 描述的流生成处理的步骤S19中的处理。

图38是第一层流生成处理的第一变型例的说明性流程图。

由于图38的步骤S121至S124类似于图37的步骤S101至S104，因此将省略其说明。

在步骤S125中，深度编码部642通过诸如H.265/HEVC的预定编码方案来对从YCbCr420转换部641提供的具有YCbCr420格式的添加有辅助信息的深度图像进行压缩和编码。

在步骤S126中，深度编码部642对经压缩和编码的添加有辅助信息的深度图像进行解码。

在步骤S127中，深度编码部642确定在编码前后存储在CbCr分量中的辅助信息(CbCr信息)是否是无损的。换句话说，深度编码部642 确定经压缩和编码的第一层深度流是否具有与编码前的灰度值相同的灰度值，其中编码前的灰度值的中间值被假定为阈值。

在步骤S127中确定在编码前后CbCr信息不是无损的情况下，处理进行到步骤S128，在步骤S128中，深度编码部642将添加有辅助信息的深度图像的记录比特率提高预定量。

在步骤S128之后，处理返回到步骤S125，并且重复从上述步骤S125 至步骤S127的处理。在步骤S125至S127中，以在步骤S128中改变的记录比特率对具有YCbCr420格式的添加有辅助信息的深度图像进行压缩和编码，并且确定在编码前后CbCr信息是否是无损的。

另一方面，在步骤S127中确定在编码前后CbCr信息是无损的情况下，处理进行到步骤S129，在步骤S129中，深度编码部642将经压缩和编码的具有YCbCr420格式的添加有辅助信息的深度图像作为第一层的预定面的第一层深度流提供给存储装置58，以将第一层深度流存储在其中。

根据第一层流生成处理的第一变型例，确定在编码前后CbCr信息是否是无损的，并且在确定CbCr信息不是无损的情况下，改变(提高)添加有辅助信息的深度图像的记录比特率，以使得在编码前后CbCr信息变为无损。

图39是第一层流生成处理的第二变型例的说明性流程图。

由于图39的步骤S141至S148分别类似于参照图38描述的第一变型例中的步骤S121至S128，因此将省略对其的说明。

在步骤S148中，在改变添加有辅助信息的深度图像的记录比特率以使其提高之后，纹理编码部622在下一步骤S149中将纹理图像的记录比特率降低预定量。

在步骤S150中，纹理编码部622以在步骤S149中改变的记录比特率再次对具有YCbCr420格式的纹理图像进行压缩和编码。

在步骤S151中，纹理编码部622将经压缩和编码的纹理图像作为第一层的预定面的第一层纹理流提供给存储装置58，以将第一层纹理流存储在其中。将通过改变记录比特率而生成的第一层纹理流以覆盖在步骤 S142中存储的第一层纹理流的方式存储在存储装置58中。

在步骤S151之后，处理返回到步骤S145，并且重复从上述的步骤 S145至步骤S147的处理。在步骤S145至S147中，以在步骤S148中改变的记录比特率对具有YCbCr420格式的添加有辅助信息的深度图像进行压缩和编码，并且确定在编码前后CbCr信息是否是无损的。

另一方面，在步骤S147中确定在编码前后CbCr信息是无损的情况下，处理进行到步骤S152，在步骤S152中，深度编码部642将经压缩和编码的具有YCbCr420格式的添加有辅助信息的深度图像作为第一层的预定面的第一层深度流提供给存储装置58，以将第一层深度流存储在其中。

根据第一层流生成处理的第二变型例，确定在编码前后CbCr信息是否是无损的，并且在确定CbCr信息不是无损的情况下，提高添加有辅助信息的深度图像的记录比特率并且降低纹理图像的记录比率，以使得在编码前后CbCr信息变得无损。这可以保持作为第一层纹理流与第一层深度流的组合的整个第一层流的记录比特率。

图40是第一层流生成处理的第三变型例的说明性流程图。

由于图40的步骤S161至S167类似于图38的步骤S121至S127，因此将省略对其的说明。

在步骤S167中确定在编码前后CbCr信息不是无损的情况下，处理进行到步骤S168，在步骤S168中，深度编码部642指示辅助信息生成部601减少辅助信息可以采用的模式的数量N。辅助信息生成部601减少模式的数量N。

在步骤S169中，辅助信息生成部601再次生成辅助信息，其中N 为改变后的模式数量。将重新生成的辅助信息提供给编码器602中的 YCbCr420转换部641。

在步骤S169之后，处理返回到步骤S163，并且重复从上述的步骤 S163至步骤S167的处理。在步骤S163至S167中，将重新生成的辅助信息存储在CbCr分量中，对具有YCbCr420格式的添加有辅助信息的深度图像进行压缩和编码，并且确定在编码前后CbCr信息是否是无损的。

在步骤S167中确定在编码前后CbCr信息是无损的情况下，处理进行到步骤S170，在步骤S170中，深度编码部642将经压缩和编码的具有YCbCr420格式的添加有辅助信息的深度图像作为第一层的预定面的第一层深度流提供给存储装置58，以将第一层深度流存储在其中。

根据第一层流生成处理的第三变型例，确定在编码前后CbCr信息是否是无损的，并且在确定CbCr信息不是无损的情况下，减少辅助信息可以采用的模式的数量N，对添加有辅助信息的深度图像进行压缩和编码，并且将得到的深度图像存储在存储装置58中。

除了要处理的层从第一层改变为第二层之外，由编码器603执行的第二层流生成处理类似于上述的第一层流生成处理；因此，将省略说明。

接下来将描述再现侧家庭服务器13。

(ML 3D模型生成部的配置示例)

图41是示出第二实施方式中的ML 3D模型生成部235的配置示例的框图。

与图20所示的第一实施方式的比较表明，图20的解码器253和259 分别由解码器651和652替代。

解码器651的功能与第一实施方式的解码器253的功能类似之处在于：解码器651获取从视线检测部234提供的第一层深度流，通过与在压缩和编码中使用的编码方案对应的方案对第一层深度流进行解码，并且生成第一层的深度图像。

另一方面，解码器651与第一实施方式的解码器253的不同之处在于：由解码器651接收到的第一层深度流是其中辅助信息被存储在 YCbCr420格式的CbCr分量中的、具有YCbCr420格式的添加有辅助信息的深度图像，以及解码器651提取通过解码而获得的辅助信息。

解码器651将所获取的辅助信息提供给利用辅助信息执行预定图像处理的处理部。例如，在用于转换第一层的纹理图像的RGB值的处理中使用辅助信息的情况下，将所获取的辅助信息提供给RGB转换部252。例如，在对第一层的深度图像的逆量化处理中使用辅助信息的情况下，将所获取的辅助信息提供给深度转换部254。例如，在辅助信息是在生成第一层的三维数据中使用的信息的情况下，将获取的辅助信息提供给3D 模型生成部256。例如，在辅助信息是在检测第一层的深度图像的不连续像素中使用的信息的情况下，将所获取的辅助信息提供给不连续性检测部255。例如，在辅助信息是在生成第一层的显示图像中使用的信息的情况下，将所获取的辅助信息提供给渲染部239(图19)。

除了要处理的层从第一层变为第二层之外，解码器652执行与上述的第一层流生成处理类似的第二层流生成处理；因此，将省略说明。然而，要注意的是，可以向其提供所提取的辅助信息的处理部是RGB转换部258、深度转换部260、遮挡处理部261、3D模型生成部262和渲染部 239中的任一个。

利用从解码器651提供的关于第一层的辅助信息执行预定图像处理的处理部用作图42中所示的辅助信息利用部671。

将使用诸如第一层的纹理图像、第一层的深度图像、第二层的纹理图像和第二层的深度图像的辅助信息来处理的、要处理的数据与辅助信息分开地提供给辅助信息利用部671。

辅助信息利用部671使用辅助信息来对第一层的纹理图像和深度图像以及第二层的纹理图像和深度图像中的至少一个执行预定图像处理。

如上所述，根据辅助信息的类型，该辅助信息利用部671对应于RGB 转换部252或258、深度转换部254或260、不连续性检测部255、遮挡处理部261、3D模型生成部256或262、或者渲染部239中的任一个。

(对由编码器执行的处理的说明)

图43是由图41的解码器651执行的用于对第一层深度流进行解码的第一层深度流解码处理的说明性流程图。该处理对应于第一实施方式中的图27的三维数据生成处理的步骤S73中的处理。

首先，在步骤S201中，解码器651对从视线检测部234提供的第一层深度流进行解码。由此获得了存储在YCbCr420格式的Y分量中的第一层的深度图像和存储在CbCr分量中的辅助信息。

在步骤S202中，解码器651将存储在YCbCr420格式的Y分量中的第一层的深度图像提供给深度转换部254，并将CbCr分量中存储的关于第一层的辅助信息提供给处理部，该处理部利用辅助信息来执行预定图像处理。

除了要处理的层从第一层改变为第二层之外，由解码器652执行的第二层深度流解码处理类似于上述第一层深度流解码处理；因此，将省略说明。

图44是由用作辅助信息利用部671的预定处理部执行的辅助信息利用处理的说明性流程图。

首先，在步骤S221中，辅助信息利用部671获取从解码器651提供的辅助信息。

在步骤S222中，辅助信息利用部671利用所获取的辅助信息来执行预定图像处理(辅助信息利用处理)。

(辅助信息的具体示例)

接下来将描述辅助信息的具体示例。

图45示出了存储分段信息作为辅助信息的示例，该分段信息表示纹理图像的每个像素是对应于前景(对象)的像素还是对应于背景的像素。

在图45的示例中，分段ID可以采用指示背景的值“0”(分段ID＝ 0)和指示前景的值“1”(分段ID＝1)中的任一个。图45中所示的辅助信息的图像是如下图像：在该图像中，“0”被分配给指示背景的分段 ID＝0，并且“255”被分配给指示前景的分段ID＝1。

在这种情况下，YCbCr444格式的关于每个像素的辅助信息可以采用的值是“0”或“1”；因此，N＝2。在N＝2的情况下，如参照图31至图33所描述的那样，被下转换成YCbCr420格式的辅助信息的辅助信息采用灰度值(0，85，170和255)中的任一灰度值。

使用这样的辅助信息使得可以解决例如无法仅利用纹理图像和深度图像准确地将前景和背景分离的问题。

例如，如图46所示，在仅使用纹理图像和深度图像来生成三维模型 (三维数据)的情况下，不能准确地分离小背景区域，例如由作为前景的人区域围绕的区域701，并且在某些情况下，背景区域按原样被表现为前景区域。另外，像区域702一样，例如，在某些情况下，前景和背景的边缘的周边是锯齿状的。

将指示前景或背景的分段信息作为辅助信息存储在YCbCr420格式的CbCr分量中，并将辅助信息传送到再现侧使得再现侧可以准确地将前景与背景分离且以高精度显示三维模型。

此外，如在图47的左侧所示，深度图像的对应于相同对象(分段ID) 且原本具有基本上相同的深度值的像素值包括在某些情况下由于诸如深度估计的误差或在编码期间的编解码失真的影响而大大偏离其他像素值的像素值。

即使在这样的情况下，将指示前景或背景的分段信息作为辅助信息传送到再现侧，使得再现侧可以执行滤波处理，该滤波处理用于将与其他像素值大大偏离的像素值校正为与由分段ID指示的相同区域内的周边像素值相同的值。

因此，将指示前景或背景的分段信息作为辅助信息传送到再现侧，使得能够以高精度显示三维模型。

虽然上面已经描述了作为分段信息的、两种类型的分段ID“0”和“1”的示例，但是分段ID值的类型的数量可以是三个或更多个(分段 ID＝0，1，2，3等)。

此外，可以传送用于识别为纹理图像设置的区域的区域信息或者指示某一部分是否是纹理图像的边缘部分的边缘信息作为辅助信息。

例如，如图48的A中所示，区域信息ROI(关注区域)_ID＝1，2， 3等被分配给为纹理图像设置的一个或更多个区域(ROI)。在图48的 A中，ROI_ID＝1被分配给纹理图像内的围绕两个人之一的矩形区域，并且ROI_ID＝2被分配给围绕另一个人的矩形区域。ROI_ID＝0表示未由ROI_ID＝1和2指定的剩余区域。

在这种情况下，YCbCr444格式的关于每个像素的辅助信息可以采用的值是“0”、“1”和“2”；因此，N＝3。如参照图34至图36所述的那样，在N＝3的情况下，被下转换成YCbCr420格式的辅助信息采用灰度值(0，32，64，96，128，160，192，224和225)中的任一灰度值。

在将这样的区域信息传送到再现侧的情况下，再现侧可以在例如设置的区域当中应用不同的处理方法。例如，不连续性检测部255在这些区域当中使用不同的阈值来检测不连续像素。更具体地，在包含人且由 ROI_ID＝1和ROI_ID＝2指定的区域中使用被设置为小值的阈值，并且在由ROI_ID＝0指定的其他区域中使用被设置为大值的阈值。由此，即使对于深度值的差异小的像素，也可以正确地将前景与背景分离，并且以高精度显示三维模型。

在传送指示某一部分是否是纹理图像的边缘部分的边缘信息作为辅助信息的情况下，可以通过对前景和背景的边缘部分(诸如图48的B的区域711和712)中的噪声(锯齿)执行例如滤波处理或阿尔法混合处理来减少噪声(锯齿)。由此，能够以高精度显示三维模型。

此外，在再现侧对纹理图像执行阿尔法混合处理的情况下，可以将阿尔法值作为辅助信息传送到再现侧。执行阿尔法混合处理使得不仅能够获得上述的抗锯齿效果，而且还能够通过淡入/淡出视频来表现前景(对象)。

此外，如图49所示，可以传送用于在由再现侧执行滤波处理时指定滤波因子的滤波因子信息作为辅助信息。

可以根据纹理图像的模式来改变滤波处理的类型或者可以部分地改变滤波处理的程度(例如，模糊程度)，从而可以对纹理图像的每个部分执行适当的滤波处理。

如到目前为止所描述的那样，传送辅助信息使得再现侧能够响应于图像生成侧的意图而执行处理，诸如仅对整个图像中的预定区域执行的滤波处理。

此外，可以传送指示纹理图像的每个像素是否是面区域的像素的面区域信息作为辅助信息。在这种情况下，再现侧不需要执行用于检测所获取的纹理图像的面区域的处理，并且在假设再现侧从纹理图像生成侧获取纹理图像的情况下，除纹理流和深度流之外，不需要将面区域信息单独地发送到再现侧。

图50是可以被采用作为上述辅助信息的各种信息以及在采用辅助信息时其效果的概要的表。

使用图50中所示的各种辅助信息的辅助信息利用处理是可以作为在第一层或第二层之一中封闭的处理来执行的处理；因此，辅助信息利用处理不仅可以应用于如在第一实施方式和第二实施方式中描述的传送第一层和第二层的纹理流和深度流的情况，而且还可以应用于传送仅一层 (第一层)的纹理流和深度流的情况。

接下来将描述在传送第一层和第二层的至少两个多层的纹理流和深度流的情况下可以采用的辅助信息以及使用辅助信息的辅助信息利用处理的示例。

图51表示在传送分段信息作为辅助信息的情况下的辅助信息利用处理的示例，该分段信息表示纹理图像的每个像素是与前景(对象)对应的像素还是与背景对应的像素。

图51的A是由家庭服务器13使用第一层和第二层的纹理流和深度流来生成的显示图像。

将考虑观看者的观看位置改变为比与图51的A的显示图像对应的位置更靠近地板表面的低位置的情况。

在不传送作为辅助信息的分段信息的情况下，响应于改变后的观看位置，由家庭服务器13生成的显示图像是图51的B中所示的显示图像。

在图51的B的显示图像中，响应于更靠近地板表面的低观看位置，显示图像内的玩家手臂的位置与图51的A的显示图像中的玩家手臂的位置相比改变为上侧。

在图51的A的显示图像中，由玩家的手臂隐藏的身体的一部分是遮挡区域，因此在观看位置改变的图51的B的显示图像中，该部分是这样的区域：不清楚该区域被填充有什么像素值(RGB值)(如何修复该区域)。鉴于此，当使用位于后侧的背景(墙壁)的像素值来填充该区域时，如图51的B的显示图像的区域721中所示，生成其中玩家的身体部分被墙壁划分的不自然的显示图像。

相反，在传送表示纹理图像的每个像素是与前景(对象)对应的像素还是与背景对应的像素的分段信息作为辅助信息的情况下，指示前景的“1”(分段ID＝1))被分配给玩家的区域，并且指示背景的“0” (分段ID＝0)被分配给地板表面和墙壁区域。

在这种情况下，家庭服务器13执行用于用指示前景的玩家区域内的像素值填充(修复)遮挡区域的遮挡处理。具体地，如图51的C的显示图像一样，家庭服务器13用玩家区域内的像素值中的、具有后侧的深度值的身体部分的像素值填充遮挡区域。结果，如图51的C的显示图像的区域722中所示，生成如下显示图像：在该显示图像中，遮挡区域被正确地填充有玩家身体的像素值而不会不自然地划分身体部分。

因此，传送作为辅助信息的分段信息使得能够采用适当的像素值来执行遮挡处理并且以高精度显示三维模型。

图52示出了在传送用于识别层的层编号(层识别信息)作为辅助信息的情况下的辅助信息利用处理的示例。

例如，在第一层和第二层的分辨率和映射不同的情况下，即使在第一层和第二层上表现相同的对象，偶尔可见的补片层也由于三角形补片的采样点的位置和粒度的差异而不同，从而导致在如图52的左侧所示的更粗糙的视觉。

在传送用于识别层的层编号作为辅助信息的情况下，如图52的右侧部分中所示，家庭服务器13检查层编号，并执行用于使第二层的采样点在深度方向上的位置偏移到第一层的采样点的后方(后面)的处理，以使第一层优先可见。换句话说，改变第二层的采样点在深度方向上的位置，以使得第二层仅通过第一层对观看者可见。

以这种方式，传送层编号(层识别信息)作为辅助信息使得能够调整z坐标，以防止前景与背景之间的关系被反转并且以高精度显示三维模型。

图53示出了在传送三角形有效/无效信息作为辅助信息的情况下的辅助信息利用处理的示例，该三角形有效/无效信息指示每个三角形补片是有效的还是无效的。

在图53的示例中，第一层的采样点741的数量是12。因此，每一个均以三个相邻的采样点741作为顶点的三角形补片742的数量是12。

在这种情况下，内容服务器12中的辅助信息生成部601与不连续性检测部255类似地检测不连续像素。然后，辅助信息生成部601将每一个均以与不连续像素对应的采样点作为顶点的三角形补片742设置为无效(关断(OFF))，并且将不包含与不连续像素对应的采样点的三角形补片742设置为有效(开启(ON))。

辅助信息生成部601生成指示每个三角形补片742是有效的还是无效的三角形补片有效/无效信息作为辅助信息。

虽然上面已经描述了家庭服务器13中的3D模型生成部256删除表示与对应于由不连续性检测部255检测到的不连续像素的采样点的连接的连接信息，但是3D模型生成部256基于从内容服务器12传送的作为辅助信息的三角形补片有效/无效信息来删除连接信息。在这种情况下，不设置不连续性检测部255。

3D模型生成部256基于三角形补片有效/无效信息来删除表示构成无效的三角形补片的顶点的采样点的连接的连接信息。结果，没有渲染由三角形补片有效/无效信息指示为无效的三角形补片。

要注意的是，除了右端和下端的采样点之外，针对每个采样点生成两个三角形补片。此外，三角形补片有效/无效信息是指示每个三角形补片是有效还是无效的1比特信息。因此，如果假设第一层的纹理图像在水平方向上的像素数量是宽度并且其在垂直方向上的像素数量是高度，则与所有三角形补片有关的三角形补片有效/无效信息的比特数由(宽度-1)×(高度-1)×2来表示。

图54是在传送多个层的纹理流和深度流的情况下可以被采用作为辅助信息的各种信息以及在采用辅助信息时的效果的概要的表。

根据到目前为止描述的图像显示系统的第二实施方式，内容服务器 12将深度图像的每个像素值存储在YCbCr444格式的Y分量中，将辅助信息(元数据)存储在CbCr分量中，并且生成具有YCbCr444格式的添加有辅助信息的深度图像。然后，内容服务器12将具有YCbCr444格式的添加有辅助信息的深度图像转换(下转换)成具有YCbCr420格式的添加有辅助信息的深度图像，并且通过诸如H.265/HEVC的编码方案对深度图像进行压缩和编码。内容服务器12针对第一层和第二层的深度图像中的每一个而生成具有YCbCr420格式的添加有辅助信息的深度图像，并对其进行压缩和编码。

由于使用了作为编码流的未使用区域的CbCr分量，因此与不传送辅助信息的第一实施方式相比，不需要传送特殊的流数据，并且再现侧可以通过通用的解码器来进行解码。

在将YCbCr444格式转换成YCbCr420格式时，辅助信息的值被转换成N×N个灰度值中的任一个。Cb分量和Cr分量中的每一个均采用灰度值(0，δ，2δ，3δ......和255)(其中δ＝256/(N×N-1))中的任一灰度值，并且可以尽可能地扩展灰度值之间的间隔(灰度宽度)；因此，甚至每个像素的粒度的辅助信息也可以无损地被传送到再现侧。

因此，内容服务器12可以稳健地以高精度将辅助信息以及纹理图像和深度图像传送到再现侧，并且再现侧家庭服务器13可以实时地以高精度使用纹理图像、深度图像和辅助信息来生成三维模型(三维数据)。

在上述第二实施方式中，已经描述了针对2×2即四个像素而将具有 YCbCr444格式的添加有辅助信息的深度图像下转换成具有一个Cb分量和一个Cr分量的YCbCr420格式的添加有辅助信息的深度图像的示例。

然而，本公开内容的技术不限于YCbCr420格式，并且还适用于下转换成例如YCbCr422格式或YCbCr411格式的情况。替选地，YCbCr444 格式的添加有辅助信息的深度图像仅被转换成灰度值，并且可以再次以 YCbCr444格式存储。在这种情况下，由于辅助信息在被转换成灰度宽度尽可能地被扩展的灰度值的情况下被存储，因此再现侧可以正确地判别辅助信息。

此外，在第二实施方式中，已经描述了以下示例：在传送构成以全向图像的视点作为中心的立方体的六个面中的每个面的纹理图像和深度图像的编码流时，存储辅助信息。

然而，本技术不限于全向图像的深度图像，并且还适用于在传送压缩和编码之后在任意视点处捕获的纹理图像和深度图像时的深度图像的编码流。

(辅助信息可以采用的值的类型N的示例)

虽然在上面的第二实施方式中已经描述了生成侧和再现侧已知与纹理图像的每个像素有关的辅助信息可以采用的值的模式的数量(值的类型的数量)是N，但是可以根据编码流来改变辅助信息可以采用的值的类型N的数量。

在与被传送到再现侧的编码流有关的辅助信息可以采用的值的类型N对于再现侧是未知的情况下，在例如通过将类型N存储在用户数据未登记的SEI(补充增强信息)或DPS(深度参数集)中来将类型N包含在通过例如HEVC(高效视频编码)方案编码的比特流中的情况下，可以将辅助信息可以采用的值的类型N传送到再现侧。此外，可以在将辅助信息可以采用的值以及值的类型N包含在比特流中的情况下，传送在分段信息被用作辅助信息时辅助信息可以采用的值，诸如“0”、“1”、“2”等。

<3.第三实施方式>

(图像显示系统的第三实施方式的配置示例)

图55是示出应用了本公开内容的图像显示系统的第三实施方式的配置示例的框图。

在图55所示的配置中，与图1中的配置相同的配置用相同的附图标记来表示。将适当地省略重复说明。

图55的图像显示系统400被配置有多重摄像装置11、内容服务器 12、转换设备14、头戴式显示器15、递送服务器401、网络402和再现设备403。在图像显示系统400中，仅六个面中的与视线对应的一个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流被递送至再现设备403并由再现设备403再现。

具体地，图像显示系统400中的递送服务器401接收并在其中存储从内容服务器12传送的低分辨率纹理流、低分辨率深度流以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据。

此外，递送服务器401经由网络402连接至再现设备403。递送服务器401响应于来自再现设备403的请求而经由网络402将所存储的低分辨率纹理流、低分辨率深度流以及一个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及所存储的元数据传送到再现设备403。

再现设备403(图像处理装置)经由网络402向递送服务器401发出传送低分辨率纹理流、低分辨率深度流和元数据的请求，并且接收响应于该请求而传送的低分辨率纹理流、低分辨率深度流和元数据。

此外，再现设备403将摄像装置13A并入其中。与家庭服务器13 一样，再现设备403检测3D模型坐标系中的观看位置，并且确定3D模型坐标系中的观看者的视线方向和视野范围。

然后，再现设备403基于3D模型坐标系中的观看位置和视线方向以及元数据中包含的第一层的表，将第一层的六个面中的、与最接近视线的视线矢量相对应的一个面确定为选择面。再现设备403经由网络402 发出传送与一个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流的请求。再现设备403接收响应于该请求而传送的且与一个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

再现设备403使用低分辨率纹理流、低分辨率深度流以及与一个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流来生成显示图像。由于除了选择面的数量是一个之外，由再现设备 403执行的用于生成显示图像的处理类似于由家庭服务器13执行的处理，因此将省略说明。再现设备403经由未示出的HDMI线缆将显示图像传送到转换设备14。

<4.纹理图像的其他示例>

图56表示示出第一层的纹理图像的其他示例的示图。

虽然上面已经描述了第一层的每个面的纹理图像是一个视点O处的纹理图像，但是可以通过组合与视点O对应的左眼视点和右眼视点处的纹理图像来形成纹理图像。

具体地，如图56的A中所示，第一层的每个面的纹理图像可以是例如通过在横向方向(水平方向)上打包与视点O对应的左眼视点处的第一层的每个面的纹理图像421和右眼视点处的第一层的每个面的纹理图像422而获得的打包图像420。

此外，如图56的B所示，第一层的每个面的纹理图像可以是例如通过在垂直方向(纵向方向)上打包纹理图像421和422而获得的打包图像440。

同样地，第二层的每个面的纹理图像可以是通过在横向或纵向方向上打包每个面的在与一个第二层视点对应的左眼视点处的第二层的纹理图像和在右眼视点处的第二层的纹理图像而获得的打包图像。

如到目前为止所描述的那样，在第一层和第二层的每个面的纹理图像是通过打包左眼视点和右眼视点处的图像而获得的纹理图像的情况下，作为解码结果而获得的纹理图像被分离成左眼视点处的纹理图像和右眼视点处的纹理图像。然后，针对第一层和第二层而生成左眼三维数据和右眼三维数据。

然后，基于与观看者的观看方向和观看位置对应的左眼的观看方向和观看位置，根据左眼三维数据来生成左眼显示图像。此外，基于与观看者的观看方向和观看位置对应的右眼的观看方向和观看位置，根据右眼三维数据来生成右眼显示图像。此外，在头戴式显示器15能够以3D 视图显示图像的情况下，头戴式显示器15将左眼显示图像显示为左眼图像并且将右眼显示图像显示为右眼图像，从而以3D视图显示显示图像。

虽然在第一实施方式至第三实施方式中通过将捕获图像映射到正八面体上来生成全向图像，但是不仅可以使用正八面体、而且还可以使用球体、立方体等作为捕获图像被映射在其上的3D模型。在将捕获图像映射到球体上的情况下，全向图像是通过等距矩形投影将捕获图像映射到其上的球体的图像。

此外，不一定生成低分辨率纹理流和低分辨率深度流。不一定生成第一层和第二层的深度图像。此外，可以仅针对重要对象的捕获图像被映射到其上的面的一部分而生成第二层的纹理图像和深度图像。

此外，低分辨率纹理图像和低分辨率深度图像可以是通过与高分辨率纹理图像和高分辨率深度图像类似地被分层来生成的。

<5.第五实施方式>

(对应用了本公开内容的计算机的说明)

上述一系列处理可以通过硬件来执行或者通过软件来执行。在通过软件来执行一系列处理的情况下，构成软件的程序被安装到计算机中。此处，计算机的类型包括并入专用硬件中的计算机、能够通过将各种程序安装至计算机中来执行各种功能的例如通用个人计算机的计算机等。

图57是示出通过程序来执行上述的一系列处理的计算机的硬件配置的示例的框图。

在计算机500中，CPU(中央处理单元)501、ROM(只读存储器) 502以及RAM(随机存取存储器)503通过总线504相互连接。

输入/输出接口505也连接至总线504。输入部506、输出部507、存储部508、通信部509和驱动器510连接至输入/输出接口505。

输入部506由键盘、鼠标、麦克风等构成。输出部507由显示器、扬声器等构成。存储部508由硬盘、非易失性存储器等构成。通信部509 由网络接口等构成。驱动器510驱动可移动介质511，诸如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机500中，CPU 501经由输入/输出接口505 和总线504将例如存储部508中存储的程序加载至RAM 503，并且执行该程序，从而执行上述的一系列处理。

可以通过例如将程序记录在用作封装介质等的可移动介质511中来提供由计算机500(CPU 501)执行的程序。替选地，程序可以经由诸如局域网、因特网或数字卫星服务的有线或无线传输介质来提供。

在计算机500中，可以通过将可移动介质511附接到驱动器510来经由输入/输出接口505将程序安装到存储部508中。替选地，程序可以由通信部509经由有线或无线传输介质接收并且被安装到存储部508中。在另一替选方案中，程序可以被预先安装到ROM 502或存储部508中。

由计算机500执行的程序可以是用于按照本说明书中描述的顺序、以时间顺序执行处理的程序，或者可以是用于并行地或者在诸如调用时的需要时刻执行处理的程序。

<6.应用示例>

根据本公开内容的技术可以应用于各种产品。例如，根据本公开内容的技术可以被实现为安装在诸如车辆、电动车辆、混合动力电动车辆、两轮车辆、自行车、个人行动工具、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)的任何类型的移动体中的设备。

图58是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是可应用作为根据本公开的实施方式的技术的移动体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图58所示出的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、 FlexRay等。

各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口 (I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信 I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图58所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信 I/F、存储部等。

驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100 可具有防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身系统控制单元7200用作控制设备来控制：无钥匙进入系统，智能钥匙系统，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元7200可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池 7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310 的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。

车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。

图59示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部 7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部 7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图59示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。

布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926 和7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。

回到图58，继续进行描述。车外信息检测单元7400使成像部7410 成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR 设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400 可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理,以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元 7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部 7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制系统7000输入各种数据，处理操作的指令。

存储部7690可包括存储由微型计算机执行的各种程序的只读存储器 (ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器 (RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F,调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信系统(GSM)、全球互通微波接入(WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620 可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端) 相连接。

专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信 I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p 与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的 V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。

定位部7640可以通过，接收来自GNSS卫星的全球导航卫星系统 (GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，生成包括车辆的纬度、经度以及高度的位置信息，而执行定位。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统 (PHS)或具有定位功能的智能电话。

信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信 I/F 7630中。

车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线 LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F 7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660 以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680 中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图58的实例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。

顺便提及，在图58所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。

用于实现参照图1至图56描述的根据本实施方式的图像显示系统10 (400)的功能的计算机程序可以以控制单元中的任一个等来实现。此外，可以提供在其中存储有这样的计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪速存储器。此外，可以经由例如网络递送计算机程序而无需使用记录介质。

在目前为止描述的车辆控制系统7000中，参照图1至图56描述的根据本实施方式的图像显示系统10(400)可应用于图58中描述的应用示例中的车辆控制系统7000。例如，图像显示系统10(400)的多重摄像装置11对应于成像部7410的至少一部分。此外，内容服务器12、家庭服务器13(递送服务器401、网络402、再现设备403)和转换设备14 被集成，并且对应于集成控制单元7600中的微型计算机7610和存储部 7690。头戴式显示器15对应于显示部7720。在将图像显示系统10(400) 应用于车辆控制系统7000的情况下，没有设置摄像装置13A、标记15A 和陀螺仪传感器15B，并且作为观看者的乘员通过操作输入部7800来输入观看者的视线方向和观看位置。如上所述，在图58中示出的应用示例中将图像显示系统10(400)应用于车辆控制系统7000，使得能够使用全向图像来生成图像质量高的显示图像。

此外，参照图1至图56描述的图像显示系统10(400)的构成元件的至少一部分可以在用于图58中所示的集成控制单元7600的模块(例如，被配置有一个管芯的集成电路模块)中实现。替选地，参照图1至图56描述的图像显示系统10(400)可以由图58中所示的车辆控制系统 7000中的多个控制单元来实现。

在本说明书中，系统指的是多个构成元件(装置、模块(部件)等) 的集合，与所有的构成元件是否被设置在同一壳体中无关。因此，容纳在不同壳体中且经由网络彼此连接的多个装置以及其中多个模块容纳在一个壳体中的一个装置可以各自被称为“系统”。

此外，仅作为示例给出本说明书中描述的效果，并且效果不限于本说明书中描述的那些，而是可以包含其他效果。

此外，本公开内容的实施方式不限于上述实施方式，并且可以在不背离本公开内容的精神的情况下进行各种改变。

例如，本公开内容可以具有用于使多个装置以共享或协作的方式处理一个功能的云计算配置。

此外，在上面的流程图中描述的每个步骤不仅可以由一个装置执行，而且还可以由多个装置以共享的方式执行。

此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理不仅可以由一个设备执行，而且可以由多个设备以共享方式执行。

要注意的是，可以如下配置根据本公开内容的技术。

(1)一种图像处理装置，包括：

接收部，其接收深度图像数据，在所述深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且辅助信息被存储在所述YCbCr格式的CbCr分量中；以及

辅助信息利用部，其理由所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理，其中，

针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式，并且

通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在所述CbCr分量中。

(2)根据(1)所述的图像处理装置，其中，

所述接收部接收第一层的与纹理图像有关的纹理图像数据和深度图像数据以及第二层的与纹理图像有关的纹理图像数据和深度图像数据，并且

针对所述第一层和所述第二层中的每一层，所述辅助信息利用部利用所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理。

(3)根据(1)或(2)所述的图像处理装置，其中，

所述YCbCr格式包括在2×2即四个像素当中共享Cr分量和Cb分量的YCbCr420格式。

(4)根据(1)至(3)中任一项所述的图像处理装置，其中，

所述辅助信息包括用于识别分段的分段信息。

(5)根据(1)至(4)中任一项所述的图像处理装置，其中，

所述辅助信息包括用于识别区域的区域信息。

(6)根据(1)至(5)中任一项所述的图像处理装置，其中，

所述辅助信息包括指示部分是否是边缘部分的边缘信息。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中，

所述辅助信息包括指示用于阿尔法混合的阿尔法值的信息。

(8)根据(1)至(7)中任一项所述的图像处理装置，其中，

所述辅助信息包括指示层编号的信息。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，

所述辅助信息包括指示三角形补片是有效的还是无效的信息。

(10)一种图像处理方法，包括以下步骤：

使图像处理装置接收深度图像数据，在所述深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且辅助信息被存储在所述YCbCr格式的CbCr分量中；以及

使图像处理装置利用所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理，其中，

针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式，并且

通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在所述CbCr分量中。

(11)一种图像处理装置，包括：

图像数据生成部，其生成深度图像数据，在所述深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且在对所述纹理图像或所述深度图像中的至少一个的处理中利用的辅助信息被存储在所述YCbCr格式的CbCr分量中，其中，

针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式，并且

所述图像数据生成部将通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值存储在所述CbCr分量中。

(12)根据(11)所述的图像处理装置，其中，

所述图像数据生成部生成与第一层的深度图像和第二层的深度图像中的每一个有关的深度图像数据。

(13)根据(11)或(12)所述的图像处理装置，其中，

所述YCbCr格式包括在2×2即四个像素当中共享Cr分量和Cb分量的YCbCr420格式。

(14)根据(11)至(13)中任一项所述的图像处理装置，其中，

所述图像数据生成部对具有所述YCbCr420格式的所述深度图像数据进行编码，并且在确定在编码前后存储在所述CbCr分量中的灰度值不是无损的情况下，所述图像数据生成部提高其中存储有所述深度图像和所述辅助信息的所述深度图像数据的比特率，并且再次对具有所述 YCbCr420格式的所述深度图像数据进行压缩和编码。

(15)根据(14)所述的图像处理装置，其中，

在提高其中存储有所述深度图像和所述辅助信息的所述深度图像数据的比特率的情况下，所述图像数据生成部降低其中存储有所述纹理图像的纹理图像数据的比特率，并且再次对所述纹理图像数据进行压缩和编码。

(16)根据(11)至(13)中任一项所述的图像处理装置，其中，

所述图像数据生成部对具有所述YCbCr420格式的所述深度图像数据进行编码，并且在确定在编码前后存储在所述CbCr分量中的灰度值不是无损的情况下，所述图像数据生成部将指示针对所述纹理图像的每个像素、所述辅助信息能够采用的值的类型的N的值改变为比N的当前值小的值，并且再次对具有所述YCbCr420格式的所述深度图像数据进行压缩和编码。

(17)根据(11)至(16)中任一项所述的图像处理装置，其中，

所述辅助信息包括用于识别分段的分段信息。

(18)根据(11)至(17)中任一项所述的图像处理装置，其中，

所述辅助信息包括用于识别区域的区域信息。

(19)根据(11)至(18)中任一项所述的图像处理装置，其中，

所述辅助信息包括指示某一部分是否是边缘部分的边缘信息。

(20)一种图像处理方法，包括以下步骤：

使图像处理装置生成深度图像数据，在所述深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且在对所述纹理图像或所述深度图像中的至少一个的处理中利用的辅助信息被存储在所述YCbCr格式的CbCr分量中，其中，

针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式，并且

通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在所述CbCr分量中。

[附图标记列表]

12：内容服务器

13：家庭服务器

34：高分辨率图像处理部

50：第一层生成部

53：第二层生成部

231：接收部

235至237：ML 3D模型生成部

239：渲染部

262：3D模型生成部

601：辅助信息生成部

602、603：编码器

641：YCBCr420转换部

642：深度编码部

651、652：解码器

671：辅助信息利用部

501：CPU

502：ROM

503：RAM

506：输入部

507：输出部

508：存储部

509：通信部

510：驱动器

Claims (20)

1.一种图像处理装置，包括：

接收部，其接收深度图像数据，在所述深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且辅助信息被存储在所述YCbCr格式的CbCr分量中；以及

辅助信息利用部，其利用所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理，其中，

针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式，并且

通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在所述CbCr分量中。

2.根据权利要求1所述的图像处理装置，其中，

所述接收部接收第一层的与纹理图像有关的纹理图像数据和深度图像数据以及第二层的与纹理图像有关的纹理图像数据和深度图像数据，并且

针对所述第一层和所述第二层中的每一层，所述辅助信息利用部利用所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理。

3.根据权利要求1所述的图像处理装置，其中，

所述YCbCr格式包括在2×2即四个像素当中共享Cr分量和Cb分量的YCbCr420格式。

4.根据权利要求1所述的图像处理装置，其中，

所述辅助信息包括用于识别分段的分段信息。

5.根据权利要求1所述的图像处理装置，其中，

所述辅助信息包括用于识别区域的区域信息。

6.根据权利要求1所述的图像处理装置，其中，

所述辅助信息包括指示某一部分是否是边缘部分的边缘信息。

7.根据权利要求1所述的图像处理装置，其中，

所述辅助信息包括指示用于阿尔法混合的阿尔法值的信息。

8.根据权利要求1所述的图像处理装置，其中，

所述辅助信息包括指示层编号的信息。

9.根据权利要求1所述的图像处理装置，其中，

所述辅助信息包括指示三角形补片是有效的还是无效的信息。

10.一种图像处理方法，包括以下步骤：

使图像处理装置接收深度图像数据，在所述深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且辅助信息被存储在所述YCbCr格式的CbCr分量中；以及

使图像处理装置利用所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理，其中，

针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式，并且

通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在所述CbCr分量中。

11.一种图像处理装置，包括：

图像数据生成部，其生成深度图像数据，在所述深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且在对所述纹理图像或所述深度图像中的至少一个的处理中利用的辅助信息被存储在所述YCbCr格式的CbCr分量中，其中，

针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式，并且

所述图像数据生成部将通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值存储在所述CbCr分量中。

12.根据权利要求11所述的图像处理装置，其中，

所述图像数据生成部生成与第一层的深度图像和第二层的深度图像中的每一个有关的深度图像数据。

13.根据权利要求11所述的图像处理装置，其中，

所述YCbCr格式包括在2×2即四个像素当中共享Cr分量和Cb分量的YCbCr420格式。

14.根据权利要求13所述的图像处理装置，其中，

所述图像数据生成部对具有所述YCbCr420格式的所述深度图像数据进行编码，并且在确定在编码前后存储在所述CbCr分量中的灰度值不是无损的情况下，所述图像数据生成部提高其中存储有所述深度图像和所述辅助信息的所述深度图像数据的比特率，并且再次对具有所述YCbCr420格式的所述深度图像数据进行压缩和编码。

15.根据权利要求14所述的图像处理装置，其中，

在提高其中存储有所述深度图像和所述辅助信息的所述深度图像数据的比特率的情况下，所述图像数据生成部降低其中存储有所述纹理图像的纹理图像数据的比特率，并且再次对所述纹理图像数据进行压缩和编码。

16.根据权利要求13所述的图像处理装置，其中，

所述图像数据生成部对具有所述YCbCr420格式的所述深度图像数据进行编码，并且在确定在编码前后存储在所述CbCr分量中的灰度值不是无损的情况下，所述图像数据生成部将指示针对所述纹理图像的每个像素、所述辅助信息能够采用的值的类型的N的值改变为比N的当前值小的值，并且再次对具有所述YCbCr420格式的所述深度图像数据进行压缩和编码。

17.根据权利要求11所述的图像处理装置，其中，

所述辅助信息包括用于识别分段的分段信息。

18.根据权利要求11所述的图像处理装置，其中，

所述辅助信息包括用于识别区域的区域信息。

19.根据权利要求11所述的图像处理装置，其中，

所述辅助信息包括指示某一部分是否是边缘部分的边缘信息。

20.一种图像处理方法，包括以下步骤：

使图像处理装置生成深度图像数据，在所述深度图像数据中，与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中，并且在对所述纹理图像或所述深度图像中的至少一个的处理中利用的辅助信息被存储在所述YCbCr格式的CbCr分量中，其中，

针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式，并且

通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在所述CbCr分量中。

Images