CN109074628A - 生成装置和生成方法以及再现装置和再现方法 - Google Patents

Abstract

本公开涉及生成装置和生成方法以及再现装置和再现方法，利用上述装置和方法可以使使用全向图像生成的所有视线方向上的显示图像的图像质量接近相等。降分辨率单元使全向图像的分辨率降低。透视投影单元将映射到三维模型的全向图像投影到多个二维平面，从而生成多个图像。本公开可以应用于例如下述生成装置等，该生成装置等用于根据在六个方向上拍摄的图像生成全向图像并且生成该全向图像的低分辨率流和高分辨率流。

Description

生成装置和生成方法以及再现装置和再现方法

技术领域

本公开涉及生成装置、生成方法、再现装置以及再现方法。更具体地，本公开涉及用来使在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀的生成装置、生成方法、再现装置以及再现方法。

背景技术

一种再现全向图像的方法涉及将图像映射到3D模型以进行透视投影，从而在观看者的视线方向上的视野范围内生成并显示显示图像。全向图像是通过将水平方向上的360度的周围图像和竖直方向上的180度的周围图像映射到3D模型上而获得的。

该方法在生成显示图像时使用全向图像的仅一部分。例如，在水平方向上的视角为90度的情况下，在水平方向上仅使用整个全向图像的四分之一来生成显示图像。这以类似的方式适用于竖直方向。因此，用于生成显示图像的全向图像的区域相对于整个全向图像的比例较小。

然而，由于观看者的视线方向是由该观看者在再现时指定的，因此记录装置难以仅记录整个全向图像的将被用于生成显示图像的那部分。出于此原因，已经期望通过下述方式减小要从记录装置传送至再现装置的全向图像数据量：将整个全向图像记录在记录装置上，并且允许再现装置请求记录装置仅发送要被用于生成显示图像的图像区域。

因此，已经提出了下述内容：将全向图像划分成多个区域，其中每个区域被转成编码流，以使得仅将期望的划分区域的编码流从记录装置传送至再现装置(例如，参见专利文献1)。

还提出了下述内容：将低分辨率的整个全向图像与高分辨率的全向图像的被划分的且部分交叠的区域分开编码，并且将整个低分辨率全向图像的编码流和仅与观看者的视线方向对应的高分辨率全向图像的划分区域的编码流从记录装置传送至再现装置(例如，参见专利文献2)。

在前述情况下，记录装置仅需要传送高分辨率全向图像的划分区域之中用于生成显示图像的一个区域。与传送高分辨率全向图像的所有划分区域的情况相比，这转变为减少的传送数据量。在使用除了与所传送的编码流对应的高分辨率全向图像的划分区域以外的划分区域来生成显示图像的情况下，或者在观看者的视线方向突然改变的情况下，也可以使用低分辨率全向图像来生成显示图像。此外，在全向图像被划分为许多区域的情况下或者在跨越全向图像的边缘的区域被设定为划分区域的一部分的情况下，可以增大用于生成显示图像的高分辨率全向图像相对于整个全向图像的比例。

引用列表

专利文献

专利文献1

JP 2001-298652A

专利文献2

JP 2016-15705A

发明内容

技术问题

然而，在通过下述等距圆柱投影生成全向图像的情况下，全向图像的区域在球体上越接近极点(如地球仪的北极和南极)形状就越失真，所述等距圆柱投影涉及将水平方向上的360度的周围图像和竖直方向上的180 度的周围图像映射到球体上。例如，全向图像的矩形区域在被映射在球体上的极的附近时各自失真成扇形。

因此，高分辨率全向图像中的相同形状和相同大小的划分区域在透视投影平面上的形状或大小可以根据划分区域在全向图像中所处的位置而变化。因此，高分辨率全向图像的划分区域在显示图像中的比例可以根据实际的视线方向而不同。难以在所有视线方向上生成图像质量都接近均匀的显示图像。

鉴于上述情况提出了本公开，并且本公开旨在使在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀。

问题的解决方案

根据本公开的第一方面，提供了一种生成装置，其包括：降分辨率转换部，其被配置成对全向图像进行降分辨率转换；以及投影部，其被配置成通过将映射到3D模型上的全向图像投影在多个二维平面上来生成多个图像。

根据本公开的第一方面的生成方法对应于根据本公开的第一方面的生成装置。

因此，根据本公开的第一方面，全向图像经降分辨率转换并被映射到 3D模型上。然后该全向图像被投影在多个二维平面上以生成多个图像。

根据本公开的第二方面，提供了一种再现装置，其包括：接受部，其被配置成接受通过将映射到3D模型上的全向图像投影在多个二维平面上而生成的多个图像中的至少一个图像、以及已经经降分辨率转换的全向图像；以及描绘部，其被配置成至少基于接受部接受的图像或经降分辨率转换的全向图像来生成显示图像。

根据本公开的第二方面的再现方法对应于根据本公开的第二方面的再现装置。

因此，根据本公开的第二方面，通过将映射到3D模型上的全向图像投影在多个二维平面上而生成的多个图像中的至少一个图像与已经经降分辨率转换的全向图像一起被接受。然后，至少基于由接受部接受的图像或经降分辨率转换的全向图像来生成显示图像。

顺便提及，根据本公开的第一方面的生成装置和根据本公开的第二方面的再现装置可以各自通过使计算机执行合适的程序来实现。

此外，用于使计算机实现根据本公开的第一方面的生成装置和根据本公开的第二方面的再现装置的程序可以经由传输介质来传送或者在提供有记录介质时被记录在该记录介质上。

发明的有益效果

根据本公开的第一方面，图像被生成。此外，根据本公开的第一方面，使得在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀。

根据本公开的第二方面，图像被再现。此外，根据本公开的第二方面，使得在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀。

要注意的是，以上概述的有利效果并非对本公开的限制。通过阅读本公开，其他优点将变得明显。

附图说明

[图1]图1是说明球体上的全向图像如何失真的说明图。

[图2]图2是描绘作为应用本公开的第一实施方式的分发系统的典型配置的框图。

[图3]图3是描绘图2所示的生成装置的典型配置的框图。

[图4]图4是描绘二维平面的第一示例的示意图。

[图5]图5是说明高分辨率图像的说明图。

[图6]图6是指示用于第一实施方式的二维平面表的典型结构的表格图。

[图7]图7是说明由图3所示的生成装置执行的生成处理的流程图。

[图8]图8是描绘图2所示的分发服务器和再现装置的典型配置的框图。

[图9]图9是说明图8所示的映射处理部如何执行映射的说明图。

[图10]图10是描绘典型的显示图像的示意图。

[图11]图11是说明由图8所示的再现装置执行的再现处理的流程图。

[图12]图12是描绘二维平面的第二示例的示意图。

[图13]图13是说明生成全向图像的典型方法的说明图。

[图14]图14是描绘其他典型的低分辨率图像的示意图。

[图15]图15是说明投影平面坐标系的说明图。

[图16]图16是说明切向轴投影的说明图。

[图17]图17是说明透视投影和切向轴投影中的投影点的说明图。

[图18]图18是描绘通过透视投影生成的高分辨率图像上的全向图像的典型像素的示意图。

[图19]图19是描绘通过切向轴投影生成的高分辨率图像上的全向图像的典型像素的示意图。

[图20]图20是描绘通过透视投影和切向轴投影生成的高分辨率图像上的全向图像的其他典型像素的示意图。

[图21]图21是指示用于本公开的第二实施方式的二维平面表的典型结构的表格图。

[图22]图22是描绘计算机的典型硬件配置的框图。

[图23]图23是描绘车辆控制系统的典型整体配置的框图。

[图24]图24是描绘安装外部信息检测部和成像部的典型位置的说明图。

具体实施方式

以下描述的是本公开的前提条件和用于实现本公开的优选模式(以下称为实施方式)。要注意的是，将按照下述标题给出描述：

0.本公开的先决条件(图1)

1.第一实施方式：分发系统(图2至图14)

2.第二实施方式：分发系统(图15至图21)

3.第三实施方式：计算机(图22)

4.应用示例(图23和图24)

<本公开的先决条件>

图1说明了球体上的全向图像的形状是如何失真的，该失真发生在通过对映射有水平方向上的360度的周围图像和竖直方向上的180度的周围图像的球体的等距圆柱投影来生成全向图像的情况下。

图1的子图A和子图B的左侧描绘了全向图像1。全向图像1中的水平线和竖直线分别表示纬线和经线。图1的子图A和子图B的中心处的球体2是其内侧映射有全向图像1的球体。图1的子图A和子图B的右侧示出了从映射有全向图像1的球体2的内侧观看的全向图像1的部分。

当如图1的子图A的左侧所描绘的全向图像1的中心附近的矩形区域1A如子图A的中间所示被映射到球体的内侧的面上时，从球体2的内侧观看到的与极方向垂直的区域1A的边如图1的子图A的右侧所示呈现出类似程度的失真和曲线。也就是说，全向图像1的中心附近的区域1A 具有位于距极方向上的两极接近相同距离处的映射位置。因此，从球体2 的内侧观看到的与极方向垂直的区域1A的边失真至类似程度。

在另一方面，当如图1的子图B的左侧所描绘的、位于全向图像1 的上边缘附近并且具有与区域1A接近相同的形状和大小的区域1B如图 1的子图B的中间所示被映射到球体2的内侧的面上时，从球体2的内侧观看到的区域1B如图1的子图B的右侧所示呈扇形。也就是说，全向图像1的上边缘附近的区域1B如所示出的那样具有位于上极附近且远离底极处的映射位置。因此，从球体2的内侧观看到的与极方向垂直的区域 1B的边是失真的和曲线的，其中，与远离极相比，越接近极则失真量越大。

如上所述，在通过对映射有水平方向上的360度的周围图像和竖直方向上的180度的周围图像的球体的等距圆柱投影来生成全向图像的情况下，全向图像1中具有相同形状和相同大小的区域根据它们在全向图像1 中的位置而呈现出不同的形状和大小。这意味着通过对映射有全向图像1 的球体2的透视投影而在二维平面上生成的图像的形状和大小也会变化。

<第一实施方式>

(作为第一实施方式的分发系统的典型配置)

图2是描绘作为应用本公开的第一实施方式的分发系统的典型配置的框图。

图2中的分发系统10配置有成像装置11、生成装置12、分发服务器 13、网络14、再现装置15和头戴式显示器16。分发系统10根据成像装置11捕获的图像生成全向图像，并且使用该全向图像在观看者的视野范围内显示显示图像。

具体地，分发系统10的成像装置11包括六个相机11A-1至11A-6。在以下描述中，在不需要具体将一个相机与另一个区分开的情况下，相机 11A-1至11A-6将被统称为相机11A。

每个相机11A捕获运动图像。成像装置11向生成装置12提供由相机11A在六个方向上捕获的运动图像。顺便提及，成像装置11中包括的相机的数目仅需要为至少两个并且不限于六个。

使用基于等距圆柱投影的方法，生成装置12根据从成像装置11提供的捕获图像生成全向图像，并对该全向图像进行降分辨率转换。生成装置 12对作为低分辨率图像(YUV图像)的、经降分辨率转换的全向图像进行编码，以生成单个低分辨率流。

此外，生成装置12将全向图像映射到用作3D模型的球体上。生成装置12允许通过透视投影将映射到球体上的全向图像投影在与以该球体的中心为焦点的五个视线方向对应的二维平面上，从而生成五个图像。生成装置12将五个图像中的每个图像编码为高分辨率图像(YUV图像)，以生成五个高分辨率流。

此外，生成装置12生成指示与高分辨率图像对应的二维平面的位置、倾斜度和大小的二维平面信息。生成装置12将一个低分辨率流、五个高分辨率流以及二维平面信息上载至分发服务器13。

分发服务器13经由网络14与再现装置15连接。分发服务器13存储从生成装置12上载的一个低分辨率流、五个高分辨率流以及二维平面信息。响应于来自再现装置15的请求，分发服务器13经由网络14将存储的低分辨率流、高分辨率流以及二维平面信息传送至再现装置15。

再现装置15经由网络14向分发服务器13请求一个低分辨率流和二维平面信息。然后，再现装置15接收响应于该请求而从分发服务器13传送的一个低分辨率流和二维平面信息。

此外，再现装置15使用内部相机15A来捕获附接至头戴式显示器16 的标记16A的图像。基于标记16A的捕获图像，再现装置15检测3D模型的坐标系中的观看者的观看位置。此外，再现装置15从头戴式显示器 16接收位于其中的陀螺仪传感器16B的检测结果。在给出陀螺仪传感器 16B的检测结果的情况，再现装置15相应地确定3D模型坐标系中的观看者的视线方向。基于观看位置和视线方向，再现装置15确定3D模型内的观看者的视野范围。

然后，基于二维平面信息和观看者的视野范围，再现装置15经由网络14请求五个高分辨率流中的一个。再现装置15接收响应于该请求而传送的单个高分辨率流。

再现装置15对已经接收的一个低分辨率流和一个高分辨率流进行解码。再现装置15将通过解码获得的低分辨率图像映射到作为3D模型的球体上。再现装置15继续将通过解码获取的高分辨率图像映射到球体内部的作为3D模型的二维平面上。以这种方式，再现装置15生成3D模型图像。

然后，再现装置15通过以观看位置为焦点的透视投影将3D模型图像投影到观看者的视野范围，从而生成观看者的视野范围的图像作为显示图像。再现装置15将显示图像提供给头戴式显示器16。

被用户佩戴在头上的头戴式显示器16显示从再现装置15提供的显示图像。头戴式显示器16配备有被相机15A捕获其图像的标记16A。因此，在将头戴式显示器16佩戴在头上的情况下，观看者可以通过四处移动来指定观看位置。并入头戴式显示器16中的陀螺仪传感器16B检测角速度，并将检测结果传送至再现装置15。这允许在头上佩戴头戴式显示器16的观看者通过旋转头部位置来指定视线方向。

在分发系统10中，从分发服务器13至再现装置15的分发的方法可以是任何合适的方法。例如，在使用运动图像专家组阶段-基于HTTP的动态自适应流传输(MPEG-DASH)作为分发方法的情况下，分发服务器 13是超文本传输协议(HTTP)服务器，并且再现装置15是MPEG- DASH客户端。

(再现装置的典型配置)

图3是描绘图2所示的生成装置12的典型配置的框图。

图3中的生成装置12配置有拼接处理部21、映射处理部22、降分辨率转换部23、编码器24、设定部25、透视投影部26-1至26-5、编码器 27-1至27-5、表生成部28和传送部29。

拼接处理部21逐帧地拼接从图2中的相机11A提供的六个方向上的捕获图像，使得拼接图像在色彩和亮度上统一且其间没有交叠。拼接处理部21以帧为单位向映射处理部22提供得到的捕获图像。

使用基于等距圆柱投影的方法，映射处理部22根据从拼接处理部21 提供的捕获图像来生成全向图像。具体地，映射处理部22将捕获图像作为纹理映射到以预定视点为中心的球体上，并且通过对该球体的等距圆柱投影来生成全向图像。因此，由映射处理部22生成的全向图像被定形为适于编码的矩形。

映射处理部22将全向图像提供给降分辨率转换部23和透视投影部 26-1至26-5。优选地，拼接处理部21和映射处理部22可以被集成为单个部分。

降分辨率转换部23对从映射处理部22提供的全向图像进行降分辨率转换以生成低分辨率图像。降分辨率转换部23将生成的低分辨率图像提供给编码器24。

编码器24(低分辨率编码部)使用诸如运动图像专家组阶段2 (MPEG2)方法或高级视频编码(AVC)方法的编码方法对从降分辨率转换部23提供的低分辨率图像进行编码，从而生成单个低分辨率流。编码器24将低分辨率流提供给传送部29。

设定部25设定与五个视线方向对应的二维平面信息。设定部25将二维平面信息中的对应部分提供给透视投影部26-1至26-5。此外，设定部 25将二维平面信息中的五个部分提供给表生成部28。

透视投影部26-1至26-5中的每个将从映射处理部22提供的全向图像映射到球体上。透视投影部26-1至26-5中的每个通过以球体的中心为焦点将映射到球体上的全向图像透视投影到由从设定部25提供的二维平面信息指示的二维平面来生成图像。这样生成的每个图像是通过在预定的视线方向上从球体的中心观看映射到球体上的全向图像而获得的图像。透视投影部26-1至26-5将它们生成的图像作为高分辨率图像分别提供给编码器27-1至27-5。

编码器27-1至27-5(高分辨率编码部)使用诸如MPEG2或AVC的编码方法对分别从透视投影部26-1至26-5提供的高分辨率图像进行编码，以生成一个高分辨率流。

此时，例如，在编码器27-1至27-5生成的五个高分辨率流中，使诸如每个图片组(GOP)中的第一图片和IDR图片的同步点相同。编码器 27-1至27-5中的每个编码器生成一个高分辨率流并将其提供给传送部 29。

在以下描述中，在不需要特地将一个透视投影部与另一个区分开的情况下，透视投影部26-1至26-5将被统称为透视投影部26。类似地，编码器27-1至27-5将被统称为编码器27。

表生成部28生成二维平面表，其包括从设定部25提供的二维平面信息的五个部分。表生成部28将生成的表提供给传送部29。

传送部29将从编码器24提供的一个低分辨率流、来自编码器27的总共五个高分辨率流和来自表生成部28的二维平面表上载(传送)至图 2中的分发服务器13。

(二维平面的第一示例)

图4是描绘由图3中的设定部25设定的五个二维平面的第一示例的示意图。

图4的子图A和子图B分别是作为其内部设定有二维平面的3D模型的球体的透视图和顶视图，其中，顶视图指示了该球体的水平截面。

图4中的示例指示根据音乐会场地的捕获图像生成的全向图像。当全向图像被映射到球体40上时，以在水平方向上相对于经过球体40的中心O的水平面参考轴形成-90度、-45度、0度、45度和90度的角度的方式出现了音乐会场地的舞台的全向图像。也就是说，被观看位置在中心O 处的观看者认为重要的视线方向在水平方向上相对于参考轴形成了-90度、-45度、0度、45度和90度的角度。

因此，如图4的子图A和子图B所示，设定部25以下述方式在球体 40内部设定二维平面41至45：使得以在水平方向上相对于参考轴成-90 度、-45度、0度、45度和90度的角度经过球体40的中心O的线是经过这些二维平面的中心的法线，并且其中相邻的两个平面彼此相交。因此，通过在二维平面41至45上的透视投影生成的全向图像在两个相邻平面之间形成部分交叠。

此外，在图4的示例中，参考轴与经过二维平面41至45的中心的法线之间的水平方向上的角度的绝对值为90度或更小。因此，甚至通过使用与所有二维平面对应的高分辨率图像，再现装置15也不能生成与水平方向上的360度的周围和竖直方向上的180度的周围中的所有视线方向对应的显示图像。

顺便提及，在图4的示例中，经过二维平面41至45的中心的法线在竖直方向上相对于参考轴都形成0度。因此，二维平面41至45不存在倾斜度。

(对高分辨率图像的说明)

图5是说明由图3中的透视投影部26生成的高分辨率图像的说明图。

在图5的示例中，设定部25设定关于图4中的二维平面41至45的二维平面信息。图5的子图A和子图B是映射有全向图像的球体40的顶视图。图5中的小黑圈表示像素。

如图5的子图A所示，全向图像可以被划分为其间具有部分交叠的区域以生成高分辨率图像。在这种情况下，在相邻的高分辨率图像中彼此交叠的区域的像素(采样点)在被映射到球体40上时具有相同的位置。

具体地，作为相邻的划分区域的高分辨率图像61和62的交叠区域中的像素61A和62A在被映射到球体40上时具有相同的位置。类似地，作为相邻的划分区域的高分辨率图像62和63的交叠区域中的像素62B和 63A在被映射到球体40上时具有相同的位置。也就是说，像素61A和 62A在全向图像上具有相同的位置，并且像素62B和63A在全向图像上也具有相同的位置。

因此，高分辨率图像61至63的交叠区域中的像素可以彼此交叠并彼此粘贴以形成全向图像的一部分。要注意的是，在图5的子图A中，高分辨率图像61和63与球体40分离以便于查看。

在另一方面，如图5的子图B所示，由透视投影部26通过在二维平面42至44上进行透视投影而投影出的高分辨率图像82至84中的像素在被映射到球体40时具有不同的位置。

具体地，位于高分辨率图像82中并且被映射到球体40上的像素82A 的位置与位于高分辨率图像83中并且被映射成最接近像素82A的像素 83A的位置是不同的。类似地，位于高分辨率图像83中并且被映射到球体40上的像素83B的位置与位于高分辨率图像84中并且被映射成最接近像素83B的像素84B的位置是不同的。因此，使高分辨率图像82至84 彼此交叠并彼此粘贴并不能生成全向图像的一部分。

顺便提及，尽管图5的子图B仅描绘了通过在二维平面42至44上进行透视投影而投影出的高分辨率图像82至84，但这也适用于以类似方式通过在二维平面41至45上进行透视投影而投影出的高分辨率图像。

(二维平面表的典型结构)

图6是指示由图3中的表生成部28生成的二维平面表的典型结构的表格图。

在图6的示例中，二维平面信息包括：作为指示图5中的二维平面 41至45的位置的信息的方位角和仰角、作为指示二维平面的倾斜度的信息的旋转角、以及作为指示二维平面的大小的信息的水平视角和竖直视角。

顺便提及，方位角和仰角分别是下述两方面之间的水平方向角和竖直方向角：一方面是连接球体40的中心O与二维平面41至45的中心的每条线，另一方面是经过中心O的水平面参考轴。旋转角是由二维平面41 至45中的每个平面围绕连接二维平面41至45中的每个平面的中心与中心O的轴旋转而形成的角度。水平视角是下述两条线之间的角度：所述两条线连接二维平面41至45中的每个平面的两个水平方向边缘与中心 O。竖直视角是下述两条线之间的角度：所述两条线连接二维平面41至 45中的每个平面的两个竖直方向边缘与中心O。

在这种情况下，如图6所示，对于二维平面41至45中的每个，二维平面表在其中登记有唯一的ID。在图6的示例中，二维平面41至45分别被分配有范围从1至5的ID。数字1至5被登记为二维平面表中的 ID。

此外，二维平面表将ID与下述内容相关联：关于对应的二维平面所登记的二维平面信息、分别被登记以表示每个二维平面上的高分辨率图像的水平方向上的像素数的水平像素计数、以及分别被登记以指示每个二维平面上的高分辨率图像的竖直方向上的像素数的竖直像素计数。

具体地，以下述方式设定二维平面41至45：使得这些二维平面具有经过它们的中心和球体40的中心O的法线，这些法线在水平方向上相对于参考轴形成-90度、-45度、0度、45度和90度的角度，这些法线在竖直方向上相对于参考轴都形成0度的角度；并且使得这些二维平面不存在倾斜度。因此，ID“1”至“5”分别与所登记的“-90度”、“-45度”、“0 度”、“45度”和“90度”的方位角相关联。此外，ID“1”至“5”与所登记的“0度”的仰角和“0度”的旋转角相关联。

此外，在图6的示例中，二维平面41至45的水平视角和竖直视角各为90度，并且二维平面的水平像素计数和竖直像素计数各为1024。因此，ID“1”至“5”与所登记的“90度”的水平视角、“90度”的竖直视角、“1024”的水平像素计数以及“1024”的竖直像素计数相关联。

(对生成装置执行的处理的说明)

图7是说明由图3所示的生成装置12执行的生成处理的流程图。

在图7的步骤S11中，拼接处理部21以统一图像的色彩和亮度水平并消除图像之间的交叠的方式逐帧地拼接来自图2中的相机11A的六个方向上的捕获图像。拼接处理部21以帧为单位向映射处理部22提供拼接的捕获图像。

在步骤S12中，映射处理部22使用基于等距圆柱投影的方法根据从拼接处理部21提供的捕获图像来生成全向图像。映射处理部22将全向图像提供给降分辨率转换部23和透视投影部26-1至26-5。

在步骤S13中，降分辨率转换部23通过对从映射处理部22提供的全向图像进行降分辨率转换来生成低分辨率图像。降分辨率转换部23将生成的低分辨率图像提供给编码器24。

在步骤S14中，编码器24对从降分辨率转换部23提供的低分辨率图像进行编码以生成单个低分辨率流。编码器24将低分辨率流提供给传送部29。

在步骤S15中，设定部25设定与五个视线方向对应的二维平面信息。设定部25将相应的二维平面信息提供给透视投影部26，并将二维平面信息的五个部分提供给表生成部28。

在步骤S16中，透视投影部26将从映射处理部22提供的全向图像映射到球体上，并且以球体的中心作为焦点将映射到球体上的全向图像投影在由从设定部25提供的二维平面信息指定的二维平面上，从而生成图像。透视投影部26将生成的图像作为高分辨率图像提供给编码器27。

在步骤S17中，编码器27对从透视投影部26提供的高分辨率图像进行编码以生成单个高分辨率流。编码器27将高分辨率流提供给传送部 29。

在步骤S18中，表生成部28生成二维平面表，该二维平面表包括从设定部25提供的二维平面的信息的五个部分。表生成部28将二维平面表提供给传送部29。

在步骤S19中，传送部29将从编码器24提供的单个低分辨率流、来自编码器27的总共五个高分辨率流和来自表生成部28的二维平面表上载至分发服务器13。

(分发服务器和再现装置的典型配置)

图8是描绘图2所示的分发服务器13和再现装置15的典型配置的框图。

如图8所示，分发服务器13配置有接收部101、存储装置102、传送部103和传送部104。

接收部101向存储装置102提供从图2中的生成装置12上载的一个低分辨率流、五个高分辨率流以及二维平面表。

存储装置102存储从接收部101提供的单个低分辨率流、五个高分辨率流和二维平面表。

响应于来自再现装置15的请求，传送部103从存储装置102读取一个低分辨率流和二维平面表，并且经由网络14将所取得的流和表传送至再现装置15。

响应于来自再现装置15的请求，传送部104从存储装置102读取一个高分辨率流，并且经由网络14将所取得的流传送至再现装置15。顺便提及，使用同步点改变要传送的高分辨率流。因此，用于传送的高分辨率流以数帧到数十帧为单位被改变。

如上所述，同步点在五个高分辨率流中是相同的。当传送部104在同步点处改变要传送的高分辨率流时，再现装置15可以容易地改变要再现的高分辨率图像。

再现装置15配置有相机15A、接收部121、解码器122、接收部 123、解码器124、映射处理部125、描绘部126、接受部127和视线检测部128。

再现装置15的接收部121经由网络14向分发服务器13请求一个低分辨率流和二维平面信息。接收部121(接受部)接收响应于该请求而从传送部103传送的单个低分辨率流和二维平面信息。接收部121将单个低分辨率流提供给解码器122，并且将二维平面信息提供给视线检测部 128。

解码器122(低分辨率解码部)对从接收部121提供的低分辨率流进行解码以生成低分辨率图像。解码器122将低分辨率图像提供给映射处理部125。

接收部123从视线检测部128获取指示从五个二维平面中选择的一个二维平面的ID的所选平面信息。基于所选平面信息，接收部123经由网络14请求五个高分辨率流中表示由所选平面信息标识的所选择的平面的一个高分辨率流。接收部123接收响应于该请求而从传送部104传送的单个高分辨率流，并将接收的流提供给解码器124。

解码器124(高分辨率解码部)对从接收部123提供的单个高分辨率流进行解码以生成高分辨率图像。解码器124将高分辨率图像提供给映射处理部125。

基于从视线检测部128提供的关于所选择的平面的二维平面信息，映射处理部125将所选择的平面设定为先前被设定为3D模型的球体内部的 3D模型。映射处理部125将从解码器122提供的低分辨率图像作为纹理映射到作为3D模型的球体上。此外，映射处理部125将从解码器124提供的高分辨率图像作为纹理映射到作为3D模型的二维平面上。映射处理部125向描绘部126提供其中将纹理映射到球体和所选择的平面上的3D 模型图像。

描绘部126以从视线检测部128提供的观看位置为焦点，在观看者的视野范围上执行对从映射处理部125提供的3D模型图像的透视投影，以生成表示观看者的视野范围的显示图像。也就是说，描绘部126生成通过视野范围从观看位置观看的、映射到球体40上或二维平面上的图像作为显示图像。描绘部126将显示图像提供给头戴式显示器16。

接受部127从头戴式显示器16接受图2中的陀螺仪传感器16B的检测结果，并将检测结果提供给视线检测部128。

视线检测部128基于从接受部127提供的陀螺仪传感器16B的检测结果来确定3D模型的坐标系中的观看者的视线方向。此外，视线检测部 128从相机15A获取标记16A的捕获图像，并且基于该捕获图像来检测 3D模型坐标系中的观看位置。

视线检测部128(选择部)基于3D模型坐标系中的观看位置和视线以及从接收部121提供的二维平面信息，将五个二维平面中与最接近观看者的视线的法线对应的一个平面确定为所选择的平面。

具体地，视线检测部128获取与下述方位角、仰角和旋转角对应的二维平面的ID作为所选平面ID：所述方位角、仰角和旋转角最接近一方面的在视线方向上从观看位置延伸的视线与另一方面的参考轴之间的水平方向角和竖直方向角，并且也最接近视线的旋转角。

这允许视线检测部128将与通过在观看者的视野范围上的透视投影而进行投影时比例最大的高分辨率图像对应的二维平面确定为所选择的平面。视线检测部128将所选择的平面提供给接收部123，并且将关于所选择的平面的二维平面信息提供给映射处理部125。

此外，视线检测部128基于3D模型坐标系中的观看位置和视线方向来确定3D模型的坐标系中的观看者的视野范围。视线检测部128将观看者的视野范围和观看位置提供给描绘部126。

(对映射的说明)

图9是说明图8所示的映射处理部125如何执行映射的说明图。

在图9的示例中，观看位置处于球体40的中心O处。在这种情况下，被选为所选择的平面的是二维平面143，其中心经过从中心O在箭头 142指示的方向上延伸并与下述方位角、仰角和旋转角对应的法线：所述方位角、仰角和旋转角最接近在从中心O在视线方向上延伸的视线141 与参考轴之间形成的水平方向角和竖直方向角，并且也最接近视线141的旋转角。

因此，映射处理部125将二维平面143设定为球体40内部的3D模型。映射处理部125将低分辨率图像151作为纹理映射到作为3D模型的球体40上，并且将高分辨率图像152作为纹理映射到作为3D模型的二维平面143上。

二维平面143以上述方式被放置在球体40内。这使得当从低分辨率图像151和高分辨率图像152二者都存在的方向在二维平面143内部的视野范围上执行透视投影时，描绘部126能够优先使用高分辨率图像152而不是低分辨率图像151。

(典型的显示图像)

图10是描绘典型的显示图像的示意图。

在图10的示例中，观看位置处于球体40的中心O处。图10中的每个矩形是高分辨率图像或低分辨率图像中的16像素乘16像素的块。在对高分辨率图像和低分辨率图像进行编码的方法是AVC方法的情况下，该块用作编码单元。

在如图10的子图A所示的观看者直接面向给定的二维平面的情况下，高分辨率图像171被放置在显示图像170的中心处。在图10的子图 A的示例中，显示图像170的大小大于高分辨率图像171的大小，使得低分辨率图像172被放置在显示图像170的两个边缘处。

在如图10的子图B所示的观看者的视线方向倾斜向上的情况下，在与最接近视线的法线对应的二维平面上的高分辨率图像181(即，该示例中仰角为45度的二维图像)被放置在显示图像180的中心处。如图10的子图B所示，低分辨率图像182被放置在显示图像180内除了高分辨率图像181之外的区域中。如图10的子图B所示，在显示图像180中，低分辨率图像182中被映射在球体40的极区域附近的那些块的密度大于低分辨率图像182中被映射在球体40的中心附近的那些块的密度。

在如图10的子图C所示的观看者的视线方向向上的情况下，在与最接近视线的法线对应的二维平面上的高分辨率图像181(即，参见图10 的子图C，该示例中仰角为90度的二维图像)被放置在显示图像190的中心处。如图10的子图C所示，低分辨率图像192被放置在显示图像 190内除了高分辨率图像191之外的区域中。

在图10的子图C的示例中，与高分辨率图像对应的二维平面具有90 度的仰角。因此，显示图像190内与球体40的极方向对应的区域表示高分辨率图像191。也就是说，显示图像190中与球体40的极方向对应并且导致低分辨率图像的相对大的失真的那些区域构成了不存在失真的高分辨率图像191。因此，与对应于球体40的极方向的区域组成低分辨率图像192的情况相比，允许显示图像190呈现出较高的图像质量。

顺便提及，如图10的子图A至子图C所示，低分辨率图像172 (182、192)的分辨率低于高分辨率图像171(181、191)的分辨率。因此，显示图像170(180、190)中放置有低分辨率图像172(182、192) 的块的的那些区域的大小大于显示图像170(180、190)中放置有高分辨率图像171(181、191)的块的的那些区域的大小。

在图10中的子图A至子图C的示例中，如上所述，高分辨率图像 171(181、191)被放置在显示图像170(180、190)的所有区域当中分辨率显著影响视觉的中心区域中。因此，与将低分辨率图像172(182、 192)放置在显示图像170(180、190)的中心的情况相比，这些示例中的显示图像170(180、190)呈现出经改善的图像质量。

(对再现装置执行的处理的说明)

图11是说明由图8所示的再现装置15执行的再现处理的流程图。例如，响应于观看者的请求而启动再现处理。

在图11的步骤S31中，再现装置15的接收部121向分发服务器13 请求二维平面信息，并且接收响应于该请求而从传送部103传送的二维平面信息。接收部121将二维平面信息提供给视线检测部128。

在步骤S32中，接受部127从头戴式显示器16接收图2中的陀螺仪传感器16B的检测结果，并将检测结果提供给视线检测部128。

在步骤S33中，视线检测部128基于从接受部127提供的陀螺仪传感器16B的检测结果来确定3D模型的坐标系中的观看者的视线方向。

在步骤S34中，视线检测部128从相机15A获取标记16A的捕获图像，并且基于该捕获图像来检测3D模型坐标系中的观看位置。

在步骤S35中，视线检测部128基于3D模型坐标系中的观看位置和视线方向以及从接收部121提供的二维平面信息，将五个二维平面中最接近观看者的视线的一个平面确定为所选择的平面。视线检测部128将关于所选择的平面的所选平面信息提供给接收部123，并且将关于所选择的平面的二维平面信息提供给映射处理部125。

在步骤S36中，视线检测部128基于3D模型坐标系中的观看位置和视线方向来确定3D模型坐标系中的观看者的视野范围。视线检测部128 将观看者的视野范围和观看位置提供给描绘部126。

在步骤S37中，接收部123向分发服务器13请求由从视线检测部 128提供的所选平面信息标识的所选择的平面的一个高分辨率流。接收部 123接收响应于该请求而从传送部104传送的单个高分辨率流。接收部 123将接收的高分辨率流提供给解码器124。

在步骤S38中，解码器124对从接收部123提供的单个高分辨率流进行解码以生成高分辨率图像。解码器124将高分辨率图像提供给映射处理部125。

在步骤S39中，映射处理部125基于从视线检测部128提供的关于所选择的平面的二维平面信息，将先前被设定为3D模型的球体内部的所选择的平面设定为3D模型。

在步骤S40中，映射处理部125将从解码器124提供的高分辨率图像映射到被设定为3D模型的所选择的平面上。

在步骤S41中，接收部121向分发服务器13请求一个低分辨率流，并且接收响应于该请求而从传送部103传送的单个低分辨率流。接收部 121将低分辨率流提供给解码器122。

在步骤S42中，解码器122对从接收部121提供的低分辨率流进行解码以生成低分辨率图像。解码器122将低分辨率图像提供给映射处理部 125。

在步骤S43中，映射处理部125将来自解码器122的低分辨率图像作为纹理映射到作为3D模型的球体上。映射处理部125向描绘部126提供其中将纹理映射到球体和二维平面上的3D模型图像。

在步骤S44中，描绘部126以从视线检测部128提供的观看位置作为焦点，在观看者的视野范围上执行对来自映射处理部125的3D模型图像的透视投影，从而生成观看者的视野范围的图像作为显示图像。

在步骤S45中，描绘部126将显示图像传送至头戴式显示器16以在其上显示。在步骤S46中，再现装置15确定是否要终止再现，例如，观看者是否已请求终止再现。

在步骤S46中确定不终止再现的情况下，控制返回至步骤S31。然后，重复从步骤S31至步骤S46的处理，直到确定要终止再现为止。在另一方面，在步骤S46中确定要终止再现的情况下，使再现结束。

在前述段落中，说明了二维平面的数目为五个。然而，二维平面的数目不限于五个。二维平面的数目越大，则与可由再现装置15用来生成显示图像的高分辨率图像对应的法线越接近观看者的视线。这增大了显示图像中高分辨率图像的比例，其提高了显示图像的图像质量。然而，在大量的高分辨率流的情况下，生成装置12在生成高分辨率流时处理的吞吐量增大，而且所需的存储装置102的容量增大。

此外，二维平面表可以被布置为使不同于二维平面信息的固定值、水平像素计数的固定值和竖直像素计数的固定值之外的二维平面信息、水平像素计数和竖直像素计数被登记在二维平面表中。此外，可以以至少一帧为单位或以场景为单位来设定二维平面。

(二维平面的第二示例)

图12是描绘在二维平面的数目不是五的情况下的典型二维平面的示意图。

顺便提及，图12中的箭头分别表示经过每个二维平面的中心的法线。

如图12中的子图A所示，设定部25可以将以球体40的中心O为中心的立方体210的六个面211至216设定为二维平面。在这种情况下，经过这六个二维平面的中心的法线构成在彼此垂直的三个轴中的每个轴的两个方向上经过中心O的总共六条线。此外，对于所有二维平面，水平视角和竖直视角均为90度，平面之间不存在交叠。

也就是说，在这种情况下，二维平面上的高分辨率图像是通过对下述全向图像进行划分而获得的图像：该全向图像是通过进行映射到作为3D 模型的立方体的各个面的立方体映射而生成的。顺便提及，立方体映射是一种方法，通过该方法，图像被映射到作为3D模型的立方体上，此后映射有该图像的立方体被展开以生成全向图像。

此外，如图12中的子图B所示，设定部25可以以下述方式设定12 个二维平面，即，使得经过这些二维平面的中心的法线可以是经过中心O 和立方体210的12个边中的每个边的中点的线。在这种情况下，与图12 的子图A中的情况相比，两个相邻的二维平面之间的角度较小。这允许再现装置15将与最接近视线的法线对应的二维平面确定为所选择的平面。因此，提高了显示图像内的高分辨率图像的比例，这改善了显示图像的图像质量。

此外，如图12的子图C所示，设定部25可以以下述方式设定18个二维平面，即，使得经过这些二维平面的中心的法线有经过中心O和立方体210的12个边中的每个边的中点的线、以及还有经过中心O和立方体210的六个平面211至216中的每个面的中心的线。在这种情况下，二维平面是平面211至216和图12的子图B中的那些平面。

在图12的子图A和子图C的示例中，与平面211至216对应的所有高分辨率图像都可以用于生成与水平方向上的360度的周围中和竖直方向上的180度的周围中的所有视线方向对应的显示图像。

(用于生成全向图像的其他典型方法)

在前述段落中，说明了通过基于等距圆柱投影的方法生成全向图像。然而，这不是对用于生成全向图像的方法的限制。

图13是说明以与基于等距圆柱投影的方法不同的方式生成全向图像的典型方法的说明图。

根据图13中的全向图像生成方法，捕获图像被映射到作为3D模型的正八面体230上，如图13的子图A所示。被映射到正八面体230的等边三角形平面231至238上的图像各自成形为直角三角形。然后，如图 13的子图B所示，将这些直角三角形图像241至248组合以生成正方形全向图像240。

在通过图13所示的方法生成全向图像的情况下，二维平面261被放置在正八面体230内。此外，其上由映射处理部125映射了低分辨率图像的3D模型是正八面体230。

除了图13所示的方法之外，例如，可以通过使用立方体映射来生成全向图像。此外，低分辨率图像的降分辨率转换之前全向图像的生成方法可以与用于生成高分辨率图像的全向图像的生成方法不同。

(其他典型的低分辨率图像)

图14是描绘其他典型的低分辨率图像的示意图。

在前述段落中，说明了将来自单个视点的全向图像降分辨率转换为低分辨率图像。可替选地，可以将来自左眼视点的全向图像和来自右眼视点的全向图像降分辨率转换为低分辨率图像，然后将这些低分辨率图像组合 (打包)。

具体地，如图14的子图A所示，低分辨率图像可以是打包图像420 (低分辨率打包图像)，其中，两个低分辨率图像被横向(在水平方向上)打包，上述两个低分辨率图像例如为通过对来自左眼视点的全向图像进行降分辨率转换而获得的低分辨率图像421、以及通过对来自右眼视点的全向图像进行降分辨率转换而获取的低分辨率图像422。

可替选地，如图14的子图B所示，低分辨率图像可以是打包图像 440(低分辨率打包图像)，其中，两个低分辨率图像被纵向(在竖直方向上)打包，上述两个低分辨率图像例如为通过对来自左眼视点的全向图像进行降分辨率转换而获得的低分辨率图像421、以及通过对来自右眼视点的全向图像进行降分辨率转换而获取的低分辨率图像422。

类似地，每个二维平面上的高分辨率图像可以是打包图像(高分辨率打包图像)，其中，两个高分辨率图像被横向或纵向打包，即，针对该二维平面的来自左眼视点的高分辨率图像、以及针对该二维平面的来自右眼视点的高分辨率图像。给定的二维平面上的来自左眼视点的高分辨率图像是通过以球体的中心为焦点，在该二维平面上对映射到球体上的来自左眼视点的全向图像进行透视投影而获得的。给定的二维平面上的来自右眼视点的高分辨率图像是通过以球体的中心为焦点，在该二维平面上对映射到球体上的来自右眼视点的全向图像进行透视投影而获取的。

在低分辨率图像和高分辨率图像是打包图像的情况下，图8中的映射处理部125将通过解码器122解码获得的打包图像分离为来自左眼视点的低分辨率图像和来自右眼视点的低分辨率图像。此外，映射处理部125将通过解码器124解码获得的打包图像分离为来自左眼视点的高分辨率图像和来自右眼视点的高分辨率图像。然后，映射处理部125生成针对左眼视点的3D模型图像和针对右眼视点的另一3D模型图像。使用3D模型图像，描绘部126生成针对左眼视点的显示图像和针对右眼视点的显示图像。

这允许头戴式显示器16(在其能够进行3D显示的情况下)通过将来自左眼视点的显示图像和来自右眼视点的显示图像分别呈现为左眼图像和右眼图像来显示3D显示图像。

如上所述，分发系统10中的生成装置12通过在多个二维平面上对全向图像进行透视投影来生成高分辨率图像。因此，3D模型上的高分辨率图像的形状不会失真。

因此，再现装置15可以使用各向同性的高分辨率图像来生成显示图像。因此，使所有视线方向上的显示图像的图像质量接近均匀。此外，使用显示图像中的高分辨率图像区域，可以执行准确度会受到失真的显著影响的一般图像处理，例如面部识别。

此外，由于3D模型上的运动与高分辨率图像中的运动相匹配，因此可以使用运动补偿以高精度对高分辨率图像进行编码。此外，在高分辨率图像中比特始终是均匀分布的。

此外，再现装置15向分发服务器13仅请求与视线方向对应的二维平面的高分辨率流，并且从分发服务器13接收该高分辨率流。因此，与接收所有二维平面的高分辨率流的情况相比，减少了分发服务器13与再现装置15之间的传送量。

此外，生成装置12通过对整个全向图像进行降分辨率转换来生成低分辨率图像。因此，甚至在显示图像对应于除高分辨率图像之外的区域的情况下，或者在观看者的视线方向突然改变的情况下，生成装置12也可以使用低分辨率图像生成显示图像。此外，分发系统10与仅再现整个全向图像的编码流的再现装置兼容。

此外，生成装置12接收所选择的平面的高分辨率流以及低分辨率流以生成显示图像。因此，与在接收一种分辨率的全向图像的编码流时生成显示图像的情况相比，显示图像的分辨率增大，同时传送量和吞吐量保持相同。

此外，生成装置12可以根据需要以定位、倾斜和缩放的方式来设定二维平面。因此，生成装置12可以生成与任何视线方向对应的高分辨率图像。另一方面，在通过对经由基于等距圆柱投影的方法而生成的全向图像进行划分来生成高分辨率图像的情况下，难以生成作为高分辨率图像的、以在全向图像中横向拉伸的方式映射到球体40的所述极区域的图像。

此外，生成装置12根据捕获图像生成用于生成低分辨率图像的全向图像，并且进一步根据该全向图像生成高分辨率图像。因此，以此方式使用高分辨率图像和低分辨率图像，与将捕获图像未经修改地用作高分辨率图像的情况相对照，再现装置15可以生成其中高分辨率图像区域和低分辨率图像区域彼此邻接但不会产生不适感的显示图像。

可替选地，可以针对与视线方向的重要范围对应的高密度来设定二维平面，该二维平面进一步针对与重要范围以外的范围对应的低密度而被设定或者根本不会针对该低密度而被设定，其中，在重要范围内观看到被认为对于观看者重要的目标对象。在这种情况下，当观看者的视线在重要范围内时，再现装置15可以使用与最接近视线的法线对应的二维平面的高分辨率来生成显示图像。这增大了显示图像中高分辨率图像的比例，其提高了显示图像的图像质量。此外，在与除重要范围之外的范围对应的、减少了数目的高分辨率流的情况下，高分辨率流的数目的增加得到最小化。

作为另一替选方案，高分辨率流、低分辨率流和二维平面表可以经由传送部103和104从接收部101实时地分发(实况分发)至再现装置 15，而不是被存储在存储装置102中。

在前述段落中，说明了捕获图像是运动图像。可替选地，捕获图像可以是静态图像。此外，所选平面计数不限于一。

分发系统10可以配备有固定显示单元以替代头戴式显示器16。在这种情况下，再现装置15不配备相机15A。观看位置和视线方向由操作与再现装置15或与固定显示单元连接的控制器的观看者输入。

可替选地，分发系统10可以配备有移动终端而不是再现装置15和头戴式显示器16。在这种情况下，移动终端接管除了相机15A的处理之外的再现装置15的处理，并且使显示图像呈现在移动终端的显示单元上。观看者通过改变移动终端的姿态来输入观看位置和视线方向。移动终端通过允许内部的陀螺仪传感器检测移动终端的姿态来获取所输入的观看位置和视线方向。

<第二实施方式>

除了用切向轴投影(稍后将详细讨论)替代透视投影以外，应用本公开的分发系统的第二实施方式被配置成与图2中的分发系统10相同。因此，随后的说明将集中在切向轴投影上。

(对投影平面的坐标系的说明)

图15是说明投影平面坐标系的说明图。

要注意的是，在第二实施方式中，投影平面是下述二维平面或下述视野范围：当生成装置12生成高分辨率图像时，通过切向轴投影将映射到球体上的全向图像投影在该二维平面上；当再现装置15生成显示图像时，通过切向轴投影而将3D模型图像投影在该视野范围上。

在图15的示例中，在3D模型的3D xyz坐标系中，在z轴的-0.1处设定投影平面501。在这种情况下，投影平面501的坐标系是2D st坐标系，其中原点位于投影平面501的中心O'处，并且平面501的水平方向和竖直方向分别在s方向和t方向上。

在随后的段落中，从xyz坐标系的原点O延伸到st坐标系的坐标 (s，t)的矢量502将使用坐标(s，t)以及从原点O到投影平面501的距离-1.0而被称为矢量(s，t，-1.0)。

(对切向轴投影的说明)

图16是说明切向轴投影(沿切向轴的投影)的说明图。

图16描绘了在负z方向上观看到的投影平面501。图16的示例示出了st坐标系，其中投影平面501的s值和t值最小各为-1.0、并且最大各为1.0。

在这种情况下，以下述方式在投影平面501上设定透视投影中的投影点：使得从原点O延伸至投影平面501上的每个投影点的投影矢量为矢量(s'，t'，-1.0)。这里，s'代表构成从-1.0到1.0的s值范围的各个间隔的值，而t'表示构成从-1.0到1.0的t值范围的各个间隔的值。因此，投影点在投影平面501上均匀地间隔开。

相较之下，如果假设投影平面501的视角为θw(在图16的示例中为π/2)，则以下述方式在投影平面501上设定切向轴投影中的投影点：使得投影矢量为矢量(tan(s'*θw/2)，tan(t'*θw/2)，-1.0)。

具体地，如果s'*θw/2代表θ而t'*θw/2代表则矢量(tan(s'*θw/2)， tan(t'*θw/2)，-1.0)被给定为矢量(tanθ，-1.0)。在这种情况下，当视角θw接近π时，tanθ和发散至无穷大。因此，以下述方式在投影平面501上设定投影点：使得矢量(tanθ，-1.0)被校正为矢量并且投影矢量为矢量 以防止tanθ和发散至无穷大。因此，在切向轴投影中，与相邻的投影点对应的投影矢量之间的角度保持相同。

顺便提及，如在对数轴(对数标度)的情况下那样，tan(s'*θw/2) 和tan(t'*θw/2)被认为表示沿切向轴的s'和t'。因此，在本说明书中，切向轴投影被定义为用来将投影矢量转变为矢量(tan(s'*θw/2)，tan(t'*θw/2)， -1.0)的投影。

(对透视投影和切向轴投影中的投影点的说明)

图17是说明透视投影和切向轴投影中的投影点的说明图。

图17描绘了在负y方向上观看到的投影平面501。在图17的示例中，投影平面501上放置有九个投影点。

在这种情况下，如图17所示，透视投影中的投影点P1至P9在投影平面501上以相同的间隔d间隔开。因此，与投影点P1至P9对应的、映射到球体511上的全向图像上的那些点P1'至P9'以变化的间隔d'间隔开。也就是说，由于间隔d'取决于投影矢量，因此投影点越接近投影平面501 的中心，则投影点之间的间隔d'越长。

相较之下，在切向轴投影中，投影点Q1至Q9以下述方式间隔开：使得与相邻的投影点对应的投影矢量之间的角度构成相同的角度α。因此，与投影点Q1至Q9对应的、映射到球体511上的全向图像上的那些点Q1'至Q9'以相同的间隔d”间隔开。

(通过透视投影和通过切向轴投影生成的高分辨率图像上的全向图像的典型像素)

图18是描绘通过透视投影生成的高分辨率图像上的全向图像的典型像素的示意图。图19是示出通过切向轴投影生成的高分辨率图像上的全向图像的典型像素的示意图。

顺便提及，在图18和图19中，用白线表示高分辨率图像上的全向图像的像素之间的边界。这也以类似的方式适用于图20，稍后将对其进行讨论。此外，在图18和图19的示例中，构成投影平面的二维平面是图12的子图A中的六个平面211至216。这也适用于稍后将讨论的图21。

在这种情况下，如图18所示，越接近画面中心，则通过在平面211 至216上对映射到球体上的全向图像的像素进行透视投影而生成的高分辨率图像521至526上的全向图像的像素530(由白线包围的矩形)的密度越高。

也就是说，在其中投影点在平面211至216上间隔开相等距离的透视投影的情况下，越接近平面211至216的中心，则与映射到球体上的全向图像中的投影点对应的每单位角度的点的密度越低。因此，越接近画面的中心，则高分辨率图像521至526上的全向图像的像素530的密度越高。

相较之下，如图19所示，通过在平面211至216上对映射到球体上的全向图像的像素进行切向轴投影而生成的高分辨率图像541至546上的全向图像的像素550(图中由白线包围的矩形)的密度接近均匀。

也就是说，在其中与投影点对应的点在映射到球体上的全向图像上间隔开相等距离的切向轴向投影的情况下，每单位角度的对应点的密度比在透视投影的情况下更均匀。这意味着，高分辨率图像541至546上的全向图像的像素550的密度接近均匀。因此，高分辨率图像541至546的图像质量高于其上的全向图像的像素的密度不均匀的高分辨率图像521至526 的图像质量。

顺便提及，高分辨率图像541与546的像素550之间的边界未形成同心圆。因此，高分辨率图像541和546与通过使用鱼眼镜头获取的捕获图像不同。高分辨率图像521至526可以分别与高分辨率图像541和546互相转换，因为这些图像中的每个图像都是通过对全向图像的相同区域进行投影而获得的。

图20是描绘通过透视投影和切向轴投影生成的高分辨率图像上的全向图像的其他典型像素的示意图。

图20的上部示出了通过以60°、90°、120°、150°和170°的视角θw 在二维平面上进行透视投影而生成的高分辨率图像561至565。

图20的下部描绘了通过以60°、90°、120°、150°和170°的视角θw 在二维平面上进行切向轴投影而生成的高分辨率图像571至575。

如图20的上部所示，视角θw越大，则通过透视投影生成的高分辨率图像561至565上的全向图像的像素在画面上的位置之间的密度的差异越大。另一方面，如图20的下部所示，通过切向轴投影生成的高分辨率图像571至575上的全向图像的像素在画面上的位置的密度接近均匀。因此，视角θw越大，则通过切向轴投影生成的高分辨率图像571至575的图像质量与通过透视投影生成的高分辨率图像561至565相对照越高。

此外，视角θw越大，则通过透视投影生成的高分辨率图像561至 565上的全向图像的画面中心处的像素的密度越高。因此，例如，视角θw为120°的高分辨率图像563的画面中心处的分辨率低于视角θw为90°的高分辨率图像562的分辨率。

尽管视角θw越大则通过切向轴投影生成的整个高分辨率图像571至 575上的全向图像的像素的密度越高，但画面上的这些像素的密度接近均匀。因此，视角θw越大，则切向轴投影中在画面中心处的全向图像的像素的密度的增大与在透视投影中相比越多地被抑制。

例如，在视角θw为120°并且通过切向轴投影生成的高分辨率图像 573上的全向图像的画面中心处的像素的密度与视角为90°并且通过透视投影生成的高分辨率图像562上的全向图像的画面中心处的像素的密度接近相同。因此，与通过透视投影的方式相比，通过切向轴投影的方式使得画面中心处的重要区域的分辨率更高。

要注意的是，尽管未示出，但是如果通过透视投影将高分辨率图像 521至526作为纹理映射到立方体的面上以使得两个相邻的面之间的边界被投影在画面中心上，则通过透视投影生成的全向图像的像素越接近该边界则密度越高。类似地，在使三个相邻的面之间的边界被投影在画面中心上的透视投影的情况下，通过透视投影生成的全向图像的像素越接近这些边界则密度越高。也就是说，通过从映射有高分辨率图像521至526的立方体的接近顶部进行透视投影而生成的全向图像的像素的密度高于其他区域的像素的密度。

(二维平面表的典型结构)

图21是指示用于本公开的第二实施方式的二维平面表的典型结构的表格图。

除了新登记了作为投影方法的、投影到二维平面上的方法之外，图 21中的二维平面表被配置成与图6中的表相同。具体地，由于对于第二实施方式的投影到二维平面上的方法是切向轴投影，因此图21中的二维平面表中将切向轴投影登记为与ID 1至5中的每个ID对应的投影方法。

可替选地，对于第一实施方式，也可以与第二实施方式类似地将投影方法登记在二维平面表中。作为另一替选方案，对于第二实施方式，可以如第一实施方式那样不将投影方法登记在二维平面表中。

利用第二实施方式，如上所述，通过在二维平面上对映射到球体上的全向图像进行切向轴投影来生成高分辨率图像。这改善了高分辨率图像的图像质量。此外，显示图像是通过在视野范围上对3D模型图像进行切向轴投影而生成的，这改善了显示图像的图像质量。

要注意的是，可以通过除透视投影或切向轴投影以外的投影方法来生成高分辨率图像或显示图像。此外，投影方法可以根据二维平面的不同而变化。

<第三实施方式>

(对应用本公开的计算机的说明)

上述一系列处理可以由硬件或软件来执行。在要执行基于软件的一系列处理的情况下，将构成该软件的程序安装到合适的计算机中以供执行。这样的计算机可以包括预先将软件并入其专用硬件中的那些计算机、以及能够基于安装在其中的各种程序执行各种功能的例如通用个人计算机的那些计算机。

图22是描绘使用程序执行上述一系列处理的计算机的典型硬件配置的框图。

在计算机900中，中央处理单元(CPU)901、只读存储器(ROM) 902和随机存取存储器(RAM)903经由总线904互连。

总线904还与输入/输出接口905连接。输入/输出接口905与输入部 906、输出部907、存储部908、通信部909和驱动器910连接。

输入部906例如包括键盘、鼠标和麦克风。输出部907例如包括显示单元和扬声器。存储部908通常由硬盘或非易失性存储器形成。通信部 909通常由网络接口构成。驱动器910驱动可移除介质911如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机900中，CPU 901通过下述方式实现上述一系列处理：经由输入/输出接口905和总线904将适当的程序例如从存储部908加载到RAM 903中，并且执行所加载的程序。

在提供有可移除介质911的情况下，待由计算机900(CPU 901)执行的程序可以被记录在例如封装式介质的可移除介质911上。还可以通过诸如局域网、互联网和数字卫星广播的有线或无线传输介质来提供程序。

在计算机900中，可以经由输入/输出接口905将程序从附接至驱动器910的可移除介质911安装到存储部908中。也可以在通信部909经由有线或无线传输介质接收该程序之后将其安装到存储部908中。可替选地，可以将该程序预先安装在ROM 902中或存储部908中。

此外，待由计算机执行的每个程序可以以本说明书中描绘的序列按时间顺序进行处理、与其他程序并行地进行处理或者以另外适当定时的方式例如当根据需要被调用时进行处理。

<应用示例>

本公开的技术可以应用于多种产品。例如，本技术可以被实现为安装在诸如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人代步工具、飞行器、无人机、船舶、机器人、建筑设备和农业机械(拖拉机) 的移动对象上的装置。

图23是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是可应用作为根据本公开的实施方式的技术的移动体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图23所示出的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、 FlexRay等。

各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口 (I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信 I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图23所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100可具有防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身系统控制单元7200用作控制设备来控制：无钥匙进入系统，智能钥匙系统，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池 7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310 的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。

车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部 7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。

图24示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912 和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图24示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。

布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和 7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。

回到图23，继续进行描述。车外信息检测单元7400使成像部7410 成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理，以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元 7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部 7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制系统7000输入各种数据，处理操作的指令。

存储部7690可包括存储由微型计算机执行的各种程序的只读存储器 (ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器 (RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F，调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信系统(GSM)、全球互通微波接入 (WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信 (MTC)终端)相连接。

专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信 I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入 (WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X 通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。

定位部7640可以通过，接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，生成包括车辆的纬度、经度以及高度的位置信息，而执行定位。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统 (PHS)或具有定位功能的智能电话。

信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F 7630中。

车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线 LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F 7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机 7610可执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680 中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图23的实例中，音频扬声器7710、显示部7720和仪表面板 7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。

顺便提及，在图23所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。

顺便提及，用于实现体现了本技术并且以上参照图1至图21说明的分发系统10的功能的计算机程序可以被安装在上述控制单元中的任何一个中。还可以提供记录有该计算机程序的记录介质。记录介质可以是例如磁盘、光盘、磁光盘或闪速存储器。可替选地，上述计算机程序可以在不借助于记录介质的情况下被分发，例如经由网络进行分发。

在上述车辆控制系统7000中使用了体现本技术并且以上参照图1至图21说明的分发系统10的情况下，例如，分发系统10的成像装置11至少部分地对应于成像部7410。生成装置12、分发服务器13和再现装置 15被整体配置并且对应于微型计算机7610和存储部7690。头戴式显示器 16对应于显示部7720。在集成控制单元7600中使用分发系统10的情况下，不设置网络14、相机15A、标记16A和陀螺仪传感器16B。由作为观看者的操作输入部7800的乘客输入观看者的视线方向和观看位置。当在图23中作为应用示例所描绘的集成控制单元7600中如上所述使用分发系统10的情况下，使得在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀。

以上参照图1和图21说明的分发系统10的组件中的至少一些可以通过用于图23所示的集成控制单元7600的模块(例如，由单个管芯构成的集成电路模块)来实现。可替选地，可以通过图23所示的车辆控制系统 7000中的多个控制单元来实现以上参照图1至图21讨论的分发系统10。

在本说明书中，术语“系统”指多个组件(例如，装置或模块(部件))的集合。所有组件是否都被容置在同一壳体中并不重要。因此，系统可以配置有容置在分离的壳体中并且经由网络互连的多个装置，或者配置有将多个模块容置在单个壳体中的单个装置。

要注意的是，本说明书中陈述的有利效果仅是示例而并非对本技术的限制。可存在源自本说明书而本说明书未涵盖的其他有利效果。

本公开的实施方式不限于以上讨论的那些实施方式。在本公开的范围和精神内，可以以各种方式修改、改变或改进这些实施方式。

例如，本公开可以被实现为云计算设置，其中，由多个联网装置在共享的基础上协同处理单个功能。

此外，参照上述流程图讨论的每个步骤可以由单个装置执行或者由多个装置在共享的基础上执行。

此外，如果单个步骤包括多个处理，则这些处理可以由单个装置执行或者由多个装置在共享的基础上执行。

在实现本公开时，可以将其优选地配置成如下所述：

(1)

(1)

一种生成装置，包括：

降分辨率转换部，被配置成对全向图像进行降分辨率转换；以及

投影部，被配置成通过将映射到3D模型上的所述全向图像投影在多个二维平面上来生成多个图像。

(2)

如上述段落(1)所述的生成装置，还包括：

低分辨率编码部，被配置成通过对由所述降分辨率转换部进行降分辨率转换的全向图像进行编码来生成低分辨率流；

高分辨率编码部，被配置成通过对由所述投影部生成的多个图像中的每个图像进行编码来生成高分辨率流；以及

传送部，被配置成传送由所述低分辨率编码部生成的低分辨率流和由所述高分辨率编码部生成的高分辨率流。

(3)

如上述段落(2)所述的生成装置，其中，所述传送部传送指示所述多个二维平面的位置的二维平面信息。

(4)

如上述段落(1)至(3)中任一项所述的生成装置，其中，相邻的所述二维平面上的图像彼此部分交叠。

(5)

如上述段落(1)至(4)中任一项所述的生成装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线。

(6)

如上述段落(1)至(4)中任一项所述的生成装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线、以及经过所述立方体的每个面的中心并且经过所述立方体的中心的线。

(7)

如上述段落(1)至(6)中任一项所述的生成装置，其中，所述全向图像由来自左眼视点的全向图像和来自右眼视点的全向图像构成，

所述降分辨率转换部通过打包经降分辨率转换的、所述来自左眼视点的全向图像和所述来自右眼视点的全向图像来生成低分辨率打包图像，以及

所述投影部通过在所述多个二维平面中的每个平面上打包来自左眼视点和右眼视点的下述多个图像来生成高分辨率打包图像，该多个图像是通过将映射到所述3D模型上的所述来自左眼视点的全向图像和所述来自右眼视点的全向图像中的每个投影在所述多个二维平面上而生成的。

(8)

一种生成方法，包括使生成装置进行下述步骤：

降分辨率转换步骤，用于对全向图像进行降分辨率转换；以及

投影步骤，用于通过将映射到3D模型上的所述全向图像投影在多个二维平面上来生成多个图像。

(9)

一种再现装置，包括：

接受部，被配置成接受通过将映射到3D模型上的全向图像投影在多个二维平面上而生成的多个图像中的至少一个图像以及已经经降分辨率转换的所述全向图像；以及

描绘部，被配置成至少基于由所述接受部接受的所述图像或者经降分辨率转换的所述全向图像来生成显示图像。

(10)

如上述段落(9)所述的再现装置，还包括：

选择部，被配置成基于观看者的视线方向从所述多个图像中选择由所述接受部接受的所述图像。

(11)

如上述段落(10)所述的再现装置，其中，所述接受部接受指示所述多个二维平面的位置的二维平面信息，以及

所述选择部基于所述二维平面信息和所述视线方向来选择所述图像。

(12)

如上述段落(9)所述的再现装置，还包括：

映射处理部，被配置成通过将所述图像映射到所述二维平面上以及将经降分辨率转换的所述全向图像映射到所述3D模型上来生成3D模型图像；

其中，所述描绘部通过将由所述映射处理部生成的3D模型图像投影在观看者的视野范围上来生成所述显示图像。

(13)

如上述段落(9)至(12)中任一项所述的再现装置，还包括：

低分辨率解码部，被配置成对通过对经降分辨率转换的所述全向图像进行编码而生成的低分辨率流进行解码，以生成经降分辨率转换的所述全向图像；以及

高分辨率解码部，被配置成对通过对所述多个图像中的至少一个图像进行编码而生成的高分辨率流进行解码，以生成所述图像；

其中，所述接受部接受所述低分辨率流和所述高分辨率流。

(14)

如上述段落(9)至(13)中任一项所述的再现装置，其中，相邻的所述二维平面上的图像彼此部分交叠。

(15)

如上述段落(9)至(14)中任一项所述的再现装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线。

(16)

如上述段落(9)至(14)中任一项所述的再现装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线、以及经过所述立方体的每个面的中心并且经过所述立方体的中心的线。

(17)

如上述段落(9)至(11)中任一项所述的再现装置，其中，经降分辨率转换的所述全向图像是将经降分辨率转换的来自左眼视点的全向图像和经降分辨率转换的来自右眼视点的全向图像打包的打包图像，并且

所述多个图像是将通过将映射到所述3D模型上的来自左眼视点的全向图像和来自右眼视点的全向图像中的每个投影在所述二维平面上而生成的图像在每个所述二维平面上打包的打包图像。

(18)

如上述段落(17)所述的再现装置，其中，所述描绘部按照每个视点来分离由所述接受部接受的所述图像和经降分辨率转换的所述全向图像，所述描绘部还至少基于已经按照每个视点分离的所述图像或经降分辨率转换的所述全向图像来生成所述显示图像。

(19)

一种再现方法，包括使再现装置进行下述步骤：

接受步骤，用于接受通过将映射到3D模型上的全向图像投影在多个二维平面上而生成的多个图像中的至少一个图像以及已经经降分辨率转换的所述全向图像；以及

描绘步骤，用于至少基于在所述接受步骤中接受的所述图像或者经降分辨率转换的所述全向图像来生成显示图像。

附图标记列表

12 生成装置

23 降分辨率转换部

24 编码器

26-1至26-5 透视投影部

27-1至27-5 编码器

29 传送部

40 球体

41至45 二维平面

121 接收部

122 解码器

123 接收部

124 解码器

125 映射处理部

126 描绘部

128 视线检测部

143 二维平面

151 低分辨率图像

152 高分辨率图像

170 显示图像

171 高分辨率图像

172 低分辨率图像

180 显示图像

181 高分辨率图像

182 低分辨率图像

190 显示图像

191 高分辨率图像

192 低分辨率图像

Claims (19)

1.一种生成装置，包括：

降分辨率转换部，被配置成对全向图像进行降分辨率转换；以及

投影部，被配置成通过将映射到3D模型上的所述全向图像投影在多个二维平面上来生成多个图像。

2.根据权利要求1所述的生成装置，还包括：

低分辨率编码部，被配置成通过对由所述降分辨率转换部进行降分辨率转换的全向图像进行编码来生成低分辨率流；

高分辨率编码部，被配置成通过对由所述投影部生成的多个图像中的每个图像进行编码来生成高分辨率流；以及

传送部，被配置成传送由所述低分辨率编码部生成的低分辨率流和由所述高分辨率编码部生成的高分辨率流。

3.根据权利要求2所述的生成装置，其中，所述传送部传送指示所述多个二维平面的位置的二维平面信息。

4.根据权利要求1所述的生成装置，其中，相邻的所述二维平面上的图像彼此部分交叠。

5.根据权利要求1所述的生成装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线。

6.根据权利要求1所述的生成装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线、以及经过所述立方体的每个面的中心并且经过所述立方体的中心的线。

7.根据权利要求1所述的生成装置，其中，所述全向图像由来自左眼视点的全向图像和来自右眼视点的全向图像构成，

所述降分辨率转换部通过打包经降分辨率转换的、所述来自左眼视点的全向图像和所述来自右眼视点的全向图像来生成低分辨率打包图像，以及

所述投影部通过在所述多个二维平面中的每个平面上打包来自左眼视点和右眼视点的下述多个图像来生成高分辨率打包图像，该多个图像是通过将映射到所述3D模型上的所述来自左眼视点的全向图像和所述来自右眼视点的全向图像中的每个投影在所述多个二维平面上而生成的。

8.一种生成方法，包括使生成装置进行下述步骤：

降分辨率转换步骤，用于对全向图像进行降分辨率转换；以及

投影步骤，用于通过将映射到3D模型上的所述全向图像投影在多个二维平面上来生成多个图像。

9.一种再现装置，包括：

接受部，被配置成接受通过将映射到3D模型上的全向图像投影在多个二维平面上而生成的多个图像中的至少一个图像以及已经经降分辨率转换的所述全向图像；以及

描绘部，被配置成至少基于由所述接受部接受的所述图像或者经降分辨率转换的所述全向图像来生成显示图像。

10.根据权利要求9所述的再现装置，还包括：

选择部，被配置成基于观看者的视线方向从所述多个图像中选择由所述接受部接受的所述图像。

11.根据权利要求10所述的再现装置，其中，所述接受部接受指示所述多个二维平面的位置的二维平面信息，以及

所述选择部基于所述二维平面信息和所述视线方向来选择所述图像。

12.根据权利要求9所述的再现装置，还包括：

映射处理部，被配置成通过将所述图像映射到所述二维平面上以及将经降分辨率转换的所述全向图像映射到所述3D模型上来生成3D模型图像；

其中，所述描绘部通过将由所述映射处理部生成的3D模型图像投影在观看者的视野范围上来生成所述显示图像。

13.根据权利要求9所述的再现装置，还包括：

低分辨率解码部，被配置成对通过对经降分辨率转换的所述全向图像进行编码而生成的低分辨率流进行解码，以生成经降分辨率转换的所述全向图像；以及

高分辨率解码部，被配置成对通过对所述多个图像中的至少一个图像进行编码而生成的高分辨率流进行解码，以生成所述图像；

其中，所述接受部接受所述低分辨率流和所述高分辨率流。

14.根据权利要求9所述的再现装置，其中，相邻的所述二维平面上的图像彼此部分交叠。

15.根据权利要求9所述的再现装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线。

16.根据权利要求9所述的再现装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线、以及经过所述立方体的每个面的中心并且经过所述立方体的中心的线。

17.根据权利要求9所述的再现装置，其中，经降分辨率转换的所述全向图像是将经降分辨率转换的来自左眼视点的全向图像和经降分辨率转换的来自右眼视点的全向图像打包的打包图像，并且

所述多个图像是将通过将映射到所述3D模型上的来自左眼视点的全向图像和来自右眼视点的全向图像中的每个投影在所述二维平面上而生成的图像在每个所述二维平面上打包的打包图像。

18.根据权利要求17所述的再现装置，其中，所述描绘部按照每个视点来分离由所述接受部接受的所述图像和经降分辨率转换的所述全向图像，所述描绘部还至少基于已经按照每个视点分离的所述图像或经降分辨率转换的所述全向图像来生成所述显示图像。

19.一种再现方法，包括使再现装置进行下述步骤：

接受步骤，用于接受通过将映射到3D模型上的全向图像投影在多个二维平面上而生成的多个图像中的至少一个图像以及已经经降分辨率转换的所述全向图像；以及

描绘步骤，用于至少基于在所述接受步骤中接受的所述图像或者经降分辨率转换的所述全向图像来生成显示图像。