CN107924556B - 图像生成装置和图像显示控制装置 - Google Patents

Abstract

提供了一种图像生成装置，通过将八个分割区域中的至少一个分割区域变换为对应于彼此相等纬度的像素的数量朝向高纬度递减这样的区域，并且将变换区域放置在平面上来生成全景图像，所述至少一个分割区域包括从观察点观看的场景投影到的范围，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割具有场景投影到的至少部分范围的球体的表面获得的，以及输出所生成的全景图像。

Description

图像生成装置和图像显示控制装置

技术领域

本发明涉及用于生成全景图像的图像生成装置、用于显示全景图像的图像显示控制装置、图像生成方法、程序和图像数据。

背景技术

等距圆柱投影被称为将从观察点观察的整个天空场景投影到二维平面上的全景图像的图像格式。根据该投影，具有纵横比为1:2的矩形形状的图像数据包括水平跨越360度和垂直跨越180度的全向场景。通过使用这样的全景图像，可以实现用于例如基于用户如何操纵其视点的方向来以任何期望的方向显示场景的全景观察器。

发明内容

技术问题

根据上述等距圆柱投影的图像格式，图像的整个上侧对应于顶点(正上方)处的一个点，并且其整个下侧对应于最低点(正下方)处的一个点。因此，在靠近上侧和下侧的区域(包括指向几乎直接在观察点的正上方和正下方的场景的区域)中，与包括地平线附近的高度处的场景的图像中间的区域相比，每像素的信息量非常小，造成了大量的浪费信息。

本发明是鉴于上述情况而完成的。本发明的目的是提供能够减少包括在全景图像中的浪费信息的图像生成装置、图像显示控制装置、图像生成方法、程序和图像数据。

问题的解决方案

根据本发明的图像生成装置包括：全景图像生成单元，配置为通过将八个分割区域中的至少一个分割区域变换为对应于彼此相等纬度的像素的数量朝向高纬度递减这样的区域并且将变换区域放置在平面上来生成全景图像，所述至少一个分割区域包括从观察点观看的场景投影到的范围，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割具有场景投影到的至少部分范围的球体的表面获得的，以及图像输出单元，配置为输出所生成的全景图像。

根据本发明的图像显示控制装置包括：获取单元，配置为通过将八个分割区域中的至少一个分割区域变换为对应于彼此相等纬度的像素的数量朝向高纬度递减这样的区域并且将变换区域放置在平面上来获取全景图像，所述至少一个分割区域包括从观察点观看的场景投影到的范围，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割具有场景投影到的范围的至少部分范围的球体的表面获得的；以及渲染单元，配置为基于所获取的全景图像渲染表示预定视野范围内的场景的显示图像，并且控制显示装置在其屏幕上显示渲染的显示图像。

根据本发明的生成图像的方法包括以下步骤：通过将八个分割区域中的至少一个分割区域变换为对应于彼此相等纬度的像素的数量朝向高纬度递减这样的区域并且将变换区域放置在平面上来生成全景图像的步骤，所述至少一个分割区域包括从观察点观看的场景投影到的范围，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割具有场景投影到的范围的至少部分范围的球体的表面获得的，以及输出所生成的全景图像的步骤。

根据本发明的程序使得计算机能够用作用于通过将八个分割区域中的至少一个分割区域变换为对应于彼此相等纬度的像素的数量朝向高纬度递减这样的区域并且将变换区域放置在平面上来生成全景图像的装置(means)，所述至少一个分割区域包括从观察点观看的场景投影到的范围，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割具有场景投影到的范围的至少部分范围的球体的表面获得的，以及用于输出所生成的全景图像的装置。所述程序可以被提供为被存储在可以被计算机读取的非时间信息存储介质中。

根据本发明的图像数据表示从八个分割区域中的至少一个分割区域变换为使得对应于彼此相等纬度的像素的数量朝向高纬度递减并且将其放置在平面上的变换区域，所述至少一个分割区域包括从观察点观看的场景投影到的范围，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割具有场景投影到的范围的至少部分范围的球体的表面获得的。

附图说明

图1A是在由根据本发明实施例的图像生成装置所生成的根据第一示例的全景图像中，投影了包括在全景图像中的整个天空场景的假想球体的透视前视图。

图1B是投影了包括在根据第一示例的全景图像中的整个天空场景的假想球体的透视后视图。

图1C是投影了包括在根据第一示例的全景图像中的整个天空场景的假想球体的正视图。

图2是描绘根据等距圆柱投影的全景图像的图。

图3是描绘根据第一示例的全景图像的图。

图4A是在由根据本发明实施例的图像生成装置所生成的根据第二示例的全景图像中，投影了包括在全景图像中的整个天空场景的假想球体的透视前视图。

图4B是投影了包括在根据第二示例的全景图像中的整个天空场景的假想球体的透视后视图。

图4C是投影了包括在根据第二示例的全景图像中的整个天空场景的假想球体的正视图。

图4D是投影了包括在根据第二示例的全景图像中的整个天空场景的假想球体的后视图。

图5是描绘根据第二示例的全景图像的图。

图6是描绘根据第三示例的全景图像的图。

图7是描绘由根据本发明实施例的图像生成装置生成的全景图像的像素布局的示例的图。

图8是描绘矩形形状的全景图像的像素布局的示例的图。

图9是描绘矩形形状的全景图像的像素布局的另一示例的图。

图10是描绘根据本发明实施例的包括图像生成装置和图像显示控制装置的图像显示系统的布置的框图。

图11是描绘图像显示系统的功能的功能框图。

图12是说明用于渲染显示图像的采样处理的图。

图13是描绘添加了采样像素串的全景图像的示例的图。

具体实施方式

下面将基于附图详细描述本发明的实施例。

根据本实施例的图像生成装置生成不同于等距圆柱投影的图像格式的全景图像，包括从观察点观看的整个天空场景。由根据实施例的图像生成装置生成的全景图像在下文中将被称为全景图像P。全景图像P由包括整个天空场景的二维(平面)图像数据表示。整个天空表示从观察点观看的从顶点到最低点的水平跨越360度(左右方向)和垂直跨越180度(上下方向)的所有方位角。

下面将与根据等距圆柱投影的全景图像进行比较，描述全景图像P的图像格式的三个示例。首先将在下面描述全景图像P的第一示例。在下文中将根据第一示例的全景图像P称为第一全景图像P1。在下文中将根据等距圆柱投影生成的全景图像称为等距圆柱图像P0。

从观察点观看的整个天空场景被投影到观察点位置周围的假想球体上。整个天空场景投影到的假定球体被称为球体S。图1A至1C描绘了球体S，图1A是从上面观看的透视前视图，图1B是从下面观看的透视后视图，以及1C是前立面视图。稍后描述的点E₁的位置在正面方向上。在球体S的表面上，与顶点(在观察点正上方)对应的点被称为点U，并且与最低点(在观察点正下方)对应的点被称为点D。点U和点D位于球体S的穿过其中心的相对侧上。与直线UD垂直的球体S的大圆对应于从观察点观看的天文地平线，并且从观察点水平地观看的场景被投影到大圆上。包括与直线UD垂直的球体S的大圆的平面将被称为水平面。与水平面正交的平面将被称为垂直面。

根据第一示例，球体S的表面上的位置由纬度θ和经度φ的坐标系表示。假定水平面上的点F是坐标系的原点(θ＝0，φ＝0)。球体S上的某点的纬度θ被表示为连接该点与球体S的中心的直线与水平面之间形成的角度。该点的经度φ由包括该点、点U和点D的球体S的大圆和包括点F、点U和点D的球体S的大圆之间形成的角度表示。如图1C所描绘的，从水平面到顶点的方向被称为纬度θ的正方向。因此，点U的纬度被定义为π/2，并且点D的纬度为-π/2。从观察点观看点F的右手方向被称为经度φ的正方向。

在球体S上沿着水平面成90度角度间隔的四个点被称为点E₁至E₄。具体地，这四个点的纬度θ都是0，点E₁、E₂、E₃和E₄的经度φ分别是π/4、3π/4、5π/4(或-3π/4)、-π/4。例如，如果观察点处的观察者面向点E₁的方向，则点E₂在观察者的右手方向上，点E₃在观察者的向后方向上，并且点E₄是在观察者的左手方向。点E₁和点E₃位于球体S的穿过其中心的相对侧上，点E₂和点E₄位于球体S的穿过其中心的相对侧上。直线E₁E₃和直线E₂E₄在水平面上彼此正交。在图1A至图1C中，包括在水平面内的θ＝0的纬线和经过点E₁至E₄的4条经线由实线表示。多条纬线用虚线表示。

此外，通过经过球体S的中心并且彼此正交的三个平面分割的球体S的表面的八个区域被表示为分割区域A₁至A₈。根据第一示例，三个正交平面是包括点E₁至E₄的水平面、包括点E₁、E₃、U和D的垂直面以及包括点E₂、E₄、U和D的另一垂直面。具体地，将连接点U和E₁的经线、连接点E₁和E₂的纬线和连接点E₂和U的经线所包围的区域定义为分割区域A₁。类似地，将由点U、E₂和E₃包围的区域定义为分割区域A₂，点U、E₃和E₄包围的区域为分割区域A₃，点U、E₄和E₁包围的区域为分割区域A₄，点D、E₁和E₂包围的区域为分割区域A₅，点D、E₂和E₃包围的区域为分割区域A₆，点D、E₃和E₄包围的区域为分割区域A₇，点D、E₄和E₁包围的区域为分割区域A₈。这些分割区域A₁至A₈中的每个是由每条具有对应于球体S的大圆的周长的1/4的长度的三条纬线和经线包围的区域，并且它们的大小和形状彼此相等。

图2描绘了包括投影到球体S上的场景的等距圆柱图像P0。经度φ＝0处的点F位于等距圆柱图像P0的中心。根据等距圆柱投影，将投影到球体S表面上的场景变换成纵横比为1：2的矩形形状的等距圆柱图像P0，以保持从观察点观看的垂直和水平位置关系。在等距圆柱图像P0中，球体S的纬线在水平方向上彼此平行延伸，并且球体S的经线在垂直方向上彼此平行延伸，并且所有纬线和所有经线都是相互正交的。分割区域A₁至A₈被变换为各自的正方形形状的区域。等距圆柱图像P0具有整体对应于点U的上侧和整体对应于点D的下侧。由于上述变换，位于球体S的表面(高纬度区域)的点U和D附近的区域在等距圆柱图像P0中水平扩展。因此，在等距圆柱图像P0的上侧和下侧附近，与图像中间的低纬度区域相比，每单位像素所包括的信息量减少。

图3描绘了包括投影到球体S上的场景的第一全景图像P1。如图3所描绘的，第一全景图像P1整体上呈正方形形状。正方形形状的中心对应于点D，与球体S上的点D相对的点U对应于正方形形状的四个角。换句话说，第一全景图像P1的四个顶点对应于球体S上的单点U。正方形形状的上侧的中点对应于点E₁，其右侧的中点对应于点E₂，其下侧的中点对应于点E₃，以及其左侧的中点对应于点E₄。在第一全景图像P1的与球体S上的单点U对应的四个顶点中，右上顶点被定义为点U₁、右下顶点为点U₂、左下顶点为点U₃、以及左上顶点为点U₄。

球体S上的θ＝0的纬线在第一全景图像P1中形成方形E₁E₂E₃E₄，四条边的中点作为正方形的顶点，并且点D作为正方形的中心。在第一全景图像P1中，在θ<0处的纬线形成正方形，在与直线E₁D、E₂D、E₃D和E₄D相交的位置处它们形成90度弯曲，并且点D作为正方形的中心。另一方面，θ>0处的纬线被分割为通过将第一全景图像P1分割为四个而提供的四个正方形E₁U₁E₂D、DE₂U₂E₃、U₄E₁DE₄和E₄DE₃U₃。这四个正方形对应于当通过彼此正交的两个垂直面将球体S的表面分割为四个时获得的相应的四个区域。在这些正方形的每一个中，纬线(即与两个垂直面正交的平面与球体S彼此交叉的线)平行于正方形的对角线并置。球体S上的经线从第一全景图像P1的中心点D径向延伸，在与θ＝0处的纬线相交的位置处弯曲，并延伸到对应于点U的任一个正方形。

通过将球体S的表面分割成8个而获得的分割区域A₁至A₈的每个被变换为第一全景图像P1中的形状为矩形等边三角形的区域。在第一全景图像P1中，将每个分割区域变换为与每个分割区域被变换为正方形形状的等距圆柱图像P0相比，相对更接近于原始球面上的形状的形状。因此，与等距圆柱图像P0相比，高纬度区域中每单位像素所包括的信息量与低纬度区域中每单位像素所包括的信息量之间的差异减小。在下文中，从分割区域变换来的全景图像P中的区域将被称为变换区域。为了便于说明，全景图像P中的各个变换区域由与球体S上的对应分割区域相同的附图标记表示。例如，通过变换球体S上的分割区域A₁获得的第一全景图像P1中的变换区域被称为变换区域A₁。

下面将描述球体S的表面上的位置坐标与第一全景图像P1中的位置坐标之间的关联关系。假定第一全景图像P1中的位置坐标由如图3所描绘的x轴在水平方向上延伸，y轴在垂直方向上延伸，并且原点位于中心位置的正交坐标系表示。在正交坐标系中，第一全景图像P1的右侧用x＝1表示，其左侧用x＝-1表示，其上侧用y＝1表示，并且其下侧用y＝-1表示。

在这种情况下，球体S的表面上的纬度θ和经度φ由下面的等式使用变量u、v和a来表示：

[等式1]

其中u、v、a基于第一全景图像P1中的位置坐标(x，y)由以下等式表示：

[等式2]

变换区域A₁和A₅(x≥0,y≥0)：

变换区域A₂和A₆(x≥0,y≤0)：

u＝-y,v＝x,a＝π

变换区域A₃和A₇(x≤0,y≤0)：

变换区域A₄和A₈(x≤0,y≥0)：

u＝y,v＝-x,a＝0

球体S上的位置与第一全景图像P1中的位置之间的关联关系由这些等式来定义。从这些等式可以理解，每个分割区域中的纬度θ与x和y都是线性相关的。

除了第一全景图像P1的外周上的点(x＝1，x＝-1，y＝1，y＝-1)之外，球体S上的位置坐标和第一全景图像P1中的位置坐标是彼此一一对应的。此外，在第一全景图像P1中彼此相邻的像素对应于在球体S中彼此相邻的区域。换句话说，尽管在第一全景图像P1中存在纬线和经线的弯曲的位置，在球体S上彼此分离的离散区域在第一全景图像P1中不会被变换为彼此相邻。在正方形形状的每一侧绕其中点折回的情况下，在第一全景图像P1的外周上的点在球体S上邻接于对应的相同侧上的位置。例如，正方形形状的上侧的左边的第n个像素和右边的第n个像素对应于球体S上的相邻区域。

在等距圆柱图像P0中，低纬度区域(图像的中间区域)中每单位像素的信息量最大。如果等距圆柱图像P0的垂直方向上的像素数量由2N表示，则其水平方向上的像素数量由4N表示，使得在水平面上对应于90度(例如，从点E₁到点E₂的范围)的视野范围的像素数量为N。相反，在垂直方向上的像素数量由2N表示的第一全景图像P1中，尽管与水平面上的90度的视野范围对应的像素例如沿着图3中的直线E₁E₂倾斜地布置，这些像素的数量与等距圆柱图像P0一样是N。因此，与在垂直方向上具有相同像素数量的等距圆柱图像P0相比，第一全景图像P1能够在低纬度区域中提供基本上相等的图像质量。在从顶点(点U)经由水平面到最低点(点D)的沿着垂直方向的180度的视野范围中，对应于等距圆柱图像P0的该视野范围的像素数量与图像的垂直方向上的像素数量2N一致。相反，在第一全景图像P1中，例如，视野范围对应于图3中的从点U₁经由点E₁到点D的路线，使得对应于视野范围的像素数量由通过从第一全景图像P1的一侧的像素数量2N减1而产生的(2N-1)表示。这里，因为在点E₁的位置处的像素是直线U₁E₁的端点并且也是直线E₁D的端点并因此被这些端点共享，所以减去1。无论如何，由于第一全景图像P1的垂直方向上的像素数量与等距圆柱图像P0基本相同，因此与第一全景图像P1的垂直方向上的视野范围对应的像素数量能够提供基本相同的分辨率。在较高的纬度上，第一全景图像P1的像素数量减少。然而，由于等距圆柱图像P0在高纬度地区遭受大量的浪费信息，所以与等距圆柱图像P0相比，第一全景图像P1的高纬度区域的图像质量几乎没有降低。换句话说，第一全景图像P1在图像质量方面与在整个天空中作为与第一全景图像P1在垂直方向上相同的像素数量的等距圆柱图像P0相当。

提供第一全景图像P1和等距圆柱图像P0在垂直方向上具有相同数量的像素，第一全景图像P1的水平方向上的像素数量正好是等距圆柱图像P0的像素数量的一半。因此，总体上，第一全景图像P1用一半的像素数量提供与等距圆柱图像P0基本相同的图像质量。因此，使用第一全景图像P1，与等距圆柱图像P0相比，可以减少图像数据大小而不损失图像质量。另外，与等距圆柱图像P0相比，第一全景图像P1能够实现更高的图像分辨率，而不涉及图像数据大小的增加。此外，当要生成全景图像作为运动图像时，可以增加帧速率，并且可以减少编码和解码运动图像所需的处理负担。此外，当要将全景图像显示为三维图像时，可以用相同数量的像素将包括用于左眼和右眼的两个全景图像的图像数据提供给一个等距圆柱图像P0。

接下来，将在下面描述第二实施例中的全景图像P的图像格式的第二示例。在下文中将根据第二示例的全景图像P称为第二全景图像P2。根据第二示例，为了将球体S上的位置变换成第二全景图像P2中的位置，通过使用彼此不同的坐标系来变换通过将球体S的表面分割为两半而提供的两个半球。下面将参照图4A至4D描述根据第二示例的球体S上的位置坐标的定义。

图4A是从上面观看的球体S的透视前视图。图4B是从下面观看的球体S的透视后视图。图4C是球体S的正视图，图4D是球体S的后视图。点F的位置在正面方向上。在第二示例中，如图1A至1C的情况一样，与顶点对应的点被称为点U，并且与最低点对应的点被称为点D。在球体S上沿着水平面成90度角度间隔的四个点被称为点F、L、B和R。当球体S的中心(观察点)处的观察者面向点F的方向(正面方向)时，右手方向指向B点的反方向的点R，并且左手方向指向点L。

关于球体S的正面的一半，即图4C所描绘的范围，位置坐标由与上述第一示例类似的纬度θ和经度φ来定义。换句话说，纬线平行于水平面延伸，经线表示通过点U和点D的球体S的大圆的周长。该半球表面的正面的一半球体S在下文中将被称为正面区域，并且将指示在正面区域中的位置的坐标系作为正面坐标系。在图4A和图4C中，正面区域中的多条纬线由虚线表示。在正面坐标系中，假定点F是原点(θ＝0，φ＝0)，并且如图4C用箭头表示的，从点F向顶点(点U)的方向假定为纬度θ的正方向，从点F向点R的方向假定为经度φ的正方向。和第一示例一样，点U被定义为θ＝π/2，点D为θ＝-π/2。此外，点R被定义为θ＝0，φ＝π/2，并且点L为θ＝0，φ＝-π/2。

关于球体S的反面的一半，即图4D所描绘的其范围，纬度θ和经度φ被定义在与正面区域不同的方向上。具体地，纬度θ和经度φ被定义在对于正面区域的那些倾斜90度的方向上。纬线表示垂直于直线LR的球体S的截面的周长，经线表示经过点L和点R的球体S的大圆的周长。球体S的反面的一半的半球表面在下文中将被称为反面区域，并且将指示在反面区域中的位置的坐标系作为反面坐标系。在图4B和图4D中，由反面坐标系定义的反面区域中的多条纬线用点划线表示。如图4D所描绘的，在反面坐标系中，从球体S后面观看，纬线平行于直线UD(即正交于正面坐标系中的纬线)延伸。在反面坐标系中，假定点B是原点(θ＝0，φ＝0)，并且如箭头所示，从点B向点L的方向假定为纬度θ的正方向，并且从点B向点D的方向假定为经度的正方向。因此，位于正面区域和反面区域之间的边界上的点U、点L、点D和点R由反面坐标系中的不同于正面坐标系中的位置坐标的位置坐标表示。具体地，在反面坐标系中，点L被定义为θ＝π/2，并且点R为θ＝-π/2。此外，点D被定义为θ＝0，φ＝π/2，并且点U为θ＝0，φ＝-π/2。

此外，通过经过球体S的中心并且彼此正交的三个平面分割的球体S的表面的八个区域被表示为分割区域A₉至A₁₆。相互正交的三个正交平面是包括点F、点L、点B和点R的水平面，包括点U、点F、点D和点B的垂直面以及包括点U、点L、点D和点R的另一垂直面。具体地，将由点U、点F和点L包围的区域定义为分割区域A₉，点D、点F和点L包围的区域为分割区域A₁₀，点D、点R和点F包围的区域为分割区域A₁₁，点U、点F和点R包围的区域为分割区域A₁₂，点U、点B和点R包围的区域为分割区域A₁₃，点D、点B和点R包围的区域为分割区域A₁₄，点D、点L和点B包围的区域为分割区域A₁₅，以及点U、点B和点L包围的区域为分割区域A₁₆。这些分割区域A₉至A₁₆中的每个是由每条具有对应于球体S的大圆的周长的1/4的长度的三条纬线和经线包围的区域，并且它们的大小和形状彼此相等。

图5描绘了包括投影到球体S上的场景的第二全景图像P2。如图5所描绘的，与第一全景图像P1一样，第二全景图像P2整体上呈正方形形状。正方形形状的中心对应于点F，与球体S上的点F相对的点B对应于正方形形状的四个角。换句话说，第二全景图像P2的四个顶点对应于球体S上的单点B。正方形形状的左侧的中点对应于点L，其上侧的中点对应于点U，其右侧的中点对应于点R，下侧的中点对应于点D。在与点B对应的四个顶点中，右上顶点被定义为点B1、右下顶点为点B2、左下顶点为点B3、以及左上顶点为点B4。

在第二全景图像P2中，球体S的正面区域被变换为图5所描绘的正方形形状RULD。在该正方形形状中，纬线在水平方向(与直线LR平行的方向)上相互平行地延伸，而经线从点U径向延伸，并且在与直线RL相交的位置处弯曲，然后延伸到点D。

另一方面，球体S的反面区域被分割为四个区域，每个区域被变换为形状为矩形等边三角形并被布置在正方形形状RULD外部的变换区域。布置的变换区域的位置被确定为使得球体S上的邻接区域在第二全景图像P2中也彼此相邻。具体地，在第二全景图像P2中，与第一全景图像P1一样，球体S的表面被分割成的八个分割区域A₉至A₁₆被变换为每个形状为矩形等边三角形的变换区域A₉至A₁₆，组成其保持它们在球体S上的相邻关系的正方形的全景图像。在布置在正方形形状RULD的外侧的变换区域A₁₃至A₁₆中，就像正面坐标系的纬线的情况一样，反面坐标系的纬线平行于直线LR并置。

下面将描述球体S的表面上的位置坐标与第二全景图像P2中的位置坐标之间的关联关系。假定第二全景图像P2中的位置坐标由如图5所描绘的x轴在水平方向上延伸，y轴在垂直方向上延伸，并且原点位于中心位置的正交坐标系表示。在正交坐标系中，第二全景图像P2的右侧用x＝1表示，其左侧用x＝-1表示，其上侧用y＝1表示，并且其下侧由y＝-1表示。

在这种情况下，球体S的表面上的纬度θ和经度φ由下面的等式使用变量u和v来表示：

[等式3]

其中u和v基于第二全景图像P2中的位置坐标(x，y)由以下等式表示：

[等式4]

变换区域A₉、A₁₀、A₁₁和A₁₂：

u＝x,v＝y

变换区域A₁₃：

u＝x-1,v＝y-1

变换区域A₁₄：

u＝1-x,v＝-y-1

变换区域A₁₅：

u＝1+x,v＝1+y

变换区域A₁₆：

u＝-1-x,v＝1-y

球体S上的位置与第二全景图像P2中的位置之间的关联关系由这些等式来定义。然而，根据第二示例，如上所述，正面区域的纬度θ和经度φ由正面坐标系定义，而反面区域的纬度θ和经度φ由反面坐标系定义。在第二全景图像P2中，每个分割区域中的纬度θ与x和y也都是线性相关的。

除了第二全景图像P2的外周上的点(x＝1，x＝-1，y＝1，y＝-1)之外，球体S上的位置坐标和第二全景图像P2中的位置坐标也是彼此一一对应的。此外，在第二全景图像P2中彼此相邻的像素对应于在球体S中彼此相邻的区域。在正方形形状的每一侧绕其中点折回的情况下，在第二全景图像P2的外周上的点在球体S上邻接于对应的相同侧上的位置。与第一全景图像P1一样，第二全景图像P2用等距圆柱图像P0的一半的像素数量提供与等距圆柱图像P0基本相同的图像质量。

根据第二示例，与第一全景图像P1不同，从观看者观看的正面侧的场景(投影到围绕点F的半球表面上的场景)在没有被分割时被变换成其中心与第二全景图像P2的中心对齐的正方形形状。因此，第二全景图像P2适用于在要向用户呈现正面场景而不是反面场景的应用中使用。

如上所述，在第一全景图像P1中，点D布置在中央，与其相对的点U对应于四个角的顶点，而在第二全景图像P2中，点F布置在中央并且与其相对的点B对应于四个角的顶点。换句话说，关于从球体S到平面全景图像P的变换方向，第一全景图像P1和第二全景图像P2彼此不同。然而，关于变换的内容，它们彼此类似。具体地，在任一种情况下，通过经过球体S的中心并且彼此正交的三个平面来分割的球体表面上的八个分割区域的每个被变换为形状为矩形等边三角形的变换区域。像素的信息量之间的差异因此减小。由于全景图像P可以通过并置八个矩形等边三角形形成形状为正方形，所以每个分割区域被变换为矩形等边三角形。如果全景图像P可以是其他形状(例如，矩形)，则即使每个分割区域被变换为不是矩形等边三角形(直角三角形等)的三角形，与等距圆柱图像P0相比，仍然可以减小像素的信息量之间的差异。

接下来，将在下面描述本实施例中的全景图像P的图像格式的第三示例。在下文中将根据第三示例的全景图像P称为第三全景图像P3。为了便于说明，根据第三示例，与第二示例一样，球体S的表面被分割为八个分割区域A₉至A₁₆。此外，球体S上的位置坐标应当以与根据第二示例的正面坐标系类似的方式定义的纬度θ和经度φ来表示。换句话说，根据第三示例，与第二示例不同，球体S的表面上的位置由球体S的整个表面上的单个坐标系表示。

图6描绘了包括投影到球体S上的场景的第三全景图像P3。如图6所描绘的，在第三全景图像P3中，与第二全景图像P2一样，八个分割区域A₉至A₁₆中的每个被变换为矩形等边三角形，并且矩形等边三角形被放置在与第二全景图像P2的矩形等边三角形相同的位置。此外，分割区域A₉至A₁₂通过与第二全景图像P2类似的变换等式被变换为第三全景图像P3中的变换区域A₉至A₁₂。换句话说，提供要被表示的相同的场景，第二全景图像P2和第三全景图像P3中的正方形形状URDL中的图像数据彼此一致。

另一方面，在第三全景图像P3中，分割区域A₁₃至A₁₆被变换为与第二全景图像P2中的类似位置和形状的变换区域。然而，通过不同于第二全景图像P2的变换等式，分割区域中的位置被变换为相应变换区域中的位置。结果，在第三全景图像P3中，θ>0处的纬线是向上开放的U形，并且相反地，θ<0处的纬线是向下开放的U形，如图6中的虚线所示。

下面将描述球体S的表面上的位置坐标与第三全景图像P3中的位置坐标之间的关联关系。如第一全景图像P1和第二全景图像P2的情况一样，假定第三全景图像P3中的位置坐标由x轴在水平方向上延伸，y轴在垂直方向上延伸，并且原点位于中心位置的正交坐标系表示。

在这种情况下，球体S的表面上的纬度θ和经度φ由下面的等式使用变量u、v和a来表示：

[等式5]

其中u、v和a基于第三全景图像P3中的位置坐标(x，y)由以下等式表示：

[等式6]

变换区域A₉、A₁₀、A₁₁和A₁₂：

u＝x,v＝y,a＝0

变换区域A₁₃：

u＝y-1,v＝-x+1,a＝π

变换区域A₁₄：

u＝-y-1,v＝x-1,a＝π

变换区域A₁₅：

u＝y+1,v＝-x-1,a＝π

变换区域A₁₆：

u＝-y+1,v＝x+1,a＝π

球体S上的位置与第三全景图像P3中的位置之间的关联关系由这些等式来定义。在第三全景图像P3中，每个分割区域中的纬度θ与x和y也都是线性相关的。

根据第三示例，与第二示例一样，从观察者观察的正面侧的场景(投影到围绕点F的半球表面上的场景)在没有被分割时被变换成第三全景图像P3中的正方形形状URDL。因此，与第一示例相比，第三示例适用于在将正面场景呈现给用户的应用中使用。此外，由于整个球体S由一个坐标系定义，并且不需要在纬度和经度之间切换，所以与第二示例相比，将等距圆柱图像P0变换成全景图像P的插值处理变得容易，减轻了处理负担。

根据上述三个示例，通过用上述三个彼此正交的三个平面中的两个来分割球体S的表面而获得的四个区域的每个被变换为正方形形状的区域。例如，关于第一全景图像P1，通过用包括点U、点E₁、点D和点E₃的垂直面以及包括点U、点E₂、点D和点E₄的另一个垂直面分割球体S而获得的四个区域被变换为四个正方形形状E₁U₁E₂D、DE₂U₂E₃、U₄E₁DE₄和E₄DE₃U₃。然后，由与上述球体S正交地相交的上述三个平面中剩余的一个所提供的圆周被变换为四个正方形形状的各个对角线。例如，在第一全景图像P1中，四个正方形形状的对角线形成与水平面对应的正方形形状E₁E₂E₃E₄。换句话说，第一全景图像P1、第二全景图像P2和第三全景图像P3中的每个是通过将八个矩形等边三角形的对组合成四个正方形并且将四个正方形并置成两行两列，使得矩形等边三角形的基部组成一个正方形。

图7是描绘了通过组合在上述示例中每个形状为矩形等边三角形的两个变换区域而形成的正方形形状的示例的图，并且示出了图3所描绘的第一全景图像P1中的正方形E₁U₁E₂D的像素布局。为简洁起见，假定正方形形状的一边由八个像素组成。提供正方形形状的一边具有八个像素，排列在正方形形状的对角线上的像素的数量也是八个。在7图中，对角线上的像素被绘制成阴影线。

在矩形等边三角形放置成使得其基部倾斜的情况下，如图7中的阴影像素所示，矩形等边三角形由N(N+1)/2个像素组成，其中N表示其基部上的像素的数量。当像素数量加倍时，获得N(N+1)。换句换说，如果每个矩形等边三角形的基部上的像素数量是N，则需要N行和(N+1)列的矩形区域来包括两个矩形等边三角形。然而，根据上述示例，两个矩形等边三角形共用一个基部，如图7所示。具体地，正方形的对角线上的像素提供了两个矩形等边三角形变换区域的基部。因此，通过组合两个矩形等边三角形而形成的矩形变成N行N列的正方形。当通过用相互正交的两个平面分割球体S而获得的四个区域中的每个被变换成正方形时，整个全景图像P是垂直方向上的像素数量和水平方向上的像素数量彼此相等的正方形形状。利用这种布置，易于执行诸如运动图像压缩的处理。

N行和N列的正方形可以被看作由(2N-1)个像素阵列组成，每个像素阵列包括沿着平行于直线E₁E₂的直线排列的多个像素，从右上角向左下角成功地布置。具体地，最接近点U₁的右上像素自身组成第一像素阵列。右上像素左侧的下一像素和右上像素正下方的像素组成第二像素阵列。第N个像素阵列由N个像素组成，如图7中阴影线所示，从点E₁排列到点E₂。第(N+1)个像素阵列由与图7中阴影线所示的N个像素的左侧相邻的(N-1)个像素组成。第(2N-1)个像素阵列由最接近点D的左下像素组成。组成这些像素阵列的像素之和被表示为：

1+2+...+(N-1)+N+(N-1)+...+2+1＝N²，

这与N行和N列的正方形中包括的像素数量一致。

如上所述，平行于直线E₁E₂的直线对应于球体S上的纬线。因此，属于一个像素阵列的像素对应于球体S上的相同纬度的区域。因此可以看出，从球体S的顶点到最低点的180度的视野范围被变换为第一全景图像P1中的(2N-1)个像素阵列。此外，如上所述，在用于将球体S上的位置变换成第一全景图像P1中的位置的变换等式中，纬度θ与x和y是线性相关的。因此，上面提到的(2N-1)个像素阵列对应于球体S上彼此相等的纬度范围。换句话说，每个像素阵列对应于相当于球体S上的π/(2N-1)的纬度范围的带状区域。在上述变换等式中，包括在一个像素阵列中的像素对应于球体S上的带状区域中彼此一样宽的区域。换句话说，包括在对应于相同纬度的区域的像素阵列中的像素具有彼此相同的信息量。关于分割区域和变换区域之间的变换的这个特征也适用于第二全景图像P2和第三全景图像P3，尽管其中的像素阵列的取向不同。只要根据上述变换等式在球体S上的位置和全景图像P中的位置之间执行变换，与只通过将球体表面上的分割区域中的场景投影到球体中平面上来生成变换区域的处理相比，全景图像P中的像素携带的信息量之间的差异减小。

虽然上面已经描述了三个示例，但是根据本实施例的全景图像P不限于这些示例，而是存在用于变换的坐标系的各种变换，并且全景图像P中的变换区域的布局被改变。在任何情况下，通过将通过使用经过球体S的中心并且彼此正交的三个平面来分割球体S的表面获得的八个分割区域变换为每个形状为三角形的变换区域，可以生成包括整个天空场景的正方形全景图像P，并且将变换区域放置在平面上。此外，通过将与球体S的表面的1/8对应的每个分割区域变换成三角形形状，与等距圆柱投影相比，在最小化每像素的浪费信息量的情况下，实现具有减少的像素数量时的高图像质量的全景图像P。

在上面的描述中，将球体S上的分割区域变换成放置在平面上的各个三角形区域，由此生成垂直方向上的像素数量和水平上的像素数量彼此相等的正方形全景图像P。然而，根据本实施例的全景图像P不限于这种配置。在图7的描述中，例如，球体S的表面的1/4的区域被变换为两个变换区域共享矩形等边三角形的基部的N行N列的正方形。然而，两个分割区域可以被变换成其基部不被共享的形状为矩形等边三角形的区域，但是每个由N像素的像素阵列组成。在这种情况下，球体S的1/4的区域被变换成N行和(N+1)列的矩形区域，并且全景图像P是2N行和(2N+2)列作为整体的矩形形状。

为了提高横向于基部的方向上的分辨率，可以将球体S的1/4的区域变换为N行和(N+m)列的矩形区域，其中m是1或更大的自然数。对于m没有上限，但是如果m太大，则全景图像P的数据大小增加。如果m小于N，则与在基部方向上的分辨率基本相等的等距圆柱图像P0相比，图像数据大小可以被减小。图8描绘了在该示例中从球体S的1/4的区域变换的N行和(N+m)列的矩形的示例。在该示例中，与图3所描绘的第一全景图像P1中的正方形E₁U₁E₂D对应的球体S的区域(分割区域A₁、A₅)通过类似于第一全景图像P1的变换处理进行变换。此外，在图8所描绘的示例中，满足N＝8，m＝3。在该示例中，球体S上的分割区域被变换成梯形形状，而不是上述示例中的三角形形状。

在图8中，与球体S上的相同纬度的区域对应的像素组标记有相同的数字。在全景图像P中，其在球体S上的对应纬度彼此相等的像素组在下文中将被称为同纬度像素组。图8中相同标记的像素属于相同的同纬度像素组。例如，图8中标记有“1”的右上方的像素对应于球体S上最接近顶点(U点)的高纬度区域，并且标记有“2”的两个像素组成对应于包围对应于在球体S上标记有“1”的像素的紧邻下部区域的同纬度像素组。标记有“9”的同纬度像素组和标记有“10”的同纬度像素组对应于沿球体S上的水平面的区域。如图8所描绘的，同纬度像素组沿着从左上端朝向右下端的斜线提供带状像素阵列。与相对低纬度区域对应的标记为“8”至“11”的同纬度像素组由最大数量的像素组成，并且组成同纬度像素组的像素的数量朝向点U或点D递减。在图8所描绘的示例中，与图7所描绘的示例相同，表示沿着水平面的90度的范围的像素数量为N。然而，表示从点U₁经由点E₁或点E₂到点D的180度范围的像素的数量是(2N-1+m)，而在图7中是(2N-1)。换句话说，通过将全景图像P的形状从正方形改变为矩形，用于表示球体S的垂直方向的分辨率与在水平方向上增加的像素数量相同。尽管在该示例中全景图像P是水平延伸的形状，但是其可以是垂直延伸的形状。

图9描绘了全景图像P形成为矩形形状的另一示例。在该示例中，与图6所示的第三全景图像P3中的正方形UFRB1对应的区域通过类似于对第三全景图像P3的变换处理来变换。如同图8，属于相同的同纬度像素组的像素被标记以相同的数字。在第三全景图像P3中，对应于球体S的表面的1/4的变换区域A₁₂和A₁₃中，左上像素对应于最接近点U的相同纬度的区域。在图9所描绘的示例中，然而，标记为“1”的四个(即，1+m)像素组成最接近点U的高纬度同纬度像素组。标记有“8”的同纬度像素组对应于沿水平面的区域，并且由(2N-1+m)个像素组成。换句话说，在图9中，球体S的垂直方向上的90度的范围由N个像素表示，并且在水平方向上的180度的范围由(2N-1+m)个像素表示，导致在与图8相反的水平方向上的分辨率的增加。在图9所描绘的示例中，与第三全景图像P3一样，同纬度像素组形成L形区域。分割区域A₁₃被变换为与在第三全景图像P3中类似的矩形等边三角形，并且分割区域A₁₂被变换为梯形。

如上所述，与以正方形形状形成的全景图像P相比，通过以矩形形状形成全景图像P可以增加垂直方向或水平方向上的分辨率。在上述任何一个示例中，与球体S上的纬线对应的同纬度像素组形成全景图像P中的带状区域。从迄今为止的描述可以理解，纬线表示球体S上距离某点(在下文中称为极值点)的距离相等的一组点。在第一全景图像P1、第二全景图像P2的正面区域和第三全景图像P3中，极值点是点U和点D，并且纬线对应于平行于球体S的水平面的平面和球体S的表面之间的相交线。在第二全景图像P2的反面区域中，点R和点L用作极值点，并且纬线如图4D中的点划线所表示的沿垂直方向延伸。不管在哪个位置和方向上定义了极值点和纬线，根据本实施例的全景图像P都是这样的，即关注球体S上的任意的纬线，属于与该纬线对应的同纬度像素组的像素数量等于或小于属于与低于该纬线(即，纬线更接近极点)的纬线对应的同纬度像素组的像素数量。换句话说，在全景图像P中，包括在同纬度像素组中的像素数量在较高纬度处逐渐变小。另一方面，在等距圆柱图像P0中，由于任何纬线对应于横向排列在图像上的具有相同长度的像素阵列，所以属于任何同纬度像素组的像素数量是恒定的，而与纬度无关。由于根据本实施例的全景图像P如上所述，如上所述属于与高纬度的纬线对应的同纬度像素组的像素数量小于属于与低纬度的纬线对应的同纬度像素组的像素数量，所以出现在等距圆柱图像P0中的高纬度区域中的浪费信息被减少，并且与等距圆柱图像P0相比，可以在具有减少的像素数量时实现相等或更高的分辨率。

在上面的描述中，整个天空场景全部被包括在全景图像P中。然而，根据本实施例的全景图像P不限于这样的配置。例如，全景图像P可以不包括对应于通过分割球体S的表面而获得的八个分割区域的全部八个变换区域，但是可以仅包括一些变换区域。例如，在图4A至图4D中所描绘的通过分割球体S的表面而获得的八个分割区域中，只有四个分割区域A₉至A₁₂可以被变换为可以被放置在平面上的变换区域，由此提供全景图像P。以此方式，全景图像P仅包括从观察点观看的正面半球中的场景。这种情况下的全景图像P可以等同于作为图5所描绘的第二全景图像P2的一部分的正方形形状RULD。或者，四个分割区域可以布置成矩形而不是正方形。而且，在通过分割球体S而获得的八个分割区域中，两个分割区域可以被变换为每个形状为矩形等边三角形的变换区域，组成如图7所描绘的正方形全景图像P。

此外，根据本实施例的全景图像P可以形成使得从观察点观看的场景不整体投影到球体S上，而是投影到球体S的部分范围上，并且通过分割因此场景投影的球体S而获得的八个分割区域中的至少一个被变换为变换区域。在该示例中，场景可以被投影到分割区域中的一个分割区域中的仅部分范围，而没有场景被投影到另一范围，并且该分割区域可以被变换为变换区域。在这种情况下，在全景图像P中，没有场景投影的范围可以被变换为具有虚拟信息的像素(例如，像素值为0的像素)。以这种方式，即使没有关于部分范围的场景的信息，诸如接近最低点的高纬度处的范围，例如，可以通过根据本实施例的处理生成全景图像P。

在第三全景图像P3的情况下，由于纬线是如图6所描绘的U形，高纬度上接近顶点和最低点的范围在点U和点D附近变为矩形区域。如果这些区域不是必需的，则通过变换球体S的范围而获得的全景图像P不包括可以在矩形中重新布置的那些部分。在这种情况下对应于纬线的像素阵列的布局与图9中所描绘的类似。通过如此重新布置矩形区域中的不必要范围以外的部分，可以生成不包括具有虚拟信息的像素的全景图像P。

在以上描述中，作为球体S的表面上的位置坐标的纬度与全景图像P中的位置坐标x和y线性相关。这意味着全景图像P中的所有同纬度像素组对应于球体S上的彼此相等的纬度范围。例如，提供全景图像P的1/4由图8所描绘的8行11列的像素组成，由于180度的纬度范围被变换为18个同纬度像素组，所以每个同纬度像素组对应于相当于10度纬度的角度。具体地，标记为“1”的同纬度像素组对应于球体S上的纬度范围为80度至90度的范围，标记为“2”的同纬度像素组对应于球体S上的纬度范围从70度到80度的范围，标记为“18”的同纬度像素组对应于球体S上的纬度范围从-80度到-90度的范围。关于经度方向，属于相同的同纬度像素组的像素也对应于彼此相等的经度范围。然而，根据本实施例的全景图像P不限于这样的配置，并且像素对应的纬度范围和经度范围可以彼此不同。

具体地，关于球体S的表面上的重要区域(假定引起用户注意的区域)，与全景图像P中的像素对应的球体S上的纬度范围和经度范围可以小于在其他地区的纬度范围和经度范围。通过如此改变与像素对应的球体S的表面上的角度范围，可以使重要区域的分辨率高于其它区域。在一个示例中，可以想象的是，用户可能更加关注低纬度(接近水平面的区域)的区域而不是高纬度的区域(接近顶点或最低点的区域)。为此，纬度覆盖-45度到45度的注意范围内的每个同纬度像素组的纬度范围被减小到在纬度覆盖45度和更多的范围和纬度覆盖-45度和更少的范围内的每个同纬度像素组的纬度范围的一半。以这种方式，对应于180度的纬度范围的一半的注意范围的分辨率可以是其他范围的分辨率的两倍。虽然在该示例中对应于像素的纬度范围在两个阶段中被改变，但是它们不是限制性的，而是可以在更多阶段中被改变。此外，与属于同纬度像素组的像素对应的经度范围可以以与纬度范围相同的方式被改变。因此，与单位像素对应的纬度范围和经度范围改变的处理不仅适用于根据本实施例的全景图像P，而且适用于等距圆柱图像P0。

接下来，将在下面描述根据本发明实施例的包括图像生成装置10和图像显示控制装置20的图像显示系统1的布置。

图像生成装置10是用于生成全景图像P的信息处理装置，并且可以是例如家用游戏机、便携式游戏机、个人计算机、智能电话、平板电脑等。如图10所描绘的，图像生成装置10包括控制单元11、存储单元12和通信单元13。

控制单元11包括诸如中央处理单元(CPU)等的至少一个处理器，并且执行存储在存储单元12中的程序以执行各种信息处理过程。根据本实施例，具体地，控制单元11执行生成全景图像P的处理。存储单元12包括诸如随机存取存储器(RAM)等的至少一个存储设备，并且存储由控制单元11执行的程序和由程序处理的数据。通信单元13是诸如局域网(LAN)卡等的通信接口，并且经由通信网络将全景图像P的数据发送到图像显示控制装置20。

图像显示控制装置20是用于基于由图像生成装置10生成的全景图像P来控制图像的显示的信息处理装置，并且可以是与图像生成装置10相同的情况，例如家用游戏机、便携式游戏机、个人计算机、智能电话、平板电脑等。图像显示控制装置20包括控制单元21、存储单元22和通信单元23。图像显示控制装置20连接到显示装置24和操作设备25。

控制单元21包括诸如CPU等的至少一个处理器，并且执行存储在存储单元22中的程序以执行各种信息处理过程。根据本实施例，具体地，控制单元21执行基于全景图像P渲染显示图像的处理。存储单元22包括诸如RAM等的至少一个存储器装置，并且存储由控制单元21执行的程序和由程序处理的数据。通信单元23是诸如LAN卡等的通信接口，并且经由通信网络接收从图像生成装置10发送的数据。

显示装置24包括液晶显示器等，并根据从图像显示控制装置20提供的视频信号来显示图像。显示装置24可以是用于显示从图像显示控制装置20提供的立体可视图像的立体图像显示装置。此外，显示装置24可以是用户可以戴在头上的诸如头戴式显示器等的头戴式显示装置。

操作设备25包括家用游戏机的控制器、定位装置等，并且用于用户在图像生成装置10上执行各种指令操作。由用户施加到操作设备25的操作输入的内容经由有线或无线链路被发送到图像显示控制装置20。操作设备25可以包括设置在图像显示控制装置20的壳体的表面上的操作按钮、触摸面板等。

以下将参照图11来描述由图像生成装置10和图像显示控制装置20执行的功能。如图11所描绘的，图像生成装置10作为功能包括场景信息获取单元31和全景图像生成单元32。当控制单元11执行存储在存储单元12中的程序时，实现这些功能。图像显示控制装置20作为功能包括全景图像获取单元33、方向获取单元34和显示图像渲染单元35。当控制单元21执行存储在存储单元22中的程序时，实现这些功能。由装置执行的程序可以经由诸如因特网等的通信网络提供给装置，或者可以被提供为存储在可由计算机读取的诸如光盘等的信息存储介质中。

场景信息获取单元31获取用作用于生成全景图像P的原始数据的场景信息。场景信息表示在从观察点观看的整个天空场景被投影到假想球体S上的情况下识别球体S的表面上的每个单位区域的颜色(像素值)所需的信息。例如，场景信息可以包括以与本实施例不同的图像格式生成的全景图像，诸如等距圆柱投影。或者，场景信息可以包括由全景相机捕获的全景图像的图像数据。场景信息获取单元31可以经由通信网络从另一装置接收场景信息，或者可以从连接到图像生成装置10的诸如相机等设备中读取场景信息，或者可以读取存储在诸如闪存等的信息存储介质中的场景信息。

全景图像生成单元32使用由场景信息获取单元31获取的场景信息来生成全景图像P。如上所述，全景图像P由整个天空(或其一部分)的投影场景的二维图像数据表示。具体地，全景图像生成单元32根据如上所述表示球体S上的点与全景图像P上的点之间的关联关系的计算式，基于场景信息，通过计算全景图像P中的像素的像素值来生成全景图像P。

全景图像生成单元32可以生成立体图像数据。如此生成的图像数据可以是具有1：2的纵横比的矩形图像数据，其在其左半部分包括用于生成左眼图像的正方形全景图像P，并且在其右半部分包括用于生成右眼图像的正方形全景图像P。全景图像生成单元32可以生成全景图像P作为随时间改变的运动图像。

全景图像生成单元32可以从诸如上述的第一全景图像P1和第二全景图像P2的多个图像格式中选择图像格式，并且根据所选择的图像格式来生成全景图像P。在这种情况下，全景图像生成单元32与全景图像P一起输出指定生成的全景图像P的图像格式的信息。

全景图像获取单元33获取由图像生成装置10的全景图像生成单元32生成的全景图像P。这里假定全景图像获取单元33经由通信网络直接接收从图像生成装置10发送的全景图像P。但是，获取处理不是限制性的。全景图像获取单元33可以经由诸如服务器计算机等的另一装置接收全景图像P，或者可以通过从信息存储介质中读取全景图像P来获取存储在诸如闪存等的信息存储介质中的全景图像P。

方向获取单元34基于用户的指令等获取用于确定要由显示装置24显示的显示图像的视野范围(显示范围)的方向信息。由方向获取单元34获取的方向信息被用作显示图像渲染单元35生成显示图像时假想相机的图像捕获方向，如稍后所述。例如，图像捕获方向由表示水平方向上的角度的偏航角和表示垂直方向上的角度的俯仰角来定义。方向获取单元34还可以获取表示相机围绕用作旋转轴的图像捕获方向旋转的角度的滚动角度。

具体地，方向获取单元34通过接受由用户施加到操作设备25作为指示方向的操作输入来获取方向信息。或者，当用户倾斜图像显示控制装置20的主体时，方向获取单元34可以从包括在图像显示控制装置20中的运动传感器的检测结果中获取方向信息。因此，如果图像显示控制装置20与智能电话或平板电脑一样具有小外壳，例如，那么用户可以通过改变图像显示控制装置20的方向来将视野范围改变到任意方向。如果显示装置24是头戴式显示装置，则方向获取单元34可以从包括在显示装置24中的运动传感器的检测结果中获取方向信息。因此，视野范围可以基于用户的头部的方向而被改变。

显示图像渲染单元35基于由全景图像获取单元33获取的全景图像P，渲染表示基于方向获取单元34获取的方向信息确定的视野范围内的场景的显示图像，并控制显示装置24显示渲染的显示图像。因此，用户能够浏览全景图像P所包括的特定的视野范围内的场景。用户也能够通过使用施加到操作设备25的操作输入等改变视野范围来在整个天空中以任意的方向浏览场景操作设备25。

具体地，显示图像渲染单元35将球体S放放置在假想空间中，并将假想相机放置在球体S的中心。此时，将假想相机放置在基于由方向获取单元34获取的方向信息确定的方向和倾斜中。此外，显示图像渲染单元35将基于全景图像P生成的纹理施加到球体S的内表面，并且渲染假想相机看到的施加了纹理的球体S内表面的方式，由此生成显示图像。在生成了施加到球体S的纹理的情况下，显示图像渲染单元35参照与全景图像P一起输出的指定图像格式的信息，并且根据基于指定的图像格式确定的计算式来指定与包括在纹理中的像素对应的全景图像P的像素。

以下将描述基于全景图像P将纹理施加到球体S的内表面的处理的具体(specific)示例。如上所述，球体S上的点与全景图像P中的点保持一一对应。因此，为了确定包括在纹理(纹理像素)中的像素的像素值(颜色)，参考与要将纹理像素施加到的球体S上的位置对应的全景图像P中的像素的像素值。然而，由于不同的分辨率和形状，纹理中的纹理像素和全景图像P中的像素可能不是彼此一一对应的。因此，显示图像渲染单元35将球体S上的纹理像素的位置变换为全景图像P中的位置(在下文中称为点X)，并且将点X附近的多个像素确定为采样目标。然后，显示图像渲染单元35对被确定为采样目标的像素的像素值执行插值处理，由此确定纹理像素的像素值。

然而，在全景图像P中，图像的水平方向和垂直方向可能不一定与球体S的水平方向和垂直方向一致。例如，关于第一全景图像P1，球体S的水平方向(纬度方向)在任意变换区域中相对于图像的水平方向倾斜45度。在这种情况下，例如，使用包括点X的两行两列中的四个像素的普通采样处理不能适当地计算纹理像素的像素值。相应地，显示图像渲染单元35根据针对全景图像P的图像格式的类型和图像中的每个变换区域而确定的选择规则来选择像素作为采样目标。

例如，在第一全景图像P1的右上变换区域A₁和A₅中，纬度相等的纬线是相对于水平方向向左上倾斜45度角的直线，如图3所示的虚线。为了在这些变换区域中执行采样处理，显示图像渲染单元35选择沿点X附近的两条纬线并置的四个像素X1至X4，如图12所描绘的。像素对X1和X2以及像素对X3和X4是像素对应于彼此相等的纬度的组合。显示图像渲染单元35基于点X的经度的分数从像素X1和X2的像素值中获得插值I1，并且还基于点X的经度的分数从像素X3和X4的像素值中获得插值I2。由于像素的经度值彼此不同，所以用于计算插值I1和I2的系数彼此不同。然后显示图像渲染单元35基于点X的纬度的分数从插值I1和I2中计算插值，由此确定对应于点X的纹理像素的像素值。以这种方式，计算包括在要被施加到球体S的内表面的纹理中的纹理像素的像素值。

当对作为全景图像P的外周的附近的采样目标的像素执行插值处理时，可以选择设置在图像间隔位置中的多个像素作为采样目标。这是因为，如上所述，在全景图像P的外周上，当侧面绕着其侧面的中点折回时，彼此重叠的像素对应于球体S上的相邻位置。为了消除参考间隔位置中的像素作为采样目标的需要，可以沿全景图像P的外周放置采样像素阵列。采样像素阵列是通过水平或垂直地反转全景图像P一侧上的像素阵列而形成的像素阵列，并且与要被反转的像素阵列相邻地放置。图13描绘了添加有采样像素阵列的全景图像P的示例。在图13所描绘的示例中，全景图像P由形状为16行16列的正方形的第三全景图像P3和添加到其上侧和下侧的采样像素阵列组成。在图13中，采样像素阵列用阴影线表示。那些标有相同的希腊字母或拼音字母的像素具有相同的像素值。如这些标签所描绘的，最上面的采样像素阵列是通过从上侧水平反转第二像素阵列而形成的像素阵列，并且最下面的采样像素阵列是通过从下侧水平反转第二像素阵列而形成的像素阵列。这些采样像素阵列相对于原始全景图像P的外周上的像素布置，使得球体S上的相邻像素在全景图像P中也彼此相邻。虽然他们表示冗余信息，但是采样像素阵列有效地使得插值处理变得容易。具体地，当在从图13的上侧对作为第二阵列上的采样目标的像素或从图13的下侧对作为第二阵列上的采样目标的像素执行插值处理时，可以从相邻的采样像素阵列中取得其他需要的采样目标，而不是从全景图像P的其他位置取得。使用相邻像素作为采样目标的这种插值处理可以由图形处理器等硬件实现。在这种情况下，通过将采样像素阵列添加到全景图像P，可以硬件实现包括图像的末端的纬度方向上的插值处理，从而允许以高速执行插值计算。

此外，根据本实施例，显示图像渲染单元35基于由方向获取单元34获取的方向的改变实时更新显示图像。具体地，当由方向获取单元34获取的方向改变时，显示图像渲染单元35将假想相机的方向改变为与改变的方向对应的方向。更具体地，当俯仰角和偏航角被改变时，显示图像渲染单元35连同角度改变来改变假想相机的图像捕获方向。当滚动角度改变时，显示图像渲染单元35连同角度改变倾斜关于作为旋转轴的图像捕获方向的假想相机。因此假想相机的视野范围连同由方向获取单元34获取的方向的改变而被改变。基于更新的视野范围，显示图像渲染单元35重新渲染观看球体S的内表面的方式以更新显示图像，并且控制显示装置24在其屏幕上显示更新的显示图像。显示图像渲染单元35以预定时间间隔重复执行基于由方向获取单元34获取的方向的改变重新渲染(更新)显示图像的处理。根据该控制处理，用户能够通过移动视野范围来浏览包括在全景图像P中的整个天空中的任意位置处的场景。

在上面的描述中，显示图像被示为单个平面图像。然而，显示图像渲染单元35可以渲染立体图像。在这种情况下，显示图像渲染单元35将两个水平并置假想相机放置在假想球体S的中心。然后，显示图像渲染单元35基于施加到左眼的全景图像P渲染左假想相机观看纹理生成到的球体S的内表面的方式，由此生成用于左眼的显示图像。类似地，显示图像渲染单元35基于施加到右眼的全景图像P渲染右假想相机观看纹理生成到的球体S的内表面的方式，由此生成用于右眼的显示图像。这两个显示图像由与立体图像兼容的显示装置24显示，从而允许用户立体地浏览整个天空场景。

根据上述实施例的图像生成装置10与等距圆柱投影的全景图像相比，能够以相对少量的像素生成高图像质量的全景图像P，同时减少了浪费的信息量。此外，根据本实施例的图像显示控制装置20能够基于如此生成的全景图像P来生成表示全景图像P中包括的视野范围中的场景的显示图像，从而允许用户浏览显示图像。

本发明的实施例不限于上述的细节。例如，在上述描述中，尽管图像生成装置10和图像显示控制装置20是独立的，但是一个信息处理装置可以生成全景图像P，并控制全景图像P的显示。

[附图标记列表]

1图像显示系统，10图像生成装置，11、21控制单元，12、22存储单元，13、23通信单元，20图像显示控制装置，24显示装置，25操作设备，31场景信息获取单元，32全景图像生成单元，33全景图像获取单元，34方向获取单元，35显示图像渲染单元

Claims (9)

1.一种图像生成装置，包括：

全景图像生成单元，配置为通过将八个分割区域中的每个变换为形状为矩形等边三角形的变换区域，使得属于由对应于彼此相等纬度的像素组成的同纬度像素组的像素的数量朝向高纬度递减并且多个同纬度像素组对应于彼此相等的纬度范围，并且将变换区域放置在平面上来生成全景图像，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割所述球体的表面获得的，所述球体的表面具有从观察点观看的场景投影到的至少部分区域；以及

图像输出单元，配置为输出所生成的全景图像；其中

所述三个平面是水平面、沿着要呈现给如从所述观察点观看的用户的方向的预定向前方向的垂直面、以及沿着与所述向前方向交叉的横向方向的垂直面，并且

所述全景图像生成单元通过将每个为矩形等腰三角形的所述八个分割区域整体放置在平面上的正方形形状中，来生成所述全景图像，使得所述预定向前方向的所述球体上的点位于所述正方形形状的中心，所述预定向前方向的由围绕所述点的四个分割区域构成的半球变换为通过连接所述正方形形状的四边的中点形成的内接正方形。

2.如权利要求1所述的图像生成装置，其中，所述全景图像生成单元通过放置八个变换区域来生成所述全景图像，使得所述内接正方形的每条边由两个变换区域共享，所述两个变换区域之间放置有所述内接正方形的边。

3.如权利要求1所述的图像生成装置，其中，所述全景图像生成单元通过添加在插值处理中使用的采样像素阵列以与组成所述全景图像的外周的一侧的像素阵列相邻，生成所述全景图像。

4.如权利要求3所述的图像生成装置，其中，所述采样像素阵列是通过反转组成所述一侧的像素阵列的布局而形成的像素阵列。

5.如权利要求1所述的图像生成装置，其中，所述全景图像生成单元生成所述全景图像，使得与所述全景图像中的像素对应的所述球体上的角度范围取决于所述球体上的经度而不同。

6.一种图像显示控制装置，包括：

获取单元，配置为通过将八个分割区域中的每个分割区域变换为形状为矩形等边三角形的变换区域，使得属于由对应于彼此相等纬度的像素组成的同纬度像素组的像素的数量朝向高纬度递减并且多个同纬度像素组对应于彼此相等的纬度范围，并且将变换区域放置在平面上来获取全景图像，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割所述球体的表面获得的，所述球体的表面具有从观察点观看的场景投影到的至少部分区域；以及

渲染单元，配置为基于所获取的全景图像渲染表示预定视野范围内的场景的显示图像，并且控制显示装置在其屏幕上显示渲染的显示图像；其中

所述三个平面是水平面、沿着要呈现给如从所述观察点观看的用户的方向的预定向前方向的垂直面、以及沿着与所述向前方向交叉的横向方向的垂直面，并且

所述获取单元通过将每个为矩形等腰三角形的所述八个分割区域整体放置在平面上的正方形形状中，来生成所述全景图像，使得所述预定向前方向的所述球体上的点位于所述正方形形状的中心，所述预定向前方向的由围绕所述点的四个分割区域构成的半球变换为通过连接所述正方形形状的四边的中点形成的内接正方形。

7.一种生成图像的方法，包括：

通过将八个分割区域中的每个分割区域变换为形状为矩形等边三角形的变换区域，使得属于由对应于彼此相等纬度的像素组成的同纬度像素组的像素的数量朝向高纬度递减并且多个同纬度像素组对应于彼此相等的纬度范围，并且将变换区域放置在平面上来生成全景图像的步骤，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割所述球体的表面获得的，所述球体的表面具有从观察点观看的场景投影到的至少部分区域；以及

输出所生成的全景图像的步骤；其中

所述三个平面是水平面、沿着要呈现给如从所述观察点观看的用户的方向的预定向前方向的垂直面、以及沿着与所述向前方向交叉的横向方向的垂直面，并且

所述生成全景图像的步骤通过将每个为矩形等腰三角形的所述八个分割区域整体放置在平面上的正方形形状中，来生成所述全景图像，使得所述预定向前方向的所述球体上的点位于所述正方形形状的中心，所述预定向前方向的由围绕所述点的四个分割区域构成的半球变换为通过连接所述正方形形状的四边的中点形成的内接正方形。

8.一种非瞬时性的计算机可读存储介质，用于存储计算机程序，当由计算机执行所述程序时，使得所述计算机执行一种生成图像的方法，包括：

通过将八个分割区域中的每个分割区域变换为形状为矩形等边三角形的变换区域，使得属于由对应于彼此相等纬度的像素组成的同纬度像素组的像素的数量朝向高纬度递减并且多个同纬度像素组对应于彼此相等的纬度范围，并且将变换区域放置在平面上来生成全景图像的装置，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割所述球体的表面获得的，所述球体的表面具有从观察点观看的场景投影到的至少部分区域；以及

输出所生成的全景图像；其中

所述三个平面是水平面、沿着要呈现给如从所述观察点观看的用户的方向的预定向前方向的垂直面、以及沿着与所述向前方向交叉的横向方向的垂直面，并且

通过将每个为矩形等腰三角形的所述八个分割区域整体放置在平面上的正方形形状中，来生成所述全景图像，使得所述预定向前方向的所述球体上的点位于所述正方形形状的中心，所述预定向前方向的由围绕所述点的四个分割区域构成的半球变换为通过连接所述正方形形状的四边的中点形成的内接正方形。

9.一种非瞬时性的计算机可读存储介质，用于存储从一种生成图像的方法得到的图像数据，所述生成图像的方法包括：

通过将八个分割区域中的每个分割区域变换为形状为矩形等边三角形的变换区域，使得属于由对应于彼此相等纬度的像素组成的同纬度像素组的像素的数量朝向高纬度递减并且多个同纬度像素组对应于彼此相等的纬度范围，并且将变换区域放置在平面上来生成全景图像的步骤，所述八个分割区域是通过使用经过球体的中心并且彼此正交的三个平面来分割所述球体的表面获得的，所述球体的表面具有从观察点观看的场景投影到的至少部分区域；以及

输出所生成的全景图像的步骤；其中

所述三个平面是水平面、沿着要呈现给如从所述观察点观看的用户的方向的预定向前方向的垂直面、以及沿着与所述向前方向交叉的横向方向的垂直面，并且

所述生成全景图像的步骤通过将每个为矩形等腰三角形的所述八个分割区域整体放置在平面上的正方形形状中，来生成所述全景图像，使得所述预定向前方向的所述球体上的点位于所述正方形形状的中心，所述预定向前方向的由围绕所述点的四个分割区域构成的半球变换为通过连接所述正方形形状的四边的中点形成的内接正方形。

Images