CN110192221A - 图像生成装置和图像显示控制装置 - Google Patents

Abstract

公开一种图像生成装置，该图像生成装置生成和输出全景图像，该全景图像通过将其上投影了从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状而获得。该全景图像使得包括从所述观察点观看的给定关注方向的所述虚拟球上的单位区域被转换到比其它单位区域更宽的区域。该图像生成装置生成对应于投影面的全景图像，使得将所述关注方向中的位置链接到与所述关注方向相反的方向中的位置上的并且在与围绕所述观察点的旋转角度的单位量相对应的所述全景图像内的所述主干线的部分的长度在最靠近所述关注方向的位置处最大。

Description

图像生成装置和图像显示控制装置

技术领域

本发明涉及生成全景图像的图像生成装置、显示全景图像的图像显示控制装置、图像生成方法、程序和图像数据。

背景技术

诸如正方形投影格式这样的格式被称为全景图像的图像格式，它是通过将从观察点观看的全方向场景投影到二维平面上获得的。例如，使用这样的全景图像可以实现全景查看器，该全景查看器根据用户对视点的定向的操作在期望方向上显示场景。

发明内容

[技术问题]

在使用上述图像格式以允许用户观看全景图像的情况下，特定方向(诸如，从用户的前向或特定对象成像的点的方向)可能变得重要。然而，传统的全景图像格式并不区分这样的重要方向和非重要的方向。

本发明是鉴于上述情况做出的。本发明的一个目的是提供与全景图像相关并且能够以更高分辨率显示重要方向的图像数据。另一个目的是提供图像生成装置、图像显示控制装置、图像生成方法、以及与图像数据兼容的程序。

[问题解决方案]

根据本发明，提供了一种图像生成装置，包括全景图像生成部分和图像输出部分。全景图像生成部分生成通过将其上投影从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状获得的全景图像。在全景图像中，包括从观察点观看的给定关注方向的虚拟球上的单位区域被转换到比其它单位区域更宽的区域。图像输出部分输出生成的全景图像。投影面包含将关注方向中的位置链接到与关注方向相反的方向中的位置的主干线。全景图像生成部分生成对应于投影面的全景图像，使得与围绕观察点的旋转角度的单位量相对应的全景图像内的主干线的部分的长度在最靠近关注方向的位置处最大。

根据本发明，提供了一种图像显示控制装置，包括获取部分和绘图部分。获取部分获取通过将其上投影从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状获得的全景图像。在全景图像中，包括从观察点观看的给定关注方向的虚拟球上的单位区域被转换到比其它单位区域更宽的区域。绘制部分绘制根据获取的全景图像描绘的给定视场范围内的场景的显示图像，并且将绘制的显示图像显示在显示装置的屏幕上。投影面包含将关注方向中的位置链接到与关注方向相反的方向中的位置的主干线。通过转换投影面使得与围绕观察点的旋转角度的单位量相对应的全景图像内的主干线的部分的长度在最靠近关注方向的位置处最大来获得全景图像。

根据本发明，提供了一种图像生成方法，包括生成全景图像的步骤和输出所生成的全景图像的步骤。生成全景图像的步骤生成通过将其上投影从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状获得的全景图像。在全景图像中，包括从观察点观看的给定关注方向的虚拟球上的单位区域被转换到比其它单位区域更宽的区域。输出全景图像的步骤输出所生成的全景图像。投影面包含将关注方向中的位置链接到与关注方向相反的方向中的位置的主干线。生成全景图像的步骤生成对应于投影面的全景图像，使得与围绕观察点的旋转角度的单位量相对应的全景图像内的主干线的部分的长度在最靠近关注方向的位置处最大。

根据本发明，提供了一种程序，用于使计算机用作：全景图像生成部分和图像输出部分。全景图像生成部分生成通过将其上投影从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状获得的全景图像。在全景图像中，包括从观察点观看的给定关注方向的虚拟球上的单位区域被转换到比其它单位区域更宽的区域。图像输出部分输出生成的全景图像。投影面包含将关注方向中的位置链接到与关注方向相反的方向中的位置的主干线。全景图像生成部分生成对应于投影面的全景图像，使得与围绕观察点的旋转角度的单位量相对应的全景图像内的主干线的部分的长度在最靠近关注方向的位置处最大。该程序可以存储在非易失性计算机可读信息存储介质上然后被供应。

根据本发明，提供了一种图像数据，图像数据与通过将其上投影从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状获得的全景图像相关。在全景图像中，包括从观察点观看的给定关注方向的虚拟球上的单位区域被转换到比其它单位区域更宽的区域。投影面包含将关注方向中的位置链接到与关注方向相反的方向中的位置的主干线。与围绕观察点的旋转角度的单位量相对应的全景图像内的主干线的部分的长度在最靠近关注方向的位置处最大。

附图说明

图1是说明与全方向场景相对应的虚拟球的图。

图2是说明其上要投影描绘1/4球面的场景的投影面的示例的图。

图3是说明投影面中包含的主干线的示例的图。

图4是说明投影面中包含的分支线的示例的图。

图5是说明通过转换投影在图2所描绘的投影面上的场景而获得的全景图像的一部分的图。

图6是说明全景图像的示例的图。

图7是说明投影面的另一个示例的图。

图8是说明全景图像的一部分的另一个示例的图。

图9是说明由曲线形成的主干线的示例的图。

图10是说明图像显示系统的配置的框图。

图11是说明图像显示系统功能的框图。

具体实施方式

现在将参照附图详细描述本发明的实施例。

全景图像的图像格式

根据实施例的图像生成装置生成全景图像，全景图像包含在在观察点处获得的全方向视图的全部或部分范围内的场景。根据本实施例的图像生成装置生成的全景图像在下文中称为全景图像I。全景图像I是包含全方向视图的全部或部分范围内的场景的二维(平面)图像数据。这里，术语“全方向”是指从观察点观看到的所有方向，包括从360度水平方向(左右方向)和从最高点到最低点的180度垂直方向(上下方向)。

现在将描述本实施例中全景图像I的图像格式的具体示例。从观察点观看的全方向场景表示在虚拟球上，该虚拟球以观察点的位置为中心。这里，假设与全方向场景相对应的虚拟球是虚拟球S，为了便于解释，这里使用了三轴坐标系。三轴坐标系由三个相互正交的轴组成，即x轴、y轴和z轴。假设三轴坐标系的原点是与观察点相对应的虚拟球S的中心点O。假设x轴和z轴沿水平面布置，并且y轴沿垂直方向布置。

在本实施例中，设置了从观察点观看的特别重要的方向，该方向是捕获全方向视图的所有方向当中的一个。该特别重要的方向在下文中称为关注方向。这里，假设关注方向设置为x轴正方向。关注方向是用户可能特别关注的方向，或者是全景图像I的生成者希望用户特别关注的方向。例如，关注方向可能是重要对象成像的方向。在本实施例中，生成全景图像I使得其图像质量(分辨率)随着虚拟球S上相关联的区域到关注方向的距离的减小而增加。

当虚拟球S被穿过中心点O并平行于关注方向且相互正交的两个平面划分成四部分时，获得四个1/4球面S1至S4，如图1所示。参考图1，虚拟球S被两个平面(即xy平面(垂直面)和xz平面(水平面))划分为四部分。四个1/4球面中的每一个相对于穿过中心点O并与关注方向平行的平面在形状上是对称的。更具体地说，1/4球面S1和1/4球面S3在形状上与由等式y＝z表示的平面均对称。此外，1/4球面S2和1/4球面S4在形状上与由等式y＝-z表示的平面均对称。

以作为四个1/4球面中的一个的1/4球面S1为例，现在将描述生成包含与1/4球面S1相对应的场景的全景图像I的一部分的方法。与1/4球面S1相对应的范围内的场景投影到由多个相互连接的多边形(三角形或四边形)形成的投影面A1上。图2是说明投影面A1的具体示例的透视图。沿关注方向布置的投影面A1中的中心线以下称为主干线T。如前所述，1/4球面S1相对于由等式y＝z表示的平面是对称的。因此，主干线T也布置在该平面上。布置主干线T的平面(由等式y＝z表示的平面)以下称为中心平面。主干线T表示通过沿中心平面切割投影面A1获得的形状。也就是说，主干线T连接布置在朝向关注方向的一端和包含中心点O且平行于关注方向的中心平面中的相对端。

图3说明了中心平面中包含的主干线T的形状的具体示例。这里，假设例如投影面A1是通过连接六个多边形形成的。同时，主干线T由六个线段组成，如图3所示。此外，假设中心平面上的位置在下文中由相互正交的X轴和Y轴形成的二维坐标系表示。此处，X轴与三维空间中的x轴一致，而Y轴是通过将y轴向z轴倾斜45度获得的。

现在将描述确定主干线T形状的方法。这里，假设主干线T的六个线段从与关注方向相反的方向依次指定为T₁、T₂、T₃、T₄、T₅、和T₆。此外，假设朝着与关注方向相反的方向(朝向X轴负方向)的主干线T的端点被指定为起点P₁，并且从靠近起点P₁的一侧的线段的端点依次被指定为中继点P₂、P₃、P₄、P₅、和P₆。此外，假设朝向关注方向(朝向X轴正方向)的主干线T的端点被指定为终点P₇。

中继点P₂到P₆被布置以使得从中心点O看向线段T1到T6的角度(即，由线段的两端和中心点O形成的角)彼此相等。也就是说，当绘制五条辅助线以将角度P₁OP₇(＝180°)平均分为六份时，将中继点P₂至P₆布置在这些辅助线上。更具体地，角度P₁OP₂、角度P₂OP₃、角度P₃OP4、角度P₄OP₅、角度P₅OP₆和角度P₆OP₇彼此相等，并且都是30°(＝180°/6)。在下文中，这些角度(从中心点O看向线段的角度)被称为“对应角α”。当从中心点O观看时，线段T1到T6覆盖了对应角α的范围。

起点P₁被设置在与朝向关注方向(朝向X轴负方向)相反的方向上的距离中心点O预定距离的位置上。这里，假设起点P₁的位置坐标是(X＝-1，Y＝0)。此外，中继点P₂被设置在一个位置上，在该位置，穿过起点P₁并垂直于直线OP₁的直线与最靠近起点P₁的辅助线相交。也就是说，确定中继点P₂的位置，使得角度P₁OP₂为α＝30°，并且角度OP₁P₂为90°。在这种情况下，角度OP₁P₂称为“出射角β”。此外，确定中继点P₃以使得角度P₂OP₃为30°，并且角度OP₂P₃为90°。依次确定剩余的中继点P₄至P6和终点P₇，使角度P_n-1OP_n(对应角α)为30°，并且角度OP_{n- 1}P_n(出射角β)为90°。

如上所述确定了起点P₁、中继点P₂到P₆、以及终点P₇的位置后，中心平面内主干线T的形状也确定了。在这种情况下，线段T1至T6的长度彼此不同。此外，线段T₁到T₆的长度随着到关注方向的距离的减小而增大，并且随着到与关注方向相反的反向的距离的减小而减小。也就是说，主干线T在形状上相对于穿过中心点O且垂直于关注方向的平面不对称，并且朝向关注方向的部分比朝向与关注方向相反的方向的部分更长。

这里，假设中心平面上的位置坐标用极坐标(r，θ)表示。在这种情况下，主干线T的形状由极坐标系的单值函数表示，即r＝f(θ)。符号r表示到中心点O的距离。并且符号θ表示角度值使得X轴负方向为0°且逆时针方向为正方向。该角度值不小于0°且不大于180°。当由上述方法确定的主干线T用如上所述的函数f表示时，函数f变成单调递增的函数，使的值r随值θ的增加而增加。因此，每单位角度主干线T的长度可以随着到关注方向的距离的减小而增加。

在确定主干线T的形状后，布置五条支线F₁至F₅以分别穿过中继点P₂至P₆。当主干线T被视为脊椎(spine)时，支线F对应于肋骨(rib)。分支线F以这样的方式被布置使得从主干线T的延伸方向看时，分支线F向左和向右延伸。更具体地说，分支线F₁到F₅布置在与中心平面垂直的方向上。此外，分支线F₁到F₅的每一条的布置使得其中点与主干线T上的中继点重合。确定每条分支线F的长度以匹配1/4球面S1。

下面详细描述了例如如何布置分支线F₁。图4说明了包括中继点P₂和分支线F₁，并垂直于X轴的平面中的情况。当1/4球面S1被沿着穿过中继点P₂且与关注方向正交的平面切割时，获得具有中心角为90°的扇形。因此，也确定分支线F₁的长度，使得分支线F₁的两端与X轴上的点形成90°角度，如图4所示。在这种情况下，分支线F₁的长度是中继点P₂和X轴之间距离的两倍。同时，分支线F₁的中点与中继点P₂重合。因此分支线F₁相对于中心平面对称。与分支线F₁的情况类似，也确定每条分支线F₂到F₅的长度，使其为相关联的中继点和X轴之间距离的两倍。

当用上述方式确定了主干线T和分支线F₁至F₅的位置时，投影面A1的整体形状也确定了。也就是说，通过连接主干线T的起点P₁和终点P₇以及每条分支线F的两端形成投影面A1的形状。描绘1/4球面S1的场景投影在投影面A1上。由于分支线F₁至F₅中每一条相对于中心平面对称，因此整个投影面A1也相对于中心平面对称，类似于1/4球面S1的情形。需要注意的是，在投影面A1上，除了分支线F₁至F₅之外，还设置了分支线F_d。分支线F_d是投影面A1上的线段，并且其平行于其它分支线F₁至F₅。下文将描述确定分支线F_d位置的方法。

投影在投影面A1上的场景被转换成平面形状，并且用作全景图像I的一部分。全景图像I中对应于投影面A1的区域在下文中称为图像部分Ip1。在本实施例中，假设图像部分的形状Ip1是方形。图5说明了图像部分Ip1，并且描绘了投影面A1中的主干线T和与分支线F₁至F₅相对应的线段。

如图5所示，主干线T与图像部分Ip1的一条对角线相对应。这里，图像部分Ip1的右上顶点对应于起点P₁，并且左下顶点对应于终点P₇。对角线P₁P₇被划分为六个部分。这六个部分与形成投影面T的线段T₁至T₆中的一个相对应。图像部分Ip1中每条线段长度基于投影面A1中线段T₁至T₆的长度来确定。然而，六条线段不需要转换以完全保持投影面A1上的长度比，但是可以转换为基于中心平面中的位置校正的长度。

现在将描述长度校正的具体示例。当在投影面A1中OP₁的长度为1时，投影面A1中线段T₁至T₆的长度如下面的表1所示。

表1

将每个线段的长度校正为通过乘以校正系数获得的值。通过使用第(n-1)个线段T_n-1(即位于与关注方向相反的相邻的线段)的校正系数a_n-1、对应角α和出射角β，通过以下等式计算第n个线段T_n的校正系数a_n。

a_n＝a_n-1×sin(β)/sin(180°-α-β)

这里，对于每条线段，对应角α＝30°，且出射角β＝90°。因此获得以下等式。

a_n＝a_n-1/sin60°

此外，由于线段T₁不需要校正，因此a₁＝1。

因此，a₂从以下等式算出。

a₂＝1/sin60°

因此，a₂大约是1.15。线段T₂至T₆的校正系数按上述同样的方式按依次计算。在表1指示了从上述等式计算的线段的校正系数。每个线段的校正长度是通过将投影面A1中的长度乘以相关联的校正系数获得的值。

计算图像部分Ip1中每个线段的长度以匹配此校正长度。也就是说，当线段T₁至T₆的校正长度的和为Lt时，通过将校正长度除以Lt计算出图像部分Ip1中每个线段的长度相对于主干线T的整个长度的比例。图像部分Ip1中每个线段的实际长度是通过将该比例乘以图像部分Ip1的对角线长度获得的值。

上述校正减轻了主干线T的长度关于单位角度的变化的不连续性。这里，单位角度表示角θ的单位量，该角θ是在包含主干线T的中心平面中围绕中心点O(观察点)的旋转的角。在主干线T的形状由如前所述的极坐标系的单值函数r＝f(θ)表示的情况下，当角θ增加时，相对于角θ的单位量的主干线T的长度在一个线段和另一个线段之间的边界处不连续地变化。如果这种不连续性存在，则对应于虚拟球S上的单位区域的图像部分Ip1中区域延伸(即图像中包含的信息密度)也会不连续地变化，以产生不利的结果。然而，通过使用校正系数a_n进行如上的校正，可以防止这种不连续性。同时，投影面A1中的每个线段上的点的位置与图像部分Ip1中每个线段中的位置之间的对应关系可以通过基于例如线性插值执行插值计算来确定。

投影面A1中的分支线F₁至F₅的每一条在图像部分Ip1内转换为平行于一对角线的线段，该对角线与对应于主干线T的对角线相交。更具体地，如在投影面A1中的情形一样，分支线F₁至F₅也被转换为穿过图像部分Ip1中的中继点P₂至P₆。这里，假设图像部分Ip1是正方形形状，每条分支线F都与主干线T正交。

此外，与对应于主干线T的对角线相交的对角线也被设置为一条分支线F。这是上述分支线F_d。将投影面A1中的分支线F_d设置在与图像部分Ip1中的对角线的位置相对应的位置上。

当主干线T与分支线F之间的对应关系如上所述确定时，投影面A1中的位置被转换为图像部分Ip1中的位置。更具体地，将投影面A1中的由分支线F₁和起点P₁包围的三角形、以及由分支线F₅和终点P₇包围的三角形分别转换为图像部分Ip1中的右上角三角形和左下角三角形。此外，由分支线F₁至F₅以及F_d中的两条相邻的分支线F夹住的梯形被转换为图像部分Ip1中由相同的两条分支线F夹住的梯形。

当把三角形转换为三角形时，转换的三角形中包含的点的位置是唯一确定的。同时，当把四边形转化为四边形时，转换的四边形中包含的点的位置不是唯一确定的。因此，该转换例如以如下所述的方式进行。首先，线性内插平行于主干线T的方向上的位置。然后，线性内插与主干线T相交的方向(即平行于分支线F的方向)上的位置。当用以上方式执行了转换时，投影面A1上的点与图像部分Ip1中的位置相对应。

转换四边形的方法不限于上述方法。例如，一种替代是将投影面A1上由两条分支线F形成的梯形划分为两个三角形，并且在图像部分Ip1上转换两个三角形中的每一个。另一种替代是将投影面A1上的三角形或四边形通过运行细分处理进一步划分，并且在通过划分获得的多边形的每一个上进行转换。使用上述转换方法，可以降低由转换引起的错误水平。将多边形转换为多边形的处理(例如，细分处理)例如可以通过使用公知的计算机图形库轻松实施。

当执行上述转换时，1/4球面S1中的场景被转换为具有平面形状的图像部分Ip1。对于1/4球面S2至S4，同样地，当1/4球面S2至S4的内部场景投影到投影面A2至A4上并受到相同的转换时，也获得图像部分Ip2至Ip4。通过将用上述方式获得的四个图像部分Ip1至Ip4进行排列，生成具有平面形状并且包括全方向场景的平面全景图像I。

图6说明了以上述方式获得的全景图像I的示例。由于图像部分的每一个的形状都是方形的，所以全景图像I的整体形状也是方形的。全景图像I的中心C对应于关注方向(x轴正方向)。图6中描绘的曲线表示相对于关注方向的角度范围，即高达30°的角度范围、高达60°的角度范围、高达90°的角度范围和高达120°的角度范围。如图6所示，分配给全景图像I中位置的区域随着到关注方向的距离的减小而增大。因此，全景图像I中包含的信息量随着到关注方向的距离的减小而增大，并且位于与关注方向相反的图像部分中包含相对小的信息量。当通过使用上述全景图像I绘制场景图像时，绘制图像的质量随着到关注方向的距离的减小而提高。

上述描述假设投影面A1由六个多边形形成，并且相应地主干线T由六个线段构成。然而，本发明并不限于这种配置。主干线T可替换地可以由三个或更多的线段形成。图7说明了主干线T由四个线段形成的情形下的投影面A1的形状，并且投影面A1的形状通过执行如上所述的相同步骤来确定。当主干线T由如上所述的数量较少的线段形成时，关注方向和关注方向相反方向之间的信息密度的差异增大。相反地，当主干线T由数量增加的线段形成时，主干线T的形状接近半圆形状，以减小关注方向和关注方向相反方向之间的信息密度的差异。

此外，上述描述假设形成主干线T的多个线段是以其对应角α彼此相等的方式确定的。然而，可替换地，线段的对应角α可能彼此不同。

此外，上述描述假设出射角β为90°。然而，可替换地，出射角度β可以是大于90°且小于180°的任何角度。如果出射角为90°≤β<180°，则表示主干线T的形状的函数r＝f(θ)为单调递增函数。因此，形成主干线T的多个线段可以随着到关注方向的距离的减小而变长。然而，出射角β相对于下一个对应角α必须满足关系式α+β<180°。即使当形成主干线T的每个线段的对应角α和出射角度β取不同于上文所述的值，也可以通过同样的等式依次计算上述校正系数a_n。

此外，主干线T可以部分或全部由曲线形成。在这种情况下，同样地，通过定义主干线T的形状，使得函数r＝f(θ)是单调递增的函数，全景图像I中与虚拟球S上的单位面积相对应的区域随着到关注方向距离的减小而变大。

现在将描述上述函数的具体示例。例如，主干线T可以是由函数f(θ)＝e^aθ定义的曲线，其中a是取正值的系数。在这种情况下，主干线T是这样的，使得每单位角度的长度随着到关注方向的距离的减小指数地增长。如果系数a由以下等式表示，则由上述函数定义的曲线是这样的，使得每30°的长度比与通过加权形成图3所示主干线T的线段中的每一个获得的长度比一致。

a＝6×log(4/3×π)

图8描绘了由上述曲线形成的主干线T的形状。在图8中，为了便于比较，用单点点划线表示图3中的主干线T。此外，图8中的双点点划线表示根据由曲线形成的主干线T，应用到图3中形成主干线T的除了线段T₁之外的线段T₂至T₆的距离变化。受到距离变化的每条线段与由对应于相同角度范围的曲线形成的主干线T之间的长度比在任何角度都是恒定的。

此外，分支线F不限于以上述方式形成和布置的分支线。例如，分支线F可以穿过相关联的中继点，并且可以在垂直于关注方向的平面上由多个线段形成。可替换地，分支线F可以是弧形的或以其他方式成形为包括曲线。在任何情况下，确定的分支线F使得其在形状上相对于中心平面对称，并且从x轴上的点观看分支线F的角(分支线F的两端和中心角O形成的角)与相关联的1/4球面重合(即，该角等于90°)。此外，分支线F可以穿过相关联的中继点和中心点O，并且可以布置在垂直于中心平面的平面上。

此外，上述描述假设关注方向是平行于水平面的方向。然而，本发明并不局限于这样的关注方向。可替换地，关注方向可以根据需要全方向地设置。在这种情况下，同样地，通过参照关注方向确定投影面A1到A4的位置，使得中心平面平行于关注方向，可以生成全景图像I，从而使得信息量随着到关注方向距离的减小而增加。同时，也可以根据需要设置用于将虚拟球S划分为1/4球面的定向。

此外，上述描述假设全景图像I包含所有全方向场景。然而，根据本实施例的全景图像I不限于这样的配置。全景图像I可替换地可以只包含全方向视图的局部范围内的场景。例如，全景图像I可以包含仅与1/4球面S1到S4中的一个相对应的场景，或仅与两个1/4球面(即半球)相对应的场景。

此外，根据本实施例的全景图像I可以通过仅将某1/4球面的部分范围内的场景转换为图像部分来生成。在这种情况下，全景图像I中具有虚拟信息的像素(例如，像素值为0的像素)可能在未投影的场景的范围内。这使得即使当关于部分范围内场景(例如，在接近最低点的高纬度范围内的场景)的信息不可用，也可以通过与本实施例一起描述的方法生成全景图像I。此外，对应于1/4球面的投影面A1到A4中的每一个都可转换为具有除了方形之外的形状(例如，矩形)的图像部分。

现在将进一步描述根据本实施例的全景图像I的示例性变体。

上述描述假设主干线T的形状可以用单调递增函数r＝f(θ)表示，该函数使用极坐标系的角θ作为变量。也就是说，主干线T被成形使得每单位角度的长度随着到关注方向(θ＝180°)的距离的减小而增加。这样就可以增加全景图像I中靠近关注方向的区域的信息量。然而，主干线T的形状不限于上述形状。主干线T可能不会被成形使得每单位角度的长度随着到关注方向的距离的减小而增加。主干线T可以被成形使得例如当从中心点O观看时，朝向关注方向的部分和朝向关注方向相反方向的部分是对称的。例如，主干线T的形状可以接近半圆形。

即使主干线T如上文所述被成形，当投影面的每个部分的转换的比率改变以用于将包含主干线T的投影面转换到具有平面形状的全景图像I时，也会获得与在主干线T被成形使得每单位角度的长度随着主干线T与关注方向之间的距离的减小而增加的情形中相同的优势。更具体地，转换主干线T的多个部分中的每一个，使得全景图像I中的长度随着到关注方向的距离的减小而增加。这样就可以生成全景图像I，使得其每单位角度的信息量随着相关区域到关注方向的距离的减小而增加。在本示例中，投影面中主干线T的每单位角度的长度不随到关注方向的距离的减小而增加。然而，全景图像I中的主干线T的每单位角度的长度随着到关注方向的距离的减小而增加。

也就是说，定义全景图像I中的主干线T与投影面中的主干线T之间的对应关系，使得全景图像I中的主干线T的单位长度对应于投影面中随着到关注方向的距离的减小而增大的角度θ。这里，全景图像I中的主干线T的单位长度可以是对应于全景图像I中每个像素的像素尺寸的长度。根据上述对应关系执行投影面和全景图像I之间的转换，使得提供具有随着到关注方向的距离的减小而增大的分辨率的视频成为可能。

上述描述假设全景图像I中主干线T的每单位角度的长度随着到关注方向的距离的减小持续地增加。然而，取决于投影面的结构和对应关系的定义，每单位角度的长度可能会暂时减小。即使在这种情况下，只要定义了对应关系使得在最接近关注方向的位置上的每单位角度的长度最大，就可以生成在关注方向附近包含大量信息的全景图像I。

此外，上述描述假设包含全方向场景的全景图像I是通过将对应于一个1/4球面的投影面转换为图4所示的方形图像部分、并排列通过转换获得的图像部分的四个部分生成的。然而，对应于1/4球面的图像部分不限于如上所述的形状。例如，包含在1/4球面中的场景可以转换为等腰直角三角形的形状。图9说明了在这种情况下图像部分的示例。在图9的示例中，说明了包含描绘1/4球面S1的场景的图像部分Ip1，如图5中的情形一样，并且等腰直角三角形的顶角对应于关注方向。此外，主干线T由等腰直角三角形的底边和从顶角延伸到底边的垂直线形成。位于关注方向相反侧主干线T的一半对应于通过将底边分成两部分获得的两个线段。因此，起点P1对应于点P_1L和P_1R，点P_1L和P_1R对应于左、右底角。同样地，中继点P₂到P₅对应于底边上的两个点。具有整体方形形状的全景图像I可以通过将上述图像部分的四个部分以使得与关注方向相对应的顶角在中心重叠的方式排列来生成。在本示例中，同样地，投影面中由主干线T和分支线包围的多边形中的每一个都转换为全景图像I中的三角形或梯形。

图像显示系统的配置与功能

现在将描述根据本发明实施例的图像显示系统1的配置。图像显示系统1包括图像生成装置10和图像显示控制装置20。

图像生成装置10是生成全景图像I的信息处理装置，并且可以是例如家用游戏机、移动游戏机、个人计算机、智能手机或平板电脑。如图10所示，图像生成装置10包括控制部分11、存储部分12和通信部分13。

控制部分11包括至少一个中央处理单元(central processing unit，CPU)或其他处理器，并通过运行存储部分12中存储的程序来执行各种信息处理。在本实施例中，具体地，控制部分11执行生成全景图像I的处理。存储部分12包括至少一个随机存取存储器(random access memory，RAM)或其他存储器设备，并存储要被控制部分11执行的程序和要被程序处理的数据。通信部分13是局域网(local area network，LAN)卡或其他通信接口，并且通过通信网络将关于全景图像I的数据传输到图像显示控制装置20。

图像显示控制装置20是基于图像生成装置10生成的全景图像I提供图像显示控制的信息处理装置。如同图像生成装置10的情况，图像显示控制装置20可以是例如家用游戏机、移动游戏机、个人计算机、智能手机或平板电脑。图像显示控制装置20包括控制部分21、存储部分22和通信部分23。此外，图像显示控制装置20连接到显示装置24和操作设备25。

控制部分21包括至少一个CPU或其他处理器，并通过运行存储部分22中存储的程序来执行各种信息处理。在本实施例中，特别地，控制部分21执行基于全景图像I执行绘制显示图像的处理。存储部分22包括至少一个RAM或其他存储器设备，并存储要被控制部分21运行的程序和要被程序处理的数据。通信部分23是LAN卡或其他通信接口，并且通过通信网络接收来自图像生成装置10的数据。

显示装置24例如是液晶显示器，并且基于从图像显示控制装置20供应的视频信号显示图像。显示装置24可以是显示由图像显示控制装置20供应的立体可视图像的立体图像显示装置。此外，显示装置24可以是例如可以穿戴在用户的头部的头戴式显示装置。

操作设备25例如是家用游戏机的控制器或指向设备，并且被用户使用以向图像生成装置10发出各种指令。用户通过操作设备25发出的指令以有线或无线方式传输到图像显示控制装置20。操作设备25例如包括操作按钮和设置在图像显示控制装置20的外壳表面上的触摸面板。

现在将参照图11描述由图像生成装置10和图像显示控制装置20实施的功能。如图11所示，图像生成装置10功能性地包括场景信息获取部分31、全景图像生成部分32和全景图像传输部分33。当控制部分11运行存储部分12中存储的程序时，实施这些部分的功能。同时，图像显示控制装置20功能性地包括全景图像获取部分34、方向获取部分35和显示图像绘制部分36。当控制部分21运行存储部分22中存储的程序时，实施这些部分的功能。该装置要运行的程序可以通过诸如互联网的通信网络供应给该装置，也可以存储在光盘或其他计算机可读信息存储介质上并供应给所述装置。

场景信息获取部分31获取场景信息，该场景信息用作生成全景图像I的原始数据。当从观察点观看的全方向场景被投影到虚拟球S上时，场景信息对于识别虚拟球S的表面上每个单位区域的颜色(像素值)是必需的。例如，根据本实施例，场景信息可以是以方形投影格式、或者与该图像格式不同的其它图像格式生成的全景图像。场景信息也可以是全景相机捕获的全景图像上的图像数据。场景信息获取部分31可以通过通信网络从另一个装置接收场景信息，或者从连接到图像生成装置10的相机或其他设备读取场景信息。场景信息获取部分31还可以读取存储在闪存或其他信息存储介质中的场景信息。

全景图像生成部分32通过使用场景信息获取部分31获取的场景信息生成全景图像I。如前所述，全景图像I是二维图像数据，其包含全方向视图的全部或部分范围内的场景。更具体地，全景图像生成部分32在给定条件下确定关注方向和投影面A1到A4的位置和形状。然后，基于上述投影面中的位置与全景图像I中的位置之间的对应关系，全景图像生成部分32通过根据场景信息通过计算全景图像I中每个像素的像素值生成全景图像I。

基于投影面的位置和形状，确定投影面中的位置与全景图像I中的位置之间的对应关系。如前所述，投影面的位置和形状随后根据关注方向的定向和主干线T和支线F的位置和形状进行定义。定义投影面的位置和形状的信息对于图像显示控制装置20使用全景图像I以重现全景图像I中包含的场景是必要的。因此，全景图像生成部分32将这种定义全景图像I的配置的信息(该信息以下称为图像定义信息)与生成的全景图像I相关联，并且输出与生成的全景图像I相关联的图像定义信息。

此外，全景图像生成部分32可以生成立体全景图像数据。例如，在这种情况下生成的图像数据可以是具有长宽比为1:2的矩形图像数据，在左半部分包含用于生成左眼图像的方形全景图像I，并且在右半部分包含用于生成右眼图像的方形全景图像I。此外，全景图像生成部分32可以将全景图像I生成为随时间变化的移动图像。

全景图像传输部分33将全景图像生成部分32生成的全景图像I传输到图像显示控制装置20。在本实例中，全景图像传输部分33将图像定义信息与全景图像I一起传输。

全景图像获取部分34通过接收来自图像生成装置10的全景图像传输部分33传输的全景图像I来获取全景图像I。这里，假设全景图像获取部分34直接接收通过通信网络从图像生成装置10传输的全景图像I。然而，本发明并不限于这种配置。可替换地，全景图像获取部分34可以通过服务器计算机或其他装置接收全景图像I。

例如，基于用户指令，方向获取部分35获取用于确定显示装置24上出现的显示图像的视场范围(显示范围)的方向信息。当稍后描述的显示图像绘制部分36生成显示图像时，方向获取部分35获取的方向信息用作虚拟相机的成像方向。例如，成像方向通过指示水平角的偏航角和指示垂直角的俯仰角来定义。此外，方向获取部分35可以附加地获取指示相机围绕表示成像方向的旋转轴的旋转角度的滚动角。

更具体地，方向获取部分35通过接收输入到操作设备25以指定方向的用户指令来获取方向信息。可替换地，当用户倾斜图像显示控制装置20的主体时，方向获取部分35可以从图像显示控制装置20中内置的运动传感器检测的结果中获取方向信息。例如，在图像显示控制装置20具有与智能手机或平板电脑一样的小尺寸外壳的情况下，这使得用户能够通过改变图像显示控制装置20的定向将视场范围改变为所需的定向。此外，当显示装置24是头戴式显示器装置时，方向获取部分35可以从显示装置24中内置的运动传感器检测的结果中获取方向信息。这使得可以根据用户头部的定向的变化来改变视场范围。

基于全景图像获取部分34所获取的全景图像I，显示图像绘制部分36绘制描述根据方向获取部分35获取的方向信息确定的视场范围内场景的显示图像，并使显示装置24显示绘制的显示图像。这使用户能够观看全景图像I中包含的特定视场范围内的场景。此外，用户能够观看在全方向视图内所需方向中的场景，例如，通过向操作设备25输入指令来更改视场范围。

更具体地，显示图像绘制部分36根据与全景图像I一起传输的图像定义信息，在虚拟空间中布置投影面A1到A4。此外，显示图像绘制部分36在虚拟空间的中心位置(对应于虚拟球S的中心点O的位置)布置虚拟相机。在这种情况下，所布置的虚拟相机根据方向获取部分35获取的方向信息进行定向和倾斜。

随后，显示图像绘制部分36将纹理附加到投影面A1到A4的内部。要附加的纹理是基于全景图像I生成的。作为具体示例，当通过使用图6中所示的全景图像I执行绘制过程时，显示图像绘制部分36在虚拟空间中布置例如图2中所示的投影面A1。此外，显示图像绘图部分36以布置的投影面A2至A4彼此之间旋转90度的方式布置形状与投影面A1相同的投影面A2至A4。然后，将图5所示图像部分Ip1中包含的图像作为纹理附加到投影面A1的内部。更具体地，显示图像绘制部分36通过使用分支线F₁到F₅以及F_d将图像部分Ip1划分为五个梯形和两个三角形。通过划分得到的多边形(诸如梯形和三角形)然后经历应用于图像生成的仿射变换的逆变换，以便将多边形转换为基于投影面A1的对应平面的形状。然后将从转换得到的纹理附加到投影面A1的内部。例如，由起点P₁和图像部分Ip1内的分支线F₁形成的右上三角形被附加到在投影面A1中在起点P₁处具有顶点的三角形部分。同样地，图像部分Ip1中夹在分支线F₁和F₂之间的梯形也被转换为投影面A1中夹在分支线F₁和F₂之间的梯形。以这种方式，全景图像I中的所有多边形(诸如三角形和梯形)都转换为基于相应的投影面A1到A4的形状，然后被附加。例如，这种处理是通过公知的顶点着色器实现的。此外，显示图像绘制部分36可以通过执行如前面提到的细分处理将梯形划分成多个较小的多边形，并且转换通过划分获得的多边形的每一个。例如，可以通过图形处理单元(graphics processingunit，GPU)实施上述绘制处理的至少一部分。

随后，显示图像绘制部分36通过绘制从放置在与虚拟球S的中心点O相对应的位置的虚拟相机看到的附加了上述纹理的投影面A1到A4的外观来生成显示图像。例如，当虚拟相机定向为朝向关注方向的时候，绘制的显示图像包含靠近投影面A1的终点P₇的区域和投影面A2到A4的与前一区域相邻的区域。

这里，全景图像I的图像格式是使得如前所述的在靠近关注方向的区域中占据较大的区域的图像格式。当基于这种全景图像I生成显示图像时，所生成的显示图像在关注方向附近以高于其它区域的分辨率描绘场景。

此外，本实施例被配置使得显示图像绘制部分36根据方向获取部分35获取的方向的变化实时更新显示图像。也就是说，当方向获取部分35获得的方向改变时，显示图像绘制部分36将虚拟相机的定向改变为与改变的方向相对应的方向。更具体地，当俯仰角和偏航角改变时，虚拟相机的成像方向被改变以匹配俯仰角和偏航角的变化。此外，当滚动角度改变时，虚拟相机根据需要围绕代表成像方向的旋转轴倾斜，以匹配滚动角度的变化。这使得虚拟相机的视场范围根据需要变化，以匹配方向获取部分35所获取的方向变化。显示图像绘制部分36通过根据更新的视场范围重新绘制投影面A1到A4内部的外观来更新显示图像，并在显示装置24的屏幕上显示更新的显示图像。显示图像绘制部分36以预定的间隔重复执行这种根据方向获取部分35获取的方向变化重新绘制(更新)显示图像的处理。就如上所述进行控制而言，用户可以移动视场范围，以便观看全景图像I中所需的全方向位置处的场景。

此外，例如，根据用户指令，方向获取部分35除了获取关于虚拟相机的定向的信息，还获取关于虚拟相机的位置信息。在这种情况下，显示图像绘制部分36根据位置信息的变化平移虚拟空间中的虚拟相机。这使得可以显示当从不同位置观看时的附加在投影面A1到A4的场景的外观。

上述描述假设显示图像是单个平面图像。然而，显示图像绘制部分36可以可替换地绘制立体图像。在这种情况下，显示图像绘制部分36被配置成使得在投影面A1到A4的中心处并排布置两个虚拟相机。然后，通过绘制从左侧虚拟相机中看到的附加了基于左眼全景图像I生成的纹理的投影面A1到A4的内部的外观，生成左眼显示图像。类似地，通过绘制从右侧虚拟相机中看到的附加了基于右眼全景图像I生成的纹理的投影面A1到A4的内部的外观，生成右眼显示图像。当两个生成的显示图像显示在能够显示立体图像的显示装置24上时，用户能够立体地观看全方向场景。

如上所述，本实施例以提供全方向成像的虚拟球S的每单位区域的信息量随着到关注方向的距离的减小而增加的图像格式生成全景图像I。因此，可以以高分辨率显示重要部分并且相对降低包含在全景图像I中的整体数据量。

上述描述假设图像生成装置10通过通信网络将全景图像I传输到图像显示控制装置20。然而，本发明并不限于这种配置。一种替代是允许图像生成装置10将全景图像I写入闪存或其他信息存储介质中，并允许图像显示控制装置20通过从该信息存储介质中读取全景图像I来获取全景图像I。此外，上述描述假设例如图像生成装置10和图像显示控制装置20彼此独立。然而，可替换地，可以允许单个信息处理装置生成全景图像I并控制生成的全景图像I的显示。

此外，上述描述假设显示图像绘图部分36参考图像定义信息，并在虚拟空间中布置与全景图像I的生成中具有相同形状的投影面。但是，本发明的实施例不限于这种配置。例如，基于与图2所示投影面相对应的全景图像I，显示图像绘制部分36可以将纹理附加到球形投影面上并绘制显示图像。在这种情况下，显示图像绘制部分36参考图像定义信息来识别投影面内的全景图像I中单个部分所占的区域，并将基于单个部分生成的纹理附加到识别的区域。当执行上述处理时，可以在与生成全景图像I的投影面形状不同的投影面上开发描述全景图像I中包含的场景的纹理。

具体地，如前所述，在显示图像绘制部分36绘制用于实现基于视差的立体图像的左眼图像和右眼图像的情况下，如果在显示图像绘制时虚拟相机和投影面之间的距离根据虚拟相机的定向的变化，则相同距离处的物体的视距根据虚拟相机的定向而变化。这可能会导致用户在某些情况下感到不适。当使用类似于球面的投影面绘制显示图像时，无论虚拟相机的定向如何，虚拟相机与投影面之间的距离都保持不变。

现在将描述对球形投影面的渲染的处理的具体示例。首先，显示图像绘制部分36通过执行细分处理将全景图像I划分为相对小的三角形区域。例如，显示图像绘制部分36将全景图像I划分成网格状排列的小正方形，并沿面向全景图像I中心的对角线将小正方形中的每一个进一步划分成两个小三角形区域。计算通过划分获得的小三角形区域中的每一个的顶点在虚拟空间中的位置。在这种情况下，每个顶点的位置是基于生成原始全景图像I时的投影面的形状计算的(即，基于关于主干线T和支线F的位置信息)。然后，显示图像绘制部分36将小三角形区域以使得根据每个顶点的计算的位置形成大致球形的形状的方式布置在虚拟空间中。这样就可以生成再现全景图像I中包含的场景的球形投影面。

这里，假设小三角形区域中每一个布置在与中心点(虚拟相机的位置)大致相等的距离上。然而，本发明并不限于这种配置。可替换地，到小三角形区域中每一个的距离可以改变，同时保持从关注点的定向。这使得可以根据定向改变到投影面的距离。

[参考符号列表]

1-图像显示系统，

10-图像生成装置，

11/21-控制部分，

12/22-存储部分、

13/23-通信部分，

20-图像显示控制装置，

24-显示装置，

25-操作设备，

31-场景信息获取部分，

32-全景图像生成部分，

33-全景图像传输部分，

34-全景图像获取部分，

35-方向获取部分，

36-显示图像绘制部分。

Claims (9)

1.一种图像生成装置，包括：

全景图像生成部分，其生成通过将其上投影了从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状获得的全景图像，所述全景图像使得包括从所述观察点观看的给定关注方向的所述虚拟球上的单位区域被转换到比其它单位区域更宽的区域；以及

图像输出部分，其输出所述生成的全景图像，

其中，所述投影面包含将所述关注方向中的位置链接到与所述关注方向相反的方向中的位置的主干线，并且所述全景图像生成部分生成对应于所述投影面的所述全景图像，使得与围绕所述观察点的旋转角度的单位量相对应的所述全景图像内的所述主干线的部分的长度在最靠近所述关注方向的位置处最大。

2.根据权利要求1所述的图像生成装置，

其中，所述全景图像生成部分生成与所述投影面相对应的所述全景图像，使得当所述投影面被转换到所述全景图像时，与围绕所述观察点的旋转角度的单位量相对应的所述全景图像内的所述主干线的部分的长度随着到所述关注方向的距离的减小而增大。

3.根据权利要求2所述的图像生成装置，

其中，所述投影面相对于所述主干线对称地形成，并且所述主干线被成形，使得距离所述观察点的距离随着到所述关注方向的距离的减小而增大。

4.根据权利要求1至3中任一项所述的图像生成装置，其中所述投影面被成形，使得多个多边形互相连接。

5.根据权利要求1至4中任一项所述的图像生成装置，其中所述全景图像内对应于所述关注方向的点位于所述全景图像的中心。

6.一种图像显示控制装置，包括：

获取部分，其获取通过将其上投影从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状获得的全景图像，所述全景图像使得包括从所述观察点观看的给定关注方向的所述虚拟球上的单位区域被转换到比其它单位区域更宽的区域；以及

绘制部分，其绘制根据所述获取的全景图像描绘的给定视场范围内的场景的显示图像，并且将所述绘制的显示图像显示在显示装置的屏幕上，

其中，所述投影面包含将所述关注方向中的位置链接到与所述关注方向相反的方向中的位置的主干线，并且通过转换所述投影面使得与围绕所述观察点的旋转角度的单位量相对应的所述全景图像内的所述主干线的部分的长度在最靠近所述关注方向的位置处最大来获得所述全景图像。

7.一种图像生成方法，包括：

生成全景图像的步骤，所述全景图像通过将其上投影从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状而获得，所述全景图像使得包括从所述观察点观看的给定关注方向的所述虚拟球上的单位区域被转换到比其它单位区域更宽的区域；以及

输出所生成的全景图像的步骤，

其中，所述投影面包含将所述关注方向中的位置链接到与所述关注方向相反的方向中的位置的主干线，并且所述生成全景图像的步骤生成对应于所述投影面的所述全景图像，使得与围绕所述观察点的旋转角度的单位量相对应的所述全景图像内的所述主干线的部分的长度在最靠近所述关注方向的位置处最大。

8.一种程序，用于使计算机用作：

全景图像生成部分，其生成通过将其上投影从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状获得的全景图像，所述全景图像使得包括从所述观察点观看的给定关注方向的所述虚拟球上的单位区域被转换到比其它单位区域更宽的区域；以及

图像输出部分，其输出所述生成的全景图像，

其中，所述投影面包含将所述关注方向中的位置链接到与所述关注方向相反的方向中的位置的主干线，并且所述全景图像生成部分生成对应于所述投影面的所述全景图像，使得与围绕所述观察点的旋转角度的单位量相对应的所述全景图像内的所述主干线的部分的长度在最靠近所述关注方向的位置处最大。

9.一种图像数据，

所述图像数据与通过将其上投影从观察点观看的虚拟球的至少部分范围中的场景的投影面转换成平面形状获得的全景图像相关，所述全景图像使得包括从所述观察点观看的给定关注方向的所述虚拟球上的单位区域被转换到比其它单位区域更宽的区域，

其中，所述投影面包含将所述关注方向中的位置链接到与所述关注方向相反的方向中的位置的主干线，并且与围绕所述观察点的旋转角度的单位量相对应的所述全景图像内的所述主干线的部分的长度在最靠近所述关注方向的位置处最大。