CN110291564A - 图像生成设备和图像生成方法 - Google Patents

Abstract

相对于包括要显示的对象24的空间，设置参考视点28a‑28e，并将从每个参考视点观看的空间的图像创建为参考图像。同时，当确定来自虚拟相机30的显示图像的每个像素值时，选择参考图像，其中由感兴趣的像素表示的对象24上的点26被表示为图像，并且使用基于例如参考视点28a、28b与虚拟相机30的位置关系等的规则组合所述像素的值。

Description

图像生成设备和图像生成方法

技术领域

本发明涉及生成与视点相对应的显示图像的图像生成设备和图像生成方法。

背景技术

可以从任何视点观看主题空间的图像显示系统是常见的。例如，已经开发了一种系统，其中在头戴式显示器上显示全景图像，并且系统以这样的方式布置：当穿戴头戴式显示器的用户转动他/她的头部时，与视线的方向相对应地显示全景图像。通过利用头戴式显示器，提高了图像中的浸入感，并且可以提高诸如游戏之类的应用的操作的简易性。还开发了步行系统，其中穿戴头戴式显示器的用户可以通过物理移动围绕显示为图像的空间的内部虚拟地走动。

发明内容

[技术问题]

取决于显示设备的类型，在用于适应任何视点的图像显示技术中，需要对由于视点的移动而导致的显示变化的高响应性。另一方面，为了提高图像世界中的存在感，必须提高分辨率，并且必须执行复杂的计算：这些增加了图像处理负荷。这意味着图像不能跟上视点的移动，因此可能损害存在感。

鉴于这些问题做出了本发明，本发明的目的是提供能够实现图像显示相对于视点的响应性和图像质量之间的平衡的技术。

[问题的解决方案]

为了解决上述问题，本发明的方面涉及图像生成设备。该图像生成设备包括：参考图像数据存储部分，当从规定的参考视点观看包括要显示的对象的空间时，其存储表示图像的参考图像的数据；视点信息获取部分，其获取与视点有关的信息；投影部分，当从视点观看空间时，其在显示图像的平面上表示对象的图像的位置和形状；像素值确定部分，其使用表示参考图像中的相同图像的像素的值，确定构成显示图像中的对象的图像的像素的值；以及输出部分，其输出显示图像的数据。

这里，“规定的参考视点”是在上述空间中由规定的位置坐标或规定的分配规则设定的一个或多个视点的规定数量，并且其数量和/或位置可以是固定的或可以根据例如在空间中发生的变化随时间改变。

本发明的不同方面涉及生成图像的方法。该生成图像的方法生成表示包括要显示的对象的空间的显示图像，并且包括获取与视点有关的信息的步骤，当从前述视点观看空间时，在显示图像的平面上表示对象的图像的位置和形状的步骤。从存储器中读取所讨论的参考图像的数据的步骤，该存储器存储当从规定的参考视点观看空间时表示图像的参考图像的数据，并使用表示参考图像中的相同图像的像素的值，确定构成显示图像中的对象的图像的像素的值，以及输出显示图像的数据的步骤。

应当注意，在例如方法、设备、系统、计算机程序、数据结构或记录介质中，前述组成元件的任何组合或本发明的表达的变化也是本发明的有效方面。

[发明的有益效果]

根据本发明，可以实现图像显示相对于视点的响应性和图像质量之间的平衡。

附图说明

图1是描绘根据本实施例的头戴式显示器的外部视图的示例的视图。

图2是根据本实施例的信息处理系统的布局图。

图3是说明在头戴式显示器上由根据本实施例的图像生成设备显示的图像世界的示例的视图。

图4是描述根据本实施例的信息处理设备的内部电路布局的视图。

图5是描绘根据本实施例的图像生成设备的功能块的视图。

图6是描绘根据本实施例的用于生成参考图像数据的设备的功能块的视图。

图7是描绘根据本实施例的设置参考视点的示例的视图。

图8是说明用于选择用于通过根据本实施例的像素值确定部分确定显示图像的像素值的参考图像的技术的视图。

图9是说明通过根据本实施例的像素值确定部分确定显示图像的像素值的技术的视图。

图10是描绘由根据本实施例的图像生成设备生成与视点相对应的显示图像的处理序列的流程图。

具体实施方式

本实施例基本上在与用户的视点相对应的视野中显示图像。因此，对用于显示图像的设备的类型没有特别限制，并且可以采用任何可穿戴显示器、平板显示器或投影仪等；然而，在本实施例中，头戴式显示器被描述为可穿戴显示器的示例。

在可穿戴显示器的情况下，用户的视线可以通过结合的运动传感器粗略地推断。在其他显示设备的情况下，视线可以由在头部穿戴运动传感器的用户检测，或者由使用注视点检测设备检测红外线的反射来检测。可替代地，标记可以安装在用户的头部上，并且可以通过分析拾取该标记的姿态的图像或通过这种技术的任何组合来推断视线。

图1描绘了头戴式显示器100的外部视图的示例。头戴式显示器100包括主单元110、正面头部接触部分120和侧面头部接触部分130。头戴式显示器100是穿戴在用户头部上的显示设备，以提供在显示器上显示的静态图像或视频等的欣赏，并且能够收听从耳机输出的语音或音乐等。借助于结合在头戴式显示器100中或外部附接到头戴式显示器100上的运动传感器，可以测量关于穿戴头戴式显示器100的用户头部的旋转角度或倾斜度的姿态信息。

头戴式显示器100是“可穿戴显示设备”的示例。可穿戴显示设备不限于狭义上的头戴式显示器100，还包括能够以任何方式穿戴的显示设备，诸如眼镜、眼镜式显示器、眼镜式相机、头带耳机、听筒(配有麦克风的头带耳机)、耳机、耳环、耳挂式相机、帽子、配有相机的帽子或发带之类。

图2是根据本实施例的信息处理系统的布局图。头戴式显示器100通过用于连接诸如无线通信或通用串行总线(USB)之类的外围设备的接口205与图像生成设备200连接。图像生成设备200可以额外地通过网络与服务器连接。在这种情况下，服务器可以向图像生成设备200提供诸如其中多个用户可以通过网络参与的游戏之类的在线应用。

图像生成设备200根据穿戴头戴式显示器100的用户头部的位置和姿势来指定视点的位置和/或视线的方向，并生成显示图像以呈现相对应的视野，并将其输出到头戴式显示器100。在这方面，图像显示可以具有各种目的。例如，图像显示设备200可以在电子游戏进行的同时生成构成游戏阶段的虚拟世界作为显示图像，或者可以显示静态图像或视频图像，由此可以独立于现实世界欣赏虚拟世界。如果显示设备是头戴式显示器，则可以通过确保可以以视点为中心的宽角度范围显示全景图像来产生所显示的世界中的沉浸状态。

图3是说明由根据本实施例的图像生成设备200在头戴式显示器100上显示的图像世界的示例的视图。在该示例中，创建用户12处于构成虚拟空间的房间中的状态。诸如墙壁、地板、窗户、桌子和桌子上的物品之类的对象如图所示在限定虚拟空间的世界坐标系中排列。图像生成设备200根据用户12的视点的位置和该世界坐标系中的用户视线的方向来限定视图屏幕14，并通过投影其上的对象的图像来绘制显示图像。

如果以规定的速率获取用户12的视点位置和用户的视线方向(下文中这些可能有时被包括性地称为“视点”)，并且视图屏幕14的位置和方向根据其改变，则可以根据与用户的视点相对应的视野来显示图像。如果生成具有视差的立体图像，并且在头戴式显示器100中显示在左眼和右眼的前面，则还可以三维地观看虚拟空间。以这种方式，用户12可以体验虚拟现实，就像用户沉浸在显示世界的房间中一样。应当注意，尽管在所示示例中，显示图像表示基于计算机图形的虚拟世界，但是显示图像可以是通过全景摄影等拾取的现实世界的图像，或者虚拟世界可以与通过全景摄影等拾取的现实世界的图像组合。

为了在该显示中赋予存在感，优先使在显示空间中生成的物理图像尽可能准确地反映显示主题。例如，通过准确计算到达眼睛的各种光的传播，诸如在对象表面的漫射/反射或镜面反射、或者环境光之类的，可以更真实地表示由视点的移动引起的对象表面的色调或亮度的变化。实现此目的的一种典型技术是射线追踪。然而，在显示之前进行这种高精度的物理计算可能涉及不可忽略的等待时间，特别是在允许用户自由选择视点的环境中。

因此，在该实施例中，预先获取从指定视点看到的图像，并将其用于确定任何视点的显示图像的像素值。具体地，通过从预先获取的图像中的对应位置提取对象的颜色来确定在显示图像中显示为图像的对象的颜色。在下文中，在先前图像获取中设置的视点将被称为“参考视点”，并且从参考视点看，预先获取的图像将被称为“参考图像”。通过预先获取用于绘制显示图像作为参考图像的一些数据，可以减少从视点移动到显示的延迟。而且，由于基本上没有关于参考图像的获取的时间限制，所以可以随着时间的推移以高精度执行诸如光线跟踪的物理计算。

通过设置在假设在显示期间可用于视点移动的范围内分布的多个参考视点，并为此准备相应的参考图像，可以考虑将从多个视点看到的相同对象的着色，使其可以根据显示期间的视点以甚至更高的准确度表示对象。更具体地，如果显示期间的视点与参考视点中的一个一致，则可以直接采用与该参考视点对应的参考图像的像素值。如果显示期间的视点在多个参考视点中，则通过组合与所讨论的多个参考视点对应的参考图像的像素值来确定显示图像的像素值。

图4描绘了图像生成设备200的内部电路布局。图像生成设备200包括中央处理单元(CPU)222、图形处理单元(GPU)224和主存储器226。这些各个部分通过总线230相互连接。此外，输入/输出接口228与总线230连接。

利用输入/输出接口228，连接有通信部分232(其包括诸如USB或电气和电子工程师协会(IEEE)1394的外围接口、或有线或无线局域网(LAN)网络接口)、存储部分234(诸如硬盘驱动器或非易失性存储器)、将数据输出到诸如头戴式显示器100的显示设备的输出部分236、从头戴式显示器100输入数据的输入部分238、以及记录介质驱动部分240(其驱动可移动记录介质，诸如磁盘、光盘或半导体存储器)。

CPU 222通过运行存储在存储部分234中的操作系统来控制整个图像生成设备200。CPU 222还执行从可移动记录介质读取并加载到主存储器226中或通过通信部分232下载的各种程序。GPU 224具有几何引擎的功能和渲染处理器的功能；它根据来自CPU 222的绘图命令执行绘图处理，并将显示图像存储在未示出的帧缓冲器中，未示出。然后，存储在帧缓冲器中的显示图像被转换为视频信号并输出到输出部分236。主存储器226包括随机存取存储器(RAM)并存储处理所需的程序和数据。

图5描绘了本实施例中的图像生成设备200的功能块。如上所述，图像生成设备200应该执行诸如推进电子游戏的进程或与服务器通信的通用信息处理，但是图5特别关注于生成与视点相对应的显示图像的数据的功能。应当注意，可以在头戴式显示器100中安装图5中描绘的图像生成设备200的至少一些功能。可替代地，可以在通过网络与图像生成设备200连接的服务器上安装图像生成设备200的至少一些功能。

另外，关于图5和图6中描绘的功能块，稍后将描述，在硬件方面，这些可以通过诸如CPU、GPU和图4中描绘的各种存储器之类的组成元件来实现，以及在软件方面，可以执行从例如记录介质加载到存储器中的程序，并演示诸如数据输入功能、数据保持功能、图像处理功能或通信功能的各种功能。如本领域技术人员所理解的，这些功能块可以仅通过硬件、仅通过软件或其组合以各种形式实现，因此对这些形式中的任何形式都没有限制。

图像生成设备200包括：视点信息获取部分260，其获取与用户的视点有关的信息；空间构成部分262，其构成包括要显示的对象的空间；投影部分264，其将对象投影到视图屏幕上；像素值确定部分266，其确定构成对象的图像的像素的值，从而完成显示图像；以及输出部分268，其将显示图像的数据输出到头戴式显示器100。图像生成设备200还包括：对象模型存储部分254，其存储与构成空间所需的对象模型有关的数据；以及参考图像数据存储部分256，其存储参考图像的数据。

视点信息获取部分260包括图4的输入部分238、CPU 222等，并以规定的速率获取用户的视点的位置和/或用户的视线的方向。例如，它连续地获取包含在头戴式显示器100中的加速度传感器的输出值，从而获得头部的姿态。另外，通过在头戴式显示器100的外部提供的发光标记(未示出)，并从图像拾取设备(未示出)获取其捕获图像，获得头部在真实空间中的位置。

可替代地，可以通过诸如同时定位和映射(SLAM)的技术，通过提供图像拾取设备(未示出)来获取头部的位置和/或姿态，该图像拾取设备拾取对应于头戴式显示器100侧的用户的视场的图像。一旦以这种方式获取了头部的位置和/或姿态，就可以近似地指定用户的视点的位置和用户的视线的方向。本领域技术人员将理解，用于获取与用户的视点有关的信息的各种技术是可行的，并且不限于采用头戴式显示器100的情况。

空间构成部分262包括图4的CPU 222、GPU 224、主存储器226等，并构成存在要显示的对象的空间的形状模型。在图3所示的示例中，诸如墙壁、地板、窗户、桌子和桌子上的物品(表示房间的内部)的对象被布置在限定虚拟空间的世界坐标系中。从对象模型存储部分254读取与各个对象的形状有关的信息。由空间构成部分262构成的空间可以是固定的，或者可以根据例如游戏的进程而改变。

这里，空间构成部分262应该确定对象的形状、位置和姿态，并且可以采用基于普通计算机图形中的表面模型的建模技术。投影部分264可以包括图4的GPU 224、主存储器226等，并根据由视点信息获取部分260获取的视点信息设置视图屏幕。具体地，通过根据用户头部的位置和/或用户面部所面对的方向设置屏幕坐标，在具有与用户的位置和/或用户面对的方向相对应的视野的屏幕的平面上绘制显示空间。

另外，投影部分264将由空间构成部分262构成的空间中的对象投影到视图屏幕上。该处理还可以利用普通的计算机图形技术进行例如多边形网格的透视转换。像素值确定部分266包括图4的GPU 224、主存储器226等，并确定构成投影到视图屏幕上的对象的图像的像素的值。如上所述，此时，从参考图像数据存储部分256读取参考图像的数据，并且提取并采用表示同一对象上的点的像素的值。

例如，从关于实际视点周围的参考视点生成的参考图像指定相应的像素，并且通过基于参考视点和实际视点的距离和/或角度的加权平均，将其用作显示图像的像素值。借助于诸如光线跟踪之类的方法预先随时间生成准确的参考图像，可以在操作期间以接近于采用光线跟踪时的高精度实现图像表示，但具有几乎不增加负载(即读取相应的像素值和执行加权平均)的计算。

优选地，分布参考视点以便覆盖用户视点的可能移动范围。应当注意，参考图像不限于通过光线追踪绘制的图形图像，而是可以是例如通过预先从参考视点拍摄真实空间而获得的图像。在这种情况下，空间构成部分262构成所拍摄的真实空间的形状模型，并且投影部分264根据显示期间的视点将该形状模型投影到视图屏幕上。可替代地，如果可以在显示期间对应于视点的视野中确定正被拍摄的对象的图像的位置，则可以省去空间构成部分262和投影部分264的处理。

应当注意，在立体地观看显示图像的情况下，投影部分264和像素值确定部分266可以执行关于左眼和右眼的视点的相应处理。输出部分268包括图4的CPU 222、主存储器226、输出部分236等，并且以规定的速率递送由于像素值确定部分266向头戴式显示器100确定像素值而已完成的显示图像的数据。如果生成用于立体观看的立体图像，则输出部分268生成左右相关联的图像，并将这些图像输出为显示图像。在头戴式显示器100被构成用于通过镜头欣赏显示图像的情况下，输出部分268可以通过考虑来自该镜头的失真来校正显示图像。

图6描绘了在通过绘制处理生成参考图像数据的情况下用于生成参考图像数据的设备的功能块。参考图像生成设备300可以被提供作为图5的图像生成设备200的一部分，或者可以被独立地提供为生成存储在图5的参考图像数据存储部分256中的数据的设备。并且，包括由此生成的参考图像的数据的电子内容和用于这种生成的对象模型可以预先存储在例如记录介质上，并且可以被布置为能够在操作期间被加载到图像生成设备200中的主存储器中。参考图像生成设备300的内部电路布局可以与图4中描绘的图像生成设备200的内部电路布局相同。

参考图像生成设备300包括设置参考视点的参考视点设置部分310、构成包括用于显示的对象的空间的空间构成部分316、基于已经这样构成的空间针对每个参考视点生成参考图像的数据的参考图像数据生成部分318、存储与构成空间所需的对象模型有关的数据的对象模型存储部分314，以及存储已经这样生成的参考图像数据的参考图像数据存储部分320。

参考视点设置部分310包括输入部分238、CPU 222、主存储器226等，并设置参考视点在显示空间中的位置坐标。适当地，分布多个参考视点以便覆盖用户可以采用的视点范围，如上所述。这些参考视点的范围或数量的适当值将取决于显示空间的配置、显示的目的、显示所需的准确度、图像生成设备200的处理性能等。因此，参考视点设置部分310可以被布置为接受与参考视点的位置坐标有关的用户输入。

空间构成部分316包括CPU 222、GPU 224、主存储器226等，并且用于构成其中存在要显示的对象的空间的形状模型。该功能对应于图5中所描绘的空间构成部分262的功能。同时，图6的参考图像生成设备300采用基于实体模型的建模技术，该实体模型考虑了对象的颜色和材料，以便通过光线追踪等准确地绘制对象的图像。为此目的，对象的模型数据，包括诸如颜色和材料的信息，存储在对象模型存储部分314中。

参考图像数据生成部分318包括CPU 222、GPU 224、主存储器226等，并且包括参考图像生成部分322和深度图像生成部分324。对于由参考视点设置部分310设置的每个参考视点，参考图像生成部分322绘制从所讨论的参考视点观看的要显示的对象。适当地，通过将参考图像准备为通过例如等距圆柱投影获得的360°全景图像，可以在所有方向上自由地改变显示期间的视点。而且，优选地，通过计算光线随时间的传播，在参考图像上准确地指示相应参考点处的观看方向。

深度图像生成部分324生成与由参考图像生成部分322生成的参考图像相对应的深度图像。具体地，找到距参考图像的像素所表示的对象的视图屏幕的距离(深度值)，并且通过将这些作为像素值提供来生成深度图像。应当注意，如果参考图像被视为360°全景图像，则视图屏幕是球面，那么深度值是距离物体在该球面垂直方向上的距离值。生成的深度图像用于在确定显示图像的像素值时选择要采用的参考图像。参考图像数据生成部分318将已经这样生成的参考图像和深度图像的数据与参考视点的位置坐标相关联地存储在参考图像数据存储部分320中。

图7描绘了设置参考视点的示例。在该示例中，在用户12站立时在用户眼睛的高度处的水平面20a上以及在用户坐下时在用户的眼睛的高度处的水平面20b上分别设置多个参考视点，如用黑色圆圈所示。作为示例，水平面20a可以距离地面1.4m，并且水平面20b可以距离地面1.0m。此外，可以以用户的参考位置(家的位置)为中心，在左/右方向(图中的X轴方向)和前/后方向(图中的Y轴方向)上假设与显示内容相对应的移动范围，并且可以在水平面20a和20b上的相应矩形区域中分布参考视点。

在该示例中，参考视点交替地布置在通过分别在X轴方向和Y轴方向上将矩形区域划分为四个相等部分而获得的格子的交叉点处。而且，它们以偏移方式布置，使得上水平平面20a和下水平平面20b中的参考视点不重叠。结果，在图7所描绘的示例中，在上水平面20a中设置13个点，并且在下水平面20b中设置12个点，使得总共25个参考视点。

然而，这并不意味着参考视点的分布局限于这些，并且参考点可以分布在包括例如垂直平面的多个平面上，或者可以分布在诸如球面的弯曲平面上。而且，分布可能是不均匀的，其中参考视点在用户所处的概率高于其他范围的范围内以更高的密度分布。而且，在发生移动使得正在显示的对象移位或变形的情况下，也可以使参考视点相应地移动。在这种情况下，相应参考视点的参考图像构成反映所讨论的移动的视频图像的数据。

而且，可以布置为通过设置多个参考视点以围绕指定对象来准备专用参考图像，并且在生成包括所讨论的对象的整个空间的显示图像时将它们组合。在这种情况下，图像生成设备200采用专用于所讨论的对象的参考图像，在以与其他图像的情况相同的方式将所讨论的对象的网格投影到视图屏幕上之后、在确定像素值时单独准备这些参考图像。通过以这种方式进行，例如，在重要对象或具有高概率被接近和观察的对象的情况下，可以实现更详细的表示，并且仅移动或变形该指定对象，而无需增加参考图像数据的量。

图8是说明图像生成设备200的像素值确定部分266选择用于确定显示图像的像素值的参考图像的技术的视图。该图描绘了包括对象24的显示空间的鸟瞰图。在该空间中，设置了五个参考视点28a至28e，并且生成了相应参考图像的数据。在该图中，以参考视点28a至28e为中心的圆圈图示地指示了为整个天空的全景图像准备的参考图像的屏幕平面。

如果在图像显示期间假设用户视点位于虚拟相机30的位置处，则投影部分264确定视图屏幕以便与该虚拟相机30对应，并在其上投影对象24的模型形状。由此识别显示图像中的像素与对象24的表面上的位置的对应关系。然后，当例如确定表示对象24的表面上的点26的图像的像素的值时，像素值确定部分266首先指定其中显示该点26的参考图像作为图像。

由于已知相应参考视点28a至28e和世界坐标系中的点26的位置坐标，因此可以容易地找到其距离。在该图中，这些距离由连接参考视点28a至28e和点26的线段的长度指示。另外，如果点26被反投影到每个参考视点的视图屏幕上，则还可以指定点26的图像应该出现在每个参考图像中的像素的位置。另一方面，取决于参考视点的位置，由于点26位于对象后面或被前面的对象隐藏，图像有时可能不会出现在参考图像中的该位置处。

此时，像素值确定部分266确认与每个参考图像对应的深度图像。深度图像的像素值指示在对应的参考图像中作为图像出现的对象的屏幕平面的距离。于是，通过将参考视点与点26的距离与深度图像中的点26的图像应该出现的像素的深度值进行比较，确定所讨论的图像是否是点26的图像。

例如，因为在从参考视点28c到点26的视线上，点32在对象24后面，点32的图像实际上表示为点26的图像应该出现在相应的参考图像中的像素。于是，由相应深度图像的像素指示的值是到点32的距离，并且通过转换为通过将参考视点28c作为起点获得的值而获得的距离Dc明显小于从坐标值计算的到点26的距离dc。因此，如果从深度图像获得的距离Dc与从坐标值获得的到点26的距离dc之间的差等于或大于阈值，则所讨论的参考图像被排除在表示点26的像素值的值的计算之外。

同样地，如果从参考视点28d和28e的深度图像到对象而获得的对应像素的距离Dd和De的差等于或大于阈值，则相对于从相应参考视点28d和28e到点26的距离，它们被排除在计算之外。另一方面，可以借助于阈值确定来识别到从参考视点28a和28b的深度图像获得的对应像素的对象的距离Da和Db与从相应的参考视点28a和28b到点26的距离基本相同。像素值确定部分266通过以这种方式使用深度值执行筛选，选择要用于计算显示图像的每个像素的像素值的参考图像。

虽然在图8中以示例的方式描绘了五个参考视点，但实际上，如图7所描绘的，使用用于所有分布的参考视点的深度值来执行比较。以这种方式，可以绘制高精度的显示图像。另一方面，取决于设备的处理性能，参考关于显示图像的所有像素的约25个深度图像和参考图像可以产生不可忽略的负载。因此，在选择要用于确定像素值的参考图像之前，可以通过使用规定的标准来缩小用作选择候选的参考图像的数量，如上所述。例如，可以提取存在于来自虚拟相机30的规定范围内的参考视点，并且可以使用深度值来运行受限于来自这些的参考图像的选择处理。

在该处理中，例如，可以将所提取的参考视点的数量的上限设置为10个参考视点或20个参考视点，并且可以调整参考点的范围，或者可以随机地或根据规定的规则执行可以接受/拒绝选择，以便将所提取的参考视点的数量保持在该上限内。而且，取决于显示图像上的区域，可以改变所提取的参考视点的数量。例如，如果使用头戴式显示器实现虚拟现实，则期望以比周边区域更高的准确度绘制图像，以确保显示图像的中心区域与用户的视线方向一致。

因此，可以选择稍微大量的参考视点(参考图像)作为关于距显示图像的中心在规定范围内的像素的候选，并且可以关于在该范围之外的像素减少选择候选的数量。例如，在中心区域采用约20个参考图像作为选择候选并且在周边区域采用约10个参考图像作为选择候选是可行的。然而，区域的数量不限于两个，并且可以采用三个或更多个区域。而且，区域的限定方式不限于取决于距显示图像的中心的距离，并且根据与感兴趣的对象的图像相关的区域等动态地限定区域也是可行的。以这种方式，考虑到设备的处理性能、显示器所需的准确度、显示器的内容等，通过控制所参考的参考图像的数量，根据除了是否投影对象的图像之外的一些因素，可以在最佳条件下实现显示图像绘制。

图9是说明由像素值确定部分266确定显示图像的像素值的技术的视图。假设已经确定，如图8所示，在参考视点28a和28b的参考图像上表示对象24的点26的图像。基本上，像素值确定部分266通过在这些参考图像中混合点26的图像的像素值来确定与实际视点对应的显示图像中的点26的图像的像素值。

这里，当假设参考视点28a和28b的参考图像中的点26的图像的像素值(颜色值)分别是c1和c2时，则显示图像中的像素值C计算如下。

C＝w1·c1+w2·c2

这里，系数w1和w2是具有关系w1+w2＝1的权重，即它们是表示对参考图像的百分比贡献的权重；这些权重是基于参考视点28a和28b与表示真实视点的虚拟相机30的位置关系确定的。例如，当从虚拟相机30到参考视点的距离较小时，通过将其系数取较大值来增加百分比贡献。

在这种情况下，将虚拟相机30到参考视点28a和28b的距离设为Δa和Δb，如果建立sum＝1/Δa²+1/Δb²，则加权系数可以表示为以下函数。

w₁＝(1/Δa²)/sum

w₂＝(1/Δb²)/sum

如果通过将参考图像的数量用作N、参考视点的标识号为i(1≤i≤N)、从虚拟相机30到第i个参考视点的距离为Δi、相应参考图像中的对应像素值为c_i，并且加权系数为w_i来概括上述表达式，得到以下表达式。但是，应该注意，这并不意味着对该计算表达式的限制。

[数学式1]

如果在上面的表达式中，Δi为零，即，如果虚拟相机30与任何参考视点一致，则关于相应参考图像的像素值的加权系数取1并且关于其他参考图像的像素值的加权系数取零。以这种方式，相对于所讨论的视点以高精度创建的参考图像可以直接反映在显示图像中。

而且，用于计算加权系数的参数不限于从虚拟相机到参考视点的距离。例如，它可以基于由参考视点到点26的视线矢量Va和Vb形成的角度θa和θb(0≤θa，θb≤90°)，其中视线矢量Vr是从虚拟相机30到点26。例如，如下使用矢量Va与Vb和矢量Vr的内积(Va·Vr)和(Vb·Vr)计算加权系数。

w1＝(Va·Vr)/((Va·Vr)+(Vb·Vr))

w2＝(Vb·Vr)/((Va·Vr)+(Vb·Vr))

如果以与上述相同的方式，通过将参考图像的数量用作N、从参考视点i到点26的视线矢量为Vi、并且加权系数为wi来概括上述表达式，可以得到以下表达式。

[数学式2]

无论哪种情况，对具体计算表达式没有特别限制，只要引入计算规则使得加权系数随着相对于点26的虚拟相机30的状态变得更接近参考视点而变大。还可以通过从距离和角度多边地评估“状态的接近度”来确定加权系数。另外，可以在点26处考虑对象24的表面形状。通常，来自对象的反射光的亮度具有基于表面倾斜度(即，表面的法线)的角度依赖性。因此，可以比较由点26处的法线矢量和来自虚拟相机30的视线矢量Vr形成的角度，以及由来自相应参考视点的视线矢量Va和Vb与所讨论的法线矢量形成的角度，并且随着该差变小，加权系数变大。

此外，用于计算加权系数的实际函数可以取决于诸如对象24的材料或颜色的属性而改变。例如，在镜面反射分量占优势的材料的情况下，观察到的颜色的方向性很强，并且取决于视线矢量的角度而变化很大。另一方面，在漫反射分量占优势的材料的情况下，颜色相对于视线矢量的角度不会在很大程度上变化。因此，在前一种情况下，可以采用功能使得加权系数增加(越大)，参考视点的视线矢量越接近从虚拟相机30到点26的视线矢量Vr，并且在后一种情况下，可以使加权系数对于所有参考视点都相同，或者可以采用功能使得角度依赖性小于镜面反射分量占优势的情况。

而且，出于同样的原因，在漫反射分量占优势的材料的情况下，可以通过减少用于确定显示图像的像素值C的参考图像的实际数量、通过抽取、或者仅采用参考图像(其具有与实际视线矢量Vr距离至少规定值的角度的视线矢量)来限制计算负荷。如果用于确定像素值C的规则以这种方式根据对象属性而变化，则对于每个参考图像，可以在参考图像数据存储部分256与其相关联地存储指示所讨论的属性的数据，诸如其表示的对象的材料。

利用上述模式，通过考虑对象的表面形状和/或材料，可以使由镜面反射产生的光的方向性等更准确地反射显示图像。加权系数的确定可以依赖于基于对象的形状的计算、基于其属性的计算、基于从虚拟相机到参考视点的距离的计算，以及基于在由相应的视线矢量形成的角度的计算中的任何两个或更多个的组合。

接下来，将描述能够通过上述结构实现的图像生成设备的操作。图10是描绘图像生成设备200生成与视点相对应的显示图像的处理过程的流程图。当由用户操作启动应用等时启动该流程图，并且显示初始图像，并且产生接受视点移动的状态。如上所述，可以与所描绘的显示处理并行地执行各种类型的信息处理，诸如电子游戏。首先，空间构成部分262在世界坐标系中构成(S10)存在要显示的对象的三维空间。

同时，视点信息获取部分260基于用户头部的位置和/或姿态指定(S12)在该时间点的视点位置和/或视线方向。接下来，投影部分264相对于视点设置视图屏幕，并在其上投影(S14)存在于显示空间中的对象。如上所述，在该处理中，可以通过例如形成三维模型的多边形网格的顶点的透视变换来仅考虑表面形状。接下来，像素值确定部分266在已经如此投影的网格内部的像素中设置(S16)一个感兴趣的像素，并选择(S18)用于确定其像素值的参考图像。

具体地，如上所述，基于相应参考图像的深度图像，确定其中由所讨论的像素表示的对象上的点被显示为图像的参考图像。然后，像素值确定部分266基于这些参考图像的参考视点与对应于实际视点的虚拟相机的位置关系，和/或对象的形状和材料等确定加权系数。然后，通过例如相应参考图像的对应像素值的加权平均来确定(S20)关感兴趣的像素的值。本领域技术人员将理解，对于用于从参考图像的像素值导出感兴趣像素的像素值的计算，除了加权平均之外的各种类型的统计处理和/或插值处理是可行的。

对视图屏幕上的所有像素重复S18和S20的处理(S22中的N和S16)。一旦确定了所有像素的像素值(S22中的Y)，输出部分268将所讨论的数据输出(S24)到头戴式显示器100作为显示图像数据。应当注意，如果生成左眼和右眼显示图像，则对这些各个图像执行S16至S22的处理，并以合适的方式输出。如果不需要终止显示，则在获取下面的视点信息之后重复用于生成显示图像的处理和其输出的处理(S26中的N，以及S12到S24)。如果需要终止显示处理，则终止所有处理(S26中的Y)。

应当注意，虽然在图10的示例中，使用关于所有像素的参考图像来确定像素值，但是像素值可以根据显示图像和/或视点的位置上的区域随绘图技术改变。例如，可以专门针对由于视点的移动而不需要改变光或色调的对象的图像来执行传统的纹理映射。而且，在一些情况下，诸如高方向性的反射光，可能无法完全表示仅在局部视点从周围参考图像处观察到的状态。基本上，可以通过增加参考视点的数量来提高绘制的准确度，但是仅当视点落在所讨论的范围内时，通过使用光线跟踪切换到绘图，可以减少准备用作参考图像的数据量。

利用如上所述的本实施例，在用于从任何视点显示图像的技术中，关于预设的参考视点预先准备图像数据。因此，当绘制显示图像时，通过从预先准备的参考图像获取表示相同对象的像素的值来确定显示图像的像素值。为了计算像素值，基于实际视点和参考视点和/或对象属性的位置关系引入规则。可以在与对应于视点的显示器不同的定时随时间生成参考图像，因此可以准备高质量的参考图像。在显示期间，通过从这些高质量图像中提取值，可以提供高质量图像而无需花费时间。

此外，通过经由在假设的实际视点的移动范围内设置多个参考视点来准备参考图像，并根据视点和/或对象属性的位置关系组合其像素值，可以关于任何视点以稳定的准确度度绘制显示图像。例如，当从给定参考视点的位置到另一参考视点的位置进行视点移位时，色调可以无缝方式从对应于前者的参考图像改变为对应于后者的参考图像。而且，通过将参考图像布置为以相应参考视点为中心的全天空全景图像，可以赋予关于视点的位置和/或方向的高度自由度。结果，可以显示高质量的图像，对任何视点具有良好的响应性，使得可以实现提供更强的存在感的图像显示。

上面已经描述了本发明的实施例。本领域技术人员将理解，实施例仅仅是示例，并且可以通过组合构成元件及其处理过程来实现各种修改示例，并且这些修改示例在本发明的范围内。

[参考符号列表]

100头戴式显示器、200图像生成设备、222CPU、224GPU、226主存储器、236输出部分、238输入部分、254对象模型存储部分、256参考图像数据存储部分、260视点信息获取部分、262空间构成部分、264投影部分、266像素值确定部分、268输出部分、300参考图像生成设备、310参考视点设置部分、314对象模型存储部分、316空间构成部分、318参考图像数据生成部分、320参考图像数据存储部分、322参考图像生成部分、324深度图像生成部分。

[工业适用性]

如上所述，本发明可应用于图像生成设备、显示设备、图像再现设备、游戏设备、诸如个人计算机的各种信息处理设备、包括这些设备的信息处理系统等。

Claims (15)

1.一种图像生成设备，包括：

参考图像数据存储部分，当从规定的参考视点观看包括要显示的对象的空间时，其存储表示图像的参考图像的数据；

视点信息获取部分，其获取与视点有关的信息；

投影部分，当从所述视点观看所述空间时，其在显示图像的平面上表示所述对象的图像的位置和形状；

像素值确定部分，其使用表示所述参考图像中的相同图像的像素的值，确定构成所述显示图像中的所述对象的图像的像素的值；以及

输出部分，其输出所述显示图像的数据。

2.根据权利要求1所述的图像生成设备，其中，所述参考图像数据存储部分存储关于多个参考视点的多个参考图像的数据；以及

所述像素值确定部分使用所述多个参考图像中的像素的值，确定构成所述对象的图像的像素的值。

3.根据权利要求1或2所述的图像生成设备，其中，所述像素值确定部分使用基于由所述视点信息获取部分获取的视点与所述参考视点的位置关系的规则，确定构成所述对象的图像的像素的值。

4.根据权利要求3所述的图像生成设备，其中，所述像素值确定部分还使用基于由所述像素表示的对象表面的法向量的规则获得主题像素的值，所述主题像素的值用于确定在所述显示图像中并构成所述对象的图像的值。

5.根据权利要求2所述的图像生成设备，其中，所述像素值确定部分使用基于由所述像素表示的对象的材料的规则获得主题像素的值，所述主题像素的值用于确定在所述显示图像中并构成所述对象的图像的值。

6.根据权利要求1-5的任一项所述的图像生成设备，其中，所述参考图像数据存储部分还存储与所述参考图像对应的深度图像的数据，以及

所述像素值确定部分通过将从所述参考视点到由所述像素表示的对象上的位置的距离与由所述深度图像中的对应像素指示的深度值进行比较，选择用于确定主题像素的值的所述参考图像，所述主题像素的值用于确定所述显示图像中的值。

7.根据权利要求6所述的图像生成设备，其中，所述像素值确定部分根据所讨论的所述像素所属的所述显示图像上的区域，改变用作确定像素值的候选的参考图像的数量。

8.根据权利要求1-7任一项所述的图像生成设备，其中，所述参考图像数据存储部分对于通过关于具有不同高度的多个水平面的规定规则分布的多个参考视点，存储参考图像的数据。

9.根据权利要求1-8的任一项所述的图像生成设备，其中，所述像素值确定部分根据通过所述视点信息获取部分所获取的视点的范围，改变在确定所述显示图像的像素的值时是否采用所述参考图像。

10.根据权利要求1-9的任一项所述的图像生成设备，其中，所述像素值确定部分根据所述对象，改变在确定构成所述对象的图像的像素的值时是否采用所述参考图像。

11.根据权利要求1-10任一项所述的图像生成设备，其中，所述参考图像数据存储部分还存储当从规定参考点看到指定对象时表示图像的专用参考图像的数据，以及

所述像素值确定部分使用所述专用参考图像中的像素的值，确定构成所述显示图像中的所述指定对象的图像的像素的值。

12.根据权利要求1至11中任一项所述的图像生成设备，还包括：

参考图像生成设备，其接收参考视点的设置，当从所讨论的所述参考视点看时，生成表示空间中的所述图像的参考图像的数据，并将所生成的数据存储在所述参考图像数据存储部分中。

13.一种生成图像以生成表示包括要被显示的对象的空间的显示图像的方法，所述方法包括：

获取与视点有关的信息的步骤；

当从所述视点观看所述空间时，在显示图像的平面上表示所述对象的图像的位置和形状的步骤；

从存储器中读取所讨论的参考图像的数据的步骤，所述存储器存储当从规定的参考视点观看所述空间时表示图像的参考图像的数据，并使用表示参考图像中的相同图像的像素的值，确定构成所述显示图像中的所述对象的图像的像素的值；以及

输出所述显示图像的数据的步骤。

14.一种计算机程序，用于使生成表示包括要被显示的对象的空间的显示图像的计算机运行：

获取与视点有关的信息的功能；

当从所述视点观看所述空间时，在显示图像的平面上表示所述对象的图像的位置和形状的功能；

从存储器中读取所讨论的参考图像的数据的功能，所述存储器存储当从规定的参考视点观看所述空间时表示图像的参考图像的数据，并使用表示参考图像中的相同图像的像素的值，确定构成所述显示图像中的对象的图像的像素的值；以及

输出所述显示图像的数据的功能。

15.一种用于记录显示图像数据的记录介质，其与以下相关联：

对象的形状模型的数据；

当从规定的参考视点观察所述对象时表示图像的参考图像的数据，所述数据被参考以便从表示相同图像的像素的值确定构成所述对象的图像的像素的值，作为图像生成设备将所述形状模型投影到与视点相对应的显示图像平面上的结果获得对象的图像；以及

关于所述参考视点的信息。