CN101311893B

CN101311893B - 混合真实呈现设备及其控制方法

Info

Publication number: CN101311893B
Application number: CN2008100983159A
Authority: CN
Inventors: 守田宪司; 下山朋彦
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-05-23
Filing date: 2008-05-23
Publication date: 2011-08-31
Anticipated expiration: 2028-05-23
Also published as: EP1995694A2; JP2008293209A; CN101311893A; EP1995694A3; KR20080103469A; US20080291219A1; KR100958511B1; JP4909176B2

Abstract

本发明提供一种混合真实呈现设备及其控制方法。获取表示观察者的视点与现实空间中的现实空间物体之间的相对位置和方位关系的位置和方位信息。基于所获取的位置和方位信息生成虚拟空间图像，并绘制在存储器上。获取现实空间物体的现实空间图像。通过在已绘制了虚拟空间图像的存储器上绘制所获取的现实空间图像，来对现实空间图像和虚拟空间图像进行合成。输出所获得的合成图像。

Description

混合真实呈现设备及其控制方法

技术领域

本发明涉及一种用于将现实空间图像和虚拟空间图像合成在一起并呈现的混合真实呈现设备及其控制方法。

背景技术

在混合真实系统中，需要测量操作者的视点和视线方向，以及物体在空间中的位置。

作为位置和方位测量系统，一般的方法是使用例如已知的美国Polhemus公司出产的FASTRAK(商标名)位置和方位测量设备。另外，已知通过陀螺仪等的测量装置来仅测量方位、并从图像来测量位置信息和方位的漂移误差的方法。

下面将参考图1和2说明(例如，在日本特开2005-107968号公报中公开的)一般的混合真实呈现设备的硬件结构和处理序列。

在这个例子中，通过将虚拟空间图像110(虚拟物体的图像)叠加在现实空间物体111的现实空间图像上，可以将虚拟空间图像110表示的虚拟物体就像其存在于现实空间中那样显示在现实空间物体111上。可以将这种功能应用于例如设计的验证和娱乐。

在步骤S201中，PC(个人计算机)103从HMD(头部佩戴的显示器1101中包括的摄像单元102获取现实空间图像。

在步骤S202中，获取固定在HMD 101上的HMD测量传感器105的位置和方位测量值、以及固定在现实空间物体111上的现实空间物体测量传感器106的位置和方位测量值。由位置和方位测量单元104收集这些测量值，并由PC 103经过串行通信等通信单元作为位置和方位信息而取入。

在步骤S203中，PC 103在其存储器中绘制现实空间物体111的现实空间图像。

在步骤S204中，根据在步骤S202中获取的摄像单元102的位置和方位的测量值以及现实空间物体111的位置和方位的测量值，在PC 103的存储器中绘制虚拟空间图像，以将该虚拟空间图像叠加在现实空间图像上。以这种方式，在存储器中生成作为现实空间图像和虚拟空间图像的合成图像的混和真实图像。

在步骤S205中，PC 103将在PC 103的存储器上绘制的合成图像(混和真实图像)发送至HMD 101，从而在HMD 101上显示该合成图像(混和真实图像)。

上述步骤S201～S205是对于1帧的处理。在步骤S206中，PC 103检查是否输入了基于操作者的操作的结束通知。如果未输入结束通知(在步骤S206中，“否”)则处理返回步骤S201。另一方面，如果输入了结束通知(在步骤S206中，“是”)则处理结束。

下面将参考图3说明通过前述处理获得的合成图像的例子。

参考图3，通过将从摄像单元102获取的现实空间图像按照时间顺续排列来获得图像501～505。图像511～图像514按照时间顺续地表示现实空间图像和虚拟空间图像之间的合成处理的进度。

在这个例子中，假设在步骤S201中获取的现实空间图像是图像501。此后，经过了步骤S202和S203的处理期间这段时间，现实空间图像从图像501变成图像502。

通过在步骤S204中将两个虚拟空间图像依次叠加并绘制在现实空间图像上所获得的例子是图像513和514。

在步骤S205中输出最终获得的图像(合成图像)514。此时，现实空间图像已变成图像504或505了。

在前述一般的混合真实呈现设备的结构中，直到在HMD101上显示在步骤S201中获取的现实空间图像为止，有许多步骤需要执行。特别地，由于由高画质的CG图像来实施虚拟空间图像的绘制，因此，用于在步骤S204中叠加并绘制虚拟空间图像的处理需要很多时间。

由于这个原因，当在HMD 101上显示合成图像时，如图3所示，要实际地呈现给观察者的合成图像中的现实空间图像从此时的现实空间图像在时间上延迟，因而使得观察者感觉不自然。

发明内容

为了解决上述问题做出了本发明。

根据本发明的第一方面，一种混合真实呈现设备，用于对合成现实空间图像和虚拟空间图像进行合成，并呈现合成图像，所述混合真实呈现设备包括：位置和方位信息获取单元，用于获取表示观察者的视点与现实空间中的现实空间物体之间的相对的位置和方位关系的位置和方位信息；绘制单元，用于基于由所述位置和方位信息获取单元所获取的所述位置和方位信息生成虚拟空间图像，并在存储器上绘制所生成的所述虚拟空间图像；获取单元，用于获取所述现实空间物体的现实空间图像；合成单元，用于通过在已绘制了所述虚拟空间图像的存储器中，绘制由所述获取单元获取的所述现实空间图像，来对所述现实空间图像和所生成的所述虚拟空间图像进行合成；以及输出单元，用于输出由所述合成单元获得的合成图像。

在优选实施例中，所述混合真实呈现设备还包括用于存储所述虚拟空间图像的深度信息的深度缓冲器，其中，所述合成单元通过使用存储在所述深度缓冲器中的所述深度信息，在所述存储器的未绘制所述虚拟空间图像的部分绘制所述现实空间图像，从而对所述现实空间图像和所述虚拟空间图像进行合成。

在优选实施例中，所述混合真实呈现设备还包括模板缓冲器，其用于存储用于对许可还是禁止对所述虚拟空间图像覆盖图像进行控制的控制信息，其中，所述合成单元使用存储在所述模板缓冲器中的所述控制信息、通过绘制所述现实空间图像对所述现实空间图像和所述虚拟空间图像进行合成，以防止所述存储器上的所述虚拟空间图像被所述现实空间图像覆盖。

在优选实施例中，所述合成单元通过α混和对所述现实空间图像和所述虚拟空间图像进行合成。

在优选实施例中，所述混合真实呈现设备还包括预测单元，其用于基于由所述位置和方位信息获取单元所获取的位置和方位信息来预测所述绘制单元绘制所述虚拟空间图像所使用的位置和方位信息。

根据本发明的第二方面，一种混合真实呈现设备的控制方法，所述混合真实呈现设备用于对现实空间图像和虚拟空间图像进行合成、并呈现合成图像，所述控制方法包括：位置和方位信息获取步骤，用于获取表示观察者的视点与现实空间中的现实空间物体之间的相对位置和方位关系的位置和方位信息；虚拟空间图像生成步骤，用于基于在所述位置和方位信息获取步骤中获取的所述位置和方位信息生成虚拟空间图像，并将所生成的所述虚拟空间图像绘制在存储器上；获取步骤，用于获取所述现实空间物体的现实空间图像；合成步骤，用于通过在已绘制了所述虚拟空间图像的存储器上，绘制所述获取步骤中所获取的所述现实空间图像，来对所述现实空间图像和所述虚拟空间图像进行合成；以及输出步骤，用于输出在所述合成步骤中得到的合成图像。

根据本发明的第三方面，一种混合真实呈现设备，用于对合成现实空间图像和虚拟空间图像进行合成，并呈现合成图像，所述混合真实呈现设备包括：位置和方位信息获取部件，用于获取表示观察者的视点与现实空间中的现实空间物体之间的相对位置和方位关系的位置和方位信息；绘制部件，用于基于所述位置和方位信息获取部件所获取的所述位置和方位信息生成虚拟空间图像，并在存储器上绘制所生成的所述虚拟空间图像；获取部件，用于获取所述现实空间物体的现实空间图像；合成部件，用于通过在已绘制了所述虚拟空间图像的存储器中，绘制由所述获取部件获取的所述现实空间图像，来对所述现实空间图像和所生成的所述虚拟空间图像进行合成；以及输出部件，用于输出由所述合成部件获得的合成图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出已知的一般的混合真实呈现设备的硬件结构的图；

图2是示出已知的一般的混合真实呈现设备的处理的流程图；

图3是示出已知的一般的图像合成处理的实际例子；

图4是示出用作根据本发明第一实施例的混合真实呈现设备的PC的硬件结构的框图；

图5是示出由根据本发明第一实施例的混合真实呈现设备所执行的处理的流程图；

图6是示出根据本发明第一实施例的图像合成处理的实际例子；

图7是示出由根据本发明第二实施例的混合真实呈现设备所执行的处理的流程图；

图8是用于解释根据本发明第二实施例的图像合成的实际例子的图；

图9是示出由根据本发明第三实施例的混合真实呈现设备所执行的处理的流程图；以及

图10是详细示出根据本发明第三实施例的现实空间图像的位置和方位预测的流程图。

具体实施方式

现在将参考附图详细说明本发明的优选实施例。应当注意，除非特别声明，否则在这些实施例中说明的组件的相对结构、数值表达式和数值不限制本发明的范围。

第一实施例

在第一实施例中，给出如下情况的说明：假设作为预处理而获取用于获取现实空间图像的摄像单元(照相机)的内部参数，且当不进行图像调整处理时获取现实空间图像与虚拟空间图像之间的几何匹配。

为了准确地获取现实空间图像与虚拟空间图像之间的几何匹配，需要计算宽高比(Aspect Ratio)和失真参数，并在现实空间图像的调整处理期间同时处理该宽高比和失真参数。然而，由于这不是本发明的实质，因而不给出对失真和宽高比的误差的说明。

假设完成了摄像单元(照相机)的内部参数的校准、以及位置和方位测量单元的校准，现在说明作为本发明的特征的图像合成处理。

除了内部处理不同，实施本发明的混合真实呈现设备的基本结构与图1所示的结构相同。

作为第一实施例的位置和方位测量系统，可以使用美国Polhemus公司出产的FASTRAK(商标名)位置和方位测量设备。然而，也可以通过使用陀螺仪等测量装置来仅测量方位、并从拍摄的图像测量位置信息和方位的漂移误差的方法来实施位置和方位测量。

下面将参考图1、图4和图5说明第一实施例的混合真实呈现设备的图像合成。图4是示出用作根据本发明第一实施例的混合真实呈现设备的PC的硬件结构的框图。图5是示出由根据本发明第一实施例的混合真实呈现设备所执行的处理的流程图。

注意，例如，在图4所示的混合真实呈现设备的CPU 301执行存储在主存储器中的控制程序时，实施图5所示的流程图。

在步骤S401中，CPU 301从固定在HMD 101上的HMD测量传感器105的位置和方位测量值、以及固定在现实空间物体111上的现实空间物体测量传感器106的位置和方位测量值来获取位置和方位信息。即，这些传感器测得的测量值(位置和方位信息)被位置和方位测量单元104收集，位置和方位测量单元104基于这两种所获得的位置和方位信息来计算表示观察者的视点与配置在现实空间中的现实空间物体之间的相对的位置和方位关系的位置和方位信息。位置和方位测量单元104通过串行通信等通信单元将计算结果发送至PC 103。

这样，在PC 103内，通过通信装置307将测量数据发送并存储在主存储器302中。结果，PC 103用作位置和方位信息获取单元，其从位置和方位测量单元104获取表示观察者的视点与现实空间中的现实空间物体之间的相对位置和方位关系的位置和方位信息。

在步骤S402中，CPU 301基于已获得的位置和方位信息、根据主存储器302中的预定坐标系绘制虚拟空间图像。通常，通过将虚拟空间图像叠加在作为背景的现实空间图像上来进行图像合成。然而，在本发明中，首先绘制虚拟空间图像。

注意，依照应用的模式而需要绘制高分辨率、高画质的虚拟空间图像。在这种情况下，进行绘制就要求数帧的时间或更高的视频速率。预定的坐标系是使用共同的坐标系来显示现实空间图像和虚拟空间图像所需的3维坐标系，且可按需要设置定义该坐标系所需的原点。

在本发明中，由于首先绘制虚拟空间图像，因而可以防止在绘制与在合成中使用的现实空间图像相关联的虚拟空间图像期间，作为要合成的图像的定时处的现实空间图像变成该定时后的现实空间图像。

此时，在PC 103内，图形加速器303使用由CPU 301存储在主存储器302中的虚拟空间图像而将该虚拟空间图像绘制在帧存储器304中。在这种情况下，图形加速器303同时更新深度缓冲器(depth buffer)308中的虚拟空间图像的深度信息。

当在步骤S402中的绘制需要约两帧的时间时，这意味着：对于图6的虚拟空间图像613和614，现实空间图像的状态从图像601推进至图像604。在图6中，由图像611～614来表示要被合成的虚拟空间图像的状态。

在步骤S403中，PC 103从包含在HMD 101内的摄像单元102中获取现实空间图像。此时，在PC 103内部，图像输入装置306将从HMD 101接收的现实空间图像变换成预定的格式，并将其存储在主存储器302中。在图6的情况中，获取图像605。

在步骤S404中，CPU 301在主存储器302中绘制所获取的现实空间图像。在PC 103中，CPU 301在帧存储器304中绘制主存储器302中的现实空间图像。此时，CPU 301控制图形加速器303，以使用深度缓冲器308中的深度信息将现实空间图像叠加并绘制在帧存储器304上未绘制虚拟空间图像的部分。在这种情况下，可以获得图6的图像615。这样，可防止现实空间图像覆盖在虚拟空间图像之上。

作为防止现实空间图像覆盖在虚拟空间图像之上的方法，也可以使用模板缓冲器(stencil buffer)309来控制覆盖的许可或禁止，模板缓冲器309存储用于对许可还是禁止虚拟空间图像上的图像覆盖进行控制的控制信息。

在步骤S405中，CPU 301使用图像输出装置305将在步骤S404中生成的合成图像输出至HMD 101。

利用上述处理，观察者可以像存在存在于现实空间中的虚拟物体那样观察显示在HMD 101上的图像。而且，该处理可以使观察者希望的定时处的现实空间图像与要显示的现实空间图像之间的时间延迟(时间差)最小化。

如上所述，步骤S401～S405是对于一帧的处理。在步骤S406中，CPU 301检查是否输入了基于观察者的操作的结束通知。如果未输入结束通知(在步骤S406中，“否”)，则处理返回步骤S401。另一方面，如果输入了结束通知(在步骤S406中，“是”)，则处理结束。

如以所述，根据第一实施例，在绘制了虚拟空间图像后，获取用户希望被合成的现实空间图像，将其叠加并绘制在虚拟空间图像上，从而生成合成图像。这样，因图像处理造成的图像输出时间的延迟而导致的现实空间图像的内容差异可被最小化，并可以呈现具有用户希望的定时处的现实空间图像的内容的合成图像。

第二实施例

第二实施例将说明第一实施例的应用例子。在混合真实呈现设备中，显示半透明的输出图像通常对改善观察者的可视性是有效的。因此，第二实施例将说明实施这种半透明显示的结构。

注意，可以使用第一实施例中说明的混合真实呈现设备来实现第二实施例的混合真实呈现设备的结构，并不再重复其详细说明。

下面将参考图7说明第二实施例的混合真实呈现设备的图像合成处理。

图7是示出由第二实施例的混合真实呈现设备所执行的处理的流程图。

注意，图7中的相同步骤号码表示与第一实施例的图5中相同的处理，不再重复其详细说明。

参考图7，在步骤S403的处理后，在步骤S704中，CPU 301控制图形加速器303以通过α混和来合成现实空间图像。

图8示出根据本发明第二实施例的实际处理的例子。

注意，图8中的相同附图标记表示与第一实施例的图6共同的图像。

在图8中，虚拟空间图像813和814被绘制为具有黑背景。通过使用加法等α混和处理来将现实空间图像的图像605合成在虚拟空间图像814上，可以获得半透明效果。结果，可以获得半透明处理的合成图像815。

注意，在图8中以黑色和白色表示合成图像815，然而，在实际中可以实施半透明合成。

如上所述，根据第二实施例，除第一实施例所述的效果外，还可以根据需要显示半透明的输出图像。

第三实施例

第三实施例是第一实施例的应用的例子。第一和第二实施例已说明了如下结构：减轻观察者所观察的当前定时处的现实空间图像的状态和最终输出至HMD 101的现实空间图像的状态之间的时间延迟。在这种结构中，生成虚拟空间图像所需的、在步骤S401中获取的位置和方位信息会产生相对于获取现实空间图像时实际的现实空间物体111的位置和方位的时间延迟。因此，第三实施例将说明用于减轻所获取的位置和方位信息的时间延迟的图像合成处理。

下面将参考图9说明根据第三实施例的混合真实呈现设备的图像合成处理。

图9是示出由根据第三实施例的混合真实呈现设备所执行的处理的流程图。

注意，图9中的相同步骤号码表示与第一实施例的图5相同的处理，不再重复其详细说明。

特别地，在图9中，在第一实施例的图5的步骤S401的处理后，在步骤S903中，CPU 301执行现实空间图像的位置和方位预测。在步骤S402a中，CPU 301基于在步骤S903中获得的预测值(位置和方位信息)在主存储器302中绘制虚拟空间图像。

下面将参考图10详细说明该处理。

在步骤S1001中，CPU 301获取位置和方位信息。在步骤S1002中，CPU 301将位置和方位信息中的位置和方位分量变换成四元数(quaternion)。众所周知，为了获取位置和方位信息的线性预测等预测计算，将位置和方位成分变换成四元数是有效的。然而，预测计算方法不限于使用线性预测的方法。即，只要能够获得预测计算，可以使用其它任何方法。

在步骤S1003中，CPU 301将表示位置分量的值和表示在步骤S1002中变换成四元数的位置和方位分量的值存储在主存储器302中。假定在步骤S1003中存储了对应于先前两帧的位置和方位信息(表示位置分量以及位置和方位分量的值)。当需要噪声更少的、更精确的预测时，存储对应于三帧或更多帧的位置和方位信息(表示位置以及位置和方位的值)是有效的。可以根据用途和目的设置要存储的帧数，并不特别限制帧数。

在步骤S1004中，CPU 301基于两帧的位置和方位信息(表示位置以及位置和方位的值)计算现实空间物体的速度。例如，如果是匀速移动、匀速转动等，则基于两帧的位置和方位信息(表示位置以及位置和方位的值)、通过线性预测可以容易地计算出速度的预测值。

在步骤S1005中，CPU 301基于所计算的速度来执行用于计算现实空间物体的位置和方位的预测值的预测计算。作为这种预测计算方法，己知通过应用特定的预测计算模型来估计预测值的方法的各种方法，并不特别限制在本发明中使用的预测计算方法。

在步骤S1006中，CPU 301输出所计算的预测值。在步骤S1007中，CPU 301检查是否输入了来自PC 103的处理结束通知。如果未输入结束通知(在步骤S1007中，“否”)，则处理返回步骤S1001。另一方面，如果输入了结束通知(在步骤S1007中，“是”)则处理结束。

通过使用由以上处理方法获取的预测值来绘制虚拟空间图像，使用从获取现实空间图像的状态直到后来合成现实空间图像的状态具有最小时间延迟的虚拟空间图像，可以实施图像合成。

如上所述，根据第三实施例，基于获取现实空间图像定时的、表示位置和方位的预测值，绘制虚拟空间图像。结果，可以合成状态与获取现实空间图像的状态(位置以及位置和方位)接近的现实空间图像和虚拟空间图像。

注意，本发明可应用于包括单个装置的设备或应用于由多个装置构成的系统。

此外，本发明还可以如下实现：通过直接或间接地向系统或设备提供实施前述实施例的功能的软件程序、利用系统或设备的计算机读取所供给的程序代码，然后执行程序代码。在这种情况下，只要系统或设备具有程序的功能，则实施的模式不需要依赖于程序。

另外，由于本发明的功能由计算机来实现，因此安装在计算机中的程序代码也实现了本发明。换句话说，本发明的权利要求也涵盖目的在于实施本发明的功能的计算机程序。

在这种情况下，只要系统或设备具有程序的功能，则该程序可以采用目标代码、由解释器执行的程序或供给操作系统的脚本数据等任何形式来执行。

可以用于提供程序的存储介质有软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM和DVD(DVD-ROM和DVD-R)。

关于用于提供程序的方法，可以使用客户计算机的浏览器将客户计算机连接至因特网上的网址，可以将本发明的计算机程序或该程序的自动安装的压缩文件下载至硬盘等记录介质。此外，可以通过将构成该程序的程序代码分割成多个文件、并从不同网址下载这些文件，来供给本发明的程序。换句话说，将由计算机来实施本发明的功能的程序文件下载至多个用户的WWW(万维网)服务器也涵盖在本发明的权利要求中。

还可以将本发明的程序加密并存储在CD-ROM等存储介质上，将该存储介质分发给用户，允许满足一定要求的用户通过因特网从网址下载解密密钥信息，并允许这些用户使用该密钥信息来对加密的程序进行解密，从而将该程序安装在用户计算机上。

除通过由计算机来执行读取的程序来实施前述根据实施例的功能以外，还可以由运行在计算机上的操作系统等来执行实际处理的全部或一部分，从而使得可以通过该处理来实施前述实施例的功能。

此外，在将从存储介质读取的程序写入插入计算机中的功能扩展板或连接至计算机的功能扩展单元上的存储器中后，安装在该功能扩展板或功能扩展单元上的CPU等执行实际处理的全部或一部分，从而使得可以通过该处理来实施前述实施例的功能。

尽管已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以涵盖所有这类修改、等同的结构和功能。

Claims

1.一种混合真实呈现设备，用于对现实空间图像和虚拟空间图像进行合成，并呈现合成图像，所述混合真实呈现设备包括：

位置和方位信息获取单元，用于获取表示观察者的视点与现实空间中的现实空间物体之间的相对位置和方位关系的位置和方位信息；

绘制单元，用于基于由所述位置和方位信息获取单元所获取的所述位置和方位信息生成虚拟空间图像，并在存储器上绘制所生成的所述虚拟空间图像；

获取单元，用于在所述存储器中绘制所生成的所述虚拟空间图像之后，获取所述现实空间物体的现实空间图像；

合成单元，用于通过在已绘制了所述虚拟空间图像的存储器中，绘制由所述获取单元获取的所述现实空间图像，来对所述现实空间图像和所生成的所述虚拟空间图像进行合成；以及

输出单元，用于输出由所述合成单元获得的合成图像。

2.根据权利要求1所述的混合真实呈现设备，其特征在于，还包括用于存储所述虚拟空间图像的深度信息的深度缓冲器，

其中，所述合成单元通过使用存储在所述深度缓冲器中的所述深度信息，在所述存储器的未绘制所述虚拟空间图像的部分绘制所述现实空间图像，来对所述现实空间图像和所述虚拟空间图像进行合成。

3.根据权利要求1所述的混合真实呈现设备，其特征在于，还包括模板缓冲器，其用于存储用于对许可还是禁止对所述虚拟空间图像覆盖图像进行控制的控制信息，

其中，所述合成单元使用存储在所述模板缓冲器中的所述控制信息、通过绘制所述现实空间图像对所述现实空间图像和所述虚拟空间图像进行合成，以防止所述存储器上的所述虚拟空间图像被所述现实空间图像覆盖。

4.根据权利要求1所述的混合真实呈现设备，其特征在于，所述合成单元通过α混和对所述现实空间图像和所述虚拟空间图像进行合成。

5.根据权利要求1所述的混合真实呈现设备，其特征在于，还包括预测单元，其用于基于由所述位置和方位信息获取单元所获取的位置和方位信息来预测所述绘制单元绘制所述虚拟空间图像所使用的位置和方位信息。

6.一种混合真实呈现设备的控制方法，所述混合真实呈现设备用于对现实空间图像和虚拟空间图像进行合成、并呈现合成图像，所述控制方法包括：

位置和方位信息获取步骤，用于获取表示观察者的视点与现实空间中的现实空间物体之间的相对位置和方位关系的位置和方位信息；

虚拟空间图像生成步骤，用于基于在所述位置和方位信息获取步骤中获取的所述位置和方位信息生成虚拟空间图像，并将所生成的所述虚拟空间图像绘制在存储器上；

获取步骤，用于在所述存储器中绘制所生成的所述虚拟空间图像之后，获取所述现实空间物体的现实空间图像；

合成步骤，用于通过在已绘制了所述虚拟空间图像的存储器上，绘制所述获取步骤中所获取的所述现实空间图像，来对所述现实空间图像和所述虚拟空间图像进行合成；以及

输出步骤，用于输出在所述合成步骤中得到的合成图像。

7.一种混合真实呈现设备，用于对现实空间图像和虚拟空间图像进行合成，并呈现合成图像，所述混合真实呈现设备包括：

位置和方位信息获取部件，用于获取表示观察者的视点与现实空间中的现实空间物体之间的相对位置和方位关系的位置和方位信息；

绘制部件，用于基于所述位置和方位信息获取部件所获取的所述位置和方位信息生成虚拟空间图像，并在存储器上绘制所生成的所述虚拟空间图像；

获取部件，用于在所述存储器中绘制所生成的所述虚拟空间图像之后，获取所述现实空间物体的现实空间图像；

合成部件，用于通过在已绘制了所述虚拟空间图像的存储器中，绘制由所述获取部件获取的所述现实空间图像，来对所述现实空间图像和所生成的所述虚拟空间图像进行合成；以及

输出部件，用于输出由所述合成部件获得的合成图像。