CN110956695B - 信息处理装置、信息处理方法和存储介质 - Google Patents

Abstract

本发明提供一种信息处理装置、信息处理方法和存储介质。信息处理装置包括：获取单元，被构造为从拍摄真实空间的图像的图像拍摄装置获取图像；估算单元，被构造为基于图像来估算图像拍摄装置在真实空间中的位置或姿势；创建单元，被构造为创建包括至少一个关键帧的地图；设置单元，被构造为设置用户的观察空间；生成单元，被构造为分析由设置单元设置的观察空间与由创建单元创建的地图之间的关系，并生成代表地图中包括的关键帧的模型；以及控制单元，被构造为使显示单元显示基于生成的模型的图像和该图像的合成图像。

Description

信息处理装置、信息处理方法和存储介质

技术领域

本发明涉及在用于创建三维空间的地图(map)的系统中可视化已经创建了地图的区域的信息处理装置、信息处理方法和存储计算机程序的存储介质。

背景技术

近来，在设计和制造领域，需要使用原型(prototype)减少评估周期和评估成本。混合现实(MR)系统被引入，该系统利用通过计算机辅助设计(CAD)系统创建的设计(例如形状和规格)数据评估构建的容易度和可维护性。

MR系统的图像显示装置包括视频透视装置和光学透视装置。视频透视图像形成显示装置显示通过在图像拍摄装置拍摄的真实空间的图像上叠加和绘制基于图像拍摄装置的位置和姿势生成的虚拟空间的图像(例如，使用计算机图形学绘制的虚拟物体或字符信息)所获得的合成图像。光学透视图像显示装置在安装于观察者头部上的光学透视显示器上显示基于观察者视点的位置和姿势所生成的虚拟空间中的图像。

如何在真实空间和虚拟空间之间执行准确定位是MR技术的最重要的课题之一。为了准确定位做了各种努力。视频透视装置中的MR中的定位问题归结于确定图像拍摄装置在场景(即，在场景中提供的参考坐标系)中的位置和姿势的问题。类似地，光学透视装置的问题归结于确定观察者在场景中的视点或显示器在场景中的位置和姿势的问题。用于解决视频透视装置的问题的方法之一是构建真实空间的地图并基于地图确定测量目标对象的位置和姿势的方法。上述方法的一个示例是被称作视觉同时定位与建图(SLAM)的方法。

此外，作为用于解决光学透视装置的问题的方法，图像拍摄装置被安装在测量目标对象(即，观察者的头部或显示器)上。通过与用于解决视频透视装置中的问题的方法类似的方法来确定图像拍摄装置的位置和姿势。

视觉SLAM是用于基于照相机拍摄到的图像确定真实空间中照相机的位置和姿势的方法，并且与此同时，如果需要，则从图像提取关于关键帧的信息，并且构建存储所述信息的地图。关于关键帧的信息包括图像、已拍摄图像的照相机的位置和姿势、以及从图像提取出的特征点的三维信息。在这项技术中，只要图像已经拍摄到与关键帧中被拍摄的空间相同的空间，就能够以高精度确定照相机的位置和姿势。另一方面，如果照相机的摄像范围与地图中存储的关键帧的图像的摄像范围不同，并且因此不能获取图像间的对应关系，则对于照相机的位置和姿势的估算精度可能会降低。

因此，理想的情况是将允许高精度估算照相机的位置和姿势的空间通知给需要高精度估算照相机的位置和姿势的MR系统用户。通知的方法之一是可视化真实空间中的哪个空间已经被拍摄为关键帧以及哪个空间没有被拍摄的方法。

如“Parallel Tracking and Mapping for Small AR Workspaces”,Proceedingsof Sixth IEEE and ACM International中的图3所示，用于向用户通知已映射的区域的方法包括呈现虚拟空间的图像的方法，在上述虚拟空间中，已绘制了存储在地图中的关键帧的位置和姿势以及提取的特征点的三维坐标。在这个方法中，仅将虚拟空间的图像呈现给用户，因此用户自己需要考虑并理解真实空间和虚拟空间之间的对应关系。

另一方面，存在如下一种方法：使用MR技术在用户正在看的真实空间的图像上示出已拍摄的方向，以便于对上述关联的理解。

例如，Vuforia Object Scanner(可在https://library.vuforia.com/articles/Training/Vuforia-Object-Scanner-Users-Guide/获得其信息)使用如下方法：从各种方向拍摄放置在真实空间中的真实物体，从而在恢复真实物体形状的装置上可视化已拍摄部分和未拍摄部分。具体地，以像要包围真实物体的方式构建多边形网格，并且以不同于多边形网格的其他部分的颜色填充多边形网格的对应于已拍摄区域的部分。据此，通知用户已拍摄区域。

此外，日本特开第2008-65807号公报讨论一种可视化放置在真实空间中的指示器(indicator)的拍摄方向和距离的装置。作为其具体示例之一，提出以像要包围指示器的方式将半球形物体涂色的方法。

发明内容

在上述日本特开第2008-65807号公报和Vuforia Object Scanner中，实现了以特定的真实物体作为中心的摄像范围的可视化。然而，MR系统用户被认为不仅观察特定的真实物体，而且也环顾用户自身周围并且从各种方向观察放置于不包括真实物体的空间中的虚拟物体。因此，需要用于可视化用户期望观察的映射空间(mapped space)的方法。

本发明旨在提供一种信息处理装置，其能够为用户可视化允许高精度估算照相机的位置和姿势的空间。

根据本发明的一个方面，一种信息处理装置，包括：获取单元，被构造为从拍摄真实空间的图像的图像拍摄装置获取图像；估算单元，被构造为基于图像来估算图像拍摄装置在真实空间中的位置或姿势；创建单元，被构造为创建至少包括一个关键帧的地图；设置单元，被构造为设置用户的观察空间；生成单元，被构造为分析由设置单元设置的观察空间与由创建单元创建的地图之间的关系，并生成代表地图中包括的关键帧的模型；以及控制单元，被构造为使显示单元显示基于生成的模型的图像和该图像的合成图像。

根据以下参照附图对实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示根据第一实施例的信息处理装置的结构的框图。

图2是例示信息处理装置的硬件结构的框图。

图3是例示由观察空间设置单元保持的待观察空间的示例的示意图。

图4A和图4B是例示要由分析单元处理的对象的示意图。

图5是例示由信息处理装置执行的处理的流程图。

图6是例示根据第二实施例的信息处理装置的结构的框图。

图7A和图7B是例示根据第二实施例的由地点区域设置单元保持的地点区域的示例的图。

图8是例示根据第二实施例的由分析单元执行的处理的流程图。

具体实施方式

以下，参照附图详细说明本发明的实施例。图1是例示根据第一实施例的信息处理装置的功能结构的框图。信息处理装置1是包括照相机100、图像获取单元101、地图创建单元102、位置和姿势估算单元103、分析单元104、观察空间设置单元105和显示单元106的混合现实(MR)系统。在本实施例中，假定结构包括一个照相机100和一个显示单元106而给出说明。然而，结构可以是针对左眼和右眼分别提供一对照相机100和显示单元106的立体结构。在本实施例中，信息处理装置1被描述为照相机100和显示单元106被放置在用户眼睛附近的头戴式装置。然而，各个单元的物理布置不局限于此。信息处理装置1可以是诸如平板电脑及智能手机等的手持式装置。

在本实施例中，假定信息处理装置只使用图像来估算照相机100的位置和姿势并创建地图而给出说明。然而，在本发明的实施例中，从例如加速度传感器、角速度传感器、超声波传感器、磁性传感器、深度图像传感器或激光测距传感器获得的信息可以被用于估算位置和姿势以及创建地图。

参照图2说明信息处理装置1的硬件结构。在图2中，中央处理单元(CPU)201控制整个装置。当CPU 201在控制各个单元的同时执行处理时，随机存取存储器(RAM)202用作工作区域。只读存储器(ROM)203存储例如控制程序、各种应用程序以及数据。CPU 201将存储在ROM 203中的控制程序读取到RAM 202中并执行控制程序，然后实现图1中例示的单元(如图像获取单元101、地图创建单元102、位置和姿势估算单元103、分析单元104以及观察空间设置单元105)。输入接口(I/F)204从照相机100接收可以被信息处理装置1处理的形式的信息，作为输入信号。输出I/F 205将可以被外部装置处理的形式的信息作为输出信号输出到外部装置。例如，如果外部装置是显示装置，则输出I/F 205向显示装置输出从显示单元106输出的MR图像。如上所述，可以通过CPU 201执行程序来实现图1中例示的信息处理装置1的各个单元的功能。然而，图1中例示的信息处理装置1的至少一部分单元可以作为专用硬件操作。在这种情况下，专用硬件在CPU 201的控制下进行操作。

说明信息处理装置1。图1中例示的图像获取单元101获取照相机100所拍摄的真实空间的图像。位置和姿势估算单元103基于由图像获取单元101获取的图像以及由地图创建单元102创建的地图，来估算照相机100的位置和姿势。说明估算的具体过程的示例。首先，获取包括在由地图创建单元102创建的地图中的一个或更多个关键帧。关键帧至少包括通过拍摄真实空间的图像而获得的图像、拍摄图像的照相机的位置和姿势以及与从图像提取的特征有关的信息。在本实施例中，假定与从图像提取的特征有关的信息中包括图像中的特征点以及关于特征点的二维坐标和三维坐标的信息，而给出说明。关键帧的图像可以在之前已经被照相机100所拍摄或者可以由另一照相机预先拍摄。

接下来，将图像获取单元101获取的图像中的特征点与关键帧的图像中的特征点关联。用于关联图像的特征点的方法的示例包括以下方法：检测来自图像的角点并计算角点附近的局部图像的相似度。然而，在实施例中用于关联特征点的方法不局限于上述方法。

当获得了图像中特征点之间的对应关系时，就获得了关键帧中包括的特征点的三维坐标与由图像获取单元101获取的图像中的特征点的二维坐标之间的对应关系。该对应关系被用于求解被称作透视n点(Perspective-n-Point,PnP)问题的联立方程，并且因此照相机的位置和姿势被确定为六个自由度。假定求解PnP问题需要的固有的照相机参数被预先获得。

如果不能从地图创建单元102获得关键帧，则可以将此时点的照相机100的位置和姿势设置为初始位置和姿势，或者可以通过使用放置在真实空间中的诸如标记等的指示器来估算位置和姿势。

上述过程使得在位置和姿势估算单元103中处理照相机100的位置和姿势的估算。然而，根据本发明的实施例，位置和姿势估算单元103的处理不限于此。

地图创建单元102基于由图像获取单元101获得的图像以及由位置和姿势估算单元103获得的照相机100的位置和姿势来创建地图。地图包括一个或更多个关键帧以及从关键帧提取的关键点的集合。

说明用于创建地图的具体过程。首先，确定由图像获取单元101获得的图像是否适合于关键帧。确定条件的示例包括以下条件：位置和姿势已经由位置和姿势估算单元103正确获得，并且图像的摄像范围中的、与地图中关键帧的图像的摄像范围重叠的区域小于或等于固定大小。然而，确定条件不限于上述示例。

如果确定由图像获取单元101获得的图像适合于关键帧，则提取特征点。将所提取的特征点与从过去的关键帧提取的特征点关联。因此，针对一个特征点可获得在多个视点的位置和姿势。因此，可以使用三角测量(triangulation)的原理获得特征点的三维坐标。特征点的三维坐标被存储为关键帧的一部分。

观察空间设置单元105将针对信息处理装置1用户期望观察的空间的预设设置，保持为观察空间的用户设置。参照图3说明期望观察的空间的具体示例。例如，如果用户300期望在真实空间中的某个位置中放置某个虚拟物体301并观察，则虚拟物体301在真实空间中占据的空间是用户300期望观察的空间。此外，具有虚拟物体301的近似形状的多边形网格401也可被想像为期望观察的空间。例如，包含虚拟物体301的椭圆体或长方体可以被设置为期望观察的空间。如果虚拟物体301的形状不是准确确定的，则可以将基于虚拟物体301的粗略的位置和大小所创建的简单几何形状302设置为期望观察的空间。此外，如果用户300不期望观察特定的虚拟物体而是期望在周围空间中环顾四周，则可以将环绕用户300的空间303设置为观察空间。期望观察的空间由用户依据目的来定义，并且不限于实施例中的这些示例。

分析单元104分析由观察空间设置单元105保持的期望观察的空间的设置与由地图创建单元102创建的地图之间的关系，并且针对用户300观察的空间创建用于可视化映射空间的计算机图形学(CG)模型。映射空间表示在观察空间设置单元105中保持的期望观察的空间内的至少一个关键帧中拍摄的空间。

参照图4A和图4B说明分析单元104的具体过程。假定由观察空间设置单元105保持的期望观察的空间为虚拟物体301。

首先，生成具有期望观察的空间的近似形状的多边形网格401。多边形网格401的所有顶点的颜色被设置为设定颜色1。

接下来，确定多边形网格401的各个顶点是否已被映射。这可以通过对地图创建单元102创建的地图中的所有关键帧执行顶点可视化确定来实现。顶点可视化确定通过以下过程进行：令已获取某个关键帧K的照相机为图4A和图4B中例示的照相机402，令多边形网格401的顶点为顶点V，并令从照相机402的光学中心到顶点V(例如，图4A和图4B中例示的顶点403)的线段为视线E。如果视线E(例如，图4A中例示的箭头405)不与多边形网格401或其他虚拟物体交叉，且如果由视线E和顶点V的法线N(例如，图4A中例示的箭头404)形成的角小于或等于固定角，则顶点V已由关键帧K的照相机402可视化。据此可确定顶点V已被映射。

如果顶点V已被映射，则顶点V的顶点颜色被设置为设定颜色2。因此，如图4B中所例示的，以设定颜色2绘制包括顶点V的多边形，由此用户300可以识别该部分被包括在关键帧K的图像中。此外，存在由视线E和法线N形成的角小于或等于固定角的条件。因此，例如，具有与视线E不同方向的法线的顶点(例如，图4B中例示的顶点406)不被确定为在照相机402上可视。这个特性使得用户300能够确认由以设定颜色2绘制的多边形占据的空间已经从所述空间正面的方向被映射。

假定设定颜色1和2为预设的。在本实施例中，使用用于多边形网格及其顶点的处理给出了说明。然而，代表表面和体积的模型以及对模型的特定区域涂色的方法不局限于针对多边形网格所述的。

显示单元106基于由位置和姿势估算单元103估算的照相机100的位置和姿势以及照相机100的固有参数，生成通过绘制多边形网格401获得的虚拟图像。此时，反映由观察空间设置单元105保持的期望观察的空间的设置和由分析单元104设置的关于顶点颜色的信息，从而执行绘制。在绘制中，也可以考虑除了顶点颜色以外的信息，例如光源和纹理等。将生成的虚拟图像与由图像获取单元101获取的真实空间图像合成，以生成并输出混合现实(MR)图像。可以在生成的MR图像中添加和绘制除上述信息以外的信息。用户300观察在显示单元106上显示的“用于可视化映射空间的CG模型”，并据此可以判定哪个空间需要关键帧。

图5是例示为了生成和输出MR图像而由信息处理装置1执行的处理的流程图。在步骤S501中，图像获取单元101通过输入I/F 204获取由照相机100拍摄的真实空间的图像。在步骤S502中，位置和姿势估算单元103读取由地图创建单元102创建的地图。在步骤S503中，位置和姿势估算单元103基于步骤S502中读取的地图上的信息和步骤S501中拍摄的真实空间的图像，估算照相机100在真实空间中的位置和姿势。在步骤S504中，地图创建单元102确定在步骤S501中拍摄的图像是否适合于关键帧。作为关键帧的适合条件的示例包括满足以下两个条件的情况。然而，在实施例中，条件不局限于此。条件1是步骤S503中照相机100的位置和姿势的估算成功。条件2是摄像范围内与地图中保持的关键帧重叠的区域小于或等于固定大小。如果在步骤S504中确定在步骤S501中拍摄的图像适合于关键帧(步骤S504中的“是”)，则在步骤S505中，地图创建单元102将图像作为关键帧添加到地图中。此时，从图像提取特征点，并估算特征点的三维坐标。可通过使用与从地图中的关键帧的图像提取的特征点的关联以及三角测量来进行估算。

如果确定在步骤S501中拍摄的图像不适合于关键帧(步骤S504中的“否”)，则处理进行到步骤S506。在步骤S506中，分析单元104从观察空间设置单元105获取关于期望观察的空间的信息。在步骤S507中，分析单元104基于步骤S506中获取的关于期望观察的空间的信息生成多边形网格401。多边形网格401的所有顶点的顶点颜色被设置为预设的设定颜色1。在步骤S508中，分析单元104确定步骤S507中生成的多边形网格401的各个顶点是否已被映射。映射的顶点的顶点颜色被设置为预设的设定颜色2。关于顶点是否被映射的确定基于针对关键帧的顶点可视化确定。在步骤S509中，显示单元106将在步骤S508中处理的多边形网格401绘制为虚拟图像，并将多边形网格401与在步骤S501中拍摄的真实空间图像合成。然后输出以这种方式生成的MR图像。当多边形网格401被作为虚拟图像绘制时，使用预先估算的照相机100的固有参数和在步骤S503中获得的照相机100的位置和姿势。

(第一变形例)

在第一实施例中，对于由分析单元104执行的步骤S508的处理，说明了用于将多边形网格401的映射的顶点的顶点颜色设置为预设的设定颜色2的方法。然而，在实施例中，顶点的顶点颜色的设置不局限于上述方法，只需要是反映了关于地图中包括的关键帧的信息的形式即可。

例如，在由分析单元104在步骤S508中执行的处理中，可以对地图中的所有关键帧执行顶点可视化确定，并且可以根据被确定为可视的关键帧的数量来设置顶点颜色。另外，可以根据被确定为可视的关键帧和顶点间的距离来设置顶点颜色。

(第二变形例)

在第一变形例中，对于由分析单元104在步骤S508中执行的处理，说明了用于设置映射的顶点的顶点颜色的方法。然而，多边形网格401的形状可以被改变为使得能够将映射的顶点与其他顶点相区分。

例如，分析单元104可以通过在法线方向上移动映射的顶点的坐标来在多边形网格401上产生凸部或凹部。分析单元104可以对映射的顶点添加表示视线E的直线，以在显示单元106上例示在关键帧中在哪个方向上拍摄顶点的。表示视线E的直线的长度可以是固定的或根据视线E的长度而改变。

假定第一实施例中的分析单元104创建了如下CG模型，而进行了说明，该CG模型用于将由观察空间设置单元105设置的期望观察的空间内的至少一个关键帧中拍摄的空间作为映射空间可视化。然而，即使在关键帧中拍摄了期望观察的空间，图像上空间的外观也可能根据空间被拍摄的位置而变化很大。例如，随着距图像拍摄位置(即，照相机的光学中心的位置)的距离的增加，期望观察的空间在图像上可能看起来更小，并且细节特征可能会丢失。如果图像拍摄位置不同，则观看空间的角度会改变，并且空间可能在图像上看起来大大不同。因此，在本实施例中，可视化映射空间，同时也考虑关键帧的图像的照相机位置。

图6是例示根据第二实施例的信息处理装置的功能结构的框图。在所述结构中，向第一实施例中说明的信息处理装置1增加了地点区域设置单元601。

地点区域设置单元601针对由观察空间设置单元105设置的期望观察的空间设置了一个或更多个地点区域(spot area)。地点区域是在从该区域内拍摄期望拍摄的空间的情况下认为图像看起来相似的区域。基于用户输入或预先确定的规则来设置地点区域。参照图7A和图7B说明地点区域的示例。例如，如果期望观察空间302(例如，半球形状)，则将距其中心的距离在固定范围内的区域设置为地点区域701和702。当从地点区域内向期望观察的空间302的中心拍摄图像时，只要在相同的地点区域内，图像中出现的期望观察的空间302的大小相等。如果期望观察的空间是像空间303一样围绕用户300的空间，则当用户300移动时，周围空间303看起来可能改变很大。因此，以用户300的初始位置为中心将区域划分为像网格一样，来设置地点区域703到706。上述的说明是一个示例。可以根据由观察空间设置单元105设置的期望观察的空间来自由地设置地点区域。

在本实施例的分析单元104中，如果在第一实施例中说明的步骤S508中执行的处理中，多边形网格401的顶点在关键帧上是可视的，则设置关键帧所属的地点区域的颜色。在本实施例中，第一实施例中由分析单元104执行的步骤S508中的处理被改变。使用图8中例示的流程图说明改变后的处理。针对步骤S507生成的多边形网格401的顶点和由地图创建单元102创建的地图中的关键帧的各对执行步骤S802到S804的处理。

在步骤S800中，从多边形网格401获取一个顶点以逐个顶点地执行处理。在步骤S801中，从地图获取一个关键帧以逐个关键帧地执行处理。在步骤S802中，确定多边形网格401的顶点在关键帧的图像上是否可视。确定方法与第一实施例中说明的方法相同。在步骤S803中，如果在步骤S802中确定顶点可视(步骤S802的“是”)，则获取已拍摄关键帧的图像的照相机的位置。确定所述位置包括在(属于)哪个地点区域，然后获取地点区域的ID。如果地点区域被设置在三维空间中的平面上(即，底面(floor surface))，则确定平面上作为照相机位置的投影的点属于哪个地点区域。在步骤S804中，根据步骤S802中获取的地点区域的ID将预设的设定颜色设置为顶点颜色。当设定颜色的设置完成时，处理进行到针对下一顶点的设置。

(第三变形例)

在第二实施例中，将多边形网格401的各个顶点设置为根据顶点被确定为可视的关键帧所属的地点区域的顶点颜色。然而，取决于顶点，顶点可能在多个关键帧上可视，并且关键帧所属的地点区域可能是不同的。另外，如果一个多边形网格401的各个顶点的颜色不同，则对于用户300来说，识别能够以高精度估算照相机100的位置和姿势的空间可能会困难。因此，分析单元104可以确定照相机100的位置属于哪个地点区域，并在由地图创建单元102创建的地图所包括的关键帧当中，只将与照相机100属于相同的地点区域的关键帧设置为处理对象。具体地，在第二实施例中的步骤S801中，可以只获取与照相机100属于相同地点区域的关键帧。因此，在显示单元106上显示的MR图像被简化，并且对于用户300来说检查映射空间变得更加容易。

(第四变形例)

在第一和第二实施例中说明的用于设置由观察空间设置单元105保持的期望观察的空间的具体方法可以是使用用户300的视点(即，照相机100的位置)的输入方法。具体地，可以在观察空间设置单元105中设置在某个时间(例如，在开始使用信息处理装置1的时刻)以照相机100的位置为中心并围绕照相机100周围的形状。在这种情况下，作为由地点区域设置单元601设置的地点区域的示例，如图7B示出的地点区域703到706中所示，可以设置通过以网格模式划分平面所获得的区域。为了用户300可以在周围空间中环顾其四周，可以通过上述方法设置以用户300的视点的位置作为中心期望观察的空间。

(第五变形例)

在第一和第二实施例中用于设置由观察空间设置单元105保持的期望观察的空间的具体方法可以是使用用户300的视线的输入方法。作为用于设置的方法的具体示例，说明观察空间设置单元105通过接受用户输入来设置观察空间的方法。首先，分析单元104找到在用户300的视线(例如，照相机100的光轴)的方向上离用户300的视点位置(例如，照相机100的位置)固定距离(例如，近似1.5m)的点。这个点被设置为用户300的指向点(pointingpoint)。指向点被绘制在显示单元106上以向用户300显示被绘制的指向点。用户300在通过移动照相机100操作指向点的同时，在适当的时间确认指向点的输入。

分析单元104根据确认的指向点生成几何形状，并在显示单元106上显示几何形状。如果存在例如两个指向点，则可以生成以两个指向点中的一个作为中心并且以两点之间的距离作为半径的球体。如果存在四个线性独立的指向点，则可以生成由四个点形成的长方体。另外，为了减少定义几何形状所必需的指向点的数量，指向点可以不是三维空间中的任意点，而可以是被例如平面、网格或轴限制的空间中的点。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参照实施例描述了本发明，但是应当理解，本发明并不局限于公开的实施例。所附权利要求的范围应当适合最广泛的解释，以使其涵盖所有这些改动、等同结构和功能。

Claims (20)

1.一种信息处理装置，包括：

获取单元，被构造为从拍摄真实空间的图像的图像拍摄装置获取图像；

估算单元，被构造为基于图像来估算图像拍摄装置在真实空间中的位置或姿势；

创建单元，被构造为创建包括至少一个关键帧的地图；

设置单元，被构造为设置用户的观察空间；

生成单元，被构造为分析由设置单元设置的观察空间与由创建单元创建的地图之间的关系，并生成代表地图中包括的关键帧的模型；以及

控制单元，被构造为使显示单元显示基于生成的模型的图像和所述图像的合成图像，以及

地点区域设置单元，被构造为针对观察空间设置多个地点区域，

其中，关键帧包括：

关键帧的图像；

拍摄了关键帧的图像的图像拍摄装置的位置或姿势；以及

与从关键帧的图像提取的特征有关的信息，

其中，分析单元被构造成通过确定在拍摄关键帧的图像时的图像拍摄装置的位置或姿势属于所述多个地点区域中的哪一个来确定所述关系。

2.根据权利要求1所述的信息处理装置，其中，由生成单元生成的模型具有基于观察空间和关于地图中包括的关键帧的信息而确定的颜色或形状。

3.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

其中，生成单元分析观察空间、地图和地点区域之间的关系。

4.根据权利要求1所述的信息处理装置，

其中，设置单元基于预设的位置和大小中的至少一者，以用户的视点位置为中心设置观察空间，并且

其中，基于由估算单元估算的位置或姿势来设置用户的视点位置。

5.根据权利要求1所述的信息处理装置，

其中，设置单元以用户的视线作为输入来设置观察空间的位置和大小，并且

其中，基于由估算单元估算的位置或姿势来设置用户的视线。

6.根据权利要求1所述的信息处理装置，其中，设置单元基于被用户观察的虚拟物体的形状、位置和大小中的至少一者来设置观察空间。

7.根据权利要求1所述的信息处理装置，其中，模型是用于可视化地图中包括的关键帧的计算机图形学模型。

8.根据权利要求1所述的信息处理装置，其中，设置单元将观察空间设置为多边形网格。

9.根据权利要求8所述的信息处理装置，其中，模型是与关键帧对应的顶点为不同颜色的多边形网格。

10.一种信息处理方法，包括以下步骤：

从拍摄真实空间的图像的图像拍摄装置获取图像；

基于图像来估算图像拍摄装置在真实空间中的位置或姿势；

创建包括至少一个关键帧的地图；

设置用户的观察空间；

分析设置的观察空间与创建的地图之间的关系，并生成代表地图中包括的关键帧的模型；以及

使显示单元显示基于生成的模型的图像和所述图像的合成图像，以及

针对观察空间设置多个地点区域，

其中，关键帧包括：

关键帧的图像；

拍摄了关键帧的图像的图像拍摄装置的位置或姿势；以及

与从关键帧的图像提取的特征有关的信息，

其中，通过确定在拍摄关键帧的图像时的图像拍摄装置的位置或姿势属于所述多个地点区域中的哪一个来确定所述关系。

11.根据权利要求10所述的信息处理方法，其中，通过生成步骤生成的模型具有基于观察空间和关于地图中包括的关键帧的信息而确定的颜色或形状。

12.根据权利要求10所述的信息处理方法，所述信息处理方法还包括以下步骤：

其中，生成步骤包括分析观察空间、地图和地点区域之间的关系。

13.根据权利要求10所述的信息处理方法，

其中，设置步骤包括基于预设的位置和大小中的至少一者，以用户的视点位置为中心设置观察空间，并且

其中，基于通过估算步骤估算的位置或姿势来设置用户的视点位置。

14.根据权利要求10所述的信息处理方法，

其中，设置步骤包括以用户的视线作为输入来设置观察空间的位置和大小，并且

其中，基于通过估算步骤估算的位置或姿势来设置用户的视线。

15.根据权利要求10所述的信息处理方法，其中，设置步骤包括根据被用户观察的虚拟物体的形状、位置和大小中的至少一者来设置观察空间。

16.根据权利要求10所述的信息处理方法，其中，模型是用于可视化地图中包括的关键帧的计算机图形学模型。

17.根据权利要求10所述的信息处理方法，其中，设置步骤包括将观察空间设置为多边形网格。

18.根据权利要求17所述的信息处理方法，其中，模型是与关键帧对应的顶点为不同颜色的多边形网格。

19.一种非暂时性存储介质，其存储使计算机执行方法的程序，所述方法包括以下步骤：

从拍摄真实空间的图像的图像拍摄装置获取图像；

基于图像来估算图像拍摄装置在真实空间中的位置或姿势；

创建包括至少一个关键帧的地图；

设置用户的观察空间；

分析设置的观察空间与创建的地图之间的关系，并生成代表地图中包括的关键帧的模型；以及

使显示单元显示基于生成的模型的图像和所述图像的合成图像，以及

针对观察空间设置多个地点区域，

其中，关键帧包括：

关键帧的图像；

拍摄了关键帧的图像的图像拍摄装置的位置或姿势；以及

与从关键帧的图像提取的特征有关的信息，

其中，通过确定在拍摄关键帧的图像时的图像拍摄装置的位置或姿势属于所述多个地点区域中的哪一个来确定所述关系。

20.根据权利要求19所述的非暂时性存储介质，其中，通过生成步骤生成的模型具有基于观察空间和关于地图中包括的关键帧的信息而确定的颜色或形状。