CN102194367A

CN102194367A - 信息处理设备、地图更新方法、程序以及信息处理系统

Info

Publication number: CN102194367A
Application number: CN2011100518888A
Authority: CN
Inventors: 多井坚一郎; 王全; 松田晃一; 芦原隆之
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-03-09
Filing date: 2011-03-02
Publication date: 2011-09-21
Anticipated expiration: 2031-03-02
Also published as: US11762887B2; US20230385309A1; US10083188B2; JP5471626B2; US10803098B2; US9014970B2; US10599687B2; KR20110102174A; US20190005068A1; CN102194367B; US20160371301A1; US20110224902A1; JP2011186808A; RU2011108115A; EP2372582A2; EP2372582A3; US20160163039A1; EP2372582B1; RU2481625C2; US9449023B2

Abstract

本发明提供了一种信息处理设备、地图更新方法、程序以及信息处理系统，其中，该信息处理设备包括：全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。

Description

信息处理设备、地图更新方法、程序以及信息处理系统

技术领域

本发明涉及信息处理设备、地图更新方法、程序以及信息处理系统。

背景技术

用于多个用户通过网络来共享表示物理物体在实际空间中的位置的地图的各种应用得到实际使用。作为示例，存在如下应用：其允许用户将诸如注释或照片的信息与地图上的给定位置相关联，并且与其他用户共享信息或地图(参照日本专利申请早期公开第2006-209784号和“GoogleMaps”(因特网URL：http://maps.google.com/))。此外，存在如下应用：其将虚拟标签与地图上的给定位置相关联，并且显示使用终端的照相机功能捕获的、叠加有标签的图像(参照″Sekai Camera Support Center″(因特网URL：http://support.sekaicamera.com/en))。

发明内容

然而，在现有的地图共享应用中，虽然可以由用户随意地更新与地图相关联的信息，但是地图本身除了服务提供商更新它时之外不会改变。因此，即使当用户识别物理物体在实际空间中的位置的变化，也难以迅速地反映地图上的变化并且与其他用户共享该变化。此外，在服务提供商没有提供详细地图的私人空间中，难以在用户当中共享地图或与该地图相关联的信息。

根据上述，期望提供一种新颖且改进的信息处理设备、地图更新方法、程序以及信息处理系统，其使得迅速地在用户当中共享物理物体在实际空间中的位置的变化。

根据本发明的实施例，提供了一种信息处理设备，其包括：全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。

信息处理设备还可包括：计算单元，其基于全局地图中所包括的物体的位置数据和局部地图中所包括的物体的位置数据，计算局部地图相对于全局地图的相对位置；以及转换单元，其根据局部地图的相对位置，执行从局部地图中所包括的物体的位置数据到全局地图的坐标系的数据的坐标转换，其中，更新单元通过使用在由转换单元进行的坐标转换之后的局部地图中所包括的物体的位置数据，更新全局地图。

信息处理设备可以是由一个用户持有的终端设备。

全局地图获取单元可从存储全局地图的服务器设备获取全局地图的至少一部分，并且更新单元可通过将物体的位置数据传送至服务器设备来更新服务器设备的全局地图。

全局地图获取单元可获取全局地图中与包含终端设备在实际空间中的位置的局部区域相对应的部分。

全局地图获取单元可获取全局地图中表示位于极接近于终端设备之处的预定数量的物体的位置的部分。

局部地图生成单元可基于通过使用成像设备来对实际空间进行成像而获得的输入图像和表示一个或多个物体的外观的特征的特征数据，生成局部地图。

计算单元可基于全局地图和局部地图中所共同包括的不移动物体的位置数据，计算局部地图的相对位置。

计算单元可计算局部地图的相对位置，使得当将局部地图中所包括的物体的位置数据转换成全局地图的坐标系的数据时，转换之后的数据与全局地图中所包括的物体的位置数据之间的差总体上较小。

全局地图可包括实际空间中的每个物体在全局地图的坐标系中的位置数据和与该位置数据有关的时间戳。

信息处理设备还可包括：显示控制单元，其响应于来自用户的指令，至少部分地使全局地图可视化在屏幕上。

根据本发明的另一实施例，提供了一种由信息处理设备执行的地图更新方法，该方法用于更新表示物体在多个用户活动的实际空间中的位置的全局地图，该方法包括以下步骤：获取全局地图的至少一部分；生成表示能够由信息处理设备检测到的周围物体的位置的局部地图；以及基于局部地图中所包括的物体的位置数据来更新全局地图。

根据本发明的另一实施例，提供了一种程序，该程序用于使得用于控制信息处理设备的计算机起如下作用：全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；局部地图生成单元，其生成表示能够由多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。

根据本发明的另一实施例，提供了一种信息处理系统，其包括：服务器设备，其使用存储介质来存储表示物体在多个用户活动的实际空间中的位置的全局地图；以及由多个用户当中的一个用户持有的信息处理设备，其中，该信息处理设备包括：全局地图获取单元，其从服务器设备获取全局地图的至少一部分；局部地图生成单元，其生成表示能够由该信息处理设备检测到的周围物体的位置的局部地图；以及更新单元，其基于局部地图中所包括的物体的位置数据来更新全局地图。

根据上述本发明的实施例，可以提供如下信息处理设备、地图更新方法、程序以及信息处理系统：其使得迅速地在用户当中共享物理物体在实际空间中的位置的变化。

附图说明

图1是用于说明根据实施例的系统的概要的示意图；

图2是用于说明全局地图和局部地图中所包括的物体的位置数据的示意图；

图3是示出根据实施例的服务器的配置示例的框图；

图4是用于说明部分全局地图的说明图；

图5是示出根据实施例的终端设备的配置示例的框图；

图6A是用于说明部分全局地图获取处理的第一示例的说明图；

图6B是用于说明部分全局地图获取处理的第二示例的说明图；

图6C是用于说明部分全局地图获取处理的第三示例的说明图；

图7是示出根据实施例的局部地图生成单元的详细配置的示例的框图；

图8是示出根据实施例的自身位置(self-position)检测处理的流程的示例的流程图；

图9是用于说明在物体上所设置的特征点的说明图；

图10是用于说明特征点的添加的说明图；

图11是用于说明预测模型的示例的说明图；

图12是用于说明特征数据的配置示例的说明图；

图13是示出根据实施例的物体识别处理的流程的示例的流程图；

图14A是用于说明由根据实施例的计算单元进行的地图匹配处理的示例的说明图；

图14B是用于说明由根据实施例的计算单元进行的地图匹配处理的另一示例的说明图；

图15A是用于说明根据实施例的全局地图更新处理的示例的说明图；

图15B是用于说明根据实施例的全局地图更新处理的另一示例的说明图；

图16是示出根据实施例的地图管理服务器与终端设备之间的地图更新处理的流程的示例的流程图；

图17是示出根据实施例的超级客户端(super client)的配置示例的框图；以及

图18是示出附加信息的共享的应用的示例的示意图。

具体实施方式

在下文中，将参照附图详细描述本发明的优选实施例。注意，在该说明书和附图中，具有基本相同的功能和结构的结构元件以相同的附图标记表示，并且省略对这些结构元件的重复说明。

在下文中，将按以下顺序描述本发明的优选实施例。

1.系统的概述

1-1.系统配置的示例

1-2.位置数据的示例

2.根据实施例的地图管理服务器的配置

3.根据实施例的终端设备的配置

3-1.通信接口

3-2.成像单元

3-3.初始化单元

3-4.全局地图获取单元

3-5.局部地图生成单元

3-6.计算单元

3-7.转换单元

3-8.更新单元

3-9.显示控制单元

4.处理的流程

5.可选示例

5-1.超级客户端

5-2.附加信息的共享

6.总结

<系统的概述>

[1-1.系统配置的示例]

首先将参照图1和图2描述根据本发明的实施例的系统的概要。图1是说明根据本发明的实施例的信息处理系统1的概要的示意图。参照图1，根据实施例的信息处理系统1包括地图管理服务器10、终端设备100a以及终端设备100b。

地图管理服务器10是信息处理设备，其提供用于允许在多个用户当中共享地图和与该地图相关联的信息的地图共享服务。地图管理服务器10在内部或者在外部具有数据库并且在该数据库中存储稍后描述的全局地图。通常通过使用诸如个人计算机(PC)或工作站的通用信息处理设备来实现地图管理服务器10。

在该说明书中，将由地图管理服务器10管理的地图称为全局地图。全局地图是表示物理物体在地图共享服务的整个服务区域A_G的实际空间中的位置的地图。

终端设备100a是由用户Ua持有的信息处理设备。终端设备100b是由用户Ub持有的信息处理设备。在该说明书中，当不特别需要区分终端设备100a和终端设备100b时，通过去除附于附图标记的字母文字，将它们统称为终端设备100。终端设备100可以通过有线或无线的通信连接，与地图管理服务器10通信。终端设备100通常可以是任何类型的信息处理设备，诸如PC、智能电话、个人数字助理(PDA)、便携式音乐播放器或者游戏终端。

终端设备100具有能够检测周围物体的位置的传感器功能。然后，终端设备100使用该传感器功能，生成表示物体在其自身设备附近(例如，在区域A_La或区域A_Lb中)的位置的局部地图。在该实施例中，描述了如下情况：使用同时定位与地图创建(SLAM)技术作为传感器功能的示例，其中，同时定位与地图创建技术可以使用单目照相机来同时估计照相机的位置和姿势、以及出现在输入图像中的物体的特征点的位置。

此外，终端设备100具有使用所生成的局部地图来更新由地图管理服务器10管理的全局地图的更新功能以及显示最新的全局地图(或过去特定时间点处的全局地图)的显示功能。具体地，例如，用户Ua可以在终端设备100a的屏幕上查看由用户Ub持有的终端设备100b更新的全局地图。此外，例如，用户Ub可以在终端设备100b的屏幕上查看由用户Ua持有的终端设备100a更新的全局地图。

[1-2.位置数据的示例]

图2是用于说明全局地图和局部地图中所包括的物体的位置数据的示意图。

图2示出了在实际空间中存在的四个物理物体B1至B4。物体B1是桌子。物体B2是咖啡杯。物体B3是笔记本PC。物体B4是窗户。物体B4的位置通常不移动。在该说明书中，将不移动的物体称为不移动物体或者陆标。图2还示出了各物体的位置数据R1至R4。位置数据R1至R4分别包括物体ID“Obj1”至“Obj4”、位置“X1”至“X4”、姿势“Ω1”至“Ω4”以及表示生成位置数据的时间点的时间戳“YYYYMMDDhhmmss”。

全局地图是如下数据集：其包括存在于整个服务区域A_G的实际空间中的物理物体的、如图2所示的位置数据。例如，当一个整体建筑物是服务区域A_G时，全局地图可以不但包括在图2中示出的一个房间中的物体的位置数据，而且包括其它房间中的物体的位置数据。以固定方式将全局地图的位置数据的坐标系事先设置为全局坐标系。

另一方面，局部地图是如下数据集：其包括存在于终端设备100的附近的实际空间中的物理物体的、如图2所示的位置数据。例如，局部地图可以包括在图2中示出的物体B1至B4的位置数据。局部地图的坐标系的原点的位置和坐标轴的方向取决于终端设备100的照相机的位置和姿势。因此，局部地图的坐标系通常不同于全局坐标系。

注意，位置可以由全局地图或局部地图表示的物体不限于图2中示出的示例。例如，可以在全局地图或局部地图中包括诸如位于室外的建筑物或车的物体、而不是位于室内的物体的位置数据。在这种情况下，建筑物可以用作陆标。

<2.根据实施例的地图管理服务器的配置>

图3是示出根据实施例的地图管理服务器10的配置示例的框图。参照图3，地图管理服务器10包括通信接口20、全局地图存储单元30、部分全局地图提取单元40、更新单元50、以及全局地图传递单元60。

通信接口20是用作地图管理服务器10与终端设备100之间的通信连接的中介的接口。通信接口20可以是无线通信接口或者有线通信接口。

全局地图存储单元30与使用诸如硬盘或半导体存储器的存储介质构造的数据库相对应，并且存储表示物理物体在多个用户活动的实际空间中的位置的上述全局地图。然后，全局地图存储单元30响应于来自部分全局地图提取单元40的请求，输出作为全局地图的子集的部分全局地图。此外，由更新单元50更新存储在全局地图存储单元30中的全局地图。此外，全局地图存储单元30响应于来自全局地图传递单元60的请求，输出全局地图的全部或者所请求的部分。

部分全局地图提取单元40通过通信接口20接收与终端设备100的位置有关的信息，并且根据该信息来提取部分全局地图。然后，部分全局地图提取单元40通过通信接口20将所提取出的部分全局地图传送至终端设备100。部分全局地图是全局地图的子集。部分全局地图表示位于终端设备100的位置附近的局部区域中的物理物体在全局坐标系内的位置。

图4是用于说明部分全局地图的说明图。在图4的左侧处示出了包含具有物体ID“Obj1”至“Obj19”的19个物体的位置数据的全局地图M_G。这19个物体分散在图4的右侧处示出的服务区域A_G中。与由用户Ua持有的终端设备100a的位置的距离是阈值D以下的物体是B1至B9。在这种情况下，例如，物体B1至B9的位置数据构成用户Ua的部分全局地图M_G(Ua)。此外，与由用户Ub持有的终端设备100b的位置的距离是阈值D以下的物体是物体B11至B19。在这种情况下，例如，物体B11至B19的位置数据构成用户Ub的部分全局地图M_G(Ub)。预先适当地设置阈值D，使得在部分全局地图中包括稍后描述的局部地图的范围中的大部分。注意，稍后进一步描述关于提取部分全局地图的其它示例。

更新单元50基于通过通信接口20从终端设备100接收到的物体的位置数据，更新存储在全局地图存储单元30中的全局地图。由此，在全局地图上迅速反映物体在实际空间中的位置的变化。稍后进一步描述通过更新单元50进行的全局地图更新处理。

全局地图传递单元60响应于来自终端设备100的请求，将存储在全局地图存储单元30中的全局地图传递至终端设备100。通过终端设备100的显示功能，在终端设备100的屏幕上使从全局地图传递单元60传递的全局地图可视化。由此，用户可以查看最新的全局地图(或者过去特定时间点处的全局地图)。

<3.根据实施例的终端设备的配置>

图5是示出根据实施例的终端设备100的配置示例的框图。参照图5，终端设备100包括通信接口102、成像单元110、初始化单元120、全局地图获取单元130、存储单元132、局部地图生成单元140、计算单元160、转换单元170、更新单元180以及显示控制单元190。

[3-1.通信接口]

通信接口102是用作终端设备100与地图管理服务器10之间的通信连接的中介的接口。通信接口102可以是无线通信接口或者有线通信接口。

[3-2.成像单元]

例如，成像单元110可被实现为具有成像元件(诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))的照相机。成像单元110可以在外部被安装到终端设备100。成像单元110将通过对如图2所示的、存在物理物体的实际空间进行成像而获得的图像作为输入图像输出至初始化单元120和地图生成单元140。

[3-3.初始化单元]

初始化单元120通过使用从成像单元110输入的输入图像，定位终端设备100在全局坐标系中的大致位置。例如，可根据在日本专利申请早期公开第2008-185417号中公开的技术，执行基于输入图像对终端设备100的位置的定位。在这种情况下，初始化单元120将输入图像与预先存储在存储单元132中的参考图像进行匹配，并且为具有高度匹配的参考图像设置高分数。然后，初始化单元120基于该分数来计算终端设备100的位置的候选的概率分布，并且基于所计算出的概率分布来定位终端设备100的可能位置(假定概率分布中具有最高概率值的位置)。然后，初始化单元120将所定位的终端设备100的位置输出至全局地图获取单元130。

注意，初始化单元120可通过使用全局定位系统(GPS)功能而不是上述技术来定位终端设备100的位置。此外，初始化单元120例如可通过使用能够基于来自附近无线访问点的场强度信息来测量当前位置的诸如PlaceEngine的技术，定位终端设备100的位置。

[3-4.全局地图获取单元]

全局地图获取单元130通过通信接口102将与终端设备100的位置有关的信息传送至地图管理服务器10，并且获取由地图管理服务器10的部分全局地图提取单元40提取的上述部分全局地图。然后，全局地图获取单元130将所获取的部分全局地图存储到存储单元132中。

图6A是用于说明部分全局地图获取处理的第一示例的说明图。参照图6A，终端设备100的全局地图获取单元130将终端设备100在全局坐标系的位置坐标传送至地图管理服务器10。然后，地图管理服务器10的部分全局地图提取单元40例如提取由位于距该位置坐标半径D[m]内的物体的位置数据构成的部分全局地图，并且将所提取出的部分全局地图发送回终端设备100。由此，全局地图获取单元130可以获取与具有预定宽度的局部区域相对应的部分全局地图。局部区域例如可以是如下区域：其具有能够由终端设备100的成像单元110直接观测的宽度。这使得与获取整个全局地图的情况相比，能够降低终端设备100的通信成本和处理成本。

图6B是用于说明部分全局地图获取处理的第二示例的说明图。参照图6B，终端设备100的全局地图获取单元130将终端设备100在全局坐标系中的位置坐标传送至地图管理服务器10。然后，地图管理服务器10的部分全局地图提取单元40例如提取由按与该位置坐标的距离的升序排列的n个物体的位置数据构成的部分全局地图，并且将所提取出的部分全局地图发送回终端设备100。由此，全局地图获取单元130可以获取与包含预定数量的数据的局部区域相对应的部分全局地图。通常，随着预先定义的数据的数量n越大，可以以更高的准确度通过稍后要描述的计算单元160进行部分全局地图与局部地图的匹配。考虑匹配的准确度与通信成本和处理成本之间的平衡来确定n的值(例如，n的值可以是n＝100)。

图6C是用于说明部分全局地图获取处理的第三示例的说明图。参照图6C，终端设备100的全局地图获取单元130将用于标识终端设备100所位于的区域的标识符(在下文中称为区域标识符)传送至地图管理服务器10。区域标识符例如可以是终端设备100可以访问的无线访问点的访问点标识符。此外，当一个整体建筑物是服务区域A_G时，区域标识符可以是标识终端设备100所位于的层或房间的号码。接收到区域标识符，地图管理服务器10的部分全局地图提取单元40提取由以区域标识符表示的区域中所包含的物体的位置数据构成的部分全局地图，并且将所提取出的部分全局地图发送回终端设备100。另外，在这种情况下，与获取整体全局地图的情况相比，可以降低终端设备100的通信成本和处理成本。

[3-5.局部地图生成单元]

局部地图生成单元140基于从成像单元110输入的输入图像和存储在存储单元132中的、稍后描述的特征数据，生成表示能够由终端设备100检测的周围物体的位置的上述局部地图。图7是示出根据实施例的局部地图生成单元140的详细配置的示例的框图。参照图7，局部地图生成单元140包括自身位置检测单元142、图像识别单元144以及局部地图构建单元146。

(1)自身位置检测单元

自身位置检测单元142基于从成像单元110输入的输入图像和存储在存储单元132中的特征数据，动态地检测拍摄输入图像的照相机的位置。例如，即使在成像单元110的照相机是单目照相机时，自身位置检测单元142也可通过应用在“Real-Time Simultaneous Localization and Mappingwith a Single Camera”(Andrew J.Davison，Proceedings of the 9th IEEEInternational Conference on Computer Vision Volume 2，2003，pp.1403-1410)中公开的SLAM技术，对于每帧动态地确定照相机的位置和姿势、以及照相机的成像面上的特征点的位置。

首先，参照图8描述通过使用SLAM技术的自身位置检测单元142进行的自身位置检测处理的整体流程。接下来，参照图9至图11详细描述自身位置检测处理。

图8是示出通过使用SLAM技术的自身位置检测单元142进行的自身位置检测处理的流程示例的流程图。在图8中，当自身位置检测处理开始时，自身位置检测单元142首先对状态变量进行初始化(步骤S102)。在该实施例中，状态变量是如下矢量：其包括作为元素的照相机的位置和姿势(旋转角)、照相机的移动速度和角速度以及一个或多个特征点的位置。然后，自身位置检测单元142顺次地从成像单元110获得输入图像(步骤S112)。可针对每个输入图像(也就是说，每帧)重复从步骤S112至S118的处理。

在步骤S114处，自身位置检测单元142跟踪在输入图像中出现的特征点。例如，自身位置检测单元142从输入图像中检测预先存储在存储单元132中的每个特征点的片(patch)(例如，特征点周围3x3＝9个像素的小图像)。稍后当更新状态变量时，使用这里所检测到的片的位置，也就是说，特征点的位置。

在步骤S116处，自身位置检测单元142基于例如预定的预测模型，生成下一帧的状态变量的预测值。另外，在步骤S118处，自身位置检测单元142使用在步骤S116处所生成的状态变量的预测值和根据在步骤S114处所检测到的特征点的位置的观测值，更新状态变量。自身位置检测单元142基于扩展卡尔曼滤波器的原理，执行在步骤S116和S118处的处理。

作为这样处理的结果，输出针对每帧更新的状态变量的值。在下文中更具体地描述跟踪特征点(步骤S114)、预测状态变量(步骤S116)以及更新状态变量(步骤S118)的每个处理的配置。

(1-1)跟踪特征点

在该实施例中，存储单元132预先存储表示与可存在于实际空间中的物理物体相对应的物体的特征的特征数据。特征数据例如包括小图像，也就是说，关于一个或多个特征点的片，每个特征点表示每个物体的外观的特征。片例如可以是由特征点周围的3x3＝9个像素构成的小图像。

图9示出了物体的两个示例、以及在每个物体上所设置的特征点(FP)和片的示例。图9中的左侧物体是表示PC的物体(参照图9a)。在该物体上设置包括特征点FP1的多个特征点。此外，与特征点FP1相关地定义片Pth1。另一方面，图9中的右侧物体是表示日历的物体(参照图9b)。在该物体上设置包括特征点FP2的多个特征点。此外，与特征点FP2相关地定义片Pth2。

在获得来自成像单元110的输入图像时，自身位置检测单元142将输入图像中所包括的部分图像与预先存储在存储单元132中的图9中示出的每个特征点的片进行匹配。然后，自身位置检测单元142指定输入图像中所包括的每个特征点的位置(例如，所检测到的片的中心像素的位置)作为匹配结果。

应该注意的是，为了跟踪特征点(图8中的步骤S114)，不一定预先将关于要跟踪的全部特征点的数据存储在存储单元132中。例如，在图10所示的示例中，在时刻T＝t-1处，在输入图像中检测到四个特征点(参照图10a)。接下来，当在时刻T＝t处照相机的位置或姿势变化时，在输入图像中仅出现在时刻T＝t-1处在输入图像中出现的四个特征点中的两个特征点。在这种情况下，自身位置检测单元142可在输入图像的特征像素图样(pattern)存在的位置处重新设置特征点，并且在用于随后帧的自身位置检测处理中使用新特征点。例如，在图10所示的示例中，在时刻T＝t处，在物体上设置三个新特征点(参照图10b)。这是SLAM技术的特征，并且根据该技术，可以降低预先设置全部特征点的成本，并且可以使用增加数量的特征点提高处理的准确度。

(1-2)状态变量的预测

在该实施例中，自身位置检测单元142使用在下面等式中表达的状态变量X作为应用于扩展卡尔曼滤波器的状态变量。

[等式1]

X = \{\begin{matrix} x \\ ω \\ \overset{\cdot}{x} \\ \overset{\cdot}{ω} \\ p_{1} \\ \cdot \\ \cdot \\ \cdot \\ p_{N} \end{matrix}\} - - - (1)

等式(1)中的状态变量X的第一元素表示照相机在对于每个终端设备100设置的局部地图坐标系(x、y、z)中的三维位置。注意，例如，根据成像单元110的照相机在初始化处理中的位置和姿势，设置局部地图坐标系。例如，局部地图坐标系的原点可以在照相机在初始化处理中的位置处。

[等式2]

x = (\begin{matrix} x_{c} \\ y_{c} \\ z_{c} \end{matrix}) - - - (2)

另外，状态变量的第二元素是四维矢量ω，其使与旋转矩阵相对应的、表示照相机的姿势的四元数(quaternion)作为元素。注意，可使用欧拉角替代四元数来表示照相机的姿势。另外，状态变量的第三元素和第四元素分别表示照相机的移动速度和角速度。

此外，状态变量的第五元素和随后的元素表示如在下面等式中所表达的、特征点FP_i(i＝1...N)在局部地图坐标系中的三维位置p_i。注意，如上所述，特征点的数量N可在处理期间变化。

[等式3]

p_{i} = \begin{matrix}  \end{matrix} (\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix}) - - - (3)

自身位置检测单元142基于在步骤S102处所初始化的状态变量X的值或者在先前帧中所更新的状态变量X的值，生成最新帧的状态变量的预测值。根据取决于如下面等式所示的多维正态分布的扩展卡尔曼滤波器的状态方程，生成状态变量的预测值。

[等式4]

预测的状态变量

\hat{X} = F (X, a) + w - - - (4)

这里，F表示关于系统的状态转移的预测模型，并且“a”表示预测条件。另外，w表示高斯噪声并且例如可包括模型近似误差、观测误差等。通常，高斯噪声w的平均是0。

图11是用于说明根据该实施例的预测模型的示例的说明图。参照图11，示出了根据该实施例的预测模型中的两个预测条件。首先，作为第一条件，假设特征点在局部地图坐标系中的三维位置不变化。也就是说，倘若时刻T处的特征点FP1的三维位置是P_T，则满足下列关系。

[等式5]

p_t＝p_t-1(5)

接下来，作为第二条件，假设照相机的运动是匀速运动。也就是说，对于照相机从时刻T＝t-1到时刻T＝t的速度和角速度，满足下列关系。

[等式6]

{\overset{\cdot}{x}}_{t} = {\overset{\cdot}{x}}_{t - 1} - - - (6)

{\overset{\cdot}{ω}}_{t} = {\overset{\cdot}{ω}}_{t - 1} - - - (7)

自身位置检测单元142基于这样的预测模型和在等式(4)中表达的状态方程式，生成最新帧的状态变量的预测值。

(1-3)状态变量的更新

然后，自身位置检测单元142使用观测等式，例如估计从状态变量的预测值所预测的观测信息与作为特征点跟踪的结果而获得的实际观测信息之间的误差。注意，等式(8)中的v是误差。

[等式7]

观测信息

s = H (\hat{X}) + v - - - (8)

预测的观测信息

\hat{s} = H (\hat{X}) - - - (9)

这里，H表示观测模型。例如，如在下面等式中所表达的那样，定义特征点FP_i在成像面(u-v面)上的位置。

[等式8]

FP_i在成像面上的位置

{\tilde{p}}_{i} = (\begin{matrix} u_{i} \\ v_{i} \\ 1 \end{matrix}) - - - (10)

这里，给出照相机的位置x、照相机的姿势ω以及特征点FP_i的三维位置p_i全都作为状态变量X的元素。然后，根据针孔(pinhole)模型，使用下列等式来推导特征点FP_i在成像面上的位置。

[等式9]

λ {\tilde{p}}_{i} = A R_{ω} (p_{i} - x) - - - (11)

这里，λ表示归一化的参数，A表示照相机内部参数，R_ω表示与四元数ω相对应的旋转矩阵，其中，该四元数ω表示状态变量X中所包括的照相机的姿势。根据拍摄输入图像的照相机的特性，如在下列等式所表达的那样，预先给出照相机内部参数A。

[等式10]

A = (\begin{matrix} - f \cdot k_{u} & f \cdot k_{u} \cdot \cot θ & u_{O} \\ 0 & - \frac{f \cdot k_{v}}{\sin θ} & v_{O} \\ 0 & 0 & 1 \end{matrix}) - - - (12)

这里，f表示焦距，θ表示图像轴的正交性(理想值是90度)，k_u表示沿成像面的纵轴的比例(从局部地图坐标系到成像面的坐标系的比例的变化率)，k_v表示沿成像面的横轴的比例，并且(u_o，v_o)表示成像面的中心位置。

因此，可通过搜索状态变量X来获得可行的最新状态变量X，这使得使用等式(11)推导出的预测的观测信息(即，每个特征点在成像面上的位置)与在图8中的步骤S114处特征点跟踪的结果之间的误差最小。

[等式11]

最新状态变量

X &LeftArrow; \hat{X} + Innov (s - \hat{s}) - - - (13)

自身位置检测单元142将通过以此方式应用SLAM技术而动态更新的照相机的位置x和姿势ω输出至局部地图构建单元146。

(2)特征数据

存储单元132预先存储表示与可能存在于实际空间中的物理物体相对应的物体的特征的特征数据。图12是用于说明特征数据的配置示例的说明图。

参照图12，示出了作为物体B2的示例的特征数据FD1。特征数据FD1包括物体名称FD11、从六个方向拍摄的图像数据FD12、片数据FD13、三维形状数据FD14以及本体(ontology)数据FD15。

物体名称FD11是可以指定相应物体的名称，诸如“咖啡杯A”。

图像数据FD12例如包括通过从六个方向(前、后、左、右、上以及下)拍摄相应物体的图像而获得的六个图像。片数据FD13是针对在每个物体上设置的一个或多个特征点中的每一个的、在各特征点周围的小图像的集合。图像数据FD12和片数据FD13可用于通过稍后要描述的图像识别单元144进行的物体识别处理。另外，片数据FD13可用于通过自身位置检测单元142进行的上述自身位置检测处理。

三维形状数据FD14包括用于识别相应物体的形状的多边形(polygon)信息和特征点的三维位置信息。三维形状数据FD14可用于通过稍后要描述的局部地图构建单元146进行的局部地图构建处理。

本体数据FD15例如是可用来协助通过局部地图构建单元146进行的局部地图构建处理的数据。在图12中示出的示例中，本体数据FD15表示作为咖啡杯的物体B2可能与对应于桌子的物体接触而不可能与对应于书架的物体接触。

(3)图像识别单元

图像识别单元144通过使用存储在存储单元132中的上述特征数据，指定在输入图像上出现的每个物体与哪个物体对应。

图13是示出通过图像识别单元144进行的物体识别处理的流程的示例的流程图。参照图13，图像识别单元144首先从成像单元110获得输入图像(步骤S212)。接下来，图像识别单元144将输入图像中所包括的部分图像与特征数据中所包括的每个物体的一个或多个特征点的片进行匹配，以提取输入图像中所包括的特征点(步骤S214)。应该注意的是，在通过图像识别单元144进行的物体识别处理中所使用的特征点和在通过自身位置检测单元142进行的自身位置检测处理中所使用的特征点不一定相同。然而，当在这两种处理中都使用共同特征点时，图像识别单元144可重新使用通过自身位置检测单元142进行的特征点跟踪的结果。

接下来，图像识别单元144基于特征点的提取结果，指定在输入图像中出现的物体(步骤S216)。例如，当在某区域中以高密度提取属于一个物体的特征点时，图像识别单元144可识别出物体存在于该区域中。然后，图像识别单元144将所指定的物体的物体名称(或标识符)和属于该物体的特征点在成像面上的位置输出至局部地图构建单元146(步骤S218)。

(4)局部地图构建单元

局部地图构建单元146使用从自身位置检测单元142输入的照相机的位置和姿势、从图像识别单元144输入的特征点在成像面上的位置、以及存储在存储单元132中的特征数据，生成局部地图。在该实施例中，局部地图是使用局部地图坐标系来表示存在于终端设备100附近的一个或多个物体的位置和姿势的位置数据的集合。此外，在局部地图中所包括的各位置数据例如可与对应于物体的物体名称、属于物体的特征点的三维位置、以及构成物体的形状的多边形信息相关联。例如，可通过根据从图像识别单元144输入的特征点在成像面上的位置、根据上述针孔模型获得每个特征点的三维位置，构建局部地图。

通过使在等式(11)中表达的针孔模型的关系式变形，可通过下列等式获得特征点FP_i在局部地图坐标系中的三维位置p_i。

[等式12]

p_{i} = x + λ \cdot {R_{ω}}^{T} \cdot A^{- 1} \cdot {\tilde{p}}_{i} = x + d \cdot {R_{ω}}^{T} \frac{A^{- 1} \cdot {\tilde{p}}_{i}}{| | A^{- 1} \cdot {\tilde{p}}_{i} | |} --- (14)

这里，d表示照相机与每个特征点之间在局部地图坐标系中的距离。局部地图构建单元146可基于至少四个特征点在成像面上的位置以及每个物体的特征点之间的距离，计算这样的距离d。在存储单元132中预先存储特征点之间的距离，作为在参照图12说明的特征数据中所包括的三维形状数据FD14。应该注意的是，在日本专利申请早期公开第2008-304268号中详细公开了等式(14)中的距离d的计算处理。

在计算出距离d之后，等式(14)的右侧的剩余变量是从自身位置检测单元142输入的照相机的位置和姿势、以及从图像识别单元144输入的特征点在成像面上的位置，并且所有这些都是已知的。然后，局部地图构建单元146根据等式(14)计算从图像识别单元144输入的每个特征点在局部地图坐标系中的三维位置。然后，局部地图构建单元146根据所计算出的每个特征点的三维位置，构建最新的局部地图。应该注意的是，此时，局部地图构建单元146可使用参照图12说明的特征数据中所包括的本体数据FD15，提高局部地图的数据的准确度。然后，局部地图构建单元146将所构建的局部地图存储到存储单元132中，并且将局部地图输出至计算单元160。

应该注意的是，以上描述了局部地图生成单元140通过使用特征数据中所包括的图像(诸如物体的每个特征点的片)来生成局部地图的情况。然而，当为物体预先设置用于标识每个物体的标识手段(诸如标记或标签)时，局部地图生成单元140可使用标识手段来标识每个物体，并且使用标识结果来生成局部地图。作为用于标识每个物体的标识手段，例如，可使用条形码、QR码(注册商标)、RF(射频)标签等。

[3-6.计算单元]

计算单元160对部分全局地图中所包括的物体的位置数据与局部地图中所包括的物体的位置数据进行匹配，并且基于匹配结果来计算局部地图相对于全局地图的相对位置和姿势。局部地图相对于部分全局地图的相对位置和姿势与局部地图坐标系参照全局坐标系的位移和斜率相对应。具体地，计算单元160例如可基于在部分全局地图和局部地图中共同包括的陆标的位置数据，计算局部地图的相对位置和姿势。可选地，计算单元160例如可计算局部地图的相对位置和姿势，使得当将局部地图中所包括的物体的位置数据转换成全局坐标系的数据时，转换后的数据与部分全局地图中所包括的物体的位置数据之间的差总体上变小。然后，计算单元160将局部地图以及所计算出的局部地图的相对位置和姿势输出至转换单元170。

(第一技术)

图14A是用于说明由根据实施例的计算单元160进行的地图匹配处理的示例的说明图。

图14A示意性地示出了存储在存储单元132中的部分全局地图M_G(Ua)和由局部地图生成单元140生成的局部地图M_La。部分全局地图M_G(Ua)包括由立方体表示的九个物体。此外，局部地图M_La包括由球体表示的四个物体。在这些物体中，在部分全局地图M_G(Ua)和局部地图M_La中共同包括物体B1、B2(B2’)、B3以及B4。物体B1、B3以及B4是作为路标的、几乎不移动的不移动物体。因此，计算单元160可例如以如下方式计算局部地图的位置和姿势：当将局部地图的物体B1、B3以及B4的位置数据转换成全局坐标系的数据时，转换后的数据与部分全局地图中所包括的物体B1、B3以及B4的位置数据彼此相符。

首先，计算单元160提取部分全局地图M_G(Ua)和局部地图M_La所共有的三对陆标(或陆标上的特征点)。对于这三对陆标，在局部地图坐标系中的三维位置是w_i(i＝1，2，3)，并且在全局坐标系中的三维位置是X_i。此外，当局部地图坐标系参照全局坐标系的位移是ΔX、并且与局部地图坐标系的斜率ΔΩ相对应的旋转矩阵是R_L时，建立下列等式。

[等式13]

X₁＝R_L·w₁+ΔX

X₂＝R_L·w₂+ΔX (15)

X₃＝R_L·w₃+ΔX

通过将等式(15)变形成下列等式(16)来获得旋转矩阵R_L。

[等式14]

X₁-X₃＝R_L·(w₁-w₃)

X₂-X₃＝R_L·(w₂-w₃)(16)

(X₁-X₃)×(X₂-X₃)＝R_L{(w₁-w₃)×(w₂-w₃)}

应该注意的是，在使用四元数而不是旋转矩阵R_L来表示局部地图坐标系的旋转的情况下，还可使用表示旋转的四元数的范数(norm)为1来计算表示旋转的四元数(和与该四元数对应的旋转矩阵)。

此外，计算单元160可以通过求解方程式(15)来计算局部地图坐标系的位移ΔX。

注意，在图14A的示例中，并不是陆标的物体B2在部分全局地图M_G(Ua)中的位置和在局部地图M_La中的位置(B2’)不同。这意味着，物体B2在从部分全局地图M_G(Ua)的最后的更新时刻至局部地图M_La的生成时刻的时段期间已移动。

(第二技术)

图14B是用于说明通过根据实施例的计算单元160进行的地图匹配处理的另一示例的说明图。

图14B示意性地示出了存储在存储单元132中的部分全局地图M_G(Ua)和由局部地图生成单元140生成的局部地图M_La。部分全局地图M_G(Ua)包括由立方体表示的九个物体。此外，局部地图M_La包括由球体表示的四个物体。在这些物体中，在部分全局地图M_G(Ua)和局部地图M_La中共同包括物体B5、B6、B7以及B8。因此，计算单元160k可例如以如下方式计算局部地图的位置(局部地图坐标系的位移ΔX)和姿势(局部地图坐标系的斜率ΔΩ)：当将物体B5至B8的位置数据转换成全局坐标系的数据时，转换后的数据与物体B5至B8的位置数据之间的差的总和(例如，图14B的示例中的距离E5、E6、E7和E8的总和)较小。例如，计算单元160可通过应用公知的随机采样一致性(RANSAC)算法，计算上述差的总和较小的可能的局部地图位置和姿势。

RANSAC算法通常是如下算法：对于三维位置已知的多个点，确定包含预置的误差范围内的这多个点的线或面。在该实施例中，计算单元160首先准备部分全局地图M_G(Ua)和局部地图M_La所共有的多对(适合地，四对以上)物体(或物体上的特征点)。接下来，计算单元160从所准备的多个对中随机提取三对。然后，计算单元160通过求解上述方程式(15)，推导局部地图坐标系的位移ΔX和与局部地图坐标系的斜率ΔΩ相对应的旋转矩阵R_L的候选。然后，计算单元160使用下列评估式来评估所推导出的候选。

[等式15]

ε_j＝||X_j-(R_L·w_j+ΔX||(17)

注意，在等式(17)中，j表示每个物体(或物体上的特征点)。计算单元160对使等式(17)中的评估值ε_j小于预定阈值的j的数量进行计数。然后，计算单元160将计数结果最大的位移ΔX和旋转矩阵R_L确定为可能的局部地图的位置和姿势。

(第一技术和第二技术的组合)

此外，计算单元160可例如根据局部地图中所包括的陆标的数量，适当地使用上述第一技术和第二技术两者。例如，当在局部地图中包括三个陆标时，可使用参照图14A所描述的技术来计算局部地图的相对位置和姿势，并且当在局部地图中包括两个以下的陆标时，可使用参照图14B所描述的技术来计算局部地图的相对位置和姿势。

[3-7.转换单元]

转换单元170根据从计算单元160输入的局部地图的相对位置和姿势，执行局部地图中所包括的物体的位置数据到全局地图坐标系的数据的坐标转换。具体地，转换单元170使用与从计算单元160输入的局部地图的斜率ΔΩ相对应的旋转矩阵，对局部地图中所包括的物体的三维位置(局部地图坐标系)进行旋转。然后，转换单元170将从计算单元160输入的局部地图的相对位置(局部地图坐标系相对于全局坐标系的位移ΔX)添加至旋转后的坐标。由此，将局部地图中所包括的物体的位置数据转换成全局地图坐标系的数据。转换单元170将坐标转换之后的局部地图中所包括的物体的位置数据输出至更新单元180。

此外，转换单元170可使用从计算单元160输入的局部地图的相对位置和姿势，执行由局部地图生成单元140的自身位置检测单元142检测到的局部地图坐标系的照相机位置和姿势到全局地图坐标系的数据的坐标转换。由此，可根据初始化之后的终端设备100的移动，更新由初始化单元120指定的终端设备100的位置。此后，全局地图获取单元130可根据更新后的终端设备100的新位置，从地图管理服务器10获取新的部分全局地图。

[3-8.更新单元]

更新单元180通过使用由转换单元170进行的坐标转换之后的局部地图中所包括的物体的位置数据，更新存储在存储单元132中的部分全局地图。此外，更新单元180将由转换单元170进行的坐标转换之后的局部地图或更新后的部分全局地图传送至地图管理服务器10，由此更新存储在地图管理服务器10中的全局地图。全局地图的更新可最终由地图管理服务器10的更新单元50执行，其中，地图管理服务器10的更新单元50已从终端设备100的更新单元180接收到坐标转换之后的局部地图或更新之后的全局地图。

图15A是用于说明根据实施例的全局地图更新处理的示例的说明图。

图15A示意性地示出了更新之前的部分全局地图M_G(Ua)和坐标转换之后的局部地图M_La’。更新之前的部分全局地图M_G(Ua)包括九个物体(Obj1至Obj9)的位置数据。作为示例，这些位置数据的时间戳表示2010/1/1 23:59:59。坐标转换之后的局部地图M_La’包括五个物体(Obj1至Obj4)的位置数据。作为示例，这些位置数据的时间戳表示2010/1/2 12:00:00。在这种情况下，更新单元180针对每个共同物体(Obj1至Obj4)，将部分全局地图M_G(Ua)的位置数据更新成更加新的坐标转换之后的局部地图M_La’的位置数据。此外，更新单元180将新物体(Obj10)的位置数据插入至部分全局地图M_G(Ua)。结果，生成新的部分全局地图M_G(Ua)’。

注意，虽然通过图15A的示例中的新数据来更新共同物体的位置数据，但是替代地，共同物体的旧位置数据和新位置数据可共同存在。这使得随着时间能够通过过滤不但提取最新的全局地图而且提取过去的全局地图。在这种情况下，例如可通过周期处理，在一定时段过去之后删除旧位置数据。

图15B是用于说明根据实施例的全局地图更新处理的另一示例的说明图。

图15B示意性地示出了更新之前的部分全局地图M_G(Ua)和坐标转换之后的局部地图M_La’。更新之前的部分全局地图M_G(Ua)包括七个物体(包括物体B1至B3)。另一方面，坐标转换之后的局部地图M_La’包括四个物体B1至B3以及B12。在这种情况下，更新单元180例如删除在与坐标转换之后的局部地图M_La’相对应的区域(由图15B中的虚线表示的区域)中所包括的更新之前的部分全局地图M_G(Ua)中的物体，并且将该区域中所包括的、坐标转换之后的局部地图M_La’中的物体插入至部分全局地图M_G(Ua)中。结果，生成如在图15B的底部所示的新的部分全局地图M_G(Ua)’。根据这样的更新处理，可以适当地在全局地图上反映难以通过图像识别区分的多个物体(诸如，具有相同外观的多个物体)的移动。

注意，另外，在图15B的示例中，旧位置数据和新位置数据可在一张地图中共同存在。此外，因为部分全局地图中所包括的物体当中用作陆标的物体通常不移动，因此更新单元180可对陆标的位置数据跳过更新处理。

参照图15A和15B的以上描述不但可应用于通过终端设备100的更新单元180进行的部分全局地图的更新，还可以相同方式应用于通过地图管理服务器10的更新单元50进行的全局地图的更新。在这种情况下，图15A和15B中的部分全局地图与存储在全局地图存储单元30中的全局地图相对应，并且图15A和15B中的坐标转换之后的局部地图与从终端设备100传送至地图管理服务器10的部分全局地图(或坐标转换之后的局部地图)相对应。

[3-9.显示控制单元]

显示控制单元190响应于来自用户的指令，从地图管理服务器10下载全局地图，至少部分地使全局地图可视化，并且将其输出至终端设备100的屏幕。具体地，例如，当显示控制单元190检测到来自用户的指令的输入时，显示控制单元190将对传送全局地图的请求传送至地图管理服务器10的全局地图传递单元60。然后，从地图管理服务器10的全局地图传递单元60传递存储在全局地图存储单元30中的全局地图。显示控制单元190接收全局地图，使用户期望的区域(其可以是与用户当前所位于的区域不同的区域)中的物体的位置可视化，并且将其输出至屏幕。

[4.处理的流程]

图16是示出根据实施例的地图管理服务器10与终端设备100之间的地图更新处理的流程的示例的流程图。

参照图16，终端设备100的初始化单元120首先通过使用从成像单元110输入的输入图像，对终端设备100在全局坐标系中的位置进行初始化(步骤S302)。例如可在启动终端设备100时、在启动终端设备100的给定应用时等执行通过初始化单元120进行的初始化处理。

接下来，终端设备100的全局地图获取单元130将与终端设备100在全局坐标系中的位置有关的信息传送至地图管理服务器10(步骤S304)。与终端设备100的位置有关的信息可以是终端设备100在全局坐标系中的坐标，或者可选地可以是用于标识终端设备100所位于的区域的区域标识符。

然后，地图管理服务器10的部分全局地图提取单元40提取终端设备100的部分全局地图(其是存储在全局地图存储单元30中的全局地图的子集)(步骤S306)。

然后，地图管理服务器10的部分全局地图提取单元40将终端设备100的部分全局地图传送至终端设备100的全局地图获取单元130(步骤S308)。

然后，终端设备100的局部地图生成单元140基于输入图像和特征数据，生成表示周围物体的位置的局部地图(步骤S310)。

此后，终端设备100的计算单元160基于部分全局地图中所包括的物体的位置数据和局部地图中所包括的物体的位置数据，计算基于全局坐标系的局部地图的相对位置和姿势(步骤S312)。然后，根据由计算单元160计算出的局部地图的相对位置和姿势，转换单元170执行局部地图中所包括的物体的位置数据到全局坐标系的数据的坐标转换。

然后，终端设备100的更新单元180通过使用坐标转换之后的局部地图中所包括的物体的位置数据，更新存储在终端设备100的存储单元132中的部分全局地图。此外，更新单元180更新终端设备100在全局坐标系中的位置(步骤S314)。

然后，终端设备100的更新单元180将更新后的部分全局地图传送至地图管理服务器10的更新单元50(步骤S316)。然后，地图管理服务器10的更新单元50通过使用更新后的部分全局地图中所包括的物体的位置数据，更新存储在全局地图存储单元30中的全局地图(步骤S318)。

此后，定期地或响应于请求来重复从局部地图的生成(步骤S310)至全局地图的更新(步骤S318)的处理。此外，例如，当终端设备100的位置变得与部分全局地图的中心相距预定距离以上时，可以执行从基于最新的终端设备100的位置获取部分全局地图(步骤S304)起的处理。

用户可以通过使用经由地图管理服务器10的全局地图传递单元60和终端设备100的显示控制单元190提供的显示功能，在终端设备100的屏幕上查看通过这样的地图更新处理而更新的全局地图。

<5.可选的示例>

[5-1.超级客户端]

以上主要描述了在地图管理服务器10与终端设备100之间执行地图更新处理的情况。然而，本发明不限于此。例如，由任何用户持有的终端设备100可具有与地图管理服务器10的全局地图管理功能类似的全局地图管理功能。在该部分中，这样的终端设备被称为超级客户端。

图17是示出作为示例的超级客户端200的配置示例的框图。参照图17，超级客户端200包括通信接口210、服务器处理模块220、客户端处理模块230以及显示控制单元240。

通信接口210是用作超级客户端200与其它终端设备(例如，图5中示出的终端设备100)之间的通信连接的中介的接口。通信接口210可以是无线通信接口或者有线通信接口。

服务器处理模块220是如下模块：其具有与上述地图管理服务器10的全局地图管理功能类似的全局地图管理功能。服务器处理模块220包括全局地图存储单元30、部分全局地图提取单元40、更新单元50以及全局地图传递单元60。服务器处理模块220与其它终端设备执行如参照图16所述的地图更新处理，并且还与稍后要描述的客户端处理模块230执行地图更新处理。

客户端处理模块230是如下模块：其具有与上述地图管理服务器10的全局地图更新和查看功能等类似的全局地图更新和查看功能等。客户端处理模块230包括成像单元110、初始化单元120、全局地图获取单元130、存储单元132、局部地图生成单元140、计算单元160、转换单元170以及更新单元180。

显示控制单元240响应于来自用户的指令，至少部分地使存储在服务器处理模块220的全局地图存储单元30中的全局地图可视化，并且将其输出至屏幕。此外，显示控制单元240可使存储在客户端处理模块230的存储单元132中的部分全局地图或局部地图可视化，并且将其输出至屏幕。

上述超级客户端200以及一个或多个终端设备100的使用例如使得多个用户能够通过使用P2P(点对点)的通信连接来共享一个全局地图。

[5-2.附加信息的共享]

终端设备100例如可将附加信息(诸如使用成像单元110捕获的图像等)与坐标数据相关联地连同部分全局地图一起传送至地图管理服务器10。然后，通过地图管理服务器10的全局地图传递单元60和终端设备100的显示控制单元190使附加信息可查看，由此使得多个用户能够共享与动态更新的全局地图相关联的附加信息。附加信息例如可以是在终端设备100中所捕获的实际图像或者诸如出现在图像上的字符的识别结果。例如，通过与车在全局地图中的位置数据相关联地共享停在街道中的车的号码的读取结果，可以用于检测非停车区等中的违反交通(参照图18)。此外，通过与商品在全局地图中的位置数据相关联地共享商品在购物街的每个商店中的价格信息，期望提高用户购物的便利性并促进商品的销售。此外，通过与商品在全局地图中的位置数据相关联地共享库存品在仓库中的数据，利于库存控制。

<6.总结>

以上参照图1至18描述了本发明的一个实施例及其应用。根据该实施例，在诸如终端设备100或超级客户端200的信息处理设备中，获取部分全局地图(其作为表示存在于多个用户活动的实际空间中的物理物体的位置的全局地图的至少一部分)，并且生成表示能够由该设备检测到的周围物体的位置的局部地图。然后，基于局部地图中所包括的物体的位置数据，更新在多个用户当中所共享的部分全局地图和全局地图。由此，可以迅速地在用户当中共享物体在实际空间中的位置的变化。此外，因为在局部地图生成处理中所检测到的终端设备100附近的物体的位置数据可以被添加至全局地图，因此即使在服务提供商不提供详细地图的空间中，也可以在用户当中共享物体的更详细位置数据。

根据该实施例，在基于部分全局地图中所包括的物体的位置数据和局部地图中所包括的物体的位置数据来计算基于全局坐标系的局部地图的相对位置和姿势之后，使用根据计算结果坐标变换后的局部地图的位置数据，执行上述更新处理。因此，不对局部地图坐标系设定限制，并且因此，用户可以自由地携带信息处理设备并与其他用户共享动态更新后的全局地图。

此外，根据该实施例，从存储全局地图的服务器设备获取上述部分全局地图。部分全局地图是根据与信息处理设备在实际空间中的位置有关的信息而提取的、全局地图的子集。因此，当在多个用户当中共享全局地图时，抑制用于全局地图的更新处理的通信成本的增加。

此外，根据该实施例，通过应用SLAM技术，基于来自成像设备的输入图像和表示物体外观的特征的特征数据，生成局部地图。因此，即使当信息处理设备仅设置有单目照相机时，也可以通过以高准确度检测物体的位置，来更新全局地图。

此外，根据该实施例，全局地图和局部地图包括实际空间中的物体的位置数据和与该位置数据有关的时间戳。这允许通过对时间戳进行比较来防止多个用户当中的更新的竞争，并且例如使得能够查看由用户指定的过去的位置数据。

通常使用软件来实现在该说明书中描述的通过信息处理设备100进行的序列处理。构成实现该序列处理的软件的程序例如可被预先存储在内部或外部安装至每个设备的存储介质中。然后，每个程序被读取至随机存取存储器(RAM)并且由诸如中央处理单元(CPU)的处理器执行。

虽然以上参照附图详细描述了本发明的优选实施例，但是本发明不限于此。本领域的技术人员应当理解，可以在所附权利要求或其等价物的范围内，根据设计需要或其它因素进行各种修改、组合、子组合以及变更。

本申请包含与2010年3月9日向日本专利局提交的日本优先权专利申请JP 2010-051731中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

Claims

1.一种信息处理设备，其包括：

全局地图获取单元，其获取表示物体在多个用户活动的实际空间中的位置的全局地图的至少一部分；

局部地图生成单元，其生成表示能够由所述多个用户当中的一个用户的设备检测到的周围物体的位置的局部地图；以及

更新单元，其基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。

2.根据权利要求1所述的信息处理设备，还包括：

计算单元，其基于所述全局地图中所包括的物体的位置数据和所述局部地图中所包括的物体的位置数据，计算所述局部地图相对于所述全局地图的相对位置；以及

转换单元，其根据所述局部地图的所述相对位置，执行从所述局部地图中所包括的物体的位置数据到所述全局地图的坐标系的数据的坐标转换，

其中，所述更新单元通过使用在由所述转换单元进行的坐标转换之后的所述局部地图中所包括的物体的位置数据，更新所述全局地图。

3.根据权利要求1所述的信息处理设备，其中

所述信息处理设备是由所述一个用户持有的终端设备。

4.根据权利要求3所述的信息处理设备，其中

所述全局地图获取单元从存储所述全局地图的服务器设备获取所述全局地图的至少一部分，并且

所述更新单元通过将物体的位置数据传送至所述服务器设备来更新所述服务器设备的所述全局地图。

5.根据权利要求4所述的信息处理设备，其中

所述全局地图获取单元获取所述全局地图中与包含所述终端设备在实际空间中的位置的局部区域相对应的部分。

6.根据权利要求4所述的信息处理设备，其中

所述全局地图获取单元获取所述全局地图中表示位于极接近于所述终端设备之处的预定数量的物体的位置的部分。

7.根据权利要求1所述的信息处理设备，其中

所述局部地图生成单元基于通过使用成像设备来对实际空间进行成像而获得的输入图像和表示一个或多个物体的外观的特征的特征数据，生成所述局部地图。

8.根据权利要求2所述的信息处理设备，其中

所述计算单元基于所述全局地图和所述局部地图中所共同包括的不移动物体的位置数据，计算所述局部地图的所述相对位置。

9.根据权利要求2所述的信息处理设备，其中

所述计算单元计算所述局部地图的所述相对位置，使得当将所述局部地图中所包括的物体的位置数据转换成所述全局地图的坐标系的数据时，转换之后的数据与所述全局地图中所包括的物体的位置数据之间的差总体上较小。

10.根据权利要求1所述的信息处理设备，其中

所述全局地图包括实际空间中的每个物体在所述全局地图的坐标系中的位置数据和与该位置数据有关的时间戳。

11.根据权利要求1所述的信息处理设备，还包括：

显示控制单元，其响应于来自用户的指令，至少部分地使所述全局地图可视化在屏幕上。

12.一种由信息处理设备执行的地图更新方法，所述方法用于更新表示物体在多个用户活动的实际空间中的位置的全局地图，所述方法包括以下步骤：

获得所述全局地图的至少一部分；

生成表示能够由所述信息处理设备检测到的周围物体的位置的局部地图；以及

基于所述局部地图中所包括的物体的位置数据来更新所述全局地图。

13.一种程序，其用于使得用于控制信息处理设备的计算机起如下作用：

14.一种信息处理系统，其包括：

服务器设备，其使用存储介质来存储表示物体在多个用户活动的实际空间中的位置的全局地图；以及

由所述多个用户当中的一个用户持有的信息处理设备，所述信息处理设备包括：

全局地图获取单元，其从所述服务器设备获取所述全局地图的至少一部分；

局部地图生成单元，其生成表示能够由所述信息处理设备检测到的周围物体的位置的局部地图；以及