CN101010560A

CN101010560A - 信息处理设备和方法、程序以及信息处理系统

Info

Publication number: CN101010560A
Application number: CNA2005800289434A
Authority: CN
Inventors: 村田诚; 児嶋环; 赵文武; 青山龙; 布赖恩·克拉克森
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-06-29
Filing date: 2005-05-12
Publication date: 2007-08-01
Anticipated expiration: 2025-05-12
Also published as: EP1762822A1; KR101174531B1; KR20070026673A; CN101010560B; EP1762822A4; US7739033B2; US20080019564A1; JPWO2006001129A1; WO2006001129A1

Abstract

公开了一种以小粒度、高精度进行位置标识的信息处理设备和方法、一种程序、以及一种信息处理系统。便携式终端具有GPS模块和照相机。在位置标识模型构造阶段中，位置标识模型根据照相机所获得的、与GPS模块等所收集的位置信息相关联的图像序列来构造，并且存储。在位置标识阶段中，全局区域中的当前位置由GPS模块标识，根据标识结果所选择的位置标识模型、和此时所获得的图像序列，标识局部区域中的当前位置。本发明可应用于便携式终端，例如笔记本个人计算机、PDA以及便携式电话。

Description

信息处理设备和方法、程序以及信息处理系统

技术领域

本发明涉及一种信息处理设备和方法、一种程序、以及一种信息处理系统，更具体地讲，本发明涉及用于以小粒度、高精度进行地点标识的一种信息处理设备和方法、一种程序、以及一种信息处理系统。

当前正在流行的基础型地点标识技术包括例如那些使用GPS(GlobalPositioning System，全局定位系统)和PHS(Personal Handyphone System，个人便携电话系统)(注册商标)的技术。

使用GPS的地点标识，是根据GPS捕捉的来自卫星的信息加以执行的，而使用PHS的地点标识，是根据来自基站的信息加以执行的。

使用这些类型的地点标识，并入了GPS模块和PHS模块的便携设备，能够以从几米到几十米范围的粒度(granularity)指出用户的地点(设备本身的地点)。例如，可以按用户处于住宅里、在办公楼中、或处于十字路口的粒度来标识用户的地点。

顺便提及，在专利文献1中，公开了这样一种技术：通过使用GPS所计算的地点信息、以及根据所捕获图像的特征信息所指出的地点信息，来指出当前地点。与仅使用通过GPS所获取的地点信息、或仅使用由关于所捕获图像的特征信息所指出的地点信息相比，使用这一技术，可以提高地点标识精度。

[专利文献1]日本专利申请公报(特开)No.9-190413

发明内容

本发明所要解决的问题

然而，由于其粒度在几米到几十米的量级上，所以使用GPS和PHS的地点标识可以实现用户处于住宅里的标识程度，但不能实现用户在住宅里哪个房间中，在起居室中、厨房中、餐厅中等等的标识程度。

类似地，这样的地点标识可以实现用户在办公楼中的标识程度，但不能实现用户在办公楼中哪一层或哪一房间的标识程度。而且，如果用户处于户外，则可以实现用户在某十字路口的标识程度，但不能实现他或她将要过十字路口还是已经过十字路口的标识程度。

即，存在着这样的问题：不能够以小粒度、即接近用户当前状况的水平来指出用户的地点。

即使使用专利文献1中所公开的技术，可以指出诸如“A公司的会议室”的精细水平的地点([0023]和[0024]段)。然而，根据GPS所获得的地点信息，通过把权重赋予(通过综合判断)基于图像的地点标识结果，也可以实现这一点(例如，图8)。即，直接执行使用图像的特征的地点标识。因此，例如，与通过使用其它信息估计近似的当前地点，然后通过根据所估计的当前地点，自适应地改变用于标识的数据(在装备中准备的模型等)，来执行地点标识相比，其地点标识精度可能不可靠。

同时，同样参照专利文献1，为了根据图像输入设备所获得的图像进行地点标识，用户需要例如通过学习来预先在该设备中准备诸如用于进行识别的模型等的数据。因此，为了学习等，负担重压在用户上，而不进行该学习等，则不能进行地点标识。另外，在用户首次访问的地方(地点)中，没有准备用于识别的数据，从而不能进行地点标识。

鉴于这样的情况，进行了本发明，本发明使得能够以小粒度、高精度进行地点标识。另外，本发明使得即使对于用户首次访问的地方，仍能够根据所捕获图像序列而进行地点标识。

解决该问题的机制

本发明的第一信息处理设备，其特征在于，具有：地点测量装置，其进行地点测量；获取装置，其根据地点测量装置所进行的地点测量所获得的地点信息，而获取用于进行地点标识的、用于识别的数据；以及地点标识装置，其通过使用获取装置所获取的用于识别的数据、和来自预先确定的传感器的输出，而进行地点标识。

可以对本发明的第一信息处理设备进行配置，使其还具有创建装置，所述创建装置根据来自传感器的输出而创建用于识别的数据。

可以对本发明的第一信息处理设备进行配置，使其还具有存储装置，所述存储装置与地点测量装置所进行的地点测量所获得的地点信息相关联地存储创建装置所创建的用于识别的数据。在这一情况下，获取装置根据地点测量装置所进行的地点测量所获得的地点信息，从存储装置获取用于识别的数据。

可以对本发明的第一信息处理设备进行配置，使其还具有发送装置，所述发送装置把用于识别的数据发送至另一设备。

可以对本发明的第一信息处理设备进行配置，使其还具有：接收装置，从这样的另一设备接收用于识别的数据；以及搜索装置，根据地点信息搜索用于识别的数据。在这一情况下，发送装置把搜索装置所搜索的用于识别的数据发送至这样的另一设备。

可以对获取装置进行配置，以在与地点测量装置所进行的地点测量所获得的地点信息相对应的用于识别的数据未存储在存储装置的情况下，从另一设备获取用于识别的数据。

可以对获取装置进行配置，以按预先确定的时间间隔获取用于识别的数据。

在由预先确定的地点坐标表示由地点测量装置所进行的地点测量所获得的地点信息，以及由预先确定的地点坐标范围表示与用于识别的数据相关联地存储在存储装置中的地点信息的情况下，可以对获取装置进行配置，以当地点测量装置所进行的地点测量所获得的地点坐标超过预先确定的地点坐标范围时，从这样的另一设备获取用于识别的数据。

可以对地点测量装置进行配置，以使用GPS和PHS进行地点测量，并且从通过使用GPS所获得的地点以及通过使用PHS所获得的地点，把展示较高可靠度水平的地点选择为地点测量结果。

可以对传感器进行配置，以使其由照相机的成像设备或者多个光敏传感器形成。

本发明的第一信息处理方法，其特征在于，包括：地点测量步骤，其进行地点测量；获取步骤，其根据由地点测量步骤中所进行的地点测量所获得的地点信息，获取用于进行地点标识的、用于识别的数据；以及地点标识步骤，其通过使用获取步骤中所获取的用于识别的数据和来自预先确定的传感器的输出，进行地点标识。

本发明的第一信息处理程序，其特征在于使计算机执行处理，该处理包括：地点测量步骤，其进行地点测量；获取步骤，其根据由地点测量步骤中所进行的地点测量所获得的地点信息，而获取用于进行地点标识的、用于识别的数据；以及地点标识步骤，其通过使用获取步骤中所获取的用于识别的数据和来自预先确定的传感器的输出，进行地点标识。

本发明的信息处理系统包括第一信息处理设备和第二信息处理设备。该系统的特征在于，第一信息处理设备具有：地点测量装置，用于进行地点测量；发送装置，其把由地点测量装置所进行的地点测量所获得的地点信息发送至第二信息处理设备，所述第二信息处理设备与地点信息相关联地存储用于进行地点标识的、用于识别的数据；接收装置，其接收根据从发送装置所发送的地点信息所搜索的、从第二信息处理设备发送至其的、用于识别的数据；以及地点标识装置，其通过使用接收装置所接收的用于识别的数据、和来自预先确定的传感器的输出，而进行地点标识；第二信息处理设备具有：接收装置，其接收从第一信息处理设备发送至其的地点信息；搜索装置，其根据由接收装置所接收的地点信息而搜索用于识别的数据；以及发送装置，其把由搜索装置所搜索的用于识别的数据发送至第一信息处理设备。

本发明的第二信息处理设备，其特征在于，具有：地点测量装置，其根据所发送的信息进行地点测量；获取装置，其获取当根据从预先确定的传感器的输出进行地点标识时所使用的用于识别的数据；地点标识装置，其通过使用由获取装置所获取的用于识别的数据，根据从预先确定的传感器的输出，进行地点标识；可靠度水平测量装置，其测量地点测量装置所进行的地点测量所获得的地点的可靠度水平、和地点标识装置所标识的地点的可靠度水平；以及地点输出装置，其根据可靠度水平测量装置所测量的可靠度水平来输出地点表示信息。

本发明的第二信息处理方法，其特征在于，包括：地点测量步骤，根据所发送的信息进行地点测量；获取步骤，获取当根据从预先确定的传感器的输出进行地点标识时所使用的用于识别的数据；地点标识步骤，通过使用获取步骤中所获取的用于识别的数据，根据从预先确定的传感器的输出进行地点标识；可靠度水平测量步骤，测量地点测量步骤中所进行的地点测量所获得的地点的可靠度水平、和地点标识步骤中所标识的地点的可靠度水平；以及地点输出步骤，根据可靠度水平测量步骤中所测量的可靠度水平而输出地点表示信息。

本发明的第二程序，其特征在于，使计算机执行处理，该处理包括：地点测量步骤，根据所发送的信息进行地点测量；获取步骤，获取当根据从预先确定的传感器的输出进行地点标识时所使用的用于识别的数据；地点标识步骤，通过使用获取步骤中所获取的用于识别的数据，根据从预先确定的传感器的输出进行地点标识；可靠度水平测量步骤，测量地点测量步骤中所进行的地点测量所获得的地点的可靠度水平、和地点标识步骤中所标识的地点的可靠度水平；以及地点输出步骤，根据可靠度水平测量步骤中所测量的可靠度水平，输出地点表示信息。

在本发明的第一信息处理设备和方法、以及程序中，进行地点测量，并且根据地点测量所获得的地点信息，获取用于进行地点标识的、用于识别的数据。而且，还通过使用所获取的用于识别的数据、和从预先确定的传感器的输出，进行地点标识。

在本发明的信息处理系统中，进行地点测量，并且把地点测量所获得的地点信息发送至第二信息处理设备，该第二信息处理设备与地点信息相关联地存储用于进行地点标识的、用于识别的数据。另外，还接收根据所发送的地点信息所搜索的、以及从第二信息处理设备所发送的、用于识别的数据，并且通过使用所接收的用于识别的数据和来自预先确定的传感器的输出，进行地点标识。而且，还接收从第一信息处理设备所发送的地点信息，并且根据所接收的地点信息搜索用于识别的数据，以及把所搜索到的用于识别的数据发送至第一信息处理设备。

在本发明的第二信息处理设备和方法、以及程序中，根据所发送的信息进行地点测量，并且获取当根据来自预先确定的传感器的输出而进行地点标识时所使用的用于识别的数据。通过使用用于识别的数据，根据来自所述传感器的输出而进行地点标识。测量地点测量所获得的地点的可靠度水平、和所识别的地点的可靠度水平，并且根据所测量的可靠度水平而输出地点表示信息。

本发明的优点

根据本发明，可以以小粒度标识当前地点。

而且，根据本发明，即使在用户首次访问的地方，也可以进行地点标识。

附图说明

图1说明了使用把本发明施用于其的便携式终端所进行的地点标识。

图2说明了地点标识的具体的例子。

图3说明了地点标识的另一具体的例子。

图4说明了如何共享HMM。

图5为方框图，描述了所述便携式终端的硬件配置例子。

图6为方框图，描述了图5中信息处理部分的功能配置例子。

图7为方框图，描述了图6中注册管理部分的详细的配置例子。

图8说明了HMM的例子。

图9说明了HMM的集群与创建。

图10为说明HMM的集群与创建的另一图。

图11为说明HMM的集群与创建的又一图。

图12为方框图，描述了图6中地点标识部分的详细的配置例子。

图13说明了如何根据可靠度水平来选择地点测量结果。

图14描述了图12中标识部分的详细的功能配置例子。

图15说明了一种Viterbi(维特比)算法。

图16是流程图，用于解释地点识别模型构造处理。

图17是流程图，用于解释地点标识处理。

图18是接续图17的流程图，用于解释地点标识处理。

图19是流程图，用于解释图17的步骤S27、S31和图18的步骤S38中所执行的标识处理。

图20A描述了便携式终端的形状的例子。

图20B描述了便携式终端的形状的另一例子。

图20C描述了便携式终端的形状的又一例子。

图20D描述了便携式终端的形状的再一例子。

图21A为描述便携式终端的形状的例子的另一图。

图21B为描述便携式终端的形状的另一例子的另一图。

图21C为描述便携式终端的形状的又一例子的另一图。

图21D为描述便携式终端的形状的再一例子的另一图。

图22为方框图，描述了个人计算机的配置例子。

参考标号描述

1便携式终端，11信息处理部分，12 GPS模块，13 PHS模块，14无线LAN模块，15照相机，31地点测量控制部分，32注册管理部分，33地点识别模型DB，34成像控制部分，35地点标识部分，36通信控制部分，51集群部分，52注册部分，53模型创建部分，61可靠度水平确定部分，62模型获取部分，63标识部分，64标识结果获取部分，71图像选择部分，72特征向量计算部分，73特征向量存储部分，74匹配处理部分

具体实施方式

以下，将参照附图，描述本发明的实施例。

图1说明了通过使用把本发明施用于其的便携式终端所进行的地点标识。

所述便携式终端配备有诸如GPS模块和PHS模块的地点测量设备，并且还配备有具有诸如CCD(电荷耦合器件)的照相机(以下，将参照图5对其加以描述)。

在这一便携式终端中，通过GPS模块或者PHS模块标识全局区域中的用户(便携式终端本身)的当前地点，并且根据由标识结果所选择的地点识别模型和照相机所获得的图像序列，来标识局部区域中该用户的当前地点。图1的上部说明了全局区域中的地点标识，下部说明了局部区域中的地点标识。

此处，全局区域中的地点意指地图上的地点，由GPS模块或者PHS模块所获取的经度/纬度信息而指出。由于GPS模块或者PHS模块所获取的经度/纬度信息的精度为几米到几十米的量级，所以通过GPS模块或者PHS模块所单独进行的地点标识仅可粗略地确定用户的地点，达到用户当前靠近“某车站”、接近“住宅”、接近“办公楼”等的程度。

另外，局部区域中的地点意指在“住宅”内的较小粒度的地点，例如在“住宅”内的起居室中、厨房中、餐室中、或者卧室中，相类似地，也意指在“办公楼”内的较小粒度的地点，例如在“办公楼”内的哪一层上、哪一会议室中、或者用户的办公桌前。

在所述便携式终端中，可以标识局部区域中如此小粒度的地点。

所述便携式终端的地点标识基本上包括地点识别模型构造阶段和地点识别阶段。地点识别模型构造阶段为这样阶段，即创建地点识别模型，作为用于根据照相机所获得的图像序列进行地点识别的数据(例如，HMM(隐Markov(马尔可夫)模型)的参数、以及诸如通过特征抽取所获得的特征向量的特征量)，而地点识别阶段是这样的阶段，即通过使用地点识别模型而实际进行地点标识。

在地点识别模型构造阶段中，按预先确定的帧速率，例如按每秒15帧，使用便携式终端中所提供的照相机反复地进行成像，从而可以对用户正在去向的每个地方的景观进行成像。

如图1中所示，在用户通常工作在“Gotanda(五反田)”车站附近的“办公楼”中的情况下，便携式终端获得关于从“住宅”到“Gotanda”和从“Gotanda”到“办公楼”的移动期间所遇到的景观的图像序列、以及“办公楼”中的图像序列。在图1中，S₁～S₅所表示的矩形分别代表火车站，其中S₃表示“Gotanda车站”，S₅表示“Shinagawa(品川)车站”。

便携式终端根据如此获得的图像序列，创建地点识别模型。把所创建的地点识别模型存储在便携式终端中，以变得能够在地点标识阶段中使用。因此，由于在用户所去的地方反复地进行成像，所以用户到处移动越多，创建模型越多，从而可标识的地点越多。

注意，当照相机获得根据其创建模型的图像序列时，把所创建的地点识别模型的每个存储在便携式终端，以与GPS模块或者PHS模块所标识的相应经度/纬度(包括由该经度/纬度所指出的地点的集群(以下，将对其加以描述))相关联。

在图1中，说明了当用户在“住宅”内和附近移动时根据照相机所获得的图像序列所创建的作为模型的住宅HMM(下左)、当用户在“Gotanda”车站站场内或附近移动时根据照相机所获得的图像序列所创建的作为模型的Gotanda HMM(下中)、以及当用户在“办公楼”内或附近移动时根据照相机所获得的图像序列所创建的作为模型的办公楼HMM(下右)由便携式终端创建，并且与其经度/纬度信息相关联地存储在便携式终端中。

如以下所详细描述的，例如，便携式终端所创建和所管理的这些HMM中的每个的状态分别与照相机所获得的相应图像(实际上，它们的特征量)相关联。这样的模型用于地点识别阶段。

在地点标识阶段中，首先，通过GPS模块和PHS模块获取代表全局区域中的当前地点的经度/纬度信息，并且根据所获取的经度/纬度信息，从地点识别模型构造阶段中所创建的HMM中选择作为针对最接近当前地点的地点的模型而存储的HMM(与包括当前地点的集群相关联地存储的HMM)。

另外，使用所选择的HMM，并且根据通过由照相机对当前地点处的景观进行成像所获得的图像序列，标识处于局部区域中的用户当前地点。

此处，将参照图2和图3，描述地点标识阶段中所执行的处理的具体例子。

如图2中所说明的，例如，假设图1的三个HMM，即住宅HMM、GotandaHMM以及办公楼HMM存储在便携式终端中。在图2的这一例子中，住宅HMM的状态分别相应于图像1～N₁；Gotanda HMM的状态分别相应于图像101～N₂；以及办公楼HMM的状态分别相应于图像201～N₃。

在照相机获得用于创建HMM的图像的时刻(在地点识别模型构造阶段中)，住宅HMM、Gotanda HMM以及办公楼HMM每个均与由GPS模块或者PHS模块所进行的地点测量的结果所确定的集群相关联。

在这样的条件下，在地点标识阶段中，首先，通过GPS模块和PHS模块测量全局区域中的用户的当前地点，而且与包括地点测量所获得的经度/纬度所指出的当前地点的集群相关联的HMM现在被选择作为用于局部区域中的地点标识的HMM。

在图2的这一例子中，与包括GPS模块或者PHS模块所获得的当前地点的集群相关联的HMM为住宅HMM，如空心箭头所示，现在，从三个HMM，即住宅HMM、Gotanda HMM以及办公楼HMM中，把住宅HMM选择为用于局部区域中的地点标识的HMM。

如图2的空心箭头所示，住宅HMM的状态与图像1～N₁相关联，并且图像1～5命名为“起居室”；图像6～10命名为“门口”；图像11～15命名为“卧室”；图像16～20命名为“走廊”等。即，住宅HMM为在地点识别模型构造阶段，根据照相机在“起居室”中所获得的图像、在“门厅”中所获得的图像、在“卧室”中所获得的图像、以及在“走廊”中所获得的图像等所创建的HMM。注意，诸如“起居室”的地点的名称，是例如在地点识别模型构造阶段中，由观察所获得的图像的用户所设置的名称。

如图2中所说明的，在已经从GPS模块或者PHS模块的地点测量结果中选择了住宅HMM之后，所选择的住宅HMM的图像序列(分别与住宅HMM的状态相对应的图像的序列)经历与照相机当前所获得的图像序列的匹配，如图3中所说明的。图3中的住宅HMM与图2中的住宅HMM相同，住宅HMM之上的4个图像301～304的图像序列，为照相机当前所获得的将加以标识的图像序列。

由于刚刚获得了图像301～304，所以向包括与图像301～304的行相同的图像行的住宅HMM的图像序列所设置的名称(实际上，图像301～304的特征量的时间系列，以下将对其加以描述)变为局部区域中该用户的当前地点的名称。

在将加以标识的图像序列包括图3中所说明的4个图像301～304的情况下，例如，每次从住宅HMM的开始处选择4个图像，并且一行所选择的4个HMM图像经历与将加以标识的一行图像的匹配。在图3的这一例子中，首先，住宅HMM的一行图像1～4经历与将加以标识的图像301～304的行的匹配。然后，通过位移一个图像所选择的住宅HMM的图像2～5经历与将加以标识的图像301～304的匹配。相类似，用于与将加以标识的图像301～304的匹配的住宅HMM的图像被选择，从而一次逐一地被顺序地位移，如此选择的住宅HMM的图像经历与将加以标识的图像301～304的匹配。

如果展示出与将加以标识的图像301～304的行的高水平匹配、以致被判断为与图像301～304的行相同的住宅HMM的图像，例如是图像1～4，则局部区域中的用户的当前地点将被标识为作为向图像1～4所设置的名称的“起居室”，如图3中的空心箭头所示。

相类似，例如，在用户处于“办公楼”的会议室中的情况下，通过GPS模块或者PHS模块从经度/纬度信息中选择图1的办公楼HMM，从而可根据从所选择的办公楼HMM的图像序列所选择的预先确定的图像序列、和照相机刚刚获得的将加以标识的图像序列之间的匹配结果，标识出用户当前处于会议室中。

以这一方式，在便携式终端中，实际地执行层次结构的地点标识，这涉及通过GPS模块或者PHS模块的较高水平的地点标识、以及使用根据地点标识结果所选择的HMM和照相机所获得的图像序列所执行的较低水平的地点标识。

因此，也根据照相机所获得的图像序列执行地点标识，从而，甚至可以标识小粒度的地点，而这仅使用GPS模块或者PHS模块不可能实现。

另外，还可以根据GPS模块或者PHS模块的较高水平地点标识，聚焦将用于较低水平地点标识中的HMM的范围，因此，与例如针对所有模型所执行的地点标识的情况相比，可以提高标识精度。

而且，还可以执行小粒度的地点标识，因此，如图2中所说明的，通过针对构成HMM的图像设置名称，用户可以具有呈现在便携式终端上的、适合于用户当时状况的信息。

用户可以具有所呈现的、适合于他或她在局部区域中的当前地点的信息，例如，当不在住宅时，用户在便携式终端中注册要在他或她自己住宅中的起居室中做事的计划，在其到达住宅后，用户可以具有例如输出至便携式终端的说“你有要在起居室中做事的计划”的消息。在便携式终端中，当把当前地点标识为在起居室中时，则所注册的计划被读出，并且呈现。

注意，在不必向用户呈现所识别的当前地点，而是区别于仅在便携式终端内部使用的当前地点即可的情况下，不必针对当前地点设置名称。即，通过便携式终端中的预先确定的识别信息来区别每一地点，并且执行适合于所区别的地点的处理。

顺便提及，为了实现以上所提到的层次结构的地点标识，用户需要预先把地点识别模型存储在便携式终端中，为此，用户需要在随身携带便携式终端时在各种地方到处移动。

这意味着，不能在用户以前没有去过的地方进行地点标识。然而，为了能够进行这样的地点标识，可以这样地进行配置：在用户之间共享地点识别模型，其中每一用户具有配备了类似功能的便携式终端。

图4说明了如何共享地点识别模型。

例如，在图4中的用户A在携带便携式终端时移入“Shinagawa车站S₅站场”或者移至“Shinagawa车站S₅站场”附近的情况下，在用户A的便携式终端中，按诸如以上所提到的方式，创建作为名为“Shinagawa车站S₅站场”的地点识别模型的Shinagawa车站站场HMM。随GPS模块或者PHS模块所获取的有关Shinagawa车站S₅的经度/纬度信息一起，把所创建的Shinagawa车站站场HMM从用户A的便携式终端上载到网络上的预先确定的服务器，以与经度/纬度信息以及作为关键字的地方名/设施名等相关联地进行注册。注意，GPS模块和PHS模块所进行的地点测量可能具有几米到几十米量级的误差，因此，希望注册图中所示的具有一定余量的经度/纬度信息。在图4的这一例子中，以相对于参照地点给定的±2秒的范围，把与Shinagawa车站站场HMM、Gotanada车站HMM以及Shibuya(涩谷)车站站场HMM中的每个相关的经度/纬度信息分别注册在服务器中。

为此，Shinagawa车站站场HMM变为将与已访问该服务器的其它便携式终端的用户共享的资源。

同时，首次访问Shinagawa车站S₅的用户B的便携式终端尚未把Shinagawa车站站场HMM存储在其中，因此，用户B既不可以使用他或她的便携式终端对Shinagawa车站S₅站场进行局部区域地点标识，也不具有呈现在他或她的便携式终端上的关于Shinagawa车站S₅的信息。

此时，如果把“Shinagawa车站”作为用于搜索的关键字输入用户B的便携式终端中，或者如果把GPS模块或者PHS模块所获取的经度/纬度信息(关于Shinagawa车站S₅的经度/纬度信息)发送至服务器，则从服务器下载用户A的便携式终端所注册的Shinagawa车站站场HMM。因此，也可以在用户B的便携式终端中执行针对Shinagawa车站S₅站场的地点标识。

从地点识别模型向用户B的便携式终端的下载可以通过用户B人工地向服务器发送对地点识别模型的请求来执行，或者也可以根据用户B的便携式终端中地方或时间的变化而自动地执行。

例如，在用户B走出Shinagawa车站站场，向新的地方走去的情况下，为了从Shinagawa车站对用户B进行导航，需要新的地点识别模型。已经获取了Shinagawa车站站场HMM的用户B的便携式终端通过连续地使用Shinagawa车站站场HMM执行地点标识，只要其保持在与Shinagawa车站站场HMM相关联地注册的经度/纬度的范围内，即保持在经度139度44分30秒±2秒偏东以及纬度35度37分30秒±2秒偏北即可。然而，在用户B走出这一范围地情况下，即，如果使用GPS模块或者PHS模块所测量的当前地点超出持有的Shinagawa车站站场HMM可标识的范围，则不再能够进行地点标识。为了克服这一状况，用户B的便携式终端把关于当前地点的经度/纬度信息发送至服务器，以下载新的HMM。适当地重复这一处理系列，直至用户B到达新的地方。

或者，也可以这样地配置：通过按预先确定的时间间隔，把经度/纬度信息发送至服务器，反复地下载新的HMM，而无需把已经持有的HMM与所测量的经度/纬度信息进行比较。

另外，也可以按以下方式，根据不具有该地点识别模型的用户的请求，自动地执行用户A的便携式终端中所创建的地点识别模型向服务器的上载。

首先，已从用户B的便携式终端接收到对Shinagawa车站站场HMM的请求的服务器，把对链接至有关用户B的便携式终端的经度/纬度信息的HMM的请求转发至网络上的多个终端。在任何已接收到这一请求的终端中，把经度/纬度信息用作为关键字，搜索该HMM，并且把Shinagawa车站站场HMM从持有所请求的HMM的用户A的便携式终端发送至服务器。具有所获取的Shinagawa车站站场HMM的服务器把该HMM与经度/纬度信息相关联，从而注册了该HMM，然后还把Shinagawa车站站场HMM发送至用户B的便携式终端。

因此，服务器可以根据用户的请求，即时地获取地点识别模型，而无需等待直到人工地上载地点识别模型。

通过这样的配置：地点识别模型可在具有其功能相互类似的便携式终端的用户之间加以共享，即使正首次访问某地方的用户，也可使他或她自己的便携式终端能够标识局部区域中的地点，以具有适合于当前地点的所呈现的信息。

以下，将参照各流程图，描述诸如以上所述便携式终端的操作。

图5为方框图，描述了执行层次结构地点标识的便携式终端1的硬件配置例子。

如图5中所示，便携式终端1形成有例如六角形横截面的机箱。假设该机箱具有用户可以用一只手持有的大小。

控制便携式终端1整个部分的信息处理部分11，例如，具有与其相连的GPS模块12、PHS模块13、无线LAN(局域网)模块14以及照相机15。

信息处理部分11包括CPU(中央处理单元)、ROM(只读存储器)、以及RAM(随机存取存储器)，并且通过控制GPS模块12和PHS模块13，执行标识全局区域中当前地点的处理，根据照相机15等所获得的图像序列，执行标识局部区域中的当前地点的处理等等。

GPS模块12从卫星接收GPS已获取的、发送至其的信息，并且把这一信息输出至信息处理部分11。PHS模块13从其正在进行通信的基站接收发送至其的信息，并且把这一信息输出至信息处理部分11。无线LAN模块14经由附近的接入点连接至例如外部网络，以把地点识别模型上载至网络上的服务器(图4的服务器)，或从网络上的该服务器下载地点识别模型。

照相机15把如此获得的图像序列输出至信息处理部分11。照相机15可以并入便携式终端1，使其透镜暴露于便携式终端1的表面，或者也可以作为分离于便携式终端1的机箱的设备而提供，从而即使用户把便携式终端1放入提包或衣服口袋中，用户也可以获得景观周围的图像。而且，照相机15的透镜还可以包括广角透镜和鱼眼透镜，如以下将加以描述的。

图6为方框图，描述了信息处理部分11的功能配置例子。

通过由信息处理部分11的CPU执行预先确定的程序，实现图6中的至少一部分功能部分。

地点测量控制部分31控制GPS模块12和PHS模块13，以根据从这些地点测量设备提供至其的信息，来获取全局区域中的经度/纬度信息。地点测量控制部分31所获得的经度/纬度信息，当在地点识别模型构造阶段中获得时输出至注册管理部分32，当在地点标识阶段获得时输出至地点标识部分35。

注册管理部分32根据从成像控制部分34提供至其的图像序列，创建作为地点识别模型的HMM，并且把所创建的HMM与关于通过集群从地点测量控制部分31提供至其的经度/纬度信息所获得的集群的信息相关联，从而存储在地点识别模型DB(数据库)33中。另外，注册管理部分32还把所述HMM和关于该集群的信息输出至通信控制部分36。

地点识别模型DB 33存储由注册管理部分32所创建的HMM。地点标识部分35适当地读取存储在其中的HMM，以用于地点标识。

成像控制部分34控制照相机15的成像，当在地点识别模型构造阶段中已进行了成像时，把所获得的图像序列输出至注册管理部分32，当在地点标识阶段中已进行了成像时，把它们输出至地点标识部分35。

如以上参照图3所描述的，通过例如检查在将加以标识的图像序列和从与HMM的状态相关的图像中所选择的图像序列之间的特征量的时间系列(随时间变化)，来执行便携式终端1所进行的匹配。以这一方式，匹配仅涉及在图像随时间变化方面对图像的检查，所以，无论是将加以标识的图像还是用于创建HMM的图像，均不需具有高分辨率。因此，可以把照相机15所拍摄、并且成像控制部分34所获得的图像转换成32×24个(从左至右×自顶向底)像素的低分辨率图像，以输出至注册管理部分32和地点标识部分35。

而且，与像素值变化相当小的情况相比，在像素值变化过大的情况下，匹配精度下降。其原因在于，照相机15使用透镜，例如角度较宽的鱼眼透镜。假设图像具有相同的分辨率(例如，32×24)，与其透镜具有较窄视角的照相机所摄图像相比，其透镜具有较宽视角的照相机所摄的图像可抑制其因照相机15方位方面的变化所产生的像素值变化，因此，可以提高确定精度。注意，在以上所提到的图1～4中，在每个一帧的图像中描绘了圆圈，在该圆圈内描绘了作为对象的景观。这表示图像由其透镜具有宽视角的照相机所拍摄，并且其中的景观扭曲。

返回到图6的描述，地点标识部分35根据从地点测量控制部分31提供至其的经度/纬度信息，从地点识别模型DB 33中读取与包括当前地点的集群相关的HMM，并且根据所读取的HMM和从成像控制部分34提供至其的图像序列，标识局部区域中的当前地点。关于地点标识部分35所标识的局部区域中的当前地点的信息被提供至例如根据当前地点执行呈现预先确定的信息的处理的应用。

而且，在其中由于当前地点为用户首次访问的地方，因而与包括当前地点的集群相关的HMM未存储在地点识别模型DB 33中的情况下，地点标识部分35把经度/纬度信息输出至通信控制部分36，以从服务器下载于包括当前地点的集群相对应的HMM。根据从服务器如此获取的HMM，类似于从地点识别模型DB 33获取HMM的情况，地点标识部分35执行局部区域中的当前地点的标识。

通信控制部分36控制无线LAN模块14，以向服务器上载HMM和关于从注册管理部分32提供至其的集群的信息。而且，通信控制部分36根据从地点标识部分35提供至其的经度/纬度信息，从服务器下载与包括该经度/纬度信息所表示的当前地点的集群相对应的HMM，并且将其输出至地点标识部分35。

图7为方框图，描述了图6的注册管理部分32的详细的功能配置例子。

例如，注册管理部分32包括集群部分51、注册部分52、以及模型创建部分53。

集群部分51执行对从地点测量控制部分31提供至其的经度/纬度信息所表示的当前地点的集群，并且把关于当前地点所属的集群的信息输出至注册部分52。关于提供至注册部分52的集群的信息包括关于用作对具有预先确定的覆盖的集群的参照的地点的信息、以及关于所述覆盖的信息。

注册部分52把从集群部分51提供至其的集群信息与从模型创建部分53提供至其的HMM相关联地存储在地点识别模型DB 33中，并且使通信控制部分36把这些信息段发送至网络上的服务器。

模型创建部分53根据从成像控制部分34提供至其的图像序列，创建HMM，并且将所创建的HMM输出至注册部分52。注意，如果已经把HMM创建为与某集群相关联，则模型创建部分53根据从成像控制部分34提供至其的图像序列学习(更新)该HMM。把通过学习所产生的HMM经由注册部分52提供至地点识别模型DB 33，并且存储在其中。

现在，将描述模型创建部分53对HMM的创建。

模型创建部分53根据不视为非必要并且属于照相机15在地点识别模型构造阶段中所捕获的图像序列的图像，排除对于HMM的创建视为非必要的图像，来创建HMM。

例如，模型创建部分53根据以下所描述的公式(1)，把当前所获取的图像Z与最后所选择的不非必要的图像x_i加以比较，并且在其中在这两个图像之间的非相似性或时间间隔方面，差等于或大于预先确定的阈值的情况下，模型创建部分53把当前所获取的图像Z选择为用于识别的图像。

[公式1]

\frac{D (x_{i - 1,} z)}{D_{\max}} < {ρe}^{- β | t_{i - 1} - t_{z} |}

β = \frac{\ln 2}{Λτ} . . . (1)

此处，D_max为D(x_i-1，Z)的最大值。由以下所描述的公式(3)定义函数D。另外，p是接受图像x_i-1和图像Z所需的百分比的变化，β是用于调整适应速度的因子。把预先确定的值设置为p和β。另外，t_i-1为已经获取到图像x_i-1的时刻，t_z为已经获取到图像Z的时刻。

以这一方式，通过根据两个图像之间的非相似性或时间间隔来选择图像，可以防止连续地选择精确相同或者基本上相同的图像，因此，可以在有限的存储容量中生成包括能够用于匹配处理的有效大信息组的较大的HMM。

图8说明了模型创建部分53所创建的HMM的例子。

如图8中所说明的，创建HMM，将其如此地配置：在地点识别模型构造阶段中由照相机所摄的、并且被选择为不非必要的N个图像相应于各个状态。即，例如，在便携式终端1中使用的模型不由通过使用期望值最大化(Expectation-Maximization)等而从部分标记的数据所估计的参数形成，而是通过使HMM的状态直接对应于在地点识别模型构造阶段中所获取的图像而形成。

另外，如图8的下部所说明的，把预先确定的值设置为其过渡参数(transition parameter)。在图8的过渡参数图中，其中，纵轴表示过渡的可能性，水平轴表示所测量的图像之间(状态之间)时间上的距离。例如，如图8中所说明的，对值进行设置，所述值根据高斯(Gaussian)分布计算，其中，随着距离的增加，过渡可能性趋于0。因此，不需要执行针对过渡参数的优化处理，从而减轻了处理负担。

之所以把预先确定的值如此地用作过渡参数，而不涉及通常情况下的学习，原因在于，按时间顺序获取与HMM的状态相应的图像，因此，假设与某状态(在图8的情况下，为状态4)相对应的任何图像改变至与在时间上遥远的状态相对应的图像的可能性小或者为0。

图9～11说明了如此配置的注册部分32所进行的集群、以及HMM的创建。注意，图9～11中的每个中所说明的全局区域为从右上方看，为图1中的鸟瞰图。

现在，假设用户通常在“Gotanda”附近的“办公楼”中工作，如以上所提到的，并且在周末常常去车站S₂附近的百货商店。另外，用户总是携带便携式终端1。

在这一情况下，由于反复地对周围景观进行成像以及通过GPS模块等进行地点测量，所以在其中在全局区域中绘制测量所得到的地点的情况下，所绘制的位置围绕3个位置集群，即，如图9中所说明的，例如，车站S₁附近的住宅、Gotanda车站S₃附近的办公楼、以及车站S₂附近的百货商店。而且，还收集在这些所绘制的位置的照相机所获得的图像序列。

此处，集群部分51使用预先确定的技术在诸如图9中所说明的图上执行集群，并且生成例如图10中虚线所描绘的圆圈所示的，围绕位置P₁的住宅集群、围绕位置P₂的百货商店集群、以及围绕位置P₃的办公楼集群。注意，为了便于解释，给出包括在这些集群的名称中的说明“住宅”、“百货商店”以及“办公楼”。

把代表如此生成的集群的中心位置(位置P₁、位置P₂、位置P₃)的信息等输出至注册部分52，作为关于这些集群的信息。

同时，如上所述，模型创建部分53分别根据照相机在图9中相应的绘制位置所拍摄的图像序列，创建在集群部分51所生成的集群中进行地点标识时所使用的HMM，并且把所创建的HMM输出至注册部分52。

注册部分52把关于集群部分51所生成的每个集群的信息与将在模型创建部分53所创建的集群中所使用的HMM互相关联，并且将它们注册在地点识别模型DB 33中。在其中用户定义集群名称(照相机已拍摄了图像的地方的名称)以及属于该HMM的图像的名称的情况下，也把这些名称包含在关于集群的信息中。

因此，如图11中所说明的，对于住宅集群，与其相关的是已根据照相机在包括于所述集群中的所绘制位置处所拍摄的图像序列所创建的住宅HMM。对于百货商店集群，与其相关的是已根据照相机在包括于所述集群中的所绘制位置处所获得的图像序列所创建的百货商店HMM。另外，对于办公楼集群，与其相关的是已根据照相机在包括于所述集群中的所绘制位置处所获得的图像序列所创建的办公楼HMM。

图12为方框图，描述了图6中地点标识部分35的详细的功能配置例子。

例如，地点标识部分35包括可靠度水平确定部分61、模型获取部分62、标识部分63以及标识结果获取部分64。

可靠度水平确定部分61根据从地点测量控制部分31提供至其的信息，确定GPS模块12和PHS模块13所进行的地点测量的结果的可靠度如何，并且把测量结果(经度/纬度信息)中较可靠的测量结果输出至模型获取部分62。

例如，已经从地点测量控制部分31向其提供了GPS模块12等所获取的关于多个卫星的信息、关于PHS模块13正从其接收信号的基站周围的信号条件的信息等，可靠度水平确定部分61根据这些信息段确定地点测量结果的可靠度水平。

可靠度水平确定部分61还判断由标识部分63根据照相机所拍摄的图像序列加以估计的全局区域中地点测量结果的可靠度如何。例如，在其中由标识部分63根据照相机所拍摄的图像序列估计地点测量结果的情况下，比GPS模块12或者PHS模块13的地点测量结果更加可靠，把标识部分63的地点测量结果作为当前地点输出至模型获取部分62。

图13说明了如何根据可靠度水平来选择测量结果的例子。

例如，如图13中所说明的，在给定最大水平为100、GPS模块12的地点测量结果的可靠度水平为90、PHS模块13的地点测量结果的可靠度水平为70、以及传感器型地点标识引擎(根据照相机15所拍摄的图像序列来估计地点的标识部分63用作传感器)的地点测量结果的可靠度水平为65的情况下，选择展示最高可靠度水平的GPS模块12的地点测量结果，用于由层次结构地点标识引擎进行的地点标识。该层次结构地点标识引擎为用于执行由图12中的模型获取部分62、标识部分63等所进行的上述层次结构的地点标识的引擎。

以这一方式，由于根据可靠度水平选择将用于随后处理的地点测量结果，所以可以进行更精确的地点标识。

例如，在距城市区域相当远的地方，在那里很难从基站接收到信号，PHS模块13的地点测量结果的可靠度水平下降，因此使用GPS模块12的地点测量结果。同时，在难以从卫星接收信号的建筑物或火车中，GPS模块12的地点测量结果的可靠度水平下降，因此使用PHS模块13的地点测量结果。

返回到图12的描述，模型获取部分62从地点识别模型DB 33读取(获取)与包括从可靠度水平确定部分61提供至其的经度/纬度信息所表示的当前地点的集群相关联的HMM。例如，在图11中，在其中根据GPS模块12所获得的经度/纬度信息，已把全局区域中的当前地点识别为处于住宅集群中的情况下，从地点识别模型DB 33中读取与住宅集群相关的住宅HMM。

另外，在其中与包括当前地点的集群相关的HMM不存储在地点识别模型DB 33中的情况下，模型获取部分62把从可靠度水平确定部分61提供至其的经度/纬度信息输出至通信控制部分36，以从服务器下载与包括当前地点的集群相对应的HMM。模型获取部分62获取通信控制部分36从服务器所下载的HMM。

把模型获取部分62如此获取的HMM输出至标识部分63。例如，在其中甚至不能够从服务器获取与包括当前地点的集群相关的HMM的情况下，从可靠度水平确定部分61提供至其的关于当前地点的信息(关于GPS模块12或PHS模块13所测量的地点的信息)、或者关于标识部分63根据照相机所拍摄的图像序列而直接标识的当前地点的信息，在不进行进一步处理的情况下，提供至标识结果获取部分64，以被采纳为当前地点。

标识部分63根据从模型获取部分62提供至其的HMM和从成像控制部分34提供至其的图像序列，进行局部区域中的当前地点的标识，并且把标识结果输出至标识结果获取部分64。

图14描述了图12中标识部分63的详细的功能配置例子。

标识部分63包括图像选择部分71、特征向量计算部分72、特征向量存储部分73以及匹配处理部分74。

在地点标识阶段中，图像选择部分71从成像控制部分34提供至其的图像中选择将用于局部区域中的地点标识的图像，被视为不需要的图像除外。例如，使用与模型创建部分53进行图像选择所使用的算法相同的算法，执行图像选择部分71的图像选择。

因此，在已在地点识别模型构造阶段和地点标识阶段二者中均对精确相同的景观进行了成像的情况下，在地点识别模型构造阶段中由模型创建部分53所选择的图像(用于创建HMM的图像)与在地点标识阶段中由图像选择部分71所选择的图像(为进行地点标识将加以标识的图像)相同。因此，可以在地点标识阶段中进行局部区域地点标识，同时排除不必要的图像。

把图像选择部分71所选择的图像输出至特征向量计算部分72。

特征向量计算部分72计算代表从图像选择部分71提供至其的每一图像的特征的特征向量(特征量)，并且把所计算的特征向量存储在特征向量存储部分73中。

例如，特征向量计算部分72求出从图像选择部分71提供至其的图像x_i和图像选择部分71过去所选择的图像(x₁，...，x_M)中的每个图像之间的距离，并且获取具有这些所得到的距离的特征向量作为其元素。即，获得由以下所描述的公式(2)所表示的M维特征向量。

[公式2]

d_{i} = [\begin{matrix} D (x_{i}, x_{1}) \\ M \\ D (x_{i}, x_{M}) \end{matrix}] . . . (2)

尽管由以下所描述的公式(3)表示D(x，y)，但也可以使用任何其它函数，只要该函数可以表示两个图像x，y之间的差即可。在公式(3)中，HW代表在传感器编号(提供在照相机15上的CCD的像素)的高度和宽度两个方向中的最大值。另外，1表示图像的像素位置，c表示色彩信道编号(1，2，3通常分别表示红、绿、蓝)。

[公式3]

D (x, y) = Σ_{I}^{HW} Σ_{c}^{3} | x (I, c) - y (I, c) | . . . (3)

例如，特征向量存储部分73具有循环缓冲器，并且按它们从特征向量计算部分72提供的次序存储预先确定数目的特征向量。依照特征向量存储在特征向量存储部分73中的次序，相应于照相机已拍摄将加以标识的图像的时间次序。

即，存储在特征向量存储部分73中的是特征向量的时序设置，如果假设这些特征向量中的最近的一个为“当前”时间，则这些向量代表至“当前”时间的时间状况的过渡。于是，由预先确定数目的特征向量所表示的至“当前”时间的状况过渡经历与由相应于HMM状态的图像所表示的“过去”状况的过渡的匹配。

匹配处理部分74执行与从模型获取部分62提供至其的HMM的Viterbi匹配，并且计算存储在特征向量存储部分73中的特征向量的时间系列与HMM的状态(根据代表状态的图像所获得的特征向量的时间系列)之间的匹配水平。

现在，将描述匹配处理部分74所执行的Viterbi匹配(Viterbi算法)。

Viterbi算法提供了一种诸如以下所提到的最大化问题的方案。在以下的公式(4)中，s_i表示相应于第i个图像x_i的状态，s^* _i表示优化的状态。

[公式4]

{s_{1}^{*}, \cdot \cdot \cdot, s_{N}^{*}} = \underset{{s_{1}, \cdot \cdot \cdot, s_{N}}}{\arg \max} P (s_{1}, \cdot \cdot \cdot, s_{N} | H, λ)

= \underset{{s_{1}, . . ., s_{N}}}{\arg \max} P (x_{i} | s_{1}) P (s_{1}) Π_{j = 2}^{N} P (x_{i - j} | s_{j}) P (x_{j} | s_{j - 1}) - - - (4)

如图15中所说明的，Viterbi算法确定把存储在特征向量存储部分73中的、表示为特征向量的矩阵H的图像与从模型获取部分62所提供的、代表HMM的状态的图像进行匹配的优化的状态系列，并且把随所优化的状态系列所获得的可能性分别获取为相应图像之间的匹配水平。在图15的这一例子中，把由粗箭头线所表示的{S1，S1，S2，S3，S3，S2，S3，S4，S4}的系列确定为优化的状态系列。

以上，已描述了通过Viterbi匹配获得的匹配水平的情况。然而，当然也可以配置为使用其它的方法获得匹配水平。注意，本申请人的日本专利申请No.2004-191308中公开了诸如以上所描述的Viterbi匹配的进一步的细节。

返回到图12的描述，当需要时，标识部分63还根据从成像控制部分34提供至其的图像序列反向地标识全局区域中的当前地点，并且把标识结果输出至可靠度水平确定部分61。在标识全局区域中当前地点的过程中，适当地使用存储在地点识别模型DB 33中的HMM等。

标识结果获取部分64获取关于从标识部分63提供至其的局部区域中的当前地点的信息、以及关于从模型获取部分62提供至其的全局区域中的当前地点的信息，并且把所获取的信息提供至预先确定的应用。例如，所述应用根据关于从标识结果获取部分64所提供的局部区域中的当前地点的信息，向用户提供适合于用户的地点的信息。

以下，将参照各流程图，描述具有诸如上述配置的便携式终端1的操作。

首先，将参照图16的流程图，描述地点识别模型构造阶段中便携式终端1所执行的地点识别模型构造处理。

在步骤S1中，信息处理部分11的成像控制部分34使用照相机15进行成像，并且把所得到的图像序列输出至注册管理部分32的模型创建部分53。例如，按诸如每秒15帧的速率等，连续地进行成像。

可以如此地配置：重复地进行成像，直至用户给出指令，或者仅在以前从未进行过成像的地方进行成像，并且可以在用户移至了以前进行过成像的地方时结束成像。例如，根据GPS模块12或者PHS模块13的地点测量结果、以及存储在地点识别模型DB 33中的信息，判断当前地点为已进行过成像的地方，还是未进行过成像的地方。基本上，与步骤S2中和步骤S2之后的步骤中的处理并行地进行成像。

在步骤S2中，地点测量控制部分31控制GPS模块12和PHS模块13，并且根据从这些地点测量设备提供至其的信息，标识全局区域中的当前地点。把地点测量控制部分31所获得的经度/纬度信息输出至注册管理部分32的集群部分51。

在步骤S3中，集群部分51执行对从地点测量控制部分31提供至其的经度/纬度信息所表示的当前地点的集群，并且把关于包括当前地点的集群的信息输出至注册部分52。

在步骤S4中，模型创建部分53根据从成像控制部分34提供至其的图像序列，创建HMM，并且将所创建的HMM输出至注册部分52。此处，如以上所提到的，执行从成像控制部分34所提供的图像中选择预先确定的图像，以及把所选择的图像与状态相关联等。注意，也可以按预先确定的较后的定时执行HMM的创建。在这一情况下，通过成像所获得的图像序列和关于进行成像的地点的信息互相关联，以被存储在诸如地点识别模型DB 33的预先确定的存储部分中。

在步骤S5中，当需要时，注册部分52注册集群的名称等。例如，注册部分52把刚刚拍摄的图像显示在提供在便携式终端1上的显示部分(未示出)上，并且向用户提示为景观命名。

在步骤S6中，注册部分52把关于从集群部分51提供至其的集群的信息与从模型创建部分52提供至其的HMM互相关联，以将它们存储在地点识别模型DB 33中。

而且，在步骤S7中，注册部分52还使通信控制部分36把关于所述集群和HMM的信息上载至服务器。

由于以上的处理，HMM与集群相关联地存储在地点识别模型DB 33中。而且，HMM变为服务器上的共享资源。

以下，将参照图17和18的流程图，描述地点标识阶段中便携式终端1所执行的地点标识处理。

在步骤S21中，信息处理部分11的成像控制部分34使用照相机15进行成像，并且把由此拍摄的图像序列输出至地点标识部分35的标识部分63。重复此处所进行的成像，直至获得足够多的图像帧，使得能够标识当前地点。

在步骤S22中，地点测量控制部分31控制GPS模块12和PHS模块13，并且根据从这些地点测量设备提供至其的信息，标识全局区域中的当前地点。把地点测量控制部分31所获得的经度/纬度信息输出至地点标识部分35的可靠度水平确定部分61。

在步骤S23中，可靠度水平确定部分61根据来自卫星的、已由GPS模块12接收的信号的条件，计算GPS模块12的地点测量结果的可靠度水平，并且判断所计算的可靠度水平是否等于或大于预先确定的阈值。

当在步骤S23中已确定GPS模块12的地点测量结果的可靠度水平等于或大于所述阈值时，可靠度水平确定部分61把作为GPS模块12的地点测量结果的经度/纬度信息输出至模型获取部分62，此后，处理前进至步骤S24。

在步骤S24中，模型获取部分62通过地点识别模型DB 33搜索包括从可靠度水平确定部分61提供至其的经度/纬度信息所表示的当前地点的集群。

当在步骤S25中模型获取部分62已确定发现包括当前地点的集群时，处理前进至步骤S26，在步骤S26中，模型获取部分62从地点识别模型DB 33中获取与所述集群相关联地存储的HMM。标识部分63输出从模型获取部分62所获取的HMM。

在步骤S27中，标识部分63执行标识处理。将参照图19的流程图描述标识部分63的标识处理。把标识部分63的标识结果输出至标识结果获取部分64。

在步骤S28中，标识结果获取部分64获取关于作为标识部分63的标识结果的局部区域中的当前地点的信息，然后把该信息提供至预先确定的应用等，从而完成了所述处理。

同时，当在步骤S23中可靠度水平确定部分61已确定GPS模块12的地点测量结果的可靠度水平小于所述阈值时，处理前进至步骤S29，然后，在步骤S29中，可靠度水平确定部分61根据从基站所接收的信号的条件等，判断PHS模块13的地点测量结果的可靠度水平是否等于或大于预先确定的阈值。

当在步骤S29中已确定PHS模块13的地点测量结果的可靠度水平等于或大于所述阈值时，可靠度水平确定部分61输出作为PHS模块13的地点测量结果的经度/纬度信息，此后，处理前进至步骤S30。

在步骤S30中，模型获取部分62通过地点识别模型DB 33搜索包括从可靠度水平确定部分61提供至其的经度/纬度信息所表示的当前地点的集群。然后处理前进至步骤S25，以执行处理的随后的部分。

即，在把包括当前地点的集群存储在地点识别模型DB 33中的情况下，从地点识别模型DB 33中读取与所述集群相关联地存储的HMM，并且把所读取的HMM用于标识局部区域中的当前地点。

同时，当在步骤S29中可靠度水平确定部分61已确定PHS模块13的地点测量结果的可靠度水平小于所述阈值时，处理前进至步骤S31。在步骤S31中，类似于步骤S27，标识部分63执行标识处理。即，在这一情况下，将根据照相机所拍摄图像序列直接标识全局区域或局部区域中的当前地点。

在步骤S32中，可靠度水平确定部分61判断标识部分63根据照相机所获得的图像序列直接标识的当前地点的可靠度水平是否等于或大于阈值，并且在得到肯定的结果的情况下，处理前进至步骤S28。在步骤S28中，从标识结果获取部分64获取关于根据照相机所拍摄图像序列所直接标识的当前地点的信息，此后，处理结束。

如果在步骤S32中，标识部分63已经确定根据照相机所拍摄的图像序列直接标识的当前地点的可靠度水平小于所述阈值，则处理前进至步骤S33。在步骤S33中，执行预先确定的错误处理，因为当前地点视为不可识别，此后，处理结束。例如，在用户首次访问的地方处于PHS正从基站接收的信号的条件不令人满意的郊区区域，而且还处于从卫星接收的信号的条件也不令人满意的建筑物内的情况下，将执行错误处理。

同时，如果在步骤S25中已确定包括作为GPS模块12的地点测量结果的当前地点或者作为PHS模块13的地点测量结果的当前地点的集群未存储在地点识别模型DB 33中，则模型获取部分62把代表当前地点的经度/纬度信息输出至通信控制部分36，此后，处理前进至步骤S34(图18)。

在步骤S34中，通信控制部分36经由网络把从模型获取部分62提供至其的经度/纬度信息发送至服务器。

另外，在步骤S35中，通信控制部分36还判断关于包括其已发送的经度/纬度信息所代表的当前地点的集群的信息是否注册在服务器中。在结果为否定的情况下，处理前进至步骤S36。在这一情况下，GPS模块12的地点测量结果或者PHS模块13的地点测量结果从模型获取部分62被提供至标识结果获取部分64，并且被获取为关于当前地点的标识结果。此后，处理结束。

如果在步骤S35中已确定关于包括当前地点的集群的信息注册在服务器中，则处理前进至步骤S37，在步骤S37中，通信控制部分36下载与所述集群相关联地注册的HMM。把通信控制部分36所下载的HMM经由模型获取部分62输出至标识部分63。

在步骤S38中，标识部分63与步骤S27相类似地执行标识处理。此处，标识处理中所使用的HMM为从服务器所下载的HMM。标识结果获取部分64获取标识部分63的标识结果，此后，处理结束。

以下，将参照图19的流程图，描述图17的步骤S27、S31和图18的步骤S38中的标识处理。

在步骤S61中，标识部分63的图像选择部分71(图14)从成像控制部分34提供至其的图像中选择将用于局部区域中的地点标识中的图像，并且把由如此选择的图像形成的将加以标识的图像序列输出至特征向量计算部分72。

在步骤S62中，特征向量计算部分72对代表从图像选择部分71提供至其的图像的特征的特征向量进行计算，并且把所计算的特征向量存储在特征向量存储部分73中。因此，把特征向量的时间系列存储在特征向量存储部分73中。

在步骤S63中，匹配处理部分74根据从模型获取部分62提供至其的HMM，执行Viterbi匹配，并且计算存储在特征向量存储部分73中的特征向量的时间系列与所述HMM的状态(从代表这些状态的图像中获得的特征向量的时间系列)之间的匹配水平。

在步骤S64中，匹配处理部分74根据匹配水平计算结果，把针对具有最高匹配水平的HMM的图像序列所设置的ID信息和名称作为关于局部区域中的当前地点的标识结果，输出至标识结果获取部分64。此后，处理返回至图17的步骤S27、S31，或者图18的步骤S38，在这些步骤中执行随后的处理。

由于通过上述处理标识了局部区域中的当前地点，所以便携式终端1可用于下列情况。

例如，假设当用户上次访问了图11的车站S₂附近的百货商店中的裁缝店A时，他或她发现了最喜欢的一套服装，但那一次未决定购买这套服装，因此该用户使用便携式终端1写了备忘录(该用户照了一张照片或者以文本格式存储了备忘录)，并且假设下次他或她将购买这套服装。在这一情况下，当该用户下次访问这一裁缝店A时，并且当便携式终端1标识出他或她在裁缝店A中时，将呈现所述备忘录。

因此，用户可以想起他或她将要在裁缝店A购买这套服装。注意，把用户所输入的备忘录作为文件，随用于区分裁缝店A的地点的信息一起存储在便携式终端1的系统中。

另外，由于GPS模块12的地点测量结果和PHS模块13的地点测量结果可以根据它们的可靠度水平而切换，而且即使是针对用户首次访问的地方，因此可以从服务器下载用于执行该地方的地点标识的HMM(在HMM曾经注册在服务器中的情况下)。因此，还可以把便携式终端1用于下列情况。

例如，从未访问过图11的Shinagawa车站S₅的用户在Shinagawa车站S₅站场有要见朋友的约会。

在该用户的便携式终端1中，GPS模块12和PHS模块13周期性地获取经度/纬度信息。由于在Shinagawa车站S₅站场上GPS模块12难以从卫星接收信号(不能获取导航消息)，所以GPS模块12通知便携式终端1的系统(信息处理部分11)：可靠度水平已经下降。

对此加以响应，便携式终端1的系统把GPS模块12中的可靠度水平与PHS模块13中的可靠度水平加以比较。在PHS的情况下，可从基站接收信号，例如，即使在Shinagawa车站S₅站场中，从而可靠度水平高。因此，把来自PHS模块13的输出用作全局区域中的地点测量结果。

便携式终端1的系统使用作为PHS模块13的地点测量结果的经度/纬度信息，通过地点识别模型DB 33搜索包括Shinagawa车站S₅的集群。然而，因为用户从未去过Shinagawa车站S₅，所以该集群不存在。

在这一情况下，便携式终端1的系统向网络上的服务器发送对HMM的请求(发送PHS模块13所标识的经度/纬度信息)，并且在另一用户的便携式终端所创建的HMM存在于服务器上的情况下，所述系统下载该HMM，用于Shinagawa车站S₅站场的地点标识。

因此，当通过便携式终端1导航时，用户可以检查他或她正去向Shinagawa车站S₅站场东出口还是西出口等，因而即使在对他或她陌生的地方仍可以看到朋友。

注意，在以上所提到的地点标识引擎的情况下，HMM的实质为以后不能被恢复为照片或图像的其参数或特征向量，而且这意味着不能从这些数据中抽取个人信息(例如，用户访问过的地方、用户所购买的东西等)。因此，从保护隐私的角度看，只要交换HMM，可以认为，共享数据的风险也是极低的。而且，由于所述数据的大小为数十千(K)字节至数兆(M)字节，所以可以很容易地进行数据发送。

通过利用诸如此的特性，便携式终端1可进一步用于下列情况。

例如，让我们考虑在某用户首次访问的Hakuba(白马)车站处的导航。

自然，该用户的便携式终端1中不存在针对Hakuba车站的地点识别模型。因此，用户请求服务器发送作为针对Hakuba车站的地点识别模型的HMM，但针对Hakuba车站的HMM尚未被注册在服务器中。

在这一情况下，该用户的便携式终端1使用诸如无线LAN的无线通信装置向网络上的多个终端广播对Hakuba车站的HMM的请求。如果在Hakuba车站附近的、已经具有针对Hakuba车站的HMM的居民的便携式终端2是已从便携式终端1接收到所述请求的便携式终端1周围的终端之中的终端，则便携式终端2通过它持有的识别模型，根据随来自便携式终端1的请求一起发送至其的关于Hakuba车站的地点信息，搜索针对Hakuba车站的HMM。然后，便携式终端2向便携式终端1给出它持有Hakuba车站的HMM的答复。

已经从便携式终端2接收到答复的便携式终端1按特别的模式连接至便携式终端2，以从便携式终端2下载针对Hakuba车站的HMM。

以这一方式，即使在用户需要导航时所希望的地点识别模型未注册在服务器中的情况下，可以在所谓端对端(peer-to-peer)系统上共享地点识别模型，即可以在个人之间直接交换地点识别模型。

通过在便携式终端1中重复从诸如以上所提到的另一终端获取HMM的处理，可以把用户从Hakuba车站导航至另一目的地。

例如，当用户离开Hakuba车站，去向新的目的地时，为了从Hakuba车站对用户进行导航，需要新的HMM。已经获取针对Hakuba车站的HMM的用户的便携式终端1，使用Hakuba车站HMM连续地执行地点标识，只要其处于与Hakuba车站HMM相关联地注册的经度/纬度的范围内即可。然而，在用户走出该范围的情况下，即，在使用GPS模块或者PHS模块所测量的当前地点超出所持有的HMM可标识的范围的情况下，不再能够执行地点标识。于是，用户的便携式终端1把关于当前地点的经度/纬度信息发送至周围的终端，以请求新的HMM。适当地重复该处理系列，直至用户到达目的地。

或者，也可以这样地配置：按预先确定的时间间隔，重复地向周围终端请求HMM，而无需把所持有的HMM与所测量的经度/纬度信息进行比较。

在以上的描述中，便携式终端1为六边形横截面，如图5中所示。然而，当然其形状并不局限于此。

图20A～20D、以及图21A～21D描述了有关便携式终端1的形状的其它例子。

例如，如图20A和20B中所示，便携式终端1可以为笔记本型的个人计算机。在这一情况下，按下述方式提供照相机15：当打开计算机时，照相机15位于计算机的上部，如图20A中所示，或者将照相机15提供在铰接处，如图20B中所示。

图20C描述了具有诸如小尺寸视频摄像机形状的便携式终端1，图20D描述了具有可以像徽章一样佩带在衣服上的形状的便携式终端1。

另外，图21A描述了颈带型的便携式终端1，图21B描述了气球型便携式终端1。气球型便携式终端1实现为例如被并入类似气球的某物中。

图21C描述了一种带状便携式终端1，像背包那样斜挎在肩上使用，图21D描述了一种头戴耳机型便携式终端1。

以这一方式，便携式终端1可以具有各种形状。

而且，尽管以上执行基于HMM的地点标识，但本发明也适用于基于其它算法的地点标识。例如，也可以使用诸如神经网络、感知器(perceptron)、SVM(支持向量机)等的地点识别模型。

而且，尽管以上随GPS一起并入便携式终端1中的地点测量设备为PHS，但实际上可以使用任何设备，只要该设备具有如下功能：能够根据从互相相距几百米的区域中所建立的基站中的任何基站向其发送的信息来进行地点测量。

另外，尽管以上使用层次结构的地点标识来把预先确定的信息呈现给用户，然而，这一地点标识并不局限于该用途。例如，其也可以用于并入客车的导航系统。

因此，例如，即使用户正沿普通公路驾驶，一高速公路高架在该普通公路上方并与之并行延伸，则可以按更适合这一情况的方式，沿该普通公路对用户进行导航。即，在仅根据GPS的地点测量结果进行导航的情况下，即使当用户实际沿所述普通公路驾驶时，也好像用户正在高速公路上驾驶一样，在所显示的地图上，对用户进行导航。然而，可以防止这样的错误导航。

注意，在针对客车等的导航系统中，可以考虑实时地获取地点识别模型，例如通过使用VICS(车辆信息与通信系统)，即，交通信息通信系统。在这一情况下，当客车已沿公路到达在预先确定的地点处所建立的信号灯接收区域内时，地点识别模型的获取可以自动地执行，或者其可以配置为：按预先确定的间隔，从FM广播电台接收多路复用成广播信号而发送的地点识别模型。

以上，把与根据GPS模块12或PHS模块13的地点测量结果所选择的集群相关联的HMM用于局部区域中的地点标识。然而，也可以这样地配置：所述HMM直接与作为GPS模块12或PHS模块13在地点识别模型构造阶段中的地点测量结果的经度/纬度信息相关联。在这一情况下，在地点标识阶段中，例如，与GPS模块12等的地点测量所获得的当前地点最接近的经度/纬度信息相关联的HMM被选择，并且用于局部区域中的地点标识。

而且，以上，根据具有诸如CCD的成像设备的照相机15所拍摄的图像(例如，通过分辨率降低的照相机所获得的图像)，创建HMM并且执行局部区域中的地点标识。然而，由于用于这些处理的图像的分辨率可能低，如以上所提到的，所以可以取代诸如CCD的成像设备，在照相机15上提供包括多个光敏传感器的光敏传感器阵列。

例如，如果取代成像设备，而提供5×5个光敏传感器的阵列，则可以根据各光敏传感器的输出的随时间的变化，来计算匹配水平。另外，取决于所排列的光敏传感器的数目，与驱动CCD的情况相比，还可以抑制功耗。因此，在以上的描述中，除了从CCD获得光信息外，还把从各光敏传感器所获得的光信息包括在照相机15所获得的“图像”中。

可以由硬件执行以上所提到的处理系列，但也可以使用软件执行这一处理系列。在该情况下，用于执行该软件的装置形成有诸如图22中所示的个人计算机。

在图22中，CPU 101根据存储在ROM 102中的程序或者从存储部分108加载至RAM 103的程序，来执行各种处理。RAM 103把CUP 101执行各种处理所需的数据等适当地存储在其中。

经由总线104，CPU 101、ROM 102以及RAM 103互相连接。总线104还具有与其相连的输入/输出接口105。

与输入/输出接口105相连的有：输入部分106，例如键盘和鼠标器；输出部分107，其包括诸如LCD(液晶显示器)的显示器以及扬声器等；存储部分108，其由硬盘等形成；以及通信部分109，用于经由网络执行通信处理。

当需要时，驱动器110也连接至输入/输出接口105，并且适当地诸如磁盘、光盘、磁光盘或者半导体存储器的可拆卸媒体111插入其中。当需要时，把从可拆卸媒体读出的计算机程序安装在存储部分108中。

在由软件执行所述处理系列的情况下，形成该软件的程序安装在并入专用硬件的计算机中，或者，例如，安装在可以通过从记录媒体把各种程序安装在其中而执行各种功能的通用个人计算机等中。

如图22中所示，这一记录媒体不仅包括可拆卸媒体111，而且还包括ROM102以及包括在存储部分108中的硬盘，其中，可拆卸媒体111为封装媒体，形成有磁盘(包括软盘)、光盘(包括CD-ROM(紧致盘-只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(注册商标)(小型盘))、或者半导体存储器，程序已经记录在其中，并且其与主装置分离地分布，以向用户提供所述程序，而ROM 102和包括在存储部分108中的硬盘具有程序记录在其中，并且以预先并入主装置的形式向用户提供。

注意，在本发明中，每一步骤不仅包括根据所描述的序列按时间顺序执行的处理，而且还包括如果不按时间顺序执行，则并行或个别地执行的处理。

Claims

1.一种信息处理设备，其特征在于，具有：

地点测量装置，其进行地点测量；

获取装置，其根据所述地点测量装置所进行的地点测量所获得的地点信息，而获取用于进行地点标识的、用于识别的数据；以及

地点标识装置，其通过使用所述获取装置所获取的所述用于识别的数据、和来自预先确定的传感器的输出，而进行地点标识。

2.按照权利要求1所述的信息处理设备，其特征在于，还具有：

创建装置，根据来自所述传感器的输出而创建所述用于识别的数据。

3.按照权利要求2所述的信息处理设备，其特征在于，还具有：

存储装置，与所述地点测量装置所进行的地点测量所获得的地点信息相关联地存储所述创建装置所创建的所述用于识别的数据；

其中，所述获取装置根据所述地点测量装置所进行的地点测量所获得的地点信息，从所述存储装置获取所述用于识别的数据。

4.按照权利要求1所述的信息处理设备，其特征在于，还具有：

发送装置，把所述用于识别的数据发送至另一设备。

5.按照权利要求4所述的信息处理设备，其特征在于，还具有：

接收装置，从所述另一设备接收所述用于识别的数据；以及

搜索装置，根据所述地点信息，搜索所述用于识别的数据；

其中，所述发送装置把所述搜索装置所搜索的所述用于识别的数据发送至所述另一设备。

6.按照权利要求3所述的信息处理设备，其特征在于：

所述获取装置，在与所述地点测量装置所进行的地点测量所获得的地点信息相对应的所述用于识别的数据未存储在所述存储装置的情况下，从另一设备获取所述用于识别的数据。

7.按照权利要求1所述的信息处理设备，其特征在于：

所述获取装置，以预先确定的时间间隔获取所述用于识别的数据。

8.按照权利要求3所述的信息处理设备，其特征在于：

在下述情况下：

由所述地点测量装置所进行的地点测量所获得的地点信息由预先确定的地点坐标表示，以及

与所述用于识别的数据相关联地存储在所述存储装置中的地点信息由预先确定的地点坐标范围表示，

则所述获取装置，当所述地点测量装置所进行的地点测量所获得的地点坐标超过所述预先确定的地点坐标范围时，从所述另一设备获取所述用于识别的数据。

9.按照权利要求1所述的信息处理设备，其特征在于：

所述地点测量装置，使用GPS和PHS进行地点测量，并且从通过使用GPS所获得的地点、以及通过使用PHS所获得的地点，把展示较高可靠度水平的地点选择为地点测量结果。

10.按照权利要求1所述的信息处理设备，其特征在于：

所述传感器由照相机的成像设备或者多个光敏传感器形成。

11.一种信息处理方法，其特征在于，包括：

地点测量步骤，进行地点测量；

获取步骤，根据由所述地点测量步骤的处理所进行的地点测量所获得的地点信息，获取用于进行地点标识的、用于识别的数据；以及

地点标识步骤，通过使用所述获取步骤的处理所获取的所述用于识别的数据和来自预先确定的传感器的输出，进行地点标识。

12.一种程序，使计算机执行处理，所述处理包括：

地点测量步骤，进行地点测量；

获取步骤，根据由所述地点测量步骤的处理所进行的地点测量所获得的地点信息，而获取用于进行地点标识的、用于识别的数据；以及

地点标识步骤，通过使用所述获取步骤的处理所获取的用于识别的数据和来自预先确定的传感器的输出，而进行地点标识。

13.一种信息处理系统，包括第一信息处理设备和第二信息处理设备，其特征在于，

所述第一信息处理设备具有：

地点测量装置，用于进行地点测量；

发送装置，把由所述地点测量装置所进行的地点测量所获得的地点信息发送至所述第二信息处理设备，所述第二信息处理设备与地点信息相关联地存储用于进行地点标识的、用于识别的数据；

接收装置，接收根据从所述发送装置所发送的地点信息而搜索的、并且从所述第二信息处理设备发送至其的、用于识别的数据；以及

地点标识装置，通过使用所述接收装置所接收的所述用于识别的数据、和来自预先确定的传感器的输出，而进行地点标识；以及

所述第二信息处理设备具有：

接收装置，接收从所述第一信息处理设备发送至其的所述地点信息；

搜索装置，根据由所述接收装置所接收的所述地点信息而搜索所述用于识别的数据；以及

发送装置，把由所述搜索装置所搜索的所述用于识别的数据发送至所述第一信息处理设备。

14.一种信息处理设备，其特征在于，具有：

地点测量装置，根据所发送的信息进行地点测量；

获取装置，获取当根据从预先确定的传感器的输出而进行地点标识时所使用的用于识别的数据；

地点标识装置，通过使用由所述获取装置所获取的所述用于识别的数据，根据从所述传感器的输出，进行地点标识；

可靠度水平测量装置，测量所述地点测量装置所进行的地点测量所获得的地点的可靠度水平、和所述地点标识装置所标识的地点的可靠度水平；以及

地点输出装置，根据所述可靠度水平测量装置所测量的可靠度水平，来输出地点表示信息。

15.一种信息处理方法，其特征在于，包括：

地点测量步骤，根据所发送的信息进行地点测量；

获取步骤，获取当根据从预先确定的传感器的输出进行地点标识时所使用的用于识别的数据；

地点标识步骤，通过使用所述获取步骤的处理所获取的用于识别的数据，根据从所述传感器的输出，进行地点标识；

可靠度水平测量步骤，测量所述地点测量步骤的处理所进行的地点测量所获得的地点的可靠度水平、和所述地点标识步骤的处理所标识的地点的可靠度水平；以及

地点输出步骤，根据所述可靠度水平测量步骤的处理所测量的可靠度水平，而输出地点表示信息。

16.一种程序，使计算机执行处理，所述处理包括：

地点测量步骤，根据所发送的信息进行地点测量；

获取步骤，获取当根据从预先确定的传感器的输出而进行地点标识时所使用的用于识别的数据；

地点标识步骤，通过使用所述获取步骤的处理所获取的所述用于识别的数据，根据从所述传感器的输出，进行地点标识；

可靠度水平测量步骤，测量所述地点测量步骤中所进行的所述地点测量的处理所获得的地点的可靠度水平、和所述地点标识步骤的处理所标识的地点的可靠度水平；以及

地点输出步骤，根据所述可靠度水平测量步骤的处理所测量的可靠度水平，输出地点表示信息。