CN102298608A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN102298608A
CN102298608A CN2011101632363A CN201110163236A CN102298608A CN 102298608 A CN102298608 A CN 102298608A CN 2011101632363 A CN2011101632363 A CN 2011101632363A CN 201110163236 A CN201110163236 A CN 201110163236A CN 102298608 A CN102298608 A CN 102298608A
Authority
CN
China
Prior art keywords
unit
state
user
behavior
destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101632363A
Other languages
English (en)
Inventor
阿部真一郎
臼居隆志
高田昌幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102298608A publication Critical patent/CN102298608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • G06F16/337Profile generation, learning or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • G06F16/90344Query processing by using string matching techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries

Abstract

本发明提供了信息处理装置、信息处理方法和程序。提供了一种装置,该装置包括信息处理装置,其包括:行为学习单元,该行为学习单元从用户的位置的时间序列数据以概率状态转变模型的形式学习表示用户的活动状态的活动模型,并且利用用户的活动模型找出与用户从事活动的位置相对应的状态节点;候选指派单元,该候选指派单元向状态节点指派与位置或时间有关的类别候选;以及显示单元,该显示单元向用户呈现类别候选。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序。
背景技术
信息提供服务是用于向用户拥有的客户终端提供与位置信息或时区相联系的用户特定信息的服务。例如,现有的信息提供服务根据用户预先设定的区域和时区来提供铁路交通信息、公路交通信息、台风信息、地震信息、事件信息等等。另外,有一种服务,用于将用户与某个区域相关联地登记的信息在用户接近登记的区域时以提醒的形式通知给用户。
发明内容
在现有的信息提供服务中,为了接收与位置信息和时区相联系的用户特定信息,期望用户预先登记区域和时区。例如,为了接收与用户使用的区域相联系的服务,例如铁路交通信息、公路交通信息、台风信息、地震信息、事件信息等等,用户必须通过从客户终端等等输入来登记自己的住宅或者用户频繁访问的区域。另外,如果希望与某些区域相关联地登记信息并且接收提醒,则用户必须针对每个要登记的区域进行操作,这是不方便的。
另外,如果用户希望设定接收信息的时间,则用户必须通过从客户终端等等输入接收信息的时区来进行登记。因此,存在用户为了接收与位置信息和时区相联系的用户特定信息而必须得输入详细设定的问题。尤其,为了在多个时区中在多个区域接收信息,用户必须得执行大量操作,从而增大了用户的负担。
JP 2009-159336A公开了一种技术,其利用隐式马尔可夫模型(HMM,hidden Markov model)预测用户的行进路线的拓扑以便监视用户的活动。其中记载了当在位置预测步骤中预测的当前位置在夜间的一定时间段和时间范围期间指示出相同的状态标签(label)时,此技术将该状态标签识别为活动范围监视对象的住宅等等。
然而,上述公开没有记载状态标签被呈现给用户并且向用户确认。在不向用户确认的情况下自动添加所有状态标签将包括不确定性,因此对于诸如铁路交通信息等等之类的不允许不提供的信息,变得难以确保信息提供的确定性。
JP 4284351B公开了一种技术,其基于移动信息终端的操作历史来自动选择用于通知接收到了信息的通知形态(输出形式),从而消除了预设通知形态的操作。此外,其记载了在一些情况下就通知形态的设定向用户确认。
然而,JP 4284351B的目的是为了决定通知形态而进行确认。因此,其技术领域不同于其中必须登记区域和时区的与位置信息和时区相联系的用户特定信息提供服务的技术领域。
鉴于上述情况,希望提供一种新颖且改进的信息处理装置、信息处理方法和程序,其能够利用用户的活动模型来找出与用户从事活动的位置相对应的状态节点并且在识别出用户的活动时能够容易地对状态节点设定类别。
根据本公开的一个实施例,提供了一种信息处理装置,包括:行为学习单元,该行为学习单元从用户的位置的时间序列数据以概率状态转变模型的形式学习表示用户的活动状态的活动模型,并且利用用户的活动模型找出与用户从事活动的位置相对应的状态节点;候选指派单元,该候选指派单元向状态节点指派与位置或时间有关的类别候选;以及显示单元,该显示单元向用户呈现类别候选。
信息处理装置还可包括:地图数据库,该地图数据库包括地图数据和与地图数据相关联的位置的属性信息;以及类别提取单元,该类别提取单元基于状态节点和地图数据库来提取类别候选。
信息处理装置还可包括:行为预测单元,该行为预测单元预测从状态节点能够采取的路线;标注单元,该标注单元向状态节点登记所述类别候选之中的至少一个类别候选作为标签;以及信息呈现单元,该信息呈现单元基于登记的标签来提供与预测的路线中包括的状态节点有关的信息。
与状态节点有关的信息可以根据标签的属性来确定。
根据本公开的另一实施例,提供了一种信息处理方法,包括:从用户的位置的时间序列数据以概率状态转变模型的形式学习表示用户的活动状态的活动模型,并且利用用户的活动模型找出与用户从事活动的位置相对应的状态节点;向状态节点指派与位置或时间有关的类别候选;以及向用户呈现类别候选。
根据本公开的另一实施例,提供了一种程序,用于使得计算机执行:从用户的位置的时间序列数据以概率状态转变模型的形式学习表示用户的活动状态的活动模型,并且利用用户的活动模型找出与用户从事活动的位置相对应的状态节点;向状态节点指派与位置或时间有关的类别候选;以及向用户呈现类别候选。
根据上述本公开的实施例,可以利用用户的活动模型找出与用户从事活动的位置相对应的状态节点,并且可以在识别出用户的活动时很容易地向状态节点设定类别。
附图说明
图1是示出根据本公开的实施例的预测系统的配置示例的框图;
图2是示出预测系统的硬件配置示例的框图;
图3是示出要被输入到预测系统中的时间序列数据的示例的示图;
图4是示出HMM的示例的示图;
图5是示出用于语音识别的HMM的示例的示图;
图6是示出被赋予稀疏限制(sparse restriction)的HMM的示例的示图;
图7是示出行为预测单元搜索路线的处理的示例的示图;
图8是示出用户活动模型学习处理的流程图;
图9是示出图1中的行为学习单元的第一配置示例的框图;
图10是示出图1中的行为学习单元的第二配置示例的框图;
图11是示出与图9中的行为状态识别单元相对应的学习设备的第一配置示例的框图;
图12示出了行为状态的分类示例;
图13是说明图11中的行为状态标注单元的处理示例的示图;
图14是说明图11中的行为状态标注单元的处理示例的示图;
图15是示出图11中的行为状态学习单元的配置示例的框图;
图16是示出图11中的行为状态学习单元的学习结果的示图;
图17是示出与图11中的行为状态学习单元相对应的行为状态识别单元的配置示例的框图;
图18是示出与图9中的行为状态识别单元相对应的学习设备的第二配置示例的框图;
图19是说明行为状态标注单元的处理示例的示图;
图20是示出图20中的行为状态学习单元的学习结果的示图;
图21是示出与图20中的行为状态学习单元相对应的行为状态识别单元的配置示例的框图;
图22是示出目的地到达时间预测处理的流程图;
图23是示出目的地到达时间预测处理的流程图;
图24是示出图10中的预测系统的处理结果的示例的示图;
图25是示出图10中的预测系统的处理结果的示例的示图;
图26是示出图10中的预测系统的处理结果的示例的示图;
图27是示出图10中的预测系统的处理结果的示例的示图;
图28是示出用于创建行为样式(pattern)表格的处理的流程的说明图;
图29是示出行为模式的分类的说明图;
图30是示出行为样式表格的说明图;
图31是示出用于路线预测的处理的流程的说明图;
图32是示出从行为样式表格指派候选的流程的说明图;
图33是示出向用户呈现位置登记的示例的说明图;
图34是示出用于位置登记的画面的示例的说明图;
图35是示出在决定候选之后的修正行为样式表格的说明图;
图36是示出被登记为非对象目的地的修正行为样式表格的说明图;
图37是示出利用修正行为样式表格的预测处理的流程的说明图;
图38是示出预测的目的地和呈现的信息的组合示例的说明图;
图39是示出利用行为样式表格的预测的路线和呈现的信息的示例的说明图;
图40是示出利用修正行为样式表格的预测的路线和呈现的信息的示例的说明图;
图41是示出根据本公开的实施例的信息呈现系统的框图;
图42是示出根据本公开的实施例的信息呈现系统的处理的流程图;并且
图43是示出本公开所应用的计算机的实施例的配置示例的框图。
具体实施方式
下面,将参考附图详细描述本公开的优选实施例。注意,在本说明书和附图中,具有基本相同的功能和结构的结构元件被用相同的标号来标示,并且对这些结构元件的重复说明被省略。
将按以下顺序来给出说明:
1.预测系统
2.信息呈现系统
根据本公开的实施例的信息呈现系统向用户拥有的客户终端提供与位置信息和时区相联系的用户特定信息。根据本实施例的信息呈现系统利用学习模型来识别用户的习惯行为,并且从本系统向用户呈现区域和时区的候选,其中该学习模型是由使用位置、时间、日期、星期或天气中的至少一个的概率模型来构造的。
根据本实施例的信息呈现系统可以通过向用户呈现候选来促进用户登记区域和时区,更新学习模型,并且提高信息呈现和提醒的精确度。
根据本实施例,可以简化在用于提供与位置信息和时区相联系的用户特定信息的信息提供服务中的必要预设,并且使用户的不便达到最低限度。此外,可以通过基于预先构造的学习模型中的节点的位置和时区决定本系统向用户呈现的内容来使要呈现的项目的数目达到最低限度。另外,可以通过将预测与学习模型相组合来在适当的时机以更小的噪声提供信息。
<1.预测系统>
根据本实施例的信息呈现系统利用预测系统1从当前位置预测未来路线。图1是示出根据本实施例的预测系统的配置示例的框图。
图1中的预测系统1包括GPS传感器11、速度计算单元50、时间序列数据存储单元51、行为学习单元52、行为识别单元53、行为预测单元54、目的地预测单元55、操作单元17和显示单元18。
在本实施例中,预测系统1也将基于由GPS传感器11获得的位置的时间序列数据来预测目的地。目的地可能不是一个目的地,而是在一些情况下可以预测多个目的地。预测系统1针对预测的目的地计算到达概率、路线和到达时间,并将它们呈现给用户。
在诸如住宅、办公室、车站、购物地、餐馆等等之类的作为目的地的位置,用户一般在该地逗留一定时间段并且用户移动速度几乎为0。另一方面,当用户正在向目的地移动时,取决于交通运输手段,用户的移动速度处于以特定样式转变的状态中。因此,可以根据关于用户的移动速度的信息来识别用户的行为状态,即用户是处于逗留在目的地的状态(逗留状态)中还是移动的状态(行进状态)中,并且将逗留状态的地点预测为目的地。
在图1中,虚线箭头指示出学习处理中的数据流,实线箭头指示出预测处理中的数据流。
GPS传感器11以特定的时间间隔(例如每隔15秒)顺次获取指示其位置的纬度/经度的数据。注意,可能存在GPS传感器11不能以特定时间间隔获取位置数据的情况。例如,当逗留在隧道中或地下时,不能获取卫星并且获取的间隔可能较长。在此情况下,插值处理等等可以补偿数据。
GPS传感器11在学习处理中将获取的位置(纬度/经度)的数据提供给时间序列数据存储单元51。此外,GPS传感器11在预测处理中将获取的位置数据提供给速度计算单元50。注意,本公开不仅可以利用GPS测量其自己的位置,而且可以利用无线终端的基站或接入点来测量其自己的位置。
速度计算单元50根据GPS传感器11以特定时间间隔提供的位置数据来计算移动速度。
具体而言,如果在该特定时间间隔中的k步(第k步)获取的位置数据被表达为时刻tk、经度yk、纬度xk,则在第k步的x方向上移动速度vxk和y方向上的移动速度vyk可按照以下的式(1)来计算。
vx k = x k - x k - 1 t k - t k - 1 vy k = y k - y k - 1 t k - t k - 1 . . . . . . ( 1 )
式(1)直接使用从GPS传感器11获取的纬度/经度的数据,然而,如果必要,可以将纬度/经度转换成距离,或者将速度转换成表达为每小时或每分钟的速度。
另外,速度计算单元50可以根据从式(1)获取的移动速度vxk和移动速度vyk来计算式(2)中表达的第k步的移动速度vk和行进方向θk,并且使用它们。
v k = vx k 2 + vy k 2 &theta; k = sin - 1 ( vx k &CenterDot; vy k - 1 - vx k - 1 &CenterDot; vy k v k - v k - 1 ) . . . . . . ( 2 )
与使用式(1)所表达的移动速度vxk和移动速度vyk时相比,在使用式(2)所表达的移动速度vk和行进方向θk时,在以下几点上能够更好地取得特征。
1.由于移动速度vxk和移动速度vyk的数据分布对于纬度/经度轴产生偏差,因此存在不能识别出交通运输手段相同(列车(train)或徒步)的数据的不同角度的可能性。然而,移动速度vk不可能有这种可能性。
2.由于一些|v|是由设备的噪声生成的,因此如果仅按绝对大小|v|执行学习,则将难以区分步行和逗留。通过考虑到行进方向的变化,可以减小噪声的影响。
3.在移动时行进方向的变化较小,然而由于在逗留时行进方向是难以稳定的,因此如果使用行进方向的变化则更容易识别移动和逗留。
根据以上原因,在本实施例的形态中,速度计算单元50计算式(2)所表达的移动速度vk和行进方向θk作为移动速度的数据,并将其与位置数据一起提供给时间序列数据存储单元51或行为识别单元53。
另外,速度计算单元50在计算移动速度vk和行进方向θk之前通过移动平均执行滤波处理(预处理)以去除噪声内容。
注意,以下描述将行进方向的变化θk简写为行进方向θk
一些GPS传感器11可能能够输出移动速度。在采用这种GPS传感器11的情况下,可以省略速度计算单元50,并且可以直接利用由GPS传感器11输出的移动速度。
时间序列数据存储单元51存储由速度计算单元50提供的位置和移动速度的时间序列数据。由于时间序列数据存储单元51学习用户的行为和活动样式,因此必须有积累了一定时间段的时间序列数据。
行为学习单元52基于存储在时间序列数据存储单元51中的时间序列数据以概率状态转变模型的形式来学习用户的行进路线和行为状态。换言之,行为学习单元52识别用户的位置,并且以概率状态转变模型的形式学习用于预测目的地、其路线和到达时间的用户活动模型。
行为学习单元52把从学习处理获得的概率状态转变模型的参数提供给行为识别单元53、行为预测单元54和目的地预测单元55。
行为学习单元52基于存储在时间序列数据存储单元51的时间序列数据以概率状态转变模型的形式学习携带着内置有GPS传感器11的设备的用户的活动状态。由于时间序列数据是指示出用户的位置的数据,因此通过概率状态转变模型学习的用户的活动状态是呈现出用户的位置的时间序列变化的状态,亦即用户的行进路线。例如,诸如遍历隐式马尔可夫模型等等之类的包括隐藏状态的概率状态转变模型可用作用于学习的概率状态转变模型。在本实施例中,将应用具有稀疏限制的遍历隐式马尔可夫模型作为概率状态转变模型。注意,具有稀疏限制的遍历隐式马尔可夫模型、遍历隐式马尔可夫模型的计算方法等等将在下文中参考图4至图6来说明。注意,可以不利用HMM,而是利用RNN、FNN、SVR或RNNPB来构造学习模型。
行为学习单元52把指示学习结果的数据提供给显示单元18以显示它。另外,行为学习单元52把通过学习处理获得的概率状态转变模型的参数提供给行为识别单元53和行为预测单元54。
行为识别单元53使用通过学习获得的参数的概率状态转变模型来从位置和移动速度的时间序列数据识别用户的当前位置。为了识别,除了当前日志(log)以外,还使用在一定时间段之中的历史日志。行为识别单元53将当前状态节点的节点号码提供给行为预测单元54。
行为预测单元54利用通过学习获得的参数的概率状态转变模型,搜索用户从行为识别单元53提供的状态节点的节点号码所指示的用户当前位置起有可能采取的所有路线,并且对于每条搜索的路线计算选择概率。如果预测目的地/行进路线/到达时间和多个目的地,则此预测也将预测每个概率。如果到达目的地的概率为高,则将把该目的地视为途经点并且预测更往前的目的地候选作为最终目的地。为了行为识别和预测,使用最大似然(likelihood)估计算法、维特比(Viterbi)算法或反向传播通过时间(BPTT)方法。
换言之,行为识别单元53和行为预测单元54使用通过添加移动速度的时间序列数据而不仅学习了行进路线而且甚至学习了行为状态的参数。
目的地预测单元55利用通过学习获得的参数的概率状态转变模型来预测用户的目的地。
具体而言,目的地预测单元55首先列出目的地候选。目的地预测单元55把所识别出的用户行为状态是逗留状态的位置视为目的地候选。
另外,目的地预测单元55把列出的目的地候选之中处于由行为预测单元54搜索出的路线上的目的地候选决定为目的地。
随后,目的地预测单元55为每个决定的目的地计算到达概率。
在检测到多个目的地的情况下,如果显示单元18显示全部,则可能难以看见它们,或者其可能甚至显示了到达概率较低的位置。因此,正如在第一实施例中选择搜索的路线那样,也可以选择要被显示的目的地,使得只有具有高于预定值的到达概率的目的地才会被显示。注意,显示的目的地和路线的数目不同,是没有关系的。
如果决定了要被显示的目的地,则目的地预测单元55计算到该目的地的路线的到达时间,并且使得显示单元18显示它。
如果存在许多路线去往该目的地,则目的地预测单元55可以在基于选择概率选择了到目的地的一定数目的路线之后才仅计算要显示的路线的到达时间。
另外,如果存在许多路线去往该目的地,那么不是按被选择的概率较高的顺序决定要显示的路线,而是可以按到达时间较短的顺序或者按到目的地的距离较短的顺序决定要显示的路线。如果按到达时间较短的顺序决定要显示的路线,则目的地预测单元55例如首先计算到目的地的所有路线的到达时间,并且基于计算出的到达时间来决定要显示的路线。如果按到目的地的距离较短的顺序决定要显示的路线,则目的地预测单元55例如首先针对到目的地的所有路线基于与状态节点相对应的纬度/经度的信息计算到目的地的距离,并且基于计算出的距离来决定要显示的路线。
操作单元17接收用户输入的关于距离的信息,并将其提供给目的地预测单元55。显示单元18显示由行为学习单元52或目的地预测单元55提供的信息。
[预测系统的硬件配置示例]
如上所述配置的预测系统1可以采用例如图2所示的硬件配置。即,图2是示出预测系统1的硬件配置示例的框图。
在图2中,预测系统1由三个移动终端21-1至21-3和服务器22构成。移动终端21-1至21-3是具有相同功能的相同类型的移动终端21,但是移动终端21-1至21-3中的每一个由不同的用户拥有。因此,虽然图2只示出了三个移动终端21-1至21-3,然而存在与用户数目相对应的数目的移动终端21。
移动终端21可以通过经由诸如无线通信和互联网等等之类的网络的通信来从服务器22接收数据/向服务器22发送数据。服务器22接收从移动终端21发送来的数据,并且对接收到的数据执行预定的处理。服务器22经由无线通信等等将数据处理的结果发送到移动终端21。
从而,移动终端21和服务器22至少具有执行无线或有线通信的通信单元。
另外,可以采用一种配置,其中移动终端21包括图1中所述的GPS传感器11、操作单元17和显示单元18,并且服务器22包括速度计算单元50、时间序列数据存储单元51、行为学习单元52、行为识别单元53、行为预测单元54和目的地预测单元55。
如果采用此配置,则在学习处理中,移动终端21发送由GPS传感器11获得的时间序列数据。服务器22基于接收到的用于学习的时间序列数据按照概率状态转变模型来学习用户的活动状态。另外,在预测处理中,移动终端21发送由用户经由操作单元17指定的目的地并且发送由GPS传感器11实时获得的位置数据。服务器22利用通过学习获得的参数已识别出了用户的当前活动状态,即用户的当前位置,并且进一步把到目的地的指定路线和时间作为处理结果发送到移动终端21。移动终端21在显示单元18上显示从服务器22发送来的处理结果。
另外,可以采用一种配置,其中移动终端21包括图1中的GPS传感器11、速度计算单元50、行为识别单元53、行为预测单元54、目的地预测单元55、操作单元17和显示单元18,并且服务器22包括图1中的时间序列数据存储单元51和行为学习单元52。
如果采用此配置,则在学习处理中,移动终端21发送由GPS传感器11获得的时间序列数据。服务器22基于接收到的用于学习的时间序列数据按照概率状态转变模型来学习用户的活动状态,并且把通过学习获得的参数发送到移动终端21。另外,在预测处理中,移动终端21基于由GPS传感器11实时获得的位置数据利用从服务器22接收的参数来识别用户的当前位置,并且进一步计算到指定目的地的路线和时间。另外,移动终端21在显示单元18上显示计算结果的到目的地的路线和时间。
移动终端21与服务器22之间的上述角色分担可根据作为数据处理设备的处理能力和通信环境中的每一个来确定。
虽然学习处理的一次处理要花极长的时间,但是该处理不一定要那么经常进行。因此,由于服务器22一般具有比可便携的移动终端21更高的处理能力,所以可以使服务器22大约一天一次地基于所积累的时间序列数据来执行学习处理(更新参数)。
另一方面,由于优选与时时刻刻实时更新的位置数据相对应地迅速执行预测处理以便显示,所以最好由移动终端21来完成。如果通信环境充分,那么最好如上所述使服务器22也执行预测处理并且仅从服务器22接收预测结果,从而减轻期望较小且能够携带的移动终端21的负担。
另外,如果移动终端21本身作为数据处理装置能够高速执行学习处理和预测处理,则也可能移动终端21包括图1中的预测系统1的所有配置。
[输入的时间序列数据的示例]
图3示出了预测系统1所获得的位置的时间序列数据的示例。在图3中,横轴表示经度,纵轴表示纬度。
图3所示的时间序列数据指示已经积累了大约一个半月的实验者的时间序列数据。如图3所示,时间序列数据主要是诸如住宅附近、办公室等等四个访问地点之间的行进的数据。注意,此时间序列数据包括其中在难以捕捉卫星时跳过了一些位置数据的数据。
图3所示的时间序列数据也是用作下文中描述的验证实验中的学习数据的时间序列数据。
[遍历HMM]
接下来,将说明预测系统1采用来作为学习模型的遍历HMM。
图4示出了HMM的示例。
HMM是具有状态和状态转变的状态转变模型。
图4示出了三个状态中的HMM的示例。
在图4中(对以后的图也是同样的),圆圈表示状态,箭头表示状态转变。注意,状态对应于以上所述的用户的活动状态,并且具有与状态节点相同的定义。
另外,在图4中,si(在图4中i=1,2,3)表示状态(节点),aij表示从状态si到状态sj的状态转变概率。另外,bj(x)表示在到状态sj的状态转变时观测到观测值x的输出概率密度函数,并且πi表示状态si是初始状态的初始概率。
注意,例如混合正态概率分布等等被用作输出概率密度函数bj(x)。
这里,HMM(连续HMM)可由状态转变概率aij、输出概率密度函数bj(x)和初始概率πi来定义。这些状态转变概率aij、输出概率密度函数bj(x)和初始概率πi被称为HMM参数λ={aij,bj(x),πi,i=1,2,...,M,j=1,2,...,M}。M表示HMM的状态的数目。
Baum-Welch最大似然估计方法已被广泛用作估计HMM参数λ的方法。Baum-Welch最大似然估计方法是基于期望值最大化算法(EM算法)来估计参数的方法。
根据Baum-Welch最大似然估计方法,基于所观测到的时间序列数据x=x1,x2,...,xT,估计HMM参数λ以使得按照发生概率计算的似然最大化,其中发生概率是时间序列数据被观测到(发生)的概率。这里,xt表示在时刻t观测到的信号(样本值),并且T表示时间序列数据的长度(样本数目)。
关于Baum-Welch最大似然估计方法,例如在“Pattern Recognitionand Machine Learning(Information Science and Statistics)”,p.333,Christopher M.BishopSpringer,New York,2006(以下称为参考文献A)中有记载。
虽然Baum-Welch最大似然估计方法是基于似然最大化来估计参数的方法,然而其不确保最优性,并且取决于HMM配置和参数λ的初始值其可收敛到局部解。
HMM已被广泛用在语音识别中,并且在用于语音识别的HMM中,一般要预先确定状态的数目、状态转变的方法等等。
图5示出了用于语音识别的HMM的示例。
图5中的HMM被称为从左到右型。
在图5中,状态的数目是三个,并且状态转变限于仅允许自转变(从状态si到状态si的状态转变)和从左到右侧紧邻的状态转变的结构。
与图5中的HMM那样的在状态转变上有限制的HMM不同,在状态转变上没有限制的HMM,即能够发生从任意状态si到任意状态sj的状态转变的HMM,被称为遍历HMM。
遍历HMM是在其结构上具有最高灵活性的HMM,然而,如果状态的数目变大,则变得难以估计参数λ。
例如,当遍历HMM的状态的数目是1000个时,状态转变的数目变成1,000,000(=1000×1000)。
因此,在此情况下,在参数λ之中,例如,对于状态转变概率aij,必须估计1,000,000个状态转变概率aij
对于对状态设定的状态转变,例如可以施加是稀疏结构的限制(稀疏限制)。
这里,稀疏结构是这样一种结构:其对于像能够发生从任意状态到任意状态的状态转变的遍历HMM这样的紧密状态转变没有限制,而是对于从任意状态转变到的状态有极严格的限制。注意,这里假定即使稀疏结构也具有至少一个到另一状态的状态转变,并且具有自转变。
图6示出了赋予了稀疏限制的HMM的示例。
这里,在图6中,连接两个状态的双向箭头表示从两个状态中的一个到另一个的状态转变,以及从另一个到一个的状态转变。另外,在图6中,每个状态能够自转变,并且没有图示用于表示自转变的箭头。
在图6中,16个状态在二维空间上被布置成矩阵。换言之,在图6中,在横方向上布置了四个状态,并且在纵方向上布置了四个状态。
假定横方向上相邻的状态之间的距离和纵方向上相邻的状态之间的距离为1,图6A示出了具有稀疏限制的HMM,其允许到距离等于或小于1的状态的状态转变,并且禁止到其他状态的状态转变。
另外,图6B示出了具有稀疏限制的HMM,其允许到距离等于或小于
Figure BSA00000519488800141
的状态的状态转变,并且禁止到其他状态的状态转变。
在此实施例中,GPS传感器11获得的位置数据作为时间序列数据x=x1,x2,...,xT被提供给时间序列数据存储单元51。行为学习单元52利用存储在时间序列数据存储单元51中的时间序列数据x=x1,x2,..,xT来估计表示用户的活动模型的HMM的参数λ。
具体而言,认为表示用户的行进路线的每个时刻的位置(纬度/经度)的数据是从地图上与任何HMM状态sj相对应的点按预定分散值(dispersed value)的程度正态分布的随机变量的观测数据。行为学习单元52优化地图上与每个状态sj相对应的点及其分散值,以及状态转变概率aij
状态si的初始概率πi可被设定成相同值。例如,M个状态si的每个的初始概率πi可被设定成1/M。在对GPS传感器11获得的位置数据执行诸如插值处理之类的预定处理之后的位置数据可作为时间序列数据x=x1,x2,...,xT被提供给时间序列数据存储单元51。
行为识别单元53对通过学习获得的用户的活动模型(HMM)应用维特比方法,并且计算其中来自GPS传感器11的位置数据x=x1,x2,...,xT使观测到的似然最大的状态转变的过程(状态的系列)(路径)(以下也称为似然路径)。这使得能够识别出用户的当前活动状态,即与用户的当前位置相对应的状态si
这里,维特比方法是用于决定在以每个状态si为起点的状态转变的路径之中的如下路径的算法:该路径是使得在时刻t对从状态si转变到状态sj的状态转变概率aij和在该状态转变中观测到位置数据x=x1,x2,...,xT之中的时刻t的样本值xt的概率(从输出概率密度函数bj(x)计算出的输出概率)遍布处理后的时间序列数据x的长度T而累积的值(发生概率)最大化的路径(最大路径)。维特比方法的详情在上述参考文献A的第347页中记载。
[行为预测单元54搜索路线的处理]
随后,将说明行为预测单元54搜索路线的处理。
可以认为,通过学习获得的每个状态si表示地图上的一规定点(位置),并且如果状态si和状态sj被连接,则其表示从状态si转变到状态sj的路线。
在此情况下,与状态si相对应的每个点可被分类成端点、通过点、分支点或环路中的任何一种。端点是如下的点:该点的除自转变以外的概率极小(除自转变以外的概率等于或小于预定值),并且该点接下来不会转变到其他点。通过点是如下的点:该点除自转变以外存在有意义的转变,即有接下来会转变到的点。分支点是如下的点:该点除自转变以外存在两个或更多个有意义的转变,即有接下来会转变到的两个或更多个点。环路是与已经经过的路线上的任何点相同的点。
当搜索去往目的地的路线时,如果存在不同的路线,则期望在每条路线上呈现诸如必要时间等等之类的信息。为了搜索所有可能的路线,设定以下条件。
(1)如果一条路线曾分支,那么即使该路线再次合并,该路线也被视为不同的路线。
(2)当出现端点或已经经过的路线中包括的点时,对路线的搜索结束。
行为预测单元54以行为识别单元53所识别出的用户的当前活动状态亦即用户的当前点作为起点,重复将作为下一位置的、可能转变到的点分类成端点、通过点、分支点或环路中的任何一种,直到结束条件(2)为止。
如果当前点被分类为端点,则行为预测单元54首先将当前点与到当前点之前的路线相连接,然后结束对此路线的搜索。
另一方面,如果当前点被分类为通过点,则行为预测单元54首先将当前点与到当前点之前的路线相连接,然后移动到下一点。
如果当前点被分类为分支点,则行为预测单元54首先将当前点与到当前点之前的路线相连接,按分支数目复制到当前点之前的路线,然后将它们与分支点连接。之后,行为预测单元54移动到作为下一点的分支点之一。
如果当前点被分类为环路,则行为预测单元54结束对此路线的搜索,不将当前点与到当前点之前的路线相连接。注意,如果是返回到路线上的前一点的情况,则该情况被包括在环路中,因此不考虑这种情况。
[搜索处理的示例]
图7示出了行为预测单元54搜索路线的处理的示例。
在图7的示例中,当状态s1是当前位置时,将搜索三种路线。第一路线是从状态s1开始,经过状态s5、状态s6等等到状态s10的路线(以下也称为路线A)。第二路线是从状态s1开始,经过状态s5、状态s11、状态s14、状态s23等等到状态s29的路线(以下也称为路线B)。第三路线是从状态s1开始,经过状态s5、状态s11、状态s19、状态s23等等到状态s29的路线(以下也称为路线C)。
行为预测单元54计算选择每条被搜索的路线的概率(路线的选择概率)。路线的选择概率可以通过将构成路线的状态之间的转变概率顺次相乘来计算。然而,只考虑转变到下一步的情况,不必考虑逗留在该地点的情况。因此,路线的选择概率可以根据通过学习计算出的每条路线的状态转变概率aij,利用除了自转变概率以外的经标准化的转变概率[aij]来计算。
除了自转变概率以外的标准化的转变概率[aij]可由以下的式(3)表示。
[ a ij ] ( 1 - &delta; ij ) a ij &Sigma; j = 1 N ( 1 - &delta; ij ) a ij . . . . . . ( 3 )
这里,δ表示Kronecker函数,其是仅在索引i和j相同时才得到1、而在其他情况下则得到0的函数。
从而,例如,当图7中的状态转变概率aij是自转变概率a5,5=0.5,转变概率a5,6=0.2,转变概率a5,11=0.3时,如果从状态s5分支到状态s6或状态s11,则转变概率[a5,6]和转变概率[a5,11]分别变成0.4和0.6。
如果被搜索的路线的状态si的节点号码i是(y1,y2,...,yn),则此路线的选择概率可利用标准化的转变概率[aij]表示为以下的式(4)。
P ( y 1 , y 1 , . . . , y n ) = [ a y 1 y 2 ] [ a y 2 y 1 ] . . . [ a y n - 1 y n ]
= &Sigma; i = 1 n - 1 [ a y i y i + 1 ] . . . . . . ( 4 )
实际上,由于通过点处的标准化转变概率[aij]是1,因此只要将分支时的标准化转变概率[aij]顺次相乘即可。
在图7的示例中,路线A的选择概率是0.4。路线B的选择概率是0.24=0.6×0.4。路线C的选择概率是0.36=0.6×0.6。另外,计算出的路线的选择概率的总和是1=0.4+0.24+0.36,从而可以了解到恰好搜索了所有路线。
如上所述,基于当前位置搜索的每条路线及其选择概率将被从行为预测单元54提供到目的地预测单元55。
目的地预测单元55从被行为预测单元54搜索的路线中提取包括目的地的路线,并且对于每条提取出的路线预测到目的地的时间。
例如,在图7的示例中,在被搜索的三条路线A至C中,包括作为目的地的状态s28的路线是路线B和路线C。目的地预测单元55预测通过路线B或路线C到达作为目的地的状态s28的时间。
注意,在有许多路线包括目的地从而难以看出是否显示了所有路线的情况下,或者呈现路线的数目被设定成预定数目的情况下,必须在所有包括目的地的路线之中确定在显示单元18上显示的路线(以下也称为要显示的路线)。在这种情况下,由于在行为预测单元54中已计算了每条路线的选择概率,所以目的地预测单元55可以按较高选择概率的顺序确定预定数目的路线作为要显示的路线。
假定当前时刻t1的当前位置在状态Sy1中,并且在时刻(t1,t2,....tg)确定的路线是(s1,s2,....syg)。换言之,假定所确定的路线的状态si的节点号码i是(y1,y2,....yg)。以下,为了使说明更简单,可能有与位置相对应的状态si由其节点号码i简单表示的情况。
由于当前时刻t1的当前位置y1是通过行为识别单元53的识别而被固定的,因此在当前时刻t1的当前位置是y1的概率Py1(t1)为
Py1(t1)=1
另外,在当前时刻t1处于不是y1的状态中的概率是0。
同时,在预定的时刻tn逗留在节点号码yn的概率Pyn(tn)可由下式表示:
P y n ( t n ) = P y n ( t n - 1 ) A y n y n + P y n - 1 ( t n - 1 ) A y n - 1 y n . . . . . . ( 5 )
式(5)的右手侧第一项表示原本逗留在位置yn并且进行自转变的情况的概率,并且右手侧第二项表示从先前位置yn-1转变到位置yn的情况的概率。在式(5)中,与路线的选择概率的计算不同,通过学习获得的状态转变概率aij将被直接使用。
利用“在前一时刻tg-1逗留在目的地yg的前一个位置yg-1并且在时刻tg行进到目的地yg的概率”,当到达目的地yg时的时刻tg的预测值<tg>被表示为:
< t g > = &Sigma; t t g ( P x g - 1 ( t g - 1 - 1 ) A x g - 1 x g &Sigma; t P x g - 1 ( t g - 1 ) A x g - 1 x g ) . . . . . . ( 6 )
换言之,预测值<tg>由从当前时刻直到“在前一时刻tg-1逗留在状态syg的前一个状态syg-1之后在时刻tg移动到状态syg时”的时间的期望值来表示。
由式(6)表示的根据本实施例的对到目的地的到达时间的预测值的计算应当对时刻t积分(∑)。然而,由于对于要搜索的路线排除了通过循环的路线到达目的地的情况,因此可以将十分长的区间设定为积分区间。式(6)中的积分区间例如可以是所学习的路线之中的最大行进时间的一倍或两倍。
[用户活动模型学习处理]
随后,参考图8中的流程图,将说明用于以表示用户的活动状态的概率状态转变模型的形式学习用户的行进路线的用户活动模型学习处理。
首先,在步骤S1中,GPS传感器11获得位置数据以提供给时间序列数据存储单元51。
在步骤S2中,时间序列数据存储单元51存储由GPS传感器11接连获得的位置数据,即位置的时间序列数据。
在步骤S3中,行为学习单元52基于存储在时间序列数据存储单元51的时间序列数据以概率状态转变模型的形式学习用户的活动模型。换言之,行为学习单元52基于存储在时间序列数据存储单元51中的时间序列数据来计算概率状态转变模型(用户的活动模型)的参数。
在步骤S4中,行为学习单元52把在步骤S3中计算出的概率状态转变模型的参数提供给行为识别单元53、行为预测单元54和目的地预测单元55,并且结束处理。
[行为学习单元52的第一配置示例]
图9是示出图1中的行为学习单元52的第一配置示例的框图。
行为学习单元52利用存储在时间序列数据存储单元51(在图1中示出)中的位置和移动速度的时间序列数据同时学习用户的行进路线和行为状态两者。
行为学习单元52包括学习数据转换单元61和综合学习单元62。
学习数据转换单元61由位置索引转换单元71和行为状态识别单元72构成,把时间序列数据存储单元51提供的位置和移动速度的数据转换成位置索引和行为模式的数据,并将其提供给综合学习单元62。
由时间序列数据存储单元51提供的位置的时间序列数据将被提供给位置索引转换单元71。位置索引转换单元71可采用与图1中的行为识别单元53相同的结构。从而,位置索引转换单元71基于通过学习获得的参数从用户的活动模型中识别与用户的当前位置相对应的用户当前活动状态。位置索引转换单元71将用户的当前状态节点的节点号码作为指示出位置的索引(位置索引)提供给综合学习单元62。
作为由位置索引转换单元71采用的学习参数的学习设备,可以采用图1中的行为学习单元52的结构,即用于图1中的行为识别单元53的学习设备。
由时间序列数据存储单元51提供的移动速度的时间序列数据将被提供给行为状态识别单元72。行为状态识别单元72利用通过以概率状态转变模型的形式学习用户的行为状态而获得的参数来识别与所提供的移动速度相对应的用户行为状态,并且将识别结果作为行为模式提供给综合学习单元62。作为由行为状态识别单元72识别的用户行为状态,至少必须存在逗留状态和行为状态。在本实施例中,如下文中参考图12等所述,行为状态识别单元72把行为模式提供给综合学习单元62,该行为模式是被进一步分类成诸如徒步、自行车、汽车等等之类的行进手段的行进状态。
因此,综合学习单元62被学习数据转换单元61提供以采用与地图上的位置相对应的位置索引作为符号的时间序列离散数据和采用行为模式作为符号的时间序列离散数据。
利用采用与地图上的位置相对应的位置索引作为符号的时间序列离散数据和采用行为模式作为符号的时间序列离散数据,综合学习单元62按照概率状态转变模型来学习用户的活动状态。具体而言,综合学习单元62学习指示出用户的活动状态的多流HMM的参数λ。
这里,多流HMM是这样一种HMM:其中,遵循多个不同的概率规则的数据从具有与普通HMM相同的转变概率的状态节点输出。在多流HMM中,在参数λ之中,为每个时间序列数据分别准备输出概率密度函数bj(x)。
在本实施例中,由于存在两种时间序列数据,即位置索引的时间序列数据和行为模式的时间序列数据,所以准备了其中输出概率密度函数bj(x)对应于位置索引的时间序列数据的输出概率密度函数b1j(x)和其中输出概率密度函数bj(x)对应于行为模式的时间序列数据的输出概率密度函数b2j(x)。输出概率密度函数b1j(x)是当多流HMM的状态节点为j时地图上的索引变成x的概率。输出概率密度函数b2j(x)是当多流HMM的状态节点为j时行为模式变成x的概率。因此,在多流HMM中,以地图上的索引和行为模式相互关联的方式来学习用户的活动状态(综合学习)。
具体而言,综合学习单元62学习每个状态节点输出的位置索引的概率(位置索引将被输出的概率),以及每个状态节点输出的行为模式的概率(行为模式将被输出的概率)。根据通过学习获得的综合模型(多流HMM),概率上可能输出处于“逗留状态”中的行为模式的状态节点。通过从识别出的状态节点计算位置索引,可以识别目的地候选的位置索引。另外,可以从目的地候选的位置索引指示出的纬度/经度分布来识别目的地的位置。
如上所述,估计用户的逗留地点在与将要观测到的行为模式变成“逗留状态”概率较高的状态节点相对应的位置索引所指示的位置。另外,如上所述,将要处于“逗留状态”的地点经常是目的地,因此,此逗留地点可被估计为目的地。
综合学习单元62把指示用户的活动状态的多流HMM的参数λ提供给行为识别单元53、行为预测单元54和目的地预测单元55。
[行为学习单元52的第二配置示例]
图10是示出图1中的行为学习单元52的第二配置示例的框图。
图10中的行为学习单元52包括学习数据转换单元61′和综合学习单元62′。
学习数据转换单元61′仅包括与图9中的学习数据转换单元61相同的行为状态识别单元72。在学习数据转换单元61′中,时间序列数据存储单元51提供的位置数据将被直接提供到综合学习单元62′中。另一方面,时间序列数据存储单元51提供的移动速度的数据将被行为状态识别单元72转换成行为模式并被提供给综合学习单元62′。
在图9中的行为学习单元52的第一配置示例中,位置数据被转换成位置索引,因此,在综合学习单元62中,学习模型(HMM)的似然不由关于地图上的近或远的信息反映。相反,在图10中的行为学习单元52的第二配置示例中,直接将位置数据提供给综合学习单元62′使得这种关于距离的信息能够反映在学习模型(HMM)的似然中。
另外,在第一配置示例中,必须进行两个阶段的学习;一个阶段是位置索引转换单元71和行为状态识别单元72中对用户的活动模型(HMM)的学习,另一个阶段是综合学习单元62中对用户的活动模型的学习。在第二配置示例中,至少在位置索引转换单元71中对用户的活动模型的学习是不必要的,这减轻了计算处理的负担。
另一方面,由于第一配置示例转换成索引,所以转换前的数据是什么并不要紧,不仅可以是位置数据,然而,由于第二配置示例限于位置数据,所以可以说通用性低了。
利用位置的时间序列数据和采用行为模式作为符号的时间序列离散数据,综合学习单元62′按照概率状态转变模型(多流HMM)学习用户的活动状态。具体而言,综合学习单元62′学习从每个状态节点输出的纬度/经度的分布参数,以及行为模式的概率。
根据通过综合学习单元62′进行的学习而获得的综合模型(多流HMM),概率上可能输出处于“逗留状态”的行为模式的状态节点。可以从计算出的状态节点计算纬度/经度分布。另外,可以从纬度/经度分布来计算目的地的位置。
如上所述,估计用户的逗留地点在与将要观测到的行为模式变成“逗留状态”概率较高的状态节点相对应的纬度/经度分布所指示的位置。另外,如上所述,将要处于“逗留状态”的地点经常是目的地,因此,该逗留地点可被估计为目的地。
接下来,将描述在图9和图10中的行为状态识别单元72中使用的学习用户的活动模型(HMM)的参数的学习设备的配置示例。以下,作为行为状态识别单元72的学习设备的配置示例,将说明按照类别HMM学习的学习设备91A(图11)和按照多流HMM学习的学习设备91B(图18)的示例。
[行为状态识别单元72的学习设备的第一配置示例]
图11示出了按照类别HMM学习行为状态识别单元72中使用的用户活动模型的参数的学习设备91A的配置示例。
在类别HMM中,要学习的教师数据属于哪个类别(种类)是公知的,并且按照类别学习HMM参数。
学习设备91A包括移动速度数据存储单元101、行为状态标注单元102以及行为状态学习单元103。
移动速度数据存储单元101存储由时间序列数据存储单元51(图1)提供的移动速度的时间序列数据。
行为状态标注单元102向由移动速度数据存储单元101按时间序列顺次提供的移动速度数据赋予用户的行为状态作为标签(类别)。行为状态标注单元102向行为状态学习单元103提供被标注了的移动速度数据,该移动速度数据是与行为状态相对应的移动速度数据。例如,对于第k步的移动速度vk和行进方向θk,被赋予指示行为状态的标签M的数据被提供给行为状态学习单元103。
行为状态学习单元103按类别对由行为状态标注单元102提供的被标注了的移动速度数据分类,并且按类别学习用户的活动模型(HMM)的参数。作为学习的结果获得的按类别的参数被提供给图1或图9中的行为状态识别单元72。
[行为状态的分类示例]
图12是示出在按类别分类的情况下行为状态的分类示例。
如图12所示,用户的行为状态可被分类成逗留状态和行进状态。在本实施例中,作为行为状态识别单元72识别的用户行为状态,至少应存在逗留状态和行进状态,因此必须有两个分类。
另外,行进状态可按其行进手段被分类成列车、汽车(包括公共汽车等等)、自行车和徒步。列车可被进一步分类成特快、快速、本地等等,而汽车可被进一步分类成高速公路、本地街道等等。另外,徒步可被分类成奔跑、普通、散步等等。
在本实施例中,用户的行为状态将被分类成“逗留”、“列车(快速)”、“列车(本地)”、“汽车(高速公路)”、“汽车(本地街道)”、“自行车”以及“徒步”,它们由阴影区域指示。注意,省略了“列车(特快)”,因为没有获得学习数据。
当然,类别分类的方式并不限于图12中的示例。由于通过行进手段发生的移动速度的变化并不依用户而不同,所以作为学习数据的移动速度的时间序列数据不一定是针对作为识别对象的用户的。
[行为状态标注单元102的处理示例]
参考图13和图14,将说明行为状态标注单元102的处理示例。
图13示出了要被提供到行为状态标注单元102的移动速度的时间序列数据的处理示例。
在图13中,由行为状态标注单元102提供的移动速度的数据(v,θ)是以(t,v)和(t,θ)的形式表示的。在图13中,黑方形的图线表示移动速度v,圆形的图线表示行进方向θ。另外,横轴表示时间t,并且右手侧的纵轴表示行进方向θ,左手侧的纵轴表示移动速度v。
图13中时间轴的下侧记载的“列车(本地)”、“徒步”和“逗留”的文字是添加来用于说明的。图13中的时间序列数据开始于用户通过列车(本地)行进的情况中的移动速度的数据,接下来的是用户通过“徒步”行进的情况中的,接下来是“逗留”。
当用户通过“列车(本地)”行进时,列车停留在一个车站,当启动时列车加速,并再次减慢以停在一个车站,并且重复此模式。因此,数据示出了移动速度v的图线反复上下波动的特征。注意,即使列车停止时移动速度也不是0的原因是通过移动平均执行了滤波处理。
最难区分的是用户通过“徒步”行进的情况和用户逗留的情况。然而,通过按照移动平均进行的滤波处理,在移动速度v上存在清楚的差别。另外,对于“逗留”,识别出行进方向θ在瞬间急剧变化的特征,并且识别出与“徒步”的差别是容易的。从而,通过按照移动平均进行的滤波处理,并且通过用移动速度v和行进方向θ来表示用户的行进,容易区分“徒步”和“逗留”。
“列车(本地)”和“徒步”之间的部分是由于滤波处理而导致行为切换点模糊的部分。
图14示出了对时间序列数据进行标注的示例。
例如,行为状态标注单元102在显示器上显示图13所示的移动速度的数据。用户执行在显示器上显示的移动速度的数据之中指定要标注的部分的操作,例如通过利用鼠标等用矩形区域围绕该部分。另外,用户利用键盘等等输入要赋给所指定的数据的标签。行为状态标注单元102通过赋予输入的标签来对用户指定的矩形区域中包括的移动速度的数据进行标注。
在图14中,是用矩形区域示出与“徒步”相对应的部分的移动速度的数据的示例。此时,对于由于滤波处理而造成行为切换模糊的部分,可以不将该部分包括到指定的区域中。时间序列数据的长度被确定成使得时间序列数据在行为上的差别清楚。例如,可以确定大约20步(15秒×20步=300秒)。
[行为状态学习单元103的配置示例]
图15是示出图11中的行为状态学习单元103的配置示例的框图。
行为状态学习单元103由分类单元121、HMM学习单元1221至1227构成。
分类单元121参考由行为状态标注单元102提供的被标注了的移动速度数据的标签,并且将其提供给HMM学习单元1221至1227中与该标签相对应的任何一个。换言之,行为状态学习单元103为每个标签(类别)准备了HMM学习单元122,并且由行为状态标注单元102提供的被标注了的移动速度数据被按标签分类,以进行提供。
HMM学习单元1221至1227中的每一个使用所提供的被标注了的移动速度数据,并且学习一学习模型(HMM)。并且HMM学习单元1221至1227中的每一个把通过学习获得的HMM参数λ提供给图1或图9中的行为状态识别单元72。
HMM学习单元1221在标签是“逗留”的情况下学习学习模型(HMM)。HMM学习单元1222在标签是“徒步”的情况下学习学习模型(HMM)。HMM学习单元1223在标签是“自行车”的情况下学习学习模型(HMM)。HMM学习单元1224在标签是“列车(本地)”的情况下学习学习模型(HMM)。HMM学习单元1225在标签是“汽车(本地街道)”的情况下学习学习模型(HMM)。HMM学习单元1226在标签是“列车(快速)”的情况下学习学习模型(HMM)。HMM学习单元1227在标签是“汽车(高速公路)”的情况下学习学习模型(HMM)。
[学习结果的示例]
图16示出了行为状态学习单元103的学习结果的一部分。
图16A示出了HMM学习单元1221的学习结果,即当标签是“逗留”时的学习结果。图16B示出了HMM学习单元1222的学习结果,即当标签是“徒步”时的学习结果。
图16C示出了HMM学习单元1223的学习结果,即当标签是“自行车”时的学习结果。图16D示出了HMM学习单元1224的学习结果,即当标签是“列车(本地)”时的学习结果。
在图16A至图16D中,横轴表示移动速度v,纵轴表示行进方向θ,并且在图上绘出的每个点表示所提供的学习数据。另外,图上的椭圆表示通过学习获得的状态节点,并且每个混合正态概率分布的分布密度是相同的。因此,大椭圆中示出的状态节点的分布相对较大。
关于图16A所示的在标签是“逗留”的情况下的移动速度数据,移动速度v的中心在0附近,并且行进方向θ扩散到整个范围,表明数据变化广泛。
另一方面,如图16B至图16D所示,在标签是“徒步”、“自行车”或“列车(本地)”的情况下,行进方向θ变化较小。因此,关注行进方向θ如何变化表明,可以大致对逗留状态和行进状态分类。
另外,行进状态中的“徒步”、“自行车”和“列车(本地)”中的每一个的移动速度v有变化,并且这些特征在图上示出。“徒步”和“自行车”经常以一定的速度运行,而“列车(本地)”的速度方向有变化,因为速度变化较大。
图16A至16D中作为学习结果示出的椭圆以具有上述类别的每个图线的特征的形状示出,并且认为每个行为状态被准确地学习。
[行为状态识别单元72的第一配置示例]
图17是示出行为状态识别单元72A的配置示例的框图,行为状态识别单元72A是在使用学习设备91A中学习的参数的情况下的行为状态识别单元72。
行为状态识别单元72A由似然计算单元1411至1417以及似然比较单元142构成。
似然计算单元1411利用通过HMM学习单元1221获得的参数,对由时间序列数据存储单元51提供的移动速度的时间序列数据计算似然。换言之,似然计算单元1411计算行为状态是“逗留”的似然。
似然计算单元1412利用通过HMM学习单元1222获得的参数,对由时间序列数据存储单元51提供的移动速度的时间序列数据计算似然。换言之,似然计算单元1412计算行为状态是“徒步”的似然。
似然计算单元1413利用通过HMM学习单元1223获得的参数,对由时间序列数据存储单元51提供的移动速度的时间序列数据计算似然。换言之,似然计算单元1413计算行为状态是“自行车”的似然。
似然计算单元1414利用通过HMM学习单元1224获得的参数,对由时间序列数据存储单元51提供的移动速度的时间序列数据计算似然。换言之,似然计算单元1414计算行为状态是“列车(本地)”的似然。
似然计算单元1415利用通过HMM学习单元1225获得的参数,对由时间序列数据存储单元51提供的移动速度的时间序列数据计算似然。换言之,似然计算单元1415计算行为状态是“汽车(本地街道)”的似然。
似然计算单元1416利用通过HMM学习单元1226获得的参数,对由时间序列数据存储单元51提供的移动速度的时间序列数据计算似然。换言之,似然计算单元1416计算行为状态是“列车(快速)”的似然。
似然计算单元1417利用通过HMM学习单元1227获得的参数,对由时间序列数据存储单元51提供的移动速度的时间序列数据计算似然。换言之,似然计算单元1417计算行为状态是“汽车(高速公路)”的似然。
似然比较单元142比较由似然计算单元1411至1417的每一个提供的似然,选择具有最高似然的行为状态,并且将其作为行为模式输出。
[行为状态识别单元72的学习设备的第二配置示例]
图18示出了按照多流HMM学习行为状态识别单元72中使用的用户活动模型的参数的学习设备91B的配置示例。
学习设备91B由移动速度数据存储单元101、行为状态标注单元161和行为状态学习单元162构成。
行为状态标注单元161向由移动速度数据存储单元101按时间序列顺次提供的移动速度数据赋予用户的行为状态作为标签(行为模式)。行为状态标注单元161向行为状态学习单元162提供移动速度的时间序列数据(v,θ)和与移动速度的时间序列数据(v,θ)相关联的行为模式M的时间序列数据。
行为状态学习单元162按照多流HMM学习用户的行为状态。在多流HMM中,可以将不同种类的时间序列数据(流)相互关联地学习。行为状态学习单元162被提供以连续量的移动速度v和行进方向θ的时间序列数据和离散量的行为模式的时间序列数据。行为状态学习单元162学习从每个状态节点输出的移动速度的分布参数,以及行为模式的概率。根据通过学习获得的多流HMM,可以例如从移动速度的时间序列数据计算当前的状态节点。随后,可以通过计算出的状态节点来识别行为模式。
在利用类别HMM的第一配置示例中,对于每个类别必须准备7个HMM,然而在多流HMM中,一个HM  就足够了。然而,需要准备的状态节点的数目与用于7个类别的状态节点的数目大致相同。
[行为状态标注单元161的处理示例]
参考图19,将说明行为状态标注单元161的处理示例。
上述第一配置示例中的行为状态标注单元102进行标注的方法丢失了关于行进手段的转变的信息。因此,可能存在行进手段的某些转变以非常的方式出现的情况。行为状态标注单元161在不丢失关于行进手段的转变的信息的情况下向移动速度数据赋予用户的行为状态的标签。
具体而言,不是通过查看移动速度,而是通过查看地点(位置),用户可以更容易了解用户在某个地点进行了何种行为。因此,行为状态标注单元161向用户呈现与移动速度的时间序列数据相对应的位置数据,并且通过向位置赋予标签来对移动速度的时间序列数据标注行为状态。
在图19的示例中,与移动速度的时间序列数据相对应的位置数据在地图上示出,其中横轴表示经度,纵轴表示纬度。用户通过利用鼠标等用矩形区域围绕该部分来执行指定与某一行为状态相对应的地点的操作。另外,用户利用键盘等等输入要赋给所指定的区域的标签。行为状态标注单元161通过向矩形区域中绘制的位置所对应的移动速度的时间序列数据赋予输入的标签来进行标注。
图19示出了利用矩形区域指定与“列车(本地)”和“自行车”相对应的部分的示例。
注意,在图19中,示出了所有输入的时间序列数据,然而,如果数据数目较大,则可以采用如下的方法:即,一次显示每20步,并且顺次重复对所显示的数据进行标注的操作。另外,准备如下的应用可能是适当的:用户可以回看其过去的数据并且像日记那样进行标注。简言之,对于标注的方法没有具体限制。另外,标注不一定正好是由做出数据的那个人进行的。
[学习结果的示例]
图20示出了行为状态学习单元162的学习结果。
在图20中,横轴表示行进方向θ,纵轴表示移动速度v,并且图上绘出的每个点表示所提供的学习数据。另外,图上的椭圆表示通过学习获得的状态节点,并且每个混合正态概率分布的分布密度是相同的。因此,大椭圆中示出的状态节点的分布相对较大。图20的状态节点对应于移动速度。图20没有示出关于行为模式的信息,然而,每个状态节点与每个行为模式的观测概率相关联地学习。
[行为状态识别单元72的第二配置示例]
图21是示出行为状态识别单元72B的配置示例的框图,行为状态识别单元72B是在使用学习设备91B中学习的参数的情况下的行为状态识别单元72。
行为状态识别单元72B由状态节点识别单元181和行为模式识别单元182构成。
状态节点识别单元181利用由学习设备91B学习的多流HMM的参数来从由时间序列数据存储单元51提供的移动速度的时间序列数据识别多流HMM的状态节点。状态节点识别单元181向行为模式识别单元182提供被识别出的当前状态节点的节点号码。
行为模式识别单元182识别在由状态节点识别单元181识别的状态节点之中具有最高概率的行为模式作为当前行为模式,并将其输出。
在上述示例中,通过在位置索引转换单元71和行为状态识别单元72按照HMM进行建模,由时间序列数据存储单元51提供的位置和移动速度的数据将被转换成位置索引和行为模式的数据。
然而,位置和移动速度的数据可通过另外的方法转换成位置索引和行为模式的数据。例如,对于行为模式,利用与GPS传感器11分开的诸如加速度传感器或陀螺仪传感器等等之类的运动传感器,从加速度等等的检测结果进行判断,可以检测用户是否行进,并且确定行为模式。
[目的地到达时间预测处理]
随后,参考图22和图23中的流程图,将说明由图1中的预测系统1进行的目的地到达时间预测处理。
简言之,图22和图23是从位置和移动速度的时间序列数据预测目的地并且计算去往目的地的路线和到达时间以呈现给用户的目的地到达时间预测处理的流程图。
首先,在步骤S51中,GPS传感器11获得位置的时间序列数据,并将其提供给行为识别单元53。行为识别单元53临时存储位置的时间序列数据的预定数目的样本。在步骤S51中获得的时间序列数据是位置和移动速度的数据。
在步骤S52中,行为识别单元53基于通过学习获得的参数,从用户的活动模型识别用户的当前活动状态。即,行为识别单元53识别用户的当前位置。行为识别单元53向行为预测单元54提供用户的当前状态节点的节点号码。
在步骤S53中,行为预测单元54判定与当前搜索的状态节点(以下也称为当前状态节点)相对应的点是端点、通过点、分支点还是环路。在步骤S52的处理之后,与用户的当前位置相对应的状态节点变成当前状态节点。
如果在步骤S53中与当前状态节点相对应的点被判定为端点,则处理前往步骤S54,并且行为预测单元54将当前状态节点与到此之前的路线相连接,并且结束对此路线的搜索,前进到步骤S61。如果当前状态节点是与当前位置相对应的状态节点,那么由于没有到此之前的路线,所以连接处理不被执行。这与步骤S55、S57和S60是相同的。
如果在步骤S53中与当前状态节点相对应的点被判定为通过点,则处理前往步骤S55,并且行为预测单元54将当前状态节点与到此之前的路线相连接。随后,在步骤S56中,行为预测单元54将随后的状态节点设定为当前状态节点,并且移动。在步骤S56的处理之后,返回到步骤S53。
如果在步骤S53中与当前状态节点相对应的点被判定为分支点,则处理前往步骤S57,并且行为预测单元54将当前状态节点与到此之前的路线相连接。随后,在步骤S58中,行为预测单元54按分支的数目复制到此之前的路线,并且与分支目的地的状态节点相连接。另外,在步骤S59中,行为预测单元54选择复制的路线之一,将所选的路线前方的下一个状态节点设定为当前状态节点,并且移动。在步骤S59的处理之后,返回到步骤S53。
同时,如果在步骤S53中与当前状态节点相对应的点被判定为环路,则处理前往步骤S60,并且行为预测单元54结束对此路线的搜索,不将当前状态节点与到此之前的路线相连接,并且前进到步骤S61。
在步骤S61中,行为预测单元54判定是否存在未搜索的路线。如果在步骤S61中判定存在未搜索的路线,则处理前往步骤S62,并且行为预测单元54返回到当前状态节点,将未搜索的路线上的下一状态节点设定为当前状态节点,并且移动。在步骤S62的处理之后,处理返回到步骤S53。这样执行了对未搜索的路线的搜索,直到搜索结束于端点或环路处为止。
如果在步骤S61中判定不存在未搜索的路线,则处理前进到步骤S63,并且行为预测单元54计算已搜索的每条路线的选择概率(发生概率)。行为预测单元54向目的地预测单元55提供每条路线及其选择概率。
在执行图22中的步骤S51至步骤S63中的处理以识别用户的当前位置,搜索用户可能行进的所有可能的路线,并且计算每条路线的选择概率之后,处理前进到图23中的步骤S64。
在步骤S64中,目的地预测单元55预测用户的目的地。具体而言,目的地预测单元55首先列出目的地的候选。目的地预测单元55把用户的行为状态是逗留状态的地点设定为目的地的候选。随后,目的地预测单元55把所列出的目的地的候选之中在行为预测单元54搜索出的路线上的目的地的候选确定为目的地。
在步骤S65中,目的地预测单元55计算每个目的地的到达概率。即,对于有多条路线存在的目的地,目的地预测单元55计算这多条路线的选择概率的总和作为该目的地的到达概率。对于仅具有一条路线的目的地,该路线的选择概率被直接视为该目的地的到达概率。
在步骤S66中,目的地预测单元55判定所预测的目的地的数目是否大于预定的目的地数目。如果判定预测的目的地的数目大于预定的目的地数目,则处理前进到步骤S67,并且目的地预测单元55确定要在显示单元18上显示的预定数目的目的地。例如,目的地预测单元55可以按目的地的较高到达概率的顺序确定预定数目的路线。
另一方面,如果在步骤S66中判定预测的目的地的数目小于预定数目,则将跳过步骤S67。在此情况下,所有预测的目的地都被显示在显示单元18上。
在步骤S68中,目的地预测单元55从行为预测单元54搜索出的路线中提取包括所预测的目的地的路线。如果预测了多个目的地,则对于每个预测的目的地将提取一路线。
在步骤S69中,目的地预测单元55判定提取的路线的数目是否大于作为要呈现的数目的预定数目。
如果在步骤S69中判定所提取的路线的数目大于预定数目,则处理前进到步骤S70,并且目的地预测单元55确定要在显示单元18上显示的预定数目的路线。例如,目的地预测单元55可以按被选择的概率较高的顺序来确定预定数目的路线。
另一方面,如果在步骤S69中判定所提取的路线的数目小于预定数目,则将跳过步骤S70的处理。在此情况下,到达目的地的所有路线都将被显示在显示单元18上。
在步骤S71中,目的地预测单元55计算决定在显示单元18上显示的每条路线的到达时间,并且向显示单元18提供目的地的到达概率以及去到目的地的路线和到达时间的图像的信号。
在步骤S72中,显示单元18基于由目的地预测单元55提供的图像的信号来显示目的地的到达概率和去到目的地的路线和到达时间,并且结束处理。
如上所述,根据图1中的预测系统1,可以根据位置和移动速度的时间序列数据来预测目的地并且计算到达概率和去到目的地的路线和到达时间,并将其呈现给用户。
[图1中的预测系统1的处理结果的示例]
图24至图27示出了验证图1中的预测系统1进行的学习和目的地到达时间预测的处理的验证实验的结果的示例。使用图3所示的数据作为预测系统1的学习处理的学习数据。
图24示出了在图9中的位置索引转换单元71中输入的参数的学习结果。
在此验证实验中,在计算中假定状态节点的数目为400。在图24中,在指示状态节点的椭圆附近记载的数字示出了该状态节点的节点号码。根据图24所示的所学习的多流HMM,学习了状态节点以覆盖用户的行进路线。即,了解到准确地学习了用户的行进路线。此状态节点的节点号码将作为位置索引被输入到综合学习单元62。
图25示出了在图9中的行为状态识别单元72中输入的参数的学习结果。
在图25中,识别出行为模式是“逗留”的点(位置)被绘成黑色。识别出行为模式不是“逗留”(例如“徒步”或“列车(本地)”)的点被绘成灰色。
另外,在图25中,被实际做出学习数据的实验者列为逗留位置的位置被圈上白圈。在该圆圈附近记载的数字只是附加来区分每个逗留位置的序数。
根据图25,通过学习决定的指示逗留状态的位置对应于实验者列为逗留位置的位置,从而了解到准确学习了用户的行为状态(行为模式)。
图26示出了综合学习单元62的学习结果。
在图26中,由于图的限制,在图上没有呈现,然而,在通过学习获得的多流HMM的每个状态节点之中,“逗留”的观测概率等于或大于百分之50的状态节点与图25中指示的位置相对应。
图27示出了按照综合学习单元62学习的学习模型(多流HMM)的图22和图23中的目的地到达时间预测处理的结果。
根据图27所示的结果,对于当前位置,图3中所示的访问地点1至4分别被预测为目的地1至4,并且到每个目的地的到达概率和到达时间被计算出。
目的地1的到达概率是百分之50,并且到达时间是35分钟。目的地2的到达概率是百分之20,并且到达时间是10分钟。目的地3的到达概率是百分之20,并且到达时间是25分钟。目的地4的到达概率是百分之10,并且到达时间是18.2分钟。另外,到目的地1至4的每条路线分别被表示为粗实线。
因此,根据图1的预测系统1,可以预测从用户的当前位置起的目的地,并且还可以预测去往预测的目的地的路线及其到达时间,以呈现给用户。
注意,在上述示例中,根据用户的行为状态来预测目的地,然而,对目的地的预测并不限于此。例如,可以按照用户过去输入作为目的地的地点来预测目的地。
图1中的预测系统1根据这种预测结果在显示单元18上显示关于具有最高到达概率的目的地的信息。例如,当目的地是车站等等时,可以显示该车站的时刻表,或者当目的地是商店时,可以显示该商店的详细信息(营业时间、销售信息等等)。这进一步增强了用户的便利性。
另外,根据图1中的预测系统1,可以通过按时间序列输入影响用户行为的其他条件作为时间序列数据来附条件地预测行为。例如,通过在输入星期(工作日或假期)之后学习,对目的地等等的预测可以在行为(或目的地)依据星期而不同的情况下进行。另外,通过在输入诸如时区(或早上/午后/夜晚)之类的条件之后学习,对目的地的预测可以在行为依据时区而不同的情况下进行。另外,通过在输入诸如天气(晴/多云/雨)等等之类的条件之后学习,对目的地的预测可以在行为依据天气条件而不同的情况下进行。
在上述实施例中,行为状态识别单元72被设置作为用于将移动速度转换成行为模式以便将行为模式输入到综合学习单元62或62′中的转换装置。然而,也可以单独仅使用行为状态识别单元72,将其用作行为状态识别装置,用于针对输入的移动速度识别用户是处于行进状态中还是逗留状态中,或者如果处于行进状态中则进一步识别哪种行进手段被用于行进,等等,并将它们输出。在此情况下,行为状态识别单元72的输出也可以被输入到不同应用中。
<2.信息呈现系统>
图42是示出根据本实施例的信息呈现系统的处理的流程图。
如上所述,当GPS数据被输入到学习算法中时,学习模型被创建(步骤S101)。换言之,如利用图9所说明的,行为学习单元52利用存储在时间序列数据存储单元51(图1)中的纬度/经度等等的位置的时间序列数据和移动速度的时间序列数据,来同时学习用户的行进路线和行为状态两者。
在学习模型中,用户行进路线被划分成一定数目的状态节点。结果,根据图28所示的流程,创建如图30所示的行为样式表格。每个状态节点对应于位置信息,并且分别具有转变节点和行为模式。转变节点是在当前状态节点接下来的状态节点之中具有高转变概率的状态节点。在图30中,作为转变节点,记载了一个节点ID,然而对于每个状态节点可存在多个转变节点。行为模式被分类成如图12或图29所示的多个状态。如图30所示,每个状态节点如果是行进则被标注以诸如列车、汽车等等之类的任何行为模式,或者如果是逗留则被标注以长逗留时间、中逗留时间或短逗留时间。
随后,在行为样式表格中记载的多个状态节点之中,提取行为模式是逗留的节点(步骤S102)。如图32中所示,利用地图DB,提取与处于逗留的状态节点相对应的候选类别(步骤S103)。这使得对于行为模式是逗留的状态节点能够决定详细的候选。
首先,对于行为样式表格中的行为模式是逗留的状态节点,基于状态节点的纬度/经度来搜索地图DB。地图DB(数据库)是地图,并且是添加有关于各个位置的属性信息的地图。通过搜索地图DB,在诸如住宅、办公室、幼儿园、车站、公共汽车站、商店等等之类的多个类别之中,将基于纬度/经度提取一个或多个候选类别。候选类别是指示状态节点逗留之处的类别的候选。类别是大小从县或州那么大到住宅、办公室、车站商店、铁路、街道那么大的位置属性信息。注意,类别并不限于地点,而可以是时间属性信息。基于行为模式来识别用户的行为时间,并且可以向用户呈现使用时区的候选。结果,如图32所示,向行为模式是逗留的每个状态节点指派候选类别。图32是被指派以候选类别的行为样式表格。对于类别候选,可以选中一个类别候选,或者多个类别候选。
当搜索类别时,还可以依据逗留时间的水平来缩窄要搜索的类别。例如,如果逗留时间较长,则可以将搜索缩窄到住宅类别和办公室类别。如果逗留时间较短,则可以将搜索缩窄到车站和商店。
当为状态节点提取了候选类别时,向用户呈现候选类别(步骤S104)。在像图33所示那样的终端的画面上,在画面上显示有位置登记所必需的项目,并且显示了消息来促使登记。对消息的这个显示是在任意的时机向用户执行的。呈现的方式除了终端处的显示装置以外可以使用声音设备或振动器等等。
图34示出了位置登记时的画面的显示示例。在该画面上显示了地图,并且在被指派以候选类别的状态节点的纬度/经度所对应的区域上标记了地图,以便清楚其位置。在画面上呈现了一个或多个候选类别。
根据所呈现的内容,用户将选择候选类别之中的一个或多个类别(步骤S105)。对类别的选择可以被推迟(on hold)。
用户的选择确定指示状态节点逗留之处的类别。结果,如图35所示,行为样式表格被修正(步骤S106)。此外,所确定的类别被标注到状态节点作为目的地细节标签。在图35的示例中,对于节点ID是5并且行为模式是逗留的状态节点执行位置登记,并且节点ID是5的状态节点被表示为逗留在办公室。
另外,如果与状态节点相对应的位置是非对象目的地,则选中非对象目的地(步骤S106)。使其成为非对象目的地的方式是用户在终端画面上确认位置,并且手动将该位置设定为非对象。当状态节点被确定为非对象目的地时,行为样式表格被修正,如图36所示。在图36的示例中,节点ID 4和7是非对象目的地。结果是非对象目的地的状态节点的类别可以如图36中的节点ID 4中所示那样维持未被选中,或者选中本身可被删除。
接下来,在对状态节点登记位置之后,预测路线和目的地(步骤S107)。过去,利用图30所示的没有位置登记的行为样式表格,如图31所示那样预测路线和目的地。预测单元通过状态识别算法来把客户终端获得的当前时刻或纬度/经度信息转换成当前状态ID,并且利用当前状态ID和行为样式表格将预测的路线ID返回给客户终端。
另一方面,根据本实施例,如图37所示,通过基于当前GPS输入时刻和纬度/经度,并且通过使用现有的行为样式表格,预测单元输出预测的路线的节点ID。对路线的预测使得能够确定与目的地相对应的节点ID。另外,通过匹配预测的路线的节点ID和修正后的行为样式表格,判定在作为预测路线的目的地的对象的节点ID之中是否存在带有标签的。如果目的地被标注,则将把根据标签的信息通知给用户(步骤S108)。
图38示出了修正后的行为样式表格的目的地和呈现信息的种类。如果目的地被标注,则将提供仅适用于该目的地的信息。例如,如果目的地是住宅,则呈现关于住宅附近地区的商店、事件、便道地点的信息。如果目的地的标签未知,则呈现所有可能呈现的信息。换言之,依据目的地的属性,确定呈现给用户的信息是不同的。
例如,如果预测路线的目的地被标注为“车站”,则提供从该车站起的路线信息。可以不在预测从当前位置起的路线时提供信息。例如,其是为状态节点登记时区的时间。例如,当添加诸如“车站”标签之类的交通标签时,使用时区也可被登记为一个选项。当在车站处的使用时区期间发生列车延迟等等时,无论预测与否都提供信息。另外,如果存在路线的目的地被标注为“商店”并且时区被标注为“从19点到22点”的情况,则将提供由该商店的晚餐菜单构成的信息。
图39和图40分别示出了使用行为样式表格和修正后的行为样式表格的预测的示例。
在过去的使用行为样式表格的预测示例中,没有决定在预测的路线上的目的地是什么样的。因此,所有相应的附近地区信息都被提供给用户。这导致了对用户真正必要的信息将被埋没的可能性。例如,如果在未知目的地的附近地区存在一个车站和一个公共汽车站,则将提供车站和公共汽车站的时刻信息。然而,如果用户实际使用的那个在车站,则公共汽车站信息对于用户来说是无用的。
另外,取决于路线,可能有如果提供则会使用户不快的信息。例如,如果图39中的最终目的地1是办公室,那么在上下班时间呈现便道信息则可能导致用户的不快。另一方面,在图40中的使用修正后行为样式表格的预测的示例中,预测的路线上的所有目的地都是通过用户的反馈来确定的。因此,呈现的信息的内容可以通过程序预先选择。例如,由于经过点是由用户的选择决定的,所以可以呈现适当时刻的路线信息。另外,如果决定从经过点使用公共汽车,则可以呈现适当时刻的路线信息。另外,取决于最终目的地的种类,可以控制对使用户不快的信息的呈现。例如,如果最终目的地是办公室,则可以控制不提供便道信息。另外,可以控制不对非对象目的地呈现路线或信息。
呈现给用户的信息不仅包括铁路信息、铁路交通信息、公路交通信息、台风信息、地震信息、事件信息等等,而且包括呈现用户与位置相关联地登记的、将在用户靠近该位置时呈现的信息的提醒、数据的上传和下载,等等。
总之,本实施例的预测系统1不仅包括图1所示的构成元件,而且包括图41所示的构成元件。预测系统1还包括类别提取单元111、目的地标注单元112、呈现信息表格113以及地图DB 104。类别提取单元111、目的地标注单元112、呈现信息表格113和地图DB 104可被设置在图2所示的移动终端21上或者可被设置在服务器22上。
类别提取单元111参考状态节点的位置信息或行为模式以及地图DB104,并且提取类别候选。目的地标注单元112向状态节点指派类别候选,或者在用户选择的类别候选之中登记至少一个类别候选作为标签。呈现信息表格113是将要呈现的信息与类别相关联的表格,并且进行管理以便依据类别呈现适当的信息。地图DB 104包括地图数据和与地图数据相关联的位置的属性信息。
上述一系列处理可以用硬件或软件来执行。当用软件来执行这一系列处理时,由软件构成的程序被安装到计算机中。这里,作为计算机,包括计算机内置专用硬件和能够通过安装各种程序来执行各种功能的计算机,例如通用个人计算机。
图43是示出用于通过程序来执行上述一系列处理的计算机硬件的配置示例的框图。
在该计算机中,CPU(中央处理单元)201、ROM(只读存储器)202和RAM(随机访问存储器)203相互连接到总线204。
总线204还连接到输入/输出接口205。输入/输出接口205连接到输入单元206、输出单元207、存储单元208、通信单元209、驱动器210和GPS传感器211。
输入单元206由键盘、鼠标、麦克风等等构成。输出单元207由显示器、扬声器等等构成。存储单元208由硬盘、非易失性存储器等等构成。通信单元209由网络接口等等构成。驱动器210驱动可移除记录介质212,例如磁盘、光盘、磁光盘或半导体存储器等等。GPS传感器211对应于图1中的GPS传感器11。
在如上配置的计算机中,CPU 201通过输入/输出接口205和总线204把存储在存储单元208中的程序到RAM 203中,并且执行这些程序以执行上述一系列处理。
计算机(CPU 201)执行的程序可被记录在作为媒体包等等的可移除记录介质212上,并且可被提供。可通过诸如局域网、互联网、数字卫星广播等等之类的有线或无线传输介质来提供程序。
可通过将可移除记录介质212装载到计算机中的驱动器210,来通过输入/输出将程序安装到存储单元208中。另外,可通过有线或无线传输介质由通信单元209接收程序以安装在存储单元208中。此外,可预先将程序安装在ROM 202或存储单元208中。
注意,计算机执行的程序可以是遵循本说明书中说明的顺序按时间序列执行处理的程序,或者可以是在必要的时机执行处理的程序,例如并行执行或响应于调用而执行。
注意,在本说明书中,在流程图中描述的步骤不仅可以遵循所描述的顺序按时间序列执行,或者如果不按时间序列执行,则也可以在必要的时机并行地或响应于调用执行。
在本说明书中,系统表示由多个设备构成的整个装置。
本领域的技术人员应当了解,取决于设计要求和其他因素,可以进行各种修改、组合、子组合和变更,只要它们处于所附权利要求或其等同物的范围之内即可。
例如,在上述实施例中,已经说明了当行为模式是逗留时将向用户呈现位置的类别的候选的情况,然而本公开并不限于此示例。例如,通过从行为模式识别用户的行为时间,可以向用户表示出位置的使用时区的候选。
本公开包含与2010年6月16日向日本专利局提交的日本优先权专利申请JP 2010-137555中公开的主题相关的主题,特此通过引用将该申请的全部内容并入。

Claims (6)

1.一种信息处理装置,包括:
行为学习单元,该行为学习单元从用户的位置的时间序列数据以概率状态转变模型的形式学习表示用户的活动状态的活动模型,并且利用用户的活动模型找出与用户从事活动的位置相对应的状态节点;
候选指派单元,该候选指派单元向所述状态节点指派与位置或时间有关的类别候选;以及
显示单元,该显示单元向用户呈现所述类别候选。
2.根据权利要求1所述的信息处理装置,还包括:
地图数据库,该地图数据库包括地图数据和与所述地图数据相关联的位置的属性信息;以及
类别提取单元,该类别提取单元基于所述状态节点和所述地图数据库来提取所述类别候选。
3.根据权利要求1所述的信息处理装置,还包括:
行为预测单元,该行为预测单元预测从所述状态节点能够采取的路线;
标注单元,该标注单元向所述状态节点登记所述类别候选之中的至少一个类别候选作为标签;以及
信息呈现单元,该信息呈现单元基于登记的标签来提供与预测的路线中包括的所述状态节点有关的信息。
4.根据权利要求3所述的信息处理装置,其中
与所述状态节点有关的信息是根据所述标签的属性来确定的。
5.一种信息处理方法,包括:
从用户的位置的时间序列数据以概率状态转变模型的形式学习表示用户的活动状态的活动模型,并且利用用户的活动模型找出与用户从事活动的位置相对应的状态节点;
向所述状态节点指派与位置或时间有关的类别候选;以及
向用户呈现所述类别候选。
6.一种程序,用于使得计算机执行:
从用户的位置的时间序列数据以概率状态转变模型的形式学习表示用户的活动状态的活动模型,并且利用用户的活动模型找出与用户从事活动的位置相对应的状态节点;
向所述状态节点指派与位置或时间有关的类别候选;以及
向用户呈现所述类别候选。
CN2011101632363A 2010-06-16 2011-06-09 信息处理装置、信息处理方法和程序 Pending CN102298608A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-137555 2010-06-16
JP2010137555A JP2012003494A (ja) 2010-06-16 2010-06-16 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN102298608A true CN102298608A (zh) 2011-12-28

Family

ID=45329561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101632363A Pending CN102298608A (zh) 2010-06-16 2011-06-09 信息处理装置、信息处理方法和程序

Country Status (3)

Country Link
US (1) US20110313956A1 (zh)
JP (1) JP2012003494A (zh)
CN (1) CN102298608A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105284144A (zh) * 2013-06-07 2016-01-27 苹果公司 对显著位置进行建模
CN106767835A (zh) * 2017-02-08 2017-05-31 百度在线网络技术(北京)有限公司 定位方法和装置
US10209341B2 (en) 2013-09-06 2019-02-19 Apple Inc. Providing transit information
CN109478364A (zh) * 2017-06-13 2019-03-15 北京嘀嘀无限科技发展有限公司 确定预计到达时间的方法及系统
CN110291422A (zh) * 2017-02-22 2019-09-27 索尼公司 信息处理装置、信息处理方法以及程序
CN112020707A (zh) * 2018-01-05 2020-12-01 国立大学法人九州工业大学 标签添加装置、标签添加方法以及程序
CN112788971A (zh) * 2018-10-03 2021-05-11 索尼公司 信息处理装置、调度方法以及程序
US11292545B2 (en) 2017-08-07 2022-04-05 Hangzhou Qingq Science And Technology Co., Ltd. Multimedia systems for shared bicycles
US11363405B2 (en) 2014-05-30 2022-06-14 Apple Inc. Determining a significant user location for providing location-based services

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5445085B2 (ja) * 2009-12-04 2014-03-19 ソニー株式会社 情報処理装置、およびプログラム
JP5545084B2 (ja) 2010-07-08 2014-07-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8930300B2 (en) 2011-03-31 2015-01-06 Qualcomm Incorporated Systems, methods, and apparatuses for classifying user activity using temporal combining in a mobile device
JP2012230496A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 情報処理装置、及び情報処理方法
US9200918B2 (en) * 2012-03-09 2015-12-01 Apple Inc. Intelligent destination recommendations based on historical data
JP2013235323A (ja) * 2012-05-07 2013-11-21 Hitachi Solutions Ltd ロケーション管理システム
KR101569470B1 (ko) 2012-06-22 2015-11-17 구글 인코포레이티드 현재의 위치 또는 시간에 관한 정보의 제시
WO2013192533A2 (en) 2012-06-22 2013-12-27 Google, Inc. Contextual traffic or transit alerts
WO2014074513A1 (en) 2012-11-06 2014-05-15 Intertrust Technologies Corporation Activity recognition systems and methods
JP6002250B2 (ja) * 2013-01-10 2016-10-05 株式会社日立製作所 時系列データ処理装置及び方法並びに記憶媒体
KR20140092634A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 전자장치와 그 제어방법
US20140222997A1 (en) * 2013-02-05 2014-08-07 Cisco Technology, Inc. Hidden markov model based architecture to monitor network node activities and predict relevant periods
CN103326903B (zh) * 2013-07-05 2016-01-20 华北电力大学 基于隐马尔科夫的Internet网络时延预测方法
US9544721B2 (en) 2013-07-26 2017-01-10 Apple Inc. Address point data mining
US10755181B2 (en) * 2013-12-24 2020-08-25 Sony Corporation Information processing apparatus, information processing method, and information processing system for status recognition
US9503516B2 (en) 2014-08-06 2016-11-22 Google Technology Holdings LLC Context-based contact notification
JP6038857B2 (ja) * 2014-10-16 2016-12-07 日本電信電話株式会社 移動手段推定モデル生成装置、移動手段推定モデル生成方法、移動手段推定モデル生成プログラム
JP6149024B2 (ja) * 2014-11-18 2017-06-14 日本電信電話株式会社 移動手段推定モデル生成装置、移動手段推定モデル生成方法、移動手段推定モデル生成プログラム
JP6405204B2 (ja) * 2014-11-28 2018-10-17 Kddi株式会社 滞在場所属性特定装置、滞在場所属性特定システム、滞在場所属性特定方法およびプログラム
CA2984311A1 (en) * 2015-05-05 2016-11-10 Retailmenot, Inc. Scalable complex event processing with probabilistic machine learning models to predict subsequent geolocations
US10560483B2 (en) * 2015-10-28 2020-02-11 Qomplx, Inc. Rating organization cybersecurity using active and passive external reconnaissance
US20190277894A1 (en) * 2016-09-12 2019-09-12 Nec Corporation Waveform disaggregation apparatus, method and non-transitory medium
JP6584376B2 (ja) * 2016-09-15 2019-10-02 ヤフー株式会社 情報処理装置、情報処理方法、および、情報処理プログラム
JP7372937B2 (ja) * 2018-12-13 2023-11-01 株式会社Nttドコモ 移動手段判断装置
JPWO2020230658A1 (zh) * 2019-05-13 2020-11-19
JP7407018B2 (ja) * 2020-02-28 2023-12-28 株式会社日立製作所 捜索支援システム、捜索支援方法
JP7395062B1 (ja) 2022-04-28 2023-12-08 楽天グループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450338A (zh) * 2003-04-29 2003-10-22 清华大学 车辆定位导航装置
CN1539075A (zh) * 2001-08-06 2004-10-20 ���µ�����ҵ��ʽ���� 信息提供方法及信息提供装置
US20050270236A1 (en) * 2003-06-30 2005-12-08 Microsoft Corporation System and methods for determining the location dynamics of a portable computing device
US20090216435A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation System for logging life experiences using geographic cues
CN101689282A (zh) * 2007-06-25 2010-03-31 微软公司 基于陆标的选路
JP2011034402A (ja) * 2009-08-03 2011-02-17 Sony Corp データ処理装置、データ処理方法、およびプログラム
CN102087722A (zh) * 2009-12-04 2011-06-08 索尼公司 学习设备和方法、预测设备和方法及程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249740B1 (en) * 1998-01-21 2001-06-19 Kabushikikaisha Equos Research Communications navigation system, and navigation base apparatus and vehicle navigation apparatus both used in the navigation system
GB0420095D0 (en) * 2004-09-10 2004-10-13 Cotares Ltd Apparatus for and method of predicting a future behaviour of an object
US8024112B2 (en) * 2005-09-29 2011-09-20 Microsoft Corporation Methods for predicting destinations from partial trajectories employing open-and closed-world modeling methods
JP4169063B2 (ja) * 2006-04-06 2008-10-22 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
JP4130847B2 (ja) * 2006-09-28 2008-08-06 松下電器産業株式会社 移動先予測装置およびその方法
JP4283338B2 (ja) * 2007-05-02 2009-06-24 パナソニック株式会社 移動先予測装置、移動先予測方法、ナビゲーション装置及びプログラム
JP2009159336A (ja) * 2007-12-26 2009-07-16 Panasonic Corp 行動範囲把握方法および行動把握装置
US8015144B2 (en) * 2008-02-26 2011-09-06 Microsoft Corporation Learning transportation modes from raw GPS data
US8290885B2 (en) * 2008-03-13 2012-10-16 Sony Corporation Information processing apparatus, information processing method, and computer program
US8478642B2 (en) * 2008-10-20 2013-07-02 Carnegie Mellon University System, method and device for predicting navigational decision-making behavior
US8335647B2 (en) * 2008-12-04 2012-12-18 Verizon Patent And Licensing Inc. Navigation based on popular user-defined paths
US8966390B2 (en) * 2009-12-29 2015-02-24 Nokia Corporation Method and apparatus for visually indicating location probability
JP2011252844A (ja) * 2010-06-03 2011-12-15 Sony Corp データ処理装置、データ処理方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1539075A (zh) * 2001-08-06 2004-10-20 ���µ�����ҵ��ʽ���� 信息提供方法及信息提供装置
CN1450338A (zh) * 2003-04-29 2003-10-22 清华大学 车辆定位导航装置
US20050270236A1 (en) * 2003-06-30 2005-12-08 Microsoft Corporation System and methods for determining the location dynamics of a portable computing device
CN101689282A (zh) * 2007-06-25 2010-03-31 微软公司 基于陆标的选路
US20090216435A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation System for logging life experiences using geographic cues
JP2011034402A (ja) * 2009-08-03 2011-02-17 Sony Corp データ処理装置、データ処理方法、およびプログラム
CN102087722A (zh) * 2009-12-04 2011-06-08 索尼公司 学习设备和方法、预测设备和方法及程序

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10111042B2 (en) 2013-06-07 2018-10-23 Apple Inc. Modeling significant locations
CN105284144B (zh) * 2013-06-07 2019-04-23 苹果公司 对显著位置进行建模
CN105284144A (zh) * 2013-06-07 2016-01-27 苹果公司 对显著位置进行建模
US10209341B2 (en) 2013-09-06 2019-02-19 Apple Inc. Providing transit information
US11385318B2 (en) 2013-09-06 2022-07-12 Apple Inc. Providing transit information
US11363405B2 (en) 2014-05-30 2022-06-14 Apple Inc. Determining a significant user location for providing location-based services
US11716589B2 (en) 2014-05-30 2023-08-01 Apple Inc. Determining a significant user location for providing location-based services
CN106767835A (zh) * 2017-02-08 2017-05-31 百度在线网络技术(北京)有限公司 定位方法和装置
CN110291422A (zh) * 2017-02-22 2019-09-27 索尼公司 信息处理装置、信息处理方法以及程序
CN110291422B (zh) * 2017-02-22 2023-11-24 索尼公司 信息处理装置、信息处理方法以及程序
CN109478364A (zh) * 2017-06-13 2019-03-15 北京嘀嘀无限科技发展有限公司 确定预计到达时间的方法及系统
US11292545B2 (en) 2017-08-07 2022-04-05 Hangzhou Qingq Science And Technology Co., Ltd. Multimedia systems for shared bicycles
CN112020707A (zh) * 2018-01-05 2020-12-01 国立大学法人九州工业大学 标签添加装置、标签添加方法以及程序
CN112788971A (zh) * 2018-10-03 2021-05-11 索尼公司 信息处理装置、调度方法以及程序
US11926036B2 (en) 2018-10-03 2024-03-12 Sony Corporation Information processing device and scheduling method

Also Published As

Publication number Publication date
JP2012003494A (ja) 2012-01-05
US20110313956A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
CN102298608A (zh) 信息处理装置、信息处理方法和程序
JP6918087B2 (ja) オン・デマンドサービスの情報を提供する方法及びシステム
CN101297337B (zh) 采用开放和闭合世界建模方法从局部轨迹预测目的地的方法
Tang et al. Inferring driving trajectories based on probabilistic model from large scale taxi GPS data
Sun et al. DxNAT—Deep neural networks for explaining non-recurring traffic congestion
Chen et al. Mining moving patterns for predicting next location
Chen et al. A system for destination and future route prediction based on trajectory mining
US20110137834A1 (en) Learning apparatus and method, prediction apparatus and method, and program
JP2012008771A (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN102538813A (zh) 路径搜索方法及装置
Nuzzolo et al. Individual utility‐based path suggestions in transit trip planners
WO2021082464A1 (zh) 预测车辆的目的地的方法和装置
Olia et al. Optimizing the number and locations of freeway roadside equipment units for travel time estimation in a connected vehicle environment
CN111915104A (zh) 一种预测出行位置的方法及装置
Jabamony et al. IoT Based Bus Arrival Time Prediction Using Artificial Neural Network (ANN) for Smart Public Transport System (SPTS).
Servizi et al. Mining User Behaviour from Smartphone data: a literature review
Sáenz et al. Nation-wide touristic flow prediction with Graph Neural Networks and heterogeneous open data
Rahman et al. The effect of time interval of bus location data on real-time bus arrival estimations
Szeto Dynamic modeling for intelligent transportation system applications
CN112949784A (zh) 一种居民出行链模型构建方法及居民出行链获取方法
Vu et al. Bus running time prediction using a statistical pattern recognition technique
Liu et al. Short-term online taxi-hailing demand prediction based on the multimode traffic data in metro station areas
Fernandes et al. A deep learning approach for intelligent cockpits: learning drivers routines
CN113938817A (zh) 一种基于车辆位置信息的车主出行位置预测方法
KR20220132006A (ko) 내비게이션 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111228