CN104737523B - 通过指派用于数据群集的情境标签来管理移动装置中的情境模型 - Google Patents

通过指派用于数据群集的情境标签来管理移动装置中的情境模型 Download PDF

Info

Publication number
CN104737523B
CN104737523B CN201380055104.6A CN201380055104A CN104737523B CN 104737523 B CN104737523 B CN 104737523B CN 201380055104 A CN201380055104 A CN 201380055104A CN 104737523 B CN104737523 B CN 104737523B
Authority
CN
China
Prior art keywords
cluster
situation
data
data point
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380055104.6A
Other languages
English (en)
Other versions
CN104737523A (zh
Inventor
里昂纳德·亨利·葛罗科普
尚卡尔·萨达希瓦姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104737523A publication Critical patent/CN104737523A/zh
Application granted granted Critical
Publication of CN104737523B publication Critical patent/CN104737523B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G06F16/337—Profile generation, learning or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Abstract

本发明提供应用和使用用于数据群集的情境标签的系统和方法。本文描述的用于管理与移动装置相关联的情境模型的方法包含：获得与指派给一或多个第一数据源的第一数据流相关联的第一数据点；将所述第一数据点中的数据点指派给群集集合中的相应群集以使得每一群集分别被指派所述第一数据点中展现阈值量的相似性且在彼此的阈值时间量内与时间相关联的数据点；编译对应于所述第一数据流或指派给相应其它数据源的一或多个其它数据流的统计特征和推断；基于所述统计特征和推断将情境标签指派给所述群集集合中的每一者。

Description

通过指派用于数据群集的情境标签来管理移动装置中的情境 模型
技术领域
本申请涉及无线通信技术，更具体地涉及管理与移动装置相关联的情境模型。
背景技术
无线通信技术的进步已极大地增加了当今无线通信装置的多功能性。这些进步已使得无线通信装置能够从简单的移动电话及寻呼机演变为能够具有广泛多种功能性的复杂计算装置，所述功能性例如为多媒体记录及回放、事件日程安排、文字处理、电子商务等。因此，当今的无线通信装置的用户能够通过单一便携式装置执行常规上需要多个装置或更大的非便携式设备的广泛范围的任务。装置检测和使用装置与用户情境信息来执行和定制装置的功能的能力可辅助此类任务，所述信息例如装置的位置、装置的区域中发生的事件等。
发明内容
用于管理与移动装置相关联的情境模型的方法的实例包含：获得与指派给一或多个第一数据源的第一数据流相关联的第一数据点；将所述第一数据点中的数据点指派给群集集合中的相应群集以使得每一群集分别被指派所述第一数据点中展现阈值量的相似性且在彼此的阈值时间量内与时间相关联的数据点；编译对应于所述第一数据流或指派给相应其它数据源的一或多个其它数据流的统计特征和推断；基于所述统计特征和推断将情境标签指派给所述群集集合中的每一者。
所述方法的实施方案可包含以下特征中的一或多者。所述第一数据源或其它数据源包含音频传感器、位置传感器、网络传感器、运动传感器、相机或日历中的至少一者。所述统计特征包含卫星定位、时间测量值、天气数据、光传感器读数、接近传感器读数、相机数据、接近关注点、蓝牙测量值、Wi-Fi测量值、周围音频等级或移动检测中的至少一者。所述统计推断包含运动状态、装置位置、语音检测、扬声器辨识、目标声音检测或位置检测中的至少一者。所述第一数据源包含多个传感器。所述方法进一步包含使用所述情境标签和所述群集集合产生情境模型。所述方法进一步包含获得与指派给一或多个第二数据源的第二数据流相关联的第二数据点；确定所述群集集合中对应于所述第二数据点的群集；以及选择与所确定群集相关联的情境标签。
而且或替代地，所述方法的实施方案可包含以下特征中的一或多者。指派情境标签包含从用于所述群集集合中的每一者的情境标签的集合选择情境标签。所述方法进一步包含识别所述群集集合当中与和所述群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集；以及产生用于所述至少一个群集的新情境标签。所述方法进一步包含识别所述群集集合当中与和所述群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集；以及将未知的情境标签指派给所述至少一个群集。所述获得包含识别所述移动装置的用户；所述第一数据点包含对应于所述移动装置的所述用户的数据；以及所述方法进一步包含基于所述情境标签和所述群集集合产生用于所述移动装置的用户的用户情境模型。所述第一数据点包含对应于所述移动装置的第一用户和所述移动装置或一或多个其它装置的至少一个第二用户的数据；以及所述方法进一步包含基于所述情境标签和所述群集集合产生用于所述第一用户和所述至少一个第二用户的多用户情境模型。
用于基于情境模型执行情境推断的方法的实例包含：检索所述情境模型，所述情境模型包含在时间上分组到群集集合中的相应群集中的传感器数据点和指派给所述群集集合中的每一者的情境标签；获得与指派给一或多个第一数据源的第一数据流相关联的第一数据点；确定表示所述第一数据点的所述情境模型的至少一个群集；以及选择与所述至少一个所确定群集相关联的输出情境标签。
所述方法的实施方案可包含以下特征中的一或多者。所述确定包含将置信度等级指派给群集集合当中对应于所述第一数据点的多个群集。所述选择包含选择对应于所述情境模型的具有最高置信度等级的群集的情境标签。所述选择包含产生所述群集集合中的相应群集及其相应置信度等级的向量。所述方法进一步包含当所述置信度等级中的一或多者低于阈值时从至少一个传感器收集额外数据。所述选择包含引导从所述一或多个第一数据源的额外数据的收集；以及响应于所述引导基于从所述一或多个第一数据源收集的额外数据选择所述输出情境标签。
而且或替代地，所述方法的实施方案可包含以下特征中的一或多者。所述方法进一步包含获得与指派给一或多个第二数据源的第二数据流相关联的第二数据点，且所述确定包含确定所述情境模型的对应于所述第一数据点和第二数据点的群集。所述选择包含选择与表示第一数据点的第一群集相关联的第一情境标签；选择与表示第二数据点的第二群集相关联的第二情境标签；以及通过组合所述第一情境标签和第二情境标签确定所述输出情境标签。所述方法进一步包含基于所述选定输出情境标签执行第一情境推断；基于从第二数据源导出的瞬时特征和推断执行第二情境推断；以及组合所述第一情境推断和第二情境推断以获得组合情境推断。
促进管理相关联情境模型的设备的实例包含：一或多个第一数据源，其经配置以提供与第一数据流相关联的第一数据点；群集模块，其通信地耦合到所述第一数据源且经配置以将所述第一数据点中的数据点指派给群集集合中的相应群集以使得每一群集分别被指派所述第一数据点中展现阈值量的相似性且在彼此的阈值时间量内与时间相关联的数据点；统计数据模块，其通信地耦合到所述第一数据源和所述群集模块且经配置以针对所述第一数据流或指派给相应其它数据源的一或多个其它数据流编译统计特征和推断；以及情境建模模块，其通信地耦合到所述群集模块和所述统计数据模块且经配置以基于所述统计特征和推断将情境标签指派给所述群集集合中的一或多者。
所述设备的实施方案可包含以下特征中的一或多者。所述第一数据源包含音频传感器、位置传感器、网络传感器、运动传感器、相机或日历中的至少一者。所述统计数据模块进一步经配置以确定包括运动状态、装置位置、语音检测、扬声器辨识、目标声音检测或位置检测中的至少一者的统计推断。所述情境建模模块进一步经配置以使用所述情境标签和所述群集集合产生情境模型。所述设备进一步包含一或多个第二数据源，所述第二数据源通信地耦合到所述群集模块且经配置以提供与第二数据流相关联的第二数据点，所述群集模块进一步经配置以确定对应于所述第二数据点的所述情境模型的群集，且所述设备进一步包含情境推断模块，所述情境推断模块通信地耦合到所述情境建模模块和所述群集模块且经配置以选择与所述所确定群集相关联的情境标签。
而且或替代地，所述设备的实施方案可包含以下特征中的一或多者。所述情境建模模块进一步经配置以识别所述群集集合当中与和所述群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集且产生用于所述至少一个群集的新情境标签。所述情境建模模块进一步经配置以识别所述群集集合当中与和所述群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集且将未知的情境标签指派给所述至少一个群集。
用于基于情境模型执行情境推断的设备的实例包含：情境建模模块，其经配置以提供情境模型，所述情境模型包含在时间上分组到群集集合中的相应群集中的传感器数据点和指派给所述群集集合中的每一者的情境标签；一或多个第一数据源，其经配置以提供与第一数据流相关联的第一数据点；以及情境推断模块，其通信地耦合到所述情境建模模块和所述一或多个第一数据源且经配置以确定所述情境模型的表示所述第一数据点的至少一个群集且选择与所述至少一个所确定群集相关联的输出情境标签。
所述设备的实施方案可包含以下特征中的一或多者。所述情境推断模块进一步经配置以将置信度等级指派给所述群集集合当中对应于所述第一数据点的多个群集。所述情境推断模块进一步经配置以选择对应于所述情境模型的具有最高置信度等级的群集的情境标签。所述设备进一步包含一或多个第二数据源，所述第二数据源通信地耦合到所述情境推断模块且经配置以提供与第二数据流相关联的第二数据点，且所述情境推断模块进一步经配置以确定所述情境模型的对应于所述第一数据点和所述第二数据点的群集。所述情境推断模块进一步经配置以选择与表示所述第一数据点的第一群集相关联的第一情境标签，选择与表示所述第二数据点的第二群集相关联的第二情境标签，且通过组合所述第一情境标签和所述第二情境标签确定所述输出情境标签。所述情境推断模块进一步经配置以基于所述选定输出情境标签执行第一情境推断，基于从所述第二数据源导出的瞬时特征和推断执行第二情境推断，且组合所述第一情境推断和所述第二情境推断以获得组合情境推断。所述第一数据源包含音频传感器、位置传感器、网络传感器、运动传感器、相机或日历中的至少一者。
用于管理与移动装置相关联的情境模型的设备的实例包含：用于获得与指派给一或多个第一数据源的第一数据流相关联的第一数据点的装置；用于将所述第一数据点中的数据点指派给群集集合中的相应群集以使得每一群集分别被指派所述第一数据点中展现阈值量的相似性且在彼此的阈值时间量内与时间相关联的数据点的装置；用于针对所述第一数据流或指派给相应其它数据源的一或多个其它数据流编译统计特征和推断的装置；以及用于基于所述统计特征和推断使所述群集集合中的一或多者与情境标签关联的装置。
所述设备的实施方案可包含以下特征中的一或多者。所述设备进一步包含用于使用所述情境标签和所述群集集合产生情境模型的装置。所述设备进一步包含用于获得与指派给一或多个第二数据源的第二数据流相关联的第二数据点的装置；所述用于指派的装置包含用于确定对应于所述第二数据点的所述情境模型的群集的装置；以及所述设备进一步包含用于选择与所述所确定群集相关联的所述情境标签中的至少一者的装置。所述设备进一步包含用于识别所述群集集合当中与和所述群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集的装置；以及用于产生用于所述至少一个群集的新情境标签或将未知的情境标签指派给所述至少一个群集的装置。
而且或替代地，所述设备的实施方案可包含以下特征中的一或多者。所述第一数据源或其它数据源包含音频传感器、位置传感器、网络传感器、运动传感器、相机或日历中的至少一者。所述统计特征包含卫星定位、时间测量值、天气数据、光传感器读数、接近传感器读数、相机数据、接近关注点、蓝牙测量值、Wi-Fi测量值、周围音频等级或移动检测中的至少一者。所述统计推断包含运动状态、装置位置、语音检测、扬声器辨识、目标声音检测或位置检测中的至少一者。所述第一数据源包含多个传感器。所述用于关联的装置包含用于从用于所述群集集合中的每一者的情境标签的集合选择情境标签的装置。所述用于获得的装置包含用于识别移动装置的用户的装置；所述第一数据点包含对应于移动装置的用户的数据；以及所述设备进一步包含用于基于所述情境标签和群集集合产生用于移动装置的用户的用户情境模型的装置。所述第一数据点包含对应于所述移动装置的第一用户和所述移动装置或一或多个其它装置的至少一个第二用户的数据；以及所述设备进一步包含用于基于所述情境标签和所述群集集合产生用于所述第一用户和所述至少一个第二用户的多用户情境模型的装置。
用于基于情境模型执行情境推断的设备的实例包含：用于检索情境模型的装置，所述情境模型包含在时间上分组到群集集合中的相应群集中的传感器数据点和指派给所述群集集合中的每一者的情境标签；用于从与第一数据流相关联的一或多个第一数据源获得第一数据点的装置；用于确定表示所述第一数据点的所述情境模型的至少一个群集的装置；以及用于选择与所述至少一个所确定群集相关联的输出情境标签的装置。
所述设备的实施方案可包含以下特征中的一或多者。所述设备进一步包含用于从与第二数据流相关联的一或多个第二数据源获得第二数据点的装置，其中所述用于确定的装置包含用于确定所述情境模型的对应于所述第一数据点和所述第二数据点的群集的装置。所述用于选择的装置包含：用于选择与表示所述第一数据点的第一群集相关联的第一情境标签的装置；用于选择与表示所述第二数据点的第二群集相关联的第二情境标签的装置；以及用于通过组合所述第一情境标签和所述第二情境标签选择所述输出情境标签的装置。所述设备进一步包含用于基于所述输出情境标签执行第一情境推断的装置；用于基于从所述第二数据源导出的瞬时特征和推断执行第二情境推断的装置；以及用于组合所述第一情境推断和所述第二情境推断以获得组合情境推断的装置。所述第一数据源包含音频传感器、位置传感器、网络传感器、运动传感器、相机或日历中的至少一者。
而且或替代地，所述设备的实施方案可包含以下特征中的一或多者。所述用于确定的装置包含用于将置信度等级指派给所述群集集合当中对应于所述第一数据点的多个群集的装置。所述用于选择的装置包含用于选择对应于所述情境模型的具有最高置信度等级的群集的情境标签的装置。所述用于选择的装置包含用于产生所述群集集合中的相应群集及其相应置信度等级的向量的装置。所述设备进一步包含用于当所述置信度等级中的一或多者低于阈值时从至少一个传感器收集额外数据的装置。所述用于选择的装置包含用于引导从所述一或多个第一数据源的额外数据的收集的装置；以及用于响应于所述用于引导的装置基于从所述一或多个第一数据源收集的额外数据选择输出情境标签的装置。
处理器可执行计算机存储媒体的实例包含处理器可执行指令，所述处理器可执行指令经配置以致使处理器：获得与指派给一或多个第一数据源的第一数据流相关联的第一数据点；将所述第一数据点中的数据点指派给群集集合中的相应群集以使得每一群集分别被指派所述第一数据点中展现阈值量的相似性且在彼此的阈值时间量内与时间相关联的数据点；针对所述第一数据流或指派给相应其它数据源的一或多个其它数据流编译统计特征和推断；以及基于所述统计特征和推断使所述群集集合中的一或多者与情境标签关联。
所述计算机存储媒体的实施方案可包含以下特征中的一或多者。所述的计算机存储媒体进一步包含用于致使所述处理器使用所述情境标签和所述群集集合产生情境模型的指令。所述的计算机存储媒体进一步包含经配置以致使所述处理器进行以下操作的指令：获得与指派给一或多个第二数据源的第二数据流相关联的第二数据点；确定对应于所述第二数据点的所述情境模型的群集；以及选择与所述所确定群集相关联的所述情境标签中的至少一者。
处理器可执行计算机存储媒体的另一实例包含处理器可执行指令，所述处理器可执行指令经配置以致使处理器：检索情境模型，所述情境模型包含在时间上分组到群集集合中的相应群集中的传感器数据点和指派给所述群集集合中的每一者的情境标签；从与第一数据流相关联的一或多个第一数据源获得第一数据点；确定表示所述第一数据点的所述情境模型的至少一个群集；以及选择与所述至少一个所确定群集相关联的输出情境标签。
所述计算机程序产品的实施方案可包含以下特征中的一或多者。所述的计算机存储媒体进一步包含经配置以致使所述处理器进行以下操作的指令：从与第二数据流相关联的一或多个第二数据源获得第二数据点；以及确定所述情境模型的对应于所述第一数据点和所述第二数据点的群集。所述计算机存储媒体进一步包含经配置以致使所述处理器进行以下操作的指令：选择与表示所述第一数据点的第一群集相关联的第一情境标签；选择与表示所述第二数据点的第二群集相关联的第二情境标签；以及通过组合所述第一情境标签和所述第二情境标签选择所述输出情境标签。所述计算机存储媒体进一步包含经配置以致使所述处理器进行以下操作的指令：基于所述输出情境标签执行第一情境推断；基于从所述第二数据源导出的瞬时特征和推断执行第二情境推断；以及组合所述第一情境推断和所述第二情境推断以获得组合情境推断。
本文中所描述的项目及/或技术可提供以下能力中的一或多者以及未提及的其它能力。可增加情境推断和/或确定的准确性，从而使得能够将较相关数据和/或应用程序提供给用户。情境相关数据在时间上分组，从而减少与在不同情境推断之间快速切换相关联的误差。可提供其它能力，且不是根据本发明的每个实施方案都必须提供所论述的能力中的任一者，更不用说全部。此外，可有可能通过除了所述的手段之外的手段来实现上述效果，且所述的项目/技术可能不一定产生所述的效果。
附图说明
图1是移动计算装置的组件的框图。
图2是情境建模和推断系统的框图。
图3到4是由图2的系统收集的实例数据群集的说明性视图。
图5是用于学习用于群集的情境标签的系统的功能框图。
图6是用于推断用于新数据的情境的系统的功能框图。
图7是用以群集音频环境数据的实例模型的说明性视图。
图8是如本文中所描述音频群集技术的实施方案的说明性视图。
图9是用于从群集以及瞬时低级特征和推断融合情境的系统的功能框图。
图10是用于从群集以及瞬时低级特征和推断融合情境的概率图形模型的说明性视图。
图11是将情境标签应用于数据群集的过程的框流程图。
图12是使用收集的传感器数据和情境模型推断装置情境的过程的框流程图。
图13图解说明计算机系统的实施例的框图。
具体实施方式
本文所描述的是用于通过编译从装置传感器数据导出的特征的统计数据来学习用于群集的情境标签的技术。本文所描述的技术可用以辅助用于装置的情境确定，所述装置例如智能电话、膝上型计算机或平板计算机、个人数字助理(PDA)等，以及当前现有或未来存在的任何其它计算装置。其它使用也可以是可能的。虽然下文描述中给定的各种实例涉及移动计算装置，但本文所描述的技术可应用于其中情境推断是合意的任何装置。
移动装置技术的进步已带给移动装置检测和使用装置与用户情境信息来执行和定制装置的功能的能力，所述信息例如装置的位置、装置的区域中发生的事件等。可使移动装置感知其用户的情境的一种方式是识别周围音频流中的对话。举例来说，装置可监视装置及其用户附近的周围音频环境且确定对话何时发生。此信息可随后用以触发较详细的推断，例如扬声器和/或用户辨识、年龄和/或性别估计、对话参与者数目的估计等。或者，识别对话的动作可自身用作辅助情境确定。举例来说，检测到的对话可用以确定位于其办公室的用户是在独自工作还是在会见他人，这可影响所述用户的可中断性。
此外，移动情境感知的目的是让装置推断其用户正在做什么。这可沿着多个维度进行评估，例如通过用户所位于的地点的类型(例如，办公室、会议室、演讲厅、家、体育馆、餐馆、咖啡店、酒吧等)或用户处于的情形的类型(例如，会议、独自工作、驾驶、吃午饭、锻炼、睡觉等)。每一此类维度在本文中被称作情境。通过推断用户情境，促进了一系列应用，例如(但不限于)以下各项：
1)使装置功能性自动化，例如将呼叫转向到话音邮件或当用户不可中断时响应于文本消息，基于环境调整响铃音量，当用户将迟到时通知会议参与者等。
2)使社交联网交互自动化，例如登记、当用户在附近时通知朋友等。
3)提供医疗保健信息，例如燃烧的卡路里、走过的英里数、工作对玩乐花费的时间等。
4)促进例如对于餐馆、商店、消费品、汽油等的准确且及时的推荐。
推断用户情境的一个方法是从计算出的低级推断和特征以统计或另外方式学习所述情境。低级推断的实例是音频数据流中是否存在语音、基于加速度计数据流确定的用户的运动状态(行走、坐、驾驶等)、用户是否在家/工作/交通中/在未知的位置、用户是在室内还是在室外(例如，基于可见的全球定位系统(GPS)或其它SPS卫星的数目)等。低级特征的实例是GPS速度、范围内的蓝牙装置的数目、可见的Wi-Fi接入点的数目、接近传感器计数、环境光等级、平均相机强度、日时、星期几、工作日或周末、周围音频能级等。以上不是穷尽性的列表，且可使用其它低级特征和/或推断。
作为使用低级特征和推断的实例，如果语音存在，装置处于停置，范围内存在许多蓝牙装置，当天是工作日，日时是工作时间，且装置的用户在工作，那么用户的情形情境可推断为“会议中”状态。
基于硬传感器数据立即推断用户情境由于用户情境和数据之间的有噪声的映射而带来挑战。举例来说，当用户处于会议时，语音检测器的最常见输出可为“语音”(与“无语音”相反)，最常见装置运动状态可为“装置停置”，且范围内通常可存在许多蓝牙装置。尽管如此，仍可能在计算这些低级特征/推断时，语音可经确定为不存在，运动状态可展现装置不处于停置，和/或范围内可不存在蓝牙装置。为了考虑这些变化，可经由时间滤波来平均化情境推断。然而，这些平均化操作可导致情境推断越过情境之间的转变边界，且因此可造成情境推断中的噪声和不准确性。
为了减轻这些困难，本文所描述的技术在时间上群集对应于一或多个用户的数据且结合上述低级特征和推断使用这些群集来推断用户情境。在一些实施例中，群集数据可用以界定不同用户情境之间的边界。此外，如相对于下文某些实施例所描述推断情境可允许跨越例如由群集所确定的适当时间窗口从所获得数据编译有意义的统计数据。所属领域的技术人员将了解本文所描述的实施例的其它优点和益处。
本文所描述的技术可用于移动装置，例如图1中说明的实例移动装置100。移动装置100包含无线收发器121，所述无线收发器经由无线天线122在无线网络上发送和接收无线信号123。收发器121通过无线收发器总线接口120连接到总线101。虽然在图1中展示为相异的组件，但无线收发器总线接口120还可为无线收发器121的一部分。此处，移动装置100被说明为具有单一无线收发器121。然而，移动装置100可替代地具有多个无线收发器121和无线天线122以支持多个通信标准，例如Wi-Fi、码分多址(CDMA)、宽带CDMA(WCDMA)、长期演进(LTE)、蓝牙等。
通用处理器111、存储器140、数字信号处理器(DSP)112和/或专用处理器(未图示)也可用以完全或部分地处理无线信号123。来自无线信号123的信息的存储是使用存储器140或寄存器(未图示)执行。虽然图1中展示仅一个通用处理器111、DSP 112和存储器140，但移动装置100可使用一个以上任何这些组件。通用处理器111和DSP 112直接或通过总线接口110连接到总线101。另外，存储器140直接或通过总线接口(未图示)连接到总线101。总线接口110在实施时可与和其相关联的通用处理器111、DSP112和/或存储器140一起集成或与其独立。
存储器140包含将功能存储为一或多个指令或代码的非暂时性计算机可读存储媒体(或媒体)。可构成存储器140的媒体包含(但不限于)RAM、ROM、快闪存储器、光盘驱动器等。由存储器140存储的功能是由通用处理器111、专用处理器或DSP 112执行。因此，存储器140是存储经配置以使处理器111及/或DSP 112执行所述功能的软件代码(编程代码、指令等)的处理器可读存储器及/或计算机可读存储器。或者，移动装置100的一或多个功能可整体或部分地在硬件中执行。
移动装置100进一步包含一或多个传感器135，其俘获与移动装置100和/或其环境相关联的数据。传感器135可包含(但不限于)麦克风或音频传感器、相机、光传感器、压力传感器、惯性传感器(例如，加速度计和/或陀螺仪)、磁力计等。传感器135可个别地或组合地使用，例如传感器阵列或任何其它组合。多个传感器135在由移动装置100实施的情况下可彼此相互依赖地或独立地操作。传感器135独立地或通过总线接口(未图示)连接到总线101。举例来说，传感器135可通过总线101与DSP 112通信以便处理由传感器135俘获的数据。传感器135可另外与通用处理器111和/或存储器140通信以产生或另外获得与所俘获数据相关联的元数据。在一些实施例中，天线122和/或收发器121也可以用作传感器，例如以感测或检测例如Wi-Fi信号等无线信号。
图2图解说明可由图1中所示的移动装置100利用的情境建模和推断系统200的实施例。系统200包含一或多个数据源210，其可包含(但不限于)例如麦克风的音频传感器212、例如GPS收发器的位置传感器214、例如Wi-Fi和/或其它无线电收发器的网络传感器216、例如加速度计或陀螺仪的运动传感器218、日历/约会记录220、例如系统时钟或其它机制的时间/日信息源222、装置使用监视器224、光和/或相机传感器226等。从数据源210搜集的数据是使用统计数据模块230和群集模块240结合时间数据(例如，由系统时钟提供)来处理。统计数据模块230识别且编译与和数据源210相关联的低级特征和/或推断相关联的统计数据。群集模块240在来自统计数据模块230的辅助下识别且标记从数据源210收集的数据的群集。所述群集随后由内容建模模块250利用以构造用于移动装置100的装置情境模型。情境推断模块260随后利用由情境建模模块250产生的模型来针对新接收数据推断装置情境。
如本文大体上所描述，模型可由情境建模模块250为(例如，移动装置的)特定识别用户产生，方法是通过经由数据源210收集对应于所述用户的数据点且使用这些数据点和从所述数据点产生的群集和标签产生用户特定情境模型。或者，可跨越多个用户收集数据，例如移动装置的用户和同一装置和/或其它装置的一或多个其它用户，从其可产生多用户情境模型。
从数据源210收集的数据可采取群集模块240和/或情境推断模块260可使用的任何形式。举例来说，此类数据可包含来自音频传感器212的音频样本；来自位置传感器214的GPS读数；来自网络传感器216的网络强度和/或其它网络相关读数；来自运动传感器218的运动、加速度或定向数据，与日历220相关联的条目等。除数据之外，还可利用应用于数据的标签。举例来说，日历条目可标记有位置或标题，例如“用户的办公室”或“医生的约会”。下文进一步详细描述用于收集和应用这些数据的技术。
群集模块240执行对应于数据源210的数据流的群集，例如时间群集或其它群集。群集指代将在一些特征空间中表现为相似(例如，以使得所述数据点展现至少阈值量的相似性)和/或与相似时间相关联(例如，在彼此的阈值时间量内的时间处收集和/或另外与在彼此的阈值时间量内的时间相关联)的数据点分组。举例来说，如图3中的图300中示出，群集可对应于展现相似特征简档的在时间上分组的数据点集合。此处展示的群集索引1-5可对应于任何特征分组和/或特征集合，例如来自音频传感器212的发现含有语音或无语音的音频样本、来自位置传感器214的在预定义半径内或在已知地址的位置定位、来自运动传感器218的对应于常见运动状态(行走、跑步等)的读数等。其它特征也是可能的，如本文中所论述。在随后获得并不对应于当前群集的数据点之后即刻发生到新群集的转变。举例来说，图300图解说明基于所获得数据点的改变的在群集之间的转变(例如，群集5到群集3，群集3到群集5，...)。
作为群集的另一实例如果数据流由通过执行GPS定位获得的纬度/经度坐标的轨迹组成，那么群集可涉及将所述定位分组为用户访问且耗费时间的有限数目的地点。因此，在时间上连续定位的一个相异片段可对应于用户在家，且可属于与当用户同样在家时的不同日子发生的连续定位的第二相异片段相同的群集。另一群集可对应于当用户在工作时获得的定位。群集可基于任何准则，且在某些情况下可针对给定数据流任意界定。
可从数据源210收集且群集的不同流的实例如下。其它数据流和群集和/或用于群集数据流的技术也是可能的。
音频环境：包含麦克风数据的若干批次，每一批次是在指定持续时间(例如近似一分钟)上获得。每一群集对应于相异音频环境。
纬度/经度坐标：通过位置定位(例如，从GPS或另一卫星定位系统)获得。每一群集对应于用户访问的宏观地点(即，建筑物大小的地点)。
Wi-Fi指纹：包含可见Wi-Fi接入点的集合，其相应接收信号强度(例如给定为信号强度指示(RSSI))，及其相应响应速率(即，当发生连续扫描时它们可见的时间的分数)。每一群集对应于用户访问的微观地点(即，房间大小的地点)。
蓝牙(BT)指纹：包含可见BT装置的集合，其相应信号强度(例如，给定为RSSI)，其装置类别，及其相应响应速率。每一群集对应于相异BT环境。
运动状态：包含加速度计、陀螺仪和/或磁力计数据的若干批次，每一批次是在指定持续时间(例如，近似10-30秒)上获得。每一群集对应于相异的运动集合。
日历事件：包含例如事件描述和/或标题、日期/时间、位置、出席者和/或其它相关联人的名字等信息。每一群集对应于具有相似名称、位置和/或其它属性的事件的集合。
返回到图2，由系统200用于群集数据的技术如下。出于描述的简单性起见，以下相对于从仅一个数据流利用的群集进行描述，但以下描述可应用于多个数据流。此处，使用以下步骤，群集由群集模块240处理且由情境推断模块260使用以推断用户的情境。其它步骤或以下步骤的变化可如本文进一步所描述而使用。
1)例如经由群集模块240群集数据流。这涉及将每一数据点指派于有限数目的群集ID中的一者。每一群集ID被指派表示所述ID的模型以使得可将未来数据点与不同群集模型进行比较以确定相似性。
2)例如经由统计数据模块230编译统计数据。对于所发现的每一群集，使其与当用户在此群集中时计算的来自低级特征和推断的相关统计数据关联。
3)例如经由情境建模模块250指派情境标签。对于每一群集，基于经编译低级特征/推断统计数据学习情境标签。在最简单情况中，这可通过以某种方式平均化所述低级特征/推断而完成。举例来说，可针对每一群集ID执行计算，包含检测到语音的时间的平均分数、可见的蓝牙装置的平均数目及其最常发生的运动状态。如果对于特定群集，语音的分数大于某一阈值，蓝牙装置的平均数目大于某一阈值且最常见运动状态是“停置”，那么可将适当情境标签(例如“会议中”)指派给所述群集。
4)例如经由情境推断模块260推断情境。在稍后时间点，对于用户的当前数据流，找到具有与当前数据的最接近匹配模型的群集且输出其标签作为所推断情境。
以上过程由图4中的图400说明。在图400中所示的实例中，群集几个小时的音频环境数据。x轴展示时间且y轴展示群集数目。图解说明在各种时间点处计算的低级特征/推断。低级特征和推断在图400中标记为A-H，其是在图主体下方界定。发现五个音频环境群集，且图解说明通过所述群集的遍历的时间序列。揭示最高群集含有大量语音和人群特征以及少量打字。此音频环境群集被给予情境标签“会议”。揭示第二群集含有一些语音，以及用户单独的许多实例。此群集被给予情境标签“固定电话”。将相似处理应用于第三和第四群集。最下群集含有在家推断的许多实例，并且还持续整夜。将情境标签“睡觉指派给此音频环境”。
虽然一般来说可任意使用情境标签集合，但在以上实例中情境标签表示用户情形。在不同实例中，情境标签可表示企业地点类型，例如体育馆、咖啡厅、办公室、会议室、休息室、演讲厅等。这些可根据基于Wi-Fi指纹(例如，“微观地点”)的群集而习得。每一微观地点可对应于房间/区域，且情境标签可对应于此房间/区域的描述。随后可基于例如语音、运动状态、蓝牙装置密度、周围音频能级、访问的日时、群集中花费的时间量等特征/推断而习得情境标签。
在以上实例中，假定群集不跨越情境边界。如果经群集数据流是位置或音频环境，且情境标签是关于用户情形或地点类型(如在上述实例中)，那么此假设通常是正确的。举例来说，当用户进入会议时，通常在地点(例如，从其办公室到会议室)和音频环境(例如，从对应于行走的音频环境到对应于会议的音频环境)两者中观测改变。在一些实施例中，可在其中群集跨越情境边界的情况中推断或确定群集和/或情境。
本文所描述的用于群集数据且使用经群集数据执行情境推断的技术可应用于多种使用情况。这些使用情况的实例包含(但不限于)以下各项：
交通工具内检测(例如驾驶)：利用GPS速度和基于GPS的纬度/经度轨迹作为低级特征来对音频环境群集加标签。使用当前音频环境群集来分类交通工具内对非交通工具内。
测量睡觉时间：利用在家推断和日时(即，半夜)作为低级特征来将音频环境群集加标签为睡觉群集对不睡觉群集。通过睡觉群集中花费的小时数目测量睡觉时间。
室内/室外检测：利用许多低级特征将微观地点群集加标签为室内或室外。特征包含例如可见卫星的数目和对应信号强度(例如，给定为RSSI或其它测量)；可见Wi-Fi AP的数目和对应信号强度(例如，给定为RSSI或其它测量)；基于广播的装置ID(例如，桌上型计算机、打印机等)的静止蓝牙装置的可见度；音频信号上的目标声音检测(室内/室外)；环境光传感器读数或记录；相机红/绿/蓝(R/G/B)强度，其给出可从其确定光源类型的光颜色(例如，荧光对自然光)；以及等等。从当前微观地点群集分类室内对室外。
会议中检测：利用许多低级特征将微观地点群集加标签为室内或室外。特征包含例如可见个人蓝牙装置的数目；目标声音检测；日时；在家/工作推断；等。使用当前微观地点群集分类会议中对不在会议中。
区域(例如，在家/工作/其它/交通中)检测：利用许多低级特征来将宏观地点群集加标签为在家/工作/其它。基于当前宏观地点群集分类区域。当前宏观地点群集的不存在可与交通中推断相关联。特征包含例如日时；群集中花费的小时数目；群集中花费的最长时间；在给定时间(例如，上午3:00)群集中花费的时间的频率；等。
再次返回到图2，系统200也可以用以群集多个数据流。当群集一个以上数据流时(例如，音频环境和微观地点)，上文对于一个数据流所述的推断程序可经增强。以上程序群集且利用多个数据流的实例增强如下。也可以使用其它增强。
1)例如经由群集模块240单独地群集每一数据流。
对于每一群集数据流，将每一数据点指派于有限数目的群集ID中的一者。每一群集ID被指派表示所述ID的模型以使得可将未来数据点与不同群集模型进行比较以确定相似性。
2)例如经由统计数据模块230编译统计数据。对于每一数据流，使每一所发现的群集与当用户在此群集中时计算的所有低级特征和推断关联。
3)例如经由情境建模模块250指派情境标签和置信度值。对于每一数据流，基于经编译低级特征/推断学习用于每一群集ID的情境标签。使置信度值与每一习得的情境标签关联。举例来说，如果特定音频群集极接近于会议中预期所见的语音分数和蓝牙密度，那么指派情境标签“会议”且使高置信度值与此群集/标签关联。如果特定微观地点群集具有稍微(但不特定)接近对于会议预期的等级的语音分数和蓝牙密度，那么指派情境标签“会议”但使低置信度值与此群集/标签关联。
4)例如经由情境推断模块260推断情境。在稍后时间点，对于每一数据流将用户确定为在特定群集中。如果存在具有冲突情境标签的多个群集，那么选择具有最高置信度值的情境标签。
在某些情况下，群集模块240可经配置以在上述步骤(1)中联合地群集数据。举例来说，群集模块240可经配置以将子群集的每一相异组合处理为单独的群集。作为一实例，如果存在M个音频群集和N个地点群集，那么可产生MN个联合群集。同样或替代地，群集模块240可经配置以对来自多个传感器的每一相异数据群组指派一个群集。
为了考虑当前数据流与任何先前观测群集不一致，即其来自新的尚未见的群集的可能性，情境推断模块260可经配置以在执行以上步骤(4)中描述的动作之前首先包含距离测试。距离测试确定当前数据流距最近的群集模型的距离。如果此距离大于某一阈值，那么这指示不存在与和当前数据流具有至少阈值程度的关系的情境标签相关联的已知群集。因此，不推断情境，且情境推断模块260输出“未知的情境”、“先前未见的情境”和/或其它合适的标签。
在以上步骤(3)和(4)中，情境建模模块250和/或情境推断模块260可以多种方式将置信度值指派给习得的情境标签。较一般方法是为每一群集指派用于可能情境标签中的每一者的后验概率以使得当在总体所有可能情境标签上求和时所述后验概率总和为一。在融合步骤中，跨越各种数据流以某种方式组合这些概率，例如通过乘法。举例来说，如果当前音频群集具有对于情境＝会议的0.8概率和对于情境＝不在会议的0.2概率，且当前地点群集具有对于情境＝会议的0.4概率和对于情境＝不在会议的0.6概率，那么总推断将指派对于情境＝会议的0.8x0.4＝0.32的值和对于情境＝不在会议的0.2x0.6＝0.12的值。由于情境标签“会议”具有较高值，因此提供其作为输出标签。
来自如上文针对一个数据流或多个数据流所描述的步骤(4)的情境推断模块260的输出可采取各种形式。可能的输出包含对应于具有最高置信度值的情境的硬决策输出、对应于最可能情境的概率分布的软决策输出(例如，作为概率向量的输出)等等。其它输出也是可能的。
如上文所描述的情境标签学习步骤由图5中的图500图解说明。上述情境标签推断步骤由图6中的图600图解说明。一般来说，图500展示通用情境模型的构造，所述情境模型例如可在移动装置处实时产生或初始地在移动装置处基于所观测或导入数据流离线建构，或可在发射或加载到例如移动装置等另一装置上之前由例如服务器或计算机等装置确定。所述模型由群集组成，所述群集例如经由群集模块240在阶段510从N个数据流形成。还在阶段520例如经由统计数据模块230针对其它数据流计算低级特征和推断(F/I)。对于每一群集，例如使用统计数据模块230在阶段530计算用于低级特征和推断的相关统计数据(例如，群集中存在的语音的分数)。在阶段540这些统计数据使得能够将标签指派给群集(例如，由情境建模模块250)，从而产生含有群集与其标签之间的映射的模型550。以此方式，从其它数据流获得的信息可用以表征一或多个群集和/或对一或多个群集加标签。基于此模型，图600展示在后续跟踪期间，在阶段610计算与从N个数据流取样的数据相关联的最近的群集。在阶段620使用上述距离测试检验这些群集计算。基于如图500中示出所编译的模型550，随后在阶段630使在阶段610、620观测到用户处于的群集与情境相关联。随后，可在阶段640融合多个群集和/或情境标签。此处，阶段610、620、630、640中的每一者是使用情境推断模块260执行；然而，其它配置也是可能的。
用于使统计数据与标签关联的规则可预定义和/或基于训练数据而习得。作为一实例，可针对位置数据预定义规则以使得将用户在上午3:00-5:00之间花费最多时间的位置被视为用户的家。可基于训练数据、用户偏好或类似者而修改和/或替换此规则和其它相似规则。
如上文另外提到，可利用多个数据流增强情境检测准确性。作为一实例，单独基于位置数据的情境推断可对与装置的位置(例如，家、办公室等)相关联的所有装置情境给予低置信度值。因此，位置数据可与例如时间或音频数据等其它数据组合以精炼情境推断。
如上所述，基于低级特征和推断执行情境推断。可从装置传感器数据或外部源计算的可能的低级特征的列表包含但不限于以下各项：
●GPS速度、准确性、海拔
●可见的GPS卫星数目
●日时、星期几、工作日/周末、公众假日
●天气、温度
●环境光传感器读数
●接近传感器读数
●相机数据、强度、R/G/B强度、例如DCT(离散余弦变换)系数等特征、相机视场中检测到的对象
●最近的地理关注点(POI)
●可见的蓝牙装置和对应RSSI，范围内的新/旧蓝牙装置
●可见的Wi-Fi AP和对应RSSI，可见的新/旧Wi-Fi AP
●周围音频能级
●移动检测(任何装置移动对无装置移动)
类似地，可从装置传感器数据或外部源计算的可能的低级推断的列表包含但不限于以下各项：
●运动状态(行走、跑步、驾驶等)
●装置位置(口袋、手、桌子、包等)
●语音检测(语音/无语音)
●说话者辨识(装置所有者说话/某个其他人说话)
●存在的说话者的数目
●目标声音检测(婴儿哭泣/不在哭泣等)
●区域(家/工作/其它/交通中或住宅/商业等)
●装置使用(每分钟屏幕触摸的数目、每分钟键入的字符的数目等)
●显示器接通对断开
●应用程序使用(运行的应用程序的类型(例如游戏、电子邮件等)、同时运行的应用程序的数目等)
在学习用于群集的情境标签的情况下，也可能使用从群集本身导出的低级统计数据。这些统计数据包含(但不限于)以下各项：
●群集中花费时间的分数
●对群集的访问的持续时间
●对群集的访问之间的逗留时间
●逗留时访问的群集的数目
●群集出现的相对频率(例如，第二最频繁)
举例来说，持续近似一小时的群集较可能对应于例如在会议或讲演中的情境。在访问之间具有8-9小时的逗留时间的群集较可能对应于交通往返周期。具有6-8小时的持续时间的群集较可能对应于睡觉周期。其它此类推断是可能的。
群集模块240可利用用于数据群集的各种技术。图7中的图700给出音频环境群集的实例。此处，初始地以状态数目L配置模型，L大于预期状态数目，例如L经选择以使得L>>K。在所述模型中，zt表示在数据的第t分钟期间音频环境的隐藏群集ID，其中t＝1,...,T。变量yt,o＝[y1,t,o…y13,t,o]表示从在数据的第t分钟期间观测的原始音频数据流计算的13维梅尔频率倒频谱系数(MFCC)特征向量。变量O表示每分钟计算的特征向量的数目。此处，O＝60，但也可使用其它值。存储的数据通过以下统计数据囊封MFCC特征向量：
在给定时间点的群集ID随着在先前时间点的群集ID而变，由连接zt-1到zt的箭头表示。剩余变量表示群集模型的各种参数。
图8中的图800图解说明此音频环境群集技术对对应于用户的真实传感器数据的功效的实例。x轴展示1整天的时间。y轴展示基于使用来自同一用户的2周的先前数据训练模型的所推断群集ID。在绘图上在情境标签由用户提供的时间处图解说明所述情境标签。
上述技术使得情境推断模块260能够通过首先使用低级特征/推断对群集加标签且其次使用这些经加标签群集执行推断而间接推断情境。在某些情况下，可以瞬时低级特征/推断数据增强基于群集的推断。这是通过以下方式完成：配置情境推断模块260以执行单独的情境推断，一个经由群集且一个经由低级特征/推断(例如，从统计数据模块230获得)，且以类似于在群集之间发生的推断的融合的方式将它们融合。更具体来说，这是通过例如如下增强由情境推断模块260执行的以上推断程序的最终阶段而完成。
4)推断情境：在稍后时间点，对于每一数据流，确定用户处于具有相关联情境标签和所计算置信度值的特定群集中。还计算瞬时低级特征。基于这些，导出具有相关联置信度值的情境标签。通过取得从由所述群集中的每一者输出的导出情境中选择的具有最高置信度值的导出情境以及所述低级特征/推断而计算最终推断情境。
举例来说，如果用户正在汽车中驾驶，那么系统尝试区别“在汽车中驾驶”与“乘公共汽车”情境，音频环境和地点群集表明“乘公共汽车”情境但具有低到中置信度，且GPS速度特征确定用户正以75mph移动，从低级特征导出的瞬时情境标签将为具有高置信度的“在汽车中驾驶”。在此情况下，从低级特征导出的情境标签将超驰从音频环境群集导出的情境标签。
类似于上文，在推断步骤中存在将置信度值指派于导出的情境标签的各种方式。较一般方法是，对于每一群集且对于低级特征/推断的集合，将后验概率指派于可能的情境标签中的每一者以使得当在总体所有可能情境标签上求和时所述后验概率总和为一。在融合步骤中，跨越各种数据流以某种方式组合这些概率，通常通过乘法。举例来说，如果当前音频群集具有对于情境＝会议的0.8概率和对于情境＝不在会议的0.2概率，且瞬时低级特征/推断产生对于情境＝会议的0.4概率和对于情境＝不在会议的0.6概率，那么总推断将指派对于情境＝会议的0.8x0.4＝0.32的值和对于情境＝不在会议的0.2x0.6＝0.12的值。所得输出将为情境标签“会议”，因为其具有较高值。
在一些实施例中，情境推断模块260可确定是否在如上文所描述的增强阶段(4)之前执行计算瞬时低级特征和/或为此计算搜集额外数据(例如，通过激活或利用传感器)。举例来说，当情境推断模块260无法确定具有高于某一阈值的置信度的情境时，一或多个传感器可经配置以收集额外数据。可在计算低级特征之后执行此确定以便确定是否收集额外数据和/或执行额外计算。用于一或多个情境的不同置信度等级也可以映射到装置的相应传感器，其又可用以实现那些置信度等级。
通过如上文所论述选择性计算或搜集额外数据，可减少电力使用。通过基于(例如)以下各者中的一或多者接通/断开传感器取样可实现此类选择性数据搜集：
●到目前为止已经获得的传感器样本的数目；
●当前群集ID；
●到目前为止见到的群集的时间序列，例如群集ID序列3,4,3或1,4,3,5可触发传感器取样发生；
●在当前群集ID的先前出现期间获得的样本的数目，例如如果对于当前Wi-Fi群集ID已经执行的GPS扫描的数目超过阈值10，那么不取样；
●在群集的当前时间序列的先前出现期间获得的样本的数目，例如在时间群集序列3,4,3的所有先前出现中，可已经获得总共10个样本，其可导致在时间序列3,4,3的未来出现上启用/停用取样；
●到目前为止获得的传感器样本的值；
●在当前群集ID的先前出现期间获得的传感器样本的值，例如如果针对当前Wi-Fi群集执行的GPS扫描已经确定地展示清晰的卫星可见度，那么可针对当前群集停用未来GPS扫描，或如果针对当前Wi-Fi群集执行的GPS扫描是不明确的，那么GPS扫描可针对当前群集继续；
●在群集的当前时间序列的先前出现期间获得的传感器样本的值；
●给定到目前为止收集的传感器样本当前可做出目标推断的准确性(或置信度)；和/或
●由收集额外传感器样本产生的估计实用性增加。
关于取样的决策也可以基于上述量未能超过预定义阈值。另外或替代地，可以概率方式做出所述决策。举例来说，接通传感器取样的概率可与已经收集的样本数目成反比。
图9中的图900图解说明如上文所描述从瞬时低级特征/推断和从群集导出的情境的融合。此处，以类似上文相对于图6中的图600所述方式的方式使用模型550在阶段610、620、630(例如，经由情境推断模块260)获得与N个数据流相关联的情境标签。另外，在阶段910(例如，经由统计数据模块230)从其它数据流计算瞬时低级特征和推断，且在阶段920检索(例如，从模型550)与这些瞬时特征和推断相关联的情境标签。随后，在阶段930跨越所有相关联群集以及低级特征和推断融合在阶段630和920获得的情境标签。此处，阶段920、930由情境推断模块260执行；然而，其它配置也是可能的。
为了执行上述融合，情境推断模块260可使用例如图10中的图1000图解说明的概率图形模型。此处，变量S(t)表示在分钟t期间用户的情境。因此，S(t)可为会议、独自工作、驾驶等。变量Ci(t)表示在分钟t期间类型i群集的ID。因此，C1(t)可表示在第t分钟的音频环境群集ID，且C2(t)可表示在第t分钟的基于Wi-Fi的群集。变量Li(t)表示在分钟t期间的第i低级特征或推断。因此，L1(t)可表示第t分钟是否存在语音，L2(t)可表示运动状态，L3(t)可表示GPS速度等。变量f表示群集模型(例如，与每一群集相关联的情境标签)。链接S(t-1)到S(t)的箭头表示分钟t的情境与分钟t-1的情境相关的事实。通过对此曲线图运行推断算法(例如维特比算法或前向-后向算法)，可从计算的群集以及低级特征和推断推断情境S(t)。
存在各种方式基于在群集的出现期间编译的低级特征/推断的统计数据确定用于群集的情境标签。较早提到的方法涉及对每一统计数据任意地加阈值以确定其是否指示特定情境。另一方法涉及从大量训练用户收集经加标签数据以便学习将使用的适当阈值。或者，收集的数据可用以训练图10中的概率图形模型。
参考图11，进一步参考图1-10，将情境标签应用到数据群集的过程1100包含展示的阶段。然而，过程1100仅为实例并且没有限制性。例如，通过添加、移除、重新布置、组合及/或并行地执行各阶段，可以更改过程1100。对于所展示及描述的过程1100的另外其它更改也是可能的。
在阶段1102，获得与指派给一或多个数据源210的数据流相关联的数据点。
在阶段1104，例如由群集模块240将在阶段1102获得的数据点指派给群集集合中的相应群集。所述群集可为先前识别的群集或新群集，如上文所描述。
在阶段1106，例如由统计数据模块230针对第一数据流和/或与相应其它数据源相关联的其它数据流编译统计特征和/或推断。上文描述了可编译的特征/推断的实例。其它特征/推断也是可能的。
在阶段1108，例如由情境建模模块250基于在阶段1106编译的统计特征和推断将情境标签指派给所述群集中的每一者。
参考图12，进一步参考图1-10，使用收集的传感器数据和情境模型推断装置情境的过程1200包含展示的阶段。然而，过程1200仅为实例并且没有限制性。例如，通过添加、移除、重新布置、组合及/或并行地执行各阶段，可以更改过程1200。对于所展示及描述的过程1200的另外其它更改也是可能的。
在阶段1202，例如从情境建模模块250或例如存储器140等存储器检索情境模型。所述模型包含在时间上分组到群集集合中的相应群集中的传感器数据点。所述模型还包含指派给群集集合中的每一者的情境标签。
在阶段1204，获得与指派给一或多个数据源210的数据流相关联的数据点。
在阶段1206，(例如，由情境推断模块260)确定表示在阶段1204获得的数据点的情境模型的群集。此确定可基于由统计数据模块230确定的与数据点相关联的统计特征/推断。或者，数据点可在阶段1206确定为不对应于模型的任何群集。在此情况下，可使用“未经分类”或“未知的”标签，可产生新群集和/或情境标签，或可采取其它动作。
在阶段1208，确定将输出情境标签选择为与在阶段1206确定的群集相关联的情境标签。随后将此情境标签作为装置情境推断提供到与其中过程1200操作的装置相关联的一或多个应用程序。
如图13中所说明的计算机系统1300可用于至少部分地实施先前描述的计算机化装置的功能性。举例来说，计算机系统1300可用于以软件至少部分实施图11-12中所示的过程1100、1200。计算机系统1300也可以经由图1中所示的移动装置100的组件中的一或多者实施，例如通用处理器111和/或存储器140。计算机系统1300可另外或替代地用以提供图2中所示的系统200和/或其组件中的一或多者(例如模块230、240、250、260)的至少部分软件实施方案。计算机系统1300的其它实施方案是可能的。举例来说，输入装置1315可包括和/或用以实施图1中所示的传感器125和或图2中所示的数据源210中的任一者。此外，处理器1310和/或工作存储器1335的部分(例如操作系统1340或者结合处理器1310或独立操作的应用程序1345)可包括和/或用以实施图2和3中所示的模块230-260中的任一者。在一些实施例中，处理器1310可包括和/或用以实施如图1所示的处理器111和/或DSP 112，且工作存储器1335和存储装置1325中的一者或两者可包括和/或用以实施也在图1中所示的存储器140。
图13提供计算机系统1300的一个实施例的示意性说明，所述计算机系统可执行通过如本文所述的各种其它实施例提供的方法，及/或可以充当移动装置或其它计算机系统。应注意，图13仅有意提供各种组件的一般化说明，可在适当时利用所述组件中的任一者或所有。因此，图13广泛地说明可如何以相对分离或相对更集成的方式实施个别系统元件。
计算机系统1300经展示为包括硬件元件，所述硬件元件可经由总线1305(或可在适当时以其它方式通信)电耦合。硬件元件可包含：一或多个处理器1310，包含(但不限于)一或多个通用处理器及/或一或多个专用处理器(例如，数字信号处理芯片、图形加速处理器，及/或其类似者)；一或多个输入装置1315，其可包含(但不限于)鼠标、键盘及/或其类似者；及一或多个输出装置1320，其可包含(但不限于)显示装置、打印机及/或其类似者。处理器1310可包含(例如)智能硬件装置，例如由公司或制作的那些中央处理单元(CPU)、微控制器、ASIC等。还可利用其它处理器类型。
计算机系统1300可进一步包含一或多个非暂时性存储装置1325(及/或与之通信)，其可包括(但不限于)本地及/或网络可存取存储装置，及/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)及/或只读存储器(“ROM”)的可编程、快闪可更新及/或其类似者的固态存储装置。此等存储装置可经配置以实施任何适当数据存储装置，包含(但不限于)各种文件系统、数据库结构和/或类似者。
计算机系统1300还可包含通信子系统1330，其可包含但不限于调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，BluetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设备等)和/或类似装置。通信子系统1330可准许与网络(例如，作为一个实例，下文所描述的网络)、其它计算机系统及/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算机系统1300将进一步包括工作存储器1335，其可包含RAM或ROM装置，如上所述。
计算机系统1300还可包括展示为当前位于工作存储器1335内的软件元件，包含操作系统1340、装置驱动器、可执行库和/或例如一或多个应用程序1345等其它代码，其可包括由各种实施例提供和/或可经设计以实施方法和/或配置系统、由其它实施例提供的计算机程序，如本文中所描述。仅仅作为实例说明，关于上文所论述的方法所描述的一或多个程序可实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；且此类代码和/或指令可用以配置及/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。
这些指令及/或代码的集合可存储在计算机可读存储媒体(例如上文所描述的存储装置1325)上。在一些情况下，存储媒体可并入于计算机系统(例如，计算机系统1300)内。在其它实施例中，存储媒体可与计算机系统分离(例如，可装卸式媒体(例如，压缩光盘)，及/或提供于安装包中，使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可呈可由计算机系统1300执行的可执行代码形式，和/或可呈源和/或可安装代码的形式，所述源和/或可安装代码在由计算机系统1300编译和/或安装于计算机系统1300上后(例如，使用多种大体可用编译程序、安装程序、压缩/解压缩工具等中的任一者)即刻呈可执行代码的形式。
可根据特定需求进行实质性变化。举例来说，还可能使用定制硬件，及/或可能将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可利用到其它计算装置(例如，网络输入/输出装置)的连接。
计算机系统(例如，计算机系统1300)可用于执行根据本发明的方法。响应于处理器1310执行包含在工作存储器1335中的一或多个指令(所述一或多个指令可被并入到操作系统1340及/或其它代码中，例如，应用程序1345)的一或多个序列，可通过计算机系统1300执行此类方法的程序中的一些或全部。此类指令可从另一计算机可读媒体(例如存储装置1325中的一或多者)读取到工作存储器1335中。仅仅作为实例说明，工作存储器1335中含有的指令序列的执行可能致使处理器1310执行在此所描述的方法的一或多个程序。
如本文中所使用，术语“机器可读媒体”及“计算机可读媒体”是指参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统1300实施的实施例中，在将指令/代码提供到处理器1310以用于执行中可能涉及各种计算机可读媒体，及/或各种计算机可读媒体可用以存储及/或载运此类指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体为物体和/或有形存储媒体。此类媒体可呈许多形式，包含(但不限于)非易失性媒体、易失性媒体及传输媒体。非易失性媒体包含(例如)光盘和/或磁盘，例如存储装置1325。易失性媒体包含(但不限于)例如工作存储器1335的动态存储器。传输媒体包含(但不限于)同轴电缆、铜线及光纤，包含包括总线1305的电线，以及通信子系统1330的各种组件(及/或通信子系统1330提供与其它装置的通信所借助于的媒体)。因此，传输媒体还可呈波的形式(包含但不限于无线电、声波和/或光波，例如，在无线电-波和红外线数据通信期间产生的那些波)。
举例来说，常见形式的物理及/或有形计算机可读媒体包含软性磁盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、蓝光光盘、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪-EPROM、任何其它存储器芯片或盒带、如下文所描述的载波，或计算机可从其读取指令及/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到处理器1310以用于执行时可涉及各种形式的计算机可读媒体。仅仅作为实例，最初可将指令载运于远程计算机的磁盘和/或光盘上。远程计算机可将指令载入到其动态存储器中，并经由传输媒体将指令作为信号进行发送以由计算机系统1300接收及/或执行。根据本发明的各种实施例，可呈电磁信号、声学信号、光信号和/或类似形式的这些信号都是可在其上编码指令的载波的实例。
通信子系统1330(和/或其组件)通常将接收信号，且总线1305可接着将信号(和/或由信号所载运的数据、指令等)载运到处理器1305从其检索并执行指令的工作存储器1335。在通过处理器1310的执行之前或者在所述执行之后，由工作存储器1335接收的指令可任选地存储于存储装置1325上。
上文所论述的方法、系统和装置为实例。各种替代配置可按需要省略、替代或添加各种程序或组件。举例来说，在替代方法中，可以不同于上文论述的次序执行各阶段，并且可添加、省略或组合各个阶段。而且，可以各种其它配置组合关于某些配置所描述的特征。可以类似方式组合配置的不同方面和元件。又，技术发展，且因此，元件中的许多为实例且并不限制本发明或权利要求的范围。
在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而，可在无这些特定细节的情况下实践配置。举例来说，已在并无不必要细节的情况下展示众所周知的电路、过程、算法、结构和技术以便避免混淆配置。此描述仅提供实例配置，且并不限制权利要求书的范围、适用性或配置。实际上，配置的之前描述将向所属领域的技术人员提供用于实施所描述技术的实现描述。在不脱离本发明的范围的情况下可对元件的功能和配置作出各种改变。
可将配置描述为描绘为流程图或框图的过程。尽管每一流程图或框图可将操作描述为顺序过程，但许多操作可并行地或同时地来执行。另外，可重新布置操作次序。过程可具有不包含在图式中的额外步骤。此外，可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合实施方法的实例。当以软件、固件、中间件或微码实施时，用以执行必要任务的程序代码或代码段可存储在例如存储媒体的非暂时性计算机可读媒体中。处理器可执行所描述的任务。
如本文所使用，包含在权利要求书中，以“至少一个”开始的项目的列表中所使用的“或”指示分离性列表，以使得(例如)“A、B或C中的至少一者”的列表是指A或B或C或AB或AC或BC或ABC(即，A及B及C)，或与一个以上特征的组合(例如，AA、AAB、ABBC等)。
已描述若干实例配置，可在不脱离本发明的范围的情况下使用各种修改和替代构造。举例来说，上文元件可为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。并且，可在考虑以上元件之前、期间或之后进行数个步骤。因此，以上描述并不约束权利要求书的范围。

Claims (43)

1.一种用于管理与移动装置相关联的情境模型的方法，所述方法由所述移动装置实施且包括：
获得与指派给一或更多个第一数据源的第一数据流相关联的第一数据点，所述一个或更多个第一数据源包括所述移动装置的一或更多个传感器；
识别所述第一数据流中的群集集合；
将所述第一数据点中的数据点指派给所识别的群集集合中的相应群集以使得所识别的群集集合中所述相应群集被指派所述第一数据点中展现阈值量相似性且在彼此的阈值时间量内与时间相关联的所述数据点；
从所述相应群集中的所述第一数据点中的所述数据点计算所述相应群集呈现的特征和推断；
编译与从所述相应群集中的所述第一数据点的所述数据点计算出的所述相应群集呈现的所述特征和所述推断相关联的统计数据；以及
基于与从所述相应群集中的所述第一数据点的所述数据点计算出的所述相应群集呈现的所述特征和所述推断相关联的所述统计数据将情境标签和置信度等级指派给所述相应群集。
2.根据权利要求1所述的方法，其中所述一个或更多个第一数据源包括音频传感器、位置传感器、网络传感器、运动传感器、相机或日历中的至少一者。
3.根据权利要求1所述的方法，其中所述特征包括卫星定位、时间测量值、天气数据、光传感器读数、接近传感器读数、相机数据、接近关注点、蓝牙测量值、Wi-Fi测量值、周围音频级或移动检测中的至少一者。
4.根据权利要求1所述的方法，其中所述推断包括运动状态、装置位置、语音检测、扬声器辨识、目标声音检测或位置检测中的至少一者。
5.根据权利要求1所述的方法，其进一步包括使用指派给所识别的群集集合的所述相应群集的所述情境标签和使用所识别的群集集合产生所述情境模型。
6.根据权利要求5所述的方法，其进一步包括：
获得与指派给一或更多个第二数据源的第二数据流相关联的第二数据点；
确定对应于所述第二数据点的所述情境模型的群集；以及
选择与所确定群集相关联的输出情境标签。
7.根据权利要求1所述的方法，其中指派所述情境标签包括从情境标签集合中选择用于所识别的群集集合中的所述相应群集的所述情境标签。
8.根据权利要求7所述的方法，其进一步包括：
识别所识别的群集集合当中与和所识别的群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集；以及
产生用于所述至少一个群集的新情境标签。
9.根据权利要求7所述的方法，其进一步包括：
识别所识别的群集集合当中与和所识别的群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集；以及
将未知的情境标签指派给所述至少一个群集。
10.根据权利要求1所述的方法，其中：
所述获得包括识别所述移动装置的用户；
所述第一数据点包括对应于所述移动装置的所述用户的数据；以及
所述方法进一步包括基于指派给所识别的群集集合中所述相应群集的所述情境标签和基于所识别的群集集合产生用于所述移动装置的所述用户的用户情境模型。
11.根据权利要求1所述的方法，其中：
所述第一数据点包括对应于所述移动装置的第一用户和所述移动装置的至少一个第二用户的数据；以及
所述方法进一步包括基于指派给所识别的群集集合中所述相应群集的所述情境标签和基于所识别的群集集合产生用于所述第一用户和所述至少一个第二用户的多用户情境模型。
12.根据权利要求1所述的方法，其进一步包括基于所述情境模型执行情境推断，所述执行所述情境推断包括：
检索所述情境模型，其中所述情境模型是使用在时间上分组到所识别的群集集合中的所述相应群集中的所述第一数据点和指派给所识别的群集集合的所述情境标签而产生；
获得与指派给一或更多个第二数据源的第二数据流相关联的第二数据点；
确定表示所述第二数据点的所述情境模型的至少一个群集；以及
选择与所述至少一个所确定群集相关联的输出情境标签。
13.根据权利要求12所述的方法，其中所述确定包括将置信度等级指派给所识别的群集集合当中对应于所述第二数据点的多个群集。
14.根据权利要求13所述的方法，其中所述选择包括选择对应于所述情境模型的具有最高置信度等级的群集的所述输出情境标签。
15.根据权利要求13所述的方法，其中所述选择包括产生所识别的群集集合中的相应群集及其相应置信度等级的向量。
16.根据权利要求13所述的方法，其进一步包括当所述置信度等级中的一个或更多个低于置信度等级阈值时从至少一个传感器收集额外数据。
17.根据权利要求12所述的方法，其中所述选择包括：
引导从所述一或更多个第二数据源的额外数据的收集；以及
响应于所述引导基于从所述一或更多个第二数据源收集的所述额外数据选择所述输出情境标签。
18.根据权利要求12所述的方法，其进一步包括获得与指派给一或更多个第三数据源的第三数据流相关联的第三数据点，其中所述确定包括确定所述情境模型的对应于所述第三数据点和所述第二数据点的群集。
19.根据权利要求18所述的方法，其中所述选择包括：
选择与表示所述第二数据点的第一群集相关联的第一输出情境标签；
选择与表示所述第三数据点的第二群集相关联的第二输出情境标签；以及
通过组合所述第一输出情境标签和所述第二输出情境标签确定所述输出情境标签。
20.根据权利要求18所述的方法，其进一步包括：
基于所选定的输出情境标签执行第一情境推断；
基于从所述一或更多个第三数据源导出的瞬时特征和推断执行第二情境推断；以及
组合所述第一情境推断和所述第二情境推断以获得组合情境推断。
21.一种促进管理情境模型的移动装置，所述移动装置包括：
存储器；
通信地耦合到所述存储器的处理器；
一或更多个通信地耦合到所述存储器和所述处理器的第一数据源，其经配置以提供与第一数据流相关联的第一数据点，所述一个或更多个第一数据源包括所述移动装置的一或更多个传感器；
群集模块，其通信地耦合到所述一个或更多个第一数据源且经配置以识别所述第一数据流中的群集集合，并将所述第一数据点中的数据点指派给所识别的群集集合中的相应群集以使得所识别的群集集合中所述相应群集分别被指派所述第一数据点中展现阈值量相似性且在彼此的阈值时间量内与时间相关联的所述数据点；
统计数据模块，其通信地耦合到所述一个或更多个第一数据源和所述群集模块且经配置以：
从所述相应群集中的所述第一数据点中的所述数据点计算所述相应群集呈现的特征和推断；
编译与从所述相应群集中的所述第一数据点的所述数据点计算出的所述相应群集呈现的所述特征和所述推断相关联的统计数据；以及
情境建模模块，其通信地耦合到所述群集模块和所述统计数据模块且经配置以基于与从所述相应群集中的所述第一数据点的所述数据点计算出的所述相应群集呈现的所述特征和所述推断相关联的所述统计数据将情境标签和置信度等级指派给所述相应群集集合。
22.根据权利要求21所述的移动装置，其中所述第一数据源包括音频传感器、位置传感器、网络传感器、运动传感器、相机或日历中的至少一者。
23.根据权利要求21所述的移动装置，其中所述统计数据模块进一步经配置以确定包括运动状态、装置位置、语音检测、扬声器辨识、目标声音检测或位置检测中的至少一者的所述推断。
24.根据权利要求21所述的移动装置，其中所述情境建模模块进一步经配置以使用所述情境标签和所述群集集合产生所述情境模型。
25.根据权利要求24所述的移动装置，其中：
所述移动装置进一步包括一或更多个第二数据源，所述第二数据源通信地耦合到
所述群集模块且经配置以提供与第二数据流相关联的第二数据点，
所述群集模块进一步经配置以确定对应于所述第二数据点的所述情境模型的群集，且
所述移动装置进一步包括情境推断模块，所述情境推断模块通信地耦合到所述情境建模模块和所述群集模块且经配置以选择与所确定群集相关联的输出情境标签。
26.根据权利要求21所述的移动装置，其中所述情境建模模块进一步经配置以识别所识别的群集集合当中与和所识别的群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集且产生用于所述至少一个群集的新情境标签。
27.根据权利要求21所述的移动装置，其中所述情境建模模块进一步经配置以识别所识别的群集集合当中与和所识别的群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集且将未知的情境标签指派给所述至少一个群集。
28.根据权利要求21所述的移动装置，其进一步经配置以基于所述情境模型执行情境推断，且所述情境建模模块进一步经配置以提供所述情境模型，其中所述情境模型是使用在时间上分组到所识别的群集集合中的所述相应群集中的所述第一数据点和指派给所识别的群集集合的所述情境标签来产生，所述移动装置进一步包括：
一或更多个第二数据源，其经配置以提供与第二数据流相关联的第二数据点；以及
情境推断模块，其通信地耦合到所述情境建模模块和所述一或更多个第二数据源且经配置以确定所述情境模型的表示所述第二数据点的至少一个群集且选择与至少一个所确定的群集相关联的输出情境标签。
29.根据权利要求28所述的移动装置，其中所述情境推断模块进一步经配置以将置信度等级指派给所述群集集合当中对应于所述第二数据点的多个群集。
30.根据权利要求29所述的移动装置，其中所述情境推断模块进一步经配置以选择对应于所述情境模型的具有最高置信度等级的群集的所述输出情境标签。
31.根据权利要求28所述的移动装置，其中所述一或更多个第三数据源进一步经配置以提供与第三数据流相关联的第三数据点，其中所述情境推断模块进一步经配置以确定所述情境模型的对应于所述第三数据点和所述第二数据点的群集。
32.根据权利要求31所述的移动装置，其中所述情境推断模块进一步经配置以选择与表示所述第二数据点的第一群集相关联的第一输出情境标签，选择与表示所述第三数据点的第二群集相关联的第二输出情境标签，且通过组合所述第一输出情境标签和所述第二输出情境标签确定所述输出情境标签。
33.根据权利要求31所述的移动装置，其中所述情境推断模块进一步经配置以基于所选定的输出情境标签执行第一情境推断，基于从所述一或更多个第三数据源导出的瞬时特征和推断执行第二情境推断，且组合所述第一情境推断和所述第二情境推断以获得组合情境推断。
34.根据权利要求28所述的移动装置，其中所述一或更多个第二数据源包括音频传感器、位置传感器、网络传感器、运动传感器、相机或日历中的至少一者。
35.一种移动装置，其用于管理与所述移动装置相关联的情境模型，所述移动装置包括：
用于获得与指派给一或更多个第一数据源的第一数据流相关联的第一数据点的装置，所述一个或更多个第一数据源包括所述移动装置的一或更多个传感器；
用于识别所述第一数据流中的群集集合的装置；
用于将所述第一数据点中的数据点指派给所识别的群集集合中的相应群集以使得所识别的群集集合中所述相应群集被指派所述第一数据点中展现阈值量相似性且在彼此的阈值时间量内与时间相关联的所述数据点的装置；
用于从所述相应群集中的所述第一数据点中的所述数据点计算所述相应群集呈现的特征和推断的装置；
用于编译与从所述相应群集中的所述第一数据点的所述数据点计算出的所述相应群集呈现的所述特征和所述推断相关联的统计数据的装置；以及
用于基于与从所述相应群集中的所述第一数据点的所述数据点计算出的所述相应群集呈现的所述特征和所述推断相关联的所述统计数据使情境标签和置信度等级与所述相应群集关联的装置。
36.根据权利要求35所述的移动装置，其进一步包括用于使用指派给所识别的群集集合的所述相应群集的所述情境标签和使用所识别的群集集合产生所述情境模型的装置。
37.根据权利要求36所述的移动装置，其中：
所述移动装置进一步包括用于获得与指派给一或更多个第二数据源的第二数据流相关联的第二数据点的装置；
所述移动装置包括用于确定对应于所述第二数据点的所述情境模型的群集的装置；以及
所述移动装置进一步包括用于选择与所确定群集相关联的输出情境标签的装置。
38.根据权利要求35所述的移动装置，其进一步包括：
用于识别所识别的群集集合当中与和所识别的群集集合相关联的任何情境标签具有小于阈值程度的关系的至少一个群集的装置；以及
用于产生用于所述至少一个群集的新情境标签或将未知的情境标签指派给所述至少一个群集的装置。
39.根据权利要求35所述的移动装置，其进一步经配置以基于所述情境模型执行情境推断，所述移动装置进一步包括：
用于检索所述情境模型的装置，其中所述情境模型是使用在时间上分组到所识别的群集集合中的所述相应群集中的所述第一数据点和指派给所识别的群集集合的所述情境标签来产生；
用于从与第二数据流相关联的一或更多个第二数据源获得第二数据点的装置；
用于确定表示所述第二数据点的所述情境模型的至少一个群集的装置；以及
用于选择与所述至少一个所确定群集相关联的输出情境标签的装置。
40.根据权利要求39所述的移动装置，其进一步包括用于从与第三数据流相关联的一或更多个第三数据源获得第三数据点的装置，其中所述用于确定的装置包括用于确定所述情境模型的对应于所述第三数据点和所述第二数据点的群集的装置。
41.根据权利要求40所述的移动装置，其中所述用于选择所述输出情境标签的装置包括：
用于选择与表示所述第二数据点的第一群集相关联的第一输出情境标签的装置；
用于选择与表示所述第三数据点的第二群集相关联的第二输出情境标签的装置；
以及
用于通过组合所述第一输出情境标签和所述第二输出情境标签选择所述输出情境标签的装置。
42.根据权利要求40所述的移动装置，其进一步包括：
用于基于所选定的输出情境标签执行第一情境推断的装置；
用于基于从所述一或更多个第三数据源导出的瞬时特征和推断执行第二情境推断的装置；以及
用于组合所述第一情境推断和所述第二情境推断以获得组合情境推断的装置。
43.根据权利要求39所述的移动装置，其中所述一或更多个第二数据源包括音频传感器、位置传感器、网络传感器、运动传感器、相机或日历中的至少一者。
CN201380055104.6A 2012-11-02 2013-09-09 通过指派用于数据群集的情境标签来管理移动装置中的情境模型 Expired - Fee Related CN104737523B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261721919P 2012-11-02 2012-11-02
US61/721,919 2012-11-02
US13/831,393 US9740773B2 (en) 2012-11-02 2013-03-14 Context labels for data clusters
US13/831,393 2013-03-14
PCT/US2013/058669 WO2014070304A1 (en) 2012-11-02 2013-09-09 Managing a context model in a mobile device by assigning context labels for data clusters

Publications (2)

Publication Number Publication Date
CN104737523A CN104737523A (zh) 2015-06-24
CN104737523B true CN104737523B (zh) 2018-04-13

Family

ID=50623363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380055104.6A Expired - Fee Related CN104737523B (zh) 2012-11-02 2013-09-09 通过指派用于数据群集的情境标签来管理移动装置中的情境模型

Country Status (6)

Country Link
US (1) US9740773B2 (zh)
EP (1) EP2915319B1 (zh)
JP (1) JP6284538B2 (zh)
KR (1) KR101831210B1 (zh)
CN (1) CN104737523B (zh)
WO (1) WO2014070304A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336295B2 (en) 2012-12-03 2016-05-10 Qualcomm Incorporated Fusing contextual inferences semantically
US10417531B2 (en) * 2012-12-19 2019-09-17 Intel Corporation Techniques for encapsulating metadata in contextual data streams
US9319423B2 (en) * 2013-11-04 2016-04-19 At&T Intellectual Property I, L.P. Malware and anomaly detection via activity recognition based on sensor data
US9904932B2 (en) 2014-12-29 2018-02-27 Google Llc Analyzing semantic places and related data from a plurality of location data reports
US10820294B2 (en) * 2015-03-09 2020-10-27 Hewlett Packard Enterprise Development Lp Predicting available access points
JP6511971B2 (ja) * 2015-06-05 2019-05-15 富士ゼロックス株式会社 情報処理装置及びプログラム
US9965754B2 (en) * 2015-06-08 2018-05-08 Google Llc Point of sale terminal geolocation
US9903755B2 (en) * 2015-10-05 2018-02-27 Microsoft Technology Licensing, Llc Indoors / outdoors detection
US10699236B2 (en) * 2015-10-17 2020-06-30 Tata Consultancy Services Limited System for standardization of goal setting in performance appraisal process
US20170154273A1 (en) * 2015-11-30 2017-06-01 Seematics Systems Ltd System and method for automatically updating inference models
US10152947B2 (en) 2016-04-06 2018-12-11 Microsoft Technology Licensing, Llc Display brightness updating
US10346871B2 (en) * 2016-04-22 2019-07-09 Facebook, Inc. Automatic targeting of content by clustering based on user feedback data
DE102016206935A1 (de) * 2016-04-25 2017-07-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionserkennung
US11455545B2 (en) * 2016-08-10 2022-09-27 Palo Alto Research Center Incorporated Computer-implemented system and method for building context models in real time
EP3301891B1 (en) * 2016-09-28 2019-08-28 Nxp B.V. Mobile device and method for determining its context
JP6374466B2 (ja) * 2016-11-11 2018-08-15 ファナック株式会社 センサインタフェース装置、測定情報通信システム、測定情報通信方法、及び測定情報通信プログラム
US10455362B1 (en) 2016-12-30 2019-10-22 Amazon Technologies, Inc. Contextual presence
US10846745B1 (en) * 2016-12-30 2020-11-24 Amazon Technologies, Inc. Contextual presence
US20180254054A1 (en) * 2017-03-02 2018-09-06 Otosense Inc. Sound-recognition system based on a sound language and associated annotations
US20180268844A1 (en) * 2017-03-14 2018-09-20 Otosense Inc. Syntactic system for sound recognition
CN110800273B (zh) 2017-04-24 2024-02-13 卡内基梅隆大学 虚拟传感器系统
US11416129B2 (en) 2017-06-02 2022-08-16 The Research Foundation For The State University Of New York Data access interface
EP3590287B1 (en) * 2017-06-21 2024-01-17 Google LLC Generating wireless network access point models using clustering techniques
US11301022B2 (en) * 2018-03-06 2022-04-12 Motorola Mobility Llc Methods and electronic devices for determining context while minimizing high-power sensor usage
US10810513B2 (en) * 2018-10-25 2020-10-20 The Boeing Company Iterative clustering for machine learning model building
JP7240596B2 (ja) * 2019-02-26 2023-03-16 京セラドキュメントソリューションズ株式会社 会話分析装置および会話分析システム
CN110099171B (zh) * 2019-04-26 2022-03-01 平安科技（深圳）有限公司 响铃类型自动调整方法、装置、终端及存储介质
US11120054B2 (en) * 2019-06-05 2021-09-14 International Business Machines Corporation Hierarchical label generation for data entries
KR20220028098A (ko) * 2019-07-04 2022-03-08 넥스트나브, 엘엘씨 결정된 컨텍스트의 신뢰성을 개선하기 위해 모바일 디바이스의 압력 센서를 사용하기 위한 시스템 및 방법
KR20190107614A (ko) * 2019-09-02 2019-09-20 엘지전자 주식회사 이벤트 발생 시간 이용한 사용자 프로파일링 방법
US20210081295A1 (en) * 2019-09-12 2021-03-18 Apple Inc. Device-usage processing for generating inferred user states
US11080307B1 (en) * 2019-12-31 2021-08-03 Rapid7 , Inc. Detection of outliers in text records
GB202009198D0 (en) * 2020-06-17 2020-07-29 Rolls Royce Plc Computer-implemented method
GB202009197D0 (en) * 2020-06-17 2020-07-29 Rolls Royce Plc Computer-implemented method
GB202009196D0 (en) * 2020-06-17 2020-07-29 Rolls Royce Plc Computer-implemented method
CN111985231B (zh) * 2020-08-07 2023-12-26 中移（杭州）信息技术有限公司 无监督角色识别方法、装置、电子设备及存储介质
US20220083568A1 (en) * 2020-09-15 2022-03-17 Adp, Llc Latent Intent Clustering in High Latent Spaces
US11630852B1 (en) 2021-01-08 2023-04-18 Wells Fargo Bank, N.A. Machine learning-based clustering model to create auditable entities
US11544795B2 (en) * 2021-02-09 2023-01-03 Futurity Group, Inc. Automatically labeling data using natural language processing
US11593740B1 (en) 2021-02-25 2023-02-28 Wells Fargo Bank, N.A. Computing system for automated evaluation of process workflows
US11461372B1 (en) * 2021-03-18 2022-10-04 Bae Systems Information And Electronic Systems Integration Inc. Data clustering in logic devices using unsupervised learning
WO2023229166A1 (ko) * 2022-05-23 2023-11-30 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916828A1 (en) * 2006-10-27 2008-04-30 Sony France S.A. Event-detection in multi-channel sensor-signal streams
EP1939797A1 (en) * 2006-12-23 2008-07-02 NTT DoCoMo, Inc. Method and apparatus for automatically determining a semantic classification of context data
CN101848278A (zh) * 2010-04-21 2010-09-29 惠州Tcl移动通信有限公司 手机系统及其情景模式切换方法
EP2447809A2 (en) * 2010-10-27 2012-05-02 Samsung SDS Co., Ltd. User device and method of recognizing user context

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928549B2 (en) 2001-07-09 2005-08-09 International Business Machines Corporation Dynamic intrusion detection for computer systems
US20040259536A1 (en) 2003-06-20 2004-12-23 Keskar Dhananjay V. Method, apparatus and system for enabling context aware notification in mobile devices
US8566263B2 (en) * 2003-11-28 2013-10-22 World Assets Consulting Ag, Llc Adaptive computer-based personalities
US7774349B2 (en) * 2003-12-11 2010-08-10 Microsoft Corporation Statistical models and methods to support the personalization of applications and services via consideration of preference encodings of a community of users
US7366705B2 (en) * 2004-04-15 2008-04-29 Microsoft Corporation Clustering based text classification
US7302451B2 (en) * 2004-05-07 2007-11-27 Mitsubishi Electric Research Laboratories, Inc. Feature identification of events in multimedia
US8472985B2 (en) 2005-09-21 2013-06-25 Buckyball Mobile, Inc Incentive marketing with a context-enriched message
US20100138451A1 (en) 2006-04-03 2010-06-03 Assaf Henkin Techniques for facilitating on-line contextual analysis and advertising
US7865505B2 (en) 2007-01-30 2011-01-04 Microsoft Corporation Efficient exact set similarity joins
WO2009029289A1 (en) 2007-08-31 2009-03-05 Sandbridge Technologies, Inc. Method, apparatus, and architecture for automated interaction between subscribers and entities
TW200912795A (en) 2007-09-04 2009-03-16 Ind Tech Res Inst Context inference system and method thereof
US20100299615A1 (en) * 2007-09-28 2010-11-25 The Trustees Of Dartmouth College System And Method For Injecting Sensed Presence Into Social Networking Applications
US7962525B2 (en) 2007-11-05 2011-06-14 Microsoft Corporation Automated capture of information generated at meetings
US8166168B2 (en) * 2007-12-17 2012-04-24 Yahoo! Inc. System and method for disambiguating non-unique identifiers using information obtained from disparate communication channels
US8762285B2 (en) * 2008-01-06 2014-06-24 Yahoo! Inc. System and method for message clustering
US20090190544A1 (en) 2008-01-25 2009-07-30 Qualcomm Incorporated Method and apparatus for channel identification in a wireless communication system
US8005839B2 (en) * 2008-02-28 2011-08-23 International Business Machines Corporation Method and apparatus for aggregation in uncertain data
US8587402B2 (en) 2008-03-07 2013-11-19 Palm, Inc. Context aware data processing in mobile computing device
JP2009302949A (ja) * 2008-06-13 2009-12-24 Funai Electric Co Ltd 携帯通信端末および状況推定システム
JP5215099B2 (ja) * 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、デジタルフォトフレーム、プログラム及び情報記憶媒体
US8078622B2 (en) * 2008-10-30 2011-12-13 Network Appliance, Inc. Remote volume access and migration via a clustered server namespace
JP2010122751A (ja) * 2008-11-17 2010-06-03 Nec Corp 状況推定システム、状況推定方法、状況推定プログラム
US8135850B2 (en) * 2008-11-25 2012-03-13 Citrix Systems, Inc. Systems and methods for load balancing real time streaming
US8219513B2 (en) 2008-12-19 2012-07-10 Eastman Kodak Company System and method for generating a context enhanced work of communication
US8195430B2 (en) 2009-03-31 2012-06-05 Microsoft Corporation Cognitive agent
AU2009345651B2 (en) * 2009-05-08 2016-05-12 Arbitron Mobile Oy System and method for behavioural and contextual data analytics
FI20095570L (fi) * 2009-05-22 2009-09-11 Valtion Teknillinen Kontekstin tunnistaminen mobiiliaitteissa
JP5185203B2 (ja) * 2009-06-04 2013-04-17 日本電信電話株式会社 コンテキスト分析装置及びコンテキスト分析プログラム
US20100317371A1 (en) * 2009-06-12 2010-12-16 Westerinen William J Context-based interaction model for mobile devices
KR101594577B1 (ko) * 2009-11-19 2016-02-16 삼성전자주식회사 클러스터 질의를 이용한 데이터 스트림 처리 장치 및 방법
US11127020B2 (en) 2009-11-20 2021-09-21 Palo Alto Research Center Incorporated Generating an activity inference model from contextual data
WO2011075120A1 (en) 2009-12-15 2011-06-23 Intel Corporation Context information utilizing systems, apparatus and methods
EP2569924A4 (en) 2010-05-13 2014-12-24 Nokia Corp METHOD AND DEVICE FOR CONTEXULATION AND FUSION
WO2012001462A1 (en) 2010-06-30 2012-01-05 Nokia Corporation Method and apparatus for providing context-based power consumption control
EP2588994A4 (en) 2010-07-01 2017-03-22 Nokia Technologies Oy Adaptation of context models
US8478306B2 (en) * 2010-11-10 2013-07-02 Google Inc. Self-aware profile switching on a mobile computing device
KR101267561B1 (ko) 2011-02-11 2013-05-24 서울대학교산학협력단 모바일 단말을 이용한 상황 인식 서비스 제공 방법 및 그 시스템
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US10145707B2 (en) 2011-05-25 2018-12-04 CSR Technology Holdings Inc. Hierarchical context detection method to determine location of a mobile device on a person's body
US8924345B2 (en) * 2011-09-26 2014-12-30 Adobe Systems Incorporated Clustering and synchronizing content
US8180583B1 (en) * 2011-11-16 2012-05-15 Google Inc. Methods and systems to determine a context of a device
GB201122206D0 (en) 2011-12-22 2012-02-01 Vodafone Ip Licensing Ltd Sampling and identifying user contact
US8429103B1 (en) * 2012-06-22 2013-04-23 Google Inc. Native machine learning service for user adaptation on a mobile platform
US9336295B2 (en) 2012-12-03 2016-05-10 Qualcomm Incorporated Fusing contextual inferences semantically

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916828A1 (en) * 2006-10-27 2008-04-30 Sony France S.A. Event-detection in multi-channel sensor-signal streams
EP1939797A1 (en) * 2006-12-23 2008-07-02 NTT DoCoMo, Inc. Method and apparatus for automatically determining a semantic classification of context data
CN101848278A (zh) * 2010-04-21 2010-09-29 惠州Tcl移动通信有限公司 手机系统及其情景模式切换方法
EP2447809A2 (en) * 2010-10-27 2012-05-02 Samsung SDS Co., Ltd. User device and method of recognizing user context

Also Published As

Publication number Publication date
EP2915319A1 (en) 2015-09-09
WO2014070304A1 (en) 2014-05-08
JP2016503607A (ja) 2016-02-04
KR101831210B1 (ko) 2018-02-22
US20140129560A1 (en) 2014-05-08
CN104737523A (zh) 2015-06-24
JP6284538B2 (ja) 2018-02-28
EP2915319B1 (en) 2018-01-10
US9740773B2 (en) 2017-08-22
KR20150082405A (ko) 2015-07-15

Similar Documents

Publication Publication Date Title
CN104737523B (zh) 通过指派用于数据群集的情境标签来管理移动装置中的情境模型
CN103488666B (zh) 信息处理设备和方法、电子装置以及计算机可读存储介质
CN101960795B (zh) 用于递送扩充消息的系统和方法
CN107172590B (zh) 基于移动终端的活动状态信息处理方法、装置及移动终端
CN110088833A (zh) 语音识别方法和装置
CN107391603A (zh) 用于移动终端的用户画像建立方法及装置
JP2019207720A (ja) 情報処理装置、情報処理方法及びプログラム
US8577962B2 (en) Server apparatus, client apparatus, content recommendation method, and program
CN103455472B (zh) 信息处理设备和信息处理方法
US8943420B2 (en) Augmenting a field of view
CN104272709B (zh) 确定推断的上下文的方法和装置
CN103765440B (zh) 使用背景信息的移动装置上的光学字符辨识
CN109964271A (zh) 用于提供对用户的语音输入的响应消息的设备和方法
CA2975002A1 (en) Methods and systems for providing information for an on-demand service
CN107241697A (zh) 用于移动终端的用户行为确定方法、装置及移动终端
CN110008300A (zh) Poi别名的确定方法、装置、计算机设备和存储介质
JP2012003494A (ja) 情報処理装置、情報処理方法及びプログラム
CN104823433B (zh) 在语义上融合上下文推断
CN109376268A (zh) 视频分类方法、装置、电子设备及计算机可读存储介质
CN111798260A (zh) 用户行为预测模型构建方法、装置、存储介质及电子设备
CN108062416B (zh) 用于在地图上生成标签的方法和装置
CN115456266A (zh) 行程规划方法、装置、设备及存储介质
da Penha Natal et al. Efficient out-of-home activity recognition by complementing GPS data with semantic information
CN107368850A (zh) 基于移动终端的用户活动状态切换方法、装置及移动终端
Ntalianis et al. Feelings’ Rating and Detection of Similar Locations, Based on Volunteered Crowdsensing and Crowdsourcing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180413

Termination date: 20190909

CF01 Termination of patent right due to non-payment of annual fee