CN102893589B - 用于提供上下文感知和融合的方法和装置 - Google Patents

用于提供上下文感知和融合的方法和装置 Download PDF

Info

Publication number
CN102893589B
CN102893589B CN201080066754.7A CN201080066754A CN102893589B CN 102893589 B CN102893589 B CN 102893589B CN 201080066754 A CN201080066754 A CN 201080066754A CN 102893589 B CN102893589 B CN 102893589B
Authority
CN
China
Prior art keywords
data
context
context fusion
fusion
physical sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080066754.7A
Other languages
English (en)
Other versions
CN102893589A (zh
Inventor
R·安迪亚潘
A·埃罗宁
J·A·莱佩宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102893589A publication Critical patent/CN102893589A/zh
Application granted granted Critical
Publication of CN102893589B publication Critical patent/CN102893589B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

一种用于提供上下文感知与融合的方法，可包括接收从一个或多个物理传感器提取的物理传感器数据，接收从一个或多个虚拟传感器提取的虚拟传感器数据，以及在操作系统级别执行物理传感器数据和虚拟传感器数据的上下文融合。还提供了相应的计算机程序产品和装置。

Description

用于提供上下文感知和融合的方法和装置
技术领域
一般地，各种实现方式涉及电子通信设备技术，并且更具体地，涉及用于提供上下文感知（context sensing）和融合（fusion）的方法和装置。
背景技术
现代通信时代带来了有关有线和无线网络巨大扩张。计算机网络、电视网络、和电话网络正在经历由客户需求所激起的空前技术扩张。无线和移动网络技术已经解决了相关的客户需求，且提供了信息传递的更多灵活性和及时性。
通过扩展移动电子设备的能力，当前和未来的网络技术持续促进信息传递的便利和用户的舒适性。其中的一个领域是对于增加涉及向移动终端用户的递送服务的信息传递的便利性的需求。服务可以按照用户所期望的特定媒体或移动应用的形式，例如音乐播放器、游戏玩家、电子书、短消息、电子邮件、内容共享、网页浏览等。服务还可以按照交互式应用的形式，其中用户可对网络设备进行响应从而执行任务或实现目标。可选择地，网络设备可对用户发出的命令或请求（例如，内容搜索、映射或路由服务等）进行响应。可从网络服务器或其他网络设备提供服务，或甚至由移动终端提供服务，所述移动终端例如，移动电话、移动导航系统、移动计算机、移动电视、移动游戏系统等。
通常可通过调整服务以适应移动终端的特定状况或位置来增强向移动终端用户提供各种服务的能力。因此，各种传感器被集成到在移动终端中。典型地，每个传感器收集与移动终端上下文的特定方面相关的信息，例如位置、速度、方向、等。然后，可使用来自多个传感器的信息以确定设备上下文，这些上下文可以影响提供给用户的服务。
尽管具有向移动终端添加传感器的效用，但仍然可能存在一些缺陷。例如，融合来自所有传感器的数据会耗尽移动终端的资源。因此，需要改进传感器的集成方式。
发明内容
因此，提供一种方法，装置和计算机程序产品，以允许对上下文感知和融合的供应。因此，例如，可以按照更有效的方式将传感器数据融合在一起。在一些实施例中，传感器集成可进一步包括物理和虚拟传感器数据的融合。此外，在一些实施方式中，可在操作系统级别完成融合。在示例实施方式中，可经由协处理器来完成融合，所述协处理器专用于对物理传感器数据的融合进行预处理，使得于是可以更为有效地将预处理的物理传感器数据和虚拟传感器数据融合。
在一个示例实施方式中，提供一种提供上下文感知和融合的方法。该方法包括接收从一个或多个物理传感器提取的物理传感器数据，接收从一个或多个虚拟传感器提取的虚拟传感器数据，以及在操作系统级别执行物理传感器数据和虚拟传感器数据的上下文融合。
在另一示例实施方式中，提供一种用于提供上下文感知和融合的计算机程序产品。该计算机程序产品包括至少一个计算机可读存储介质，所述计算机可读存储介质具有在其上存储的计算机可执行程序代码指令。该计算机可执行程序代码指令可包括用于以下内容的程序代码指令：接收从一个或多个物理传感器提取的物理传感器数据，接收从一个或多个虚拟传感器提取的虚拟传感器数据，以及在操作系统级别执行物理传感器数据和虚拟传感器数据的上下文融合。
在另一个示例实施方式中，提供一种用于提供上下文感知和融合的装置。所述装置可以包括至少一个处理器和至少一个包括计算机程序代码的存储器。所述至少一个存储器和计算机程序代码可以被配置为，利用所述至少一个处理器促使所述装置至少执行：接收从一个或多个物理传感器提取的物理传感器数据，接收从一个或多个虚拟传感器提取的虚拟传感器数据，以及在操作系统级别执行物理传感器数据和虚拟传感器数据的上下文融合。
附图说明
因此按上述的概括性用语描述了各种实施方式，现在将参照附图，其中附图的绘制无需按比例进行，并且其中：
图1是可以使用示例实施方式的移动终端的示意性框图；
图2是根据示例实施方式的无线通信系统的示意性框图；
图3示出了根据示例实施方式的用于提供上下文感知和融合的装置的框图；
图4示出了由示例实施方式提供的分布式感知过程的概念性框图；
图5示出了根据示例实施方式的用于提供上下文感知和融合的实施架构；
图6示出了根据示例实施方式的用于提供上下文感知和融合的替代实施架构；
图7示出了根据示例实施方式的基于音频和加速度计信息的设备环境和用户活动感知的实例；
图8示出了根据示例实施方式的用于传感器处理器的示例微控制器架构；以及
图9是根据示例实施方式的用于提供上下文感知和融合的依据另一示例方法的流程图。
具体实施方式
现在，将参照附图在后面更加全面地描述一些实施方式，其中示出了一些但非全部实施方式。实际上，各种实施方式可以在多种不同的形式中实现，并且不应被解释成限于在此陈述的实施方式；而是提供这些实施方式使得本公开内容将满足适用的法律要求。通篇中，相同的参考数字指代相同的元件。根据实施方式，可以互换地使用此处使用的术语“数据”、“内容”、“信息”和类似术语，以指代能够被传送、接收和/或存储的数据。因此，所使用的任何此类术语并非用于限定各种实施方式的精神和范围。
此外，如这里所使用的，术语‘电路’指代（a）仅硬件的电路实现方式（例如在模拟电路和/或数字电路中的实现方式）；（b）电路和计算机程序产品的组合，该计算机程序产品包括存储于一个或者多个计算机可读存储器上的软件和/或固件指令，这些指令一起工作以使装置执行这里描述的一个或者多个功能；以及（c）电路（例如微处理器或者微处理器的一部分），即使软件或者固件在物理上不存在，这些电路仍然需要用于操作的软件或者固件。将‘电路’的这种定义应用于这里对这一术语的所有使用（包括在任何权利要求中）。如进一步实例，如这里所用的，术语‘电路’也包括一种实现方式，所述实现方式包括一个或者多个处理器和/或处理器的一部分以及附带软件和/或固件。如另一实例，如这里所用的，术语‘电路’也例如包括用于移动电话的基带集成电路或者应用处理器集成电路或者在服务器、蜂窝网络设备、其他网络设备和/或其他计算设备中的类似集成电路。
如这里定义的“计算机可读存储介质”，指代非暂时性物理存储介质（例如，易失性或非易失性存储器设备），其可以区别于“计算机可读传输介质”，其指的是电磁信号。
一些实施方式可用于更为有效地执行传感器集成（integration）。由于常规的手持设备（例如，移动终端）的板载传感器通常经由I2C/SPI（内部集成电路/串行外设接口）接口与设备的主处理器相连接，典型地，在软件驱动器层中执行来自传感器的事件的检测和原始数据的预处理。因此举例来说，使用主处理器在操作系统基础层中的低级别驱动器处通常发生用于物理传感器的数据融合。因此，典型地以主处理器为代价来执行预处理和事件检测。然而，实施方式可提供改进传感器融合的机制。例如，实施方式可以允许在操作系统级别使用物理和虚拟传感器数据这两者来进行上下文融合。此外，在一些情况中，传感器协处理器可以用于对物理传感器数据进行融合。一些实施方式还提供用于按分布式方式执行上下文感知的机制。就这一点来说，例如，基于来自物理和虚拟传感器的输入，可确定（或感知）上下文信息。在从物理和/或虚拟传感器提取了传感器数据（其可以定义或表明上下文信息）之后，可以在同质（例如，从物理传感器和操作系统虚拟传感器导出融合上下文并且输出是经融合的上下文）或异质（例如，输入是来自低层和虚拟传感器数据的上下文信息的组合）上完成融合。因此，根据示例实施方式的在任何特定操作系统层进行融合的数据可以是与其他传感器数据进行融合的传感器数据（物理的和/或虚拟的），或者是与来自低层的上下文信息（其本身包括与其他传感器数据进行融合的传感器数据和/或来自低层的上下文信息）进行融合的传感器数据。
图1是一个示例性实施方式，示出可从各种实施方式获益的移动终端10的框图。然而，应当理解的是，这里所示和下文中所述的移动终端10仅是可以从各种实施方式获益的一种设备类型的示例，并且因此不应用来限制实施方式的范围。这样的话，多种类型的移动终端（例如便携式数字助理（PDA）、移动电话、寻呼机、移动电视、游戏设备、膝上型计算机、照相机、摄像机、音频/视频播放器、收音机、定位设备（例如，全球定位系统（GPS）设备）、或上述的任意组合、和其他类型的语音和文本通信系统可容易地采用各种实施方式。
移动终端10可以包括与发射器14和接收器16可操作地通信的天线12（或多天线）。移动终端10可以进一步包括分别提供信号给发射器14和接收器16以及从发射器14和接收器16接收信号的装置，例如控制器20或其他处理设备。信号包括符合适用的蜂窝系统空中接口标准的信令信息，以及还包括用户语音、接收的数据和/或用户生成的数据。关于这一点，移动终端10能够按照一个或多个空中接口标准、通信协议、调制类型和接入类型进行操作。通过说明的方式，移动终端10能够按照多个第一、第二、第三和/或第四代通信协议等中的任何协议进行操作。例如，移动终端10可以能够根据第二代（2G）无线通信协议IS-136（时分多址（TDMA））、GSM（全球移动通信系统）、和IS-95（码分多址（CDMA）），或根据第三代（3G）无线通信协议，如通用移动电信系统（UMTS）、CDMA2000、宽带CDMA（WCDMA）和时分-同步CDMA（TD-SCDMA），和3.9G无线通信协议，例如E-UTRAN，以及第四代（4G）无线通信协议等进行操作。可替换的（或附加的），移动终端10可以能够按照非蜂窝通信机制进行操作。例如，移动终端10可以能够在无线局域网（WLAN）或下面结合图2介绍的其他通信网络中进行通信。
在一些实施方式中，控制器20可包括期望用于实现移动终端10的音频和逻辑功能的电路。例如，控制器20可以包括数字信号处理器设备、微处理器设备、以及各种模数转换器、数模转换器、和其他支撑电路。可以在这些设备之间根据它们各自的能力来分配移动终端10的控制和信号处理功能。控制器20因此还可以包括在调制和传输之前对消息和数据卷积编码和交织的功能。控制器20可以附加的包括内部声音编码器，以及可以包括内部数据调制解调器。此外，控制器20可以包括操作可存储在存储器中一个或多个软件程序的功能。例如，控制器20可以能够操作诸如常规Web浏览器连通性（connectivity）程序。连通性程序然后可以允许移动终端10根据例如无线应用协议（WAP）、超文本传输协议（HTTP）和/或类似物来传送和接收Web内容，例如基于位置的内容和/或其它Web页面内容。
移动终端10还可以包括用户接口，用户接口包括诸如常规耳机或扬声器24、振铃器（ringer）22、麦克风26、显示器28的输出设备，以及用户输入接口，它们所有都可耦合到控制器20。允许移动终端10接收数据的用户输入接口可以包括允许移动终端10接收数据的多种设备中的任何一个，诸如键盘30、触摸显示器（未示出）或其它输入设备。在包括键盘30的实施方式中，键盘30可以包括常规数字（0-9）和相关键（#，*），以及用于操作移动终端10的其它硬键和软键。可选地，键盘30可以包括常规的QWERTY键盘布置。键盘30还可以包括具有相关联的功能的各种软键。此外或者可选地，移动终端10可以包括接口设备，诸如操纵杆或者其它用户输入接口。移动终端10进一步包括电池34（诸如振动电池组），以便向用于操作移动终端10所需要的各种电路供电，以及可选地提供机械振动作为可检测的输出。
此外，移动终端10可包括一个或多个物理传感器36。物理传感器36可以是能够感知或确定特定物理参数的设备，所述特定物理参数描述移动终端10的当前上下文。例如，在一些情况中，物理传感器36可包括各自不同的发送设备，以用于确定移动终端的环境相关参数，例如速度、加速度、航向、方向、相对于起点的惯性位置、与其他设备或物体的接近程度、光线条件和/或其他类似的参数。
在示例实施方式中，移动终端10可进一步包括协处理器37。协处理器37可被配置为与控制器20一起工作以处理移动终端10的特定处理任务。在示例实施方式中，协处理器37可以被具体地赋予处理（或辅助）用于移动终端10的上下文提取和融合能力的工作，从而例如与物理传感器36向连接或控制物理传感器36和/或管理上下文信息的提取和融合。
移动终端10可进一步包括用户身份模块（UIM）38。典型地，UIM 38是具有内建处理器的存储器设备。UIM 38可以包括，例如，用户身份模块（SIM）、通用集成电路卡（UICC）、通用用户身份模块（USIM）、可移动用户身份模块（R-UIM）等。UIM 38典型地存储了涉及移动订户的信息元素。除了UIM 38，移动终端10还可装备存储器。例如，移动终端10可包括易失性存储器40，例如易失性随机存取存储器（RAM），其包括用于数据的临时存储的缓冲区域。移动终端10还可包括其他非易失性存储器42，其可以是嵌入式的和/或可拆卸的。存储器可以存储由移动终端10使用的以便实现移动终端10的功能的多条信息和数据中的任何信息和数据。例如，存储器可包括标识符，例如国际移动设备识别（IMEI）码，其能够唯一地识别移动终端10。
图2是根据示例实施方式的无线通信系统的示意性框图。现在参考图2，提供对可以受益于各种实施方式的一种类型的系统的说明。如图2所示，根据示例实施方式的系统包括通信设备（例如，移动终端10），并且在一些情况中，还包括附加的通信设备，所述附加的通信设备的每一个都能够与网络50进行通信。系统的通信设备能够经由网络50与网络设备进行通信或者经由网络50彼此进行通信。
在示例实施方式中，网络50包括各种不同节点、设备或功能的集合，所述节点、设备或功能能够经由相应的有线和/或无线接口彼此进行通信。因此，图2的说明应当被理解为系统的特定元件的开阔视图的实例，并且不是系统或网络50的无所不包的视图或详细视图。尽管这并非必要，在一些实施方式中，网络50能够支持符合多个第一代（1G）、第二代（2G）、2.5G、第三代（3G）、3.5G、3.9G、第四代（4G）移动通信协议、长期演进（LTE）和/或其他类似通信协议中的任意一个或多个的通信。
诸如移动终端10和其他通信设备的一个或多个通信终端能够经由网络50来进行彼此通信，并且每个都可包括用于发射信号和从基础站点接收信号的天线或多个天线，该基础站点可以是例如作为一个或多个蜂窝或移动网络的一部分的基站或者是可能与数据网络相耦合的接入点，该数据网络例如是局域网（LAN），城域网（MAN），和/或广域网（WAN），例如因特网。相应地，诸如处理设备或元件（例如，个人计算机、服务器计算机等）的其他设备可以经由网络50耦接于移动终端10。通过直接或间接地将移动终端10和其他设备连接到网络50，移动终端10和其他设备能够例如根据议包括超文本传输协议（HTTP）等的多种通信协议与网络进行通信和/或彼此进行通信，从而分别执行移动终端10和其他通信设备的各种通信或其他功能。
此外，尽管在图2中未示出，移动终端10可以根据例如射频（RF）、蓝牙（BT）、红外线（IR）或多个不同的有线或无线通信技术中的任一个进行通信，这些通信技术包括LAN、无线LAN（WLAN）、全球微波互联接入（WiMAX）、WiFi、超宽带（UWB）、Wibree技术和/或其他类似的技术。因此，移动终端10能够通过多种不同的接入机制中的任一中与网络50和其他通信设备进行通信。例如，可以支持诸如宽带码分多址（W-CDMA）、CDMA2000、全球移动通信系统（GSM）、通用分组无线业务（GPRS）等移动接入机制，以及诸如WLAN、WiMAX等无线接入机制，以及诸如数字用户线（DSL）、线缆调制解调器、以太网等的固定接入机制。
图3示出了可在移动终端10处使用以容纳或者促进示例实施方式的操作的装置的框图。现在将通过参考图3来介绍示例实施方式，其中呈现用于提供上下文感知和融合的装置的特定元件。例如，可以在移动终端10上使用图3的装置。然而，该装置可替代地在各种类型的其他设备上实现，移动的和固定的（例如，上面列出的设备中的任意一个）。此外，应当注意的是，下面介绍设备或元件并非强制性的，并且因此在某些实施方式可以省略一些设备或元件。
现在参照图3，提供了用于提供上下文感知和融合的装置。该装置可包括处理器70、用户接口72、通信接口74和存储器设备76，或者可以与处理器70、用户接口72、通信接口74和存储器设备76进行通信。该存储器设备76包括，例如，一个或多个易失性和/或非易失性存储器。换句话说，例如，存储设备76可以是包括门的电子存储设备（例如计算机可读存储介质），其中门被配置为存储可由机器（例如计算设备）获取的数据（例如比特）。存储设备76可被配置为存储信息，数据，应用，指令或类似物，使得装置能够根据示例实施方式执行多种功能。例如，存储设备76可以被配置为缓存处理器70所要处理的输入数据。附加的或可替换的，存储设备76可以被配置为存储处理器70执行的指令。
处理器70可以按多种不同的方式体现。例如，处理器70可以体现为各种处理器件中的一个或多个，例如微处理器，控制器，数字信号处理器（DSP），具有或者没有辅助DSP的处理设备，或包括集成电路的各种其他处理设备，所述集成电路例如是ASIC（特定应用集成电路），FPGA（现场可编程门阵列），微控制单元（MCU），硬件加速器，特定用途计算机芯片，处理电路等。在示例实施方式中，处理器70可以被配置为执行存储在存储设备76中的指令或处理器70可访问的其他指令。可替换的或附加的，处理器70可以被配置为执行硬代码功能。同样的，无论是由硬件或软件方法，或其组合来配置，处理器70可以代表当被相应地配置时就能实现根据实施方式的操作的实体（例如在电路中物理地体现的）。因此，例如，当处理器70体现为ASIC，FPGA等时，处理器70可以被具体地配置为执行这里介绍的操作的硬件。可替换地，在其他实例中，当处理器70体现为软件指令的执行器时，该指令可具体地配置所述处理器70，使得处理器70在指令执行时能够执行这里所述的算法和/或操作。然而，在一些情况下，处理器70可以是特定设备的处理器（例如移动终端10或其它通信设备），适于通过执行此处介绍的算法和/或操作的指令的处理器70的进一步配置来使用各种实施方式。处理器70可以包括尤其是被配置为支持处理器70的操作的时钟，算术逻辑单元（ALU）和逻辑门。
同时，通信接口74可以是任何器件，例如体现为硬件，软件或硬件和软件的组合的电路或设备，电路或设备被配置为网络和/或任何其他与装置通信的设备或模块接收数据，和/或将数据传输到网络和/或任何其他与装置通信的设备或模块。这样，通信接口74可以包括，例如，天线（或多天线）并支持用于实现与无线通信网络通信的硬件和/或软件。在一些情况下，通信接口74还可以支持或替换地支持有线通信。同样的，通信接口74例如可以包括通信调制解调器和/或用于通过线缆，数字订户线缆（DSL），通用串行总线（USB）或其他机制支持通信的其他硬件/软件。
用户接口72可以与处理器70通信来接收用户在用户接口72输入的指示和/或提供听觉的，视觉的，机械的或其他输出给用户。同样的，用户接口72可以包括，例如，键盘，鼠标，游戏手柄，显示器，触摸屏，软键盘，麦克风，扬声器或其他输入/输出结构。在装置体现为服务器或一些其他网络设备的示例实施方式中，用户接口72可以被限制或省去。然而，在装置体现为通信设备（例如，移动终端10）的实施方式中，除了其他设备或元件之外，用户接口72可以包括扬声器、麦克风、显示器和键盘等中的任何一种或全部。这样，处理器70可以例如包括被配置为控制用户接口的一个或多个元件的至少一些功能的用户接口电路，用户接口例如是，扬声器，振铃器，麦克风，显示器和/或类似物。处理器70和/或包括处理器70的用户接口电路可以被配置为通过存储在处理器70可访问的存储器（例如存储设备76和/或类似物）上的计算机程序指令（例如软件和/或固件）来控制用户接口的一个或多个元件的一个或多个功能。
在示例实施方式中，装置可进一步包括传感器处理器78。传感器处理器78可以具有与处理器70的结构相似的结构（尽管也许语义和规模上有差异）并且此外可以具有类似的能力。然而，根据示例性实施方式，传感器处理器78可被配置为与一个或多个物理传感器（例如物理传感器1、物理传感器2、物理传感器3、…、物理传感器n，其中n是等于物理传感器的数量的整数）连接，所述物理传感器例如加速度计、磁力仪、接近传感器（proximity sensor）、环境光线传感器、和/或多个其他可能传感器中的任一个。在一些实施方式中，传感器处理器78可以访问存储器设备76的一部分或者访问一些其他存储器，以执行存储在其上的指令。因此，例如，传感器存储器78可被配置为经由传感器专用的固件与物理传感器连接，所述传感器专用的固件被配置为使传感器处理器78能够与每个相应的物理传感器进行通信。在一些实施方式中，传感器处理器78可被配置为从物理传感器（在一些情况中，也许将这种信息存储缓存中）提取信息，执行用于物理传感器的管理功能和传感器控制，以及执行传感器数据的预处理。在示例实施方式中，传感器处理器78还可以被配置为执行与所提取的物理传感器数据相关的传感器数据融合。然后，将经融合的物理传感器数据传送到处理器70以用于进一步处理（例如，以融合管理器80的形式，将在下面对其进行更为详细地描述）。在一些实施方式中，传感器处理器78可包括主机接口功能，用于管理处理器70和传感器处理器78之间的位于传感器处理器78末端的接口。因此，传感器处理器78能够向处理器70提供来自物理传感器的数据、与物理传感器有关的状态信息、控制信息、查询和上下文信息。
在示例实施方式中，处理器70可以体现为包括或控制融合管理器80。这样的话，在一些实施方式中，处理器70可以说促使、指示或控制归因于此处介绍的融合管理器80的各种功能的执行或出现。融合管理器80可以是根据软件、或体现为硬件或软件和硬件的组合（例如在软件控制下操作的处理器70，或体现为ASIC或FPGA的被配置为执行这里所述的操作的处理器70，或其组合）进行操作的诸如设备或电路的任意部件，由此配置所述设备或电路以执行下面所述的地缘融合管理器80的相应功能。因此，在使用软件的实施例中，执行软件的设备或电路（例如，在一个实施例中为处理器70）形成了与该部件相关联的结构。
融合管理器80可被配置为与传感器处理器78（在使用传感器处理器78的实施方式中）进行通信，以接收预处理的物理传感器数据和/或经融合的物理传感器数据。在不使用传感器处理器78的实施方式中，融合管理器80可进一步被配置为对物理传感器数据进行预处理和/或融合。在示例实施方式中，融合管理器80可被配置为连接一个或多个虚拟传感器（例如，虚拟传感器1、虚拟传感器2、…、虚拟传感器m，其中m是等于虚拟传感器的数量的整数），从而将物理传感器数据与虚拟传感器数据进行融合。虚拟传感器可包括不测量物理参数的传感器。因此，例如，虚拟传感器可监测这种虚拟参数，例如RF活动、时间、日历事件、设备状态信息、活动的简档（active profile）、闹钟、电池状态、应用数据、来自网络服务的数据、基于定时（例如，GPS定位）或其他非物理参数（例如，小区ID）测量的特定位置信息，和/或其他类似参数。虚拟传感器可实现为硬件或硬件和软件的组合，其被配置为确定与每个相应的虚拟传感器相关联相应的非物理参数数据。在一些实施方式中，可以将虚拟传感器数据与物理传感器数据的融合分类到不同的级别。例如，上下文融合可发生在特征级别，其可以在基础层、在决定层完成，这些层可对应于中间件，或者在独立应用中，其可对应于应用层。融合管理器80可以被配置为在上述层中的多个层和组合中，对上下文融合进行管理（例如，与上下文信息相关的虚拟和物理的传感器数据的融合）。
因此，根据一些示例实施方式，上下文数据提取和对提取的上下文数据的融合可通过不同的实体、处理器或按分布式方式或以分层/线性方式的处理器来执行。因此，一组物理传感器可与传感器处理器78通过接口连接，该传感器处理器78被配置为管理物理传感器、预处理物理传感器数据和提取上下文数据的第一级别。在一些实施方式中，传感器处理器78可以在物理传感器数据上执行数据级别的上下文融合。传感器处理器78可以被配置为使用来自其他子系统的上下文和预处理数据并执行上下文融合，所述其他子系统可以具有一些类型的物理数据源（例如，调制解调器、RF模块、AV模块、GPS子系统等）。在一些实施方式中，可以执行上下文融合的第二级别，并且也许还有随后的级别，从而利用处理器70（例如，经由融合管理器80）将物理传感器数据与虚拟传感器数据相融合。这样的话，融合管理器80可在装置的操作系统层中将虚拟传感器数据和物理传感器数据进行融合。
由于处理器70本身是运行操作系统的处理器，在处理器70（例如，按照融合管理器80的形式）中运行的虚拟上下文融合过程可以访问来自传感器处理器78的上下文和物理传感器数据。处理器70还可以访问具有物理数据源和虚拟传感器的其他子系统。因此，可提供分层或分布式的上下文感知过程。
图4示出了示例实施方式所提供的分布式感知过程的概念性框图。如图4所示，在处理器70的操作系统的不同层中运行的每个上下文融合过程可以为上下文添加更多的信息并且增加上下文信任指数（confidenceindex）。因此，通过增加上下文信任指数，可以最终生成更加可靠的上下文信息以结合向用户提供服务来使用。就这一点而言，例如，传感器处理器78可以关于物理传感器数据执行上下文感知和融合，在硬件层上下文融合的第一级别中接收所述物理传感器数据。然后，通过在对应于基础层的特征级别将物理传感器数据与一些虚拟传感器数据相融合，可以在处理器70（例如，经由融合管理器80）发生上下文融合的第二级别。然后，通过将特征级别处融合的上下文数据与附加的虚拟传感器数据相融合，可在处理器处发生上下文融合的第三级别。上下文融合的第三级别可发生在决策层并被添加到上下文信任指数。因此，当在应用层向独立应用提供上下文信息时，可以在独立应用所使用的上下文数据中放置更高的信任。应当理解到，图4的实施例可以被扩展到任意数量的操作系统层。因此，在一些示例实施方式中，上下文融合过程可以运行在任何操作系统层中，使得多个上下文融合过程不限于图4中所示的三种。
还应当了解的是，独立应用还可以执行其他的（例如第四级别）的上下文感知和融合。此外，如图4中所示的，独立应用可以访问第2级别和第3级别上下文信息。因此，独立应用能够执行涉及来自多个在前级别的上下文信息的上下文融合，或者甚至在一些实施方式中，选择性地合并来自在前级别的特定需求级别的上下文信息。
图5和6示例了根据各种不同且非限制实例的不同的实施架构。因此，应当理解的是，在各个不同的示例实施方式中，所使用的实施架构可以是不同的。例如，不将音频数据与传感器处理器78相连接（在图4中凭借被提供作为传感器处理器78的输入的麦克风来示出），音频数据可替代地直接与处理器70连接，如图5所示。就这一点来说，在图5中，麦克风都和所有的物理传感器与传感器处理器78连接。然后，可在传感器处理器78中执行第1级别或数据级别的上下文提取和融合，并且作为结果的上下文数据可以被传送给处理器70（例如，当被请求时或当发生事件改变时）。对应于Context1（上下文1）的数据因此可被定义为一组经融合的上下文数据，其中从一组由物理传感器感知的上下文数据来导出所述一组经融合的上下文数据。随后，在基础层中可能发生第2级别的上下文融合（例如，特征级别融合），其包括在第1级别上下文融合期间生成的基础上下文和来自一个或多个虚拟传感器的虚拟传感器数据，以创建具有时间戳的更为可靠的上下文信息。因此，可从Context1和虚拟传感器数据或与来自基于音频的上下文感知的上下文信息相融合的上下文的融合来形成Context2（上下文2）。然后，中间件能够利用与虚拟传感器数据可能不同的附加虚拟传感器数据执行第3级别上下文融合，该虚拟传感器数据包含在用于第2级别上下文融合的基础层所使用的上下文融合中。这样一来，可从Context2与虚拟传感器数据或上下文信息的融合来形成Context3（上下文3）。因此，图4与图5的不同在于，图5的示例实施方式通过处理器70执行基于音频的上下文提取，且图4示例实施方式通过传感器处理器78执行基于音频的上下文提取。这样一来，音频上下文数据的融合可能发生在基础层而不是发生在硬件层（如图4中的情况）。
图6示例了不包括传感器处理器78的另一示例实施方式。在图6的实施方式中，所有的传感器（虚拟的和物理的）都连接到处理器70，并且且处理器70可在数据级别上执行第1级别融合，并且可以包括与音频上下文数据的融合。因此，对应于Context1的数据由此可被定义为一组经融合的上下文数据，其中从物理传感器所感知的一组上下文数据导出所述一组经融合的上下文数据，并且所述一组经融合的上下文数据还与音频上下文数据进行融合。可以在操作系统基础层中执行第2级别上下文提取和融合以对第1级别上下文数据（例如，Context1）和虚拟传感器数据进行融合，从而提供第2级别上下文数据（例如，Context2）。第三级别上下文处理运行于中间件之上以基于第二级别上下文数据与附加虚拟传感器数据的融合来产生第三级别上下文数据（例如，Context2）。基于第2级别上下文数据与附加虚拟传感器数据的融合，可以在中间件中运行第3级别上下文过程以产生第3级别上下文数据（例如，Context3）。如上所述，在一些情况中，独立应用可以执行第四级别的上下文融合，这是因为独立应用可以访问第2和第3级别上下文信息。此外，独立应用还可以与网络50（或web服务或一起其他网络设备）进行通信，以执行应用级别上下文融合。
可以理解的是，图4的实施方式可以导致处理器70的更低的负载，这是因为由传感器处理器78来提取所有物理传感器数据，由传感器处理器78完成对这种数据的预处理和融合，以及由传感器处理器78。因此，举例来说，传感器预处理、上下文提取、传感器管理、手势/事件检测、传感器振动/补偿以及第1级别上下文融合都在专用的低功率设备中执行，所述专用的低功率设备即传感器处理器78，其可实现持续的且自适应的上下文感知。
现在将参照图7，出于解释且不是限制的目的来介绍具体的实施例。图7示例了根据示例实施方式的基于音频和加速度计信息的设备环境和用户活动感知的实施例。然而，可替代地使用许多其他的设备环境。
如图7中所示的，可利用各种方法中的任意方法来实现音频上下文提取。在下面介绍的一个实施例中，示例了传感器处理器78可使用的一系列可能的处理操作，利用模数转换器可以对麦克风所捕获的声学信号进行数字化。可以代表数字音频信号（例如，8kHz的采样速率和16位的分辨率）。然后，可从音频信号中提取特征（例如，通过利用30ms的帧尺寸对音频信号帧进行提取和开窗（windowing），对应于8kHZ采样速率下的240个采样）。在一些情况中，相邻帧可能重叠，或者在其他情况中，可能完全没有重叠并且相邻帧之间反而还有间隙。在一个实施例中，移码（frameshift）可以是50ms。可以使用汉明窗（hamming window）对帧进行开窗，并且一些实施例中，可以是零填充。在零填充之后，帧长度可为256。可对信号帧进行快速傅里叶变换（FFT），并且可以计算其幅度的平方。在本实施例中，作为结果的特征向量表示了信号中各种频率分量的功率。可以完成对该向量的进一步处理，以使得表示更为简洁且更适合音频环境识别。在一个实施例中，计算Mel频率倒谱系数（MFCC，Mel FrequencyCepstrum Coefficient）。MFCC分析包括将光谱功率值（spectral powervalue）放入为均匀分布在Mel频率范围上的多个频率带宽中。在一个实施例中，可使用40个带宽。可获得带宽能量的对数，并且可以将对数的带宽能量进行离散余弦变换（DCT）计算，从而获得不相关的特征向量表示。该特征向量的维度例如可以是13。此外，一阶和二阶时间导数可能与倒谱系数轨迹相近似，并且被附加到特征向量。作为结果的特征向量的维度可以是39。
同时，传感器处理器78还可执行加速度计信号的特征提取。可以对原始加速度计信号进过采样（例如，100Hz的采样速率），并且加速度计信号可表示三个正交方向x、y、z中的加速度。在一个实施方式中，通过采用三维加速度的幅度来开始特征提取，从而得到一维信号。在另一个示例实施方式中，对加速度计信号采取在向量上投影从而获取一维信号。在其他实施方式中，受特征提取影响的加速度计信号的维度可能大于1。举例来说，可以对三维加速度计信号进行这样的处理，或者可以使用包括原始三维加速度计信号的两个不同投影的二维加速度计信号。
特征提取可以，例如，包括对加速度计信号进行开窗、对开窗的信号进行离散傅里叶变换（DFT）、以及从DFT提取特征。在一个实例中，从DFT提取的特征包括例如，一个或多个光谱功率值、功率光谱质心、或频域的熵。除了基于DFT的特征，传感器处理器78可被配置为从时域加速度计信号提取特征。这些时域特征可以包括例如，平均值、标准差、过零率、75％的百分位范围、四分位距、和/或其他类似特征。
还可以对加速度计数据执行各种其他处理操作。一个实施例包括运行步进计数器以估计人的步数和步速。另一个实施例包括运行用于步长预测的算法，以用于行人航位推算。再一个实施例包括运行手势引擎，其检测一组手势，例如按特定方式移动手。还可以提取并处理与这些处理操作中的每一个相关的输入，以用于下面在一些情况中更为详细介绍的上下文融合。
在传感器处理器78对音频和加速度计特征数据进行提取之后，传感器处理器78可将相应的音频特征M和加速度计特征A传递给处理器，以用于涉及虚拟传感器数据的上下文融合。根据一个示例实施方式的基础层音频处理可包括将上面从传感器处理器78提取的MFCC特征向量传送给处理器70的基础层，从而产生一组用于音频上下文识别的概率值。在一些情况中，为了减少向处理器70传送的数据速率，处理器70可以读取原始音频数据，例如，使用运行于8000kHz采样速率和16比特分辨率音频采样的单信道音频输入，以对应于8000＊2=16000字节/秒的数据速率。当使用50毫秒的跳帧仅传送音频特征时，数据速率将变为大约1000/50＊39＊2=1560字节/秒（假设按16比特分辨率表示的特征）。
例如，可以通过在离线训练阶段中训练用于每个音频环境的一组模型、在基础层中存储所训练的模型的参数、以及然后在在线测试阶段，利用在基础层中运行的软件，估计每个模型生成输入特征序列的似然，来实现音频上下文识别。如一个实施例，可使用高斯混合模型（GMM）。可以使用一组标记的音频数据和最大期望（EM）算法在离线训练阶段对包括分量权重、平均值和协方差矩阵的GMM参数进行训练。基础层中的音频上下文识别过程可以接收作为输入的MFCC特征向量序列，并评估具有生成的特征的每个上下文GMM的似然。可将用于环境组Ei，i=2，…，N，的似然p(M|Ei)进一步传送给中间件，其中M是MFCC特征向量的序列，并且N是在系统中训练的环境的数目。
在一些可选的实例中，可以在基础层中使用特征级别融合的形式。举例来说，可将由另外的传感器产生特征（例如，加速度计或照度传感器）附加到MFCC特征，并且用于生成环境Ei的概率。
在一些实施方式中，传感器处理器78还可被配置为执行音频上下文识别或活动识别。例如，在音频上下文识别的实例中，可以使用具有量化参数的GMM，其能够利用查找操作按照计算效率方式来实施分类。这样做的示例好处是可以进一步减少要被传送给基础层的数据量。例如，传感器处理器可以按照固定间隔（例如，每3秒钟）来传送如环境的似然p(M|Ei)。
在一个示例实施方式中，在基础层对加速度计数据的处理包括：以固定时间间隔（例如，每1秒钟）从传感器处理器78接收特征向量。在接收到特征向量时，基础层可对加速度计特征向量执行分类。在一个实施方式中，可使用加速度计特征向量来执行活动分类。在一些实施例中，这可通过训练用于一组标记的加速度计数据的分类器（例如，k个最近的邻居）或任意其他分类器来实现，其中从所述标记的加速度计数据来提取特征。在一个实施方式中，分类器被训练为用于在跑步、步行、空闲/静止、公交/汽车、自行车、以及滑板等活动之间进行分类。活动分类器可以为活动组Yj产生概率P(A|Yj)，j=1，…，M。A可包括至少一个基于加速度计信号的特征向量。在k个最近邻居分类器的实例中，例如，可以将活动Yj的概率计算为来自最近邻居组（例如，5个最近邻居）之间的分类Yj的采样比例。在其他的实施方式中，可以应用各种其他的分类器，诸如朴素贝叶斯 高斯混合模型、支持向量机、神经网络等。
在中间件上执行的软件可从基础层接收各种假设，并可以执行决策级别融合以给出上下文的最终估计。在一个实施方式中，中间件接收基于音频特征的环境似然p(M|Ei)，基于加速度计数据的活动的概率P(A|Yj)，并且形成最为相似的环境和活动配对的最终假设，该配对给出了感知的假设和一个或多个虚拟传感器。在一些实施方式中，示例的虚拟传感器输入可以是时钟输入，使得在于可能的环境相关的确定中可以包括时间先验（timeprior）。时间先验可表示用于环境、活动、和/或两者结合的先验似然。对时间先验进行合并的方法可以是，例如，在诺基亚公司的2010年3月9日提交的发明名称为“用于自动上下文识别的自适应基于时间的先验”专利申请PCT/IB2010/051008中介绍的方法，上述申请的内容合并在此处以作为参考。
作为另一个实施例，可以讲先验信息合并到虚拟传感器形式的决策中。先验信息可以表示，例如不同活动和环境的常见的先验知识。更具体地，先验信息可以为环境Ei和活动Yj的每个组合输出概率P(Tj,Ei)。可通过一组标记的数据来离线地估计所述概率，其中一组用户1收集包括环境和活动配对的所述标记的数据。作为另一个实施例，可以在应用层从用户收集关于常见环境和活动的信息，并将其传送给中间件。作为另一个实施例，Pji=P(Yj,Ei)的值可以进行如下选择：
其中，环境Ei，i=1，…，9，是汽车/公公汽车、家、会议/讲座、办公室、户外、餐厅/酒吧、商店、街道/道路、以及火车/地铁。活动Yj，j=1，…，7，是空闲/静止、步行、跑步、火车/地铁/电车、汽车/公共汽车/摩托车、自行车、以及滑板。作为另一个实施例，不是这些概率，Pji的值可以是1或者0，仅仅表示哪一个环境-活动配对被允许。
在一个实施方式中，中间件可通过选择使公式P(Yj,Ei|M,A,t)=p(M|Ei)*P(A|Yj)*P(Yj,Ei|t)*P(Yj,Ei)最大的环境和活动组合来执行决策级别的数据融合，其中P(Yj,Ei|t)是来自时间先验的环境和活动组合的概率。可进一步将其传送给应用层。可以注意的是，还可以通过使项的对数和最大，即通过使log[p(M|Ei)]+log[P(A|Yj)]+log[P(Yj,Ei|t)]+log[P(Yj,Ei)]最大来完成使上述公式最大，其中log是，例如自然对数。
图8示例了根据示例实施方式的用于传感器处理器78的示例微处理器架构。如图8中所示，传感器处理器78可包括通信协议，其定义了与处理器70的接口。在一些情况中，通信协议可以是与处理器70连接的串行或传输协议100。传感器处理器78还可包括主机接口（例如，寄存器映射接口）110，其包括数据寄存器112（例如，接近度、光亮。特征向量等）、系统寄存器114（例如，传感器控制、传感器状态、上下文控制、上下文状态等），以及相应上下文116（例如，环境、活动、用户、方向、手势等）的列表。传感器处理器78还可包括管理模块120，用于处理事件管理和控制，以及融合核心130，用于处理传感器预处理、各种硬件加速信号处理操作、上下文感知和/或利用相应算法的传感器融合操作。这样一来，融合核心130可包括子模块，例如传感器融合模块、上下文感知模块、DSP等。管理模块120和融合核心130每个都可与传感器专用固件模块140和硬件接口150进行通信，其中通过硬件接口150传递与每个物理传感器的硬件的通信。
因此，一些示例实施方式可使用单一接口将传感器阵列和基带硬件进行连接。具有寄存器映射接口的高速I2C/SPI串行通信协议与基于INT（中断信号）的通信一起使用。此外，主机资源（例如，主处理器）可仅涉及到所需要的程度。因此，一些实施方式可提供相对简单和简洁的传感器内核驱动器。例如，实施方式可仅读取预处理传感器数据和事件，并且为更高的操作系统层提供传感器架构抽象。发生传感器硬件改变也无需对内核驱动器进行改变，并且在中间件和更高的操作系统层中可能感受到最小的架构影响。在一些实施方式中，传感器处理器可将预处理的数据传送给主机。这可通过数据速率的降低和主机引擎侧的减少的处理来描述，并且可在微控制器级别处执行传感器数据的单位转换、缩放以及预处理。可以在微控制器级别对传感器数据执行专业/复杂的DSP算法，以支持接近实时的传感器和事件处理。因此，可以更高的数据速率利用更快且更精确的响应来处理传感器数据。在一些实例中，主机响应时间还可以是更加可预测的。
在一些实施方式中，还可以在子系统级别中提供改进的能量管理。例如，可以在硬件级别中完成传感器功率管理，并且传感器控制和管理模块可以优化传感器开启/关闭时间从而提升性能且节省功率。持续的且自适应的上下文感知也是可能的。上下文感知、事件检测、手势确定算法等，可以使用较小的功率持续运行而不是运行在主机引擎侧。因此，节省功率的自适应感知是可行的。在一些实施方式中，事件/手势检测可以在微控制器级别上执行。在示例实施方式中，加速度计数据可用于执行倾斜补偿和指南针校准。因此，上下文提取和持续上下文感知在各种上下文中是可行的。例如，环境上下文（屋内/户外、家/办公室、街道/道路，等），用户上下文（活动/空闲、坐/步行/跑步/骑车/上下班等），以及终端上下文（活动/空闲、口袋/书桌、充电、安装、风景/肖像等）。因此，随着上下文传播到更上的操作系统层以及当完成了与虚拟传感器的进一步上下文融合时，上下文信任指数可以增加。因此，例如，尝试确定用户的当前上下文或环境，在一些实例中可以被用于增强能够提供给用户的服务，可以进行更准确的确定。作为具体实施例，可以提取物理传感器数据，其指示用户正在按特定的模式移动，以及还可以指示动作方向并且也许甚至是相对于起点的位置。然后，可将物理传感器数据与虚拟传感器数据（例如，当前时间以及用户日程）进行融合，以确定用户正在去往在相应位置处安排的特定会议。因此，通过执行传感器数据融合，可对用户的上下文做出相对准确的确定，其中根据示例实施方式可根据不会严重负载主处理器的方式来完成所述传感器数据融合。
除了在基带硬件子系统级别的上的下文提取，一些实施方式可进一步允许分布式上下文提取和融合。可以在专用低功率传感器处理器中执行关于物理传感器数据的持续上下文提取和融合的第一级别，，该处理器被配置为执行持续的传感器预处理、传感器管理、上下文提取和在适当时与主处理器进行通信。主处理器可作为主机来支持基础层、中间件和应用层，并且然后在用于提供更为健壮、精确和决定性的上下文信息的基础层、中间件和/或应用层，可将与来自传感器处理器的物理传感器相关的上下文信息与虚拟传感器数据（时钟、日程、设备事件、等）进行融合。在每个操作系统层，各种实施例可允许基于上下文做出决策以优化和递送改进的设备性能。利用具有基于设备上下文的直观且智能的用户接口，一些实施方式还可允许应用和业务使用上下文信息来提供积极的且基于上下文的服务。
图9是根据示例实施方式的方法和程序产品的流程图。应当理解的是，流程图中的每个块或步骤以及流程图中块的组合可以通过各种部件来实现，这些部件诸如是：硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他设备。例如，上述的一个或多个过程可由计算机程序指令来体现。在此方面，实现上述过程的计算机程序指令可由使用实施方式的装置的存储器设备来存储，并且由装置中的处理器来执行。应当理解的是，可将任何此类计算机程序指令加载至计算机或其他可编程装置（例如，硬件）以产生机器，从而作为结果的计算机或其他可编程装置实现流程图块中指定的功能。这些计算机程序指令还可存储于计算机可读存储器中，该计算机可读存储器可以引导计算机或其他可编程装置以特定方式运作，从而使该计算机可读存储器中存储的指令产生制品，所述制品的执行实现流程图块中指定的功能。还可将计算机程序指令加载至计算机或其他可编程装置上，以使得在该计算机或其他可编程装置上执行一系列操作，以产生计算机实现的过程，从而使得该计算机或其他可编程装置上执行的指令提供实现流程图块中指定的功能的操作。
因此，流程图的块支持用于执行特定功能的部件的组合、用于执行特定功能的操作的组合、以及用于执行特定功能的程序指令部件。还应当理解的是，流程图的一个或多个块，以及流程图中块的组合可通过执行指定功能或者专用目的硬件和计算机指令的组合的专用目的的基于硬件的计算机系统来实现。
就这一点来说，如图9中所示，根据一个实施方式的方法可包括在操作200处接收从一个或多个物理传感器提取的物理传感器数据。该方法可进一步包括：在步骤210处接收从一个或多个虚拟传感器提取的虚拟传感器数据，以及在步骤220处，在操作系统级别执行物理传感器数据和虚拟传感器数据的上下文融合。
在一些实施方式中，可以如下所述的来修改或进一步增强上述操作中的某些操作。此外，在一些实施方式中，还可以包括附加的可选操作（在图9中以虚线示出附加的可选操作的实例）。应当理解的是，下面的修改、可选的增加或增强可包括上面单独的操作或与此处介绍的特征中的任意其他特征相结合。在示例实施方式中，方法可进一步包括在操作230处，基于上下文融合的结果，确定（或允许做出确定）和与传感器进行通信的设备相关的上下文，该传感器提供物理传感器数据和虚拟传感器数据。在一些实施方式中，接收物理传感器数据可包括在与一个或多个物理传感器进行通信的处理器处接收物理传感器数据。处理器还可与一个或多个虚拟传感器进行通信，以接收虚拟传感器数据并执行所接收的物理传感器数据与所接收的虚拟传感器数据的上下文融合。在一些实施方式中，接收物理传感器数据可包括接收来自与一个或多个物理传感器进行通信的传感器处理器的物理传感器数据。与处理器进行通信的传感器处理器被配置为接收虚拟传感器数据，并执行所接收的物理传感器数据与所接收的虚拟传感器数据的上下文融合。在一些实例中，传感器处理器可被配置为执行第一层上下文融合。在该实例中，接收物理传感器数据可包括接收第一层上下文融合的结果，并且执行上下文融合可包括执行所接收的物理传感器数据与虚拟传感器数据的上下文融合。在示例实施方式中，在操作系统级别执行物理传感器数据与虚拟传感器数据的上下文融合可包括：在操作系统的第一层处执行所接收的物理传感器数据与第一组虚拟传感器数据的第一级别上下文融合，并且在操作系统的第二层执行第一级别上下文融合的结果与第二组虚拟传感器数据的第二级别上下文融合。在一些实例中，在操作系统级别处执行物理传感器数据与虚拟传感器数据的上下文融合可包括：在硬件级别执行上下文融合、在特征级别执行上下文融合、以及在中间件中执行上下文融合。在一些实施例中，在操作系统级别执行物理传感器数据与虚拟传感器数据的上下文融合可包括以下内容中的一个或多个：在硬件级别执行上下文融合、在特征级别执行上下文融合、在中间件中执行上下文融合、以及在应用层执行上下文融合。
在示例实施方式中，用于执行上述图9的方法的装置可包括：处理器（例如，处理器70），其配置为执行上述操作（200-230）中的一些或每一个。例如，处理器可被配置为，通过执行硬件实现的逻辑功能、执行存储的指令、或执行用于实现每个操作的算法来实现操作（200-230）。可选择地，装置可包括用于执行上述每个操作的部件。就这一点而言，依据示例实施方式，用于执行操作200-230的部件的实例可包括，例如，处理器70、融合管理器80、和/或用于执行指令或执行如上所述的处理信息的算法的设备或电路。
受益于前述说明和相关附图中所给出的教导，本发明所属领域的技术人员会想到在此阐述的本发明的很多修改和其它实施方式。因此，可以理解的是，本发明并不限于所公开的特定实施方式，并且旨在将这些修改和其它实施方式包括在所附权利要求的范围内。此外，尽管前述描述和相关附图在元件和/或功能的特定示例组合的上下文中描述了示例实施方式，然而应当理解的是，在不脱离所附权利要求的范围的情况下，可以由替换的实施方式提供元件和/或功能的不同组合。就此而言，举例来说，除了以上明确描述的那些以外，元件和/或功能的不同组合也被视为可以在一些所附权利要求中得到阐述。尽管在此采用了特定术语，然而它们仅仅是在一般的和描述性意义上使用，而不是出于限制目的。

Claims (16)

1.一种方法，包括：
接收从一个或多个物理传感器提取的物理传感器数据；
接收从一个或多个虚拟传感器提取的虚拟传感器数据；以及
在操作系统级别执行所述物理传感器数据和所述虚拟传感器数据的上下文融合；
其中在操作系统级别执行所述物理传感器数据与所述虚拟传感器数据的上下文融合包括：在操作系统的第一层执行所接收的物理传感器数据与第一组虚拟传感器数据的第一级别上下文融合，并且在操作系统的第二层处执行将第一级别上下文融合的结果与第二组虚拟传感器数据的第二级别上下文融合。
2.根据权利要求1所述的方法，进一步包括，基于所述上下文融合的结果，允许对与设备相关联的上下文进行确定，所述设备与提供所述物理传感器数据和所述虚拟传感器数据的传感器进行通信。
3.根据权利要求1所述的方法，其中接收物理传感器数据包括：在与一个或多个物理传感器进行通信的处理器处接收物理传感器数据，该处理器还与一个或多个虚拟传感器进行通信，以接收所述虚拟传感器数据并执行所接收的物理传感器数据与所接收的虚拟传感器数据的上下文融合。
4.根据权利要求1所述的方法，其中接收物理传感器数据包括：从与一个或多个物理传感器进行通信的传感器处理器接收物理传感器数据，所述传感器处理器与处理器进行通信，所述处理器被配置为接收所述虚拟传感器数据并执行所接收的物理传感器数据与所接收的虚拟传感器数据的上下文融合。
5.根据权利要求4所述的方法，其中所述传感器处理器被配置为执行上下文融合的第一层，其中接收物理传感器数据包括接收上下文融合的第一层的结果，并且其中执行上下文融合包括执行所接收的物理传感器数据与虚拟传感器数据的上下文融合。
6.根据权利要求1所述的方法，其中在操作系统级别执行所述物理传感器数据与所述虚拟传感器数据的上下文融合包括：在硬件级别执行上下文融合、在特征级别执行上下文融合、以及在中间件中执行上下文融合。
7.根据权利要求1所述的方法，其中在操作系统级别执行所述物理传感器数据与所述虚拟传感器数据的上下文融合包括以下内容中的一个或多个：在硬件级别执行上下文融合、在特征级别执行上下文融合、在中间件中执行上下文融合、以及在应用层执行上下文融合。
8.一种装置，包括：
用于接收从一个或多个物理传感器提取的物理传感器数据的部件；
用于接收从一个或多个虚拟传感器提取的虚拟传感器数据的部件；以及
用于在操作系统级别执行所述物理传感器数据与所述虚拟传感器数据的上下文融合的部件；
进一步包括：用于通过在操作系统的第一层执行所接收的物理传感器数据与第一组虚拟传感器数据的第一级别上下文融合来执行上下文融合的部件；以及
用于在操作系统的第二层执行将第一级别上下文融合的结果与第二组虚拟传感器数据的第二级别上下文融合。
9.根据权利要求8所述的装置，进一步包括用于基于所述上下文融合的结果，确定与设备相关联的上下文的部件，所述设备与提供所述物理传感器数据和所述虚拟传感器数据的传感器进行通信。
10.根据权利要求8所述的装置，进一步包括：用于通过在与一个或多个物理传感器进行通信的处理器处接收物理传感器数据来接收物理传感器数据的部件；以及
用于接收所述虚拟传感器数据并执行所接收的物理传感器数据与所接收的虚拟传感器数据的上下文融合的部件。
11.根据权利要求8所述的装置，进一步包括：
用于通过从与一个或多个物理传感器进行通信的传感器处理器接收物理传感器数据来接收物理传感器数据的部件，所述传感器处理器与处理器进行通信；以及
用于接收所述虚拟传感器数据并执行所接收的物理传感器数据与所接收的虚拟传感器数据的上下文融合的部件。
12.根据权利要求11所述的装置，进一步包括：用于接收上下文融合的第一层的结果的部件，并且其中执行上下文融合包括：执行所接收的物理传感器数据与虚拟传感器数据的上下文融合。
13.根据权利要求8所述的装置，进一步包括：用于通过在硬件级别执行上下文融合、在特征级别执行上下文融合、以及在中间件中执行上下文融合来执行上下文融合的部件。
14.根据权利要求8所述的装置，进一步包括：用于在硬件级别执行包括一个或多个执行上下文融合的上下文融合的部件；
用于在特征级别执行上下文融合的部件；以及
用于在中间件中执行上下文融合、以及在应用层执行上下文融合的部件。
15.根据权利要求8所述的装置，其中所述装置是移动终端，并且进一步包括用户接口电路，其被配置为促进对所述移动终端的至少一些功能的用户控制。
16.一种被配置为执行如权利要求1至7中任意一项所述的方法的装置。
CN201080066754.7A 2010-05-13 2010-05-13 用于提供上下文感知和融合的方法和装置 Expired - Fee Related CN102893589B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2010/001109 WO2011141761A1 (en) 2010-05-13 2010-05-13 Method and apparatus for providing context sensing and fusion

Publications (2)

Publication Number Publication Date
CN102893589A CN102893589A (zh) 2013-01-23
CN102893589B true CN102893589B (zh) 2015-02-11

Family

ID=44914001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080066754.7A Expired - Fee Related CN102893589B (zh) 2010-05-13 2010-05-13 用于提供上下文感知和融合的方法和装置

Country Status (6)

Country Link
US (1) US20130057394A1 (zh)
EP (1) EP2569924A4 (zh)
KR (1) KR101437757B1 (zh)
CN (1) CN102893589B (zh)
TW (1) TW201218736A (zh)
WO (1) WO2011141761A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071939B2 (en) 2010-09-23 2015-06-30 Nokia Technologies Oy Methods and apparatuses for context determination
CN103685714B (zh) * 2012-09-26 2016-08-03 华为技术有限公司 终端日志生成方法和终端
US9740773B2 (en) * 2012-11-02 2017-08-22 Qualcomm Incorporated Context labels for data clusters
US9336295B2 (en) * 2012-12-03 2016-05-10 Qualcomm Incorporated Fusing contextual inferences semantically
WO2014201251A1 (en) 2013-06-12 2014-12-18 Convida Wireless, Llc Context and power control information management for proximity services
CN106170969B (zh) 2013-06-21 2019-12-13 康维达无线有限责任公司 上下文管理
CN105612732A (zh) * 2013-07-10 2016-05-25 康维达无线有限责任公司 上下文感知邻近服务
US9179251B2 (en) 2013-09-13 2015-11-03 Google Inc. Systems and techniques for colocation and context determination
EP2854383B1 (en) * 2013-09-27 2016-11-30 Alcatel Lucent Method And Devices For Attention Alert Actuation
WO2015149203A1 (en) * 2014-03-31 2015-10-08 Intel Corporation Inertial measurement unit for electronic devices
WO2015184993A1 (en) * 2014-06-04 2015-12-10 Nexpack Limited Battery-powered platform for interchangeable modules
US20170102787A1 (en) * 2014-06-28 2017-04-13 Intel Corporation Virtual sensor fusion hub for electronic devices
US10416750B2 (en) * 2014-09-26 2019-09-17 Qualcomm Incorporated Algorithm engine for ultra low-power processing of sensor data
US9928094B2 (en) * 2014-11-25 2018-03-27 Microsoft Technology Licensing, Llc Hardware accelerated virtual context switching
CN104683764B (zh) * 2015-02-03 2018-10-16 青岛大学 基于fpga图像压缩技术的3g远程传输网络摄像头
US10118904B2 (en) 2015-06-05 2018-11-06 Vertex Pharmaceuticals Incorporated Triazoles for the treatment of Demyelinating Diseases
US9877128B2 (en) 2015-10-01 2018-01-23 Motorola Mobility Llc Noise index detection system and corresponding methods and systems
US10419540B2 (en) 2015-10-05 2019-09-17 Microsoft Technology Licensing, Llc Architecture for internet of things
US10289381B2 (en) 2015-12-07 2019-05-14 Motorola Mobility Llc Methods and systems for controlling an electronic device in response to detected social cues
CN106060626B (zh) * 2016-05-19 2019-02-15 网宿科技股份有限公司 机顶盒及在机顶盒上实现虚拟传感器的方法
WO2018106646A1 (en) 2016-12-06 2018-06-14 Vertex Pharmaceuticals Incorporated Aminotriazoles for the treatment of demyelinating diseases
WO2018106641A1 (en) 2016-12-06 2018-06-14 Vertex Pharmaceuticals Incorporated Pyrazoles for the treatment of demyelinating diseases
WO2018106643A1 (en) 2016-12-06 2018-06-14 Vertex Pharmaceuticals Incorporated Heterocyclic azoles for the treatment of demyelinating diseases
CN106740874A (zh) * 2017-02-17 2017-05-31 张军 一种基于多核处理器的智能行车预警感知系统
US10395515B2 (en) * 2017-12-28 2019-08-27 Intel Corporation Sensor aggregation and virtual sensors
CN112789827B (zh) 2018-09-28 2023-07-25 诺基亚技术有限公司 关联和存储来自无线电网络和时空传感器的数据
CN109857018B (zh) * 2019-01-28 2020-09-25 中国地质大学（武汉） 一种数字传感器软模型系统
JP7225876B2 (ja) * 2019-02-08 2023-02-21 富士通株式会社 情報処理装置、演算処理装置および情報処理装置の制御方法
WO2020186509A1 (en) * 2019-03-21 2020-09-24 Hangzhou Fabu Technology Co. Ltd A scalable data fusion architecture and related products
CN113949746A (zh) * 2021-09-07 2022-01-18 捷开通讯(深圳)有限公司 物联网虚拟传感器实现方法、装置及智能终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573725A (zh) * 2003-06-20 2005-02-02 英特尔公司 在移动装置中启动上下文感知通告的方法、设备和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP4838464B2 (ja) 2001-09-26 2011-12-14 東京エレクトロン株式会社 処理方法
US6772099B2 (en) * 2003-01-08 2004-08-03 Dell Products L.P. System and method for interpreting sensor data utilizing virtual sensors
US7327245B2 (en) * 2004-11-22 2008-02-05 Microsoft Corporation Sensing and analysis of ambient contextual signals for discriminating between indoor and outdoor locations
US8130193B2 (en) 2005-03-31 2012-03-06 Microsoft Corporation System and method for eyes-free interaction with a computing device through environmental awareness
US8634788B2 (en) * 2007-03-02 2014-01-21 Aegis Mobility, Inc. System and methods for monitoring the context associated with a mobile communication device
US9357052B2 (en) * 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573725A (zh) * 2003-06-20 2005-02-02 英特尔公司 在移动装置中启动上下文感知通告的方法、设备和系统

Also Published As

Publication number Publication date
WO2011141761A1 (en) 2011-11-17
EP2569924A4 (en) 2014-12-24
EP2569924A1 (en) 2013-03-20
KR20130033378A (ko) 2013-04-03
TW201218736A (en) 2012-05-01
US20130057394A1 (en) 2013-03-07
CN102893589A (zh) 2013-01-23
KR101437757B1 (ko) 2014-09-05

Similar Documents

Publication Publication Date Title
CN102893589B (zh) 用于提供上下文感知和融合的方法和装置
US9443202B2 (en) Adaptation of context models
US10178501B2 (en) Super geo-fences and virtual fences to improve efficiency of geo-fences
CN103154928B (zh) 网络服务器系统及其相关方法
US7778632B2 (en) Multi-modal device capable of automated actions
CN103026780B (zh) 用于控制传感器的调用的方法和设备
KR101369261B1 (ko) 스마트 단말을 이용한 사용자의 이동 경로 실시간 예측 방법 및 그 시스템
US20130210480A1 (en) State detection
CN105191455B (zh) 使用低复杂度算法融合与电话状态启发的改进的在途检测
US20120109862A1 (en) User device and method of recognizing user context
CN107112008A (zh) 基于预测的序列识别
CN103460722A (zh) 用于使用对以时间为基准的特征的时间定标进行活动分类的方法、设备和装置
CN103038765A (zh) 用于适配情境模型的方法和装置
US20150017967A1 (en) Method and apparatus for determining a predicted duration of a context
CN103748862A (zh) 情境提取
CN106297358A (zh) 路况预测的实现方法及装置
CN103189853A (zh) 用于提供高效情境分类的方法和装置
WO2012059836A1 (en) Method and apparatus for building a user behavior model
CN104221019A (zh) 用于在基于随机索引的系统中增强情境智能的方法和装置
CN113821720A (zh) 一种行为预测方法、装置及相关产品
JP6410787B2 (ja) 電力効率のよい分類のためのアプリケーションによって制御される粒度
CN112673367A (zh) 用于预测用户意图的电子设备和方法
CN110415560A (zh) 基于车联网系统的资源量估计方法、碰撞预测方法及装置
CN113409041B (zh) 一种电子卡的选取方法、装置、终端以及存储介质
Papliatseyeu et al. Mobile habits: Inferring and predicting user activities with a location-aware smartphone

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160120

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150211

Termination date: 20170513

CF01 Termination of patent right due to non-payment of annual fee