CN103460722A - 用于使用对以时间为基准的特征的时间定标进行活动分类的方法、设备和装置 - Google Patents

Abstract

本发明提供了可被用于获得从接收自移动设备的一个或多个惯性传感器的信号中提取的多个以时间为基准的特征的组件、方法和装置，其中这些以时间为基准的特征根据异构时标来提供。在决策窗口上组合这些以时间为基准的特征以推断与移动设备共处一地的用户的活动。

Description

用于使用对以时间为基准的特征的时间定标进行活动分类的方法、设备和装置

背景

领域

本文公开的主题内容涉及对移动设备中的用户活动进行分类。

信息

许多移动通信设备（诸如智能电话）包括可被用于检测该设备的运动的惯性传感器（诸如加速计）。这些移动在检测设备的取向方面可以是有用的，从而使得在向用户显示信息时显示器可被适当地取向（例如以纵向模式或横向模式）。在另一示例中，使用智能电话来执行的游戏应用可依赖于一个或多个加速计检测到的移动从而可以控制游戏的特征。在其他示例中，加速计检测到的姿势移动可允许用户滚动地图、导航菜单、或控制设备操作的其他方面。

尽管在辅助简单的用户界面任务方面是有用的，但加速计的输出“轨迹”受限而无法向移动设备用户提供更复杂和更有意义的辅助。例如，如果移动设备能检测到用户参与剧烈活动，则将传入电话呼叫立即引导至语音邮件从而不使用户分心可能是有用的。在另一示例中，如果能检测到移动设备处于用户钱包或口袋中，则禁用显示器从而不浪费电池资源可能是有利的。

概述

在一特定实现中，一种方法包括获得从接收自移动设备的一个或多个惯性传感器的信号中提取的多个以时间为基准的特征，这些以时间为基准的特征根据异构时标来提供。该方法还包括在决策窗口上组合这些以时间为基准的特征以推断与移动设备共处一地的用户的活动。

在另一实现中，一种设备包括用于获得从接收自移动设备的一个或多个惯性传感器的信号中提取的多个以时间为基准的特征的装置，其中这些以时间为基准的特征根据异构时标来提供。该设备还包括用于在决策窗口上组合这些以时间为基准的特征以推断与移动设备共处一地的用户的活动的装置。

在另一实现中，一种制品包括具有其上存储有机器可读指令的非瞬态存储介质，该机器可读指令能由移动设备的处理器执行以：获得从接收自移动设备的一个或多个惯性传感器的信号中提取的多个以时间为基准的特征，其中这些以时间为基准的特征根据异构样本时段来提供。这些指令还指令该处理器在决策窗口上组合这些以时间为基准的特征以推断与移动设备共处一地的用户的活动。

在另一实现中，一种移动设备包括一个或多个惯性传感器以及一个或多个处理器，该处理器用于获得从接收自一个或多个惯性传感器的信号中提取的多个以时间为基准的特征。这些以时间为基准的特征根据异构时标来提供。该处理器在决策窗口上组合这些以时间为基准的特征以推断与移动设备共处一地的用户的活动。

附图简述

参照以下附图来描述非限定性和非穷尽性的方面，其中相近参考标号贯穿各附图指代相近部分。

图1是根据一实现可被应用于移动设备的示例坐标系。

图2是根据一实现的一种用于使用对以时间为基准的特征的时间定标来进行活动分类的装置的示图。

图3是示出根据一实现的在活动分类中使用的示例时标的示图。

图4是解说根据一实现的与移动设备相关联的示例计算环境的示意图。

图5是解说根据一实现的一种使用对以时间为基准的特征的时间定标来分类用户活动的过程的流程图。

详细描述

提供了可在各种移动设备中实现以对移动设备的用户的活动进行分类的设备、方法和装置。在各实现中，包括倒频谱（Cepstral）滤波的信号处理算法可被应用于移动设备内包括的惯性传感器（诸如加速计）的一个或多个输出轨迹。

在一特定实现中，分类器可至少部分地基于从移动设备上的惯性传感器接收的信号来推断移动设备用户的活动状态。在特定示例中，来自一个或多个惯性传感器的信号可在特定时标上被处理以计算或提取以时间为基准的“特征”，该以时间为基准的“特征”可指示或暗示特定活动类。似然性指示可以用“似然函数”的形式来描述，诸如从特定活动类的似然性推导出的或与其有关的对数似然或其他表达式，该似然性指示可在第一时标上被计算，并与在决策窗口期间的至少一个其他时标上被计算的类似似然函数相组合。贝叶斯分类器和/或模式识别可被应用以从在多个时标上计算的特征中推断特定活动。

在一特定实现中，一特征可从接收自惯性传感器的信号中计算，并且以藉以处理和分析接收到的信号的特定时标被计算。应该理解，不同的计算出的特征可在不同（例如异构）时标上进行处理。而且，对于任何特定的计算出的特征，改变时标可改变在表征与移动设备共处一地的用户的运动状态中使用的该特征的有用性。例如，如果用户的运动状态保持恒定（例如，用户在步行），则随着取得平均的时标在历时中递增，加速度特征的平均幅值可变成对该活动类的越来越精确的指示。相反，对于平均取向特征而言相反作用可能占优势，其中俯仰和侧滚维度中的一个或多个维度中的移动被计算。在平均取向计算中，随着该特征的时标增加，该计算可不再捕捉运动中取向的范围。

在一特定实现中，以时间为基准的特征可被组合以用于推断与移动设备共处一地的用户的活动。然而，经组合的特征可在异构时标上确定。在该上下文中，用户可例如通过持有移动设备、佩戴移动设备、将移动设备置于他/她口袋中等来与移动设备共处一地，仅举几个例子。

图1解说根据一实现的可被应用于移动设备的示例坐标系100。在图1中，坐标系100可被整体或部分使用以促进或支持使用对移动设备（诸如移动设备102）的以时间为基准的特征（例如，使用加速计输出信号）的时间定标来进行活动分类。然而应该理解，加速计仅仅是可从中对用户活动进行分类的惯性传感器的一个示例，所要求保护的主题内容在此方面不受限制。惯性传感器的示例可包括陀螺仪、磁力计、压电设备等等。在其他实现中，其他类型的传感器（诸如压力传感器、环境光传感器、成像传感器、温度传感器，仅举几个例子）可产生输出信号，这些输出信号可被处理以推断与移动设备共处一地的用户的活动状态。

如图所示，坐标系100可包括例如三维笛卡尔坐标系，但是所要求保护的主题内容不限于此。在此解说的示例中，移动设备102的运动例如表示可至少部分地参照相对于示例坐标系100的原点104的三个线性维度或轴X、Y和Z来检测或测量的加速度振动。应领会，示例坐标系100可以与移动设备102的机身对准或不对准。还应该注意，在某些实现中，非笛卡尔坐标系（诸如圆柱形坐标系或球形坐标系）可被使用，或者可定义相互正交的维度的任何其他坐标系可被使用。

同样如图1所解说的，移动设备102的旋转运动例如随着设备取向绕重力的变化可至少部分地参照一个或两个维度来检测或测量。在一实现中，移动设备102的旋转运动可用坐标(

τ)的方式来检测或测量，其中

表示俯仰或即绕X轴的旋转，如由106处的箭头一般性地解说的，而τ表示侧滚或即绕Z轴的旋转，如由箭头108一般性地解说的。相应地，在一实现中，3D加速计可关于例如侧滚或俯仰维度来至少部分地检测或测量加速度振动水平以及绕重力的变化，由此提供5个可观测性维度(X,Y,Z,

τ)。然而，这些仅仅是可参照示例坐标系100来检测或测量的各个运动的示例，并且所要求保护的主题内容不限于上述运动或坐标系。

遵循以上讨论，3D加速计可检测或测量因例如响应于与设备共处一地的用户的活动的各种振动引起的三维空间中的加速度。通常情况下（尽管并非必然），加速度振动可例如与移动的车辆（例如，引擎、轮子等、振动、道路的不平坦等）、用户的步行或跑步、手或腕抖动、有氧练习、或通常可存在于移动设置或环境中的其他现象相关联。

图2是根据一实现的一种用于使用对以时间为基准的特征的时间定标来进行活动分类的装置的示图（200）。在图2中，位于移动设备上的惯性传感器205生成输出“轨迹”，该输出“轨迹”包括去往缓冲器208的电子或其他类型的信号。在一实现中，惯性传感器205可以是生成表示移动设备在各个可观测性维度（例如，X、Y、Z、

τ）中的加速度的一个或多个轨迹的加速计。

耦合至缓冲器208的输出端的是特征计算模块210、220和230。在一实现中，特征计算模块应用可包括倒频谱滤波的信号处理算法来实现表示信号状态的向量的并行流f1:n11、f1:n22和f1:n33，其中各个特征被分配至若干时标中的至少一个。在一实现中，特征计算模块210、220和230包括异构时标。例如，特征计算模块210可包括三倍于特征计算模块220的时标且五倍于特征计算模块230的时标的时标。

在图2的实现中，示出三个特征计算模块。在其他实现中，可使用更少数量的特征计算模块，诸如两个特征计算模块，或者可使用更多数量的特征计算模块，诸如三个、四个、五个或甚至更大数量的特征计算模块。如先前所提及的，在特定实现中，一个或多个特征可使用缓冲器208中存储的信息状态从来自惯性传感器205的信号中提取。这些特征包括：

1.倒频谱系数（CC）；

2.梅尔（Mel）频率倒频谱系数（MFCC）；

3.增量倒频谱系数（dCC）；

4.增量梅尔频率倒频谱系数（dMFCC）；

5.加速倒频谱系数（d2CC）；

6.加速梅尔频率倒频谱系数（d2MFCC）；

7.线性预测系数（LPC）；

8.增量线性预测系数（dLPC）；

9.加速线性预测系数（dLPC）；

10.与加速计范数的偏差；以及

11.加速计俯仰和侧滚、或与加速计相对于重力的取向相关联的其他角度。

然而应该理解，这些仅仅是可从信号中提取以表征频谱包络（例如，用于推断与移动设备共处一地的用户的活动类）的特征的示例，且所要求保护的主题内容在此方面不受限制。

关于提取特征以表征惯性传感器信号的频谱包络，CC或MFCC可提供对波形的频谱包络的参数化，并由此在由不同类型运动（诸如用户的步行或步态）产生的波形（其中移动设备位于用户身上不同位置处）之间进行区分方面可能是有用的。在一实现中，CC可被用于提取由其中向感兴趣的频带施加同等加强（例如，权重）的惯性传感器信号所表征的特征。在其他实现中，诸如可在MFCC特征提取中所使用的实现中，较低频信号可被加强而较高频信号可被削弱。

在一示例中，当用户正在步行时位于用户后袋中的移动设备可能导致加速计轨迹（作为时间的函数的加速度输出）不同于用户将移动设备拿在他或她的手中所得到的加速计轨迹。在该示例中，在用户步行时位于用户口袋中的移动设备在垂直（±Z）方向上可能经历明显且周期性的加速度而在±X或±Y方向上可能经历非常少的加速度。相反，例如在用户步行时位于用户手中的移动设备在垂直（±Z）方向上可能经历不那么明显的周期性加速度而在±X或±Y方向上可能经历增加的加速度。注意，词“轨迹”并非暗示该参数被显示或者该参数的连续值需要被使用；相反其指代该参数作为时间的函数的值。

在一实现中，增量CC可被用于通过考虑除了静态CC之外每一CC跨重叠窗口的速度（例如，相对于时间的变化速率）来改善CC的性能。加速CC可通过额外地考虑一个或多个静态CC跨重叠窗口的加速度（例如，相对于时间的速度变化速率）来进一步改善CC的性能。

在各实现中，可类似地施加增量MFCC和加速MFCC的参数。例如，为了应用增量和加速滤波，可使用对来自惯性传感器信号中的感兴趣频带的预加强滤波来计算静态MFCC。随后可对经计算的MFCC执行增量和加速滤波以确定一个或多个MFCC的（作为时间的函数的）速度和加速度。

在各实现中，线性预测系数（LPC）可被用于在底层惯性传感器信号由全极点自回归过程生成的情况下表征频谱包络。在一实现中，LPC可将特定时间点的惯性传感器的输出信号建模为先前输出样本的近似线性组合。在一示例中，误差信号可被添加至在一个或多个数据窗口期间描述输出信号的系数集。

在一实现中，可存在从LPC到MFCC的一对一映射。增量LPC可通过额外地考虑每一系数跨重叠窗口的速度（例如，作为时间的函数的变化速率）来改善LPC的性能。加速LPC可通过额外地考虑每一系数跨重叠窗口的加速度（例如，作为时间的函数的速度变化速率）来进一步改善LPC的性能。

在一替换实现中，可从惯性传感器信号中提取其他特征以用于表征与移动设备共处一地的用户的活动（例如，以代替频谱包络的表征或与其组合）。这些特征可包括：

1.俯仰

2.频谱熵；

3.越零率（ZCR）；

4.频谱质心（SC）；

5.带宽（BW）；

6.频带能量（BE）；

7.频谱通量（SF）；以及

8.频谱滚降（SR）。

在一实现中，可从惯性传感器信号中测量可定义周期性运动的基频的俯仰。对俯仰的测量在例如在具有以不同速率发生的类似运动的活动（诸如举例而言，慢跑对跑步、闲逛对快步走等等）之间进行区分方面可能是有用的。

在一实现中，可测量频谱熵，其可在被归一化和被视为概率分布的情况下与惯性传感器信号的短历时频谱相对应。例如，对频谱熵的测量可使得能够对信号的周期性程度进行参数化。在一示例中，从加速计轨迹中计算的较低频谱熵可指示用户参与周期性活动，诸如步行、跑步、骑自行车等等。另一方面，较高频谱熵可以是用户参与非周期性活动（诸如操纵设备或在不平坦的道路上驾驶汽车）的指示符。

在一实现中，可测量越零率，其可描述在某一时间窗口中惯性传感器信号每秒越过其平均值的次数。对越零率的测量可以在对产生以不同速率波动的惯性传感器信号的运动或设备位置（诸如可由正负值之间的较低波动所指示的步行对可由正负值之间的较快波动所指示的跑步）之间进行区分方面可能是有用的。

在一实现中，可测量频谱质心，其可表示惯性传感器信号的短历时频谱的平均频率。子带频谱质心可通过向惯性传感器信号的功率谱应用滤波器编组，并且随后为每一子带计算第一惯量（或质心）来找到。信号频率范围随后可被划分成多个槽。每一子带的对应槽可被确定并且逐一递增。倒频谱系数随后可通过计算所得柱状图的离散余弦变换来确定。

在一实现中，可测量带宽，其可被表示为惯性传感器信号的短历时频谱的标准偏差。在一示例中，惯性传感器信号的带宽可被用于补充一个或多个其他测量，诸如本文所述的那些测量。在一实现中，可测量频带能量，其可描述惯性传感器信号的短历时频谱的不同频带中的能量。

在各个实现中，对频谱质心、带宽和/或频带能量的测量在例如对产生惯性传感器输出信号的运动或设备位置之间进行区分方面可能是有用的，这些测量可指示频谱的不同部分中的能量浓度（例如，高频活动对低频活动）。在一些实现中，与其他测量相结合作出的这些额外的测量可被用于增大基于惯性传感器信号的正确活动检测的似然函数。

在一实现中，可测量频谱通量，其可以是跨惯性传感器信号的两个连续窗口的短时频谱之差的平均。对频谱通量的测量在例如表征特定周期性行为正在变化的速度方面（例如，在表征其中活动水平可在短时间内显著变化的有氧活动方面）可能是有用的。

在一实现中，可测量频谱滚降，其可以是其下驻留有信号能量的某一小部分的频率。在一示例中，频谱滚降在表征频谱形状方面可能是有用的，其在与其他测量相组合的情况下在确定用户活动方面可能是有用的。

在一实现中，信息状态的向量f1:n11、f1:n22和f1:n33被分别传达给似然函数计算模块215、225和235。似然函数计算模块215、225和235跨每一特征计算模块的时标计算每一活动类的似然函数（ω）。例如，似然函数计算模块215可使用特征计算模块210的时标来计算诸如步行、跑步、骑自行车等各种活动的似然函数。按照类似的方式，似然函数计算模块225可使用特征计算模块220的时标来计算活动的似然函数。而且，似然函数计算模块235可使用特征计算模块230的时标来计算活动的似然函数。

似然函数计算模块215、225和235的输出状态可使用似然函数组合模块240来组合，似然函数组合模块240可实现贝叶斯分类器。在一实现中，可以作出以下假设：不同时标的特征可被认为在统计上是独立的。对于各时标，在各异构时标上计算的联合概率可使用高斯混合模型来建模，在高斯混合模型中每一混合分量的协方差矩阵可被用于捕捉时标内的各个特征之间的关联。在一实现中，一旦系统已经被训练（例如，估算了统计模型的参数），则可通过计算每一时标内每一活动类的似然函数来进行分类。贝叶斯分类器随后可被用于组合每一活动类跨各个时标的似然函数。

在一实现中，组合每一活动类跨不同时标的似然函数是通过首先为每一时标计算每一活动类的平均似然函数来执行的。在一实现中，这一平均是跨决策窗口内的所有时标来取得的。随后可以使用贝叶斯分类器跨不同时标对这些平均值求和以形成经组合的似然函数。随后从活动分类器250中生成具有最高的经组合的似然函数的分类。

$\widehat{\mathrm{\ω}}={\arg \max }_{k\∈\{1,...,M\}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\frac{1}{N_j}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}\log P_{F_{i,j}|\mathrm{\Ω}}\left(f_{i,j}\right|{\mathrm{\ω}}_k)$

在以上表达式中且在图2中，时标的数量由J指示。第J个时标中的时间窗口数量由N_j给出。且活动类的数量由M给出。第j个时标中的第i个时间窗口中计算的特征随机变量/向量由F_i,j给出，而随机变量/向量的实现由f_i,j表示，表示底层活动类的随机变量由Ω标识，而Ω的实现是底层活动集{ω₁,...,ω_M}的元素。

在一实现中，每一活动类跨不同时标的更优化的似然函数组合可涉及向不同时间窗口和不同时标施加加权因子。诸如：

$\widehat{\mathrm{\ω}}={\arg \max }_{k\∈\{1,...,M\}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\frac{{\mathrm{\β}}_j}{N_j}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{\mathrm{\α}}_i\log P_{F_{i,j}|\mathrm{\Ω}}\left(f_{i,j}\right|{\mathrm{\ω}}_k)$

其中加权因子α_i可被选择用于不同时间窗口，且其中加权因子β_i可被选择用于不同时标。

图3是示出根据一实现的在活动分类中使用的示例决策窗口的示图（300）。在图3中，5个时间窗口330和3个时间窗口320与决策窗口310重叠。在一实现中，似然函数在时间窗口310和320中的每个时间窗口内被计算，并且使用贝叶斯分类器与来自决策窗口310的似然函数相组合。

尽管图3示出与决策窗口310重叠的5个时间窗口330以及3个时间窗口320，但也可以使用具有时间窗口320和330的不同整数倍的持续时间的决策窗口。例如，在一实现中，第一时间窗口可以是决策窗口的持续时间的2倍，而第二时间窗口可以是决策窗口的4倍。由此，应该理解，这仅仅表示几个非限制性的可能示例异构时标，且所要求保护的主题内容在此方面不受限制。

图4是解说示例计算环境400的实现的示意图，示例计算环境400可包括能够部分或基本实现或支持用于至少部分地基于惯性传感器信号对与移动设备共处一地的用户的活动进行分类的一个或多个过程的一个或多个网络或设备。应领会，计算环境400中所示的各个设备或网络中的全部或部分、本文描述的过程或方法可使用各种硬件、固件、或其任何组合连同软件来实现。

计算环境400可包括例如移动设备402，移动设备402可经由合适的通信网络（诸如蜂窝电话网络、因特网、移动自组织网络、无线传感器网络或诸如此类）通信地耦合至任意数目的其他设备（移动的或别的设备）。在一实现中，移动设备402可代表可以能够在任意合适的通信网络上交换信息的任何电子设备、器具、或机器。例如，移动设备402可包括例如与蜂窝电话、卫星电话、智能电话、个人数字助理（PDA）、膝上型计算机、个人娱乐系统、电子书阅读器、平板个人计算机（PC）、个人音频或视频设备、个人导航设备、或诸如此类相关联的一个或多个计算设备或平台。在某些示例实现中，移动设备402可采取可以起作用地实现成在另一个设备中使用的一个或多个集成电路、电路板、或诸如此类的形式。尽管未示出，但是可任选地或替换地，可以有通信地耦合至移动设备402的附加设备（移动的或别的设备）以促成或以其他方式支持与计算环境400相关联的一个或多个过程。由此，除非另行指出，否则为了简化讨论，以下参照移动设备402来描述的各种功能性、元件、组件等也可适用于未示出的其他设备，以便支持与示例计算环境400相关联的一个或多个过程。

例如，计算环境400可包括能够至少部分地基于与定位系统、基于位置的服务或诸如此类相关联的一个或多个无线信号来提供关于移动设备402的定位或位置信息的各种计算或通信资源。尽管未示出，但在某些示例实现中，移动设备402可例如包括能够（例如，经由三边测量、热图签名匹配等）获取或提供取向、位置信息中的全部或部分的位置知悉式单元或跟踪单元等。此类信息可被提供以支持响应于用户指令（由运动控制的或别的用户指令）的一个或多个过程，这些用户指令可例如连同其他合适的或期望的信息（诸如一个或多个阈值或诸如此类）一起被存储在存储器404中。

存储器404可代表任何合适的或期望的信息存储介质。例如，存储器404可包括主存储器406和副存储器408。主存储器406可包括例如随机存取存储器、只读存储器等。虽然在此示例中被解说为与处理单元410分开，但是应当理解，主存储器406的全部或部分可设在处理单元410内或者以其他方式与处理单元410共处/耦合。副存储器408可包括例如类型与主存储器相同或相似的存储器、或者一个或多个信息存储设备或系统，诸如举例而言盘驱动器、光碟驱动器、带驱动器、固态存储器驱动器等。在某些实现中，副存储器408可起作用地接纳非瞬态计算机可读介质412或以其他方式实现成耦合至非瞬态计算机可读介质412。

计算机可读介质412可包括例如能够为与计算环境400相关联的一个或多个设备存储信息、代码或指令或者提供对信息、代码或指令的访问的任何介质（例如，制品等）。例如，计算机可读介质412可由处理单元410提供或访问。由此，在某些示例实现中，这些方法或装置可全部或者部分地采取可包括存储于其上的计算机可实现指令的计算机可读介质的形式，这些指令若被至少一个处理单元或其他类似的电路系统执行则可使处理单元410或该其他类似的电路系统执行位置确定过程、基于传感器或由传感器支持的测量（例如，加速度、减速度、取向、倾斜、旋转等）、从惯性传感器信号提取/计算特征、对与移动设备的用户共处一地的活动进行分类的全部或部分、或促成或以其他方式支持对移动设备402的其他检测的任何类似过程。在某些示例实现中，处理单元410可以能够执行或支持其他功能，诸如通信、游戏、或诸如此类。

处理单元410可以在硬件、或硬件与软件的组合中实现。处理单元410可代表能够执行信息计算技术或过程的至少一部分的一个或多个电路。作为示例而非限定，处理单元410可包括一个或多个处理器、控制器、微处理器、微控制器、专用集成电路、数字信号处理器、可编程逻辑器件、现场可编程门阵列、或诸如此类、或其任何组合。

移动设备402可包括各种组件或电路系统，诸如举例而言，一个或多个加速计413、或各种其他传感器414（诸如磁性罗盘、陀螺仪、视频传感器、比重计等），以促进或以其他方式支持与计算环境400相关联的一个或多个过程。例如，此类传感器可向处理单元410提供模拟或数字信号。尽管未示出，但是应注意，移动设备402可包括用于数字化来自一个或多个传感器的模拟信号的模数转换器（ADC）。可任选地或替换地，此类传感器可包括指定的（例如，内部的，等等）ADC以数字化相应的输出信号，但是所要求保护的主题内容不限于此。

尽管未示出，但移动设备402还可包括存储器或信息缓冲器以收集合适的或期望的信息，诸如举例而言，加速计测量信息（例如，加速计轨迹），如先前所提及的。移动设备还可包括电源以例如向移动设备402的组件或电路系统中的一些或全部供电。电源可以是便携式电源（诸如举例而言电池），或者可以包括固定电源，诸如（例如，房屋、充电站、汽车等中的）插座。应领会，电源可被整合（例如，内置、等等）到移动设备402中或者以其他方式（例如，自立的、等等）由移动设备402支持。

移动设备402可包括可操作地将各种电路耦合在一起的一个或多个连接总线416（例如，总线、导线、导体、光纤等）、以及用于接收用户输入、促成或支持传感器相关的信号测量、或向用户提供信息的用户接口418（例如，显示器、触摸屏、按键板、按钮、旋钮、话筒、扬声器、跟踪球、数据端口等等）。移动设备402可进一步包括通信接口420（例如，无线发射机或接收机、调制解调器、天线等）以允许在一个或多个合适的通信网络上与一个或多个其他设备或系统通信，如所指出的。

图5是解说根据一实现的一种使用对以时间为基准的特征的时间定标来分类用户活动的过程的流程图（450）。尽管图4的实施例可适用于执行图5的方法，但也可使用替代的结构和组件排列来执行该方法。该方法开始于框460，其包括获得从接收自移动设备的一个或多个惯性传感器的信号中提取的多个以时间为基准的特征。在框460中，以时间为基准的特征根据异构时标来提供。该方法继续于470，其包括在决策窗口上组合这些以时间为基准的特征以推断与移动设备共处一地的用户的活动。

本文中描述的方法体系取决于根据特定特征或示例的应用可以藉由各种手段来实现。例如，此类方法体系可在硬件、固件、软件、分立/固定逻辑电路系统、其任何组合等等中实现。在硬件或逻辑电路系统实现中，例如，处理单元可在一个或多个专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理器件（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述的功能的其他器件单元、或其组合内实现，这里仅列举了几个示例。

对于固件或软件实现，这些方法体系可用具有执行本文中描述的功能的指令的模块（例如，程序、函数等等）来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所描述的方法体系。例如，软件代码可被存储在存储器中并由处理器执行。存储器可以实现在处理器内部或处理器外部。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失性、非易失性、或其他存储器，且并不限于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质类型。在至少一些实现中，本文中所描述的存储介质的一部分或更多部分可存储表示如通过该存储介质的特定状态来表达的数据或信息的信号。例如，可以通过影响或改变存储介质（例如，存储器）的一部分的状态以将数据或信息表示为二进制信息（例如，1和0）的方式来将表示数据或信息的电信号“存储”在存储介质的此类部分中。由此，在特定实现中，用于存储表示数据或信息的信号的存储介质部分的状态改变构成存储介质到不同状态或事物的转变。

如所指出的，在一个或多个示例实现中，所描述的功能可在硬件、软件、固件、离散/固定逻辑电路系统、其某种组合等等中实现。如果在软件中实现，则各功能可以作为一条或多条指令或代码存储在物理计算机可读介质上。计算机可读介质包括物理计算机存储介质。存储介质可以是能被计算机访问的任何可用物理介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或可被用来存储指令或数据结构形式的期望程序代码且可被计算机或其处理器访问的任何其他介质。如本文中所使用的盘（Disk）和碟（disc）包括压缩碟（CD）、激光碟、光碟、数字多用碟（DVD）、软盘和蓝光碟，其中盘往往以磁的方式再现数据，而碟用激光以光学方式再现数据。

如以上所讨论的，移动设备可以能够经由使用一种或多种无线通信技术在各种通信网络上无线地传送或接收信息来与一个或多个其他设备通信。在此，例如，无线通信技术可使用无线广域网（WWAN）、无线局域网（WLAN）、无线个域网（WPAN）或诸如此类来实现。术语“网络”和“系统”在本文中能被可互换地使用。WWAN可以是码分多址（CDMA）网络、时分多址（TDMA）网络、频分多址（FDMA）网络、正交频分多址（OFDMA）网络、单载波频分多址（SC-FDMA）网络、长期演进（LTE）网络、WiMAX（IEEE802.16）网络等等。CDMA网络可实现一种或更多种无线电接入技术（RAT），诸如cdma2000、宽带CDMA（WCDMA）、时分同步码分多址（TD-SCDMA）等，以上仅列举了少数几种无线电技术。在此，cdma2000可包括根据IS-95、IS-2000、以及IS-856标准实现的技术。TDMA网络可实现全球移动通信系统（GSM）、数字高级移动电话系统（D-AMPS）、或其他某种RAT。GSM和W-CDMA在来自名为“第三代伙伴项目”（3GPP）的联盟的文献中描述。Cdma2000在来自名为“第三代伙伴项目2”（3GPP2）的联盟的文献中描述。3GPP和3GPP2文献是公众可获取的。例如，WLAN可包括IEEE802.11x网络，并且WPAN可包括蓝牙网络、IEEE802.15x网络、或其他某种类型的网络。这些技术也可联合WWAN、WLAN和/或WPAN的任何组合来实现。无线通信网络可包括所谓的下一代技术（例如，“4G”），诸如举例而言，长期演进（LTE）、高级LTE、WiMAX、超移动宽带（UMB）、或类似技术。

在一种特定实现中，移动设备可例如能够与促成或支持与该移动设备通信的一个或多个毫微微蜂窝小区通信，以用于估计其位置、取向、速度、加速度、或诸如此类的目的。如在本文中所使用的，“毫微微蜂窝小区”可指可被实现成例如经由宽带（诸如举例而言，数字订户线（DSL）或电缆）来连接至服务提供商的网络的一个或多个小型蜂窝基站。通常情况下（尽管并非必然），毫微微蜂窝小区可利用或以其他方式兼容于各种类型的通信技术，诸如举例而言通用移动电信系统（UTMS）、长期演进（LTE）、演进数据最优化或唯演进数据（EV-DO）、GSM、微波接入全球互通（WiMAX）、码分多址（CDMA）-2000、或时分同步码分多址（TD-SCDMA），以上仅例举了众多可能性当中的几个示例。在某些实现中，毫微微蜂窝小区可包括例如集成WiFi。然而，与毫微微蜂窝小区相关的此类细节仅仅是示例，且所要求保护的主题内容不限于此。

而且，计算机可读代码或指令可经由物理传输介质上的信号从发射机向接收机传送（例如，经由电数字信号）。例如，软件可以是使用同轴电缆、光纤电缆、双绞线、数字订户线（DSL）、或诸如红外、无线电、以及微波之类的无线技术的物理组件从web网站、服务器、或其他远程源传送而来的。上述的组合也可被包括在物理传输介质的范围内。此类计算机指令或数据可在不同时间（例如，在第一和第二时间）分部分地（例如，第一和第二部分）传送。本详细描述的一些部分是以对存储在特定装置或专用计算设备或平台的存储器内的二进制数字信号的操作的算法或符号表示的形式来给出的。在此具体说明书的上下文中，术语具体装置或类似术语包括通用计算机，只要其被编程为依照来自程序软件的指令执行特定功能即可。算法描述或符号表示是信号处理或相关领域普通技术人员用来向该领域其他技术人员传达其工作实质的技术的示例。算法在此并且一般被视为通往期望结果的自洽操作序列或类似信号处理。在本上下文中，操作或处理涉及对物理量的物理操纵。通常，尽管并非必然，这类量可采取能被存储、转移、组合、比较或以其他方式操纵的电或磁信号的形式。

业已证明，有的时候，主要为通用之故，将此类信号称为比特、信息、值、元素、码元、字符、变量、项、数、数值、或类似术语是方便的。然而应理解，所有这些或类似术语应与恰适物理量相关联且仅仅是便利性标签。除非另外特别声明，否则如从以上讨论所显见的，应当领会，本说明书通篇利用诸如“处理”、“计算”、“确定”、“探明”、“标识”、“关联”、“测量”，“执行”、或诸如此类的术语的讨论指的是诸如专用计算机或者类似的专用电子计算设备之类的特定装置的动作或处理。因此，在本说明书的上下文中，专用计算机或类似专用电子计算设备能够操纵或变换信号，这些信号通常被表示为该专用计算机或类似专用电子计算设备的存储器、寄存器、或其他信息存储设备、传输设备、或显示设备内的物理电子、电气或磁量。

如本文中所使用的术语“和”及“或”可包括各种涵义，还预期这将至少部分地取决于使用此类术语的上下文。通常，“或”如果被用于关联罗列，诸如A、B或C，则其意在表示此处以可兼意义使用的A、B、和C，以及此处以排他意义使用的A、B或C。另外，如本文中所使用的术语“一个或多个”可被用来描述单数形式的任何特征、结构或特性或者可被用来描述诸特征、结构或特性的某种组合。然而，应当注意，这仅是解说性示例并且所要求保护的主题内容不限于此示例。

虽然本文已使用各种方法或系统来描述和示出了某些示例技术，但是本领域技术人员将理解，可作出各种其他修改并且可替代等效技术方案而不脱离所要求保护的主题内容。此外，可作出许多修改以使特定情景适应于所要求保护的主题内容的教导而不会脱离本文所描述的中心思想。因此，所要求保护的主题内容并非旨在被限定于所公开的具体示例，相反，如此所要求保护的主题内容还可包括落入所附权利要求及其等效技术方案的范围内的所有实现。

Claims (30)

1.一种方法，包括：

获得从接收自移动设备的一个或多个惯性传感器的信号中提取的多个以时间为基准的特征，所述以时间为基准的特征根据多个异构时标来提供；以及

在决策窗口上组合所述以时间为基准的特征以推断与所述移动设备共处一地的用户的活动。

2.如权利要求1所述的方法，其特征在于，组合所述决策窗口的所述以时间为基准的特征还包括：

对于所述多个时标中的每一个，在所述决策窗口上至少部分地基于所述多个时标中提供的特征来计算活动似然函数值，所述活动似然函数值指示所述用户正在执行多个活动分类之一的似然函数。

3.如权利要求2所述的方法，其特征在于，对于所述多个时标中的每一个，所述经计算的活动似然函数值在所述多个时标上被组合；以及

对于所述多个活动分类中的一个或多个，在所述多个时标上组合在所述决策窗口上被组合的所述活动似然函数值。

4.如权利要求3所述的方法，其特征在于，在所述多个时标上组合在所述决策窗口上被组合的所述活动似然函数值还包括：对在所述决策窗口上获得的活动似然函数值的组合进行加权。

5.如权利要求4所述的方法，其特征在于，在所述决策窗口上组合所述多个时标内的活动似然函数值还包括：将加权因子应用于时间窗口或所述多个时标中的至少一个时标。

6.如权利要求5所述的方法，其特征在于，所述选择所述活动还包括：将所述经组合的以时间为基准的特征应用于贝叶斯分类器以从多个活动类当中选择一活动类。

7.如权利要求1所述的方法，其特征在于，所述决策窗口是所述多个时标中的至少一个时标的整数倍。

8.如权利要求1所述的方法，其特征在于，所述信号中的至少一个包括加速计轨迹。

9.如权利要求1所述的方法，其特征在于，所述信号包括指示至少三个线性维度中的加速度的至少三个加速计轨迹。

10.如权利要求1所述的方法，其特征在于，还包括使用高斯混合模型来计算联合概率。

11.如权利要求1所述的方法，其特征在于，进一步包括：

从接收自所述一个或多个惯性传感器的所述信号中计算倒频谱系数。

12.如权利要求1所述的方法，其特征在于，进一步包括：

计算与加速计范数的偏差。

13.如权利要求1所述的方法，其特征在于，进一步包括：

计算加速计相对于重力的取向。

14.一种设备，包括：

用于获得从接收自移动设备的一个或多个惯性传感器的信号中提取的多个以时间为基准的特征的装置，所述以时间为基准的特征根据异构时标来提供；以及

用于在决策窗口上组合所述多个以时间为基准的特征以推断与所述移动设备共处一地的用户的活动的装置。

15.如权利要求14所述的设备，其特征在于，所述一个或多个惯性传感器包括至少一个加速计。

16.如权利要求15所述的设备，其特征在于，所述用于获得所述多个以时间为基准的特征的装置还包括：

用于从所述至少一个加速计的至少一个输出轨迹计算倒频谱系数的装置。

17.一种制品，包括：

包括存储于其上的机器可读指令的非瞬态存储介质，所述机器可读指令能由移动设备的处理器执行以：

获得从接收自所述移动设备的一个或多个惯性传感器的信号中提取的多个以时间为基准的特征，所述以时间为基准的特征根据异构样本时段来提供；

在决策窗口上组合所述以时间为基准的特征以推断与所述移动设备共处一地的用户的活动。

18.如权利要求17所述的制品，其特征在于，所述组合所述决策窗口的所述以时间为基准的特征还包括：

对于每一时标，在所述决策窗口内至少部分地基于各时标中提供的特征来计算活动似然函数值，所述活动似然函数值指示所述用户正在执行多个活动类之一的似然函数，并且在这一时标上组合所述经计算的活动似然函数值；以及

对于所述多个活动分类中的一个或多个，在多个时标上组合在所述决策窗口上被组合的所述经计算的活动似然函数值。

19.如权利要求18所述的制品，其特征在于，在所述多个时标上组合在所述决策窗口上被组合的所述活动似然函数值还包括：对在所述决策窗口上获得的活动似然函数值的组合进行加权。

20.如权利要求17所述的制品，其特征在于，所述以时间为基准的特征使用倒频谱滤波来提取。

21.如权利要求17所述的制品，其特征在于，所述非瞬态存储介质还包括存储于其上的机器可读指令，所述机器可读指令能由所述移动设备的处理器执行以：

通过从多个活动类当中选择所述经推断的活动来推断所述活动。

22.如权利要求21所述的制品，其特征在于，所述选择所述活动还包括：将所述经组合的以时间为基准的特征应用于贝叶斯分类器以从所述多个活动类当中选择一活动类。

23.如权利要求17所述的制品，其特征在于，所述非瞬态存储介质还包括存储于其上的机器可读指令，所述机器可读指令能由所述移动设备的处理器执行以：

使用高斯混合模型来计算所述活动似然函数值的联合概率。

24.一种移动设备，包括：

一个或多个惯性传感器；以及

一个或多个处理器，用于：

获得从接收自所述一个或多个惯性传感器的信号中提取的多个以时间为基准的特征，所述以时间为基准的特征根据异构时标来提供；

在决策窗口上组合所述以时间为基准的特征以推断与所述移动设备共处一地的用户的活动。

25.如权利要求24所述的移动设备，其特征在于，所述一个或多个惯性传感器包括至少一个加速计。

26.如权利要求24所述的移动设备，其特征在于，所述多个以时间为基准的特征是使用一个或多个特征计算模块从所述接收到的信号中提取的倒频谱系数。

27.如权利要求26所述的移动设备，其特征在于，还包括用于计算所述活动跨所述一个或多个特征计算模块的时标的似然函数的一个或多个似然函数计算模块。

28.如权利要求27所述的移动设备，其特征在于，所述一个或多个似然函数计算模块向所述异构时标应用加权因子。

29.如权利要求24所述的移动设备，其特征在于，用于在决策窗口上组合所述以时间为基准的特征的所述一个或多个处理器实现贝叶斯分类器以推断与所述移动设备共处一的所述用户的所述活动。

30.如权利要求24所述的移动设备，其特征在于，所述一个或多个处理器还使用高斯混合模型来计算所述异构时标上的联合概率。

Images