CN100545658C - 活动识别设备以及方法 - Google Patents

Abstract

本发明提供了一种活动识别设备、方法、以及程序，其中用于检测对象的活动的活动识别设备包括：传感器单元，该传感器单元包括多个被配置为检测线性运动的线性运动传感器，以及多个旋转运动传感器，这些线性运动彼此正交，这些旋转运动彼此正交；以及计算单元，其被配置为接收和处理来自包括在传感器单元中的传感器的信号，以便检测对象的活动。该传感器单元直接或间接地由对象支撑，并且相对于对象具有任意取向。该计算单元执行计算，该计算利用来自线性运动传感器和旋转运动传感器的信号，以便不依赖于传感器单元的取向而确定对象的活动。

Description

活动识别设备以及方法

技术领域

本发明涉及用于活动识别的设备、方法、程序、以及存储介质。更具体地，本发明涉及活动识别设备、活动识别方法、使计算机执行这种方法的程序、存储这种程序的存储介质或存储器、以及被编码为使计算机执行这种方法的信号。

背景技术

已经利用照相机、麦克风(非专利文献5)、惯性传感器(非专利文献4)、以及测角仪尝试了人类活动分类。对于每一种传感器或传感器组合，研究者还开发了能够在不同程度上对活动分类的自定义算法。由于人类活动分类的一部分是获得人类运动的准确测量，所用的技术与用于人物动画、运动机能学、生物力学的方法重叠。然而，由于本申请的发明人致力于如何在移动和不受限制的情境中对人类活动进行确定和分类的问题，因此除了少数传感器模态之外，所有传感器模态都是适当的。

计算机版本

一组这种受限制的方法包括用静态照相机或可佩戴照相机监视对象(非专利文献10)。通常，光学标记附着到对象的身体上，以简化视觉跟踪。可以通过逆运动学模型从标记的运动推断对象的运动。

虽然此方法具有提供非常丰富和完整的测量的潜力，但从照相机的观点来看，它只能用于良好照明空间，这阻碍了其在移动应用中的使用。

计算机听觉

还有研究者尝试(在身体上和环境中)使用麦克风来自动确定用户活动的例子(见非专利文献2和非专利文献9)。然而，运动传感器的主要优势是较低的数据速率(这转化为更低的计算需要)和仅测量用户运动的能力。在音频上，由用户的活动引起的声音与环境声音经常变化的背景混合。这些前景和背景的分离是一个未解决的问题，当使用运动传感器时不会发生这个问题。

绝对关节角度感测

这一组方法包括直接将传感器附着到对象的身体上，以便测量对象关节的角度。可能的传感器是电位计和旋转编码器(它门都要求外骨骼将对象关节角度的变化发送到该传感器)，弯折传感器(对弯折和弯曲敏感的材料的条带)，以及惯性传感器(加速度计和陀螺仪，它们基本上通过牛顿第一运动定律来测量速度的改变)。在临床情境中，经常使用测角仪(等价于倾斜度传感器)，以测量相对于重力的角度。

惯性感测

在这些传感器中，只有惯性传感器和倾斜度传感器可以用于测量对象的运动，而不需要对(用于外骨骼或弯曲敏感材料的条带的)布料的大量修改，也不需要特别的附件。此外，惯性传感器可以被完全封入另一装置中，用户可以容易地拿起或携带在兜或包中，因而使这些传感器在移动装置中使用或者作为自包含装置使用是具有吸引力的。

例如在非专利文献7、非专利文献8、专利文献1、专利文献2中公开了其他相关工作。

参考文件：

非专利文献1：Dimitri P.Bertsekas的Nonlinear Programing(非线性编程)，Athena Scientific，第二版，1995。

非专利文献2：Brian Clarkson，Alex Pentland，以及Kenji Mase的Recognizing user context via wearable sensor(通过可佩戴式传感器识别用户情境)，Fourth International Symposium on WearableComputers(ISWC)，2000。

非专利文献3：Masataka Ishikawa，美国专利5,297,028：Methodand apparatus for correcting drift errors in an angular rate sensor(用于修正角速率传感器中的漂移误差的方法和设备)，由ZexelCorporation Daihatsu-Nissan申请，日本东京，1991年8月。

非专利文献4：Holger Junker，Jamie Ward，Paul Lukowicz，以及Gerhard Troster的Continuous recognition of arm activities withbody-worn inertial sensors(利用身体佩戴的惯性传感器连续识别手臂活动)，Proceedings of the 8th International Symposium on WearableComputers，2004。

非专利文献5：Paul Lukowicz，Jamie Ward，Holger Junker，Mathias Stager，Gerhard Troster，Amin Atrash，以及Thad Starner的Recognizing workshop activity using body-worn microphones andaccelerometers(利用身体佩戴的麦克风和加速度计的识别工场活动)，Second IEEE International Conference on Pervasive Computing andCommunications，2004。

非专利文献6：Thomas P.Minka的Old and new matrix algebrauseful for statistics(对统计学有用的旧、新矩阵代数)，技术报告，Massachusetts Institute of Technology，2000。

非专利文献7：Bruno Scherzinger的美国专利6,853,909：Walkingstick navigator for position determination(用于位置确定的手杖导航仪)，由Applanix Corporation，Inc.申请，安大略省，加拿大，2002年11月。

非专利文献8：Douglas Smith，Aaron Joseph，David Boone，Robert Borchers，以及Ernest Burgess的美国专利5,485,402：Gaitactivity monitor(步伐活动监视器)，由Prosthetics Research Study申请，西雅图，WA，1994年3月。

非专利文献9：Mathias Staeger，Paul Lukowicz，以及GerhardTroester的Implementation and evaluation of a low-powersound-based user activity recognition system(低功率基于声音的用户活动识别系统的实施和评估)，Eighth International Symposium onWearable Computers(ISWC)，2004。

非专利文献10：Thad Starner，Josh Weaver，以及Alex Pentland的Real-time American sign language recognition using desk andwearable computer-based video(使用桌上和可佩戴基于计算机视频的实时美国手语识别)，IEEE Transactions on Pattern Analysis andMachine Intelligence，20(12)：1371-175，1998年12月。

非专利文献11：Tero Tolonen和Matti Karjalainen的Acomputationally efficient multipitch analysis model(具有计算效率的多倾斜度分析模型)，IEEE Transactions on Speech and AudioProcessing，8(6)，2000年11月。

专利文献1：Robert Levi和Thomas Judd的美国专利5,583,776：Dead reckoning navigational system using accelerometer to measurefoot impacts(使用加速度计测量足部冲撞的航位推算导航系统)，由Point Research Corporation申请，Santa Ana，CA 1995年3月。

专利文献2：Christopher Townsend和Steven Arms的美国专利6,834,436：Posture and body movement system(姿态和身体运动系统)。由MicroStrain，Inc.申请，Williston，VT，2002年2月。

发明内容

然而，历史已经证明，由于这些传感器对震动、温度、电噪声等的灵敏度，用惯性传感器获得准确的运动测量是相当困难的。例如，陀螺仪(角速率传感器)具有在非专利文献3中必须虑及的对温度的依赖性。由于这些装置将典型地具有影响其输出的任意偏移和比例因子，因此还需要校准。

此外，惯性传感器不具有对象的参考系的概念，并且测量总是与物理传感器相关。其一个例外是，适当定向的加速度计可以测量地球的重力场，因而提供一种确定向下方向的方法。为了使该方法奏效，该加速度计必须不能承受任何其他未知加速度。

因此，从上述问题的观点来看，期望使用惯性传感器执行活动识别，而不对惯性传感器相对于对象的参考系的取向提出任何预置条件，从而允许在实施用于活动识别的系统中更具有灵活性。

根据本发明的一个实施例，提供了一种用于确定对象活动的活动识别设备。该活动识别设备包括：传感器单元，该传感器单元包括多个被配置为检测线性运动的线性运动传感器以及多个旋转运动传感器，这些线性运动彼此正交，这些旋转运动彼此正交；以及计算单元，其被配置为接收和处理来自包括在传感器单元中的传感器的信号，以便确定对象的活动。该传感器单元直接或间接地由对象支撑，并且相对于对象具有任意取向；并且该计算单元执行处理，该处理利用来自线性运动传感器和旋转运动传感器的信号，以便不依赖于传感器单元的取向而确定活动。

根据本发明的另一个实施例，提供了一种确定对象的活动的活动识别方法。该方法包括：对三个正交轴上的加速度和围绕该三个正交轴的角速度进行采样；以及使用所有所采样的加速度和角速度确定对象的活动。在该方法中，通过集成到单个单元中的传感器检测加速度和角速度，其中该单个单元直接或间接地由对象支撑，并且相对于对象具有任意取向；以及通过使用加速度和角速度执行活动的确定，以便不依赖于传感器单元的取向而确定活动。

根据本发明的另一个实施例，提供了一种使计算机通过确定对象的活动而执行活动识别的程序、或者存储这种程序的记录介质、或者被编码为使计算机执行这种程序的信号。该程序包括：接收三个正交轴上的加速度和围绕该三个正交轴的角速度的数据；以及使用所有接收到的加速度和角速度的数据确定对象的活动。通过集成到单个单元中的传感器检测加速度和角速度，其中该单个单元直接或间接地由对象支撑，并且相对于对象具有任意取向；以及通过使用加速度和角速度执行活动的确定，以便不依赖于传感器单元的取向而确定活动。

在本发明的实施例中，该传感器单元直接或间接地由对象支撑，并且具有任意取向。换句话说，来自传感器单元的信号没有关于传感器相对于用户坐标的取向的信息。然而，整个传感器单元的不同运动对应不同的对象活动。

因此，可以通过检测整个传感器单元的运动，以及通过将所检测的运动与对应的对象活动或有关该活动的对应的运动特征相关联，从而不依赖于传感器单元的取向来确定对象的活动。

根据本发明，可能使用惯性传感器执行活动识别，而不对惯性传感器相对于对象的参考系的取向提出任何预置条件，从而允许在实施用于活动识别的系统中具有更高的灵活性。

附图说明

从以下结合附图对本发明的当前优选示例性实施例的描述中，本发明的上述和其他目的、特征和优势将变得更加明显，在附图中：

图1是根据本发明的实施例的活动识别设备的框图；

图2是根据本发明的实施例的活动识别设备的总体视图；

图3A和3B是用于不同使用情景的活动识别设备的示意图；

图4是根据本发明的实施例的物理模块(IMU)的总体视图；

图5是当使用参考运动X时确定IMU在用户身体上的位置的方法的处理流水线的概要图；

图6是跟踪IMU运动的方法的处理流水线的概要图；

图7是示出了用于直接计算铅锤模型中的四元表示所需的半角的正弦和余弦的几何结构的示意图；

图8A和图8B示出了运动特征的示例序列，并且图8C示出了根据本发明一个实施例的对两个序列的匹配；以及

图9是根据本发明一个实施例的用于比较运动特征的方法的计算单元的示意图。

具体实施方式

参考附图描述本发明的实施例。

图1示出了根据本发明一个实施例的用于确定对象活动的活动识别设备的配置例子。该设备包括传感器单元10和计算单元20。该传感器单元10包括多个被配置为检测线性运动的线性运动传感器以及多个旋转运动传感器，这些线性运动彼此正交，这些旋转运动彼此正交。计算单元20被配置为接收和处理来自包括在传感器单元中的传感器的信号，以便输出对象的活动。传感器单元10直接或间接地由对象支撑，并且相对于对象具有任意取向。该计算单元20执行计算，该计算利用来自线性运动传感器和旋转运动传感器的信号，以便不依赖于传感器单元的取向而确定活动。

该多个线性运动传感器可以是用于测量三个正交轴上的加速度的三个加速度计，并且该多个旋转运动传感器可以是用于测量围绕该三个正交轴的角速度的三个陀螺仪传感器。该计算单元20可以使用来自加速度计和陀螺仪传感器的六个输出，以便确定对象的当前活动。

该计算单元可以包括：缓冲器，其被配置为存储在预定的时间段由多组传感器输出形成的观测序列；存储器，其被配置为存储多个参考序列，该参考序列对应不同活动的运动特征；以及匹配处理器，其被配置为用观测序列匹配参考序列，以便找到最佳匹配参考序列。进而，该匹配处理器可以找到观测序列与参考序列之一之间的最优旋转和时间对应性，以便获得最佳匹配参考序列。

此外，参考序列可以包括表示隐藏马尔可夫模型(HiddenMarkov Model)中状态的多个向量；并且利用维特比(Viterbi)算法来执行观测序列和参考序列之间的匹配以获得最优状态路径。

作为替换，计算单元还可以通过计算来自线性运动传感器的信号的自相关和来自旋转运动传感器的信号的自相关，并且对这些自相关进行求和来获得总自相关函数，从而检测对象的步伐的速率；并且该总自相关函数可以用于确定对象步伐的速率。

作为替换，计算单元还可以通过借助对来自旋转运动传感器的信号进行积分而计算第一旋转，借助使用重力模型和来自线性运动传感器的信号而计算第二旋转，以及执行第一和第二旋转的加权插值，从而检测传感器单元的旋转。此外，如果来自旋转运动传感器的信号差异比较小，则用于第一旋转的权重比较大；并且如果来自线性运动传感器的信号差异比较小，则用于第二旋转的权重比较大。

作为替换，该活动识别设备还可以包括存储器，其被配置为存储用于参考活动的参考运动特征和相应位置。此外，计算单元还可以通过确定用来自传感器的信号表示的当前活动是否是参考活动，来检测传感器单元在对象上的位置，并且如果当前活动是参考活动，则用对应当前活动的运动特征匹配参考运动特征，以便确定对应于最佳匹配参考运动特征的传感器单元位置。

根据本发明的另一个实施例，提供了一种确定对象活动的活动识别方法。该方法包括：对三个正交轴上的加速度和围绕该三个正交轴的角速度进行采样；以及使用所有所采样的加速度和角速度确定对象的活动。此外，通过集成到单个单元中的传感器检测加速度和角速度，其中该单个单元直接或间接地由对象支撑，并且相对于对象具有任意取向；以及通过使用加速度和角速度执行活动的确定，以便不依赖于传感器单元的取向而确定活动。

根据本发明的另一个实施例，提供了使计算机通过确定对象活动而执行活动识别的程序。该程序包括：接收三个正交轴上的加速度和围绕该三个正交轴的角速度的数据；以及使用所有接收到的加速度和角速度的数据确定对象的活动。此外，通过集成到单个单元中的传感器检测加速度和角速度，其中该单个单元直接或间接地由对象支撑，并且相对于对象具有任意取向；以及通过使用加速度和角速度执行活动的确定，以便不依赖于传感器单元的取向而确定活动。

下面描述根据本发明的再一个实施例。在以下实施例中，提供了能够进行活动识别、并且包括传感器单元和计算单元的系统。在以下实施例中，假设传感器单元由人类对象“支持”，并且计算单元基于来自传感器单元的输出确定人类对象的当前活动的类型。

(1)系统概要

在本实施例中，如图2所示，使用六个自由度(DOF)的惯性传感器作为传感器单元10，以便对各种普通人类活动进行实时分类。在以下描述中，术语“传感器”表示6-DOF惯性传感器，并且“用户”表示携带或者佩戴该传感器的人类对象1。此外，术语“装置”表示将具有该传感器的惯性测量单元(IMU)与上述计算单元20组合起来的本系统，用于执行用户活动的分类方法的步骤。分类结果可以被输出或传送到应用程序。

虽然过去尝试过使用惯性传感器测量人类活动，定义特性的本系统的能力是在人类身体上的几乎任何地方以任何传感器取向完全自动地操作。在本实施例中，该系统包含用于用户活动和装置状态的不同方面的四种不同方法，每一种方法都可以在不对传感器取向提出任何预置条件的情况下执行。该方法包括用于步伐频率测量的方法21、用于在用户上定位该装置的方法22、用于运动跟踪的方法23、以及用于旋转不变的维特比匹配的方法24(见图2)。

该传感器可以由用户直接或间接地支撑或保持。例如，以下耦合方法(非穷举的)是可能的：

●用户将该传感器拿在手中。

●用户将该传感器携带在其佩戴的钱包或背包中。

●该传感器严格地或半严格地附着在用户的身体或服装上。

●该传感器挂在用户的脖子或腰上。

●该传感器被集成到用户的鞋、首饰、帽子、手套、便携式电子装置、或者其一般使用包括被用户佩戴或携带的任何其他物体的结构中。

●该传感器附着或放置在同时运载该用户的交通工具内。

即使在该传感器以任何的任意形式耦合到用户的情况下，只要传感器的运动与用户的运动具有关系，就可以应用本实施例。

(2)物理装置

为了对本实施例进行简单和具体的描述，假设6-DOF惯性传感器由测量x、y、和z方向的线性加速度，以及围绕x、y、和z轴的角速度的部件组成。然而，以下描述的方法可以一般地适应于用于测量6-DOF的其他方案。

在本实施例中，如图3A所示，该系统可以包括嵌入到主机装置30a中的传感器微片10a和计算单元20。传感器微片10a包括6-DOF惯性传感器10a-1和用于将传感器数据发送到计算单元20a的无线发射机10a-2。作为替换，可以设置存储器代替无线发射机10a-2，用于在某个时间段内存储传感器数据。当传感器微片10a连接到主机装置30a时，所存储的数据可以被传送到计算单元20a。

作为替换，包括6-DOF惯性传感器10b和计算单元20b的整个系统可以嵌入在如图3B所示的诸如蜂窝电话或便携式游戏设备的单个主机装置30b中。

(3)传感器信号调节和校准

以下，描述了对来自传感器的原始传感器数据的计算处理，以便实时地产生对用户活动的分类。首先，定义了表示传感器的原始输出的一些符号：

$u\left(t\right)=\left[\begin{array}{c}{s}_i\left(t\right)\\ s_j\left(t\right)\\ s_k\left(t\right)\end{array}\right]\∈R^3---\left(1\right)$

$\mathrm{\υ}\left(t\right)=\left[\begin{array}{c}{s}_{\mathrm{\θ}}\left(t\right)\\ s_{\mathrm{\φ}}\left(t\right)\\ s_{\mathrm{\ψ}}\left(t\right)\end{array}\right]\∈R^3---\left(2\right)$

来自装置的传感器的每个采样都包含式(1)和(2)中指定的六个值。u(t)传感器值与该装置沿i、j、和k轴的加速度线性地成比例。可以考虑例如通过MEMS加速度计或类似装置来测量这些值。v(t)传感器值与该装置围绕i、j、和k轴的角速度线性地成比例。可以考虑例如从MEMS陀螺仪或类似装置来获得这些值。图4示出，所有测量都相对于装置本身的本地坐标系(i-j-k)中的基础方向进行。

如果假设p(t)∈R³是该装置在任何世界坐标系(例如图4中的x-y-z)中的位置，g(t)∈R³是本地坐标系中的地球重力场的加速度，并且q(t)∈R³是装置在其本地坐标系中的取向，则可以写作：

$u\left(t\right)=A[{\▿}^{2}p\left(t\right)+g\left(t\right)]+u_0+{\∈}_u\left(t\right)---\left(3\right)$

$\mathrm{\υ}\left(t\right)=B\▿q\left(t\right)+{\mathrm{\υ}}_0+{\∈}_{\mathrm{\υ}}\left(t\right)---\left(4\right)$

所有梯度都是相对于该装置的本地坐标系而取的。A和B是3乘以3的缩放矩阵。对角元素指定将传感器输出(例如电压)转换成标准物理单位(例如m/s²和°/s)的比例因子(也称为灵敏度)。同时，非对角元素描述由轻微的未对准(例如，θ和φ陀螺仪之间的角度并不恰好为90°)引起的传感器之间的串话。由典型传感器表现出的任意偏移(也称为偏离)由u₀和v₀表示。为每个传感器指定包括量化噪声的传感器噪声，作为随机变量序列，∈_u(t)以及∈_v(t)。

式(3)和(4)描述了该装置的实际运动如何被转变成传感器测量结果。如果使用(3)和(4)中的表达式解决加速度和角速度，则可以获得下列表达式：

${\▿}^{2}p\left(t\right)=A^{-1}[u\left(t\right)-u_0-{\∈}_u\left(t\right)]-g\left(t\right)---\left(5\right)$

$\▿q\left(t\right)=B^{-1}[\mathrm{\υ}\left(t\right)-{\mathrm{\υ}}_0-{\∈}_{\mathrm{\υ}}\left(t\right)]---\left(6\right)$

信号校准包括确定A、u₀、B、及v₀的值。取决于在IMU内部使用的实际部件，这些值可以取决于制造条件、环境温度、驱动电压等。然而，只有用于运动跟踪的方法需要知道这些参数。这里给出的所有其他方法21-22和24可以使用未校准的传感器值。

最终，以给定速率对来自IMU的连续信号进行采样并且将其传送到计算单元，或者信号离开已经被数字化的IMU。对于此说明书的剩余部分，令r_imu是IMU输出的数字采样速率。因而，IMU的数字化输出可以被写作：

u[t]＝u(t/r_IMU)    (7)

υ[t]＝υ(t/r_IMU)    (8)

t＝0，1，2，...      (9)

(4)用于步伐频率测量的方法

此节描述了用于确定用户活动的我们的方法，诸如确定用户是步行还是跑还是没有运动，以及跟踪他/她的步伐的速率。此方法对装置在用户身体上的任何位置都有效。用于步伐检测和跟踪的此方法包括跟踪加速度传感器的输出中明显的重复运动的周期。

用于检测和测量周期性信号的周期的一般方法是通过寻找信号的自相关中的峰。为了看看加速度传感器输出的自相关u如何与IMU的实际加速度的自相关

关联，可以将第i帧的(多元)自相关写作：

$u*u=\underset{i=0}{\overset{N_{\mathrm{gait}}}{\mathrm{\Σ}}}u\left[i\right]\·u[i+t]---\left(10\right)$

$={\mathrm{\φ}}_1+{\mathrm{\φ}}_2+{\mathrm{\φ}}_3$

其中^＊表示互相关操作符，并且

${\mathrm{\φ}}_1=(A{\▿}^{2}p*A{\▿}^{2}p)+(\mathrm{Ag}*\mathrm{Ag})$

${\mathrm{\φ}}_2=2(A{\▿}^{2}p*\mathrm{Ag})$

${\mathrm{\φ}}_3=2(A{\▿}^{2}p*{\mathrm{\ϵ}}_u+A{\▿}^{2}p*u_0)+$

$2(u_0*{\∈}_u)+(u_0*u_0)+({\∈}_u*{\∈}_u)$

式(10)的第一项φ₁是包含IMU的加速度和重力(仅取决于IMU的取向)的周期性的最重要的项。第二项φ₂是加速度和重力之间的互相关。对于涉及人类身体的任何种类的自然重复运动，相当地保证g(t)和

具有相同周期性，因而建设性地相加其自相关φ₁以及互相关φ₂。最终项φ₃包括很多项噪声和偏移的相关。这些相关将不显示出任何周期性，并且仅简单地向式(10)的最终自相关添加噪声和常数偏离。陀螺仪传感器输出的自相关的有效性v遵从刚好相同的论点。

在实践中，选择在其上实行自相关分析的小的时间间隔，并且选择执行该分析的速率。令T_gait是用于一个步伐分析帧(例如传感器数据的区间)的时间长度，并且令r_gait是步伐分析的速率。因而，在式(10)中，

是一个分析帧中的向量数目。

本发明包括计算u和v的自相关，并且对结果求和以便得到IMU的总运动的总自相关函数(SACF)：

ρ[t]＝(u＊u)[t]+(υ＊υ)[t]    (12)

对于效率和瞬时清晰度的改进，使用Wiener-Khinchin定理以计算加窗的自相关。总的来说，如果x[t]是任意序列，X[ω]＝F{x}是离散傅立叶(Fourier)变换(DFT)，并且W[ω]＝F{W}是窗口(诸如Hamming窗)函数的DFT，则：

$x*x=F\left\{\right|W*X{|}^2\}---\left(13\right)$

使用快速傅立叶变换(FFT)计算式(13)中的DFT得到对于式(12)中自相关的非常有效的计算。

ACF的峰对应数据中任何循环运动的周期。然而，由于ACF还将包括任何循环的真实周期的整数倍数处的峰，使用类似于非专利文献11中介绍的峰剪除过程，以便计算增强的总自相关函数(ESACF)。此峰剪除技术如下：

                               

剪除-谐波(PRUNE-HARMONICS)(SACF)返回ESACF

1.将SACF钳位为正值。

2.通过两倍的因子进行加密采样和插值。

3.从所钳位的原始值中减去加密采样版本。

4.再次钳位为正值。

5.以素数因子次数3、5、7等重复2-4。

此过程的目的是顺序除去每个峰的所有倍数，因而仅留下基本周期。

现在，如果选择了最高峰(用于非零延时)和阈值，可能确定何时具有循环运动(例如步行)，以及其以何种频率(pitch)发生。如果τ^＊是ESACF中的最高峰的滞后，则步态的频率为：

$P_{\mathrm{gait}}=\frac{{\mathrm{\τ}}_{\mathrm{IMU}}}{{\mathrm{\τ}}^{*}}---\left(14\right)$

如果没有超过某个阈值(定义为分析区间中的信号中的能量百分比)的值的峰，则该系统可以产生该用户没有在步行或跑的报告(步伐频率＝0Hz)。由于步伐频率随时间改变，对于每个连续分析区间，重复进行以上分析，以r_gait的速率产生步伐频率估计。

(5)用于运动跟踪的方法

在此节中，提供了用于无论装置的取向如何改变或移动而跟踪下行方向并且连续前进的方法23。此方法假设来自IMU的输出已经被校准。

陀螺仪感测数据的3轴包括足够的信息以便跟踪IMU的取向。然而，所有陀螺仪都遭受漂移的积累和其他类型误差的问题。因而，仅使用陀螺仪信息跟踪取向虽然在短期内相当准确，但是导致长期的大的跟踪误差。

3轴加速度感测数据包括关于地球重力牵引的方向的信息。可以使用地球重力牵引方向的知识以便最多在两个自由度上无漂移地跟踪IMU的取向。以此种方式仅使用加速度计的问题在于，当IMU被进行作用(由某种外力移动)时，对地球重力牵引的估计不正确。

人类用恒定加速度或速度运动或移动另一对象是很难的，也是不自然的。类似地，对于旋转，人类很难用恒定角速度旋转或者旋转另一对象。

为了稳健地估计向下方向，当加速度计信号为恒定时，优选地更加依赖于加速度测量，因为很可能人类并没有作用于该装置。相反，当加速度计信号不恒定时，优选地更加依赖于陀螺仪测量结果。

该原理也应用于陀螺仪信号的在线归零。换句话说，当陀螺仪测量结果恒定时，优选地对陀螺仪测量结果进行归零。幸运地，当主要依赖于加速度测量结果用于跟踪时，这也是正确的。

图6示出了用于运动跟踪方法的计算流水线。来自包括传感器的IMU 40的线性加速度数据410用于计算仅有重力作用于IMU 40的置信度412，并且作为到铅锤模型414的输入(后面将解释)。来自IMU40的角速度数据420用来计算IMU 40没有旋转的置信度422，并且作为到陀螺仪整合(integration)模块424的输入。

铅锤模型(Plumb Model)414和陀螺仪整合424输出对IMU的取向的单独估计，即Q_铅锤和Q_陀螺仪(将在后面描述)。接着使用置信度分数组合Q_plumb和Q_gyro以一个对另一个加权(430)，以便执行加权插值，以计算估计的IMU取向。陀螺仪整合计算相对于前一时间步的取向的取向，因而需要反馈。

铅锤模型414给出了对取向的绝对估计，因而不需要反馈。

(5.1)铅锤模型

铅锤模型使用地球重力牵引来测量取向，尽管只有两个自由度。简短地说，此模型输出将当前向下向量映射到IMU 40的坐标系中的单位参考向量r的旋转(见图4)。可以任意选择此参考向量，或者可以在归零过程中选择此参考向量。所得旋转用四元数组形式给出：

$Q_{\mathrm{plumb}}\left[t\right]=\left[\begin{array}{c}{a}_x\left[t\right]\sin \left(\mathrm{\θ}\right[t]/2)\\ a_y\left[t\right]\sin \left(\mathrm{\θ}\right[t]/2)\\ a_z\left[t\right]\sin \left(\mathrm{\θ}\right[t]/2)\\ \cos \left(\mathrm{\θ}\right[t]/2)\end{array}\right]---\left(15\right)$

其中a[t]＝(a_x[t]，a_y[t]，a_z[t])^T是旋转轴，并且θ[t]是旋转角。向下向量正好是归一化的线性加速度(假设没有重力以外的力作用在IMU 40上)：

$d\left[t\right]=\frac{u\left[t\right]}{\sqrt{u{\left[t\right]}^{T}u\left[t\right]}}---\left(16\right)$

参考向量和向下向量的向量积给出了旋转轴：

a[t]＝d[t]×r    (17)

从图7直接计算sin(θ[t]/2)和cos(θ[t]/2)(不使用很难在嵌入式应用中实施的反三角函数)：

$\sin \left(\mathrm{\θ}\right[t]/2)=\frac{|r+d[t\left]\right|}{2}---\left(18\right)$

$\cos \left(\mathrm{\θ}\right[t]/2)=\frac{|r-d[t\left]\right|}{2}---\left(19\right)$

(5.2)陀螺仪整合

陀螺仪整合的角速度测量是直接的。需要IMU的前一取向Q[t-1]作为输入。首先，每个轴向旋转被表示为本地坐标中的四元数组旋转(图4中的i-j-k)：

q_i＝(cos(s_θ[t]/2)，(1，0，0)^Tsin(s_θ[t]/2))(20)

q_j＝(cos(s_φ[t]/2)，(0，1，0)^Tsin(s_φ[t]/2))(21)

q_k＝(cos(s_ψ[t]/2)，(0，0，1)^Tsin(s_ψ[t]/2))(22)

然后，使用IMU的前一取向Q[t-1]，这些本地四元数组被旋转为世界坐标系：

Q_i＝(cos(s_θ[t]/2)，Q[t-1](1，0，0)^TQ[t-1]^-1sin(s_θ[t]/2))(23)

Q_j＝(cos(s_φ[t]/2)，Q[t-1](0，1，0)^TQ[t-1]^-1sin(s_φ[t]/2))(24)

Q_k＝(cos(s_ψ[t]/2)，Q[t-1](0，0，1)^TQ[t-1]^-1sin(s_ψ[t]/2))(25)

并且将其组合为表示下一取向的一个四元数组。

Q_gyro[t]＝Q_iQ_jQ_k    (26)

(6)用于比较运动特征的方法

此节中呈现的方法24(见图2)解决如何比较使用具有未知取向的IMU而收集的未同步运动特征的问题。例如，典型应用将需要将实时信号与运动特征的数据库进行匹配。然而，IMU的取向可能与用于产生数据库中的运动特征的IMU的取向任意地不同。此外，必须确定使测试信号与数据库中的运动特征在时间上对准的正确方法。

为了找到最优旋转、以及两个运动特征之间的时间对应性，设计了根据本实施例的旋转不变维特比算法(RIVIT)。假设正在考虑的两个序列由其列是加速度和角分量的堆叠值的矩阵表示，

$X=\left(\begin{array}{c}{U}_X\\ V_X\end{array}\right)=\left(\begin{array}{ccc}{u}_X\left[0\right]& \·\·\·& u_X[T_X-1]\\ {\mathrm{\υ}}_X\left[0\right]& \·\·\·& {\mathrm{\υ}}_X[T_X-1]\end{array}\right)---\left(27\right)$

$Y=\left(\begin{array}{c}{U}_Y\\ V_Y\end{array}\right)=\left(\begin{array}{ccc}{u}_Y\left[0\right]& \·\·\·& u_Y[T_Y-1]\\ {\mathrm{\υ}}_Y\left[0\right]& \·\·\·& {\mathrm{\υ}}_Y[T_Y-1]\end{array}\right)$

序列X和Y的长度分别是T_X和T_X。

图8A和图8B示出了可能具有不同长度以及其间具有任意旋转的两个多维序列的例子。这个具体的例子是坐下动作的运动特征的序列，但是在每种情况下，IMU的取向都不同。此外，图8A中的坐下运动比图8B中的快。

为了计算对于某种任意旋转和某种任意时间规整的这两个序列之间的相似性，该问题可以被陈述为通过作为旋转矩阵R以及对应性矩阵C的自由参数，将以下测量最小化：

D_R，C(X，Y)＝tr((Y-RXC)′(Y-RXC))    (28)

其中符号“′”意味着转置矩阵。对应性矩阵是将X的时间维度(列)映射到Y的时间维度(列)上的特殊种类的投影矩阵。假设我们有一个函数c(t)，该函数将{0，1，...，T_X-1}中的每个整数分配给{0，1，...，T_Y-1}中的整数。其对应性矩阵可以构建如下：

$C_{\mathrm{ij}}=\left\{\begin{array}{cc}0& c\left(i\right)\≠j\\ 1& c\left(i\right)=j\end{array}\right.---\left(29\right)$

在最小化D_R，C(X，Y)的同时，优选地将C限制为其中对应的c(t)非下降的矩阵。图8C给出了可能映射的例子。最优C映射确定X应该如何伸展和压缩(可能删除一些部分并且重复另一些部分)，以便与Y对齐。最优旋转矩阵R确定X中的全部向量应该如何旋转，以便它们匹配Y中的向量。

在此使用的最小化表达式(28)的方法称为坐标下降法(非专利文献1)。它是简单的迭代方法，容易适应于并行计算。该想法是在每个迭代中沿一个单个轴最小化误差函数。可以看出，这大大简化了最小化问题，并且当通过每个轴循环，连续地最小化每个坐标时，已知该式将收敛到局部最小值。如果对R和C没有限制，则由于D_R，C(X，Y)是凸的，此局部最小值也将是全局最小值。然而，在本实施例中具有限制，因此只能保证局部。在下一节中，描述了如何对于每个轴R和C最小化该误差函数。

(6.1)通过R最小化D_R，C(X，Y)

提供一种用于仅通过R最小化D_R，C(X，Y)的简单方法。让我们定义：

$R^{*}\left(C\right)\≡\underset{R}{\arg \min }{D}_{R,C}(X,Y)---\left(30\right)$

对此最小化问题的解公知为极分解(见非专利文献6中的详细推导)，并且该解是：

R＊(C)＝VU′    (31)

从XCY′＝UDV′的奇异值分解(SVD)获得矩阵V和U。应该注意XCY’的大小为6乘以6，因此SVD的代价与序列长度无关。

本申请的发明人发现，限制R是有益的，使得将相同旋转施加到陀螺仪和加速度计分量。这意味着希望R的结构是如下的块对角矩阵：

$R=\left(\begin{array}{cc}Q& 0\\ 0& Q\end{array}\right)---\left(32\right)$

其中Q是3乘以3的旋转矩阵。可以通过计算Q＝VU′容易地满足此限制，但是这一次，V和U是从U_XCU_Y′+V_XCV_Y′＝UDV′的SVD获得的。

(6.2)通过C最小化D_R，C(X，Y)

还有一种使用动态时间规整(DTW)仅通过C最小化D_R，C(X，Y)的方法。如同前面，让我们定义：

$C^{*}\left(R\right)\≡\underset{C}{\arg \min }{D}_{R,C}(X,Y)---\left(33\right)$

计算基础映射函数c(t)，而不是直接作为矩阵寻找C。令Y序列的向量表示具有左-右拓扑的隐藏马尔可夫模型(HMM)中的状态。使用维特比算法，用序列X与HMM进行匹配，以提供最优路径序列。第i HMM状态(表示Y的第i个向量)在X的第j向量上的分数被计算为平方欧几里德(Euclidean)距离：

logP(s_t＝i|Y_i，X_j)＝-(RX_j-Y_i)′(RX_j-Y_i)(34)

这等效于使用中心为X的向量的单位方差高斯(unit varianceGaussian)，以便表示每个HMM状态的输出分布，s_t∈{0，1，...，TY-1}。跃进概率为：

$\log P(s_t-i|s_{t-1}=j)=\left\{\begin{array}{cc}\log \&Element;& j<i\\ -\log 2& j=i\\ -\frac{K{(i-j-1)}^2}{r_{\mathrm{IMU}}}& j>i\end{array}\right.---\left(35\right)$

其中K是通过实验确定的常数(在我们的实验中近似为(100/128)Hz)，并且ε是某个非常小的数。作为替换，跃进概率可以通过使用训练数据来确定。

使用具有上述指定参数的HMM来表示Y，以及观测序列表示X，使用标准维特比算法来寻找贯穿HMM的最优(最大似然)状态路径{s_t ^＊}。根据c(t)＝s_t ^＊，此状态路径把X中的每个向量分配给Y中的向量。接着，可以直接从c(t)计算此对应性矩阵，如上所述。应该注意，在实际实施中，通过直接使用c(t)，更加有效率地计算矩阵乘积XC，以便从X构建XC。

(6.3)确定初始条件

如同所有下降方法，坐标下降方法需要用于至少一个坐标的初始值。通过坐标下降找到的局部最小值的质量对此初始值高度敏感。D_R，C(X，Y)的最优化开始于对C的初始猜测。使用与(6.2)节相同过程计算C的初始值，但是式(34)由下式替换：

logP(s_t＝i|Y_i，X_j)＝-(X_j·X_j-Y_i·Y_i)²    (36)

因此对旋转矩阵R不具有依赖性。在这种方法中，不需要旋转矩阵来寻找X和Y之间的近似映射c(t)。

(6.4)计算X和Y之间的失真

以下，呈现了用于最小化误差函数从而计算两个运动特征之间的失真测量的过程，该过程称为失真(DISTORTION)。令i表示迭代，C⁰表示如(6.3)节中所计算的对C的初始猜测，并且ε是用来检测收敛的停止的判据：

R^＊(C)和C^＊(R)分别是(6.1)和(6.2)节中给出的过程。总的来说，失真过程利用以上概述的坐标下降方法通过R和C计算D_R，C(X，Y)局部最小值。返回的值D^final是对X和Y之间的不相似性的测量，该测量对任何旋转或时间规整都是不变的。

(6.5)装置配置

此节中描述的用于比较运动特征的方法可以通过计算单元20实现，该计算单元20可以包括用于执行该方法的处理步骤的CPU和存储器。更具体地，例如，该计算单元20可以包括缓冲器22、旋转不变维特比(RIVIT)处理部24、隐藏马尔可夫模型(HMM)存储器26、以及输出部28。

缓冲器22接收并存储采样的传感器输出以构建观测序列X，该观测序列X表示与对象的当前活动对应的运动特征。观测序列X被送到用于寻找最优旋转和与序列Y(由存储在HMM存储器26中的HMM表示的序列之一)的时间对应性的RIVIT处理部24。在RIVIT处理部24中，可以首先确定最优旋转，然后接着可以通过使用维特比提供最优路径序列，通过用序列X与HMM进行匹配，从而确定最优时间对应性。

输出部28接收匹配结果，并且作为活动识别结果输出表示用户当前活动的信号。在本实施例中，假设可以事先对活动加标记或进行分类，并且与HMM的序列或状态进行映射。映射表可以被存储在输出部28中，或者可以对HMM的序列或状态进行标记。

(7)用于确定身体上的传感器位置的方法

在本节中，说明用于估计IMU相对于用户身体的位置的方法22。取决于IMU处于用户身体的何处，诸如在兜里、拿在左手中、在脖子上等，用户的任何给定运动将产生不同的测量。相同动作的这些测量差异可以用于推导出IMU的位置。当然，为此，一些类型的运动比另一些好。例如，仅涉及左手的运动不能用于区分IMU在用户的左兜中的情形和IMU在用户的右兜中的情形。然而，如步行的运动除左右对称性之外产生对用户全身都唯一的测量。

在此节中，用来确定IMU位置的运动或运动被称为参考运动。假设任意参考运动X的整体处理流水线在图5中描绘。

参考运动的位置不变检测器用来选通IMU(50)的输出，并且以此方式，包括参考运动的测试特征的序列到达下一模块24。例如，如果参考运动是步行，则可以使用用于步伐频率测量的方法21(第(4)节)作为位置不变检测器。

在模块24中，对于各个位置，用测试特征与参考运动特征的无遗漏数据库54匹配。最佳匹配指示IMU的估计位置。对于运动特征的一般匹配，可以使用第(6)节中的方法。还可能自定义设计用于具体参考运动的匹配算法，特别是如果是诸如步行的周期性运动。

根据本实施例，在其最基本的例子中，该装置连续地输出其所计算的作为用户刚刚执行的或正在执行的运动。其具体输出的内容由可供该装置用于匹配的运动数据库来确定。此运动数据库可以是静态的或者是动态的，取决于应用需要。

还可能在一种配置中使用该装置，在该配置中，该装置不附着于任何人类用户，而是附着于机器或任何运动对象。这种例子包括交通工具(诸如自行车、汽车、和船)、制造设备(诸如机器人臂和CNC机器)、植物和动物(诸如狗和猫)、货物(诸如蛋的筐或不稳定液体的桶)。

可以直接使用分类结果来驱动应用程序，该应用程序需要基于用户作了什么或该时刻正在做什么而配置其自身。这些类型的应用程序被称为情境感知，并且在这种情况下，其情境感知由该装置来使其有效。

本发明包含关于2005年6月9日向日本专利局申请的日本专利申请JP 2005-169507的主题，该申请的全部内容作为参考在此引入。

本领域中的技术人员应该理解，可以取决于设计需要和其他因素发生各种修改、组合、次组合、以及替换，只要它们在所附权利要求书或其等效物的范围内。

Claims (8)

1.一种用于检测对象的活动的活动识别设备，该设备包括：

传感器单元，该传感器单元包括多个被配置为检测线性运动的线性运动传感器，以及多个被配置为检测旋转运动的旋转运动传感器，这些线性运动彼此正交，这些旋转运动彼此正交；以及

计算单元，其被配置为接收和处理来自包括在传感器单元中的传感器的信号，以便检测对象的活动；

其中该传感器单元被配置为直接或间接地由对象支撑，并且相对于对象具有任意取向；

该计算单元被配置为执行计算，该计算利用来自线性运动传感器和旋转运动传感器的信号，以便不依赖于传感器单元的任意取向而确定对象的活动；以及

该计算单元进一步被配置为通过借助对来自旋转运动传感器的信号进行积分而计算第一旋转，借助使用重力模型和来自线性运动传感器的信号而计算第二旋转，并且执行第一和第二旋转的加权插值，来检测传感器单元的旋转。

2.根据权利要求1所述的活动识别设备，其中：

该多个线性运动传感器是用于测量三个正交轴上的加速度的三个加速度计；

该多个旋转运动传感器是用于测量围绕该三个正交轴的角速度的三个陀螺仪传感器；以及

该计算单元使用来自该加速度计和该陀螺仪传感器的六个输出，以确定对象的当前活动。

3.根据权利要求1或2所述的活动识别设备，其中：

该计算单元包括：

缓冲器，其被配置为存储由预定时间段内多组传感器输出形成的观测序列；

存储器，其被配置为存储多个参考序列，该参考序列对应不同活动的运动特征；以及

匹配处理器，其被配置为用观测序列匹配参考序列，以便找到最佳匹配参考序列；

其中匹配处理器寻找在观测序列和参考序列之一之间的最优旋转和时间对应性，以便获得最佳匹配参考序列。

4.根据权利要求3所述的活动识别设备，其中：

该参考序列包括表示隐藏马尔可夫模型中状态的多个向量；以及

使用维特比算法执行观测序列和参考序列之间的匹配以便获得最优状态路径。

5.根据权利要求1或2所述的活动识别设备，其中：

该计算单元还通过计算来自线性运动传感器的信号的自相关和来自旋转运动传感器的信号的自相关，并且对这些自相关求和以获得总自相关函数，从而检测对象步伐的速率；以及

该总自相关函数用于确定对象步伐的速率。

6.根据权利要求1或2所述的活动识别设备，其中：

如果来自旋转运动传感器的信号的差异较小，则用于第一旋转的权重较大；以及

如果来自线性运动传感器的信号的差异较小，则用于第二旋转的权重较大。

7.根据权利要求1或2所述的活动识别设备，还包括：

存储器，其被配置为存储用于参考活动的参考运动特征和相应的位置；其中

该计算单元还通过以下方式来检测传感器单元在对象上的位置：通过确定来自传感器的信号所表示的当前活动是否是参考活动，并且如果当前活动是参考活动，则用对应当前活动的运动特征与参考运动特征匹配，以便确定与最佳匹配参考运动特征对应的传感器单元的位置。

8.一种确定对象的活动的活动识别方法，该方法包括：

对三个正交轴上的加速度和围绕该三个正交轴的角速度进行采样；以及

使用所有所采样的加速度和角速度确定对象的活动；

其中通过集成到单个传感器单元中的多个线性运动传感器和多个旋转运动传感器检测加速度和角速度，其中该单个传感器单元直接或间接地由对象支撑，并且相对于对象具有任意取向；以及

其中通过使用加速度和角速度执行该活动的确定，以便不依赖于传感器单元的取向而确定活动；

其中，通过借助对来自旋转运动传感器的信号进行积分而计算第一旋转，借助使用重力模型和来自线性运动传感器的信号而计算第二旋转，以及执行第一和第二旋转的加权插值，来检测传感器单元的旋转。

Images