CN104135911A - 多轴线活动监测装置中的活动分类 - Google Patents

Abstract

在此披露一种活动分类装置。该活动分类装置包括一个或多个运动传感器和配置成用于接收来自该一个或多个运动传感器的信号的一个存储器。该装置进一步包括与该存储器通信的一个处理器。最后，该装置包括由该处理器执行的一种分类算法，该分类算法用于识别用户正在进行的活动。该存储器还可以记录一个用户活动日志、卡路里计数以及一个RF模块，该RF模块应请求或连续地将所记录的数据传送至一个主机。

Description

多轴线活动监测装置中的活动分类

相关申请的交叉引用

本申请要求于2012年1月9日提交的标题为“多轴线活动监测装置中的活动分类(ACTIVITY CLASSIFICATION IN A MULTI-AXISACTIVITY MONITOR DEVICE)”的美国临时专利申请号61/584,710的根据35USC119(e)的权益，该申请通过引用以其全文结合在此。

发明领域

本发明总体涉及使用传感器的监测装置，并且更确切地，涉及利用此类装置对活动进行分类。

发明背景

用于提供惯性活动分类的装置在各种环境中得到利用。这些装置可以包括加速度计。典型地，这些装置记录或传送用于基于从加速度计导出至主机装置以进行处理的特征来对活动进行分类的数据。

然而，在诸如膝上型计算机、平板型计算机、智能手机等便携式装置应用中，限制功率消耗是重要的。因此，所需的是一种在监测装置中提供活动分类的准确、低功率并且具有成本效益的系统和方法。本发明解决了这种需要。

本发明披露了一种装置。该装置包括一个或多个运动传感器和配置成接收来自该一个或多个运动传感器的信号的一个存储器。该装置进一步包括与该存储器通信的一个处理器。最后，该装置包括由该处理器执行的一种分类算法，该分类算法用于识别活动。该装置还可以包括用于记录诸如活动日志和卡路里计数(除其他数据之外)的数据的一个存储单元。在一个实施例中，该传感器可以包括(射频)RF模块，以便应请求或连续地将所记录的数据以无线方式传送至主机。

附图简要说明

图1是根据一个实施例的利用一种活动分类算法的一个系统的框图。

图2A是根据一个实施例的其中一个以上处理器正在操作的一个活动分类系统的图解。

图2B是根据一个实施例的其中在无线环境中利用一个以上传感器的一个活动分类系统的图解。

图3示出了犹如它是一块手表一样佩戴的一个活动分类装置的一个实施例。

图4示出了用于被利用来识别多种活动的决策树生成的一种算法的一个实例。

图5示出了根据一个实施例的用于加速度计变化跟踪的功率管理过程。

详细说明

本发明总体涉及监测装置，并且更确切地，涉及利用此类装置对活动进行分类。以下描述被展示以使得本领域的普通技术人员能够制作和使用本发明，并且提供在专利申请及其要求的背景中。对在此描述的优选实施例及通用原理和特征作出的各种修改对于本领域的技术人员而言将是容易明白的。因此，本发明并非意在局限于所示实施例，而是要符合与在此描述的原理和特征相一致的最广泛范围。

根据本发明的一种系统和方法描述了：一种惯性活动分类装置，该装置包括诸如加速度计、陀螺仪、温度传感器、压力传感器、磁力计或麦克风的传感器的任意组合；和一种用于基于从惯性数据导出的特征对活动进行分类的方法；以及连续报告从身体活动导出的一种活动的能力。

在一个实施例中，该系统和方法通过以下方式提高了多传感器惯性活动分类装置的长期耐久性：提供一种用于功率管理的决策方案，从而允许使用功率相对较高的器件(诸如陀螺仪)，以便进行更为准确的感测和活动分类而不会造成相关联的电池寿命减少。

根据一个实施例的一种系统和方法还通过以下方式提高装置的准确性：能够识别运动的步行、慢跑以及跑步阶段，以便提高所报告的用于卡路里计数目的的数据的相关性，并且还舍弃所计数的步伐数量中的假阳性“步伐”。活动的识别允许该装置更为准确地跟踪步行、跑步等时的步伐，而舍弃在震动、驾驶或其他非活动性运动过程中所记录的“步伐”。因此，允许基于一种活动在适当时间报告运动跟踪信息，如步伐数量。

为了更加详细地描述本发明的特征，现在结合附图参考以下描述。

图1是根据一个实施例的利用一种活动分类算法100的一个系统10的框图。系统10包括一个装置11。装置11可以包括任何类型的移动装置，包括但不限于：手机、平板PC或其他类型的便携式电子装置。装置11从多个传感器如一个或多个磁力计12、一个或多个加速度计14以及一个或多个陀螺仪16接收输入数据。虽然这些传感器12、14以及16示出为在装置11外部，但本领域的普通技术人员容易认识到，这些传感器可以在装置11内部，并且这将在本发明的精神和范围内。

装置11包括用于存储数据的存储器18。在所描述的实施例中，传感器是指磁力计12、加速度计14或陀螺仪16。数据20存储来自该一个或多个传感器的数据。根据本发明，存储器18还包括算法100。算法100可以包括用于但并不限于活动分类和传感器融合的软件代码。在所描述的实施例中，传感器融合可以包括：合并来自磁力计12、加速度计14以及陀螺仪16的数据，并且生成传感器融合数据。一个处理器24执行对从这些传感器接收到的数据进行运算的算法100。该处理器24提供传感器融合数据19。传感器融合数据19提供装置的取向信息。

根据本发明利用一种活动分类算法100的一个系统可以采用完全硬件实现、完全软件实现或同时包含硬件和软件元素的实现的形式。在一种实现方式中，此活动分类算法以软件来实现，该软件包括但不限于：应用软件、固件、常驻软件、微代码等。

此外，活动分类算法100可以采用一种计算机程序产品的形式，该计算机程序产品是从提供以下程序代码的一种计算机可用或计算机可读介质可访问的，该程序代码用于由或结合计算机或任何指令执行系统使用。为了本说明书的目的，一种计算机可用或计算机可读介质可以是可包含、存储、传达、传播或传输以下程序的任何设备，该程序用于由或结合该指令执行系统、设备或装置使用。

该介质可以是一种电、磁、光、电磁、红外或半导体系统(或设备或装置)或一种传播介质。计算机可读介质的实例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘以及光盘。光盘的当前实例包括DVD、光碟-只读存储器(CD-ROM)以及光碟-读/写(CD-R/W)。为了更为详细地描述本发明的特征，现在结合附图参考以下描述。

在一个实施例中，一种惯性活动分类装置包括：诸如加速度计、陀螺仪、温度传感器、压力传感器、磁力计或麦克风的传感器的任意组合；和一种用于基于从惯性数据导出的特征对活动进行分类的算法；以及连续报告从身体活动导出的活动的能力。根据一个实施例的一种系统依赖于多个传感器和一种活动分类算法，以便提高活动辨别结果的准确性。包括一个传感器具有提高准确性、稳定性或算法性能的效果。

图2A是根据一个实施例的其中一个以上处理器正在操作的一个活动分类系统100的示意图。在一个实施例中，部件包括一个或多个传感器102、原始数据104、活动分类算法100以及一个或多个处理器108a至108n。传感器组可以是1轴线、2轴线或3轴线加速度计，1轴线、2轴线或3轴线陀螺仪，1轴线、2轴线或3轴线磁力计，压力传感器，温度传感器以及麦克风的任意组合。

这种活动还可以在其中存在由用户佩戴在身体各部分上的一个或多个传感器的一个实施例中使用。图2B是根据一个实施例的其中在无线环境中利用一个或多个传感器的一个活动系统150的示意图。

如所见的，该活动系统包括与一个主机系统165无线通信的两个传感器系统160a和160b。主机系统165可以无线连接至任意数量的传感器系统上。在一个实例中，传感器系统160a可以附接至一位用户的手臂上，并且传感器系统160b可以联接至该用户的腿上。每个传感器系统160a和160b对应地包括一个传感器170a和170b以用于接收活动数据。每个传感器170a和170b对应地联接至从传感器接收活动数据的一个处理器172a和172b。每个处理器172a和172b然后向其对应无线电装置174a和174b提供该数据。无线电装置174a和174b将该数据无线传送至主机系统165。主机系统165包括接收来自无线电装置174a和174b的数据的一个无线接收器176和执行活动分类算法100'的一个处理器178。

在另一个实施例中，传感器系统和主机系统可以由导线连接。在另一个实施例中，主机系统可以驻留在一个传感器系统上并且连接至其他传感器系统上。

图3示出了犹如它是一块手表一样佩戴的一个活动分类装置200。活动分类装置200绑系至一位用户身上，并且被设计用于便携式媒体装置。在操作中，装置200内的一个可佩戴模块的微控制器采集来自装置200内的诸如陀螺仪和或加速度计的惯性传感器的数据，从而根据每一数据计算出一组特征。在一种实现方式中，包括了：从信号源计算出的信号均值、标准偏差、能量以及熵；原始加速度计大小、原始陀螺仪大小、以及利用以下算式(calculator)从一组库得到的所计算出的信号，该组库提供用于运动处理的数据，如：线性世界坐标系加速度(X，Y，Z)、线性本体坐标系加速度(X，Y，Z)、角度世界坐标系速率(X，Y，Z)、角度本体坐标系速率(X，Y，Z)。

方程式1

均值和标准偏差是源信号的平均值和典型变化的简单量度。能量和熵是使用FFT的频率空间变换的量度结果。能量是从频率信息得到的信号“能量”的量度(即，稳定状态或DC信号具有0能量)，而熵(也称为“谱熵”)是信号频率分开多宽的一个量度(较低值表明较少频率，而较高值表明源信号中存在多个频率)。例如，这些特征可以使用以下方程式在一个10秒数据采集周期(近似100 Hz数据采集速率下的1024个数据点)内计算出：

方程式2

方程式3

方程式4

方程式5

其中n＝采集周期内的样本数量，并且FFTx包含原始信号的快速傅里叶变换的元素。

返回参照图2，在一个实施例中，该装置内计算出的信号特征或原始数据104可以被传送至一个主机装置108a至108n或其他基于微控制器的系统(其中可对这些特征进行实时计算)。所要求的处理能力主要由进行信号FFT的能力决定。虽然非本发明所要求，但包括基于FFT的特征提高了系统的准确性并且提高计步器特征的性能。

基于FFT结果，或其他变换(即小波变换(常用于图像压缩技术)、运行长度编码、微分、积分或这些技术的组合)，可以增加另外的特征。

使用这些特征，可以将活动彼此区分开来，以用于分析用户是否正在佩戴该装置，并且检测该用户正在进行什么活动。例如，当活动在站立、步行、跑步之间转变，特征的值增大，并且可以为一个特征创建一条简单规则。如果加速度计标准偏差高于某一阈值A，那么用户被假定为正在跑步；否则，如果加速度计标准偏差高于阈值B，那么用户被假定为正在步行，否则用户被假定为正在站立并且因此，没有“步伐”应当被记录，因为步伐很可能因另一类型的活动而发生。在具有每10秒所采集的数据的一个独立特征集合的情况下，可以创建将一种活动识别至这些类别之一中的许多规则。

图4示出了用于被利用来识别多种活动的决策树400生成的一种算法的一个实例。为提高该方法的性能和准确性，可以应用现代机器学习和统计处理技术。例如，该算法可以应用于在“步行”、“跑步”、“爬楼梯”或诸如“挥舞”、“震动”、“坐下”、“驾驶汽车”等不与步伐相关联的多种其他活动过程中采集的先前已分类的数据集。存在已公布的诸如C4.5的算法，C4.5使用一种基于使通过使用一个特定特征获得的信息熵最大化来选择特征以对数据进行分类的技术。

使用C4.5，可以生成一个决策树400，以便以高准确度(典型地95％以上)对从惯性传感器值计算出的当前感测到的特征进行分类。决策树400可以在该装置自身上计算出，或者作为一个后过程或预过程计算出，在该后过程或预过程中，基于先前采集的数据对决策树400进行分类，然后将决策树400编程或“硬编码”到该装置自身中。理想地，用户将已被“训练”至分类器集中，以使用户活动分类的性能和准确性最大化，虽然在具有足够的相似用户样本的情况下，不要求“训练”。在一个训练集内包括大量用户创建了一个广义分类器，这改善了未经训练用户的表现。

存在可以应用以代替C4.5技术来生成决策树的替代算法(ID3、See5、K-均值聚类、HMM等)。聚类技术涉及通过比较多个特征群之间的相对“距离”来计算一个当前特征集匹配一种特定活动的可能性。根据一个实施例，此类技术已被成功地应用并测试。

在一个实施例中，该系统和方法通过以下方式提高了多传感器惯性活动分类装置的长期耐久性：提供一种用于功率管理的决策方案，从而允许使用功率相对较高的器件(诸如陀螺仪)，以便进行更为准确的感测和活动分类而不会造成相关联的电池寿命减少。

图5示出了根据一个实施例的用于低功率模式传感器变化跟踪的功率管理过程500。在一个实施例中，功率管理过程500驻留在活动分类算法内。功率管理过程500利用传感器组以及它们的可以利用来以高准确度正确地对活动进行分类的导出特征。然后，可以使功率管理过程500处于一个低功率模式下，直至低功率模式传感器测量到一个活动转变。在所描述的实施例中，一个低功率模式是指降低传感器的数据采样速率或者将该装置置于待机状态或关闭正被馈送给算法的一个或多个传感器。典型地，低功率是通过将陀螺仪置于待机模式下来实现。

传感器输出大小、线性世界坐标系加速度、线性本体加速度、角度世界坐标系速率以及角度本体坐标系速率用于活动分类步骤。

返回参照图5，第一，活动分类装置在“全功率模式”下操作，在该模式下，一个陀螺仪、一个加速度计以及一个磁力计(如果存在的话)采集数据，并且一个微控制器处理所有相关特征。该装置然后通过步骤502(在该步骤中，对活动进行辨识)基于聚类、决策树或其他某种置信模型来执行活动分类。

第二，当所报告活动的置信水平足够高时，该装置可以在506存储当前加速度计值，并且然后关闭陀螺仪v以进入一个“低功率模式”。可以通过步骤502将置信度计算为在一个预先确定时间周期(如在最后10秒)过程中被识别为当前活动的特征集/样本的百分比，或通过从当前样本到适当生成的群集的距离、或其他方法来计算。

第三，当处于“低功率模式”时，加速度计仍然活跃并且采集数据。通过经由步骤508比较当前数据与在关闭传感器融合时所存储的值之间的变化，关于是否转变至一种新活动对在步骤506中所存储的值和相关联的特征进行比较。

第四，对加速度计导出的特征的变化值进行评估。如果变化足够大，那么该装置将转变回到“全功率模式”，以便通过步骤510对当前(假定是不同的)活动进行分类。可能并且也许是所希望的是，如果活动转变至子活动(与冲刺跑相比更慢的跑步/慢跑)，那么还触发重新分类，因此可以选择允许活动转变同时维持一个合理的值范围(在该值范围中，传感器将保持关闭从而节省功率)的多种水平。

功率管理过程相当于存储一种活动(例如，“跑步”)的低功率模式特征，检测将指示一种新活动的这些低功率模式特征的改变。通过独立地比较每个特征，使用该功率管理过程检测到一种新的受训活动的可能性是高的。

通过利用该功率管理过程，该装置将根据一种特定活动维持的时间量来节省功率。可以假定“坐下”、“睡眠”、“站立”、“驾驶”或“步行”在一整天中持续若干小时，而短时间段的重度活动(如：“做晚餐”或“进入汽车”)预期要求陀螺仪处于“打开”状态以便进行正确识别，但将持续短得多的时间量。

当将该活动分类过程应用于一个装置时，它允许装置由用户携带(通过各种附接技术附接至手腕、脚、臀部、胸部等)，以便跟踪从停止/站立到慢走、快走、慢跑、跑步、冲刺等的不同活动阶段，并且通过一个屏幕上显示器或其他指示物来报告这些不同阶段，以及分析性地报告这些活动中的每一种所燃烧的卡路里。

一旦活动已被成功分类，那么可以对该数据运行一个应用，从而分析步频和事件。在一个实施例中，该应用可以选择在用户被分类为“步行”或“跑步”时递增一个步伐计数器，但可以舍弃例如正在站立并上下震动计步器的用户或轻微地(loosely)冲撞车辆的后部的装置。

机器学习和活动分类的应用允许一个活动分类装置通过以下方式来利用包括加速度计、陀螺仪、磁力计、压力传感器、温度传感器、麦克风等的一组传感器：基于任何传感器或多个传感器的组合的所测得特征空间变化来实施一种功率管理方法。在具有该活动分类装置的情况下，可以使用一个较低功率传感器(或多个传感器的组合)来检测活动之间的转变，同时可以持续一个短时间段使用更大一组传感器来对活动进行分类。

机器学习和活动分类的应用允许一个典型数字计步器提高其准确水平并且改进功能性，特别是针对长期数据采集。根据一个实施例的一种实现方式要求用该装置来执行在对用户(或代表性用户组)进行辨识以分析步行、跑步、站立等方面的某些训练步骤。为了获得最佳结果，应包括一个训练步骤以允许最终用户对他们自己的活动进行“分类”，从而使得他们的特定运动特征可被正确辨别。

尽管已经根据所示实施例对本发明进行了描述，但本领域的技术人员将容易认识到，这些实施例可能存在多种变化并且这些变化将在本发明的精神和范围内。相应地，在不脱离本发明的精神和范围的情况下，本领域的普通技术人员可以作出许多修改。

Claims (22)

1.一种装置，包括：

一个或多个运动传感器；

一个被配置成用于接收来自该一个或多个运动传感器的信号的存储器；

一个与该存储器通信的处理器；以及

一种由该处理器执行的分类算法；该分类算法用于识别用户正在进行的活动。

2.如权利要求1所述的装置，其中该一个或多个运动传感器包括以下各项中的任一项或任意组合：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、一个或多个压力传感器、一个或多个温度传感器、一个或多个麦克风以及一个或多个心率监测器。

3.如权利要求1所述的装置，其中该一个或多个运动传感器是单个基片上的一个集成模块。

4.如权利要求2所述的装置，其中该处理器执行一种功率管理算法，该功率管理算法在该装置处于一个低功率模式时利用该一个或多个加速度计，并且基于来自该一个或多个加速度计的一个信号打开至少一个其他运动传感器以便进行准确活动。

5.如权利要求1所述的装置，进一步包括一个步伐计数器，该步伐计数器是基于所识别的活动或所识别的活动转变的任意组合并且报告步伐数量。

6.如权利要求1所述的装置，其中该存储器被配置成存储一种活动数据。

7.如权利要求6所述的装置，进一步包括将该活动数据无线传送至一个第二装置的一个电路。

8.如权利要求1所述的装置，其中该分类算法包括：基于所识别的活动来估算一个卡路里燃烧率。

9.如权利要求1所述的装置，其中所识别的活动包括以下各项中的任一项：睡眠、驾驶汽车、骑自行车、慢跑、打网球、打高尔夫球、坐下、站立、步行、跑步、游泳姿势、挥舞运动以及手沿圆圈移动。

10.如权利要求9所述的装置，其中这些游泳姿势包括蛙泳、仰泳以及自由泳中的任一种，并且这些挥舞运动包括握手、运球中的任一种。

11.一种用于识别一个装置的活动的计算机实施方法，该方法包括：

利用该装置上的一个或多个运动传感器来识别活动；并且

利用在一个低功率模式下操作的一组一个或多个运动传感器来识别活动之间的转变。

12.如权利要求11所述的计算机实施方法，其中该组一个或多个运动传感器包括一个加速度计。

13.如权利要求11所述的计算机实施方法，其中该利用一个或多个运动传感器包括执行一种分类算法以识别活动。

14.如权利要求13所述的计算机实施方法，该计算机实施方法包括基于通过该分类算法识别的活动来估算一个卡路里燃烧率。

15.如权利要求12所述的计算机实施方法，该计算机实施方法包括利用处于一个低功率设定的该加速度计来监测用户活动，并且当由该加速度计检测到活动的一个改变时，打开至少一个其他运动传感器以便进行准确活动分类。

16.如权利要求11所述的计算机实施方法，其中所识别的活动包括以下各项中的任一项：坐下、站立、步行、跑步、游泳姿势、挥舞运动以及手沿圆圈移动。

17.如权利要求16所述的计算机实施方法，其中这些游泳姿势包括蛙泳、仰泳以及自由泳中的任一种，并且这些挥舞运动包括握手、运球中的任一种。

18.一种包括用于识别一个装置的活动的程序指令的计算机程序产品，这些程序指令有待由一个处理器执行，这些程序指令在被执行时包括：

利用该装置上的一个或多个运动传感器来识别该装置的活动；以及

利用在一个低功率模式下操作的一组一个或多个运动传感器来识别活动之间的转变。

19.如权利要求18所述的计算机程序产品，其中该组低功率运动传感器包括一个加速度计。

20.如权利要求19所述的计算机程序产品，该计算机程序产品包括利用处于一个低功率设定的该加速度计来监测用户活动，并且当由该加速度计检测到活动的一个改变时，打开至少一个其他运动传感器以便进行准确活动分类。

21.如权利要求18所述的计算机程序产品，进一步包括重复该利用一个或多个运动传感器步骤，以便提高置信水平、准确性以及该装置的性能。

22.一种系统，包括：

至少一个主机装置，该至少一个主机装置包括：一个第一处理器；一个第一存储器；一个第一无线通信模块；以及由该处理器执行的一种分类算法；该分类算法用于识别用户正在进行的活动；以及

多个装置，该多个装置中的每一个包括：一个或多个运动传感器；被配置成接收来自该一个或多个运动传感器的信号的一个第二存储器；与该第二存储器通信的一个第二处理器；以及通过该第一无线通信模块与该至少一个主机装置通信的一个第二无线通信模块。