CN114341947A - 用于使用可穿戴设备的锻炼类型辨识的系统和方法 - Google Patents

Abstract

本公开提供了使用多个惯性测量单元(IMU)来辨识特定用户活动，诸如特定类型的锻炼和这种锻炼的重复。IMU可以位于诸如智能手表和耳塞式耳机的消费品中。每个IMU可包括加速度计和陀螺仪，每个加速度计和陀螺仪具有三个测量轴，总共12个原始测量流。训练图像包括多个子曲线或图块，每个子曲线或图块描述单独数据流。然后使用训练图像来训练机器学习模型以将IMU数据辨识为对应于特定锻炼类型。

Description

用于使用可穿戴设备的锻炼类型辨识的系统和方法

背景技术

历史上，使用惯性传感器的活动辨识是通过设计来自原始传感器数据的复杂“特征”来实现的，所述复杂“特征”诸如偏差、峰峰值、零交叉、峰度以及大量其它可测量数量。然后，这些特征被用作机器学习模型的输入，所述机器学习模型诸如支持向量机、随机森林、k最近邻等。弄清哪些特征对于机器学习是重要或有用的，或者要使用哪种模型类型是非常困难的任务，这需要大量的专门技术和专业知识。

已经有一些初步研究使用基于图像的神经网络来完成惯性测量单元(IMU)活动辨识。基于图像的模型往往更加成熟和通用。在这个意义上，基于“特征”的模型看起来类似于在图像辨识早期中基于“特征”的提取，这具有有限的成功。现有的基于图像的系统使用峰值和阈值检测器来确定在哪里对锻炼类型的单个重复进行窗口化。然而，阈值将因人而异，并且在存在噪声的情况下可以容易地被干扰。此外，对于这种方法没有在所有锻炼类型上的通用的指导，这需要针对每种可能的锻炼类型的定制分析窗口检测方法同时还试图使该方法在多个用户上稳健。

发明内容

本公开提供使用多个IMU来辨识特定用户活动，诸如特定类型的锻炼和这样的锻炼的重复。IMU可以位于诸如智能手表和耳塞式耳机的消费品中。

本公开的一个方面提供了一种用于检测锻炼的方法。所述方法包括由一个或多个处理器从第一可穿戴设备的一个或多个第一传感器接收第一传感器数据；由所述一个或多个处理器从第二可穿戴设备的一个或多个第二传感器接收第二传感器数据；由所述一个或多个处理器基于所述第一传感器数据和所述第二传感器数据生成图像，所述图像包括多个子曲线，其中每个子曲线描绘数据流；以及使用所述一个或多个处理器基于所述图像来确定在接收所述第一传感器数据和所述第二传感器数据期间由用户执行的锻炼类型。确定所执行的锻炼类型可以包括执行机器学习模型，诸如基于图像的机器学习模型。此外，该模型可以诸如通过基于在所述用户执行第一类型的锻炼时从所述第一可穿戴设备和所述第二可穿戴设备收集的数据来生成一个或多个第一训练图像并且将所述一个或多个第一训练图像作为训练数据输入到所述机器学习模型中来训练。训练还可以包括基于在所述用户执行第二类型的锻炼时从所述第一可穿戴设备和所述第二可穿戴设备收集的数据来生成一个或多个第二训练图像并且将所述一个或多个第二训练图像作为训练数据输入到所述机器学习模型中，以及基于在所述用户执行未被分类为锻炼的一个或多个活动时从所述第一可穿戴设备和所述第二可穿戴设备收集的数据来生成一个或多个第三训练图像并且将所述一个或多个第三训练图像作为非锻炼的示例输入到所述机器学习模型中。生成一个或多个第一训练图像可以包括峰值检测窗口分割或固定窗口分割。固定窗口分割可以包括改变具有预定时间长度的窗口的开始时间，其中，所述窗口中的所述开始时间的每个变化生成所述一个或多个第一训练图像中的一个单独第一训练图像。该方法还可以包括基于最近重复频率估计来自动缩放所述窗口的时间长度。

根据一些示例，该方法还可以包括确定所确定的锻炼类型的重复数目。例如，这可以包括使用滑动自相关窗口确定重复频率并且基于所述重复频率和所述锻炼类型的持续时间来计算所述重复数目。在另一示例中，确定所述重复数目可以包括对训练图像中的重复数目进行计数，标记所述训练图像中的重复，以及将所述训练图像作为训练数据输入到机器学习模型中。

本公开的另一方面提供一种用于检测锻炼的系统，包括第一可穿戴设备中的一个或多个第一传感器；第二可穿戴设备中的一个或多个第二传感器；以及与所述一个或多个第一传感器和所述一个或多个第二传感器通信的一个或多个处理器，所述一个或多个处理器被配置为：从所述第一可穿戴设备的所述一个或多个第一传感器接收第一传感器数据；从所述第二可穿戴设备的所述一个或多个第二传感器接收第二传感器数据；基于所述第一传感器数据和所述第二传感器数据来生成图像，所述图像包括多个子曲线，其中每个子曲线描绘数据流；以及基于所述图像来确定在接收所述第一传感器数据和所述第二传感器数据期间由用户执行的锻炼类型。根据一些示例，第一可穿戴设备可以是耳塞式耳机，并且第二可穿戴设备可以是智能手表。所述一个或多个处理器可以驻留在所述第一可穿戴设备或所述第二可穿戴设备中的至少一个内和/或在耦合到所述第一可穿戴设备和所述第二可穿戴设备的主机设备内。

本公开的又一方面提供一种存储指令的非暂时性计算机可读介质，所述指令可由一个或多个处理器执行以用于执行检测锻炼类型的方法。该方法可以包括从所述第一可穿戴设备的所述一个或多个第一传感器接收第一传感器数据；从所述第二可穿戴设备的所述一个或多个第二传感器接收第二传感器数据；基于所述第一传感器数据和所述第二传感器数据来生成图像，所述图像包括多个子曲线，其中每个子曲线描绘数据流；以及基于所述图像来确定在接收所述第一传感器数据和所述第二传感器数据期间由用户执行的锻炼类型。

附图说明

图1是根据本公开的方面的由用户使用的示例系统的示意图。

图2是根据本公开的方面的示例系统的框图。

图3是根据本公开的方面的另一示例系统的示意图。

图4A-4B示出根据本公开的各方面的示例原始数据。

图5A-E示出根据本公开的方面的使用第一技术从数据生成并且对应于各种锻炼类型的示例图像。

图6示出根据本公开的方面的从对应于非锻炼的数据生成的示例图像。

图7A-B示出根据本公开的方面的使用第二技术从数据生成的并且对应于示例锻炼的图像。

图8是示出根据本公开的方面的自相关的示例图。

图9是示出根据本公开的方面的检测用户正在执行的锻炼类型的示例方法的流程图。

图10是示出根据本公开的方面的训练机器学习模型以检测锻炼类型的示例方法的流程图。

具体实施方式

概述

本公开提供使用多个IMU来辨识特定用户活动，诸如特定类型锻炼和这样的锻炼的重复。IMU可以位于诸如智能手表和耳塞式耳机的消费品中。每个IMU可包括加速度计和陀螺仪，每个加速度计和陀螺仪具有三个测量轴，总共12个原始测量流。在一些示例中，附加IMU也可以提供数据，从而导致附加测量流。此外，可以将每组三个轴组合成空间范数。因此，在产生12个数据流的两个IMU的示例中，添加空间范数将提供每一训练图像的最终总共16个数据捕获图块。

本文描述的系统和方法提供了对单个锻炼的重复进行计数的能力，而不必求助于使用复杂的窗口检测方法。使用简单的固定重叠窗口，并且可以使用自相关技术、实例化类型卷积神经网络(CNN)或这些或其他技术的组合来确定重复数目。该方法可以使用有效的模型来部署，该模型可以由用户自己在最终层中重新训练。例如，用户可以在他们自己的设备上重新训练模型以辨识可定制的锻炼类型，以及在锻炼期间他们自己独特的运动简档。

可以检测的锻炼类型的仅几个示例包括二头弯举、杠铃推起、俯卧撑、仰卧起坐、深蹲、引体向上、波比跳、开合跳等。应当理解，也可以检测多种附加锻炼类型中的任何一种。系统可以由用户训练以检测由用户选择或创建的特定锻炼。在训练机器学习模型时，也可以包括非锻炼。例如，这可以帮助识别和区分用户的其他类型的移动，并且由此减少对锻炼的假阳性检测。仅作为示例，这种非锻炼可以包括行走、爬楼梯、开门、提各种物体、坐在椅子上等。

可以实现转移学习以重新训练诸如MobileNet图像辨识模型的高效图像辨识模型的顶部几层。IMU原始数据子图的图像可以用作训练示例，从而允许以少量训练示例实现高准确性。

示例系统

图1是使用中的示例系统的示意图。用户102穿戴无线计算设备180、190。在该示例中，无线计算设备包括穿戴在用户的头部上的耳塞式耳机180和穿戴在用户的手腕上的智能手表190。耳塞式耳机180和智能手表190可以与诸如移动电话的主机计算设备170进行无线通信。主机计算设备170可以由用户携带，诸如在用户的手或口袋中，或者可以被放置在用户附近的任何地方。在一些示例中，可能根本不需要主机计算设备170。

用户穿戴的无线计算设备180、190可以检测用户102执行的特定类型的锻炼和这样的锻炼的重复。例如，如图所示，用户102正在进行开合跳。通常固定到用户手臂的智能手表190将检测相对大的、快速的挥动运动。通常固定在用户耳朵中的耳塞式耳机190将检测上下跳动。无线计算设备180、190可以将这样的检测彼此通信或通信到主机设备170。基于检测到的移动的组合，设备170-190中的一个或多个可以检测到用户102正在进行开合跳。

虽然在所示的示例中，无线计算设备180、190包括耳塞式耳机和智能手表，但是应当理解，在其他示例中，可以使用多种不同类型的无线设备中的任何一种。例如，无线设备可以包括耳机、头戴式显示器、智能眼镜、挂件、踝带设备、腰带等。此外，虽然在图1中示出了两个无线设备被用于检测锻炼，但是也可以使用附加无线设备。此外，虽然示出了两个耳塞式耳机180，但是由每个耳塞式耳机检测到的读数可以是冗余的，并且因此可以仅使用一个耳塞式耳机与智能手表190或由用户102穿戴的另一设备的组合来执行对用户的移动的检测。

图2还示出与主机计算设备170通信的无线计算设备180、190及其特征和组件。

如图所示，可穿戴无线设备180、190中的每一个包含各种组件，诸如处理器281、291、存储器282、292、收发器285、295，和通常存在于可穿戴无线计算设备中的其它组件。可穿戴设备180、190可以具有通常与可穿戴计算设备结合使用的所有组件，诸如处理器、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、用户输入和输出。

无线设备180、190中的每一个还可以配备有诸如蓝牙收发器之类的短距离无线配对技术，从而允许彼此和与其他设备的无线耦合。例如，收发器285、295可以各自包括允许与另一设备无线耦合的天线、发射器和接收器。可以使用诸如蓝牙、蓝牙低功耗(BLE)等的各种技术中的任何技术来建立无线耦合。

无线设备180、190中的每一个还可以配备有能够检测用户的移动的一个或多个传感器286、296。传感器可以包括例如IMU传感器287、297，诸如加速度计、陀螺仪等。例如，陀螺仪可以检测可穿戴设备180、190的惯性位置，而加速度计检测可穿戴设备180、190的线性移动。这样的传感器可以检测移动的方向、速度和/或其他参数。传感器可以附加地或替代地包括能够检测接收到的数据的变化的任何其他类型的传感器，其中这样的变化可以与用户移动相关。例如，传感器可以包括气压计、运动传感器、温度传感器、磁力计、计步器、全球定位系统(GPS)、相机、麦克风等。每个设备的一个或多个传感器可以独立地或协同地操作。

主机计算设备170可以是例如移动电话、平板电脑、膝上型计算机、游戏系统或任何其他类型的移动计算设备。在一些示例中，移动计算设备170可以耦合到网络，诸如蜂窝网络、无线因特网网络等。

主机设备170还可以包括与包括指令273和数据274的存储器272通信的一个或多个处理器271。主机设备170还可以包括通常在计算设备中找到的元件，诸如输出275、输入276、通信接口等。

输入276和输出275可以用于从用户接收信息并且向用户提供信息。输入可以包括例如一个或多个触敏输入、麦克风、相机、传感器等。此外，输入276可以包括用于从可穿戴无线设备180、190接收数据的接口。输出275可以包括例如扬声器、显示器、触觉反馈、与可穿戴无线设备的用于向这样的设备提供数据的接口等。

一个或多个处理器271可以是任何常规处理器，诸如市场上可买到的微处理器。或者，所述一个或多个处理器可以为专用设备，诸如专用集成电路(ASIC)或其它基于硬件的处理器。尽管图2在功能上将主机170的处理器、存储器和其它元件示出为在同一块内，但是所属领域的技术人员将了解，处理器、计算设备或存储器实际上可以包括可以或不可以存储在同一物理外壳内的多个处理器、计算设备或存储器。类似地，存储器可以是位于与主机170的外壳不同的外壳中的硬盘驱动器或其它存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以或不可以并行操作的处理器或计算设备或存储器的集合的引用。

存储器272可以存储可由处理器271访问的信息，包括可由处理器271执行的指令273以及数据274。存储器272可以是一种类型的可操作以存储可由处理器271访问的信息的存储器，包括非暂时性计算机可读介质，或存储可借助于电子设备读取的数据的其它介质，诸如硬盘驱动器、存储卡、只读存储器(“ROM”)、随机存取存储器(“RAM”)、光盘以及其它可写和只读存储器。本文所公开的主题可以包括前述的不同组合，由此指令273和数据274的不同部分被存储在不同类型的介质上。

数据274可以由处理器271根据指令273进行检索、存储或修改。例如，尽管本公开不受特定数据结构的限制，但是数据274可以被存储在计算机寄存器中，在关系数据库中作为具有多个不同字段和记录的表、XML文档或平面文件。数据274还可以以计算机可读格式来格式化，诸如但不限于二进制值、ASCII或Unicode。仅作为进一步的示例，数据274可以被存储为位图，所述位图由以压缩或未压缩或各种图像格式(例如，JPEG)、基于向量的格式(例如，SVG)或用于绘制图形的计算机指令存储的像素组成。此外，数据274可以包括足以识别相关信息的信息，诸如数字、描述性文本、专有代码、指针、对存储在其他存储器(包括其他网络位置)中的数据的引用或由函数用来计算相关数据的信息。

可以执行指令273以基于从无线可穿戴设备180、190的传感器286、296接收到的原始数据来检测由用户执行的锻炼类型。例如，处理器271可以执行机器学习算法，由此其将接收到的原始数据的图像与对应于特定锻炼的所存储的图像进行比较，并且基于该比较来检测所执行的锻炼。此外，可以执行指令273以诸如通过使用窗口来检测锻炼的重复数目。

在其他示例中，传感器数据的分析可以由可穿戴无线设备180、190中的任一个或两者执行。例如，设备180、190中的每一个包括处理器281、291和存储器282、292，类似于以上结合主机设备170描述的那些。这些处理器281、291和存储器282、292可以接收数据并且执行机器学习算法以检测所执行的锻炼类型。

图3示出彼此通信并且与主机设备170通信的无线可穿戴设备180、190。设备之间的无线连接可以是例如短距离配对连接，诸如蓝牙。其它类型的无线连接也是可能的。在该示例中，设备170-190还通过网络150与服务器310和数据库315通信。例如，无线可穿戴设备180、190可以通过主机设备170间接连接到网络150。在其他示例中，无线可穿戴设备180、190中的一个或两个可以被直接连接到网络150，而不管主机设备170的存在。

这些网络150可以是例如LAN、WAN、因特网等。设备和网络之间的连接可以是有线或无线的。

服务器计算设备310实际上可以包括彼此通信的多个处理设备。根据一些示例，服务器310可以执行机器学习模型，以用于基于来自多个可穿戴设备的IMU的输入来确定正在执行的特定类型的锻炼。例如，可穿戴设备180、190可以将从它们的IMU检测到的原始数据传送到服务器310。服务器310可以使用接收到的原始数据作为输入来执行计算，确定所执行的锻炼类型，并且将结果发送回主机170或可穿戴设备180、190中的一个或两者。

数据库315可以由服务器310和计算设备170-190可访问。数据库315可以包括例如来自与特定类型的锻炼相对应的各种源的数据集合。例如，数据可以包括来自可穿戴设备中的IMU或其他传感器的原始数据流的图像，原始数据流对应于特定类型的锻炼。这样的数据可以用在由服务器310或由主机设备170或可穿戴设备180、190中的任何一个执行的机器学习模型中。

不管锻炼类型的检测是在服务器310处、在主机170处、在可穿戴设备180、190中的一个或两者处、或其某种组合处执行，都可以执行若干不同类型的计算中的任何计算。这些不同类型至少包括(1)使用来自被定位在用户身体的不同位置的多个IMU的输入的峰值检测器窗口分割或(2)来自多个IMU的固定窗口分割。此外，设备170-190或310中的任何一个都可以能够对每个锻炼的重复数目进行计数。

使用来自被定位在用户身体的不同位置的多个IMU的输入的峰值检测器窗口分割检测信号数据中的“峰值”，所述信号数据诸如原始加速度计和陀螺仪数据。图4A示出来自耳塞式耳机的原始加速度计数据的示例并且图4B示出来自智能手表的原始加速度计数据的示例。在该特定示例中，在做深蹲时获得数据，但是应当理解，分析可以应用于针对各种锻炼中的任何锻炼的数据。每个图包括三个波形：一个波形针对x、y和z方向中的每一个。例如，在图4A中，波402对应于y方向，诸如垂直方向；波406对应于x方向，诸如相对于用户的横向或侧到侧移动；并且波404对应于z方向，诸如相对于用户的向前/向后移动。类似地，在图4B中，波412对应于y方向，波416对应于x方向，并且波414对应于z方向。

来自第一IMU的数据可以被时间标度(timescaled)以匹配来自第二IMU的时间。例如，来自耳塞式耳机中的IMU的测量可以被时间标度以匹配来自智能手表中的加速度计的测量时间。这可以包括将所有数据重采样为一定长度的智能手表加速度计数据。低通滤波器可以应用于原始数据。仅作为示例，低通滤波器可以是巴特沃思滤波器或各种其它类型的滤波器中的任何一种。

“窗口”使用定制峰值检测和阈值处理来捕获每个重复。峰值检测分割中的窗口可以是指捕获锻炼的一个完整重复。该窗口可以在锻炼重复期间的任何地方开始。例如，它可以在一个俯卧撑的中间开始并且在第二个俯卧撑的中间结束。窗口可以在零交叉、或一些峰值或谷值、或能够从数据提取到的任何其它特征处开始/结束。对于固定窗口，该窗口可以由时间长度来定义。例如，时间长度可以是4秒，其中窗口每2秒重叠(50％重叠)。该窗口可以根据个人锻炼的快速程度来捕获部分重复或多个重复。另一选择是具有自动缩放窗口，其基于来自自相关计算的最近重复频率估计来自动缩放窗口的时间长度。在这种情况下，窗口仍然由时间确定，并且可能不能准确地捕获完整重复。例如，重复长度可能是过估计的或欠估计的，但是时间窗口通常将接近锻炼的重复长度。

因此，例如，对于在锻炼期间从IMU接收到的原始数据的波形，检测波形的峰值。波形的分析可以进一步识别其他特性以指示重复的开始和结束。如果使用两个IMU，每个IMU具有x、y和z轴，则在每个窗口中包括12个原始数据流。添加每组x、y和z的4个范数将这带到总共16个数据流。范数可以被计算为例如，square_root(x^2+y^2+z^2)。其它数学操作可能也是可能的，其可以向模型提供附加有益信息。因此，为每个图像提供16个子曲线，例如在4×4网格中。

图5A-E示出针对各种类型锻炼使用上面利用两个IMU所述的峰值检测窗口分割技术创建的示例图像。例如，图5A示出用于二头弯举的示例图像，图5B示出用于重量推举的示例图像，图5C示出用于俯卧撑的示例图像，图5D示出用于仰卧起坐的示例图像，并且图5E示出用于深蹲的示例图像。这些图像可以例如用于训练机器学习模型以通过可穿戴设备中的IMU检测到的移动来辨识锻炼。

图6示出非锻炼的示例图像。非锻炼的示例可以包括但不限于步行、爬楼梯、在桌子上工作、开门、捡起物体等。非锻炼图像可以被包括在训练数据中以帮助在特定锻炼类型和非锻炼之间进行区分。辨识这样的区别可以帮助防止对锻炼的假阳性检测。虽然在图6中示出一个示例图像，但是应当理解，可以在训练数据中包括与各种非锻炼相对应的任何数目的示例图像。

根据另一类型的计算，来自多个IMU的固定窗口分割，通过使用预定宽度的固定窗口来修改上述数据处理流程。仅作为示例，固定窗口的宽度可以是4秒，具有50％的重叠。因为它是固定的，所以它与锻炼重复不同步，并且甚至可以在单个窗口化的训练或测试示例图像内具有多个或部分重复。因为窗口开始相对于锻炼频率是随机的，所以可以通过改变初始窗口开始时间从相同的数据集生成更多训练示例。通过将窗口开始时间步进0.5s，每个锻炼的训练示例的总数目乘以8。

根据又一示例，固定窗口可根据重复频率估计来自动缩放。这种选择不需要峰值检测或阈值处理。

图7A-B示出使用固定窗口分割的锻炼的示例图像。在这些示例中，图7A表示二头弯举的第一示例，而图7B表示二头弯举的第二示例。例如，图7A的第一示例使用窗口的第一开始时间来生成，而图7B的第二示例使用不同于第一开始时间的第二开始时间来生成。例如，如果使用4s窗口，则第二开始时间可以是比第一开始时间晚0.5s-3.5s之间的任何时间。然而，应当理解，窗口的宽度可以变化，例如通过使用2s、6s、10s等。此外，窗口的开始时间增量也可以从0.5s变化到任何其它值。机器学习模型因此学习图像内的图案，而不依赖于特定的开始或停止点。

除了能够对锻炼类型进行分类之外，可以实时地对给定锻炼类型的重复数目进行计数。利用峰值检测器窗口化，每个测试图像在被分类时变成单个重复。利用固定窗口化，可以使用诸如自相关或模型实例化的不同方法来执行对重复计数。

在使用自相关时，在锻炼期间使用固定持续时间的滑动自相关窗口。因此可以提取重复频率。图8示出自相关的示例。在10秒的俯卧撑期间使用4秒滑动窗口，可以提取重复频率的指示符。例如，指示符可以是最高峰值的位置，排除在时间t＝0处的峰值。一旦知道了重复频率，就可以将给定锻炼序列中的重复数目计算为以秒为单位的锻炼持续时间乘以重复频率。只要设备检测到特定锻炼类型，计时器就可以运行以跟踪总持续时间。使用这种方法，用户可以在重复计数器上每隔几秒接收一次更新。

在使用实例化时，模型可以通过使用实例化来学习自身对重复进行计数。在该方法中，不仅用标记的示例，而且用片段或重复的“实例”来训练模型。例如，在包含10个重复的训练示例图像中，每个重复可以在训练示例中被标记。以这种方式，模型学习估计在给定图像中有多少重复。

示例方法

除了以上描述和在附图中示出的操作之外，现在将描述各种操作。应当理解，不必以下面描述的精确顺序执行下面的操作。相反，可以以不同的顺序或同时处置各个步骤，并且还可以添加或省略步骤。

图9示出检测用户正在执行的锻炼类型的示例方法900。所述方法可以由第一或第二可穿戴设备中或与所述可穿戴设备通信的主机设备中的一或多个处理器执行。

在框910中，从第一可穿戴设备的一个或多个第一传感器接收第一传感器数据。第一可穿戴设备可以是例如耳塞式耳机。所述一个或多个第一传感器可以包括IMU，诸如包括陀螺仪和加速度计。陀螺仪和加速度计中的每一个可以产生x、y和z方向上的测量的数据流。

在框920中，从第二可穿戴设备的一个或多个第二传感器接收第二传感器数据。第二可穿戴设备可以是例如智能手表。类似于第一传感器，一个或多个第二传感器还可以包括IMU，其产生多个空间方向上的测量的数据流。

在框930中，基于第一传感器数据和第二传感器数据来生成图像。图像可以包括多个图块或子曲线，其中每个图块或子曲线描绘来自第一和第二传感器的单独数据流。例如，第一图块描绘在x方向上来自第一传感器的加速度计的数据流，第二图块描绘在y方向上来自第一传感器的加速度计的数据流等等。使用两个IMU，每个IMU具有在三个方向上测量的两个传感器，可以生成十二个图块。另外，每组三个(x，y，z)轴可以被组合成空间范数，以得到每个图像的最终总共16个数据捕获图块。

在框940中，基于锻炼类型来确定在接收第一和第二传感器数据期间由用户执行的锻炼类型。例如，将机器学习模型应用于所生成的图像。机器学习模型可以使用图像数据来训练，如以下结合图10进一步详细描述的。机器学习模型可以是例如基于图像的深度神经网络，诸如卷积神经网络(CNN)。

在框950中，可以确定锻炼的重复数目。例如，机器学习模型可以被训练成如果它利用其中重复被标记的图像来训练，则辨识重复。根据其他示例，可以通过使用自相关来确定重复频率并且然后将该重复频率乘以锻炼类型的持续时间来检测重复。

图10示出训练机器学习模型以检测锻炼类型的示例方法1000。该方法可以例如由可穿戴设备中的一个或多个处理器、耦合的主机设备和/或在通过网络连接到可穿戴设备或主机的远程服务器上来执行。

在框1010-1020中，数据可以如上文结合图9的框910-920所述的那样被接收，然而，当用户进行几种类型的锻炼和非锻炼时，数据可以在延长的时间段内被接收。

在框1030中，接收到的数据可以用于生成一个或多个第一训练图像。例如，类似于以上结合图9的框930描述的图像的生成，第一训练图像可以包括多个图像图块，每个图像图块描绘在用户正在执行第一类型的锻炼时收集的数据的不同数据流。类似地，在框1040中，接收到的数据可以用于生成描绘在用户正在执行与第一类型不同的第二类型的锻炼时收集的数据流的第二训练图像。这可以针对任何数量的不同类型的锻炼重复。

在框1050中，使用与框1030中描述的那些技术类似的技术来生成第三训练图像。然而，第三训练图像可以对应于非锻炼。例如，可以在用户正在执行特定锻炼之外的活动时收集在第三图像的图块中表示的数据。这样的活动可以包括多种非锻炼中的任何一种，诸如刷牙、烹饪、坐着等。

在框1060中，将第一、第二和第三图像作为训练数据输入到机器学习模型。在这点上，机器学习模型学习辨识各种类型的锻炼，以及区分这样的锻炼与非锻炼。这种区分可以有助于减少假阳性检测。

前述系统和方法的优点在于，它们通过使用在由用户可获得并且普遍使用的产品中的IMU提供对锻炼的高度准确检测。

除非另有说明，前述替代示例不是相互排斥的，而是可以以各种组合来实现以实现独特的优点。由于在不背离权利要求所限定的主题的情况下可以利用上述特征的这些和其他变型和组合，因此应当通过说明而不是通过限制权利要求所限定的主题来理解实施例的上述描述。另外，本文所述的示例的提供以及措辞为“诸如”、“包括”等的条款不应被解释为将权利要求的主题限制到具体示例；相反，这些示例旨在仅示出许多可能实施例中的一个。此外，不同附图中的相同附图标记可以标识相同或相似的元件。

Claims (24)

1.一种用于检测锻炼的方法，包括：

由一个或多个处理器从第一可穿戴设备的一个或多个第一传感器接收第一传感器数据；

由所述一个或多个处理器从第二可穿戴设备的一个或多个第二传感器接收第二传感器数据；

由所述一个或多个处理器基于所述第一传感器数据和所述第二传感器数据来生成图像，所述图像包括多个子曲线，其中，每个子曲线描绘数据流；以及

使用所述一个或多个处理器，基于所述图像来确定在接收所述第一传感器数据和所述第二传感器数据期间由用户执行的锻炼类型。

2.根据权利要求1所述的方法，其中，确定所执行的锻炼类型包括：执行机器学习模型。

3.根据权利要求2所述的方法，其中，所述机器学习模型是基于图像的机器学习模型。

4.根据权利要求2所述的方法，还包括训练所述机器学习模型，所述训练包括：

基于在所述用户执行第一类型的锻炼时从所述第一可穿戴设备和所述第二可穿戴设备收集的数据来生成一个或多个第一训练图像；以及

将所述一个或多个第一训练图像作为训练数据输入到所述机器学习模型中。

5.根据权利要求4所述的方法，所述训练还包括：基于在所述用户执行第二类型的锻炼时从所述第一可穿戴设备和所述第二可穿戴设备收集的数据来生成一个或多个第二训练图像；以及

将所述一个或多个第二训练图像作为训练数据输入到所述机器学习模型中。

6.根据权利要求4所述的方法，所述训练还包括：基于在所述用户执行未被分类为锻炼的一个或多个活动时从所述第一可穿戴设备和所述第二可穿戴设备收集的数据来生成一个或多个第三训练图像；以及

将所述一个或多个第三训练图像作为非锻炼的示例输入到所述机器学习模型中。

7.根据权利要求4所述的方法，其中，生成所述一个或多个第一训练图像包括峰值检测窗口分割。

8.根据权利要求4所述的方法，其中，生成所述一个或多个第一训练图像包括固定窗口分割。

9.根据权利要求8所述的方法，其中，所述固定窗口分割包括：改变具有预定时间长度的窗口的开始时间，其中，所述窗口中的所述开始时间的每个变化生成所述一个或多个第一训练图像中的单独一个。

10.根据权利要求8所述的方法，还包括：基于最近重复频率估计来自动缩放所述窗口的时间长度。

11.根据权利要求1所述的方法，还包括：确定所确定的锻炼类型的重复数目。

12.根据权利要求11所述的方法，其中，确定所述重复数目包括：

使用滑动自相关窗口来确定重复频率；以及

基于所述重复频率和所述锻炼类型的持续时间来计算所述重复数目。

13.根据权利要求11所述的方法，其中，确定所述重复数目包括：

对训练图像中的重复数目进行计数；

标记所述训练图像中的重复；

将所述训练图像作为训练数据输入到机器学习模型中。

14.一种用于检测锻炼的系统，包括：

第一可穿戴设备中的一个或多个第一传感器；

第二可穿戴设备中的一个或多个第二传感器；以及

与所述一个或多个第一传感器和所述一个或多个第二传感器通信的一个或多个处理器，所述一个或多个处理器被配置为：

从所述第一可穿戴设备的所述一个或多个第一传感器接收第一传感器数据；

从所述第二可穿戴设备的所述一个或多个第二传感器接收第二传感器数据；

基于所述第一传感器数据和所述第二传感器数据来生成图像，所述图像包括多个子曲线，其中，每个子曲线描绘数据流；以及

基于所述图像来确定在接收所述第一传感器数据和所述第二传感器数据期间由用户执行的锻炼类型。

15.根据权利要求14所述的系统，其中，所述第一可穿戴设备是耳塞式耳机，并且所述第二可穿戴设备是智能手表。

16.根据权利要求14所述的系统，其中，所述一个或多个处理器驻留在所述第一可穿戴设备或所述第二可穿戴设备中的至少一个内。

17.根据权利要求14所述的系统，其中，所述一个或多个处理器中的至少一个处理器驻留在耦合到所述第一可穿戴设备和所述第二可穿戴设备的主机设备内。

18.根据权利要求14所述的系统，其中，确定所执行的锻炼类型包括：执行基于图像的机器学习模型。

19.根据权利要求18所述的系统，其中，所述一个或多个处理器还被配置为训练所述机器学习模型，所述训练包括：

基于在所述用户执行第一类型的锻炼时从所述第一可穿戴设备和所述第二可穿戴设备收集的数据来生成一个或多个第一训练图像；

基于在所述用户执行第二类型的锻炼时从所述第一可穿戴设备和所述第二可穿戴设备收集的数据来生成一个或多个第二训练图像；

基于在所述用户执行未被分类为锻炼的一个或多个活动时从所述第一可穿戴设备和所述第二可穿戴设备收集的数据来生成一个或多个第三训练图像；以及

将所述一个或多个第一训练图像、所述一个或多个第二训练图像和所述一个或多个第三训练图像作为训练数据输入到所述机器学习模型中。

20.根据权利要求19所述的系统，其中，生成所述一个或多个第一训练图像包括峰值检测窗口分割。

21.根据权利要求19所述的系统，其中，生成所述一个或多个第一训练图像包括固定窗口分割，所述固定窗口分割包括：改变具有预定时间长度的窗口的开始时间，其中，所述窗口中的所述开始时间的每个变化生成所述一个或多个第一训练图像中的单独一个。

22.根据权利要求14所述的系统，其中，所述一个或多个处理器还被配置为通过以下操作来确定所确定的锻炼类型的重复数目：

使用滑动自相关窗口确定重复频率；以及

基于所述重复频率和所述锻炼类型的持续时间来计算所述重复数目。

23.根据权利要求14所述的系统，其中，所述一个或多个处理器还被配置为通过以下操作来确定所确定的锻炼类型的重复数目：

对训练图像中的重复数目进行计数；

标记所述训练图像中的重复；

将所述训练图像作为训练数据输入到机器学习模型中。

24.一种存储指令的非暂时性计算机可读介质，所述指令能够由一个或多个处理器执行以用于执行检测锻炼类型的方法，所述方法包括：

从第一可穿戴设备的一个或多个第一传感器接收第一传感器数据；

从第二可穿戴设备的一个或多个第二传感器接收第二传感器数据；

基于所述第一传感器数据和所述第二传感器数据来生成图像，所述图像包括多个子曲线，其中，每个子曲线描绘数据流；以及

基于所述图像来确定在接收所述第一传感器数据和所述第二传感器数据期间由用户执行的锻炼类型。

Images