CN116186552A

CN116186552A - 为训练计算模型提供未标记的训练数据

Info

Publication number: CN116186552A
Application number: CN202211414049.2A
Authority: CN
Inventors: A·马图尔; 闵喆洪; F·考萨
Original assignee: Nokia Technologies Oy
Current assignee: Nokia Technologies Oy
Priority date: 2021-11-12
Filing date: 2022-11-11
Publication date: 2023-05-30
Also published as: EP4181021A1; US20230153611A1

Abstract

为训练计算模型提供未标记的训练数据包括：获得时间对齐的未标记数据的集合，其中这些集合与多个传感器中的不同传感器相对应；取决于指示多个集合中的第一集合的至少一部分与参考集合的至少一部分的第一统计相似性的统计分离信息并且取决于多个集合中的第一集合的第一样本相对于参考时间是时间对齐的,将第一样本标记为正样本；取决于指示多个集合中的第二集合的至少一部分与参考集合的至少一部分的第二较低统计相似性的统计分离信息，并且取决于多个集合中的第二集合中的第二样本相对于参考时间是时间未对齐的，将第二样本标记为负样本。

Description

为训练计算模型提供未标记的训练数据

技术领域

本公开的实施例涉及提供用于训练计算模型的未标记训练数据。有些涉及训练计算模型。

背景技术

监督机器学习需要标记数据样本来训练计算模型。为复杂模型(诸如深度学习模型)收集标记数据很麻烦，尤其是在实验室之外。

自监督机器学习(SSL)分析未标记的输入数据以得出监督信号。然而，用于SSL的前置任务通常是手工制作的(例如，将图像旋转60度)或依赖于预训练数据，因为前置任务的挑选会对SSL性能具有深远的影响。此外，对于传感器信号(例如，加速度计、陀螺仪、心电图、皮肤电导等)，很难手动定义可能引起学习鲁棒特征表示的前置任务。

发明内容

本公开的实施例以可以被描述为组监督学习(GSL)的方式改进了SSL，因为它利用了测量相同物体的多个传感器的能力用于准备训练样本。

根据各种但不一定是所有的实施例，提供了一种装置，包括被配置为以下的部件或用于以下的部件：

获得多个时间对齐的未标记数据的集合，其中集合与多个传感器中的不同传感器相对应；

获得统计分离信息，统计分离信息指示集合中的个体集合的至少一部分与参考集合的至少一部分的统计分离；

取决于指示多个集合中的第一集合的至少一部分与参考集合的至少一部分的第一统计相似性的统计分离信息并且取决于多个集合中的第一集合的第一样本相对于参考时间是时间对齐的，将第一样本标记为正样本；

取决于指示多个集合中的第二集合的至少一部分与参考集合的至少一部分的第二较低统计相似性的统计分离信息，并且还取决于多个集合中的第二集合中的第二样本相对于参考时间是时间未对齐的，将第二样本标记为负样本；以及

提供正样本和负样本用于训练计算模型。

根据一些但不一定是所有示例，集合的时间对齐的未标记数据指示公共对象的时变上下文。

根据一些但不一定是所有示例，多个传感器包括具有相同感测模态的传感器。

根据一些但不一定是所有示例，第一样本和第二样本在非重叠时间窗内。

根据各种但不一定是全部的实施例，提供了一种系统，该系统包括该装置，以及个体与多个传感器中的不同传感器相关联的一个或多个设备。

根据各种但不一定是所有的实施例，提供了一种计算机实现的方法，包括：

提供正样本和负样本用于训练计算模型。

根据各种但不一定是所有实施例，提供了一种计算机程序，该计算机程序当在计算机上运行时执行：

引起获得多个时间对齐的未标记数据的集合，其中集合与多个传感器中的不同传感器相对应；

引起获得统计分离信息，统计分离信息指示集合中的个体集合的至少一部分与参考集合的至少一部分的统计分离；

引起取决于指示多个集合中的第一集合的至少一部分与参考集合的至少一部分的第一统计相似性的统计分离信息并且取决于多个集合中的第一集合的第一样本相对于参考时间是时间对齐的，将第一样本标记为正样本；

引起取决于指示多个集合中的第二集合的至少一部分与参考集合的至少一部分的第二较低统计相似性的统计分离信息，并且还取决于多个集合中的第二集合中的第二样本相对于参考时间是时间未对齐的，将第二样本标记为负样本；以及

引起提供正样本和负样本用于训练计算模型。

根据各种但不一定是所有实施例，提供了一种设备，包括：

至少一个处理器；以及

至少一个存储器，包括计算机程序代码；

至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该设备至少：

记录与设备相关联的传感器的数据；

定义传感器数据的集合作为参考集合；

从装置接收经训练的计算模型，经训练的计算模型基于发送的参考集合、以及来自多个其他传感器的多个时间对齐的未标记数据的集合而被训练；

基于将来自传感器的另外的数据应用于经训练的计算模型来确定推断；以及

基于推断来控制设备的功能。

向装置发送与设备相关联的、定义参考集合的传感器的数据；

从装置接收经训练的计算模型，该经训练的计算模型基于发送的参考集合和来自多个传感器的多个时间对齐的未标记数据的集合被训练，其中训练基于：

基于推断控制设备的功能。

根据各种但不一定是所有实施例，提供了一种非顺时性计算机可读介质或计算机产品，包括程序指令，该程序指令用于使装置执行至少以下：

引起向装置发送与设备相关联的、定义参考集合的传感器的数据；

引起从装置接收经训练的计算模型，该经训练的计算模型基于发送的参考集合和来自多个传感器的多个时间对齐的未标记数据的集合被训练，其中训练基于：

引起基于将来自传感器的另外的数据应用于经训练的计算模型来确定推断；以及

引起基于推断控制设备的功能。

附图说明

现在将参考附图描述一些示例，在附图中：

图1示出了一个系统的示例；

图2示出了对比自我监督学习的示例；

图3示出了方法的示例；

图4示出了方法的示例；

图5示出了方法的示例；

图6示出了数据集的示例；

图7示出了组监督学习中的数据流的示例；

图8示出了比较宏F1分数的示例；

图9A至9B示出了示例比较t-SNE可视化；

图10示出了装置的示例；以及

图11示出了计算机产品的示例。

具体实施方式

本公开中的至少一些实现(但不一定全部)受到消费者感测设备中的关键趋势的启发，即每个用户多个感测设备的可用性。每个用户的连接设备的数目(其中大多数具有感测能力)一直在迅速增加。预计在未来，伴随他/她通常将拥有多个连接的感测设备，例如智能手机、智能手表、智能耳塞、智能戒指。

这为自我监督学习呈现了一个独特的机会。在此，用户的身体上或周围的多个设备从不同的角度捕获相同的物理现象(即用户的活动)。例如，当用户正在跑步时，放在大腿口袋里的智能手机和戴在手腕上的智能手表两者都会记录针对跑步活动的传感器数据；然而，由于它们在身体上的独特位置，它们从不同的角度捕获数据。来自不同设备的未标记数据可以被解释为彼此的自然转换，并用于设计自我监督学习技术。与传统的自我监督学习相对照，这种设置中的监督信号不是来自“自我”，而是来自组内的其他设备。因此，本文使用术语组监督学习(GSL)。

如本文将要描述的，GSL不仅适用于确定用户的上下文，而且适用于许多其他监督学习用例，其中具有例如相同或基本相似的模态的不同传感器捕获在基本相同的时间从不同的“角度”捕获相同对象的上下文。

图1图示了系统100的非限制性示例，其中可以实现本公开的示例。

系统100包括多个传感器108和装置102。传感器108包括例如传感器108A至108D，它们嵌入或通信地连接到相应的设备106A至106D。在一些示例中，系统100还包括物体104，其指的是正被感测的设备、用户、物体、空间或场景中的一项或多项。

装置102包括足够的计算资源以从传感器108A至108D获得或接收数据集并如本文所述训练计算模型。

在示例中，具有基本相似或至少部分不同的硬件和/或软件结构的传感器108A至108D与除装置102之外的一个或多个设备106相关联。具有/测量相同感测模态的传感器108A至108D可以相对于被感测的物体104部署在多于一个位置处。例如，多个传感器108A至108D可以分布在多个设备106A至106D之间，设备106A至106D相对于物体104位于不同的定位。

在一些情况下，传感器108A至108D足够接近物体104，使得相关传感器数据读数/测量值的变化在传感器108A至108D之间基本上是时间同步的，并且描述了上下文中的相同发展或变化。为此，包括传感器108A至108D的设备106A至106D可以可选地相互连接和/或作为相同小区域有线或无线网络(诸如局域网(LAN)、个域网(PAN)或体域网(BAN))的一部分连接到装置102。

因此，总而言之，传感器108A至108D基本上同时在相对于物体104的不同定位处测量相同的物体104，其中在一些示例中，这些定位可以可选地在物理上彼此接近。

系统100因此可以被称为“时间同步多设备系统”(TSMDS)。在人类活动识别的上下文中，设备106A至106D可以连接到BAN，其中多个计算/传感器设备被佩戴、固定或植入人的身体。一般而言，TSMDS的特性是所有设备106A至106D同时观察物理现象/模态(例如，用户的运动活动)并以时间对齐的方式记录传感器数据。

TSMDS可以部署在许多其他感官应用中。在智能家居网络或环境中，多个语音助手设备可以同时收听用户的语音和音频命令。在智慧城市网络或环境中，例如，在交通路口部署的相机网络中，多个相机可以同时从不同角度捕获相同的场景。在智能办公室/医院网络或环境中，示例临床用例包括人体上的压力传感器和/或运动传感器，例如用于获取用于慢性疼痛管理治疗或诊断的临床数据。另一示例临床用例包括例如人体上的血压传感器和/或心脏监测传感器，以获取用于心脏病管理治疗或诊断的临床数据。示例定位上下文包括无线局域网或广域网定位，例如基于来自由不同接入点处的不同天线的多个无线电信号测量的三角测量。该列表是非穷尽的，并且将在本领域技术人员的能力内找到配备有本文公开的知识的另外的用例。

一个或多个设备106A至106D可以包括专用传感器设备，和/或可以包括包含传感器108A至108D的通用计算机，除其它之外，或者设备106A至106D可以是包括其传感器108A至108D的芯片组。

在一些示例中，设备106A至106D中的一个或多个设备包括以下一项或多项：智能电话、手持便携设备、膝上型计算机、平板计算机；袖珍便携式设备；可穿戴(身体佩戴)设备；便携式媒体播放器、相机、增强现实(AR)显示设备、虚拟现实(VR)显示设备、扩展现实(XR)渲染设备、移动通信设备、电视、音频/视频流设备，车辆等，或它们的任何组合。可穿戴设备的示例包括：腕带式/环绕式设备，诸如手表(例如，智能手表)或戒指；植入式设备(例如，耳戴式设备，诸如耳塞或探头)；粘合剂安装设备(例如，皮肤贴片)等，或它们的任何组合。

在一些附加或备选示例中，一个或多个设备106A至106D包括一个或多个物联网(IoT)设备。此类设备通常但不排他地是测量工业过程的生理变量的专用传感器设备，例如振动、旋转速度、温度、电流和/或电压、pH值等，或其任何组合。此外，在一些附加或备选示例中，设备106A至106D中的一个或多个设备包括以下一项或多项：工业机械、电动机等，或其任何组合。

在其他或附加示例中，一个或多个设备106A至106D是客户端设备，被配置为与装置102通信，装置102是边缘/云边缘/服务器/云侧设备。

在其他或附加的一些示例中，装置102包括通过广域网(WAN)与设备106A至106D分离的远程服务器。例如，服务器可以被实现为云计算服务器或中央服务器。

在其他或附加示例中，装置102对于设备106A至106D是本地的。在一些示例中，装置102可以包括边缘设备，诸如路由器、接入点、基站或其他网关/接入点。

在其他或附加示例中，装置102是设备106A至106D中的一个设备或被包括在设备106A至106D中的一个设备内。

在一些其他或附加示例中，装置102是车辆并且设备106A至106D是车辆中的各种设备。

在一些其他或附加示例中，计算模型的训练分布在多个设备102、106A至106D之间。例如，可以利用集体计算资源。

图1图示了包括一个或多个传感器108A至108D的每个设备。总的来说，设备106A至106D的传感器被配置为检测公共对象104的时变上下文。

术语“对象”是指被感测的用户或物体、空间或场景。如果对象104是人或物体，则传感器108A至108D中的一些或全部可以佩戴、携带、连接或以其他方式附接到对象104。在各种用例中，传感器108A至108D中的一些或全部可以不与对象104接触，但仍然可以被布置(例如，定位/定向)以感测远程对象的上下文。如果对象104与特定物理位置或视野相关联(例如，用于机器视觉)，则对象(例如，道路使用者、交通标志、传送带上的物体等)可能在多个图像传感器中的每个的视野内。如果对象104是车辆，则传感器108A至108D中的一些或全部可以佩戴、携带、连接或以其他方式附接到车辆本身，并且传感器108A至108D中的一些或全部可以佩戴、携带、连接或以其他方式附接到与车辆本身基本相似的另一车辆。

通常，传感器108A至108D中的一些或全部传感器可以佩戴、携带、连接或以其他方式附接或嵌入到对象104本身，并且传感器108A至108D中的一些或全部传感器可以佩戴、携带、连接或以其他方式附接到与对象104本身基本相似的另一个分离的对象。

术语“上下文”是指属于普遍识别的类别的活动、状态或性质，其中训练计算模型的任务是在不同的上下文(类别)之间绘制客观准确的决策边界。

术语“时变”指的是时间数据，包括例如时间戳数据。示例包括运动信号、生理信号、视频或音频信号。

时间数据还包括时空数据，包括例如当对象104移动时改变的定位数据的时间历史。

在示例中，设备106A至106D被配置为检测对象104的“持续”时变上下文，以便收集大量训练数据集。

术语“持续”是指不是单个瞬态事件的事件，无论是否处于稳态。上下文是持久的，以至于训练样本的开始时间可以改变一次或多次而不改变训练样本的类别。一个很好的示例是循环数据，诸如步行/跑步或心率，昼夜数据(诸如唤醒/睡眠)或受监测路口的交通模式。

在示例中，所有传感器108A至108D都具有相同的感测模态，无论它们是否使用相同类型的换能器、硬件和/或软件。在其他示例中，一些但不一定全部利用的传感器108A至108D具有相同的感测模态。在另外的示例中，模态不同但相关性良好。

在一些示例中，模态是指由特定传感器使用的输入，例如，运动、速度、加速度、旋转、声音、力、温度、光、压力、电、磁等。在一些附加或备选示例中，模态是指与由特定传感器使用的输入相关的物理属性、特征或性质的一个或多个测量数据。

感测到的时间数据(即变量)的模态和属性的非详尽列表包括：

-运动相关数据(例如，加速度、速度、角运动、定位、振动)；

-力/压力相关数据(例如，扭矩、应变、压力)；

-图像帧数据(例如，视频、图像的时间序列)；

-音频数据(例如，声音、音量、频率)；

-无线电信号数据(例如，无线局域网定位、无线电信号强度、接收信号强度(RSS)、信号幅度、信号频率)；

-电力数据(例如，电流和/或电压)

在一些示例中，传感器108A至108D共享相同的传感器采样率，或者它们的数据可以由装置102重新采样到相同的速率。一个优点是数据的维度将被馈送到计算模型在不同传感器108A至108D之间保持一致，以能够简化计算模型的架构(例如，神经网络架构)。

此外，传感器108A至108D以能够推断传感器108A至108D正在以时间对齐(同步)方式收集传感器数据的方式部署。在设备106A至106D之间可能存在时间戳噪声或系统时钟未对准，这可能会扭曲多设备数据集的时间对齐。但是，传感器的时间戳噪声通常很小，例如，小于10毫秒。假设如此小的噪声不会降低性能。在没有用于感测数据的时间戳信息的情况下，可以使用其他对齐技术，例如基于特征检测或时钟同步。在一些其他或附加示例中，在设备106A至106D之间的具有时间戳噪声或系统时钟未对齐的感测数据可以用作计算模型训练中的负训练样本，如本说明书中稍后将描述的。

下面的描述描述了基于传感器数据实现的GSL方法。对比学习用于训练，这是一种依赖于正样本、负样本和参考样本的技术。图2提供了对对比学习的视觉介绍。

对比学习是一种自我监督学习算法，其目标是在嵌入空间中将数据集中的相似样本分组更近，而将不同样本分组远离彼此。

如图2所示，参考样本200、204(称为锚样本)从训练数据集中获取，并且预定义的扰动(例如，旋转)被应用以生成样本的变换版本，例如，202。在训练过程中，经变换的样本被认为是正样本，而从数据集中随机选择的其他数据样本206被认为是负样本。

所有三种类型的数据样本(锚、正、负)都被馈送到神经网络以获得(例如，确定)特征嵌入。

模型训练的目标是使锚点和正样本的特征嵌入更接近，同时使锚点和负样本的嵌入彼此远离。

在这个过程中，模型学会了仅使用未标记的原始数据来提取高质量的特征嵌入，并且这些嵌入可以在以后用于下游分类任务。

支撑对比学习的性能的因素之一是前置任务的挑选。前置任务是指应用于每个锚样本的(多个)扰动，针对锚样本设计者希望模型保持不变，同时保持对其他负样本的区分。

例如，在图2中，前置任务是使模型对旋转202不变。由算法设计者挑选的扰动的挑选可以对对比学习的性能产生深远的影响。已经发现，在ImageNet数据集上利用对比学习进行预训练的模型的top-1准确率可以从56.3％(使用图像裁剪和着色变换)急剧下降到仅2.6％(使用图像旋转变换)。

因此，在对比学习期间，目前的GSL方法不是指定手动变换(例如旋转)，这对开发人员来说是一项耗时的任务，而是以自动方式利用传感器数据集中已经可用的自然变换。TSMDS设置(图1)呈现了一种独特的场景，其中自然变换由来自不同传感器108A至108D的数据表示。

在示例实现中，由主体用户104的上下文佩戴或以其他方式与主体用户104的上下文相关的多个传感器108A至108D从相对于用户的不同定位/视图同时捕获相同上下文(例如，跑步)的相同模态。这样，来自不同设备106A至106D的未标记数据的集合可以被认为是彼此的自然变换。例如，由穿戴式传感器收集的加速度计和陀螺仪数据取决于传感器被放置的身体部位的平移和旋转特性。由于不同的身体部位具有不同的平移和旋转特性(例如，手腕比胸部具有更高的旋转自由度)，它引起从不同身体定位收集的加速度计和陀螺仪数据中的自然变换。

总之，TSMDS设置允许捕获时间对齐的传感器数据集，这些数据集之间具有自然变换。这些自然变换能够自动定义用于对比学习的前置任务。

图3图示了可由装置102执行的计算机实现的方法300。图3可以概括为用于训练用于推断时变上下文的计算模型的方法300。

框302包括获得或接收多个时间对齐(时间序列的/时间戳集合)未标记数据的集合，其中这些集合与多个传感器108A至108D中的不同传感器相对应。

参见图6，用于可以由装置102从N多个传感器108A至108D的设备获得或接收的数据集600(多个集合)的示例，例如N＝4。非限制性地，图6涉及基于加速度数据的人类活动识别。图6图示了捕获持久上下文的多秒跟踪，在这种情况下，持久上下文正在运行(但没有这样标记)。数据集的时间长度足以捕获数据的多个周期(用户的步数)。一般而言，数据集600(多个集合)可以是时间对齐的任何数据(时间序列的/时间戳集合)或者可以通过数据的另外处理来进行时间对齐。图中的具体示例显示了在跑步活动期间从N(＝4)体穿戴设备106同时收集的带时间戳的3D加速度计数据的9秒轨迹，其中每个加速度计轨迹使用3秒的窗口长度，从而为每个设备给出3个窗口/样本。

在一个示例中，所示数据集600包括四个加速度数据的集合602A、602B、602C、602D，尽管在其他示例中可以少至两个数据的集合。

每个数据的集合包括运动相关数据，指示传感器所附接的用户的不同身体部位的运动。身体部位包括例如用户的胸部、上臂、前臂和头部。

每个数据的集合可以包括与相同感测模态相对应的多个数据的子集，诸如不同轴上的运动。每个示出的集合包括三轴加速度计轨迹(和/或陀螺仪数据)。附加地或备选地，每个数据的集合可以包括与相同或相同类型的感测位置(诸如相同的身体部位)的多个数据的子集。

为训练目的对每个数据的集合进行采样，例如，装置102可以被配置为将每个数据的集合分割成基本不重叠的时间窗以用于训练目的。在图6中，时间窗口的长度为3秒，为了清楚起见，用垂直虚线在视觉上分离。时间窗的长度足以捕获数据的多个周期，并且比整个数据的集合的持续时间短，使得时间窗口可以在学习过程的将来迭代中改变。

例如，考虑特征提取器将使用对比学习对“胸部”身体定位进行训练。这样，装置102被配置为将针对“胸部”的数据的集合标记为锚集合(例如参考集合)。来自“胸部”锚集合的第一锚样本604(例如参考样本)由图6中指示时间窗口的矩形突出显示。在示例中，设备106A至106D中的一个设备被选择或定义为锚设备，并且其数据集合被称为锚集合，并且数据集合的样本被称为锚样本。锚设备的选择/定义指示需要计算模型的设备。

接下来，在框304，方法300包括获得或接收信息以帮助装置102确定如何自动(无需用户干预)将来自剩余N-1个集合(即，上臂、前臂、头部)的样本分别标记为正样本和负样本，用于对比训练。

好的正样本X⁺具有以下特性：

(P1)X⁺应当与锚样本X属于相同的标签/类别。这是因为如果X⁺和X来自不同的类别，而特征提取器试图将它们映射得更近，则会引起较差的类别分离并降低下游分类性能。

(P2)X⁺应当来自其数据分布与锚样本的数据分布有小的差异的设备/传感器。这是因为如果锚设备和正设备在数据特性上很不同(例如，腕戴式惯性测量单元[IMU]与胸戴式IMU)，那么特征提取器可能会发现很难将它们的数据映射得更接近彼此。换言之，可以使用小的散度，因为在某些示例中，如果没有散度，那么数据可能对训练没有用处。

请注意，在GSL中，可能无法接入数据的真实标签。因此，在X⁺上强制执行(P1)起初可能看起来很棘手。然而，基于TSMDS(图1)的实现，可以推断所有传感器108A至108D同时以时间对齐的方式收集数据。因此，可以自然地假设真实标签(例如，基于被监测的活动、被监测的模态等命名为例如步行、跑步等)在设备106A至106D之间也是时间对齐的。因此，如果可以保证X和X⁺是时间对齐的，那么就会隐式地保证它们具有相同的标签。例如，通过主参考时钟(PRC)来确保时间对齐，该主参考时钟(PRC)正在同步设备106A至106D和装置102(和对象104)所连接的网络。

好的负样本具有以下特性：

(N1)X^-应该是真负数，即与锚样本X属于不同的类别。这是因为如果X和X^-来自相同的类别，而特征提取器试图将它们推开，则可能引起较差的分类性能。

(N2)信息量最大的负样本是那些嵌入最初靠近锚嵌入的负样本，特征提取器需要将它们推得很远。在这种情况下，特征提取器从数据中获得强大的监督信号，并在训练期间获得更有用的梯度。在备选情况下，当训练初始化时负嵌入已经远离锚点时，特征提取器将从数据中接收较弱的监督信号，这可能对其收敛产生不利影响。

同样，由于GSL中类别标签的不可用，严格强制执行(N1)是不可能的。需要一种解决方案，可以在负样本上鼓励这种特性，并最小化X和X^-属于相同类别的可能性。

直觉上，会有一些传感器的数据分布与“胸部”的数据分布相差太远。如果方法300使用这些相距很远的设备来获得(例如确定)正样本并将它们在嵌入空间中推得更靠近锚样本，这可能会引起针对对比学习的退化解决方案。此外，由于每个设备的数据分布取决于用户的活动而变化，因此方法300可以在选择设备的同时理想地考虑这些动态变化。这个挑战可以称为“设备选择”。

在框304处的该设备选择操作包括获得(例如，确定)统计分离信息，该统计分离信息指示数据的集合中的个体集合的至少部分(例如，样本)与参考集合的统计分离。例如，可以将集合与参考集合相比较，或者可以将集合的样本与参考集合的参考样本相比较，或者可以将集合的样本与参考集合相比较，或者可以将集合与参考样本相比较。作为示例，来自装置102的锚数据的集合被用作参考集合，并且来自装置102的第一锚样本604被用作参考样本。

统计分离信息可以包括相似性度量或差异度量。因此，统计分离信息能够相对于参考数据的集合对数据分布进行排序。

在示例中，获得统计分离信息包括获得/确定每个N-1集合相对于参考集合的成对最大平均差异(MMD)。MMD是一种分布级统计量，用于计算两个数据分布之间的距离，其中MMD越高意味着分布之间的距离越大。

关于MMD的备选，一个可用的备选是Jensen-Shannon散度度量，它与MMD具有相似的准确性。

装置102可以被配置为将与参考集合具有最大统计相似性(例如，最小MMD距离)的数据的集合标记(mark)(选择/标记(1abel))为正数据的集合(正设备/正传感器的数据)。这满足针对选择好的正样本的标准(P2)，并确保特征提取器可以合理地映射样本的嵌入彼此更接近。

可选地，可以标记多个正数据的集合。例如，具有低于阈值的统计相似性(例如，MMD距离)的数据的集合可以被标记为正。然而，一些实验发现，使用最接近的设备作为正给出了最佳性能。

装置102可以被配置为将一些或所有剩余的数据的集合(除了参考集合和正集合)标记为负，因为它们与参考集合的统计相似性较小(例如，较高的MMD距离)。

至少有两种用于处理负数据的集合的方法：可能有“硬”阈值或“软”阈值。

在软阈值的情况下，训练权重可以被指派。对于负数据的集合，装置102可以被配置为将训练权重指派给个体负数据的集合。在对比训练期间，可以为与参考集合具有较大统计相似性(例如，较小MMD距离)的数据的集合指派较高的权重。在对比训练期间，可以为与参考集合具有相对较低统计相似性(例如，较高MMD距离)的数据的集合指派相对较低的权重。

通过指派权重，标准N2被满足并且更接近于参考集合的那些负数据的集合在训练期间获得较大的权重。

当在一个设备上违反标准(N1)时，使用许多或“所有”剩余的数据的集合作为负用作对对这种情况的对冲。例如，即使一个设备违反(N1)并最终从与X相同的类别中选择X^-，其他设备也可以覆盖它，并确保其对特征提取器的影响最小。

在硬阈值的情况下，具有低于阈值统计相似性的数据的集合可以被忽略(例如，丢弃)。

一些测试发现软阈值更准确，同时还能对实际部署问题保持弹性，诸如数据/设备丢失(此类集合将被给出非常低的权重，因此有效地排除)。然而，一些测试发现硬阈值对于一些特定的实现可能是有利的。

在一个实现中，装置102从具有时间对齐和未标记的数据的集合

的设备的集合D接收数据。令D^*∈D为锚点设备。令D^θ＝D\D^*是想从中挑选正和负设备的剩余设备的候选集合。

首先，从锚设备D^*和Dθ中的每个设备中采样一批时间对齐的数据。令x^*和

相应地是来自锚点和候选设备的数据批次。

指派给每个负设备的权重i∈D^θ可以表示为等式1：

作为示例，设备选择策略应用于RealWorld HAR数据集(公开可用的数据集)。该数据集包含来自七个配备惯性测量单元的设备的传感器数据：D＝{胸部、上臂、前臂、大腿、胫骨、头部、腰部}。“胸部”被挑选为锚装置并获得(例如确定)来自“胸部”的数据和来自其余设备的数据之间的成对MMD。这引起以下成对的MMD分数：{胸部-头部：0.45、胸部-腰部：0.61、胸部-大腿：0.67、胸部-上臂：0.77、胸部-前臂：0.83、胸部-胫骨：1.51}。根据设备选择算法，头部被挑选为正设备，并且{头部、腰部、大腿、上臂、前臂、胫骨}被挑为负设备，其权重与它们的MMD分数成反比。

框306包括将多个集合中的第一集合中的第一样本标记为正样本。框308包括将多个集合中的第二集合中的第二样本标记为负样本。可以将来自第三集合或另外的集合的更多样本标记为另外的负(和/或另外的正)样本。

在示例中，(多个)第一样本从基于框304标识的正集合(正设备)中选择，并且(多个)第二样本从基于框304标识的(多个)负集合(负设备)中选择。

在示例中，用于从正集合中选择正样本并从(多个)负集合中选择(多个)负样本的策略是对比采样策略。

形式上，装置102被提供有锚设备(参考设备)D^*、正(D⁺)和负(D^-)设备的集合。令

A＝{a¹，...，a^T}相应地是来自第i个正、第j个负和锚设备的时间对齐数据批次。在此，/>

和a^t分别表示时间步长t处的数据样本。

对比采样的目标是为给定的锚样本a^t选择“好的”正和负嵌入。示例采样策略基于数据的时间对齐工作来定义同步正样本和异步负样本。

同步正样本：对于在时间步长t处的给定锚样本a^t，装置102挑选其时间对齐的正对应物

作为正样本。换言之，从与参考时间基本相同的时间开始的正数据的集合的样本窗口，参考时间是锚集合(参考集合)的锚样本(参考样本)的时间或开始时间。可选地，正样本具有与参考样本基本相同的持续时间。如果在正数据的样本窗口的开始时间和锚样本的开始时间之间存在小的时滞，那么这些窗口仍然可能基本上重叠。如前所述，这种挑选可确保锚点和正样本具有相同的标签，并满足针对好的正样本的(P1)标准。

异步负样本：针对好的负样本(N1)的标准是它们应该属于与锚样本不同的类别。由于装置102在对比学习期间无法接入真实标签，因此可能无法严格强制执行(N1)。作为一种解决方案，装置102被配置为利用未与锚(参考)样本时间同步的负样本更可能来自不同类别的观察。也就是说，对于时间步长t处的锚(参考)样本a^t，一个好的负样本将是n^t′|t′≠t。在示例中，负样本的时间窗口相对于正样本和/或锚(参考)样本的时间窗口不重叠。

然而，这种挑选仍然不能保证时间步长t和t′处的标签会不同；例如，用户在t＝0和t′＝100时的活动可能偶然碰巧相同。为了最大限度地减少这种情况的可能性，可以在GSL期间使用大批量大小，以确保每个批次中都有不同的类别标签，并减少随机机会在t和t′处的标签重叠的可能性。

图6图示了锚样本(参考样本)604、同步正样本606和异步负样本608A、608B的示例。

在一些示例中，第一样本和第二样本在框304之前被选择。框304然后包括获得(例如确定)指示第一样本与参考样本或参考集合的统计分离的统计分离信息，并且包括获得例如确定指示第二样本与参考样本或参考集合的统计分离的统计分离信息。然后框306和308将对比采样策略应用于第一样本和第二样本。

最后，方法300的框310包括提供正样本和负样本用于训练计算模型。参考样品可以进一步被提供。“提供”包括，例如，将样本输入到本地执行的训练模型(特征提取器)，或将样本发送到远程执行的训练模型，或存储/输出样本以供以后执行。

图4图示了计算机实现的方法400的示例，其包括图3的操作和训练计算模型的附加可选操作。计算模型可以包括任何神经网络，诸如人工神经网络(ANN)或深度神经网络(DNN)。在视频或音频数据的情况下，循环神经网络(RNN)或卷积神经网络(CNN)可能是合适的。

如果需要，块402包括初始化特征提取器f。特征提取器f可以实现为神经网络，诸如卷积神经网络(CNN)或人工神经网络(ANN)的任何模型。初始化特征提取器可以包括为特征提取器提供随机权重。神经网络的构造可以是适合于特定任务和/或设备102的硬件和软件限制的任何构造。

框404包括对时间对齐的未标记数据的批次B进行采样。这是图3的方法300的操作302的实现。未标记的数据包括时间戳信息，使装置102能够在尚未对数据的集合进行时间对齐的情况下对数据的集合进行时间对齐。同样，如果数据的采样率不同，则数据可以被重新采样到一个公共的采样率。

框406包括选择正和负设备。这是图3的方法300的操作304的实现。上面描述的“设备选择”策略可以被使用。

框408包括，对于锚样本，确定来自正设备和负设备的哪些样本将被标记为正样本和负样本，然后将这些样本标记为正样本和负样本。这是图3的方法300的操作306和308的实现。“对比采样”策略可以被使用。

框410至416与训练过程本身有关。框410包括执行(例如计算)损失函数以基于(多个)正样本、(多个)负样本和锚样本训练特征提取器f。

下面将解释从先前操作中选择的正样本和负样本如何可以被使用以训练特征提取器f。首先，将锚样本、(多个)正样本和(多个)负样本馈送到特征提取器以获得(例如确定)特征嵌入。令

知/>

是从第i个正设备和第j个负设备中选择的特征嵌入。令z^*为锚嵌入。

提出了一种称为组对比损失(Group Contrastive Loss)的新型损失函数(2)用于计算损失值，该损失值适用于与多个正样本和/或多个负样本兼容：

其中sim(.)表示余弦相似度，w_j是由等式(1)指派给负设备的权重，并且τ是表示温度的超参数。

在示例中，L_GCL使用随机梯度下降针对每批数据被最小化。实际上，训练期间的损失最小化引导特征提取器f(.)以增加锚和正嵌入之间的余弦相似度(即，在特征空间中将它们推得更近)，而对锚和负嵌入做相反的事情。在这样做中，f(.)了解来自不同设备的传感器数据的结构，并学习将原始数据映射为高质量的特征表示，这可能对于各种下游分类任务有用。

在其他示例中，可以使用与等式(2)中所示的函数不同的函数。例如，三元组损失(Triplet Loss)函数可适用于与多个正样本和/或多个负样本兼容。

决策框412和414及其相关联的迭代循环使方法400能够基于不同的参考时间(时间步长≠t)提供另外的正样本和另外的负样本以及另外的锚样本，并且基于另外的样本迭代地确定损失值，直到收敛标准被满足。

在决策框412，方法400包括确定批次B中的足够(例如，所有)样本是否已经被计算。如果不是，则方法400在参考时间t+n处选择新的锚样本并循环到框408以基于新的锚样本选择正样本和负样本。

一旦批次B中的足够样本已经被计算，框412就被满足并且方法400进行到决策框414。

在决策框414，方法400包括确定针对损失函数的收敛标准是否被满足。收敛后，我们期望特征提取器f已经学会为计算模型提取高质量的特征表示。

收敛标准可以包括，例如，由损失函数计算的损失值在N个批次上没有改变(例如，保持在一个范围内)的要求。那么，可以说训练已经收敛。备选地或附加地，收敛标准可以包括依赖于最小值的检测(例如，损失值的检测在一段时间减少之后开始增加)来停止训练的要求。在一些其他或备选示例中，收敛标准可以包括例如由损失函数计算的损失值已经达到某个阈值水平的要求，该阈值水平可以由系统管理员设置。

如果尚未达到收敛，则方法400循环到框404以获得或接收时间对齐的未标记数据的集合的新批次B(数据集)。

在达到收敛之后，方法400可以可选地包括监督微调框416，包括在来自与计算模型相关联的锚设备的小标记数据集上训练连接到特征提取器的分类器。锚设备与提供锚集合(参考集合)的锚设备相同。在一些示例中，小标记数据集可以由方法10的用户或管理员、锚设备的用户来标记。在一些示例中，小标记数据集可以基于相关数据集的传感器模态(例如，和/或基于对象104，例如运动(模态)、加速度(模态)、手臂(对象)、手臂(对象)的运动(模态)，手臂(对象)的加速度(模态)等)来标记。

在示例实现中，框416包括冻结特征提取器的权重，除了其最后卷积层并将分类头添加到计算模型。

分类头包括多个隐藏单元的全连接层。例如1024，具有一个或多个激活函数(诸如整流线性单元(ReLU)等)，后跟具有单元的数目等于标签的数目的输出层。然后，计算模型通过优化损失函数(诸如分类交叉熵损失函数等)利用来自锚设备的小的标记数据集L^*被训练。

该可选的监督微调操作可以由装置102实现，使(例如，锚设备的)输出设备提示用户添加标签。

在实际部署中，有时会进行有监督的微调，因为实际部署需要分类。然而，为了使计算模型工作，这不是必需的。

可选地，在一些示例中，方法400可以包括最初基于小的标记数据集来训练分类器。然后未标记的数据的集合可以被传递给分类器以生成伪标签。这使得方法400在操作408能够进一步取决于伪标签是相同还是不同来标记正样本和负样本。除了伪标签检查之外，负样本仍然需要异步(非时间对齐)。该特征将进一步提高准确性。

图5图示了可以在锚设备106(例如，系统100的106A)处执行的示例计算机实现的方法500。这使得锚设备106能够从装置102请求其自己的经训练的计算模型。系统100包括多个设备106A至106D，一些或所有设备可能能够成为锚设备并且能够从装置102请求其自己的经训练的计算模型。

每个设备106A至106D被给出其自己的经训练的计算模型的优点是抵抗传感器损失的鲁棒性。例如，当用户跑步时，他们可能并不总是决定穿戴所有用于训练计算模型的设备。因此，他们可能想要至少一些设备拥有他们自己的经训练/微调的计算模型。在一些示例中，设备106A具有计算模型，该计算模型由设备制造方和/或模型提供者训练到一定的准确度水平，然后用户(例如对象104)可以进一步训练该计算模型以更好地匹配用户的个人特征并提供更准确的推断结果。

方法500包括，在框502，确定指示对训练的要求被满足的条件。例如，条件可能是时间相关的(例如，每24小时重新训练一次模型)、基于触发词检测、基于工业过程监测反馈(例如，过程精度或某些过程函数值已偏移到阈值以下，其中需要新的模型训练)、基于经由设备106的用户接口等的来自用户的特定命令/输入。

方法500包括，在框504，向装置102发送与设备106相关联的(多个)传感器108的数据，该数据定义参考集合(即锚集合)。数据可能已经被设备106的用户定义为参考集合，或者装置102可以在接收数据之后将其定义为参考集合。附加或备选地，计算模型的指示和/或信息被发送，该指示和/或信息描述当前在设备106A中实现的模型，或者被请求为设备106A训练的特定模型的指示和/或信息。附加或备选地，因此，当前模型可以向装置12发送。此外，在一些其他或附加的示例中，锚设备106可以获得(例如确定)参考集合的模态，并将关于模态的指示和/或信息发送到装置102以用于相关计算模型的训练。

此外，计算模型的训练由装置102根据方法300或400执行。

一旦装置102作为响应已经训练了计算模型(方法300/400)，方法500包括，在框506，设备106从装置102接收计算模型，该计算模型基于发送的参考集合和来自(多个)其他设备的其他传感器的时间对齐的未标记数据的集合被训练。在一些示例中，计算模型还附加地通过参考集合的模态被训练。其中在一些示例中，参考集合的模态包括以下一项或多项：与由特定传感器使用的输入相关的一种或多种测量的物理属性、特征或性质，或者与对象104相关的一种或多种属性、特征或性质。此外，在一些其他或附加示例中，其他传感器是相关的，例如连接到对象104。

框508包括基于将来自传感器的新数据应用于经训练的计算模型来确定推断的运行时操作。与训练过程不同，此操作不一定需要大量计算资源。

在另一实现中，经训练的计算模型保留在装置102或另一实体上，但它仍然与特定设备106相关联。也就是说，设备106可以向远程托管的经训练的计算模型发送请求并接收推断的输出数据作为回应。

框510然后可以包括基于推断结果控制设备106和/或对象104的一个或多个功能，和/或经由设备106和/或对象104的用户接口呈现相关信息。例如，该功能可以是用于对象104和/或设备106A等的工业控制功能。在人类活动识别的情况下，例如通过给出锻炼指令/建议来控制用户(例如对象104)。

在一些示例中，设备106A本身就是装置102。在一些备选或附加示例中，设备106A本身是对象104。在一些备选或附加示例中，设备106A、对象104和设备102是相同的设备。

图7图示了本文描述的组监督学习方法中的数据流(从框1到框4)的示例。

图7的框1表示设备选择。数据集600被可视地表示，其被分成正、锚(参考)和负数据的集合602A至602N。

图7的框2表示对比采样。同步正样本、锚(参考)样本和时间异步负样本被标记。

图7的框3表示组对比学习，其中特征提取器702的损失函数被应用于将嵌入推得离锚(参考)样本更近或更远。

图7的框4表示监督微调。来自锚设备的小标记数据集706被提供以微调计算模型704，包括预训练的特征提取器702。在一些示例中，预训练的特征提取器702包括冻结层(例如，具有冻结权重的CNN层)和分类层。计算模型704连接到微调和评估块708以进行监督学习(例如微调和评估电路系统)以用于执行方法400的操作416。

图8至图9B提供了比较示例，以证明方法300、400相对于用于自动准备和实现训练数据集的方法提供了一致且可重复的准确性改进，而在运行时计算量不会太大。

GSL在三个多设备HAR数据集上进行了评估，并将其性能与各种HAR基线(诸如自监督学习、半监督学习和全监督学习)进行了比较。主要结果包括：

-GSL在低数据状态下优于全监督学习。在15个锚(参考)设备中的13个，利用10％或25％的标记数据训练的GSL比利用100％标记数据训练的全监督模型获得更高的F₁分数(F₁分数是精度和重新校准的调和平均，F₁分数也称为

-Dice系数或骰子(Dice)相似系数(DSC))。

-GSL在识别性能方面也优于各种HAR基线。当相同数量的标记数据被使用时，与表现最好的基线相比，GSL在F₁分数上具有7％的绝对增加。

-通过t-SNE图(图9A至9B)和显着性图的可视化，表明GSL生成了跨类别的很好可分离且有意义的特征嵌入。

-GSL对来自多个设备的数据的时间未对齐具有鲁棒性；当高达500ms的时间同步误差被引入设备中时，F₁分数中小于0.006的差异被观察到。

对于实验，用于人类活动识别(HAR)的三个数据集被使用，它们具有来自多个设备的时间对齐传感器数据：RealWorld、Opportunity和PAMAP2，如下表1所示。通常，它们包含从多个体上设备同时采样的3轴加速度计和3轴陀螺仪数据。数据集来自：

-RealWorld HAR数据集-Timo Sztyler and Heiner Stuckenschmidt.2016.On-body localization of wearable devices：An investigation of position-awareactivity recognition.In 2016 IEEE International Conference on PervasiveComputing and Communications(PerCom).IEEE，1-9；

-Opportunity-Daniel Roggen，Alberto Calatroni，Mirco Rossi，ThomasHolleczek，Kilian

Gerhard />

Paul Lukowicz，David Bannach，GeraldPirkl，Alois Ferscha，et al.2010.Collecting complex activity datasets in highlyrich networked sensor environments.In 2010 Seventh international conferenceon networked sensing systems(INSS).IEEE，233-240.；和

-PAMAP2-Attila Reiss and Didier Stricker.2012.Introducing a newbenchmarked dataset for activity monitoring.In 2012 16th internationalsymposium on wearable computers.IEEE，108-109.

表1：用于评估的数据集的摘要

RealWorld数据集包含15名参与者的加速度计和陀螺仪轨迹，在安装在前臂、大腿、头部、上臂、腰部、胸部和胫骨的7个传感器设备上以50Hz同时采样。每个参与者执行8项活动：上下爬楼梯、跳跃、躺着、站立、坐着、跑步/慢跑和步行。

Opportunity数据集包含从4名参与者收集的IMU数据，这些参与者利用17个体上传感器设备执行日常生活的活动，采样频率为30Hz。为了评估，五个设备被选择。这五个设备部署在背部、左下臂、右鞋、右上臂和左鞋上。该评估旨在检测运动类别的模式，即站立、行走、坐着和躺着。

PAMAP2身体活动监测数据集包含18种不同的身体活动的数据，由9名参与者利用3个IMU执行。IMU以100Hz的采样率部署在优势臂的手腕、胸部和优势侧的脚踝上。在9名参与者和18项活动中，本次评估挑选了8名参与者和4种运动活动，站立、行走、坐着和躺着，这些活动由所有选定的参与者共享。

基线：该评估将GSL与6个基线相比较，分为以下4个类别：

-随机：在随机基线中，该评估将随机权重指派给特征提取器并冻结它们。在监督微调期间，只有分类头使用来自锚(参考)设备的标记数据被训练。该基线用于确认学习任务不是微不足道的，以至于可以利用随机特征提取器来解决。

-监督：为了代表传统的监督学习，该评估设计了两个基线，监督-单个和监督-全部。在两个基线中，特征提取器和分类器通过优化交叉熵损失使用标记数据联合训练。在监督-单个中，分离的模型对于每个锚(参考)设备的标记数据被训练。另一方面，监督-全部使用来自数据集中的所有设备的标记数据来训练公共模型。

-半-监督：作为半-监督学习的示例，该评估使用了两个自编码(AutoEncoder)基线：自编码-单个和自编码-全部。在这两个基线中，特征提取器充当“编码器”，其将未标记的输入样本转换为特征嵌入。该评估添加了一个分离的“解码器”神经网络，该网络执行逆向任务，即，它尝试将特征嵌入映射回输入样本。编码器和解码器一起形成自编码(AE)，并通过最小化输入数据和重建数据之间的均方误差来被训练。在自编码-单个中，分离AE针对每个锚(参考)设备被训练，而在自编码-全部中，公共AE使用来自所有设备的数据被训练。AE训练收敛后，该评估丢弃解码器并使用经训练的编码器作为特征提取器f(.)。随后，f(.)在来自锚(参考)设备的标记数据上被微调。

-自-监督：为了比较GSL与自监督学习(SSL)技术的性能，该评估采用多任务SSL技术。多任务SSL学习具有未标记数据的多任务时间卷积网络用于变换识别作为前置任务，并利用小标记数据集微调识别模型。在该基线中，分离的HAR模型针对每个锚(参考)设备被训练。请注意，尽管针对HAR提出了其他SSL技术，但还是挑选了了该技术作为基准，因为它还对传感器数据值应用变换，从而使其与GSL进行了更公平的比较。

数据预处理和超参数：加速度计和陀螺仪轨迹被分割为用于RealWorld 3秒的时间窗口和用于Opportunity和PAMAP2数据集的2秒的时间窗口，没有任何重叠。最后，数据集被归一化到-1和1的范围内。

该评估的训练设置在TensorFlow 2.0中实现。该评估使用TF HParams API进行超参数调整，并得出以下训练超参数：{GSL学习率：1e-5、微调和监督学习率：1e-3，τ＝0.05、批量大小＝512}。

评估协议和度量：在GSL中，尽管该评估使用来自多个设备的未标记数据来训练特征提取器，但该评估始终在单个锚(参考)设备(例如，用于RealWorld的胸戴式IMU)上完成。该评估将参与者分成多个组，并进行留一组交叉验证。RealWorld、Opportunity和PAMAP2的组的数目相应地被设置为5、4和4。更具体地说，该评估使用来自除保留组之外的所有组的未标记数据来训练特征提取器。此后，特征提取器与分类头一起在来自锚(参考)设备的标记数据集上被微调。最后，经微调的模型在来自保留组的数据上被测试。

该评估使用宏F1分数(所有类别上的F1分数的未加权平均)作为性能度量，这被认为是针对不平衡数据集的合理评估策略。

该评估关注GSL在两个方面相对于基线技术的HAR性能。首先，该评估研究解决方案与低数据状态下的基线相比是否正常执行，即，即使在少量标记数据的情况下，GSL是否也显示出可比的性能。第二，该评估调查该解决方案在识别准确度方面是否优于基线，具有相同的数据可用性，即，当所有基线都利用相同数量的标记数据被训练时。

为了研究低数据机制，该评估使用来自锚(参考)设备的10％、25％、50％、75％和100％的可用标记数据对GSL和除监督-单个之外的其他基线进行了微调。然后经微调的模型在来自验证/保留组的锚(参考)设备上被评估。监督-单个用作参考点，因此使用100％的训练数据被训练。针对每个锚(参考)设备(平均)的该评估的数据集中可用的标记训练数据如下：RealWorld：1027个窗口样本(大约51分钟)，Opportunity：3014个样本(大约100分钟)，PAMAP2：1280个样本(大约42分钟)。

下面的表2显示了针对各种锚(参考)设备的分类性能，在留一组评估(leave-one-group-out evaluation)中对所有验证组进行平均。更具体地说，表2报告了由每种技术超过监督-单个(括号中)的性能所需的标记数据的最小百分比，以及对所有验证组平均的对应的宏-F1分数。在技术的性能没有超过监督-单个的性能的情况下，则其最佳执行F1分数和标记数据百分比被报告。

/>

表2：分类性能：宏观F1分数的平均和标记数据的最小百分比优于完全监督模型(监督-单个)。对于每个锚(参考)设备，粗体数字代表最高F1分数，并且斜体数字代表由每种技术使用的最低数据量，以优于监督-单个。当一项技术不优于监督-单个时，其最佳性能用星号表示。

表2结果证实了GSL的数据效率。在15个锚(参考)设备中的13个中，利用10％或25％的标记数据的GSL比利用100％标记数据训练的监督-单个获得更高的F1分数。在剩下的两种情况下，当在RealWorld中的胸戴式设备处评估时，GSL利用25％的标记数据显示出可比的F1分数(GSL：0.690，监督-单个：0.701)，并且当在PAMAP2中的脚踝佩戴设备处评估时，利用100％的标记数据显示出较高的F1分数(GSL：0.784，监督-单个：0.731)。

表2还示出(斜体)需要最少的标记数据量以超过监督-单个的技术。据观察，与其他半-监督方法(自编码-单个和自编码自编码-全部)和自-监督方法(多任务SSL)相比，GSL通常表现更好。更具体地说，在15个锚(参考)设备中的11个中，GSL在基线之间使用了最低百分比的标记数据。考虑到自编码自编码单个、自编码自编码-全部和多任务SSL在3、4和6个锚(参考)设备上胜出，这是非常了不起的；请注意，多个获胜者可以被挑选。

最后，表2显示(粗体字)在低数据状态下提供最高性能的技术。在此，GSL在所有技术的15个锚(参考)设备中的10个中具有最高的F1分数。

图8通过绘制各种技术在利用来自锚(参考)设备的不同百分比的标记数据训练或微调时的性能，提供对这些发现的进一步见解。图8展示了两个重要的发现。首先，无论用于微调的标记数据的百分比如何，GSL通常都优于基线。这表明GSL设计有助于提高HAR的性能。其次，可以观察到，即使标记数据少得多，GSL也优于全监督模型(监督-单个)。

下面的表3示出了针对不同锚(参考)设备的宏F1分数的平均和标准差。平均而言，结果表明GSL优于针对我们使用的所有数据集的基线技术。与最佳执行基线监督-单个相比，GSL在F1分数上具有比所有数据集之间的所有锚(参考)设备的平均高出约7％的绝对增加。还观察到GSL优于多任务SSL。这验证了利用来自TSMDS设置中的自然变换用于自我监督对比学习的挑选。

/>

/>

表3.当100％的标记数据可用于微调时，针对不同锚(参考)设备的分类性能的比较(宏F1分数的平均和标准差)。lla：左下臂，rua：右上臂。

图9A和图9B示出了示例比较t-SNE可视化。该评估使用t-分布随机邻居嵌入(t-distributed stochastic neighbor embedding，t-SNE)图将GSL的学习特征嵌入和完全监督模型(监督-单个)可视化。

t-SNE是一种统计方法，用于探索和可视化高维数据。基于随机邻居嵌入，它以非线性方式降低数据的维度，并将每个数据点放置在二维或三维空间中的一个位置。具体来说，t-SNE旨在通过基于相似性对数据点进行聚类来发现数据中的模式。

使用t-SNE，该评估将由特征提取器生成的96-维特征嵌入在以下设置中投影到2D空间：GSL w/o微调、GSL w/微调和完全监督。

图9A和图9B示出了用于来自RealWorld和PAMAP2数据集(公开可用的数据集)的两个定位的t-SNE图。例如，图9A比较了三种训练设置之间来自用户脚踝佩戴的IMU的特征嵌入。图9B比较了三个训练设置之间来自用户的手持IMU的特征嵌入。通常，GSL w/o微调已经生成了类别之间的可很好分离的特征嵌入。这意味着TSMDS设置中的组对比学习能够很好地捕获数据的语义结构。通过利用少量标记数据进行微调，可以进一步改进嵌入中的类别分离，如GSL w/微调所示。还观察到，利用GSL学习的集群在很大程度上与利用100％的标记数据训练的全监督模型学习的那些集群相当。请注意，活动标签不用于t-SNE计算，而仅用于可视化。

之前假设来自TSMDS排列中的多个设备的数据以时间对齐的方式被收集。为了研究GSL对设备之间的时间未对齐的鲁棒性如何，通过故意注入时间同步错误，对RealWorld数据集进行了实验。更具体地说，该实验将RealWorld数据集中所有设备的时间戳移位了10ms、100ms和500ms，除了锚(参考)设备之外。

表4示出了针对两个锚(参考)设备“腰部”和“胫骨”的分类性能。结果表明，无论时间同步误差如何，GSL的分类性能没有显着差异——F1分数中的差异小于0.006。推测该结果是由特征提取器f(.)在特征提取期间忽略中等时间戳错误的能力引起的。

表4.针对不同时间同步误差的分类性能比较(宏F1分数的平均和标准差)。

对GSL的普遍性进行了另外的调查：使用GSL训练的特征提取器f(.)是否可以转移到新设备上，即不参与f(.)的预训练的那些设备。为此，另外的调查对来自所有设备的未标记数据进行了预训练的GSL-未见过，除了一个“未见过”的设备之外。然后预训练的模型在未见过的设备上被微调和评估。例如，在RealWorld数据集中——如果“头部”被挑选为未见过的设备，则特征提取器在其余设备上进行了预训练以获得(例如确定)GSL-未见过。然后，该调查利用“头部”的标记数据对GSL-未见过进行微调，并使用“头部”的测试数据报告分类性能。

表5比较了当模型在RealWorld数据集中的上臂和腰部佩戴设备处被评估时的GSL和GSL-未见过之间的分类性能。结果表明，GSL-未见过示出与GSL相当的性能，即使未见过的设备的数据没有用于预训练特征提取器。在这两种情况下，F1分数的下降都小于1％。这提供了一个早期指示，即使用GSL训练的特征提取器f(.)可以在设备之间转移，并且可用于在未见过的设备上进行微调。更具体地，当将新的、未见过的设备被添加到TSMDS设置时，训练/实现装置102/设备可以重用预训练的f(.)并使用来自新设备的少量标记数据仅对其进行微调。

用于测试的设备	GSL	GSL-未看见
			上臂	0.772(0.042)	0.764(0.063)
腰部	0.806(0.070)	0.792.072)

表5.RealWorld数据集中GSL和GSL-未看见之间的分类性能的比较(宏F1分数的平均和标准差)。

图10图示了在装置102、传感器设备106、传感器108和/或对象104中实现的控制器1200的示例。控制器1200的实现可以作为控制器电路系统。控制器1200可以单独以硬件实现，具有单独包括固件的软件的某些方面或者可以是硬件和软件(包括固件)的组合。

如图10所示，控制器1200可以使用启用硬件功能的指令来实现，例如，通过使用一个或多个通用或专用处理器1202(例如中央处理单元(CPU)和/或图形处理单元GPU)中的一个或多个计算机程序1206的一个或多个可执行指令，一个或多个计算机程序1206可以存储在一个或多个计算机可读存储介质(磁盘、存储器等)上以由这样的一个或多个处理器1202执行。

处理器1202被配置为从至少一个存储器1204读取和向至少一个存储器1204写入。处理器1202还可以包括输出接口，经由该输出接口数据和/或命令由处理器1202输出，以及输入接口，经由该输入接口数据和/或命令被输入到处理器1202。

此外，控制器1200可以具有一个或多个通信接口以将装置102、一个或多个传感器设备108A至108D、一个或多个传感器108A至108D和/或对象104彼此连接。

此外，控制器1200可以具有一个或多个输入用户接口以从控制器的用户接收一个或多个输入，此外，控制器1200可以具有一个或多个输出用户接口以控制输出设备向用户呈现一个或多个输出。

存储器1204存储一个或多个计算机程序1206，包括计算机程序指令(计算机程序代码)，该计算机程序指令当被加载到处理器1202中时控制装置102的操作。计算机程序1206的计算机程序指令提供逻辑和例程，该逻辑和例程使装置能够执行图3、图4、图5所示的方法。处理器1202通过读取存储器1204能够加载和执行计算机程序1206。

因此，在一些示例中，装置102、传感器设备106、传感器108和/或对象104包括：

至少一个处理器1202；以及

至少一个存储器1204，包括至少一个计算机程序代码；

至少一个存储器1204和至少一个计算机程序代码被配置为与至少一个处理器1202一起使装置102、传感器设备106、传感器108和/或对象104执行如在至少一个计算机程序代码中定义的一个或多个功能。

在一些示例中，至少一种计算机程序代码定义了一种或多种功能；

获得(例如接收)多个时间对齐的未标记数据的集合，其中集合与多个传感器中的不同传感器相对应；

获得(例如确定)统计分离信息，统计分离信息指示集合中的个体集合的至少一部分与参考集合的至少一部分的统计分离；

取决于指示多个集合中的第二集合的至少一部分与参考集合的至少一部分的第二较低统计相似性的统计分离信息，并且还取决于多个集合中的所述第二集合中的第二样本相对于参考时间是时间未对齐的，将第二样本标记为负样本；以及

提供正样本和负样本用于训练计算模型。

如图11所示，计算机程序1206可以经由任何合适的递送机制1300到达装置102、传感器设备106、传感器108和/或对象104。递送机制1300可以是例如机器可读介质、计算机可读介质、非瞬态计算机可读存储介质、计算机程序产品、存储器设备、记录介质(诸如光盘只读存储器(CD-ROM)或数字多功能盘(DVD))或固态存储器，包括或有形地体现计算机程序1206的制品。递送机制可以是被配置为可靠地传送计算机程序1206的信号。装置102可以传播或传输计算机程序1206作为计算机数据信号。

在一些示例中，用于使装置至少执行以下的计算机程序指令或代码：

引起获得(例如接收)多个时间对齐的未标记数据的集合，其中集合与多个传感器中的不同传感器相对应；

引起获得(例如确定)统计分离信息，统计分离信息指示集合中的个体集合的至少一部分与参考集合的至少一部分的统计分离；

引起取决于指示多个集合中的第二集合的至少一部分与参考集合的至少一部分的第二较低统计相似性的统计分离信息，并且还取决于多个集合中的所述第二集合中的第二样本相对于参考时间是时间未对齐的，将第二样本标记为负样本；以及

引起提供正样本和负样本用于训练计算模型。

计算机程序指令可以包括在计算机程序、非瞬态计算机可读介质、计算机程序产品、机器可读介质中。在一些但不一定是所有示例中，计算机程序指令可以分布在多于一个的计算机程序上。

尽管存储器1204被图示为单个组件/电路系统，但它可以被实现为一个或多个分离的组件/电路系统，其中一些或全部可以是集成的/可移除的和/或可以提供永久/半永久/动态/高速缓存的存储。

尽管处理器1202被图示为单个组件/电路系统，但它可以被实现为一个或多个分离的组件/电路系统，其中一些或全部可以是集成的/可移除的。处理器1202可以是单核或多核处理器。

对“计算机可读存储介质”、“计算机程序产品”、“有形体现的计算机程序”等或“控制器”、“计算机”、“处理器”等的引用应理解为不仅包括具有不同架构(诸如单/多处理器架构和顺序(冯·诺依曼，Von Neumann)/并行架构)的计算机，但也包括专用电路，诸如现场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备和其他处理电路系统。对计算机程序、指令、代码等的引用应理解为涵盖用于可编程处理器的软件或固件，诸如例如硬件设备的可编程内容，无论是用于处理器的指令，还是用于固定功能设备、门阵列或可编程逻辑器件等的配置设置。

如在本申请中使用的，术语“电路系统”可以指以下一项或多项或全部：

(a)纯硬件电路系统实现(诸如仅在模拟和/或数字电路系统中的实现)和

(b)硬件电路和软件的组合，例如(如适用)：

(i)(多个)模拟和/或数字硬件电路与软件/固件的组合，以及

(ii)具有软件的(多个)硬件处理器的任何部分(包括(多个)数字信号处理器)、软件和(多个)存储器，它们一起工作以使装置(诸如移动电话或服务器)执行各种功能以及

(c)(多个)硬件电路和/或(多个)处理器，诸如(多个)微处理器或(多个)微处理器的一部分，它们需要软件(例如固件)进行操作，但软件可能在操作不需要软件时不存在。

电路系统的该定义适用于本申请中该术语的所有使用，包括在任何权利要求中。作为另一示例，如在本申请中使用的，术语电路系统还涵盖仅硬件电路或处理器及其(或它们的)随附软件和/或固件的实现。例如，如果适用于特定权利要求元素，术语电路系统还涵盖用于移动设备的基带集成电路或服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。

300、400和/或500的方法可以相应地利用如上所述的一个或多个电路来实现。

图3、图4、图5中所示的框可以表示方法中的步骤和/或计算机程序1206中的代码段。对框的特定顺序的说明并不一定意味着对于这些框存在所需的或优选的顺序，并且这些框的顺序和排列可以改变。此外，可以省略一些框。

在结构特征已经被描述的情况下，它可以被用于执行结构特征的一个或多个功能的部件代替，无论该功能或那些功能是否被显式或隐式地描述。

在一些但不一定是所有示例中，设备106被配置为传送来自设备106的数据，无论是否在设备106的存储器1204中本地存储数据，以及是否由设备106的电路系统或处理器对数据进行本地处理。

数据可以在装置102处以已处理或未处理的格式远程存储。数据可以存储在云中。

数据可以在一个或多个设备上被远程地处理。数据可以在一个或多个设备上部分地在本地处理和部分地远程处理。

例如，数据可以经由短程无线通信(诸如WLAN(无线局域网)或

)或通过远程蜂窝无线电通信(诸如3G、4G、5G、6G或任何另外的演进/代)被无线地传送到远程设备。该装置可以包括通信接口，诸如例如用于数据的通信的无线电收发器。

(多个)设备106和/或装置102可以是物联网(IoT)的一部分，形成较大的分布式网络的一部分。

数据的处理，无论是本地的还是远程的，都可以用于健康监测、数据聚合、患者监测、生命体征监测或其他目的。

数据的处理，无论是本地的还是远程的，都涉及人工智能或机器学习算法。例如，数据可以用作学习输入来训练机器学习网络，或者可以用作对机器学习网络的查询输入，机器学习网络提供响应。机器学习网络可以例如使用线性回归、逻辑回归、向量支持机器或非循环机器学习网络，诸如单或多隐藏层神经网络。

数据的处理，无论是本地的还是远程的，都可以产生输出。输出可以传送到装置102，在装置102处可以产生输出

上述示例发现应用作为以下的启用组件：

汽车系统；电信系统；电子系统，包括消费电子产品；分布式计算系统；用于生成或呈现媒体内容的媒体系统，包括音频、视觉和视听内容以及混合、中介、虚拟和/或增强现实；个人系统，包括个人健康系统或个人健身系统；导航系统；用户接口也称为人机接口；网络，包括蜂窝、非蜂窝和光网络；自组织网络；互联网；物联网；虚拟化网络；以及相关的软件和服务。

本文档中使用的术语“包括”具有包容性而非排他性。也就是说，对包括Y的X的任何提及指示X可以仅包括一个Y或可以包括多于一个Y。如果旨在使用具有排他意义的“包括”，那么将在上下文中通过提及“仅包括一个……”或通过使用“组成”来明确。

在本描述中，已经参考了各种示例。与示例相关的特征或功能的描述指示那些特征或功能存在于该示例中。在文本中使用术语“示例”或“例如”或“可以”或“可能”表示，无论是否明确说明，这些特征或功能至少存在于所描述的示例中，无论是否描述为示例与否，并且它们可以但不一定存在于某些或所有其他示例中。因此，“示例”、“例如”、“可以”或“可能”指的是一类示例中的特定实例。实例的属性可以是仅该实例的属性或类别的属性或包括类别中的一些但不是所有实例的类别的子类的属性。因此，隐式地公开了参考一个示例而不是参考另一示例描述的特征可以在可能的情况下在该另一示例中用作工作组合的一部分，但不一定必须在该另一示例中使用。

尽管在前面的段落中已经参考各种示例描述了示例，但是应当理解，可以在不脱离权利要求的范围的情况下对给出的示例进行修改。

前面描述中描述的特征可以以除了上面明确描述的组合之外的组合使用。

尽管已经参考某些特征描述了功能，但是那些功能可以由其他特征执行，无论是否描述。

尽管已经参考某些示例描述了特征，但是那些特征也可以存在于其他示例中，无论是否描述。

本文件中使用的术语“一个(a)”或“该”具有包容性而非排他性。即任何提及包含一个/该Y的X指示X可以仅包括一个Y或可以包括多于一个Y，除非上下文清楚地表明相反。如果旨在使用具有排他含义的“一个(a)”或“该”，则将在上下文中明确说明。在某些情况下，可以使用“至少一个”或“一个或多个”来强调包容性的含义，但不应将这些术语的缺失视为推断出任何排他性的含义。

权利要求中的特征(或特征的组合)的存在是对该特征或(特征的组合)本身的引用，也是对实现基本相同技术效果的特征(等效特征)的引用。等效特征包括例如变体并且以基本相同的方式实现基本相同结果的特征。等效特征包括例如以基本上相同的方式执行基本上相同的功能以实现基本相同结果的特征。

在本描述中，已经参考了使用形容词或形容词短语来描述示例特征的各种示例。与示例相关的特性的这种描述表明该特性在某些示例中完全如所描述的那样存在，并且在其他示例中基本上如所描述的那样存在。

尽管在前述说明书中力图引起人们对那些被认为是重要的特征的关注，但应当理解的是，申请人可以经由权利要求就上文提及和/或在附图中示出的任何可专利特征或特征的组合寻求保护，无论是否强调。

Claims

1.一种计算机实现的方法，包括：

获得多个时间对齐的未标记数据的集合，其中所述集合与多个传感器中的不同传感器相对应；

获得统计分离信息，所述统计分离信息指示所述集合中的个体集合的至少一部分与参考集合的至少一部分的统计分离；

取决于指示所述多个集合中的第一集合的至少一部分与所述参考集合的所述至少一部分的第一统计相似性的所述统计分离信息，并且取决于所述多个集合中的所述第一集合的第一样本相对于参考时间是时间对齐的,将所述第一样本标记为正样本；

取决于指示所述多个集合中的第二集合的至少一部分与所述参考集合的所述至少一部分的第二较低统计相似性的所述统计分离信息，并且还取决于所述多个集合中的所述第二集合中的第二样本相对于所述参考时间是时间未对齐的，将所述第二样本标记为负样本；以及

提供所述正样本和所述负样本用于训练计算模型。

2.根据权利要求1所述的计算机实现的方法，其中所述集合的所述时间对齐的未标记数据指示公共对象的时变上下文。

3.根据权利要求1所述的计算机实现的方法，其中所述多个传感器包括具有相同传感模态的传感器。

4.根据权利要求1所述的计算机实现的方法，其中所述时间对齐的未标记数据包括以下一项或多项：运动相关数据；压力相关数据；图像帧数据；音频数据；无线电信号数据；电力数据；或力相关数据。

5.根据权利要求1所述的计算机实现的方法，其中将所述第二样本标记为所述负样本包括：基于所述第二较低统计相似性，将训练权重指派给所述第二集合或样本。

6.根据权利要求1所述的计算机实现的方法，其中所述第一样本和所述第二样本在非重叠时间窗内。

7.根据权利要求1所述的计算机实现的方法，还包括：基于包括权利要求1的所述正样本的一个或多个正样本、以及基于包括权利要求1的所述负样本的多个负样本来训练所述计算模型。

8.根据权利要求7所述的计算机实现的方法，其中训练所述计算模型包括：执行损失函数以训练特征提取器，其中所述损失函数被配置为基于所述正样本的聚合、并且基于所述多个负样本的聚合、并且基于所述参考集合来确定损失值。

9.根据权利要求7所述的计算机实现的方法，其中训练所述计算模型包括：基于以下一项或多项来提供另外的正样本和负样本：不同的参考时间；或不同的参考集合，并且包括：基于所述另外的正样本和负样本来迭代地确定所述损失值，直到收敛标准被满足为止。

10.根据权利要求7所述的计算机实现的方法，其中训练所述计算模型包括：基于与所述参考集合相关联的标记数据集来训练分类器。

11.根据权利要7所述的计算机实现的方法，还包括：

获得所述未标记数据的集合，每个集合包括时间戳信息；以及

基于所述时间戳信息对所述未标记数据的集合进行时间对齐，以获得所述时间对齐的未标记数据的集合。

12.根据权利要求1至11中任一项所述的计算机实现的方法，还包括：

基于所述正样本和所述负样本以及所述参考集合来训练所述计算模型；以及

将经训练的所述计算模型关联和/或发送到所述参考集合被关联于的设备。

13.一种用于计算模型的设备，包括：

至少一个处理器；以及

至少一个存储器，包括计算机程序代码；

所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使所述设备至少：

记录与所述设备相关联的传感器的数据；

将所述传感器数据的集合定义为参考集合；

向用于训练计算模型的装置发送所述参考集合；

从所述装置接收经训练的计算模型，所述经训练的计算模型基于发送的所述参考集合、以及来自多个其他传感器的多个时间对齐的未标记数据的集合而被训练；

基于将来自所述传感器的另外的数据应用于所述经训练的计算模型来确定推断；以及

基于所述推断来控制所述设备的功能。

14.根据权利要求13所述的设备，还被配置为使得：

发送用于训练所述计算模型的所述参考集合的模态的指示；以及

从所述装置接收所述经训练的计算模型，所述经训练的计算模型基于发送的所述参考集合、所述参考集合的模态的所述指示、以及来自多个其他传感器的所述多个时间对齐的未标记数据的集合而被训练。

15.根据权利要求14所述的设备，其中所述参考集合的所述模态包括以下一项或多项：

与由特定传感器使用的输入相关的一个或多个测量的物理属性、特征或性质，或

与被感测的对象相关的一个或多个属性、特征或性质。

16.根据权利要求15所述的设备，其中所述多个其他传感器与被感测的所述对象相关。

17.根据权利要求15所述的设备，其中所述对象是指正被感测的一个或多个设备、用户、物体、空间或场景。

18.根据权利要求13所述的设备，还被配置为使得向所述装置发送：

所述设备中使用的当前计算模型；或

所述设备中使用的所述当前计算模型的指示。

19.根据权利要求13所述的设备，其中所述训练基于：

a)取决于指示所述多个集合中的第一集合的至少一部分与所述参考集合中的所述至少一部分的第一统计相似性的统计分离信息，并且取决于所述多个集合中的所述第一集合的第一样本相对于参考时间是时间对齐的，将所述第一样本标记为正样本；以及

b)取决于指示所述多个集合中的第二集合的至少一部分与所述参考集合的所述至少一部分的第二较低统计相似性的统计分离信息，并且还取决于所述多个集合中的所述第二集合中的第二样本相对于所述参考时间是时间未对齐的，将所述第二样本标记为负样本。