CN115169386A - 一种基于元注意力机制的弱监督增类活动识别方法 - Google Patents

Abstract

本发明属于智能分类识别领域，提出了一种基于元注意力机制的弱监督增类活动识别方法。本方法基于一种端到端的自关系注意弱监督原型网络模型进行人体活动识别；原型网络模型包括特征提取模块、元学习注意力模块和分类模块；首先对传感器原始数据序列进行特征提取，获得示例特征向量集；在通过元学习注意力模块获取各个示例特征向量的贡献权重；通过增强操作提纯优化目标活动的原型；通过分类模块进行分类，完成模型的训练与测试。本发明提出的方法，能够较好的解决在弱监督与训练样本少的传感器数据上识别新类别人体活动的问题，有效避免了噪声数据的负面影响。

Description

一种基于元注意力机制的弱监督增类活动识别方法

技术领域

本发明涉及智能分类识别领域，尤其涉及一种基于元注意力机制的弱监督增类活动识别方法。

背景技术

面向穿戴式时序数据的知识挖掘与分析是“人-机-物”融合计算中必不可少的一个研究问题。通过对穿戴式数据建模、数据特征提取、数据隐藏知识挖掘，实现对人体各类型活动识别与分析(Human Activity Recognition，HAR)，包括健康分析、行为分析和姿态分析，结合具体应用背景为用户提供参考性建议以辅助用户决策。可穿戴设备广泛应用在医疗、智能家居和运动监控等领域，能够准确地识别人体活动是众多健康监测、智慧工厂和运动场景基本功能，对于推动人工智能领域的进步具有十分重要的意义。

现有HAR服务均采用通用模型对数据进行识别和分析。通用模型定义为在复合数据集上离线训练的模型，可部署在云端或终端。通用模型最大的缺点是忽略了用户个体差异性和需求差异性，导致活动识别不准确。例如在健康生活监测应用场景中，通用模型对用户可穿戴设备产生的数据进行活动识别，但是通用模型只能识别模型中已有活动，如走路和跑步等常规活动。除了通用模型中的常规活动，用户会进行因人而异的活动，如跳广场舞、打羽毛球或打乒乓球等活动，此时通用模型无法对这些新类别活动进行识别，而用户更希望模型具有识别个人定制活动的能力，实现日常健康生活的准确监控。

由此可见，通用模型无法为不同群体和个人用户提供符合其特点的应用服务。因此以用户为中心的个性化模型应满足个性化增类需求。个性化模型学习需要大规模高质量标签数据，而实际情况下用户不具备对大规模数据的标签标注能力，特别是对新增加的自定义类别，其数据特点如下：

(1)用户数据标签数量少：基于深度学习技术的穿戴式数据建模与分析对数据的标签质量和数量要求较高。而在资源和人力有限情况下难以获取大量完全准确的标注数据。因此对于有个性化需求的用户，无法获取足够的标签数据实现用户模型更新或重建。

(2)用户数据标签质量差：用户数据标签缺失情况下，尽管可利用用户自反馈标注或其他辅助标注技术来获取标签，但大多数标注技术通常采用滑动窗口对时序数据进行定长分割，导致了数据样本的标签质量低、噪声数据多等问题。因此在穿戴式数据中，低质量标签数据广泛存在，其数量远远多于高质量数据。

因此，如何利用低质量的有限标签数据实现模型动态增类识别，是非常有研究意义和应用价值的问题。

为了满足用户定制新的活动的需要，能够给用户提供更精确的活动记录，功能上必须实现用户能够新增自定义的活动类别。同时考虑到用户定制新的活动时所需要做的活动次数与标注必须很少，而且算法还能够在这种情况下准确识别目标活动，以提供较好的用户使用体验。弱监督技术能够解决数据特点中数据标签数量和标签质量所引起的问题。弱监督学习包括不完备学习、不确切学习和不准确学习。不完备学习解决标签数量问题，如利用半监督迁移学习进行跨数据集的大范围标签标注；不确切和不准确学习解决标签质量的问题，如弱标签分类技术。针对面向个性化定制需求的新类别新场景问题，目前可采用元学习技术解决新类别识别问题。现有相关技术广泛应用在视觉领域，由于穿戴式数据和图像数据结构不同，这些技术方法无法直接应用在穿戴式传感器数据领域。考虑到穿戴式数据特点和数据结构，现有技术存在跨数据集间的数据分布度量方式简单、弱标签数据特征表达能力弱和新类别识别模型对训练数据要求高等问题，给现阶段基于穿戴式数据知识挖掘与分析带来了新挑战。

(1)基于不确切标签分类的HAR

多示例学习(Multiple Instance Learning,MIL)是解决不确切标签分类问题的常用方法。MIL中定义了包(bag)和示例(instance)两种不同粒度的数据概念，训练集样本由包级别的数据样本和包级别类别标签组成，包中有多个没有标签的示例。当包中存在目标标签的示例时，包则被标记为该标签，包级别标签分类是最终的分类目标。目前，多示例学习广泛应用在视频图像领域，如《一种基于多示例学习的运动员检测方法》中进行运动员检测、《一种基于原型学习的多示例卷积神经网络》中进行肺癌病例图像等。

《Weakly supervised recognition of daily life activities with wearablesensors》中首次将MIL应用在穿戴式数据分类中，提出了一种基于MIL支持向量机的标签标注策略来降低人体活动识别中的经验采样频率。《Efficient multi-instance learningfor activity recognition from time series data using an auto-regressivehidden Markov model》提出了基于自回归隐马尔可夫的图生成多示例学习人体活动识别模型，基于动态规划的推理算法标注包标签和示例标签。此外《Multiple instancelearning for efficient sequential data classification on resource-constraineddevices》基于MIL的LSTM将模型部署在资源受限的微小设备上，实现活动早期识别监测。《Sequential Weakly Labeled Multi-Activity Localization and Recognition onWearable Sensors using Recurrent Attention Networks》提出了一种循环注意网络来实现弱标签多活动识别和定位任务，并在《Attention-based convolutional neuralnetwork for weakly labeled human activities’recognition with wearablesensors》中提出了一种软注意CNN模型，可以放大显著活动信息，抑制无关的混淆信息。

(2)基于小样本学习的HAR

常见的小样本解决方案包括数据扩充(data augmentation)、微调(fine-turning)和正则化技术(regularization techniques)等，也有一些基于度量学习(metric-based)的小样本方法，如《Siamese neural networks for one-shot imagerecognition》中的孪生网络(Siamese Networks)，《Matching networks for one shotlearning》中的匹配网络(Matching Network)，原型网络(Prototypical Networks)等。这些方法在基于图像和视频的小样本问题上被广泛使用，如在《A generative approach tozero-shot and few-shot action recognition》中取得不错的效果。在小样本动作识别领域，最近的一些研究表明，基于深度度量的元学习器在无需再训练的情况下表现很好，其中的网络参数能够直接根据支持集和查询集之间的距离度量转移到新类别的分类任务模型中。然而，基于可穿戴传感器数据的小样本学习研究很少，而且很多工作是基于高质量数据训练的监督模型。然而，在现有的标注技术中，标签通常是不准确和不明确的，这会影响最终分类目标活动时算法模型的准确性。

(3)基于注意力机制的HAR

为了从长时间序列和多模态信号中提取，选择有区分性的活动特征，近年来，基于注意力的深度学习网络被广泛采用，并在基于传感器的HAR中取得了成功。在大多数现有工作中，CNN、RNN和LSTM通常用于从原始数据中提取特征，自注意层通过学习相关权重来选择这些特征。例如，《Deep convolutional and lstm recurrent neural networks formultimodal wearable activity recognition》在DeepConvLSTM之后添加注意层，以探索时间上下文的相关性。此外，多头注意力增强了双向LSTM和多路径CNN上的特征表示。此外，一些研究集中于标记较弱的长序列中的标记活动。《Weakly supervised human activityrecognition from wearable sensors by recurrent attention learning》提出了一种基于重复注意的弱监督HAR模型，该模型通过强化学习进行训练。同样，CNN注意模型可以在背景噪声信号中定位目标活动，注意力机制在多模态HAR中也起着关键作用。《AttnSense:Multi-level Attention Mechanism For Multimodal Human Activity Recognition》中AttnSense模型捕捉了CNN和GRU上多模态信号的时空依赖性。《DanHAR:Dual attentionnetwork for multimodal human activity recognition using wearable sensors》中DanHAR为多模态HAR引入了一种融合通道注意和时间注意的双重方法。在《Understandingand improving recurrent networks for human activity recognition by continuousattention》中，除了信号的模态外，传感器注意融合了传感器模态的权重。与以往的工作不同，我们主要研究在小样本长序列数据中提取准确的特征。

现有的很多模型与方法虽然缓解了小样本学习中的过拟合情况，但是现有的很多工作是基于高质量数据训练的监督模型。现有的标注技术和数据分割方法往往会导致时间序列样本的弱标记，带有标签的示例中可能包含其他活动。显然，弱标记样本会混淆鉴别特征，且由于在FSL中样本数量少，对准确性的影响更为严重。而且现有大多数研究主要集中在计算机视觉领域，很少对可穿戴传感器数据进行研究。

发明内容

本发明的目的是设计一种基于元注意力机制的弱监督增类活动识别方法，面向弱标签可穿戴传感器数据的人体增类活动识别模型，仅依靠极少的弱标签人体活动样本，实现基于穿戴传感器数据的新类别活动识别与分析。能够适应类别动态变化情况下的人体活动识别，促进个性化应用服务发展。该模型基于原型网络构建小样本学习方案，以模拟小样本学习任务，利用基于注意力机制的多示例学习思想解决弱标签问题。

本发明的技术方案：本发明提出了一种端到端的自关系注意弱监督原型网络模型。该网络主要包含特征提取模块、元注意模块和分类模块，模型整体结构如图1所示。该模型进行人体活动识别的具体实施方案如下：

步骤1：对传感器原始数据序列进行特征提取。将传感器原始数据序列分为支持集S和查询集Q；传感器原始数据序列A经过一个大小为T的滑动时间窗口处理后，得到传感器数据子序列

特征提取模块采用卷积神经网络(CNN)从带有弱标签的传感器数据子序列A_n中提取时空特征；特征提取模块包括一个卷积层和一个最大池化层，卷积层具有二维卷积核，其提取沿时间轴的时间相关性和沿传感器轴的空间相关性；传感器原始数据序列A的时空特征定义为

其中

包括多个CNN模块，

是其中可学习的参数；本方法关注支持集S和查询集Q的细粒度特征之间的关系和可靠性。然而，由于

在每次训练和测试批次中只能提取K×N个样本，很难直接提取每个样本中示例的特征，示例为样本的子序列。传感器数据子序列A_n的时空特征为H_n，H_n通过滑动时间窗口l分割为m个示例特征，每个示例特征记为h_i，i∈[1,m]；将每个示例特征h_i经过全连接层展开为一维向量，得到一维的示例特征向量z_i；一维的示例特征向量集Z＝{z₁,z₂,…,z_m}便于进行距离度量，将其输入至元学习注意力模块中。

步骤2：通过元学习注意力模块获取各个示例特征向量的贡献权重。在弱监督情况下，噪声活动的特征会混淆目标特征。虽然特征提取模块已经得到了示例特征，但人工识别噪声特征和目标活动特征是十分困难的。与现有的通过学习获取特征权重相关工作不同，我们提出了一种基于子序列示例特征向量之间相互关系的元注意力机制，并学习一个非线性函数g_Ψ自动加权构建目标活动特征向量。在这个模块中，目标是计算每个示例特征向量的贡献度。

首先，针对支持集S与查询集Q中的每个样本，在一维的示例特征向量集Z上定义自关系矩阵R用于表示所有示例特征向量之间的相似程度；自关系矩阵R为对称矩阵，R_i，j表示示例特征向量z_i与示例特征向量z_j之间的相似程度，R_i，j＝sim(z_i，z_j)；R_i为自关系矩阵R的第i行，其表示示例特征向量z_i与所有各个其他示例特征向量间的相似度；R_i，j值越大，表示两个示例特征向量是特征空间中同一类活动的可能性越大；例如，在图3中，有六个示例，主对角线元素等于1表示自相似。R_1，2和R_3，5等于0.95，这是移除对角线元素后的最高相似度，但我们无法判断它们是属于目标活动的正向示例还是属于噪声活动的负向示例。在现有的工作中，权重函数通常采用最大值函数和平均数函数。R_i的平均值向量表示z_i与其他示例特征向量的平均相似度。然而，我们认为基于相似度的示例特征向量的不可训练权重对小样本学习任务的效果提升影响有限。生成自关系矩阵R后，将该自关系矩阵R送入元学习注意力模块中；元学习注意力模块输出每个示例特征向量z_i的贡献权重。元学习注意力模块包含有两个卷积层，一个池化层和一个softmax层。该部分的结构如图3所示。

元学习注意力模块将输出每个示例特征向量对于总特征向量的贡献权重。相应的贡献分数由式(2)计算得到：

sc＝g_ψ(R)＝C₂(AVG(σ(C₁(R))))， (2)

其中，

为用于提取特征向量的一维卷积层，c为通道数，σ为ReLU激活函数，AVG为平均池化层，

指具有一个通道的卷积层。考虑到时间序列的连续性，可能存在多个连续的高相似度。因此，卷积核的大小r＜m，专注于小的感受野能够更适合部分连续关系的特征提取。然后使用平均池化层将感受野扩展到所有示例特征向量。最后将提取的示例特征向量转换为分数向量

sc_i表示第i个示例对目标活动特征的贡献度。经过非线性变换后，相似度较低的噪声子特征向量得分较低。softmax层用于将非标准化分数映射到式(3)中的概率分布，其中的α_i是第i个示例特征向量z_i对其数据子序列特征的贡献权重。高权重意味着示例特征更有可能成为目标活动特征。

我们在本模块中参考了MIL池化操作解决方案。我们采用子特征向量的加权平均值作为样本的特征向量，

灵活和自适应的权重能够将所有示例的注意力吸引到目标活动上，在适应新任务时将取得更好的效果。

步骤3：通过增强操作提纯优化目标活动的原型。遵循原型网络的设定，类的原型k是所提取的特征向量的平均值，如式(4)所示。

虽然对每个样本的目标活动特征H^*进行了改进，以解决噪音数据问题，但是H^*是各个示例特征向量的加权聚合，可能会丢失潜在的有用信息，并导致得出有偏差的原型。因此，有效的弱监督小样本学习模型应同时具备忽略噪声信息和提炼有价值信息的能力，以获得更加具有判别力的原型。

步骤3-1：通过增强操作来增强每个子特征向量，如图4所示，通过增强操作以便更好地泛化低质量的新类数据。受原型网络启发，增强操作提纯后的示例特征向量是每个示例中满足阈值约束的示例特征向量的平均值。提纯后的特征向量

是根据式(3)中的权重加权的

在式(5)和式(6)中计算得到，其中ω是一个邻接矩阵，ω_i,j表明z_i是否与z_j在阈值为θ的度量空间中相邻。阈值θ确定了信息的混淆程度。适当的θ值将保证示例之间的差异，并保持示例特征的提纯能力。如何找到合适的阈值是我们工作中的一个重要问题。直观来说，可以为所有的类别和样本设置一个全局θ_g。但是设置全局θ_g并不合适，因为统一的阈值对于小样本学习中的每个类都不是自适应的。而且，不同类别的示例相似度得分具有不同的分布。

步骤3-2：对于每个类中的每个样本引入了局部阈值θ_l。在时间序列数据中，目标活动示例有多个类似的活动示例。相反，非目标示例几乎没有邻接示例。在大多数情况下，非目标示例的邻接示例的相似度得分低于目标示例的值。我们认为

至少涉及一个邻接示例信息。因此，考虑通过设定一个局部阈值θ_l＝min(max(R′_i))，其中i∈[1,m]，R′_i是对角线元素值为0的R中第i行的向量。它从每个示例的最大相似度集合中找到最小相似度，保证所有示例都能混淆最邻近的信息。一些示例可能会有多个邻接示例，对应的

会包含更多潜在的信息。然而由于非目标示例的存在，θ_l可能非常小，这导致目标示例

融入了较多的无价值的信息。因此，我们为θ_l设置了一个约束τ，

最终权重加权的

邻接矩阵ω由式(7)计算得到：

基于上述操作，我们将得到提纯后的数据子序列的特征表示特征向量

对于第k类样本；通过式(8)计算增强后的有鉴别力的原型，其中

是A_n提纯后的特征向量集。

步骤4：通过分类模块进行分类，完成模型的训练与测试。分类模块包括训练和测试。神经网络通过最小化训练数据集中查询集Q的分类损失进行训练，损失函数是目标类的负对数概率，即式(9)：

通过将分类模块输出的各个类别的概率与真实的活动标签计算交叉熵损失，得到端到端的自关系注意弱监督原型网络模型的分类损失，反向传播更新端到端的自关系注意弱监督原型网络模型中的参数。

本发明的有益效果：本发明提出了一种端到端的自关系注意弱监督原型网络模型，以解决个性化人体动作识别中带有噪声标签的小样本学习问题。通过设计基于多示例特征向量间相似性的元学习注意力模块来为样本子序列示例特征向量赋予贡献权重，突出目标活动特征。使用设计的增强操作来提纯目标活动的原型，该原型保留了小样本的潜在有价值信息。改进后的原型也有助于特征提取模块学习更多的区分性特征表示。以上的操作有助于特征提取模块学习更具区别性的特征表示，增强了原型网络的原型特征表示之间的可区别性，以克服在可穿戴传感器数据的人体活动识别任务中训练样本少且带噪声标签的问题，实现对新类别的良好泛化能力。本发明提出的方法，能够较好的解决在弱监督与训练样本少的传感器数据上识别新类别人体活动的问题，有效避免了噪声数据的负面影响。

附图说明

图1为端到端的自关系注意弱监督原型网络模型框架图；

图2为特征提取示意图；

图3为元注意力模块示意图；

图4为增强操作示意图。

具体实施方式

弱监督增类活动识别方法过程如下所示。

表1弱监督增类活动识别方法训练方法

在表1中描述了弱监督增类活动识别方法的训练伪代码。在每个批次的数据中，我们从输入的时间序列数据中选择支持集和查询集D_tr(对应表1中的第5-6行)。参数为

的特征提取模块从原始的数据S_k和Q_k中提取特征(对应表1中的第7行和第14行)。算法通过构建自关系矩阵R和学习训练参数Ψ(对应表1中的第8-9行和第15-16行)，突出示例特征向量中的目标活动特征。在每个训练批次中，算法将总损失

降至最低(对应表1中的第17行)。参数

和Ψ使用梯度下降算法进行更新优化(对应表1中的第19行)。

在测试过程中，支持集的样本数与训练过程中支持集的样本数相同。例如，5-shot意味着在训练和测试中，支持集中的样本数都是5。我们对查询集提取得到的特征向量进行增强操作提纯，并根据学习到的参数

和Ψ计算增强的原型。

查询集中的样本的预测标签

是可能性最大的类别，如式(10)所示。

根据以上的步骤得到训练和测试后的网络模型，能够完成对于可穿戴传感器数据的人体活动识别任务，特别是在弱监督与小样本的情况下仍然能够取得不错的效果。

在三个基准数据集PAMAP2数据集、UCI-HAR数据集、SKODA数据集上进行了实验，并且与有监督小样本学习方法和弱监督小样本学习方法进行了对比。在每个类5个样本的条件下，相比现有有监督代表性方法FSHAR与PN，在PAMAP2数据集上，本方法分别提高了24.27％与8.69％；在UCI-HAR数据集上，分别提高了6.61％与8.45％；在SKODA数据集上，提高了8.91％。与弱监督方法进行对比实验时，包括弱监督原型网络、关系网络和Proto-IATT，在SKODA数据集上平均提升了4.31％，在PAMAP2数据集上平均提升了3.72％，而在UCI-HAR数据中平均仅提升了1.88％，其原因在于UCI-HAR数据中噪音数据较少，标签质量相对较高。实验结果表明，本发明方法识别精度和特征表示方面优于其他模型。

Claims (7)

1.一种基于元注意力机制的弱监督增类活动识别方法，其特征在于，基于一种端到端的自关系注意弱监督原型网络模型进行人体活动识别；该端到端的自关系注意弱监督原型网络模型包括特征提取模块、元学习注意力模块和分类模块；特征提取模块包括一个卷积层和一个最大池化层，卷积层具有二维卷积核，其提取沿时间轴的时间相关性和沿传感器轴的空间相关性；元学习注意力模块包括两个卷积层、一个平均池化层和一个softmax层；元学习注意力模块中参考多示例学习中的池化操作解决方案，传感器数据子序列A_n在经过滑动时间窗口l分割后得到示例特征向量；分类模块包括训练和测试；

具体包括步骤如下；

步骤1、对传感器原始数据序列进行特征提取，获得示例特征向量集；

步骤2、通过元学习注意力模块获取各个示例特征向量的贡献权重；

基于示例特征向量z_i之间相互关系的元注意力机制，学习一个非线性函数g_Ψ为各个示例特征向量z_i赋予贡献权重；

步骤3：通过增强操作提纯优化目标活动的原型；

步骤4：通过分类模块进行分类，完成模型的训练与测试。

2.根据权利要求1所述的基于元注意力机制的弱监督增类活动识别方法，其特征在于，所述步骤1具体为：将传感器原始数据序列分为支持集S和查询集Q；传感器原始数据序列A经过一个大小为T的滑动时间窗口处理后，得到传感器数据子序列

特征提取模块采用卷积神经网络从带有弱标签的传感器数据子序列A_n中提取时空特征；传感器原始数据序列A的时空特征定义为

其中

包括多个CNN模块，

是其中可学习的参数；传感器数据子序列A_n的时空特征为H_n，H_n通过滑动时间窗口l分割为m个示例特征，每个示例特征记为h_i，i∈[1,m]；将每个示例特征h_i经过全连接层展开为一维向量，得到一维的示例特征向量z_i；一维的示例特征向量集Z＝{z₁,z₂,…,z_m}输入至元学习注意力模块中。

3.根据权利要求2所述的基于元注意力机制的弱监督增类活动识别方法，其特征在于，所述步骤2具体为：

首先，针对支持集S与查询集Q中的每个样本，在一维的示例特征向量集Z上定义自关系矩阵R用于表示所有示例特征向量之间的相似程度；自关系矩阵R为对称矩阵，R_i,j表示示例特征向量z_i与示例特征向量z_j之间的相似程度，R_i,j＝sim(z_i,z_j)；R_i为自关系矩阵R的第i行，其表示示例特征向量z_i与所有各个其他示例特征向量间的相似度；R_i,j值越大，表示两个示例特征向量是特征空间中同一类活动的可能性越大；生成自关系矩阵R后，将该自关系矩阵R送入元学习注意力模块中；元学习注意力模块输出每个示例特征向量z_i的贡献权重。

4.根据权利要求3所述的基于元注意力机制的弱监督增类活动识别方法，其特征在于，所述贡献权重首先计算贡献分数，由式(1)计算得到：

sc＝g_ψ(R)＝C₂(AVG(σ(C₁(R))))， (1)

其中，

为一维卷积层，卷积核大小r＜m，c为通道数；σ为ReLU激活函数，AVG为平均池化层，

为具有一个通道的卷积层；

将得到的贡献分数输入softmax层，用于将其映射到式(2)中的权重分布，其中的α_i表示第i个示例特征向量z_i对其数据子序列特征的贡献权重；

5.根据权利要求3或4所述的基于元注意力机制的弱监督增类活动识别方法，其特征在于，所述步骤3具体为：

通过增强操作来提纯优化每个示例特征向量z_i，经增强操作提纯优化后的示例特征向量记为

是示例特征向量z_i满足阈值约束θ的示例特征向量的平均值；

在式(4)和式(5)中计算得到，ω是一个邻接矩阵，ω_i,j表明z_i是否与z_j在阈值约束为θ的度量空间中相邻；阈值约束θ确定了信息的混淆程度；

经过增强操作提纯优化后的数据子序列的特征表示

通过式(4)计算得到：

对于第k类样本，通过式(5)计算增强后的原型

其中

是第k类样本经过增强操作提纯优化后的特征向量集；

6.根据权利要求5所述的基于元注意力机制的弱监督增类活动识别方法，其特征在于，所述邻接矩阵ω满足式(6)的约束条件；

其中θ_l为每个类别中的每个样本引入了的局部阈值；设定局部阈值θ_l＝min(max(R_i′))，其中i∈[1,m]，R′为将自关系矩阵R的对角线元素值设为0后得到的矩阵；局部阈值θ_l的取法表示从每个示例特征向量的最大相似度集合中找到最小相似度，保证所有示例特征向量都能混淆最邻近的信息；τ是为θ_l设置的约束。

7.根据权利要求6所述的基于元注意力机制的弱监督增类活动识别方法，其特征在于，所述步骤4具体为：

端到端的自关系注意弱监督原型网络模型通过查询集Q的分类损失进行训练，损失函数是目标类的负对数概率，即式(9)：

通过将分类模块输出的各个类别的概率与真实的活动标签计算交叉熵损失，得到端到端的自关系注意弱监督原型网络模型的分类损失，反向传播更新端到端的自关系注意弱监督原型网络模型中的参数。

Images