CN114781439B - 模型获取系统、手势识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及电生理信号识别领域，公开了一种模型获取系统、手势识别方法、装置、设备及存储介质，模型获取系统包括：输入单元，用于获取当前个体的当前肌电数据及手势标签，手势标签包含手势信息；处理单元，被配置为：在当前个体不存在个人手势识别模型的情况下，获取初始手势识别模型，其中，初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，且每个元学习任务基于同一个体的历史肌电数据及手势标签生成；根据当前个体的当前肌电数据及手势标签，对初始手势识别模型进行微调，得到当前个体的当前手势识别模型。通过根据个体数据对初始手势识别模型进行微调，准确获取当前手势识别模型。

Description

模型获取系统、手势识别方法、装置、设备及存储介质

技术领域

本申请实施例涉及电生理信号识别领域，特别涉及一种模型获取系统、手势识别方法、装置、设备及存储介质。

背景技术

肌电图(Electromyography,EMG)是通过肌电电极记录肌肉运动神经元放电而得到的电生理信号。它包含有丰富的神经信息，可被解码为许多与肢体相关的活动信号。EMG的采集具有对人体无害、易获取和易操作等特点，在手势识别分类领域有良好的应用前景，尤其是在医疗、娱乐以及其他的一些涉及机器控制的行业。

传统的肌电手势识别使用大量的单个个体预采集数据训练相应的模式识别分类器，常用的分类器模型包含传统机器学习的支持向量机、随机森林等模型，以及深度学习中基于卷积神经网络、循环神经网络等方法构建的模型。目前，肌电信号在手势识别的应用中有许多固有的问题，由于个体的肌肉神经分布具有特异性，并且受皮肤阻抗、肌肉结构等高度依赖个体特性的因素影响，肌电信号存在显著的个体差异，分类精度依赖单个个体的大量数据训练。此外，受电极移位、环境等因素影响，肌电信号特性的变化十分迅速，导致即便是在大量个体数据上训练出的模型，其精度依然会随着使用时间增长而逐渐降低。基于以上的原因，基于大量个体数据训练出的模型常常会因为采集数据量受限和先验知识浪费等因素，导致过拟合与模型性能不稳定等问题。

为了应对先验知识浪费的问题，迁移学习的方法给出了一种方案，但是迁移学习会面临灾难性遗忘问题，并且为了保证模型精度，依旧需要大量的个体数据进行训练，模型训练和模型应用场景切换仍旧较为复杂，训练和调整效率低。

发明内容

本发明实施例的旨在提供一种模型获取系统、手势识别方法、装置、设备及存储介质，旨在利用元学习的方式，通过少量个体数据准确的获取到适配当前个体特质的当前手势识别模型，提高手势识别模型训练和调整的效率，进而完成对当前个体手势的准确识别。

为解决上述问题中的一个或多个并实现上述目的，本申请实施例提供了一种模型获取系统，包括：输入单元，用于获取当前个体的当前肌电数据及手势标签，所述手势标签包含手势信息；处理单元，被配置为：在当前个体不存在个人手势识别模型的情况下，获取初始手势识别模型，其中，所述初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，且每个所述元学习任务基于同一个体的历史肌电数据及手势标签生成；根据所述当前个体的当前肌电数据及手势标签，对所述初始手势识别模型进行微调，得到所述当前个体的当前手势识别模型。

为解决上述问题中的一个或多个并实现上述目的，本申请实施例提供了一种模型获取方法，包括：获取当前个体的当前肌电数据及手势标签，所述手势标签包含手势信息；在所述当前个体不存在个人手势识别模型的情况下，获取初始手势识别模型，其中，所述初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，每个所述元学习任务基于同一个体的历史肌电数据及手势标签生成；根据所述当前个体的当前肌电数据及手势标签，对所述初始手势识别模型进行微调，得到所述当前个体的当前手势识别模型。

为解决上述问题中的一个或多个并实现上述目的，本申请实施例提供了一种手势识别方法，包括：通过上述的模型获取系统获取当前个体的当前手势识别模型；获取所述当前个体的实时肌电数据；通过所述当前手势识别模型，根据所述实时肌电数据获取所述当前个体的手势。

为解决上述问题中的一个或多个并实现上述目的，本申请实施例还提供了一种手势识别装置，包括：第一获取模块，用于通过上述的模型获取系统获取当前个体的当前手势识别模型；第二获取模块，用于获取所述当前个体的实时肌电数据；识别模块，用于通过所述当前手势识别模型，根据所述实时肌电数据获取所述当前个体的手势。

为解决上述问题中的一个或多个并实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的手势识别方法，或执行上述的模型获取方法。

为解决上述问题中的一个或多个并实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的手势识别方法，或执行上述的模型获取方法。

本申请提出的模型获取系统，在当前个体不存在个人手势识别模型的情况下，先通过输入单元获取当前个体的当前肌电数据及手势信息，并根据当前个体的当前肌电数据及手势标签对初始手势识别模型进行微调，得到适用于当前个体的当前手势识别模型，而初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，且每个所述元学习任务基于同一个体的历史肌电数据及手势标签生成。先根据多个个体的历史肌电数据和手势标签形成分别基于同一个体的历史肌电数据及手势标签的若干个元学习任务，结合元学习训练的方式获取到的与人群适配，并且具有良好泛化能力的初始手势识别模型，在应用到具体的当前个体时，根据当前个体的当前肌电数据和手势标签对初始手势识别模型进行微调，如此在少量个体数据的支持下，准确高效的对初始手势识别模型进行微调，得到适应当前个体的当前手势识别模型，进而保证手势识别的准确性。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请实施例中的一种模型获取系统结构示意图；

图2是本申请实施例中的一种元学习任务结构示意图；

图3是本申请实施例中的一种元学习训练流程示意图；

图4是本申请另一实施例中的模型获取方法流程图；

图5是本申请另一实施例中的手势识别方法流程图；

图6是本申请另一实施例中的手势识别装置结构示意图；

图7是本申请另一实施例中的电子设备结构示意图。

具体实施方式

由背景技术可知，传统模型训练方式存在过拟合和模型性能不稳定的问题，而通过迁移学习得到的模型其训练和调整的效率低，需要依赖大量的个体数据保证识别精度。因此，如何提供一种能够满足不同应用场景高效切换，训练和调整效率高的模型获取方法以保证手势的准确高效识别是一个迫切需要得到解决的问题。

为了解决上述问题，本申请的实施例提供了一种模型获取系统，包括：输入单元，用于获取当前个体的当前肌电数据及手势标签，手势标签包含手势信息；处理单元，被配置为：在当前个体不存在个人手势识别模型的情况下，获取初始手势识别模型，其中，初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，且每个元学习任务基于同一个体的历史肌电数据及手势标签生成；根据当前个体的当前肌电数据及手势标签，对初始手势识别模型进行微调，得到当前个体的当前手势识别模型。

本申请提出的模型获取系统，在获取当前个体的当前手势识别模型前，获取根据多个个体的历史肌电数据及手势标签，基于每个个体的历史肌电数据及手势标签形成元学习任务，通过元学习训练的方式生成的较为通用的初始手势识别模型。然后在当前个体不存在个人手势识别模型的情况下，获取当前个体的当前手势识别模型时，先通过输入单元获取根据当前个体的当前肌电数据及手势标签，并根据获取到的当前肌电数据及手势标签对初始手势识别模型进行微调，得到适用于当前个体的当前手势识别模型。先根据多个个体的历史肌电数据和手势标签得到若干个元学习任务，每个元学习任务基于同一个体的历史肌电数据及手势标签生成，结合元学习训练的方式获取到的与人群适配，并且具有良好泛化能力的初始手势识别模型，在应用到具体的当前个体时，根据当前个体的当前肌电数据和手势标签对初始手势识别模型进行微调。如此，在少量个体数据的支持下，准确高效的对初始手势识别模型进行微调，得到适应当前个体的当前手势识别模型，进而保证手势识别的准确性。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

下面将结合具体的实施例对本申请记载的模型获取系统的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实时本方案的必须。

本申请实施例的第一方面提供了一种模型获取系统，如图1所示，模型获取系统包括输入单元101和处理单元102：

输入单元101，用于获取当前个体的当前肌电数据及手势标签，手势标签包含手势信息。

具体地说，在获取针对当前个体具有较好识别效果的当前手势识别模型时，先通过输入单元101对当前个体在当前状态下一定时长内的肌电数据及肌电数据采集时个体的手势对应的手势标签进行采集和记录，获取当前个体的当前肌电数据及手势标签。其中，手势标签是为进行手势存储时创建的数据标签，不同手势标签对应不同的手势，例如，手势标签1对应个体竖食指，手势标签2对应个体竖中指，手势标签3对应个体握拳等。具体的应用中可以根据需要对各标签的含义进行设置，本实施例对手势标签的具体设置和含义不做限制。

例如，在采集当前个体的当前肌电数据时，输入单元101通过语音或者文字的方式自动提示当前个体，在指定时间内，按照一定的顺序做出与预先设置的若干手势标签对应的手势，并通过肌电电极记录肌肉运动神经元在当前个体做出不同手势下产生的肌电信号，并根据各手势对应的时间区间对肌电信号和手势标签进行编码存储。通过获取当前个体在当前状态下的当前肌电数据及手势标签，便于后续对初始手势识别模型进行微调，进而高效准确的获取针对当前个体当前状态的当前手势识别模型。

处理单元102，被配置为：在当前个体不存在个人手势识别模型的情况下，获取初始手势识别模型，其中，初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，且每个元学习任务基于同一个体的历史肌电数据及手势标签生成；根据当前个体的当前肌电数据及手势标签，对初始手势识别模型进行微调，得到当前个体的当前手势识别模型。

具体地说，处理单元102通过输入单元101获取到当前个体的当前肌电数据及手势标签之前或者之后，根据预先配置的程序，先根据当前个体的身份标识，检测是否预先存储有当前个体的个人手势识别模型，如果检测到当前个体不存在个人手势识别模型时，处理单元102获取初始手势识别模型。初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，且每个元学习任务基于同一个体的历史肌电数据及手势标签生成。在获取针对当前个体的当前手势识别模型时，处理单元102可以通过通信的方式从存储了初始手势识别模型的存储地址中，读取预先训练好的初始手势识别模型。处理单元102也可以从指定存储地址中读取若干个体的历史肌电数据及手势标签，基于每个个体的历史肌电数据及手势标签先生成若干个元学习任务，然后对一个未经过训练的元学习器进行元学习训练生成初始手势识别模型。处理单元102还可以直接读取基于不同个体的历史肌电数据及手势标签预先生成的若干个元学习任务对未经训练的元学习器进行训练生成初始手势识别模型。本实施例对初始手势识别模型的具体获取方式不做限制。

处理单元102在获取到当前个体的当前肌电数据及手势标签和初始手势识别模型后，根据当前个体的当前肌电数据及手势标签，对初始手势识别模型进行针对当前个体的微调，例如，通过将当前肌电数据作为输入信息，手势标签对应的手势作为监督信息，对初始手势识别模型进行监督学习，使得初始手势识别模型对当前个体具有更好的针对性和适应性，将微调后的初始手势识别模型作为当前个体的当前手势识别模型。通过根据当前个体的当前肌电数据及手势标签对初始手势识别模型进行针对当前个体的微调，提高得到的当前手势识别模型的针对性，保证针对当前个体的手势识别的准确性。

进一步地，初始手势识别模型可以通过以下方式训练生成：基于多个个体的历史肌电数据及手势标签，对具有梯度反向传递的网络模型进行训练，得到原始手势识别模型；根据多个个体的历史肌电数据及手势标签，生成若干个元学习任务，且每个元学习任务基于同一个体的历史肌电数据及手势标签生成；利用各元学习任务对基于原始手势识别模型的元学习器进行元学习训练，获取初始手势识别模型。

具体而言，处理单元102或者其他的模型训练设备在根据多个个体的历史肌电数据及手势标签训练出初始手势识别模型时，可以先基于多个个体的历史肌电数据及手势标签，对具有梯度反向传递的网络模型进行训练，训练方式包括监督训练、无监督训练等，得到原始手势识别模型，然后根据预先设置的约束条件从多个个体的历史肌电数据及手势标签构成的肌电数据集中形成若干个元学习任务，且每个元学习任务中包含的数据来自同一个体。例如对由多个个体的历史肌电数据及手势标签构成的肌电数据集进行随机采样提取出多个个体的历史肌电数据及手势标签。然后基于随机采样获取的每个个体的历史肌电数据及手势标签，生成一个或多个元学习任务。如此，若干个任务中的每个元学习任务包含的数据来自同一个体。随后根据生成的若干个元学习任务，利用各元学习任务对基于原始手势识别模型的元学习器进行元学习训练以优化元学习器参数，进而获取到初始手势识别模型。这里，原始手势识别模型的获得与元学习任务的形成还可以同时进行，也可以先形成元学习任务，再获得原始手势识别模型。通过获取多个个体的肌电数据及肌电数据对应的手势标签，并根据预设约束条件，随机筛选出多个体的肌电数据及手势标签，进而基于每个个体的肌电数据及手势标签，生成一个或多个元学习任务，利用生成的若干个元学习任务对基于原始手势识别模型的元学习器进行元学习训练，使得训练出的初始手势识别模型针对不同个体和新增个体都具有良好泛化能力。

值得一提的是，具有梯度反向传递的网络模型为卷积神经网络CNN模型，长短期神经网络LSTM模型和循环神经网络RNN模型中任一种。

例如，可以使用基于随机梯度下降的优化算法进行优化的神经网络模型作为基础模型，如，使用Adam优化器的3层卷积神经网络模型作为基础模型，结合预设损失函数，如，交叉熵损失函数，进行模型训练。将肌电数据集中的历史肌电数据作为输入，历史肌电数据所属手势作为监督信号，利用预设损失函数计算损失值，并基于损失值梯度更新对模型参数进行优化，完成对模型的训练，得到原始手势识别模型。

另外，在每次采集到当前个体的当前肌电数据及手势标签后，还可以对包含若干个体的历史肌电数据及手势标签的肌电数据集进行数据扩充，然后基于扩充后的肌电数据集，对原始手势模型进行再训练，以此提升原始手势识别模型的泛化效果。再训练可以是根据预设周期定期进行，也可以是肌电数据集扩充达到一定的程度后进行，本实施例对此不做限制。

在另一个例子中，元学习任务包括支撑集(SupportSet)和查询集(QuerySet)，利用各元学习任务对基于原始手势识别模型的元学习器进行元学习训练，包括：对于每一个元学习任务，先将元学习器的参数赋值给基学习器，然后根据支撑集中的肌电数据及肌电数据对应的手势标签，对基学习器进行训练以优化基学习器的参数；根据查询集中的肌电数据及肌电数据对应的手势标签，获取参数优化后的基学习器的手势标签预测结果的预测误差；根据预测误差，对元学习器进行梯度更新以优化元学习器的参数。

具体而言，元学习任务中包括支撑集和查询集，其中，支撑集有一个重要的设置为N-way K-shot，即在支撑集内有N类样本，每类样本有K个被标记数据，而查询集中则可以包含n类样本，每类样本有k个被标记数据，其中，N、K、n和k都是正整数。以支撑集中包含6个手势标签，每个手势标签对应地采集了3个肌电数据，查询集中包含了两个手势标签，每个手势标签对应地采集了一个肌电数据为例，本实施例中根据各个体的历史肌电数据及手势标签生成的元学习任务可以参考图2，被标记数据表征获取到的肌电数据，样本为各类型的手势标签。

在根据各元学习任务对基于原始手势识别模型的元学习器进行元学习训练的过程中，对于每一个元学习任务，先通过基学习器对元学习器中的参数进行拷贝，然后读取支持集中的各肌电数据及肌电数据对应的手势标签，以肌电数据作为输入，利用基学习器对手势标签进行预测，并根据预测结果与肌电数据对应的手势标签之间的损失值进行梯度更新，以优化基学习器中的参数。然后读取查询集中的肌电数据及肌电数据对应的手势标签，将查询集中各手势标签对应的肌电数据作为输入，利用参数优化后的基学习器，对手势标签进行预测，并根据查询集中肌电数据对应的手势标签，获取参数优化后的基学习器输出的手势标签预测结果的预测误差。然后根据得到的预测误差，对元学习器进行梯度更新以获得优化后的新的参数，并将新的参数作为元学习器的参数。在进行下一轮训练的情况时，将元学习器优化后的参数重新拷贝到基学习器中。如此进行多轮训练，直至手势标签的预测误差不再下降，然后停止训练，并将此时参数优化后的元学习器作为初始手势识别模型。通过根据元学习任务中的支撑集和查询集进行双层循环训练和参数优化，准确高效的基于原始手势识别模型得到所需的初始手势识别模型。而且获取到的初始手势识别模型，只需要少量的梯度更新步数，以及一个与特定任务相关的元学习任务进行微调即可适应特定任务。

另外，预先设置的约束条件还可以包括在进行元学习任务生成的过程中，生成支撑集过程中，采用的肌电数据和手势标签可以取自个体肌电数据中时间相对靠前的数据，而生成查询集过程中，采用的肌电数据和手势标签取自个体肌电数据中时间相对靠后的数据。通过个体较早的肌电数据进行支撑集生成，较晚的肌电数据进行查询集的生成，使得训练出的元学习器是基于时间较早的肌电数据对事件较晚的肌电数据进行预测的模型，进而提高训练出的模型与实际手势识别过程的吻合程度，进一步提升模型手势预测的准确性。

在另一个例子中，根据支撑集中的肌电数据及肌电数据对应的手势标签，对基学习器进行训练以优化基学习器的参数，包括：将支撑集中的肌电数据作为输入，肌电数据对应的手势标签作为监督信号，获取基学习器的手势标签预测结果的损失值；根据损失值，对基学习器进行梯度更新，以获取基学习器新的参数。

具体而言，在对基学习器进行训练的时候，将肌电数据作为输入信号，将支撑集中记录的肌电数据对应的手势标签作为训练过程中的监督信号，基学习器根据输入的肌电数据对手势标签进行预测，并通过预设的损失函数，例如，交叉熵损失函数、对值损失函数或者指数损失函数，手势标签预测结果和监督信号计算出手势标签预测结果的损失值，然后根据损失值对基学习器进行梯度更新，以获得基学习器优化的参数。通过监督训练的方式，准确的完成基学习器的参数优化，保证元学习训练的效果。

在另一个例子中，获取参数优化后的基学习器手势标签预测结果的预测误差，包括：根据参数优化后的基学习器及查询集中的肌电数据，获取肌电数据的手势标签预测结果；通过预设损失函数、手势标签预测结果和肌电数据在查询集中对应的手势标签，获取手势标签预测结果对应的损失值，并根据查询集中所有肌电数据所对应的损失值，获取预测误差。

具体而言，将查询集中的肌电数据作为输入，利用参数优化后的基学习器进行手势标签预测，并将查询集中的肌电数据对应的手势标签作为监督信号。结合预设损失函数，例如，交叉熵损失函数、对值损失函数或者指数损失函数，参数优化后的基学习器预测出的手势标签，以及查询集中的肌电数据对应的手势标签，获取参数优化后的基学习器的手势标签预测结果的损失值，并基于获取到查询集中所有肌电数据所对应的损失值，获取预测误差，便于后续根据预测误差对元学习器进行梯度更新，进而完成元学习器的参数优化。通过预设的损失函数准确获取预测结果的预测误差，便于准确进行元学习器的参数调整，完成模型优化。

进一步地，根据查询集中的所有肌电数据所对应的损失值，获取预测误差，包括：获取查询集中的所有肌电数据所对应的损失值的平均值，将平均值作为预测误差。这里的平均值可以是算术平均值，加权平均值，几何平均值，均方根平均值和调和平均值中的任一种。优选，平均值采用算术平均值。具体而言，在获取参数优化后的基学习器的预测误差过程中，可以逐一获取查询集中各肌电数据对应的损失值，然后对各肌电数据对应的损失值进行算术平均，得到所有肌电数据对应的损失值的算术平均值，并将得到的算术平均值作为预测误差。通过对查询集中所有肌电数据对应的损失值进行算术平均，利用算术平均值作为预测误差，尽可能准确的获取预测误差，避免单次预测的偶然因素对预测结果的影响。

更进一步地，在利用各元学习任务对基于原始手势识别模型的元学习器进行元学习训练过程中，根据支撑集中的肌电数据及肌电数据对应的手势标签，对基学习器的梯度更新时的学习率，小于根据查询集中的肌电数据及肌电数据对应的手势标签，对元学习器的梯度更新时的学习率。通过对根据支撑集进行的内循环训练和根据查询集进行的外循环训练的学习率进行限制，通过高学习率的内循环结合低学习率的外循环，使得元学习器能够尽快收敛，提高元学习器训练效率。

综上，基于原始手势识别模型的元学习器训练中，基于一个元学习任务进行一轮元学习训练的流程可以参考图3，包括：

步骤301，获取当前轮次训练采用的元学习任务。

步骤302，将元学习器的参数赋值给基学习器。

步骤303，根据当前轮次训练采用的元学习任务的支撑集数据，对基学习器进行训练，梯度更新后得到基学习器优化的参数。

步骤304，基于参数优化后的基学习器，根据当前轮次训练采用的元学习任务的查询集数据，计算元学习任务的损失值作为预测误差，并计算出对应的梯度。

步骤305，根据计算出的梯度，对元学习器的参数进行更新，完成当前轮次的元学习训练。

在另一个替代性例子中，初始手势识别模型还可以通过以下方式训练生成：根据多个个体的历史肌电数据及手势标签，生成若干个元学习任务，且每个元学习任务基于同一个体的历史肌电数据及手势标签生成；利用各元学习任务对基于具有梯度反向传递的网络模型的元学习器进行元学习训练，获取初始手势识别模型。

具体而言，在进行初始手势识别模型获取的时候，可以随机获取多个个体的历史肌电数据及手势标签，然后基于每个个体历史肌电数据及手势标签，生成一个或多个元学习任务，最终获得多个元学习任务，且每个元学习任务基于同一个体的历史肌电数据及手势标签生成。然后取一个具有梯度反向传递的网格模型作为元学习器，利用各元学习任务对该网络模型进行元学习训练，获取初始手势识别模型。该梯度反向传递的网格模型在训练初始时候的参数为随机获得。元学习中元任务训练的方式驱使模型向泛化性更强的方向优化参数，提高模型的准确性。通过直接获取一个参数随机的具有梯度反向传递的网格模型，并通过元学习训练的方式得到初始手势识别模型，简化初始手势识别模型的获取过程，提高模型获取效率，且只需要少量的梯度更新步数，以及一个与特定任务相关的元学习任务进行微调即可适应特定任务。

在另一个例子中，根据当前个体的当前肌电数据及手势标签，对初始手势识别模型进行微调，包括：根据当前个体的当前肌电数据及手势标签，对初始手势识别模型进行监督训练；根据预设梯度更新步数，对初始手势识别模型进行梯度更新获得新的参数，以形成当前个体的当前手势识别模型。

具体而言，在根据当前个体的当前肌电数据及手势标签，对初始手势识别模型进行微调时，可以通过监督训练的方式实现，即，将当前个体的当前肌电数据作为输入数据，将当前肌电数据对应的手势标签作为监督信号，进行监督训练，在进行梯度更新的过程中，根据预设梯度更新步数对初始手势识别模型进行梯度更新，从而获得优化的参数，形成当前个体的当前手势识别模型。通过监督训练和预设梯度更新步数，准确实现初始手势识别模型的微调，保证当前手势识别模型的识别精度。

在另一个例子中，处理单元102还被配置为：根据当前个体的当前肌电数据及手势标签，生成当前个体的当前元学习任务；根据当前元学习任务，对基于初始手势识别模型的元学习器进行元学习训练生成当前个体的个人手势识别模型。

具体而言，在获取当前个体的当前肌电数据及手势标签后，处理单元102还会根据当前个体的当前肌电数据及手势标签，生成当前个体的当前元学习任务。然后根据当前个体的当前元学习任务，对基于初始手势识别模型的元学习器进行针对当前个体的元学习训练，使得参数优化后的元学习器对当前个体具有更好的针对性和适应性，将完成元学习训练后的元学习器作为当前个体的个人手势识别模型。例如，采集个体当前状态下2分钟内做出对应不同手势标签的手势时的肌电数据，根据采集到的当前肌电数据及手势标签，在对初始手势识别模型进行微调的同时还根据预先设置的约束条件，从2分钟数据中取时间在先的肌电数据以及对应的手势标签作为支撑集，从时间在后的肌电数据以及对应的手势标签作为查询集生成当前个体的当前元学习训练任务，并根据当前元学习任务对基于初始手势识别模型的元学习器进行元学习训练，得到当前个体的个人手势识别模型。

另外，根据当前个体的当前肌电数据及手势标签生成当前元学习任务时，还可以采集个体当前状态下2分钟内做出对应不同手势标签的手势时的肌电数据，根据前一分钟内的肌电数据及肌电数据对应的手势标签生成元学习训练任务，根据后一分钟内的肌电数据及肌电数据对应的手势标签生成元学习验证任务。在根据元学习训练任务对初始手势识别模型进行云学习训练后，根据元学习验证任务对训练后的初始手势识别模型的手势预测精度进行获取和检测，在手势预测精度达到预设门限，且手势标签预测结果的损失值不再下降的情况下，判定元学习训练完成，不需要再进行调整，并将得到的初始手势识别模型作为当前个体的个人手势识别模型。例如，将预测精度的门限设置为0.9，即在元学习训练后的初始手势识别模型有百分之九十及以上的概率正确预测当前个体的手势，并且手势标签预测结果的损失值不再下降的情况下，判定训练完成。在手势预测精度未达到预设门限和/或手势标签预测结果的损失值还在下降的情况下，判定训练未完成，根据元学习训练任务继续对初始手势识别模型进行重复训练和参数微调，或者采集当前个体更长时间内的肌电数据及肌电数据对应的手势标签，生成新的元学习任务对初始手势识别模型进行再训练和参数微调，直至手势预测精度达到预设门限，且手势标签预测结果的损失值不再下降。通过利用验证任务对预测精度进行检测，从而保证得到的个人手势识别模型的准确性。

值得一提的是，预设时长、预测精度的预设门限可以根据需要进行设置，生成元学习任务的时候，可以根据较早采集的数据生成训练任务，较晚采集的数据生成验证任务，也可以根据较晚采集的数据生成训练任务，较早采集的数据生成验证任务，可以将采集的所有数据都用于元学习任务生成，也可以只选取部分数据用于元学习任务生成，本实施例对此不做限制。

进一步地，模型获取系统还包括：存储单元；存储单元，用于对存储个人手势识别模型；处理单元，还被配置为：在当前个体存在个人手势识别模型的情况下，根据当前个体的当前肌电数据及手势标签，对个人手势识别模型进行微调，得到当前个体的当前手势识别模型；根据当前个体的肌电数据及手势标签，生成当前个体的当前元学习任务，并根据当前元学习任务对个人手势识别模型继续进行元学习训练，生成参数优化的个人手势识别模型。

具体而言，处理单元102在根据当前个体的身份标识，检测是否预先存储有当前个体的个人手势识别模型后，在存储单元中存储的有当前个体的个人手势识别模型的情况下，读取当前个体的个人手势识别模型，然后根据当前个体的当前肌电数据及手势标签，对当前个体的个人手势识别模型进行微调，得到当前个体的当前手势识别模型。即在检测到当前个体不是新用户的情况下，读取预先存储的当前个体的个人手势识别模型，并将其作为获取当前手势识别模型的基础。通过对个体的个人手势识别模型的存储和再利用，避免当前手势识别模型生成过程中，个人手势识别模型生成带来的先验经验的浪费。

另外，处理单元102还用于根据当前个体的当前肌电数据及手势标签，生成当前个体的当前元学习任务，然后根据当前个体的当前元学习任务，对当前个体的个人手势识别模型进行针对当前个体当前状态的元学习训练，使得个人手势识别模型对当前个体具有更好的针对性和适应性，通过元学习训练的方式，对个人手势识别模型进行参数优化，并通过存储单元存储参数优化后的个人手势识别模型。

本实施例对处理单元的种类没有特别的限制。处理单元可以是执行逻辑运算的硬件，例如，单片机、微处理器、可编程逻辑控制器(PLC，Programmable Logic Controller)或者现场可编程逻辑门阵列(FPGA，Field-Programmable Gate Array)，或者是在硬件基础上的实现上述功能的软件程序、功能模块、函数、目标库(Object Libraries)或动态链接库(Dynamic-Link Libraries)。或者，是以上两者的结合。

本申请实施例的另一方面提供一种手势模型生成方法。手势模型生成方法的流程可以参考图4，包括如下步骤：

步骤401，获取当前个体的当前肌电数据及手势标签，手势标签包含手势信息。

步骤402，在当前个体不存在个人手势识别模型的情况下，获取初始手势识别模型，其中，初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，每个元学习任务基于同一个体的历史肌电数据及手势标签生成。

步骤403，根据当前个体的当前肌电数据及手势标签，对初始手势识别模型进行微调，得到当前个体的当前手势识别模型。

不难发现，本实施例为与系统实施例相对应的方法实施例，本实施例可与系统实施例互相配合实施。系统实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在系统实施例中。

本申请实施例的另一方面提供的一种手势识别方法，手势识别方法的流程可以参考图5，包括以下步骤：

步骤501，获取当前个体的当前手势识别模型。具体地说，对当前个体的手势进行识别的终端设备，通过上述模型获取系统，获取针对当前个体通过对初始手势识别模型进行微调后获取的当前手势识别模型。

步骤502，获取当前个体的实时肌电数据。具体地说，在进行手势识别的时候，通过肌电电极对当前个体的肌电数据进行实时采集，并将采集到的实时肌电数据输入到当前手势识别模型中。

步骤503，通过当前手势识别模型，根据实时肌电数据获取当前个体的手势。具体地说，在获取到当前个体的实时肌电数据后，当前手势识别模型根据输入的实时肌电数据，对当前个体的手势进行预测，并输出预测出的当前个体的手势。

在一个例子中，在通过上述模型获取系统获取当前个体的当前手势识别模型后，还包括：获取当前手势识别模型的预测精度；在预测精度不满足预设阈值的情况下，重新获取新的预设时长内当前个体的当前肌电数据及手势标签；根据重新获取到的当前肌电数据及手势标签，重新对当前手势识别模型进行微调。

具体而言，由于肌电数据的特性，针对当前个体的当前手势识别模型随着使用时间的增加，预测精度会逐渐下降，因此，在获取当前个体的当前手势识别模型后，对当前手势识别模型的预测精度进行监控，在当前手势识别模型预测精度不足的情况下，重新获取当前个体当前状态下预设时长内做出对应不同手势标签的手势及做出不同手势时的肌电数据，并根据重新获取到的当前肌电数据及手势标签，重新对当前手势识别模型进行微调，使得当前手势识别模型能够更加适配当前个体的当前状态，保证手势识别精度。考虑到肌电信号易变更的特性，通过周期性的对手势识别模型进行更新迭代，保证利用手势识别模型获取的手势识别结果的准确性。

本申请实施例的另一方面还提供了一种手势识别装置，参考图6，包括：

第一获取模块601，用于通过上述模型获取系统，获取当前个体的当前手势识别模型。

第二获取模块602，用于获取当前个体的实时肌电数据；

识别模块603，用于通过当前手势识别模型，根据实时肌电数据获取当前个体的手势。

在一个例子中，手势识别装置还包括，第三获取模型；第三获取模块用于获取当前手势识别模型的预测精度；在预测精度不满足预设阈值的情况下，重新获取新的预设时长内当前个体的当前肌电数据及手势标签；根据重新获取到的当前肌电数据及手势标签，重新对当前手势识别模型进行微调。

不难发现，本实施例为与方法实施例相对应的装置实施例，本实施例可与方法实施例互相配合实施。方法实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在方法实施例中。

本申请实施例的另一方面还提供了一种电子设备，参考图7，包括：包括至少一个处理器701；以及，与至少一个处理器701通信连接的存储器702；其中，存储器702存储有可被至少一个处理器701执行的指令，指令被至少一个处理器701执行，以使至少一个处理器701能够执行如上所述手势识别方法，或如上所述的模型获取方法。

其中，存储器702和处理器701采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器701和存储器702的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器701处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传输给处理器701。

处理器701负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器702可以被用于存储处理器701在执行操作时所使用的数据。

本申请实施例的另一方面还提供了一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现如上所述的手势识别方法，或如上所述的模型获取方法。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (17)

1.一种模型获取系统，其特征在于，包括：

输入单元，用于获取当前个体的当前肌电数据及手势标签，所述手势标签包含手势信息；

处理单元，被配置为：

在所述当前个体不存在个人手势识别模型的情况下，获取初始手势识别模型，其中，所述初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，且每个所述元学习任务基于同一个体的历史肌电数据及手势标签生成；

根据所述当前个体的当前肌电数据及手势标签，对所述初始手势识别模型进行微调，得到所述当前个体的当前手势识别模型；

根据所述当前个体的肌电数据及手势标签，生成所述当前个体的当前元学习任务，并根据所述当前元学习任务对所述初始手势识别模型继续进行元学习训练，生成所述个人手势识别模型；

在所述当前个体存在所述个人手势识别模型的情况下，根据所述当前个体的当前肌电数据及手势标签，对所述个人手势识别模型进行微调，得到所述当前个体的所述当前手势识别模型；

所述处理单元还被配置为：根据所述当前个体的肌电数据及手势标签，生成所述当前个体的所述当前元学习任务，并根据所述当前元学习任务对所述个人手势识别模型继续进行元学习训练，生成参数优化后的所述个人手势识别模型。

2.根据权利要求1所述的模型获取系统，其特征在于，所述初始手势识别模型可以通过以下方式训练生成：

基于多个个体的历史肌电数据及手势标签，对具有梯度反向传递的网络模型进行训练，得到原始手势识别模型；

根据多个个体的历史肌电数据及手势标签，生成若干个所述元学习任务，且每个所述元学习任务基于同一个体的历史肌电数据及手势标签生成；

利用各所述元学习任务对基于所述原始手势识别模型的元学习器进行元学习训练，获取所述初始手势识别模型。

3.根据权利要求2所述的模型获取系统，其特征在于，所述具有梯度反向传递的网络模型为卷积神经网络CNN模型，长短期神经网络LSTM模型和循环神经网络RNN模型中任一种。

4.根据权利要求2所述的模型获取系统，其特征在于，所述元学习任务包括支撑集和查询集，所述利用各所述元学习任务对基于所述原始手势识别模型的元学习器进行元学习训练，包括：

对于每一个所述元学习任务，先将所述元学习器的参数赋值给基学习器，然后根据所述支撑集中的肌电数据及肌电数据对应的手势标签，对所述基学习器进行训练以优化所述基学习器的参数；

根据所述查询集中的肌电数据及肌电数据对应的手势标签，获取参数优化后的所述基学习器的手势标签预测结果的预测误差；

根据所述预测误差，对所述元学习器进行梯度更新以优化所述元学习器的参数。

5.根据权利要求4所述的模型获取系统，其特征在于，所述根据所述支撑集中的肌电数据及肌电数据对应的手势标签，对所述基学习器进行训练以优化所述基学习器的参数，包括：

将所述支撑集中的肌电数据作为输入，肌电数据对应的手势标签作为监督信号，获取所述基学习器的手势标签预测结果的损失值；

根据所述损失值，对所述基学习器进行梯度更新，以获取基学习器新的参数。

6.根据权利要求4所述的模型获取系统，其特征在于，所述获取参数优化后的所述基学习器的手势标签预测结果的预测误差，包括：

根据参数优化后的所述基学习器及所述查询集中的肌电数据，获取肌电数据的所述手势标签预测结果；

通过预设损失函数、所述手势标签预测结果和所述肌电数据在所述查询集中对应的手势标签，获取所述手势标签预测结果对应的损失值，根据所述查询集中的所有肌电数据所对应的损失值，获取所述预测误差。

7.根据权利要求6所述的模型获取系统，其特征在于，所述根据所述查询集中的所有肌电数据所对应的损失值，获取所述预测误差，包括：

获取所述查询集中的所有肌电数据所对应的损失值的平均值，将所述平均值作为所述预测误差。

8.根据权利要求4所述的模型获取系统，其特征在于，在所述利用各所述元学习任务对基于所述原始手势识别模型的元学习器进行元学习训练过程中，根据所述支撑集中的肌电数据及肌电数据对应的手势标签，对所述基学习器的梯度更新时的学习率，小于根据所述查询集中的肌电数据及肌电数据对应的手势标签，对所述元学习器的梯度更新时的学习率。

9.根据权利要求1所述的模型获取系统，其特征在于，所述初始手势识别模型还可以通过以下方式训练生成：

根据多个个体的历史肌电数据及手势标签，生成若干个所述元学习任务，且每个所述元学习任务基于同一个体的历史肌电数据及手势标签生成；

利用各所述元学习任务对基于具有梯度反向传递的网络模型的元学习器进行元学习训练，获取所述初始手势识别模型。

10.根据权利要求1所述的模型获取系统，其特征在于，根据所述当前个体的当前肌电数据及手势标签，对所述初始手势识别模型进行微调，包括：

根据所述当前个体的当前肌电数据及手势标签，对所述初始手势识别模型进行监督训练；

根据预设梯度更新步数，对所述初始手势识别模型进行梯度更新获得新的参数，以形成所述当前个体的所述当前手势识别模型。

11.一种模型获取方法，其特征在于，包括：

获取当前个体的当前肌电数据及手势标签，所述手势标签包含手势信息；

在所述当前个体不存在个人手势识别模型的情况下，获取初始手势识别模型，其中，所述初始手势识别模型根据基于多个个体的历史肌电数据及手势标签生成的若干个元学习任务进行元学习训练生成，每个所述元学习任务基于同一个体的历史肌电数据及手势标签生成；

根据所述当前个体的当前肌电数据及手势标签，对所述初始手势识别模型进行微调，得到所述当前个体的当前手势识别模型；

根据所述当前个体的肌电数据及手势标签，生成所述当前个体的当前元学习任务，并根据所述当前元学习任务对所述初始手势识别模型继续进行元学习训练，生成所述个人手势识别模型；

在所述当前个体存在所述个人手势识别模型的情况下，根据所述当前个体的当前肌电数据及手势标签，对所述个人手势识别模型进行微调，得到所述当前个体的所述当前手势识别模型；

将所述当前手势识别模型作为所述个人手势识别模型，根据所述当前个体的肌电数据及手势标签，生成所述当前个体的所述当前元学习任务，并根据所述当前元学习任务对所述个人手势识别模型继续进行元学习训练，生成参数优化后的所述个人手势识别模型。

12.一种手势识别方法，其特征在于，包括：通过权利要求1至10中任一项所述的模型获取系统获取当前个体的当前手势识别模型；

获取所述当前个体的实时肌电数据；

通过所述当前手势识别模型，根据所述实时肌电数据获取所述当前个体的手势。

13.根据权利要求12所述的手势识别方法，其特征在于，在所述通过权利要求1至10中任一项所述的模型获取系统获取当前手势识别模型后，还包括：

获取所述当前手势识别模型的预测精度；

在所述预测精度不满足预设阈值的情况下，重新获取新的预设时长内所述当前个体的当前肌电数据及手势标签；

根据重新获取到的当前肌电数据及手势标签，重新对所述当前手势识别模型进行微调。

14.一种手势识别装置，其特征在于，包括：

第一获取模块，用于通过权利要求1至10中任一项所述的模型获取系统获取当前个体的当前手势识别模型；

第二获取模块，用于获取所述当前个体的实时肌电数据；

识别模块，用于通过所述当前手势识别模型，根据所述实时肌电数据获取所述当前个体的手势。

15.根据权利要求14所述的手势识别装置，其特征在于，还包括，第三获取模型；

所述第三获取模块用于获取所述当前手势识别模型的预测精度；

在所述预测精度不满足预设阈值的情况下，重新获取新的预设时长内所述当前个体的当前肌电数据及手势标签；

根据重新获取到的当前肌电数据及手势标签，重新对所述当前手势识别模型进行微调。

16.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求11所述模型获取方法，或如权利要求12或13所述的手势识别方法。

17.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求11所述模型获取方法，或如权利要求12或13所述的手势识别方法。

Images