CN116089798A

CN116089798A - 手指运动的解码方法以及装置

Info

Publication number: CN116089798A
Application number: CN202310097473.7A
Authority: CN
Inventors: 金晶; 陆聪; 魏志杰; 徐瑞甜
Original assignee: Shenzhen Research Institute Of East China University Of Science And Technology; East China University of Science and Technology
Current assignee: Shenzhen Research Institute Of East China University Of Science And Technology; East China University of Science and Technology
Priority date: 2023-02-07
Filing date: 2023-02-07
Publication date: 2023-05-09
Anticipated expiration: 2043-02-07
Also published as: CN116089798B

Abstract

本发明提供了一种手指运动的解码方法、手指运动的解码装置以及存储介质。该方法包括以下步骤：获取目标场景下待解码的手指运动数据；解析手指运动数据，以提取手指运动特征；以及经由基于目标场景的第二数据集及标准识别模型进行参数迁移学习的手指识别模型，确定手指运动数据在目标场景下的手指运动解码结果，其中，标准识别模型是经由基于标准场景的第一数据集所训练。

Description

手指运动的解码方法以及装置

技术领域

本发明涉及手指运动解码领域，尤其涉及一种手指运动的解码方法、一种手指运动的解码装置以及对应的存储介质。

背景技术

目前，运动想象脑机接口对于一些上肢体运动不便和肌肉萎缩障碍患者的康复训练有着积极作用，但是运动想象信号仅能简单捕捉手部运动，对于精细化的手指识别仍然存在困难。在本领域目前的现有技术中，通过一种基于肌电信息解码的手势识别方法，可以构建源任务和目标任务的肌电信号数据集，分别训练源任务手势识别模型和目标任务的手势识别模型，使用参数迁移学习方法，实现对新用户、新手势动作的高准确率地识别。但是该发明并未考虑在一些复杂场景下的手势识别问题，而且对一些肌肉损伤患者，无法获取其肌电信号，这部分患者的康复训练将会受到约束。

为了克服现有技术存在的上述缺陷，本领域亟需一种手指运动的解码方法，用于通过迁移学习的方法实现患者的手指运动的解码，从而帮助患者进行肢体康复。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。

为了克服现有技术存在的上述缺陷，本发明提供了一种手指运动的解码方法、一种手指运动的解码装置以及对应的计算机可读存储介质，能够通过迁移学习的方法实现患者的手指运动的解码，从而帮助患者进行肢体康复。

具体来说，根据本发明的第一方面提供的上述手指运动的解码方法包括以下步骤：获取目标场景下待解码的手指运动数据；解析所述手指运动数据，以提取手指运动特征；以及经由基于所述目标场景的第二数据集及标准识别模型进行参数迁移学习的手指识别模型，确定所述手指运动数据在所述目标场景下的手指运动解码结果，其中，所述标准识别模型是经由基于标准场景的第一数据集所训练。

进一步地，在本发明的一些实施例中，所述目标场景包括站立场景、坐立场景、躺平场景、自由行走场景、快速跑步场景、手指障碍场景中的一者或多者，所述标准场景为所述站立场景、所述坐立场景、所述躺平场景、所述自由行走场景、所述快速跑步场景中的一者。

进一步地，在本发明的一些实施例中，所述手指运动数据包括用户手部多个关键点的IMU数据。所述获取目标场景下待解码的手指运动数据的步骤包括：构建用户手部的手网络结构，将所述关键点抽象为黑点，并手指关节抽象为黑直线；将一个IMU传感器放置在用户掌心的背面位置，并将五个IMU传感器放置在用户手指背面远端的位置；以及获取各所述IMU传感器采集的加速度信号及角速度信号，以确定所述目标场景下待解码的手指运动数据。

进一步地，在本发明的一些实施例中，在所述站立场景、所述坐立场景、所述躺平场景、所述自由行走场景或所述快速跑步场景下，所述解析所述手指运动数据，以提取手指运动特征的步骤包括：根据各所述关键点的IMU数据，确定各所述关键点之间的IMU数据变化量；以及根据各所述关键点之间的IMU数据变化量，确定指示所述手指运动特征的邻接矩阵。

进一步地，在本发明的一些实施例中，所述根据各所述关键点之间的IMU数据变化量，确定指示所述手指运动特征的邻接矩阵的步骤包括：

定义关键点i的特征向量为：

IMU_i＝[a_x,a_y,a_z,g_x,g_yg_z],i＝0,1,2,3,4,5

其中，a_x,a_y,a_z,g_x,g_y,g_z分别为IMU三轴加速度值和三轴角速度值；

根据各所述关键点的特征向量，确定所述邻接矩阵：

其中，所述邻接矩阵的各行及各列分别对应IMU₀～IMU₅，所述邻接矩阵中的元素指示对应两个关键点之间的IMU数据变化量，

Δ_i、2Δ_i、3Δ_i、4Δ的大小分别为：

进一步地，在本发明的一些实施例中，所述根据各所述关键点之间的IMU数据变化量，确定指示所述手指运动特征的邻接矩阵的步骤还包括：响应于任意两个所述关键点之间的IMU数据变化量大于0，将其取值抽象化成1；响应于任意两个所述关键点之间的IMU数据变化量等于0，将其取值抽象化成0；以及响应于任意两个所述关键点之间位置差值小于0时，将其取值抽象化成-1，其中，

进一步地，在本发明的一些实施例中，在经由所述手指识别模型，确定所述手指运动数据在所述目标场景下的手指运动解码结果之前，所述解码方法还包括以下步骤：获取并解析第一被试者在所述标准场景下的手指运动数据，以确定多组第一手指运动特征样本，并构建所述第一数据集；获取并解析第二被试者在所述目标场景下的手指运动数据，以确定多组第二手指运动特征样本，并构建所述第二数据集；基于所述第一数据集，训练基于所述标准场景的标准识别模型；以及将所述标准识别模型的模型参数迁移到待训练的手指识别模型，并基于所述第二数据集，训练对应所述手指障碍场景的手指识别模型。

进一步地，在本发明的一些实施例中，所述获取并解析所述手指运动数据，以确定所述手指运动特征样本的步骤包括：获取多种手指动作的原始IMU数据；对所述多种手指动作的原始IMU数据进行活动段检测，以提取固定窗口大小的数据；对经由所述活动段检测提取的IMU数据进行滤波和/或标准化处理；以及基于所述手网络结构，从滤波和/或标准化处理后的IMU数据提取指示所述手指运动特征的邻接矩阵，以确定所述第一手指运动特征样本。

进一步地，在本发明的一些实施例中，所述手指运动数据包括手指障碍用户的至少一种手指动作的运动想象EEG信号，在所述手指障碍场景下，所述解析所述手指运动数据，以提取手指运动特征的步骤包括：对所述运动想象EEG信号进行带通滤波，以分别获取8～13Hz的α波EEG数据以及14～30Hz的β波EEG数据；以及分别对所述α波EEG数据及所述β波EEG数据进行时域特征提取、频域特征提取和/或CSP空域特征提取，以确定指示所述手指障碍用户的运动意图的手指运动特征。

此外，根据本发明的第二方面提供的手指运动的解码装置包括：存储器；以及处理器，所述处理器连接所述存储器，并被配置上述手指运动的解码方法。

此外，根据本发明的第三方面提供的计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实施上述手指运动的解码方法。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了根据本发明的一些实施例提供的手指运动的解码方法的流程示意图；

图2示出了根据本发明的一些实施例提供的手网络结构的示意图；

图3示出了根据本发明的一些实施例提供的手网络的特征矩阵示意图；

图4示出了根据本发明的一些实施例提供的场景设计的示意图；

图5示出了根据本发明的一些实施例提供的基于脑电图的手指运动解码方法框架图；

图6示出了根据本发明的一些实施例提供的面向跨场景的手指运动解码方法框架图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合优选实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

另外，在以下的说明中所使用的“上”、“下”、“左”、“右”、“顶”、“底”、“水平”、“垂直”应被理解为该段以及相关附图中所绘示的方位。此相对性的用语仅是为了方便说明之用，其并不代表其所叙述的装置需以特定方位来制造或运作，因此不应理解为对本发明的限制。

能理解的是，虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分，这些组件、区域、层和/或部分不应被这些用语限定，且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此，以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。

如上所述，运动想象脑机接口对于一些上肢体运动不便和肌肉萎缩障碍患者的康复训练有着积极作用，但是运动想象信号仅能简单捕捉手部运动，对于精细化的手指识别仍然存在困难。在本领域目前的现有技术中，通过一种基于肌电信息解码的手势识别方法，可以构建源任务和目标任务的肌电信号数据集，分别训练源任务手势识别模型和目标任务的手势识别模型，使用参数迁移学习方法，实现对新用户、新手势动作的高准确率地识别。但是该发明并未考虑在一些复杂场景下的手势识别问题，而且对一些肌肉损伤患者，无法获取其肌电信号，这部分患者的康复训练将会受到约束。

为了克服现有技术存在的上述缺陷，本发明提供了一种手指运动的解码方法、一种手指运动的解码装置及其对应的计算机可读存储介质，能够通过迁移学习的方法实现患者的手指运动的解码，从而帮助患者进行肢体康复。

在一些非限制性的实施例中，本发明的第一方面提供的上述手指运动的解码方法可以经由本发明的第二方面提供的上述手指运动的解码装置来实施。具体来说，该手指运动的解码装置中配置有存储器及处理器。该存储器包括但不限于本发明的第三方面提供的上述计算机可读存储介质，其上存储有计算机指令。该处理器连接存储器，并被配置用于执行该存储器上存储的计算机指令，以实施本发明的第一方面提供的手指运动的解码方法。

首先请参考图1，图1示出了根据本发明的一些实施例提供的手指运动的解码方法的流程示意图。

在本发明的一些实施例中，如图1所示，上述解码方法可以首先获取目标场景下待解码的手指运动数据。之后，该方法可以解析该手指运动数据，以提取手指运动特征。再之后，该方法可以经由基于该目标场景的第二数据集及标准识别模型进行参数迁移学习的手指识别模型，确定该手指运动数据在该目标场景下的手指运动解码结果。在此，该标准识别模型是经由基于标准场景的第一数据集所训练。

请参考图2。图2示出了根据本发明的一些实施例提供的手网络结构的示意图。

进一步地，在本发明的一些实施例中，如图2所示，上述方法可以将手部关键点抽象为黑点，手指关节抽象为黑直线，其中一个IMU传感器放置在手掌心背面位置，IMU传感器的特征向量为IMU₀，五个IMU传感器放置在手指背面远端位置，其特征向量分别为IMU₁,IMU₂,IMU₃,IMU₄,IMU₅。其中IMU_i＝[a_x,a_y,a_z,g_x,g_y,g_z],i＝0,1,2,3,4,5。

请参考图3。图3示出了根据本发明的一些实施例提供的手网络的特征矩阵示意图。

在图3所示的实施例中，上述方法可以以IMU₀、IMU₁、IMU₂、IMU₃、IMU₄、IMU₅为顶点，以

Δ、2Δ、3Δ、4Δ为权值构建邻接矩阵。

其中，

则，

Δ_i、2Δ_i、3Δ_i、4Δ的大小分别为：

此外，请参考图4。图4示出了根据本发明的一些实施例提供的场景设计的示意图。

如图4所示，在本发明的一些实施例中，上述方法可以经由以下步骤设计场景。

步骤S401：在站立场景下，保持站立姿势，双手手掌心与身体平行，双手手臂垂直与地面平行，维持自然状态，根据任务要求执行相应的手指动作。

步骤S402：在坐立场景下，用户保持坐立姿势，双手手臂放在大腿上，维持自然状态，根据任务要求执行相应的手指动作。

步骤S403：在躺平场景下，用户保持躺平姿势，双手手臂放在大肚上，维持自然状态，根据任务要求执行相应的手指动作。

步骤S404：在自由行走场景下，用户在跑步机上以3Km/h的速度进行自由行走，左手手臂随跑步节奏进行摆动，而右手手臂保持与站立场景一致，根据任务要求执行相应的手指动作。

步骤S405：在快速跑步场景下，用户在跑步机上以大于6Km/h的速度进行跑步运动，左手手臂随跑步节奏进行摆动，而右手手臂保持与站立场景一致，根据任务要求执行相应的手指动作。

请参考图5。图5示出了根据本发明的一些实施例提供的基于脑电图的手指运动解码方法框架图。

如图5所示，在本发明的一些实施例中，正常被试者的手指识别模型构建过程具体实施步骤如下：

步骤S501：数据采集。在不同的场景(例如：站立场景、坐立场景、躺平场景、自由行走场景、快速跑步场景)下，采集正常被试者不同手指动作的IMU信号，构建大样本手指动作IMU数据集。

步骤S502：数据预处理。对不同手指动作的原始IMU数据进行预处理。对不同手指动作的原始IMU数据进行活动段检测，提取固定窗口大小的数据。对活动段检测后的IMU数据进行滤波，去除毛刺噪声。由于加速度和角速度量纲不同，因此，对平滑后的IMU数据进行标准化。

步骤S503：特征提取。对标准化后的IMU数据提取手网络特征矩阵，作为数据特征。

步骤S504：模型训练。构建正常被试者大样本手指动作数据集，对正常被试者的手指识别模型进行训练。

之后，障碍被试者手指识别模型的构建过程具体实施步骤如下：

步骤S505：数据采集。采集障碍被试者不同手指动作的运动想象EEG信号，构建小样本手指动作EEG数据集。

步骤S506：数据预处理。对不同手指动作的原始EEG数据进行降采样，采用陷波滤波器去除EEG数据的工频干扰，采用0.5-2Hz高通滤波器进行去基线，采用8-30Hz带通滤波器提取有效的频段。

步骤S507：特征提取。对α波(8-13Hz)和β波(14-30Hz)的EEG数据分别进行时域特征、频域特征和CSP空域特征提取，产生特征序列。

步骤S508：模型训练。获取障碍被试者小样本手指数据集，对障碍被试者的目标手指识别模型进行训练。

步骤S509：模型迁移。对正常被试者的手指识别模型进行参数迁移，生成目标手指识别模型，对障碍被试者进行手指识别。

请进一步参考图6，图6示出了根据本发明的一些实施例提供的面向跨场景的手指运动解码方法框架图。

如图6所示，在本发明的一些实施例中，上述方法可以经由以下步骤构建站立场景下的大样本手指数据集。

步骤S601：数据采集。在站立场景下，采集正常被试者手指动作的IMU信号，构建站立场景的大样本手指数据集。

步骤S602：数据预处理。对采集的原始IMU信号进行活动段检测，提取有效的活动段数据。对活动段内的数据进行平滑滤波，去除数据毛刺噪声。由于IMU信号的加速度和角速度的量纲不一致，因此，分别对IMU信号的加速度和角速度进行标准化。

步骤S603：特征提取。对标准化后的IMU数据提取手网络特征矩阵，作为数据特征。

步骤S604：模型训练。构建站立场景的大样本手指数据集，训练站立场景手指识别模型。

之后，目标场景下手指识别模型构建的具体实施步骤如下。

步骤S605：数据采集。在目标场景(例如：站立场景、坐立场景、躺平场景、自由行走场景、快速跑步场景)下，采集正常被试者的IMU基线信号(保持手部姿态与站立场景一致，但不进行相应的手指动作)，构建目标场景的小样本手指数据集。

步骤S606：数据预处理。与步骤S602类似。

步骤S607：特征提取。与步骤S603类似。

步骤S608：模型训练。构建目标场景小样本手指数据集，训练目标场景手指识别模型。

步骤S609：参数迁移。对站立场景的手指识别模型参数进行迁移，生成目标场景的手指识别模型，实现对目标场景的手指识别。

如此，本发明可以通过构建手网络结构，并提取手网络特征矩阵，以对不同手指运动进行解码。此外，本发明还可以通过迁移学习的方法，实现患者和正常人的手指运动的解码，从而解决在站立、坐立、躺平、自由行走、快速跑步等各种复杂场景下的手指识别问题，并解决无法从肌肉损伤患者获取其肌电信号的问题，以全方位地帮助各种患者进行肢体康复。尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims

1.一种手指运动的解码方法，其特征在于，包括以下步骤：

获取目标场景下待解码的手指运动数据；

解析所述手指运动数据，以提取手指运动特征；以及

经由基于所述目标场景的第二数据集及标准识别模型进行参数迁移学习的手指识别模型，确定所述手指运动数据在所述目标场景下的手指运动解码结果，其中，所述标准识别模型是经由基于标准场景的第一数据集所训练。

2.如权利要求1所述的解码方法，其特征在于，所述目标场景包括站立场景、坐立场景、躺平场景、自由行走场景、快速跑步场景、手指障碍场景中的一者或多者，

所述标准场景为所述站立场景、所述坐立场景、所述躺平场景、所述自由行走场景、所述快速跑步场景中的一者。

3.如权利要求2所述的解码方法，其特征在于，所述手指运动数据包括用户手部多个关键点的IMU数据，所述获取目标场景下待解码的手指运动数据的步骤包括：

构建用户手部的手网络结构，将所述关键点抽象为黑点，并手指关节抽象为黑直线；

将一个IMU传感器放置在用户掌心的背面位置，并将五个IMU传感器放置在用户手指背面远端的位置；以及

获取各所述IMU传感器采集的加速度信号及角速度信号，以确定所述目标场景下待解码的手指运动数据。

4.如权利要求3所述的解码方法，其特征在于，在所述站立场景、所述坐立场景、所述躺平场景、所述自由行走场景或所述快速跑步场景下，所述解析所述手指运动数据，以提取手指运动特征的步骤包括：

根据各所述关键点的IMU数据，确定各所述关键点之间的IMU数据变化量；以及

根据各所述关键点之间的IMU数据变化量，确定指示所述手指运动特征的邻接矩阵。

5.如权利要求4所述的解码方法，其特征在于，所述根据各所述关键点之间的IMU数据变化量，确定指示所述手指运动特征的邻接矩阵的步骤包括：

定义关键点i的特征向量为：

IMU_i＝[a_x,a_y,a_z,g_x,g_yg_z],i＝0,1,2,3,4,5

根据各所述关键点的特征向量，确定所述邻接矩阵：

Δ_i、2Δ_i、3Δ_i、4Δ的大小分别为：

6.如权利要求5所述的解码方法，其特征在于，所述根据各所述关键点之间的IMU数据变化量，确定指示所述手指运动特征的邻接矩阵的步骤还包括：

响应于任意两个所述关键点之间的IMU数据变化量大于0，将其取值抽象化成1；

响应于任意两个所述关键点之间的IMU数据变化量等于0，将其取值抽象化成0；以及

响应于任意两个所述关键点之间的IMU数据变化量小于0，将其取值抽象化成-1，其中，

7.如权利要求3所述的解码方法，其特征在于，在经由所述手指识别模型，确定所述手指运动数据在所述目标场景下的手指运动解码结果之前，所述解码方法还包括以下步骤：

获取并解析第一被试者在所述标准场景下的手指运动数据，以确定多组第一手指运动特征样本，并构建所述第一数据集；

获取并解析第二被试者在所述目标场景下的手指运动数据，以确定多组第二手指运动特征样本，并构建所述第二数据集；

基于所述第一数据集，训练基于所述标准场景的标准识别模型；以及

将所述标准识别模型的模型参数迁移到待训练的手指识别模型，并基于所述第二数据集，训练对应所述手指障碍场景的手指识别模型。

8.如权利要求7所述的解码方法，其特征在于，获取并解析所述手指运动数据，以确定所述手指运动特征样本的步骤包括：

获取多种手指动作的原始IMU数据；

对所述多种手指动作的原始IMU数据进行活动段检测，以提取固定窗口大小的数据；

对经由所述活动段检测提取的IMU数据进行滤波和/或标准化处理；以及

基于所述手网络结构，从滤波和/或标准化处理后的IMU数据提取指示所述手指运动特征的邻接矩阵，以确定所述手指运动特征样本。

9.如权利要求2所述的解码方法，其特征在于，所述手指运动数据包括手指障碍用户的至少一种手指动作的运动想象EEG信号，在所述手指障碍场景下，所述解析所述手指运动数据，以提取手指运动特征的步骤包括：

对所述运动想象EEG信号进行带通滤波，以分别获取8～13Hz的α波EEG数据以及14～30Hz的β波EEG数据；以及

分别对所述α波EEG数据及所述β波EEG数据进行时域特征提取、频域特征提取和/或CSP空域特征提取，以确定指示所述手指障碍用户的运动意图的手指运动特征。

10.如权利要求9所述的解码方法，其特征在于，在经由所述手指识别模型，确定所述手指运动数据在所述手指障碍场景下的手指运动解码结果之前，所述解码方法还包括以下步骤：

获取并解析正常被试者在所述标准场景下的手指运动数据，以确定多组第一手指运动特征样本，并构建所述第一数据集；

获取并解析存在对应手指障碍的障碍被试者在所述手指障碍场景下的手指运动数据，以确定多组第二手指运动特征样本，并构建所述第二数据集；

11.一种手指运动的解码装置，其特征在于，包括：

存储器；以及

处理器，所述处理器连接所述存储器，并被配置用于实施如权利要求1～10中任一项所述的手指运动的解码方法。

12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实施如权利要求1～10中任一项所述的手指运动的解码方法。