CN112434630B - 连续运动信息预测模型的训练方法及其训练装置、设备 - Google Patents

连续运动信息预测模型的训练方法及其训练装置、设备 Download PDF

Info

Publication number
CN112434630B
CN112434630B CN202011385275.3A CN202011385275A CN112434630B CN 112434630 B CN112434630 B CN 112434630B CN 202011385275 A CN202011385275 A CN 202011385275A CN 112434630 B CN112434630 B CN 112434630B
Authority
CN
China
Prior art keywords
data
hidden state
current time
prediction model
motion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011385275.3A
Other languages
English (en)
Other versions
CN112434630A (zh
Inventor
郭伟钰
王峥
林闯
杨永魁
陈超
辛锦瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011385275.3A priority Critical patent/CN112434630B/zh
Priority to PCT/CN2020/133443 priority patent/WO2022116056A1/zh
Publication of CN112434630A publication Critical patent/CN112434630A/zh
Application granted granted Critical
Publication of CN112434630B publication Critical patent/CN112434630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种连续运动信息预测模型的训练方法及其训练装置、设备。训练方法包括：获取当前时段的训练样本和隐藏状态初始数据，当前时段的训练样本包括当前时段的多个空间位置上的表面肌电特征数据；将当前时段的训练样本和隐藏状态初始数据输入待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据；根据获取的当前时段的运动状态真实数据和计算得到当前时段的运动状态预测数据更新损失函数；根据更新后的损失函数对待训练的连续运动信息预测模型的网络参数进行更新。在训练过程中充分利用了表面肌电特征数据的空间维度和时间维度的信息，有利于提高预测模型的准确率，增强实时性。

Description

连续运动信息预测模型的训练方法及其训练装置、设备
技术领域
本发明属于生物信号处理技术领域，具体地讲，涉及连续运动信息预测模型的训练方法及其训练装置、计算机可读存储介质、计算机设备。
背景技术
近年来，由于人工智能技术与神经科学的快速发展，从生物电信号中分析人类运动意图成为可能。其中表面肌电由于其包含丰富运动信息、便于采集、无创等特点受到广泛关注。基于表面肌电的连续运动估计也成为实现下一代人机交互的重要技术路线。
目前对于肌电信号的运动意图提取主要有两种方式，一是利用分类算法对肌电信号进行分类，产生离散的运动信息，可以作为人机交互中的开关信号，但是分类信号极大的限制了交互信息的丰富程度。目前人机交互的场景越来越复杂，单纯的分类方式已经不能满足日常使用的需要。二是利用回归的方式提取连续的运动意图信息(例如每一时刻的运动关节角度)，这种方式相对于第一种更加自然且可以进行更为精准的复杂场景下的人机交互。但是由于第二种方式要求算法能提取表面肌电中的细节信息，提取难度增大。目前的算法在特征提取时不考虑多个通道的肌电信号之间的相互作用，在单个通道内部进行信号处理，这损失了空间维度的信息。
发明内容
(一)本发明所要解决的技术问题
本发明解决的技术问题是：如何充分利用肌电信号的空间维度信息，以提高预测模型的准确率和实时性。
(二)本发明所采用的技术方案
一种连续运动信息预测模型的训练方法，所述连续运动信息预测模型包括若干卷积长短时记忆网络层，所述训练方法包括：
获取当前时段的训练样本和隐藏状态初始数据，所述当前时段的训练样本包括当前时段的多个空间位置上的表面肌电特征数据；
将所述当前时段的训练样本和隐藏状态初始数据输入待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据，其中所述隐藏状态更新数据用作与当前时段相邻的下一时段的隐藏状态初始数据；
根据获取的当前时段的运动状态真实数据和计算得到当前时段的运动状态预测数据更新损失函数；
根据更新后的损失函数对待训练的连续运动信息预测模型的网络参数进行更新。
优选地，所述连续运动信息预测模型包括依次连接的第一卷积长短时记忆网络层、第二卷积长短时记忆网络层、第三卷积长短时记忆网络层和全连接层。
优选地，所述第一卷积长短时记忆网络层的隐藏单元数量、所述第二卷积长短时记忆网络层的隐藏单元数量和所述第三卷积长短时记忆网络层的隐藏单元数量递减。
优选地，所述第一卷积长短时记忆网络层的隐藏单元数量为64，第二卷积长短时记忆网络层的隐藏单元数量为32，第三卷积长短时记忆网络层的隐藏单元数量为10。
优选地，每个卷积长短时记忆网络层中的元胞之间相互独立。
优选地，当前时段的所述隐藏状态初始数据包括第一隐藏状态初始数据、第二隐藏状态初始数据和第三隐藏状态初始数据，将所述当前时段的训练样本和隐藏状态初始数据输入至待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据的方法包括：
将当前时段的训练样本和第一隐藏状态初始数据输入到所述第一卷积长短时记忆网络层，得到第一隐藏状态更新数据；
将所述第一隐藏状态更新数据和所述第二隐藏状态初始数据输入到所述第二卷积长短时记忆网络层，得到第二隐藏状态更新数据；
将所述第二隐藏状态更新数据和所述第三隐藏状态初始数据输入到所述第三卷积长短时记忆网络层，得到第三隐藏状态更新数据；
将所述第三隐藏状态更新数据输入到全连接层，得到当前时段的运动状态预测数据；
其中，当前时段的所述第一隐藏状态更新数据、所述第二隐藏状态更新数据和所述第三隐藏状态更新数据分别用于与当前时段相邻的下一时段的第一隐藏状态初始数据、第二隐藏状态初始数据和第三隐藏状态初始数据。
本申请还公开了一种连续运动信息的预测方法，所述预测方法包括：
获取实时的表面肌电特征数据和根据上述的连续运动信息预测模型的训练方法训练得到的连续运动信息预测模型；
将所述实时的表面肌电特征数据输入到所述连续运动信息预测模型，得到实时的运动状态信息。
本申请还公开了一种连续运动信息预测模型的训练装置，所述训练装置包括：
数据获取模块，用于获取获取当前时段的训练样本和隐藏状态初始数据，所述当前时段的训练样本包括当前时段的多个空间位置上的表面肌电特征数据；
数据输入模块，用于将所述当前时段的训练样本和隐藏状态初始数据输入待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据，其中所述隐藏状态更新数据用作与当前时段间隔的下一时刻的隐藏状态初始数据；
损失函数计算模块，用于根据获取的当前时段的运动状态真实数据和计算得到当前时段的运动状态预测数据更新损失函数；
参数更新模块，用于根据更新后的损失函数对待训练的连续运动信息预测模型的网络参数进行更新。
本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有连续运动信息预测模型的训练程序，所述连续运动信息预测模型的训练程序被处理器执行时实现上述的连续运动信息预测模型的训练方法。
本申请还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的连续运动信息预测模型的训练程序，所述连续运动信息预测模型的训练程序被处理器执行时实现上述的连续运动信息预测模型的训练方法。
(三)有益效果
本发明公开了一种连续运动信息预测模型的训练方法，相对于传统的训练方法，具有如下技术效果：
在训练过程中充分利用了表面肌电特征数据的空间维度和时间维度的信息，有利于提高预测模型的准确率，增强实时性。
附图说明
图1为本发明的实施例一的连续运动信息预测模型的训练方法的流程图；
图2为本发明的实施例一的训练样本的提取方式示意图；
图3为本发明的实施例一的每个时刻的运动状态预测数据和隐藏状态更新数据的计算流程图；
图4为本发明的实施例一的连续运动信息预测模型的数据处理过程示意图；
图5为本发明的实施例一的卷积长短时记忆网络层的元胞结构示意图；
图6为本发明的实施例一的实验一的测试结果；
图7为本发明的另一实施例的连续运动信息预测模型的训练装置的示意图；
图8为本发明的又一实施例的计算机设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在详细描述本申请的各个实施例之前，首先简单描述本申请的发明构思：现有技术中，在利用表面肌电信息提取运动信息时，未考虑不同位置表面肌电数据，忽略了空间维度信息，会导致准确率较低。本申请获取同一时段的不同空间位置上表面肌电特征数据作为训练样本，并输入到由若干卷积长短时记忆网络层构成的预测模型中，得到运动状态预测数据，并利用运动状态预测数据和运动状态真实数据更新损失函数，实现对预测模型的训练，在训练过程中充分利用了表面肌电数据的时空特征信息，从而提高了预测模型的预测准确率。
下面通过不同的实施例来详细地描述本申请的技术方案。
实施例一
如图1所示，本实施例一的连续运动信息预测模型包括若干卷积长短时记忆网络层，连续运动信息预测模型的训练方法包括如下步骤：
步骤S10：获取当前时段的训练样本和隐藏状态初始数据，所述当前时段的训练样本包括当前时段的多个空间位置上的表面肌电特征数据。
步骤S20：将所述当前时段的训练样本和隐藏状态初始数据输入待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据，其中所述隐藏状态更新数据用作与当前时段间隔的下一时刻的隐藏状态初始数据。
步骤S30：根据获取的当前时段的运动状态真实数据和计算得到当前时段的运动状态预测数据更新损失函数。
步骤S40：根据更新后的损失函数对待训练的连续运动信息预测模型的网络参数进行更新。
作为优选实施例，在步骤S10中，如图2所示，波动信号代表表面肌电信号，左边的矩形是最终提取到的表面肌电特征数据。具体地，一般采样率为200-2000hz，采用多电极同时采集，各个电极分布于不同位置上，每一行代表其中一个电极采出的信号，其中包含了丰富的运动信息同时也掺杂了大量的噪声。C1到Cn表示每个电极采集的数据对应的特征。Window代表提取特征的滑动窗口，滑动步长为s，每个滑动窗口窗长为50ms到200ms，共滑动m次。每次滑动会将窗口内的信号计算均方根。这样每个电极会产生m个信号，最终构成m*n的输入数据，即表面肌电特征数据，将当前时段的多个空间位置上的表面肌电特征数据作为训练样本，同时输入到连续运动信息预测模型中，以充分利用表面肌电特征数据的空间维度信息。
关于时空特征的描述，以窗长为200的滑动窗口w1提取数据的Root Mean Sqaure(RMS，均方根差)，即每个电极采集到的200个点当做一个RMS，前后两个滑动窗的间隔为1，最终得到由RMS组成的时间序列。以手部为例，用12个电极采集肌电信号，那么会得到12个上述序列。再以窗长为200，窗前后间隔为100的滑动窗口w2来切割数据。得到以12*200为组成的输入数据集。维度12可以一定程度反应电极的相对位置，电极的排布类似于运动手环，一维即可表示，维度200为时间序列。类似于有12个感光元件的相机进行了长曝光拍摄，得到了时间空间的组合信息。
进一步地，在步骤S20中，在第一次进行计算时，隐藏状态初始数据的值可自主设定，例如利用高斯初始化方法来设定。作为优选实施例，连续运动信息预测模型包括依次连接的第一卷积长短时记忆网络层、第二卷积长短时记忆网络层、第三卷积长短时记忆网络层和全连接层。如图3所示，当前时段的所述隐藏状态初始数据包括第一隐藏状态初始数据、第二隐藏状态初始数据和第三隐藏状态初始数据，将所述当前时段的训练样本和隐藏状态初始数据输入至待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据的方法包括：
步骤S201：将当前时段的训练样本和所述第一隐藏状态初始数据输入到所述第一卷积长短时记忆网络层，得到第一隐藏状态更新数据。
步骤S202：将所述第一隐藏状态更新数据和所述第二隐藏状态初始数据输入到所述第二卷积长短时记忆网络层，得到第二隐藏状态更新数据。
步骤S203：将所述第二隐藏状态更新数据和所述第三隐藏状态初始数据输入到所述第三卷积长短时记忆网络层，得到第三隐藏状态更新数据。
步骤S204：将所述第三隐藏状态更新数据输入到全连接层，得到当前时段的运动状态预测数据。
其中，当前时段的所述第一隐藏状态更新数据、所述第二隐藏状态更新数据和所述第三隐藏状态更新数据分别用于与当前时段相邻的下一时段的第一隐藏状态初始数据、第二隐藏状态初始数据和第三隐藏状态初始数据。
具体地，其中卷积长短时记忆网络层相对于传统的lstm主要是把lstm内部输入门、遗忘门、输出门的计算由全连接换成了卷积方式。进一步地，所述第一卷积长短时记忆网络层的隐藏单元数量、所述第二卷积长短时记忆网络层的隐藏单元数量和所述第三卷积长短时记忆网络层的隐藏单元数量递减，形成压缩式网络结构，以去除表面肌电信号中的噪音。作为优选实施例，所述第一卷积长短时记忆网络层的隐藏单元数量为64，第二卷积长短时记忆网络层的隐藏单元数量为32，第三卷积长短时记忆网络层的隐藏单元数量为10。图4示出了连续运动信息预测模型的数据处理过程，LE-sEMG表示每个时刻的训练样本，hidden State表示隐藏状态更新数据。其中从上到下每一层卷积长短时记忆网络层的hidden state为64、32、10，12*200为输入数据的格式，12表示采集肌电的电极数量，200为滑动窗口的长度。
示例性地，以第一卷积长短时记忆网络层为例，包括64个元胞，每个元胞的构成如图5所示，包括输入门(i)、输出门(o)、遗忘门(f)和备选状态门(s)，每个门均为64个通道的卷积层，每个卷积层的卷积核为3*3，步长为1。具体计算如下：
Figure BDA0002809490530000071
Figure BDA0002809490530000072
Figure BDA0002809490530000073
Figure BDA0002809490530000074
Figure BDA0002809490530000075
ht＝ot·ρ(st) (6)
其中，it,ot,ft分别代表元胞中的输入门，输出门，遗忘门。W为对应位置的权重(例如，Wxi代表输入x到输入门的权重)。另外b代表权重向量。
Figure BDA0002809490530000076
代表sigmod激活函数，tanh代表tanh激活函数。
示例性，对于当前时段t，将当前时段的训练样本xt和第一隐藏状态初始数据H1 t共同输入到第一卷积长短时记忆网络层，计算得到第一隐藏状态更新数据h1 t，接着将所述第一隐藏状态更新数据h1 t和所述第二隐藏状态初始数据H2 t输入到所述第二卷积长短时记忆网络层，得到第二隐藏状态更新数据h2 t；然后将第二隐藏状态更新数据h2 t和所述第三隐藏状态初始数据H3 t输入到所述第三卷积长短时记忆网络层，得到第三隐藏状态更新数据h3 t，最后将所述第三隐藏状态更新数据h3 t输入到全连接层，得到当前时段的运动状态预测数据Jt。
其中，将当前时段t的所述第一隐藏状态更新数据h1 t、所述第二隐藏状态更新数据h2 t和所述第三隐藏状态更新数据h3 t分别用于与当前时段相邻的下一时段t+1的第一隐藏状态初始数据H1 t+1、第二隐藏状态初始数据H2 t+1和第三隐藏状态初始数据H3 t+1。即对于下一时刻t+1，将下一时刻t+1的训练样本xt+1和第一隐藏状态初始数据H1 t+1共同输入到第一卷积长短时记忆网络层，得到第一隐藏状态更新数据h1 t+1。接着将所述第一隐藏状态更新数据h1 t+1和所述第二隐藏状态初始数据H2 t+1输入到所述第二卷积长短时记忆网络层，得到第二隐藏状态更新数据h2 t+1；然后将第二隐藏状态更新数据h2 t+1和所述第三隐藏状态初始数据H3 t+1输入到所述第三卷积长短时记忆网络层，得到第三隐藏状态更新数据h3 t+1，最后将所述第三隐藏状态更新数据h3 t+1输入到全连接层，得到当前时段的运动状态预测数据Jt+1。以此类推，可以得到各个时段的运动状态预测数据。
作为优选实施例，每个卷积长短时记忆网络层中的元胞之间相互独立，即对于同一时段来说，各个元胞之间不进行隐藏状态的传递，例如第一卷积长短时记忆网络层具有64个元胞，每个元胞计算得到第一隐藏状态更新数据h1 t之后，直接将第一隐藏状态更新数据h1 t传递至第二卷积长短时记忆网络层的元胞中，而不将第一隐藏状态更新数据h1 t传递至同一时段的第一卷积长短时记忆网络层的另一元胞中，相当于去掉了一个for循环，这样有助于提升训练速度。
关于步骤S30和步骤S40，损失函数优选适用于回归任务的MSE函数，根据获取的当前时段的运动状态真实数据和计算得到当前时段的运动状态预测数据更新损失函数，接着根据更新后的损失函数对待训练的连续运动信息预测模型的网络参数进行更新，从而完成模型训练。其中，损失函数和网络参数的更新过程为本领域技术人员熟知的现有技术，在此不进行赘述。
本实施例一公开的连续运动信息预测模型的训练方法，在训练过程中充分利用了表面肌电特征数据的空间维度和时间维度的信息，有利于提高预测模型的准确率，增强实时性。
另外，可以同时提取更多部位的运动信息。对比基于模式识别的分类方法，本实施例一的训练方法可以提取更为细致的连续运动信息，可以服务于场景更为复杂的人机交互系统。对比已有的连续运动估计方法，本实施例一的训练方法可以估计更多的关节角度，拥有更高的准确率。
进一步地，为了验证由本实施例一的训练方法训练得到的连续运动信息预测模型的效果，进行了实验验证。本实验均采用pytorch框架实现，在公开数据集Ninapro上进行验证。
实验一：选取Ninapro中具有代表性的8个受试者。计算每个受试者测试集预测曲线与实际曲线的皮尔森相关系数。如图6所示，本实施例一提出的预测模型(LE-CONVLSTM)明显优于其他的现有算法，例如传统的SPGP模型(高斯稀疏伪输入模型)和LSTM模型。
进一步地，实施例二还公开了一种连续运动信息的预测方法，预测方法包括：获取实时的表面肌电特征数据和根据上述的连续运动信息预测模型的训练方法训练得到的连续运动信息预测模型；将所述实时的表面肌电特征数据输入到所述连续运动信息预测模型，得到实时的运动状态信息。
如图7所示，本申请的另一实施例还公开了一种连续运动信息预测模型的训练装置，所述训练装置包括：
数据获取模块100，用于获取获取当前时段的训练样本和隐藏状态初始数据，所述当前时段的训练样本包括当前时段的多个空间位置上的表面肌电特征数据；
数据输入模块200，用于将所述当前时段的训练样本和隐藏状态初始数据输入待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据，其中所述隐藏状态更新数据用作与当前时段间隔的下一时刻的隐藏状态初始数据；
损失函数计算模块300，用于根据获取的当前时段的运动状态真实数据和计算得到当前时段的运动状态预测数据更新损失函数；
参数更新模块400，用于根据更新后的损失函数对待训练的连续运动信息预测模型的网络参数进行更新。
本申请的另一实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有连续运动信息预测模型的训练程序，所述连续运动信息预测模型的训练程序被处理器执行时实现上述的连续运动信息预测模型的训练方法。
本申请的另一实施例还公开了一种计算机设备，在硬件层面，如图8所示，该终端包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。所述计算机可读存储介质11上存储有连续运动信息预测模型的训练程序，所述连续运动信息预测模型的训练程序被处理器执行时实现上述的连续运动信息预测模型的训练方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。

Claims (7)

1.一种连续运动信息预测模型的训练方法，其特征在于，所述连续运动信息预测模型包括若干卷积长短时记忆网络层，所述训练方法包括：
获取当前时段的训练样本和隐藏状态初始数据，所述当前时段的训练样本包括当前时段的多个空间位置上的表面肌电特征数据；
将所述当前时段的训练样本和隐藏状态初始数据输入待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据，其中所述隐藏状态更新数据用作与当前时段相邻的下一时段的隐藏状态初始数据；
根据获取的当前时段的运动状态真实数据和计算得到当前时段的运动状态预测数据更新损失函数；
根据更新后的损失函数对待训练的连续运动信息预测模型的网络参数进行更新；
所述连续运动信息预测模型包括依次连接的第一卷积长短时记忆网络层、第二卷积长短时记忆网络层、第三卷积长短时记忆网络层和全连接层，每个卷积长短时记忆网络层中的元胞之间相互独立；
当前时段的所述隐藏状态初始数据包括第一隐藏状态初始数据、第二隐藏状态初始数据和第三隐藏状态初始数据，将所述当前时段的训练样本和隐藏状态初始数据输入至待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据的方法包括：
将当前时段的训练样本和所述第一隐藏状态初始数据输入到所述第一卷积长短时记忆网络层，得到第一隐藏状态更新数据；
将所述第一隐藏状态更新数据和所述第二隐藏状态初始数据输入到所述第二卷积长短时记忆网络层，得到第二隐藏状态更新数据；
将所述第二隐藏状态更新数据和所述第三隐藏状态初始数据输入到所述第三卷积长短时记忆网络层，得到第三隐藏状态更新数据；
将所述第三隐藏状态更新数据输入到全连接层，得到当前时段的运动状态预测数据；
其中，当前时段的所述第一隐藏状态更新数据、所述第二隐藏状态更新数据和所述第三隐藏状态更新数据分别用于与当前时段相邻的下一时段的第一隐藏状态初始数据、第二隐藏状态初始数据和第三隐藏状态初始数据。
2.根据权利要求1所述的连续运动信息预测模型的训练方法，其特征在于，所述第一卷积长短时记忆网络层的隐藏单元数量、所述第二卷积长短时记忆网络层的隐藏单元数量和所述第三卷积长短时记忆网络层的隐藏单元数量递减。
3.根据权利要求2所述的连续运动信息预测模型的训练方法，其特征在于，所述第一卷积长短时记忆网络层的隐藏单元数量为64，第二卷积长短时记忆网络层的隐藏单元数量为32，第三卷积长短时记忆网络层的隐藏单元数量为10。
4.一种连续运动信息的预测方法，其特征在于，所述预测方法包括：
获取实时的表面肌电特征数据和根据权利要求1至3任一项所述的连续运动信息预测模型的训练方法训练得到的连续运动信息预测模型；
将所述实时的表面肌电特征数据输入到所述连续运动信息预测模型，得到实时的运动状态信息。
5.一种连续运动信息预测模型的训练装置，其特征在于，所述训练装置包括：
数据获取模块，用于获取当前时段的训练样本和隐藏状态初始数据，所述当前时段的训练样本包括当前时段的多个空间位置上的表面肌电特征数据；
数据输入模块，用于将所述当前时段的训练样本和隐藏状态初始数据输入待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据，其中所述隐藏状态更新数据用作与当前时段相邻的下一时段的隐藏状态初始数据；
损失函数计算模块，用于根据获取的当前时段的运动状态真实数据和计算得到当前时段的运动状态预测数据更新损失函数；
参数更新模块，用于根据更新后的损失函数对待训练的连续运动信息预测模型的网络参数进行更新；
所述连续运动信息预测模型包括依次连接的第一卷积长短时记忆网络层、第二卷积长短时记忆网络层、第三卷积长短时记忆网络层和全连接层，每个卷积长短时记忆网络层中的元胞之间相互独立；
当前时段的所述隐藏状态初始数据包括第一隐藏状态初始数据、第二隐藏状态初始数据和第三隐藏状态初始数据，将所述当前时段的训练样本和隐藏状态初始数据输入至待训练的连续运动信息预测模型，计算得到的当前时段的运动状态预测数据和隐藏状态更新数据的方法包括：
将当前时段的训练样本和所述第一隐藏状态初始数据输入到所述第一卷积长短时记忆网络层，得到第一隐藏状态更新数据；
将所述第一隐藏状态更新数据和所述第二隐藏状态初始数据输入到所述第二卷积长短时记忆网络层，得到第二隐藏状态更新数据；
将所述第二隐藏状态更新数据和所述第三隐藏状态初始数据输入到所述第三卷积长短时记忆网络层，得到第三隐藏状态更新数据；
将所述第三隐藏状态更新数据输入到全连接层，得到当前时段的运动状态预测数据；
其中，当前时段的所述第一隐藏状态更新数据、所述第二隐藏状态更新数据和所述第三隐藏状态更新数据分别用于与当前时段相邻的下一时段的第一隐藏状态初始数据、第二隐藏状态初始数据和第三隐藏状态初始数据。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有连续运动信息预测模型的训练程序，所述连续运动信息预测模型的训练程序被处理器执行时实现权利要求1至3任一项所述的连续运动信息预测模型的训练方法。
7.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的连续运动信息预测模型的训练程序，所述连续运动信息预测模型的训练程序被处理器执行时实现权利要求1至3任一项所述的连续运动信息预测模型的训练方法。
CN202011385275.3A 2020-12-01 2020-12-01 连续运动信息预测模型的训练方法及其训练装置、设备 Active CN112434630B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011385275.3A CN112434630B (zh) 2020-12-01 2020-12-01 连续运动信息预测模型的训练方法及其训练装置、设备
PCT/CN2020/133443 WO2022116056A1 (zh) 2020-12-01 2020-12-02 连续运动信息预测模型的训练方法及其训练装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011385275.3A CN112434630B (zh) 2020-12-01 2020-12-01 连续运动信息预测模型的训练方法及其训练装置、设备

Publications (2)

Publication Number Publication Date
CN112434630A CN112434630A (zh) 2021-03-02
CN112434630B true CN112434630B (zh) 2022-08-16

Family

ID=74698711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011385275.3A Active CN112434630B (zh) 2020-12-01 2020-12-01 连续运动信息预测模型的训练方法及其训练装置、设备

Country Status (2)

Country Link
CN (1) CN112434630B (zh)
WO (1) WO2022116056A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113384875B (zh) * 2021-06-22 2023-06-16 吉林大学 模型训练方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476161A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种融合图像和生理信号双通道的体感动态手势识别方法
CN111506190A (zh) * 2020-03-31 2020-08-07 哈尔滨工业大学 一种基于肌电的人体运动意图实时连续预测方法
CN111938660A (zh) * 2020-08-13 2020-11-17 电子科技大学 一种基于阵列肌电的卒中患者手部康复训练动作识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720515B2 (en) * 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
CN107958044A (zh) * 2017-11-24 2018-04-24 清华大学 基于深度时空记忆网络的高维序列数据预测方法和系统
EP3836836B1 (en) * 2018-08-13 2024-03-20 Meta Platforms Technologies, LLC Real-time spike detection and identification
CN109460855A (zh) * 2018-09-29 2019-03-12 中山大学 一种基于聚焦机制的群体流量预测模型及方法
CN110658915A (zh) * 2019-07-24 2020-01-07 浙江工业大学 一种基于双流网络的肌电信号手势识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506190A (zh) * 2020-03-31 2020-08-07 哈尔滨工业大学 一种基于肌电的人体运动意图实时连续预测方法
CN111476161A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种融合图像和生理信号双通道的体感动态手势识别方法
CN111938660A (zh) * 2020-08-13 2020-11-17 电子科技大学 一种基于阵列肌电的卒中患者手部康复训练动作识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"sEMG Motion Intention Recognition Based on Wavelet Time-Frequency Spectrum and ConvLSTM";Yixin Liu等;《Journal of Physics: Conference Series》;20200923;第1631卷;第1-5页、图6 *
"基于sEMG的腿部疲劳状态智能识别系统的设计";栾振;《中国优秀博硕士学位论文全文数据库(硕士) 医药卫生科技辑》;20200215;E080-37 *

Also Published As

Publication number Publication date
CN112434630A (zh) 2021-03-02
WO2022116056A1 (zh) 2022-06-09

Similar Documents

Publication Publication Date Title
WO2022089391A9 (zh) 模型训练方法、人体姿态检测方法、装置、设备及存储介质
CN112597985B (zh) 一种基于多尺度特征融合的人群计数方法
CN109567789B (zh) 心电图数据的分割处理方法、装置及可读存储介质
CN108320306B (zh) 融合tld和kcf的视频目标跟踪方法
CN111345816B (zh) 多导联qrs波群检测方法、装置、设备及存储介质
CN111345817B (zh) Qrs波群位置确定方法、装置、设备及存储介质
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
WO2022184124A1 (zh) 生理电信号分类处理方法、装置、计算机设备和存储介质
CN111488932A (zh) 一种基于帧率感知的自监督视频时-空表征学习方法
CN112434630B (zh) 连续运动信息预测模型的训练方法及其训练装置、设备
CN115919330A (zh) 基于多层次se注意力和图卷积的eeg情绪状态分类方法
CN113627391B (zh) 一种考虑个体差异的跨模式脑电信号识别方法
CN113688804B (zh) 基于多角度视频的动作识别方法及相关设备
Mathur et al. A brief survey of deep learning techniques for person re-identification
CN108898619B (zh) 一种基于pvanet神经网络的目标跟踪方法
CN112884062B (zh) 一种基于cnn分类模型和生成对抗网络的运动想象分类方法及系统
CN111242003B (zh) 一种基于多尺度受约束自注意机制的视频显著性物体检测的方法
CN113393385A (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN117154256A (zh) 锂电池的电化学修复方法
Jeong et al. Congestion-aware bayesian loss for crowd counting
CN116524380A (zh) 一种基于脑-机信号融合的目标检测方法
CN116187561A (zh) 一种基于空间时域卷积网络的pm10浓度精细化预测方法
CN113053123B (zh) 一种基于时空大数据的交通量预测方法及装置
CN114428555A (zh) 一种基于皮层源信号的脑电运动意图识别方法及系统
CN112434629A (zh) 一种在线时序动作检测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant