CN113509174A - 估计关节角度的方法、设备及存储介质 - Google Patents

估计关节角度的方法、设备及存储介质 Download PDF

Info

Publication number
CN113509174A
CN113509174A CN202110587580.9A CN202110587580A CN113509174A CN 113509174 A CN113509174 A CN 113509174A CN 202110587580 A CN202110587580 A CN 202110587580A CN 113509174 A CN113509174 A CN 113509174A
Authority
CN
China
Prior art keywords
joint
signals
lower limb
signal
electromyographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110587580.9A
Other languages
English (en)
Other versions
CN113509174B (zh
Inventor
王灿
何柏霖
李鹏博
段声才
吴新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110587580.9A priority Critical patent/CN113509174B/zh
Publication of CN113509174A publication Critical patent/CN113509174A/zh
Application granted granted Critical
Publication of CN113509174B publication Critical patent/CN113509174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1101—Detecting tremor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6828—Leg
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0237—Stretching or bending or torsioning apparatus for exercising for the lower limbs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00—Devices for specific parts of the body
    • A61H2205/10—Leg
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/08—Other bio-electrical signals
    • A61H2230/085—Other bio-electrical signals used as a control parameter for the apparatus
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Abstract

本申请公开了一种估计关节角度的方法、设备及存储介质。该估计关节角度的方法，包括：获取参考下肢的肌电信号以及待估计下肢的关节振动造影信号；利用关节角度预测模型对肌电信号和关节振动造影信号进行估计，得到待估计下肢的预设关节的预估角度；其中，参考下肢和待估计下肢不同。上述方案，能够提高预设关节的预估角度的准确度。

Description

估计关节角度的方法、设备及存储介质
技术领域
本申请涉及康复医疗技术领域，特别是涉及一种估计关节角度的方法、设备及存储介质。
背景技术
大部分中风病人的后遗症会造成偏瘫的现象，但经过后天的康复训练，偏瘫病人可以不再依靠外界，独立行走。在这个过程中，因为在康复科中的医护人员较病人的数量较少，且在病人康复训练中长久的重复动作会使看护人员身心疲惫。因此，急需一种能够指导偏瘫病人训练的机器人，以减少看护人员的工作量。
发明内容
本申请至少提供一种估计关节角度的方法、设备及存储介质。
本申请提供了一种估计关节角度的方法，包括：获取参考下肢的肌电信号以及待估计下肢的关节振动造影信号；利用关节角度预测模型对肌电信号和关节振动造影信号进行估计，得到待估计下肢的预设关节的预估角度；其中，参考下肢和待估计下肢不同。
本申请提供了一种估计关节角度的装置，包括：获取模块，用于获取参考下肢的肌电信号以及待估计下肢的关节振动造影信号；预估模块，用于利用关节角度预测模型对肌电信号和关节振动造影信号进行估计，得到待估计下肢的预设关节的预估角度；其中，参考下肢和待估计下肢不同。
本申请提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述估计关节角度的方法。
本申请提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述估计关节角度的方法。
上述方案，能够通过关节角度预测模型对参考下肢的肌电信号以及待估计下肢的关节振动造影信号进行估计，即可得到待估计下肢的预设关节的角度。例如，对于偏瘫病人而言，参考下肢可以是正常一侧，而待估计下肢可以是偏瘫一侧，通过正常一侧的肌电信号以及偏瘫一侧的关节振动造影信号，估计预设关节的预估角度，以便后续通过该预估角度指导偏瘫病人进行康复训练。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请估计关节角度的方法一实施例的流程示意图；
图2是本申请估计关节角度的方法一实施例中示出传感器的安装示意图；
图3是本申请估计关节角度的方法一实施例中示出运动捕捉标记点的安装示意图一；
图4是本申请估计关节角度的方法一实施例中示出运动捕捉标记点的安装示意图二；
图5是本申请估计关节角度的方法一实施例中示出关节角度预测模型的结构示意图；
图6是本申请估计关节角度的方法一实施例中示出关节角度预测模型的训练过程示意图；
图7是本申请估计关节角度的装置一实施例的结构示意图；
图8是本申请电子设备一实施例的结构示意图；
图9是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请估计关节角度的方法一实施例的流程示意图。具体而言，估计关节角度的方法可以包括如下步骤：
步骤S11：获取参考下肢的肌电信号以及待估计下肢的关节振动造影信号。
其中，获取参考下肢的肌电信号的方式可以是获取参考下肢多个肌肉的肌电信号。例如，获取大腿侧若干个肌肉对应的肌电信号，以及获取小腿侧若干个肌肉对应的肌电信号。其中，获取待估计下肢的关节振动造影信号也可以是获取至少一个关节的振动造影信号。
其中，获取参考下肢的肌电信号以及获取待估计下肢的关节振动造影信号需要信号同步。即，不能说两种信号之间存在长时间延迟，两者之间若相隔时间较长，则估计得到的预设关节的预估角度误差就会相对较大。
可选地，目标能够获取肌电信号的设备以及获取关节振动造影信号的设备很多，例如，采集关节振动造影信号的设备可以是意法半导体公司的Lis25ba系列的传感器及STEVALMKIGIBV3型号的采集板，采集肌电信号的设备可以是Delsys公司的TRIGNO无线肌电设备。当然，这里的设备仅为举例，其他实施例中完全可以采用其他能够采集肌电信号，或关节振动造影信号的设备。
本公开实施例中，采集肌电信号的传感器安装位置不做具体规定。可参见一般对下肢进行肌电信号采集的方案。关于采集关节振动造影信号的传感器安装位置可以是放置在待估计下肢的至少一个关节处，例如放置在膝关节处。
请参见图2，为清晰地展现各传感器的安装位置，请参见图2，图2是本申请估计关节角度的方法一实施例中示出传感器的安装示意图。
如图2所示，肌电信号和关节振动造影信号传感器的安装位置如图2所示。其中，我们一般称肌电信号传感器为EMG传感器，关节振动造影信号传感器为VAG传感器。
步骤S12：利用关节角度预测模型对肌电信号和关节振动造影信号进行估计，得到待估计下肢的预设关节的预估角度；其中，参考下肢和待估计下肢不同。
其中，这里的关节角度预测模型是已经训练完成的。关节角度预测模型可以是神经网络模型。
本公开实施例中，将肌电信号和关节振动造影信号输入关节角度预测模型，并利用训练好的关节角度预测模型进行估计，即可得到待估计下肢的预设关节的预估角度。
上述方案，能够通过关节角度预测模型对参考下肢的肌电信号以及待估计下肢的关节振动造影信号进行估计，即可得到待估计下肢的预设关节的角度。例如，对于偏瘫病人而言，参考下肢可以是正常一侧，而待估计下肢可以是偏瘫一侧，通过正常一侧的肌电信号以及偏瘫一侧的关节振动造影信号，估计预设关节的预估角度，以便后续通过该预估角度指导偏瘫病人进行康复训练。
一些公开实施例中，参考下肢为偏瘫病人的正常一侧，而待估计下肢是偏瘫病人的偏瘫一侧。其中，预设关节可以是髋关节、膝关节以及踝关节中的至少一者。例如，预设关节同时包括偏瘫一侧的髋关节、膝关节以及踝关节。也就是通过本公开实施例提供的技术方案，能够根据偏瘫一侧的关节振动造影信号以及正常一侧的肌电信号，即可得到偏瘫一侧的髋关节、膝关节以及踝关节这三个关节的预估角度。在得到这三个关节的预估角度之后，可以根据该预估角度调节康复训练的机器人对应的关节状态，从而指导偏瘫病人进行康复训练。
一些公开实施例中，获取下肢的肌电信号的方式可以是，使用至少8个传感器分别对下肢的至少8个肌肉进行测量，然后得到至少8个通道的肌电信号。其中，这里的下肢指的是参考下肢。也就是一个传感器对应一个通道的肌电信号。其中，这8个肌肉的确定可以是大腿侧确定1-4个，小腿侧确定1-4个。具体应用场景中，这8个肌肉的选择也可参考其他现有方案的选择。在其他实施例中，获取肌电信号的传感器可以是9个、10个等。
通过获取至少8通道的肌电信号用于估计预设关节的角度，使得最后估计出来的预设关节的角度更准确。
获取下肢的关节振动造影信号的方式可以是，使用至少一个传感器对下肢中的至少一个关节进行测量，得到至少一个通道的关节振动造影信号。例如，使用一个传感器获取待估计下肢中膝关节的关节振动造影信号。其中，这里的下肢指的是待估计下肢。当然，在其他实施例中，可以获取多个关节的关节振动造影信号，例如，同时获取髋关节、膝关节以及踝关节的关节振动造影信号。一些具体应用场景中，通过获取待估计侧中膝关节的关节振动造影信号以及参考下肢中至少8通道的肌电信号通过本申请的关节角度预测模型即可得到待估计下肢中髋关节、膝关节以及踝关节这三个关节的预估角度。
因为对待估计下肢的肌电信号测得的肌电信号或许不太准确，本公开实施例提供的技术方案，通过获取待估计下肢的关节振动造影信号，而不是获取待估计下肢的肌电信号，相比获取待估计下肢的肌电信号而言，估计得到的预设关节的预估角度更准确。
一些公开实施例中，利用关节角度预测模型对肌电信号和关节振动造影信号进行估计之前，包括以下至少一步：
将肌电信号以及关节振动造影信号下采样到预设频率。其中，预设频率可以是100HZ。通过将这些信号都下采样到预设频率能够统一模型的输入。
将关节振动造影信号输入低通滤波器进行滤波，以及将肌电信号输入高通滤波器和/或陷波滤波器进行滤波。具体地，获取得到的关节振动造影信号中可能混合有高频脉冲信号，所以，本公开实施例中，将关节振动造影信号输入通带频率为6.15hz、阻带频率为10.56hz的低通滤波器滤波。而获取到的肌电信号中包括表面肌电信号和噪声。其中，运动噪声、低频噪声和工频噪声是表面肌电信号中的主要组成部分。因此，本公开实施例中，将肌电信号输入带二阶50hz陷波滤波器和四阶10hz巴特沃思高通滤波器进行滤波。
将肌电信号和关节振动造影信号分别进行标准化操作以去除信号中的直流分量。具体地，标准化操作的具体过程是获取信号的标准差和均值，确定信号中每个值与均值的差，再除以标准差。例如，对肌电信号进行标准化操作的过程是，因为肌电信号、关节振动造影信号均是时序信号，即，包括了多个时刻的肌电信号以及关节振动造影信号。获取所有时刻的肌电信号的标准差和均值，确定各个时刻的肌电信号与均值之间的差值，并将该差值除以标准差，即实现了对肌电信号的标准化。关节振动造影信号标准化操作的过程同理，此处不再赘述。
其中，关节角度预测模型为时序卷积网络模型。其中，关节角度预测模型包括并列的两个子网络。其中，两个子网络的层数不同。例如，一个子网络包括若干层卷积层，另一子网络包括一层卷积层。本公开实施中，包括若干卷积层的子网络具体包括8层卷积层。其中，包含若干层卷积层的子网络中，各卷积层中卷积核的膨胀系数不同。并且，卷积层的层数增大，膨胀系数按照预设倍数增大。其中，这里的预设倍数为大于1的整数。具体地，肌电信号和关节振动造影信号输入的第一层卷积层的层数为1，第一层卷积层的后一层卷积层的层数为2，以此类推。按照层数依次增加的规律，各8层卷积层的膨胀系数分别为：1，2，4，8，16，32，64，128。本公开实施例中，关节角度预测模型在结构上为一维卷积模型增加了扩张卷积和因果卷积，以此解决了递归并行运算训练不同的问题。进一步地，本公开实施例中，关节角度预测模型的内核大小为8，过滤器为64。其中，这里的过滤器用于过滤肌电信号和关节振动造影中的噪声。其中，只有一层卷积层的子网络中，该卷积层为1*1卷积层。
本公开实施例中，关节角度预测模型的输入有9个通道。其中，两个子网络的输入均有9个通道。具体地，有8个通道用于输入肌电信号，有1个通道用于输入关节振动造影信号。
其中，利用关节角度预测模型对肌电信号和关节振动造影信号进行估计，得到预设关节的预估角度的步骤包括：将肌电信号和关节振动造影信号并行输入包含若干层卷积层的子网络和包含一层卷积层的子网络。其中，包含若干层卷积层的网络中后一卷积层的输入为前一卷积层的输出。将两个子网络的输出结果相加得到相加之后的结果。然后，将相加之后的结果输入全连接层，得到预设关节的预估角度。其中，输出结果包括三个关节的预估角度，例如，包括髋关节、膝关节以及踝关节的预估角度。
其中，上述关节角度预测模型是经过训练之后的。一些公开实施例中，训练关节角度预测模型的步骤，包括：
步骤一、获取一参考训练下肢的肌电信号，另一参考训练下肢的关节振动造影信号，以及另一参考训练下肢的预设关节的角度。
其中，这里用于获取肌电信号的参考训练下肢对应上述参考下肢。用于获取关节振动造影信号的参考训练下肢对应待估计下肢。当然，在训练过程中，用于获取肌电信号的参考训练下肢以及用于获取关节振动造影信号的参考训练下肢是健康的。也就是使用健康人体的运动数据对关节角度预测模型进行训练。
其中，获取下肢的肌电信号，以及获取下肢的关节振动造影信号的步骤包括：使用至少8个传感器分别对下肢中的至少8个肌肉进行测量，得到至少8通道的肌电信号。使用至少1个传感器对下肢中至少1个关节进行测量，得到至少1通道的关节振动造影信号。
具体地，使用至少8个传感器分别对一参考训练下肢中的至少8个肌肉进行测量，得到至少8通道的肌电信号。以及，使用至少1个传感器对另一参考训练下肢中至少1个关节进行测量，得到至少1通道的关节振动造影信号。其中，这里的关节振动造影可以是对膝关节进行测量得到。
本公开实施例中，上述另一参考训练下肢的预设关节的角度指的是用于获取关节振动造影信号的参考训练下肢的预设关节角度。例如，本公开实施例中，用于获取关节振动造影信号的参考训练下肢为人体的右腿，则用于获取预设关节角度的参考训练下肢也为人体的右腿。
获取参考训练下肢的预设关节的角度的方式可以是进行运动捕捉。其中，获取到的各个信号中包括时序信息。通过在人体上安装多个运动捕捉传感器，获取运动信息。具体地，对目标对象进行运动捕捉的标记点的安装位置请参见图2-图4，图3是本申请估计关节角度的方法一实施例中示出运动捕捉标记点的安装示意图一，图4是本申请估计关节角度的方法一实施例中示出运动捕捉标记点的安装示意图二。
如图2-图4所示，运动捕捉标记点的安装位置包括但不限于目标对象的大腿侧、小腿侧、脚背侧、胸部、头部等。通过在多个位置安装运动捕捉标记点，能够获取得到更为准确的运动信息。
一些具体场景中，采集了10个目标对象的数据，其中，每个人分别以0.69m/s、0.83m/s、1m/s的速度匀速行走。运动捕捉、肌电设备以及关节振动造影设备记录行走的数据。每种速度采集一分钟的数据，一共三组。每组数据记录后，要求受试者休息20秒，以防止肌肉疲劳。其中，10个人的整体数据共30组，每组的90％数据混合在一起作为训练数据，每组剩下的10％作为验证数据。
步骤二、利用关节角度预测模型对一参考训练下肢的肌电信号和另一参考训练下肢的关节振动造影信号进行估计，得到预设关节的预估角度。
其中，在利用关节角度预测模型对一参考训练下肢的肌电信号和另一参考训练下肢的关节振动造影信号进行估计之前，还包括以下步骤：将一参考训练下肢的肌电信号以及另一参考训练下肢的关节振动造影信号进行融合得到融合后的信号。
可选地，融合后的信号由若干通道的肌电信号和若干通道的关节振动造影信号以并排或并列的形式组成。继上例，在肌电信号的通道数为8，关节振动造影信号的通道数为1的情况下，融合后的信号则会以9行或9列的形式出现。
利用预设大小的滑动窗口，按照预设步长对融合后的信号进行分割，得到若干批融合子信号，以分批次使用融合子信号对关节角度预测模型进行训练。也即是，在训练关节角度预测模型的过程中，获取的肌电信号和关节振动造影信号的数量众多，即获取了较长时间段的数据，可以通过此种方式分批次对模型进行训练。
其中，滑动窗口的宽度等于肌电信号和关节振动造影信号的通道数之和。如上述，若肌电信号有8通道，关节振动造影信号有1通道，则滑动窗口的宽度则为9通道。
利用预设大小的滑动窗口按照预设步长对融合后的信号进行分割操作得到若干批融合子信号的方式可以是：滑动窗口按照步长为1的方式从融合后的信号中的一端向另一端移动。具体地，可以是朝着时序数增大的方向移动。其中，滑动窗口在任一位置均覆盖了肌电信号所有通道以及关节振动造影信号的所有通道。
通过此种方式，可以将一段序列的肌电信号和关节振动造影信号分割为多个子信号对模型进行训练。
一些公开实施例中，在利用所述关节角度预测模型对肌电信号和关节振动造影信号进行估计之前，包括以下至少一步：
一是将肌电信号以及关节振动造影信号下采样到预设频率。
具体地，预设频率为100HZ，通过将这些信号都下采样到预设频率能够统一模型的输入。进一步地，将获取到的参考训练下肢的预设关节的角度也下采样到预设频率。
二是将关节振动造影信号输入低通滤波器进行滤波，以及将肌电信号输入高通滤波器和/或陷波滤波器进行滤波。
具体地，获取得到的关节振动造影信号中可能混合有高频脉冲信号，所以，本公开实施例中，将关节振动造影信号输入通带频率为6.15hz、阻带频率为10.56hz的低通滤波器滤波。而获取到的肌电信号中包括表面肌电信号和噪声。其中，运动噪声、低频噪声和工频噪声是表面肌电信号中的主要组成部分。因此，本公开实施例中，将肌电信号输入带二阶50hz陷波滤波器和四阶10hz巴特沃思高通滤波器进行滤波。
三是将肌电信号和关节振动造影信号分别进行标准化操作以去除信号中的直流分量。
具体地，标准化操作的具体过程是获取信号的标准差和均值，确定信号中每个值与均值的差，再除以标准差。例如，对肌电信号进行标准化操作的过程是，因为肌电信号、关节振动造影信号均是时序信号，即，包括了多个时刻的肌电信号以及关节振动造影信号。获取所有时刻的肌电信号的标准差和均值，确定各个时刻的肌电信号与均值之间的差值，并将该差值除以标准差，即实现了对肌电信号的标准化。关节振动造影信号标准化操作的过程同理，此处不再赘述。
如上述，关节角度预测模型为时序卷积网络模型。其中，关节角度预测模型的结构可参见图5，图5是本申请估计关节角度的方法一实施例中示出关节角度预测模型的结构示意图。
如图5所示，关节角度预测模型的输入是一时间序列。该时间序列即为滑动窗口分割后的融合子信号。
其中，在训练关节角度预测模型过程中，利用关节角度预测模型对参考训练下肢的肌电信号和另一参考训练下肢的关节振动造影信号进行估计的过程请参见上述利用关节角度预测模型对参考下肢的肌电信号和待估计下肢的关节振动造影信号进行估计的过程，此处不再赘述。
步骤三、获取预设关节的预估角度与预设关节的角度之间的误差，以利用误差修改关节角度预测模型的参数。
其中，误差可以是均方根误差和皮尔逊相关系数中的至少一种。
为更好地理解关节角度预测模型的训练过程，请参考下例。请参见图6，图6是本申请估计关节角度的方法一实施例中示出关节角度预测模型的训练过程示意图。
通过获取目标对象参考训练侧的8通道的肌电信号A，以及另一参考训练册的1通道的关节振动造影信号B，然后对肌电信号A和关节振动造影信号B进行预处理，其中，这里的预处理主要包括下采样、滤波和标准化。其中，各预处理的方式请参见上述，此处不再赘述。并将肌电信号A和关节振动造影信号B进行融合，得到融合后的信号，在利用滑动窗口对融合后的信号进行分割，得到若干个融合子信号。再将融合子信号分批次输入关节角度预测模型，分别经过关节角度预测模型中并行的两个子网络，再将两个子网络的输出结果相加，并将相加之后的结果输入全连接层，得到三个关节的预估角度并输出。
然后获取预估角度与运动捕捉得到的三个关节的角度进行比较，得到误差，并利用该误差调整关节角度预测模型中的参数。重复上述过程，直至误差小于预设误差为止。
上述方案，能够通过关节角度预测模型对参考下肢的肌电信号以及待估计下肢的关节振动造影信号进行估计，即可得到待估计下肢的预设关节的角度。例如，对于偏瘫病人而言，参考下肢可以是正常一侧，而待估计下肢可以是偏瘫一侧，通过正常一侧的肌电信号以及偏瘫一侧的关节振动造影信号，估计预设关节的预估角度，以便后续通过该预估角度指导偏瘫病人进行康复训练。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
估计关节角度的方法的执行主体可以是估计关节角度的装置，例如，估计关节角度的方法可以由机器人，终端设备或服务器或其它处理设备执行，例如，机器人可以是用于进行康复训练的机器人。移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备以及自动驾驶汽车，有定位及建图需求的机器人，有配准需求的医疗成像系统，用于增强现实或虚拟现实的眼镜、头盔等产品等。在一些可能的实现方式中，该估计关节角度的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图7，图7是本申请估计关节角度的装置一实施例的结构示意图。估计关节角度的装置70包括获取模块71以及预估模块72。获取模块71，用于获取参考下肢的肌电信号以及待估计下肢的关节振动造影信号；预估模块72，用于利用关节角度预测模型对肌电信号和关节振动造影信号进行估计，得到待估计下肢的预设关节的预估角度。其中，参考下肢和待估计下肢不同。
其中，各模块的功能具体请参见上述实施例，此处不再赘述。
上述方案，能够通过关节角度预测模型对参考下肢的肌电信号以及待估计下肢的关节振动造影信号进行估计，即可得到待估计下肢的预设关节的角度。例如，对于偏瘫病人而言，参考下肢可以是正常一侧，而待估计下肢可以是偏瘫一侧，通过正常一侧的肌电信号以及偏瘫一侧的关节振动造影信号，估计预设关节的预估角度，以便后续通过该预估角度指导偏瘫病人进行康复训练。
请参阅图8，图8是本申请电子设备一实施例的结构示意图。电子设备80包括存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述估计关节角度的方法实施例中的步骤。在一个具体的实施场景中，电子设备80可以包括但不限于：机器人，例如用于康复训练的机器人，微型计算机、服务器，此外，电子设备80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器82用于控制其自身以及存储器81以实现上述估计关节角度的方法实施例中的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
上述方案，能够通过关节角度预测模型对参考下肢的肌电信号以及待估计下肢的关节振动造影信号进行估计，即可得到待估计下肢的预设关节的角度。例如，对于偏瘫病人而言，参考下肢可以是正常一侧，而待估计下肢可以是偏瘫一侧，通过正常一侧的肌电信号以及偏瘫一侧的关节振动造影信号，估计预设关节的预估角度，以便后续通过该预估角度指导偏瘫病人进行康复训练。
请参阅图9，图9为本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述估计关节角度的方法实施例中的步骤。
上述方案，能够通过关节角度预测模型对参考下肢的肌电信号以及待估计下肢的关节振动造影信号进行估计，即可得到待估计下肢的预设关节的角度。例如，对于偏瘫病人而言，参考下肢可以是正常一侧，而待估计下肢可以是偏瘫一侧，通过正常一侧的肌电信号以及偏瘫一侧的关节振动造影信号，估计预设关节的预估角度，以便后续通过该预估角度指导偏瘫病人进行康复训练。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种估计关节角度的方法，其特征在于，包括：
获取参考下肢的肌电信号以及待估计下肢的关节振动造影信号；
利用关节角度预测模型对所述肌电信号和所述关节振动造影信号进行估计，得到所述待估计下肢的预设关节的预估角度；
其中，所述参考下肢和所述待估计下肢不同。
2.根据权利要求1所述的方法，其特征在于，所述关节角度预测模型是经过训练之后的；训练所述关节角度预测模型的方式包括：
获取一参考训练下肢的肌电信号，另一参考训练下肢的关节振动造影信号，以及所述另一参考训练下肢的预设关节的角度；
利用所述关节角度预测模型对所述一参考训练下肢的肌电信号和所述另一参考训练下肢的关节振动造影信号进行估计，得到所述预设关节的预估角度；
获取所述预设关节的预估角度与所述预设关节的角度之间的误差，以利用所述误差修改所述关节角度预测模型的参数。
3.根据权利要求2所述的方法，其特征在于，所述利用所述关节角度预测模型对所述一参考训练下肢的肌电信号和所述另一参考训练下肢的关节振动造影信号进行估计之前，还包括：
将所述一参考训练下肢的肌电信号以及所述另一参考训练下肢的关节振动造影信号进行融合得到融合后的信号；
利用预设大小的滑动窗口，按照预设步长对所述融合后的信号进行分割，得到若干批融合子信号，以分批次使用所述融合子信号对所述关节角度预测模型进行训练。
4.根据权利要求3所述的方法，其特征在于，所述融合后的信号由若干通道的所述肌电信号和若干通道的所述关节振动造影信号以并排或并列的形式组成；所述滑动窗口的宽度等于所述肌电信号和所述关节振动造影信号的通道数之和；
所述利用预设大小的滑动窗口，按照预设步长对所述融合后的信号进行分割，得到若干批融合子信号，包括：
所述滑动窗口按照步长为1的方式从所述融合后的信号中的一端向另一端移动，其中，所述滑动窗口在任一位置均覆盖了所述肌电信号所有通道以及所述关节振动造影信号的所有通道。
5.根据权利要求2所述的方法，其特征在于，获取下肢的肌电信号，以及获取下肢的关节振动造影信号，包括：
使用至少8个传感器分别对下肢中的至少8个肌肉进行测量，得到至少8通道的肌电信号；
使用至少1个传感器对下肢中至少1个关节进行测量，得到至少1通道的关节振动造影信号。
6.根据权利要求2所述的方法，其特征在于，利用所述关节角度预测模型对肌电信号和关节振动造影信号进行估计之前，包括以下至少一步：
将所述肌电信号以及所述关节振动造影信号下采样到预设频率；
将所述关节振动造影信号输入低通滤波器进行滤波，以及将所述肌电信号输入高通滤波器和/或陷波滤波器进行滤波；
将所述肌电信号和所述关节振动造影信号分别进行标准化操作以去除信号中的直流分量。
7.根据权利要求2所述的方法，其特征在于，所述关节角度预测模型为时序卷积网络模型，所述关节角度预测模型包括并列的两个子网络，其中所述两个子网络的层数不同；
利用所述关节角度预测模型对肌电信号和关节振动造影信号进行估计，得到预设关节的预估角度，包括：
将所述肌电信号和所述关节振动造影信号并行输入包含若干层卷积层的子网络和包含一层卷积层的子网络；
将所述两个子网络的输出结果相加得到相加之后的结果；
将所述相加之后的结果输入全连接层，得到所述预设关节的预估角度。
8.根据权利要求7所述的方法，其特征在于，所述包含若干层卷积层的子网络中各卷积层中卷积核的膨胀系数不同，其中，所述卷积层的层数增大，所述膨胀系数按照预设倍数增大。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述预设关节，包括髋关节，膝关节，踝关节中的至少一者。
10.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至9任一项所述的方法。
11.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至9任一项所述的方法。
CN202110587580.9A 2021-05-27 2021-05-27 估计关节角度的方法、设备及存储介质 Active CN113509174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110587580.9A CN113509174B (zh) 2021-05-27 2021-05-27 估计关节角度的方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110587580.9A CN113509174B (zh) 2021-05-27 2021-05-27 估计关节角度的方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113509174A true CN113509174A (zh) 2021-10-19
CN113509174B CN113509174B (zh) 2023-09-01

Family

ID=78064995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110587580.9A Active CN113509174B (zh) 2021-05-27 2021-05-27 估计关节角度的方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113509174B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6537233B1 (en) * 2000-11-06 2003-03-25 University Technologies International Inc. Auditory display of knee joint vibration signals
US20180160966A1 (en) * 2015-05-27 2018-06-14 Georgia Tech Research Corporation Wearable Technologies For Joint Health Assessment
US20180256079A1 (en) * 2017-03-08 2018-09-13 National Chiao Tung University Method and system for determining data associated with lower limb activity
US20190008419A1 (en) * 2017-07-10 2019-01-10 Toyota Jidosha Kabushiki Kaisha Rehabilitation evaluation apparatus, rehabilitation evaluation method, and rehabilitation evaluation program
CN109222909A (zh) * 2018-09-30 2019-01-18 李莉 一种可穿戴式智能监测装置及监测运动、脊椎弯曲和关节磨损的方法
CN109498370A (zh) * 2018-12-26 2019-03-22 杭州电子科技大学 基于肌电小波关联维的下肢关节角度预测方法
CN110313900A (zh) * 2019-07-25 2019-10-11 大连理工大学 一种基于深度学习对膝关节摆动信号的分类方法
CN111383763A (zh) * 2018-12-29 2020-07-07 西安思博探声生物科技有限公司 一种膝关节运动信息的处理方法、装置、设备和存储介质
CN112004475A (zh) * 2018-04-10 2020-11-27 奥卢大学 关节分析探头
CN112672681A (zh) * 2018-09-14 2021-04-16 华沙整形外科股份有限公司 在脊柱疾病技术领域中用于客观结果评估的可穿戴传感器设备和分析平台
CN112704491A (zh) * 2020-12-28 2021-04-27 华南理工大学 基于姿态传感器和动捕模板数据的下肢步态预测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6537233B1 (en) * 2000-11-06 2003-03-25 University Technologies International Inc. Auditory display of knee joint vibration signals
US20180160966A1 (en) * 2015-05-27 2018-06-14 Georgia Tech Research Corporation Wearable Technologies For Joint Health Assessment
US20180256079A1 (en) * 2017-03-08 2018-09-13 National Chiao Tung University Method and system for determining data associated with lower limb activity
US20190008419A1 (en) * 2017-07-10 2019-01-10 Toyota Jidosha Kabushiki Kaisha Rehabilitation evaluation apparatus, rehabilitation evaluation method, and rehabilitation evaluation program
CN112004475A (zh) * 2018-04-10 2020-11-27 奥卢大学 关节分析探头
CN112672681A (zh) * 2018-09-14 2021-04-16 华沙整形外科股份有限公司 在脊柱疾病技术领域中用于客观结果评估的可穿戴传感器设备和分析平台
CN109222909A (zh) * 2018-09-30 2019-01-18 李莉 一种可穿戴式智能监测装置及监测运动、脊椎弯曲和关节磨损的方法
CN109498370A (zh) * 2018-12-26 2019-03-22 杭州电子科技大学 基于肌电小波关联维的下肢关节角度预测方法
CN111383763A (zh) * 2018-12-29 2020-07-07 西安思博探声生物科技有限公司 一种膝关节运动信息的处理方法、装置、设备和存储介质
CN110313900A (zh) * 2019-07-25 2019-10-11 大连理工大学 一种基于深度学习对膝关节摆动信号的分类方法
CN112704491A (zh) * 2020-12-28 2021-04-27 华南理工大学 基于姿态传感器和动捕模板数据的下肢步态预测方法

Also Published As

Publication number Publication date
CN113509174B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
KR101666399B1 (ko) 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
Ye et al. Combining nonlinear adaptive filtering and signal decomposition for motion artifact removal in wearable photoplethysmography
Zhang et al. TROIKA: A general framework for heart rate monitoring using wrist-type photoplethysmographic signals during intensive physical exercise
EP3644322B1 (en) Method and system for interpreting neural interplay involving proprioceptive adaptation during a dual task paradigm
Wu et al. Person-specific heart rate estimation with ultra-wideband radar using convolutional neural networks
Shahid et al. Application of higher order statistics techniques to EMG signals to characterize the motor unit action potential
CN112220471A (zh) 时域干扰去除和改进的心率测量跟踪机理
JP2013516258A (ja) 脳波計信号から人工肢運動を決定する方法
US9597002B2 (en) Systems, methods, and uses of a Bayes-optimal nonlinear filtering algorithm
US11224354B2 (en) Systems and methods of monitoring electrodermal activity (EDA) using an AC signal and discrete fourier transform (DFT) analysis
Triloka et al. Neural computing for walking gait pattern identification based on multi-sensor data fusion of lower limb muscles
Farina et al. Optimized wavelets for blind separation of nonstationary surface myoelectric signals
Kim et al. Missing sample recovery for wireless inertial sensor-based human movement acquisition
Allseits et al. Characterizing the impact of sampling rate and filter design on the morphology of lower limb angular velocities
CN113509174B (zh) 估计关节角度的方法、设备及存储介质
Dong et al. Wireless body area sensor network for posture and gait monitoring of individuals with Parkinson's disease
Josiński et al. Assessment of local dynamic stability in gait based on univariate and multivariate time series
CN113397528B (zh) 一种踝泵运动评估方法、设备和系统
Senanayake et al. Artificial neural network based gait patterns identification using neuromuscular signals and soft tissue deformation analysis of lower limbs muscles
Fedorin et al. Lightweight neural network based model for real-time precise HR monitoring during high intensity workout using consumer smartwatches
Viswanadham et al. Artefacts removal from ECG signal: Dragonfly optimization-based learning algorithm for neural network-enhanced adaptive filtering
Chitra et al. A preliminary step to realize digital filter for electrocardiogram signal denoising
CN110633644A (zh) 基于肌电小波包分解和gabp的人体关节角度预测方法
Delis et al. Fusion of electromyographic signals with proprioceptive sensor data in myoelectric pattern recognition for control of active transfemoral leg prostheses
Carrere et al. Motor imagery BCI system with visual feedback: Design and preliminary evaluation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant