CN114224577B - 智能假肢的训练方法、装置、电子设备、智能假肢及介质 - Google Patents

智能假肢的训练方法、装置、电子设备、智能假肢及介质 Download PDF

Info

Publication number
CN114224577B
CN114224577B CN202210170633.1A CN202210170633A CN114224577B CN 114224577 B CN114224577 B CN 114224577B CN 202210170633 A CN202210170633 A CN 202210170633A CN 114224577 B CN114224577 B CN 114224577B
Authority
CN
China
Prior art keywords
limb
training
intelligent
user
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210170633.1A
Other languages
English (en)
Other versions
CN114224577A (zh
Inventor
韩璧丞
阿迪斯
王俊霖
张之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mental Flow Technology Co Ltd
Original Assignee
Shenzhen Mental Flow Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mental Flow Technology Co Ltd filed Critical Shenzhen Mental Flow Technology Co Ltd
Priority to CN202210170633.1A priority Critical patent/CN114224577B/zh
Publication of CN114224577A publication Critical patent/CN114224577A/zh
Application granted granted Critical
Publication of CN114224577B publication Critical patent/CN114224577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2/70Operating or control means electrical
    • A61F2/72Bioelectric control, e.g. myoelectric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transplantation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Prostheses (AREA)

Abstract

本申请公开了一种智能假肢的训练方法,包括:获取用户的正常肢体在预设时长内的运动轨迹数据,并采集所述正常肢体对应的残疾肢体在所述预设时长内与所述正常肢体做镜像运动时产生的肌电信号;将所述运动轨迹数据做镜像翻转处理;将所述肌电信号与处理后的所述运动轨迹数据关联,生成训练样本;将多个所述训练样本输入到智能假肢的学习模型中进行训练,直至所述智能假肢的学习模型训练完成。本申请还公开了一种训练装置、电子设备以及计算机可读存储介质。本申请旨在生成准确率高的智能假肢的学习模型,以提高智能假肢与用户的适配度。

Description

智能假肢的训练方法、装置、电子设备、智能假肢及介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种智能假肢的训练方法、训练装置、电子设备、智能假肢以及计算机可读存储介质。
背景技术
相比于活动性有限的传统假肢,智能假肢能够接收人体大脑经由肢残肌肉传来的肌电信号,经安装在假肢臂筒内的传感器和机械系统处理产生相应的动作,这样不仅使得用户能通过智能假肢作出更丰富多样、更精细的动作,也能方便用户灵活地控制假肢活动。
由于智能假肢需要预先训练和学习用户的肢体动作,得到相应的学习模型,才能在训练完成的学习模型的基础上投入使用,但用户往往又正是因为缺失了相应的部分肢体,才需要使用到智能假肢,那么如何让智能假肢能学习到用户的肢体动作就成了智能假肢应用中的一个重要课题。
目前,对于手部残疾的智能假肢用户,一般是利用他人的正常肢体,来替代残疾用户训练相应的智能假肢,然后再将训练完成的智能假肢供残疾用户使用。但由于不同人之间身体的差异性,因此即便找到与残疾用户身体条件差不多的正常人来训练智能假肢,所得到的智能假肢依然可能难以与残疾用户准确适配。
上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种智能假肢的训练方法、训练装置、电子设备、智能假肢以及计算机可读存储介质,旨在生成准确率高的智能假肢的学习模型,以提高智能假肢与用户的适配度。
为实现上述目的,本申请提供一种智能假肢的训练方法,包括以下步骤:
获取用户的正常肢体在预设时长内的运动轨迹数据,并采集所述正常肢体对应的残疾肢体在所述预设时长内与所述正常肢体做镜像运动时产生的肌电信号;
将所述运动轨迹数据做镜像翻转处理;
将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本;
将多个所述训练样本输入到智能假肢的学习模型中进行训练。
可选的,所述获取用户的正常肢体在预设时长内的运动轨迹数据的步骤包括:
基于动作追踪装置获取用户的正常肢体在预设时长内的运动轨迹数据;
或者,基于摄像头获取用户的正常肢体在预设时长内的运动轨迹数据。
可选的,所述正常肢体为正常手部,所述残疾肢体为残疾手部;所述将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本的步骤之前,还包括:
在获取所述运动轨迹数据时,获取所述正常肢体的手指张力数据;
所述将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本的步骤包括:
将所述肌电信号与处理后的所述运动轨迹数据进行关联,以及将所述肌电信号与所述正常肢体的手指张力数据进行关联,生成训练样本。
可选的,所述将多个所述训练样本输入到智能假肢的学习模型中进行训练的步骤之前,还包括:
获取多个基础训练样本,其中,所述基础训练样本包括人体肢体在所述预设时长内的运动轨迹数据,以及所述运动轨迹数据关联的肌电信号;
根据多个所述基础训练样本生成所述智能假肢的学习模型。
可选的,所述基础训练样本在训练所述学习模型时分配的权重为第一权重,所述训练样本在训练所述学习模型时分配的权重为第二权重,所述第二权重大于所述第一权重。
可选的,所述将多个所述训练样本输入到智能假肢的学习模型中进行训练的步骤之后,还包括:
将训练完成的所述学习模型加载到所述智能假肢中。
为实现上述目的,本申请还提供一种训练装置,包括:
采集模块,用于获取用户的正常肢体在预设时长内的运动轨迹数据,并采集所述正常肢体对应的残疾肢体在所述预设时长内与所述正常肢体做镜像运动时产生的肌电信号;
处理模块,用于将所述运动轨迹数据做镜像翻转处理;
生成模块,用于将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本;
训练模块,用于将多个所述训练样本输入到智能假肢的学习模型中进行训练。
可选的,所述采集模块包括第一采集模块或第二采集模块;其中,
所述第一采集模块,用于基于动作追踪装置获取用户的正常肢体在预设时长内的运动轨迹数据;
所述第二采集模块,用于基于摄像头获取用户的正常肢体在预设时长内的运动轨迹数据。
为实现上述目的,本申请还提供一种电子设备,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能假肢的训练程序,所述智能假肢的训练程序被所述处理器执行时实现如上述智能假肢的训练方法的步骤。
为实现上述目的,本申请还提供一种智能假肢,所述智能假肢包括如上述所述的电子设备。
为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有智能假肢的训练程序,所述智能假肢的训练程序被处理器执行时实现如上述智能假肢的训练方法的步骤。
本申请提供的智能假肢的训练方法、训练装置、电子设备、智能假肢以及计算机可读存储介质,通过利用用户本人的正常肢体替代残疾肢体做镜像运动,并将用户残疾肢体的肌电信号与之相关联,来共同训练智能假肢的学习模型,这样训练得到的学习模型会与用户的身体条件更适配,准确率更高,在后续利用学习模型控制智能假肢时,也就能提高智能假肢与用户的适配度。
附图说明
图1为本申请一实施例中智能假肢的训练方法步骤示意图;
图2为本申请另一实施例中智能假肢的训练方法步骤示意图;
图3为本申请一实施例的训练装置示意框图;
图4为本申请一实施例的电子设备的内部结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制,基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,在一实施例中,所述智能假肢的训练方法包括:
步骤S10、获取用户的正常肢体在预设时长内的运动轨迹数据,并采集所述正常肢体对应的残疾肢体在所述预设时长内与所述正常肢体做镜像运动时产生的肌电信号;
步骤S20、将所述运动轨迹数据做镜像翻转处理;
步骤S30、将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本;
步骤S40、将多个所述训练样本输入到智能假肢的学习模型中进行训练。
本实施例中,实施例终端可以是电子设备(如计算机、服务器等),也可以是训练装置、智能假肢等。
如步骤S10所述,终端基于人工智能技术预先构建有智能假肢的学习模型,其中,所述学习模型可以是神经网络模型。可选的,所述神经网络模型可以是Seq2Seq模型。
需要说明的是,所述智能假肢可以是智能假手(如智能仿生手、肌电假手等),也可以是智能假腿(如智能仿生腿、肌电假腿等)。以下以智能假肢为智能假手为例进行说明。
其中,与正常肢体对应的残疾肢体,两者生理结构相对应,且均来自于同一用户(如正常肢体为用户的正常手部时,则残疾肢体对应为用户的残疾手部;若正常肢体为用户的正常腿部时,则残疾肢体对应为用户的残疾腿部)。
可选的,当智能假肢的用户具有一个正常肢体和一个残疾肢体时(如用户为独臂人士),可以让用户使用残疾肢体(如残疾手部)佩戴肌电信号检测装置(如肌电检测手环),然后让用户在预设时长内控制正常肢体(如正常手部)和残疾肢体(如残疾手部)做镜像运动。其中,肌电信号检测装置用于采集用户的残疾肢体的肌电信号,并将采集到的肌电信号传输至终端;终端可以输出相应的动作提示,以供用户同时控制正常肢体和残疾肢体做出相应的动作。
例如,用户在控制双手(其中一只为正常手部、一只为残疾手部)做出相应的手部动作时,所作出的手部动作包括臂部动作、手掌动作和手指动作中的至少一个。
需要说明的是,虽然用户其中一只手残疾,但可以通过意念控制残疾肢体做出与正常肢体相对应的镜像运动,这样虽然在实体世界中残疾肢体无法实际完成相应动作,但残疾肢体仍然可以产生相应动作的肌电信号。
可选的,在用户控制正常肢体和残疾肢体做镜像运动的过程中,终端可以采用预设方式获取用户的正常肢体在预设时长内的运动轨迹数据,以及通过肌电检测手环采集用户的残疾肢体在预设时长内的肌电信号。其中,所述预设方式可以是利用动作追踪装置(如动作追踪手套)采集用户的正常肢体的运动轨迹数据,或者利用摄像头采集用户的正常肢体的运动轨迹数据等;所述预设时长为用户完成至少一个完整动作所需的时长,可以根据实际情况需要设置,如设置10秒、20秒、30秒等。
应当理解的是,一段运动轨迹数据中包含的肢体运动轨迹是由相应肢体的多个分动作构成的。
如步骤S20所述,终端在获取到用户的正常肢体在预设时长内的运动轨迹数据后,则对正常肢体在预设时长内的运动轨迹数据做镜像翻转处理。这样处理后得到的运动轨迹数据,就可以看作是残疾肢体在预设时长内的运动轨迹数据。
应当理解的是,由于处理后的运动轨迹数据,只是对处理前的运动轨迹数据做了镜像翻转处理得到,因此处理后的运动轨迹数据对应的总采集时长依然等于预设时长,而且处理后的运动轨迹数据中每个分动作的采集时间,与其镜像对应的原运动轨迹数据中的每个分动作的采集时间相同。
如步骤S30所述,根据处理后的运动轨迹数据中的每个分动作对应的采集时间,确定采集时间与之相同的残疾肢体的肌电信号,并将采集时间相同的分动作与肌电信号进行关联。如处理后的运动轨迹数据中的第一个分动作与预设时长的开始时间对应,同时采集到的第一个肌电信号也与预设时长的开始时间对应,则将处理后的运动轨迹数据中的第一个分动作与第一个肌电信号进行关联。
在将预设时长内采集到的肌电信号,与处理后的运动轨迹数据中的分动作相关联后,即可基于关联后的肌电信号与处理后的运动轨迹数据,生成学习模型的训练样本。这样,所生成的训练样本即可以当作是基于残疾肢体的肌电信号与残疾肢体的运动轨迹数据生成的训练样本。
可选的,终端可以通过循环执行步骤S10-S30,以生成多个训练样本。其中,对于不同的训练样本,要求用户作出的动作可相同、可不相同。但优选推荐多个训练样本的组合,至少要包括人体正常肢体所能完成的所有动作。
如步骤S40所述,终端可以是检测到训练样本的数量大于第一预设数量后,则将多个训练样本输入到智能假肢的学习模型中进行训练;终端也可以是每生成一个训练样本,即将训练样本输入到智能假肢的学习模型中进行训练,直至所输入的样本数大于第一预设数量。
其中,对于用于训练智能假肢的学习模型所需的多个训练样本的具体数值,本申请对此不作限定,具体根据学习模型所需的精度而定,而一般训练样本的数量越多,模型的精度则越高。
可选的,在学习模型基于多个训练样本进行迭代训练的过程中,就可以不断学习残疾肢体的肌电信号与残疾肢体的运动轨迹数据之间的映射特征(可记为第一映射特征),并不断对学习得到的映射特征进行更新优化,直到模型达到收敛。
可选的,当终端检测到学习模型经多次迭代训练达到收敛后,即可判定智能假肢的学习模型训练完成。这样得到的学习模型,就相当于是基于用户本人的残疾肢体的肌电信号和运动轨迹数据训练生成的,能与用户本人的身体条件更为适配。
可选的,在智能假肢的学习模型训练完成后,若终端即为智能假肢,则智能假肢就可以直接使用训练完成的学习模型;若终端并非是智能假肢,则终端可以将训练完成的学习模型加载到智能假肢中,以供智能假肢使用。
可选的,当用户使用残疾肢体佩戴加载有学习模型的智能假肢时,就可以通过意念控制残疾肢体产生相应的肌电信号,智能假肢就可以基于学习模型分析当前肌电信号对应的映射特征,并基于分析得到的映射特征查询相应的动作,然后智能假肢再做出查询得到的动作。
这样,通过利用用户本人的正常肢体替代残疾肢体做镜像运动,并将用户残疾肢体相应的肌电信号与之相关联,来共同训练智能假肢的学习模型,这样训练得到的学习模型会与用户的身体条件更为适配,模型基于肌电信号识别相应动作的准确率就会更高,在后续利用学习模型控制智能假肢时,也就能提高智能假肢与用户的适配度,进而提高智能假肢根据肌电信号做出相应动作的准确率。
在一实施例中,在上述实施例基础上,所述获取用户的正常肢体在预设时长内的运动轨迹数据的步骤包括:
步骤S11、基于动作追踪装置获取用户的正常肢体在预设时长内的运动轨迹数据。
本实施例中,在采集学习模型的训练样本时,用户的正常肢体上可以佩戴有动作追踪装置(或称动作捕捉装置),在用户控制正常肢体和残疾肢体做镜像运动的过程中,终端可以通过动作追踪装置获取用户的正常肢体在预设时长内的运动轨迹数据(如包括臂部动作轨迹、手掌动作轨迹、手指动作轨迹等)。应当理解的是,动作追踪装置和终端之间可进行通信传输。
这样,基于动作追踪装置,终端可以准确地捕捉到用户的正常肢体在预设时长内的每个分动作(甚至每个细微变化的动作),并基于此生成正常肢体的运动轨迹数据,后续在将处理后的运动轨迹数据与相应肌电信号相关联时,就可以使得肌电信号能更为准确地关联到运动轨迹数据中相应的分动作,进而提高利用训练样本训练智能假肢的学习模型的准确率。
在一实施例中,在上述实施例基础上,所述所述获取用户的正常肢体在预设时长内的运动轨迹数据的步骤包括:
步骤S12、基于摄像头获取用户的正常肢体在预设时长内的运动轨迹数据。
本实施例中,在用户控制正常肢体和残疾肢体做镜像运动的过程中,终端可以通过摄像头获取用户的正常肢体在预设时长内的多张动作图像,并基于多张动作图像生成相应的运动轨迹数据(如包括臂部动作轨迹、手掌动作轨迹、手指动作轨迹等)。应当理解的是,摄像头和终端之间可进行通信传输。
例如,在正常肢体为手部时,为了保证获取手部的运动轨迹数据的准确率,还可以规定用户在摄像头的特定作用区域内做出相应的手部动作。同时终端还可以通过显示设备向用户输出相应的手部动作演示,以使用户根据手部动作演示做出相应的动作。这样,可以方便用户作出合乎训练要求的手部动作,也就可以使得终端可以得到更加优质的训练样本来训练学习模型,进而提高训练智能假肢的学习模型的准确率。
其中,在终端得到多张动作图像时,还可以根据图像分辨率、图像成像原理和用户正常肢体的实际大小参数,生成每张动作图像对应的三维图像,并将多张动作图像对应的三维图像合成为三维视频,再基于在预设时长内动态演变的三维视频获取用户的正常肢体在预设时长内的运动轨迹数据。
或者,终端可通过多个摄像头从多个角度同布获取用户的正常肢体在预设时长内的多张动作图像,并将同时采集的动作图像合成为三维图像,在得到预设时长内的多张三维图像后,即可基于此生成三维视频,再基于在预设时长内动态演变的三维视频获取用户的正常肢体在预设时长内的运动轨迹数据。
或者,所述摄像头为深度摄像头(如红外立体深度摄像头);在用户控制正常肢体和残疾肢体做镜像运动的过程中,终端可以通过摄像头获取用户的正常肢体在预设时长内的多张三维动作图像,并基于三维动作图像生成三维视频,再基于在预设时长内动态演变的三维视频获取用户的正常肢体在预设时长内的运动轨迹数据。这样,通过深度摄像头直接获取用户的正常肢体的三维动作图像,与采用一般摄像头拍摄的动作图像合成三维图像的方案相比,所得到的三维动作图像更为精准,这样后续在基于相应的三维视频提取用户的正常肢体的运动轨迹数据时,所得到的运动轨迹数据就更加准确。
在一实施例中,在上述实施例基础上,所述正常肢体为正常手部,所述残疾肢体为残疾手部;所述将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本的步骤之前,还包括:
步骤S13、在获取所述运动轨迹数据时,获取所述正常肢体的手指张力数据;
所述将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本的步骤包括:
步骤S31、将所述肌电信号与处理后的所述运动轨迹数据进行关联,以及将所述肌电信号与所述正常肢体的手指张力数据进行关联,生成训练样本。
本实施例中,所述智能假肢为智能假手;所述正常肢体为正常手部,所述残疾肢体为残疾手部。
当终端基于动作追踪装置获取用户的正常肢体在预设时长内的运动轨迹数据时,那么终端在获取用户的正常肢体在预设时长内的运动轨迹数据的同时,还可以通过动作追踪装置设置在指套部位的传感器,同步采集正常肢体对应的手指张力数据。需要说明的是,只要正常肢体的手掌手指有做出相应的动作(如手掌打开、手指张开、手指弯曲等),动作追踪装置都可以采集到相应的手指张力数据。
这样,通过利用动作追踪装置既可以方便终端准确地获取用户的正常肢体在预设时长内的运动轨迹数据,也可以方便终端准确地获取用户的正常肢体的相应的手指张力数据。
可选的,当终端基于摄像头获取用户的正常肢体在预设时长内的运动轨迹数据的过程中,可以基于摄像头获取到的动作图像,识别其中的手掌特征值,然后根据手掌特征值估算用户的正常肢体的手指可向掌心弯曲的程度(简称手指弯曲程度)。其中,所述手掌特征值可以是手指(如中指)末端与手掌心之间的距离、手指末端与手腕之间的距离、手掌长度等;需要说明的是,此处所指的手掌特征值是一个可以随着用户手指弯曲状态的变化,而随之动态变化的特征值(如在用户手指逐渐向掌心弯曲的过程中,手指末端与手掌心之间的距离会越来越小,而在图像中手掌显像也会越来越小(相当于图像中的手掌长度变小))。
进一步地,终端根据预设的常人手指弯曲程度与常人手掌特征值之间的第一对应关系,即可根据用户的手掌特征值估算用户的正常肢体对应的手指弯曲程度。然后终端根据预设的常人手指弯曲程度与常人手指张力之间的第二对应关系(每种手指弯曲程度均有与之对应的手指张力),即可根据用户的正常肢体对应的手指弯曲程度,得到相应的手指张力数据。
可选的,终端在将做镜像翻转处理后的运动轨迹数据与相应的肌电信号相关联时,还会将手指张力数据与相应的肌电信号关联,然后共同生成训练样本。这样后续在基于训练样本训练学习模型时,学习模型除了学习手部的肌电信号与手部的运动轨迹数据之间的映射特征(即第一映射特征)外,还会学习手部的肌电信号与手指张力数据之间的映射特征(记为第二映射特征);那么在智能假肢利用训练完成的学习模型,做出与用户的肌电信号相对应的动作的过程中,还可以根据用户当前的肌电信号调节假肢手指产生的手指张力,从而使得智能假肢可以做出更为精细化的手指动作。
而且由于手指张力数据是从智能假肢用户的正常肢体处采集得到的,因此将正常肢体的手指张力数据用在残疾肢体对应的智能假肢中时,这些手指张力数据也比较能适配残疾肢体所能作出的手指张力,进而提高用户通过残疾肢体控制智能假肢的准确度。
在一实施例中,如图2所示,在上述图1所示的实施例基础上,所述将多个所述训练样本输入到智能假肢的学习模型中进行训练的步骤之前,还包括:
步骤S50、获取多个基础训练样本,其中,所述基础训练样本包括人体肢体在所述预设时长内的运动轨迹数据,以及所述运动轨迹数据关联的肌电信号;
步骤S51、根据多个所述基础训练样本生成所述智能假肢的学习模型。
本实施例中,在执行步骤S40之前,终端基于人工智能技术构建智能假肢的学习模型时(此时的学习模型属于基础模型),可以先利用大数据技术从网络数据库中获取多个基础训练样本;或者,基础训练样本也可以是人工采集并输入到终端中的。其中,每个基础训练样本均包括人体肢体(如正常手部)在预设时长内的运动轨迹数据,以及与预设时长内的运动轨迹数据对应的预设时长内的肌电信号(即每个基础训练样本对应的运动轨迹数据中的每个分动作,均有与之对应的肌电信号)。
可选的,在同一基础训练样本生成的过程中,可以是在采集正常肢体在预设时长内的运动轨迹数据的同时,采集相同人体肢体在预设时长内的肌电信号,将相应的运动轨迹数据与肌电信号关联生成基础训练样本;或者,在同一基础训练样本生成的过程中,也可以是在残疾人士控制正常肢体和残疾肢体做镜像运动时(如独臂人士控制正常手部和残疾手部做镜像运动),采集残疾人士的正常肢体在预设时长内的运动轨迹数据,并采集残疾人士的残疾肢体在预设时长内的肌电信号,然后将相应的运动轨迹数据与肌电信号关联生成基础训练样本。
需要说明的是,不同基础训练样本对应的人体肢体,可以来自于相同的人体,也可以是来自于不同的人体。
可选的,在终端获取到多个基础训练样本时,则将多个基础训练样本输入到基础的学习模型中进行多次迭代训练。其中,终端可以是检测到基础训练样本的数量大于第二预设数量后,则将多个基础训练样本输入到学习模型中进行训练;终端也可以是每获取到一个基础训练样本,即将基础训练样本输入到学习模型中进行训练,直至所输入的样本数大于第二预设数量。其中,所述第二预设数量大于或等于所述第一预设数量。
当学习模型基于多个基础训练样本进行多次迭代训练并达到收敛后,终端即可以得到一个经过预训练的学习模型(即此时学习模型属于预训练模型)。此时经过预训练后的学习模型已学习到了一些基础的人体肢体的肌电信号与人体肢体的运动轨迹数据之间的映射特征(可即为第三映射特征),即此时的学习模型已具备通过人体肢体的肌电信号预测人体肢体的运动轨迹数据的能力。
在得到预训练后的学习模型后,终端再执行步骤S40,将多个所述训练样本输入到学习模型中进行多次迭代训练,直至智能假肢的学习模型训练完成。在这过程中,学习模型就可以不断利用智能假肢的用户对应的训练样本,优化之前学习到的第三映射特征,并将优化后的第三映射特征更新为第一映射特征,以使智能假肢的学习模型能与智能假肢的用户本人更加适配。
这样,通过预先采集普通人群或其他残疾人士对应的基础训练样本,并利用基础训练样本对智能假肢的学习模型进行预训练,以使学习模型在基于智能假肢的用户对应的训练样本进行训练前,就已具备一定的通过人体肢体的肌电信号预测人体肢体的运动轨迹数据的能力,这样后续只需利用少量的训练样本对学习模型进行更新优化,即可得到与智能假肢的用户相适配的学习模型,从而可以减少从智能假肢的用户处采集训练样本的数量,也就相应减轻用户配合生成相应训练样本的负担,进而提高用户的体验。
在一实施例中,在上述实施例基础上,所述基础训练样本在训练所述学习模型时分配的权重为第一权重,所述训练样本在训练所述学习模型时分配的权重为第二权重,所述第二权重大于所述第一权重。
本实施例中,终端预先为基础训练样本和智能假肢的用户对应的训练样本分配有不同的权重。其中,所述基础训练样本对应的权重为第一权重,智能假肢用户的训练样本对应的权重为第二权重,所述第二权重大于所述第一权重。例如,所述第一权重可以是0.1,所述第二权重可以是0.9;或者,所述第一权重为0.05,所述第二权重为0.95。
可选的,终端在基于基础训练样本对学习模型进行预训练时,会为每个基础训练样本对应的特征值分别乘以第一权重,并在此基础上利用多个基础训练样本对学习模型进行多次迭代训练。而终端在基于智能假肢用户对应的训练样本训练学习模型时,会为每个训练样本对应的特征值分别乘以第二权重,并在此基础上利用多个训练样本对学习模型进行多次迭代训练。
由于智能假肢用户对应的训练样本是从用户本人身上采集到的,因此也与用户本人更加适配,通过为智能假肢用户对应的训练样本分配比基础训练样本更大的权重,这样利用基础训练样本训练学习模型后,就可以使得学习模型依然容易受到智能假肢用户对应的训练样本的影响,只需少量智能假肢用户对应的训练样本即可将预训练后的学习模型修正为与用户相适配的学习模型,进一步降低了训练学习模型所需的智能假肢用户对应的训练样本的数量。
参照图3,本申请实施例中还提供一种训练装置10,包括:
采集模块11,用于获取用户的正常肢体在预设时长内的运动轨迹数据,并采集所述正常肢体对应的残疾肢体在所述预设时长内与所述正常肢体做镜像运动时产生的肌电信号;
处理模块12,用于将所述运动轨迹数据做镜像翻转处理;
生成模块13,用于将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本;
训练模块14,用于将多个所述训练样本输入到智能假肢的学习模型中进行训练。
在一实施例中,在上述实施例的基础上,所述采集模块包括第一采集模块或第二采集模块;其中,
所述第一采集模块,用于基于动作追踪装置获取用户的正常肢体在预设时长内的运动轨迹数据;
所述第二采集模块,用于基于摄像头获取用户的正常肢体在预设时长内的运动轨迹数据。
可选的,所述训练装置可应用于智能假肢的训练中,即所述训练装置可以是一种学习模型的训练装置,也可以是一种智能假肢的训练装置。
参照图4,本申请实施例中还提供一种电子设备,该电子设备内部结构可以如图4所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于智能假肢的训练程序。该电子设备的网络接口用于与外部的终端通过网络连接通信。该电子设备的输入装置用于接收外部设备输入的信号。该计算机程序被处理器执行时以实现一种如以上实施例所述的智能假肢的训练方法。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定。
此外,本申请还提出一种智能假肢,所述智能假肢包括如上述实施例所述的电子设备。
此外,本申请还提出一种计算机可读存储介质,所述计算机可读存储介质包括智能假肢的训练程序,所述智能假肢的训练程序被处理器执行时实现如以上实施例所述的智能假肢的训练方法的步骤。可以理解的是,本实施例中的计算机可读存储介质可以是易失性可读存储介质,也可以为非易失性可读存储介质。
综上所述,为本申请实施例中提供的智能假肢的训练方法、训练装置、电子设备和计算机可读存储介质,通过利用用户本人的正常肢体替代残疾肢体做镜像运动,并将用户残疾肢体的肌电信号与之相关联,来共同训练智能假肢的学习模型,这样训练得到的学习模型会与用户的身体条件更适配,准确率更高,在后续利用学习模型控制智能假肢时,也就能提高智能假肢与用户的适配度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM通过多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种智能假肢的训练方法,其特征在于,包括:
获取用户的正常肢体在预设时长内的运动轨迹数据,并采集所述正常肢体对应的残疾肢体在所述预设时长内与所述正常肢体做镜像运动时产生的肌电信号;以及,获取多个基础训练样本,其中,所述基础训练样本包括普通人群或其他残疾人士的肢体在所述预设时长内的运动轨迹数据,以及所述运动轨迹数据关联的肌电信号;根据多个所述基础训练样本生成智能假肢的学习模型;
将所述运动轨迹数据做镜像翻转处理;
将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本;
将多个所述训练样本输入到智能假肢的学习模型中进行训练。
2.根据权利要求1所述的智能假肢的训练方法,其特征在于,所述获取用户的正常肢体在预设时长内的运动轨迹数据的步骤包括:
基于动作追踪装置获取用户的正常肢体在预设时长内的运动轨迹数据;
或者,基于摄像头获取用户的正常肢体在预设时长内的运动轨迹数据。
3.根据权利要求1或2所述的智能假肢的训练方法,其特征在于,所述正常肢体为正常手部,所述残疾肢体为残疾手部;所述将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本的步骤之前,还包括:
在获取所述运动轨迹数据时,获取所述正常肢体的手指张力数据;
所述将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本的步骤包括:
将所述肌电信号与处理后的所述运动轨迹数据进行关联,以及将所述肌电信号与所述正常肢体的手指张力数据进行关联,共同生成训练样本。
4.根据权利要求1所述的智能假肢的训练方法,其特征在于,所述基础训练样本在训练所述学习模型时分配的权重为第一权重,所述训练样本在训练所述学习模型时分配的权重为第二权重,所述第二权重大于所述第一权重。
5.根据权利要求1所述的智能假肢的训练方法,其特征在于,所述将多个所述训练样本输入到智能假肢的学习模型中进行训练的步骤之后,还包括:
将训练完成的所述学习模型加载到所述智能假肢中。
6.一种训练装置,其特征在于,包括:
采集模块,用于获取用户的正常肢体在预设时长内的运动轨迹数据,并采集所述正常肢体对应的残疾肢体在所述预设时长内与所述正常肢体做镜像运动时产生的肌电信号;以及,获取多个基础训练样本,其中,所述基础训练样本包括普通人群或其他残疾人士的肢体在所述预设时长内的运动轨迹数据,以及所述运动轨迹数据关联的肌电信号;根据多个所述基础训练样本生成智能假肢的学习模型;
处理模块,用于将所述运动轨迹数据做镜像翻转处理;
生成模块,用于将所述肌电信号与处理后的所述运动轨迹数据进行关联,生成训练样本;
训练模块,用于将多个所述训练样本输入到智能假肢的学习模型中进行训练。
7.根据权利要求6所述的训练装置,其特征在于,所述采集模块包括第一采集模块或第二采集模块;其中,
所述第一采集模块,用于基于动作追踪装置获取用户的正常肢体在预设时长内的运动轨迹数据;
所述第二采集模块,用于基于摄像头获取用户的正常肢体在预设时长内的运动轨迹数据。
8.一种电子设备,其特征在于,所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能假肢的训练程序,所述智能假肢的训练程序被所述处理器执行时实现如权利要求1至5中任一项所述的智能假肢的训练方法的步骤。
9.一种智能假肢,其特征在于,所述智能假肢包括如权利要求8所述的电子设备。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有智能假肢的训练程序,所述智能假肢的训练程序被处理器执行时实现如权利要求1至5中任一项所述的智能假肢的训练方法的步骤。
CN202210170633.1A 2022-02-24 2022-02-24 智能假肢的训练方法、装置、电子设备、智能假肢及介质 Active CN114224577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210170633.1A CN114224577B (zh) 2022-02-24 2022-02-24 智能假肢的训练方法、装置、电子设备、智能假肢及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210170633.1A CN114224577B (zh) 2022-02-24 2022-02-24 智能假肢的训练方法、装置、电子设备、智能假肢及介质

Publications (2)

Publication Number Publication Date
CN114224577A CN114224577A (zh) 2022-03-25
CN114224577B true CN114224577B (zh) 2022-05-17

Family

ID=80748040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210170633.1A Active CN114224577B (zh) 2022-02-24 2022-02-24 智能假肢的训练方法、装置、电子设备、智能假肢及介质

Country Status (1)

Country Link
CN (1) CN114224577B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115227468B (zh) * 2022-09-21 2023-01-17 深圳市心流科技有限公司 一种智能假肢的训练方法、智能假肢及存储介质
CN117442400A (zh) * 2023-12-21 2024-01-26 深圳市心流科技有限公司 一种智能假肢的校正方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902832A (zh) * 2018-11-28 2019-06-18 华为技术有限公司 机器学习模型的训练方法、异常预测方法及相关装置
CN110298286A (zh) * 2019-06-24 2019-10-01 中国科学院深圳先进技术研究院 基于表面肌电与深度图像的虚拟现实康复训练方法及系统
CN113616395A (zh) * 2021-08-10 2021-11-09 长春理工大学 假肢控制方法、装置、假肢设备及计算机可读存储介质
CN113743963A (zh) * 2021-09-28 2021-12-03 北京奇艺世纪科技有限公司 异常识别模型训练、异常对象识别方法、装置及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014085913A1 (en) * 2012-12-07 2014-06-12 Jean-Pierre Gibeault Method and system for manufacturing cosmetic prostheses
CN103212156B (zh) * 2013-04-03 2015-10-28 重庆德领科技有限公司 基于本体镜像原理的偏瘫患者自主康复仪
US10514799B2 (en) * 2016-09-08 2019-12-24 Google Llc Deep machine learning to perform touch motion prediction
CN109009586B (zh) * 2018-06-25 2020-07-28 西安交通大学 一种假手腕关节人机自然驱动角度的肌电连续解码方法
US10905570B2 (en) * 2018-11-19 2021-02-02 The Regents Of The University Of Colorado, A Body Corporate Prosthetic partial fingers
US11465279B2 (en) * 2018-11-29 2022-10-11 X Development Llc Robot base position planning
CN109568082B (zh) * 2018-12-11 2020-06-26 上海大学 一种上肢康复训练机器人及上肢康复训练方法
CN109858444A (zh) * 2019-01-31 2019-06-07 北京字节跳动网络技术有限公司 人体关键点检测模型的训练方法和装置
CN110812125A (zh) * 2019-12-12 2020-02-21 上海大学 一种基于六自由度机械臂的患侧手部康复训练方法及系统
CN111374808A (zh) * 2020-03-05 2020-07-07 北京海益同展信息科技有限公司 假肢控制方法及装置、存储介质、电子设备
CN111476204B (zh) * 2020-04-30 2023-03-31 国家康复辅具研究中心秦皇岛研究院 假肢踝关节角度的预测方法和预测装置
CN113940797A (zh) * 2021-09-30 2022-01-18 浙江强脑科技有限公司 一种假肢及其控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902832A (zh) * 2018-11-28 2019-06-18 华为技术有限公司 机器学习模型的训练方法、异常预测方法及相关装置
CN110298286A (zh) * 2019-06-24 2019-10-01 中国科学院深圳先进技术研究院 基于表面肌电与深度图像的虚拟现实康复训练方法及系统
CN113616395A (zh) * 2021-08-10 2021-11-09 长春理工大学 假肢控制方法、装置、假肢设备及计算机可读存储介质
CN113743963A (zh) * 2021-09-28 2021-12-03 北京奇艺世纪科技有限公司 异常识别模型训练、异常对象识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN114224577A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114224577B (zh) 智能假肢的训练方法、装置、电子设备、智能假肢及介质
CN111902077B (zh) 利用神经肌肉信号进行手部状态表示建模的校准技术
US10489986B2 (en) User-controlled tuning of handstate representation model parameters
US11069148B2 (en) Visualization of reconstructed handstate information
Kanitz et al. Classification of transient myoelectric signals for the control of multi-grasp hand prostheses
CN112005198A (zh) 基于多个输入的手部状态重建
US10318863B2 (en) Systems and methods for autoconfiguration of pattern-recognition controlled myoelectric prostheses
Geng et al. Improving the robustness of real‐time myoelectric pattern recognition against arm position changes in transradial amputees
Cote-Allard et al. A transferable adaptive domain adversarial neural network for virtual reality augmented EMG-based gesture recognition
Malešević et al. Decoding of individual finger movements from surface EMG signals using vector autoregressive hierarchical hidden Markov models (VARHHMM)
Ison et al. Simultaneous myoelectric control of a robot arm using muscle synergy-inspired inputs from high-density electrode grids
Thomik et al. Real-time movement prediction for improved control of neuroprosthetic devices
EP3823562B1 (en) Methods for enabling movement of objects, and associated apparatus
CN114305418B (zh) 一种用于抑郁状态智能评估的数据采集系统及方法
Antonius et al. Electromyography gesture identification using CNN-RNN neural network for controlling quadcopters
Côté-Allard et al. Virtual reality to study the gap between offline and real-time EMG-based gesture recognition
Barraza-Madrigal et al. A virtual upper limb prosthesis as a training system
Ke et al. Deep convolutional spiking neural network based hand gesture recognition
Hernandez et al. Recent advances on control of active lower limb prostheses
Ghildiyal et al. Electromyography pattern-recognition based prosthetic limb control using various machine learning techniques
JP2002366927A (ja) ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラム
CN112101327B (zh) 动作矫正模型的训练方法、动作矫正方法及装置
CN113655884A (zh) 设备控制方法、终端及系统
Sidher et al. Improving a 3D-printed artificial anthropomorphic hand using the human hand model
CN111616846A (zh) 假肢控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant