CN113940856A - 一种基于肌电-惯性信息的手部康复训练装置及方法 - Google Patents

一种基于肌电-惯性信息的手部康复训练装置及方法 Download PDF

Info

Publication number
CN113940856A
CN113940856A CN202111231927.2A CN202111231927A CN113940856A CN 113940856 A CN113940856 A CN 113940856A CN 202111231927 A CN202111231927 A CN 202111231927A CN 113940856 A CN113940856 A CN 113940856A
Authority
CN
China
Prior art keywords
hand
rehabilitation training
inertia
rehabilitation
myoelectricity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111231927.2A
Other languages
English (en)
Other versions
CN113940856B (zh
Inventor
杜义浩
曹添福
范强
常超群
张延夫
杜正
王颖
吴晓光
谢平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202111231927.2A priority Critical patent/CN113940856B/zh
Publication of CN113940856A publication Critical patent/CN113940856A/zh
Application granted granted Critical
Publication of CN113940856B publication Critical patent/CN113940856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285Hand
    • A61H1/0288Fingers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • A61B5/397Analysis of electromyograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12Driving means
    • A61H2201/1207Driving means with electric or magnetic drive
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1635Hand or arm, e.g. handle
    • A61H2201/1638Holding means therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165Wearable interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00Measuring physical parameters of the user
    • A61H2230/08Other bio-electrical signals
    • A61H2230/085Other bio-electrical signals used as a control parameter for the apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Power Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于肌电‑惯性信息的手部康复训练装置及方法,本发明将肌电与惯性信息结合起来,通过采集受试者的肌电和惯性信号进行预处理、特征提取及模式识别,将肌电信号的识别结果传输到可穿戴康复机械手,同时对惯性信号进行预处理与特征提取,面向不同动作分别对训练健侧手部运动功能建立隐马尔科夫模型,运用健侧手部隐马尔科夫模型计算患侧手部运动功能对数似然概率,然后通过归一化处理得到患侧手部相对健侧手部运动功能归一化似然对数概率,从而对患者手部康复训练情况进行评估。并通过Leap Motion在场景中进行人机交互,为脑卒中患者提供一种肌电‑惯性信息的手部康复训练装置。

Description

一种基于肌电-惯性信息的手部康复训练装置及方法
技术领域
本发明涉及虚拟现实、肌电控制、惯性评估及康复机械手等领域,尤其是一种基于肌电-惯性信息的手部康复训练装置及方法。
背景技术
脑卒中,是一种因脑部供血受阻而引起的神经肌肉通路损伤类疾病,可导致运动、感觉、语言等功能障碍,已成为导致我国残疾率与死亡率高的主要原因。脑卒中包括缺血性和出血性卒中,具有发病率高、死亡率高和致残率高的特点。《中国脑卒中防治报告2019》指出,脑卒中仍为我国成年人致死和致残的首位原因,我国整体卒中终生发病风险为39.9%,位居全球首位。中国卒中学会发布的流行病学调查数据表明,我国现有中风受试者1494万人,每年新发病例330万人。近几年,中国已成为全球卒中第一大国,每12秒新发脑卒中1例。全国现有大约700万受试者,且以每年8.7%的速度增长,到2030年预计全国脑卒中受试者人数达到3177万。临床发现,75%以上的脑卒中受试者表现为不同程度肢体运动功能障碍进而严重影响受试者的生活质量,给受试者、家庭和社会造成了沉重的负担。人体的上肢功能占全身功能的60%,手功能占上肢功能的90%。存活的脑卒中受试者55%-75%遗留有肢体功能障碍,其中手功能障碍受试者约占80%,已成为脑卒中引发的主要病症之一,严重影响受试者生活质量和活动能力。具体表现为手指关节弯曲伸展困难,不能进行正常的抓握、伸展等动作。依照当前的医学水平还没有能力完成修复损伤的神经系统,只能通过一些其它辅助手段来改善或替代受损神经系统功能。据相关实践证明,偏瘫受试者通过及时、主动的运动康复训练,在一定程度上可以恢复肢体的简单运动能力、甚至痊愈。
然而,传统手部运动功能障碍受试者的康复训练,主要是采取医师一对一式康复治疗或借助简单康复器械,不仅劳动强度大、费用昂贵,而且训练效果差强人意,尤其针对康复后期受试者,康复过程枯燥乏味,受试者参与主动性差,使得康复周期延长。近几年,脑卒中后手部运动功能障碍康复治疗技术不断出现,如强迫性运动疗法、机器人辅助治疗技术、经颅磁刺激技术、运动想象疗法等。其中,基于肌电的手部康复训练方法可以显著改善脑卒中受试者手部运动功能,并且通过惯性信息可以对受试者手部运动功能进行评估。但由于康复训练模式单一、交互性差,无法适应不同受试者、不同康复阶段的康复训练需求,即存在个体适应性差和受试者主动性差的问题,并且对手部运动功能的评价并不完善。
发明内容
本发明需要解决的技术问题是提供一种基于肌电-惯性信息的手部康复训练装置及方法,针对受试者的手部功能障碍问题,通过对受试者肌电-惯性信息的处理分析,进行手部功能障碍康复训练,对受试者手部运动功能进行评估,并通过Leap Motion进行人机交互,使受试者主动式康复训练,加速受试者的手部康复速度与康复效果。
为解决上述技术问题,本发明所采用的技术方案是:一种基于肌电-惯性信息的手部康复训练装置,包括上位机,所述上位机内设置有肌电-惯性康复训练系统,所述上位机通过无线连接有采集患者上肢肌电数据和惯性信息的Delsys肌电-惯性信息采集装置,所述Delsys肌电-惯性信息采集装置包括信号接收器和分别佩戴于受试者健侧手臂以及患侧手臂指伸肌和尺侧腕屈肌位置的Delsys肌电-惯性采集模块;所述Delsys肌电-惯性采集模块将采集的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,所述肌电-惯性康复训练系统将采集的肌电信号进行预处理、特征提取、分类识别后将结果以指令形式通过蓝牙发送给可穿戴康复机械手,所述可穿戴康复机械手辅助受试者进行手部康复训练,所述肌电-惯性康复训练系统通过采集的受试者惯性信息获取受试者运动过程中的姿态数据并运用健侧隐马尔可夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,然后通过归一化处理得出患侧手部相对于健侧手部运动功能的归一化对数似然概率数值,实现肌电与惯性信息相结合方式进行手部康复训练与评估,通过Leap Motion手部跟踪器采集受试者手部动作,并同步到肌电-惯性康复训练系统内的虚拟场景中,通过场景中虚拟手的形式实现受试者可穿戴康复机械手与虚拟场景的交互。
本发明技术方案的进一步改进在于:所述可穿戴康复外骨骼康复机械手包括由柔软的手套构成的内层、由硬材料构成的中间层、驱动手指运动的第三层,所述中间层安装有执行机构、钢丝绳导向器以及刚性板,所述第三层安装有驱动器和钢丝绳。
本发明技术方案的进一步改进在于:所述可穿戴康复外骨骼康复机械手的指尖以及关节处均装有不可拉伸织物,指尖部分装有薄膜压力传感器,手指掌心部位装有弯曲角度传感器。
本发明技术方案的进一步改进在于:一种基于肌电-惯性信息的手部康复训练方法,包括如下步骤:
S1、将Delsys肌电-惯性采集模块佩戴于受试者健侧以及患侧手臂指伸肌和尺侧腕屈肌位置并固定,通过信号接收器将Delsys肌电-惯性采集模块与肌电-惯性康复训练系统无线连接,为受试者佩戴可穿戴康复机械手并接通电源,通过蓝牙将可穿戴康复机械手与肌电-惯性康复训练系统进行连接;
S2、登录肌电-惯性康复训练系统,Delsys肌电-惯性采集模块将采集的健侧的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,开始对受试者进行手部动作康复训练;
S3、建立LF肌电分类模型:受试者根据肌电-惯性康复训练系统的虚拟场景中模型手出现的手部状态,Delsys肌电-惯性采集模块采集受试者健侧手臂指伸肌和尺侧腕屈肌位置肌电信号,通过健侧手部运动带动患侧手部训练的方式进行主动式康复训练,肌电-惯性康复训练系统对采集的肌电信号进行预处理和特征提取;
S4、通过已建立的LF分类模型进行分类,以指令的形式将分类结果通过蓝牙模块发送至可穿戴康复机械手,分别用来控制可穿戴康复机械手的不同训练动作,辅助受试者进行手部康复训练;
S5、建立惯性信号的隐马尔科夫模型:采集患侧手部运动时的惯性信号,通过隐马尔科夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,对患侧手部运动功能进行评价;
S6、通过Leap Motion手部跟踪器采集受试者手部动作,经过分析处理后,完成手势识别,并在虚拟场景中以虚拟手的实时动作形式展示出来,作为视觉反馈提受试者康复训练的主动性时,形成闭环的康复训练;
S7、根据受试者情况设置训练时间,训练结束后,生成训练报表并打印存档,退出康复训练系统。
本发明技术方案的进一步改进在于:所述步骤S3中肌电-惯性康复训练系统对采集的肌电信号进行去基线漂移,通过50Hz陷波器去除50Hz工频干扰。
本发明技术方案的进一步改进在于:所述步骤S3中肌电-惯性康复训练系统对肌电信号特征提取包括均方根值、斜率标志变更和肌电积分值的时域特征,以及中心频率、平均功率频率和平均频域的频域特征。
本发明技术方案的进一步改进在于:所述平均功率频率计算公式为:
Figure BDA0003316329520000041
其中,p(f)代表肌电信号的功率谱密度函数;
MPF的协同收缩率MPF_CR计算公式如下:
Figure BDA0003316329520000042
本发明技术方案的进一步改进在于:所述步骤S3中LF肌电分类模型的损失函数公式为J(θ),对其进行二阶泰勒展开:
Figure BDA0003316329520000051
其中,当θ=θ0时,α=0,此时求J(θ)的最小值,对θ直接进行求导:
J′(θ)=0+J′(θ0)+(θ-θ0)*J″(θ0),
令J′(θ0)=0可以得到:
Figure BDA0003316329520000052
加入学习率可得:
Figure BDA0003316329520000053
本发明技术方案的进一步改进在于:所述步骤S5中肌电-惯性康复训练系统对采集的惯性信号采用0-200Hz的巴特沃斯滤波器进行低通滤波预处理。
本发明技术方案的进一步改进在于:所述步骤S5中惯性信号特征提取过程为:信号x(t)经过N层分解,分成2N个子空间,第n(n=1,2,3...2n)个子空间信号的重构表示:
Figure BDA0003316329520000054
其中,j表示尺度系数,k代表平移因数,ψj,k(t)是小波函数,
Figure BDA0003316329520000055
为小波系数;
第n个子空间重构信号对应的能量En的计算公式为:
Figure BDA0003316329520000056
信号分解的各个子空间叠加得到信号总的小波包能量为:
Figure BDA0003316329520000057
其中,WPE代表小波包能量小波包总能量,反映信号不同频段内的总能量大小。
由于采用了上述技术方案,本发明取得的技术进步是:
1、本发明将肌电与惯性信息结合起来,通过采集受试者的肌电和惯性信号进行预处理、特征提取及模式识别,将肌电信号的识别结果以十六进制指令的形式传输到可穿戴康复机械手,通过可穿戴机械手辅助脑卒中后手功能障碍患者进行手部康复训练。同时对惯性信号进行预处理与特征提取,面向不同动作分别对训练健侧手部运动功能建立隐马尔科夫模型,运用健侧手部隐马尔科夫模型计算患侧手部运动功能对数似然概率,然后通过归一化处理得到患侧手部相对健侧手部运动功能归一化似然对数概率,从而对患者手部康复训练情况进行评估。并通过Leap Motion在场景中进行人机交互,为脑卒中患者提供一种肌电-惯性信息的手部康复训练装置;
2、本发明与传统康复训练方法相比,通过对患者肌电-惯性信息的处理分析,进行手部功能障碍康复训练,对患者手部运动功能进行评估,并通过Leap Motion进行人机交互,通过这种视觉反馈也很大程度的提高患者手部康复训练的主动性。
附图说明
图1为本发明提出的系统原理图;
图2为本发明的肌电信号采集位置示意图;
图3为本发明训练阶段实验范式示意图;
图4为本发明可穿戴康复机械手机构图;
图5(a)为本发明虚拟场景图一;
图5(b)为本发明虚拟场景图二;
图5(c)为本发明虚拟场景图三;
图5(d)为本发明虚拟场景图四;
图5(e)为本发明虚拟场景图五;
图6为本发明所述康复训练方法实施流程图。
具体实施方式
下面结合实施例对本发明做进一步详细说明:
如图1~图6所示,本发明提出一种基于肌电-惯性信息的手部康复训练装置,包括上位机,所述上位机内设置有肌电-惯性康复训练系统,所述上位机通过无线连接有采集患者上肢肌电数据和惯性信息的Delsys肌电-惯性信息采集装置,所述Delsys肌电-惯性信息采集装置包括信号接收器和分别佩戴于受试者健侧手臂以及患侧手臂指伸肌和尺侧腕屈肌位置的Delsys肌电-惯性采集模块;所述Delsys肌电-惯性采集模块将采集的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,所述肌电-惯性康复训练系统将采集的肌电信号进行预处理、特征提取、分类识别后将结果以指令形式通过蓝牙发送给可穿戴康复机械手,所述可穿戴康复机械手辅助受试者进行手部康复训练,能实现手部每根手指的独立运动,能够辅助各个手指关节伸展和弯曲,可穿戴康复机械手与肌电-惯性康复训练系统相结合,用于受试者的康复训练。
所述肌电-惯性康复训练系统通过采集的受试者惯性信息获取受试者运动过程中的姿态数据并运用健侧隐马尔可夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,然后通过归一化处理得出患侧手部相对于健侧手部运动功能的归一化对数似然概率数值,实现肌电与惯性信息相结合方式进行手部康复训练与评估,通过Leap Motion手部跟踪器采集受试者手部动作,并同步到肌电-惯性康复训练系统内的虚拟场景中,通过场景中虚拟手的形式实现受试者可穿戴康复机械手与虚拟场景的交互,刺激受试者进行主动的康复训练,加速了受试者手部康复速度,提高患者手部康复训练的主动性与康复训练的效果,具体流程如图6所示。
可穿戴康复机械手总共由三层结构构成:内层是柔软的手套,增加佩戴者的舒适度;第二层由硬材料构成,执行机构、电缆导向器以及刚性板安装在上面,其中刚性板防止不必要的横向变形;第三层是驱动手指的实际外骨骼系统(驱动器和钢丝绳)。为了克服手套拉伸问题,在指尖以及关节处均装有类似顶针的不可拉伸织物;指尖部分装有薄膜压力传感器,手指掌心部位装有弯曲角度传感器,其中,导线槽及顶针均使用3D打印机制作,采用FIRGELLI L12系列直线电机作为动力源,使用鲍登线作为驱动绳。
在加工制造时,可通过3D扫描逆向工程实现患者个性定制可穿戴设备,3D打印零件采用进口的高韧性树脂。
实施方式:
一种基于肌电-惯性信息的手部康复训练方法,包括如下步骤:
S1、选取一个安静舒适的实验环境,受试者位于电脑屏幕前约一米处,打开上位机与Delsys采集设备进行无线连接,为受试者佩戴Delsys肌电-惯性采集模块分别佩戴于受试者健侧手臂以及患侧手臂指伸肌和尺侧腕屈肌位置处进行固定,健侧手臂以及患侧手臂佩戴形式均如图2所示:10为尺侧腕屈肌,20为指伸肌;图2左侧,手臂手心向外,Delsys肌电-惯性采集模块贴在尺侧腕屈肌位置,图2右侧,手臂手心向里,将另一块Delsys肌电-惯性采集模块贴在指伸肌位置。接通可穿戴康复机械手电源,通过蓝牙与上位机进行连接,为受试者患侧佩戴可穿戴康复机械手。
S2、登录虚拟康复训练系统,肌电-惯性采集模块将采集的健侧的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,开始对受试者进行手部动作康复训练;
S3、建立LF肌电分类模型:受试者根据需求选择主动式康复训练或被动式康复训练,模型建立阶段应尽量避免提示外的其他实际动作。受试者根据肌电-惯性康复训练系统的虚拟场景中模型手出现的手部状态,Delsys肌电-惯性采集模块采集受试者健侧手臂指伸肌和尺侧腕屈肌位置肌电信号,通过健侧手臂指伸肌和尺侧腕屈肌位置运动带动患侧手臂指伸肌和尺侧腕屈肌位置训练的方式进行主动式康复训练,肌电-惯性康复训练系统对采集的肌电信号进行预处理和特征提取,通过LF肌电分类模型进行分类;
肌电信号预处理:由于原始的肌电信号存在高频噪声以及工频干扰等,所以需要对肌电信号进行预处理。本发明对采集的肌电信号进行去基线漂移,然后通过50Hz陷波器去除50Hz工频干扰。
肌电信号特征提取:使用阈值法对信号进行活动段检测,之后对活动段信号提取包括均方根值、斜率标志变更和肌电积分值的时域特征,以及中心频率、平均功率频率和平均频域的频域特征构成特征矩阵。平均功率频率是一种能够描述肌电信号的频域特征,它的大小和运动单位动作电位的一致化水平、传导速度快慢等关联,其计算公式为:
Figure BDA0003316329520000091
其中,p(f)代表肌电信号的功率谱密度函数。
MPF的协同收缩率(MPF_CR)计算公式如下:
Figure BDA0003316329520000092
LF分类模型:损失函数为J(θ),对其进行二阶泰勒展开
Figure BDA0003316329520000093
其中误差α是在Δθ→0即θ→θ0的前提下才趋于0,所以如果(θ-θ0)太大,误差会比较大。
这里要求J(θ)的最小值,对θ直接进行求导:
J′(θ)=0+J′(θ0)+(θ-θ0)*J″(θ0),
令J′(θ0)=0可以得到:
Figure BDA0003316329520000094
加入学习率可得:
Figure BDA0003316329520000101
S4、通过已建立的LF分类模型进行分类,以指令的形式将分类结果通过蓝牙模块发送至可穿戴康复机械手,分别用来控制可穿戴康复机械手的不同训练动作,辅助受试者进行手部康复训练;
如图3所示,要求受试者根据屏幕提示进行手部康复训练。在开始训练时,屏幕提示保持静止阶段,此过程受试者尽量避免其他非屏幕中提示动作,维持肌电-惯性信号的平稳,在第2s时,屏幕出现请匀速进行握拳动作,第10s时完成一次手部康复训练,然后休息2s,重复训练10次,肌电训练模型建立阶段结束;
S5:建立惯性信号的隐马尔科夫模型:采集患侧手部运动时的惯性信号,通过隐马尔科夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,对患侧手部运动功能进行评价;
惯性信号预处理:原始的肌电信号存在高频噪声以及工频干扰等,所以需要对惯性信号进行预处理。本项目采用0-200Hz的巴特沃斯滤波器进行低通滤波。
惯性信号采集与特征提取:信号x(t)经过N层分解,可以分成2N个子空间,第n(n=1,2,3...2n)个子空间信号的重构可以表示
Figure BDA0003316329520000102
其中,j表示尺度系数,k代表平移因数,ψj,k(t)是小波函数,
Figure BDA0003316329520000103
为小波系数。
由于小波函数具有正交性,且小波包系数与信号的能量紧密关联,它具有能量的量纲,信号小波包系数的数值可以反映出与之对应频段能量的大小,因此第n个子空间重构信号对应的能量En的计算公式为:
Figure BDA0003316329520000111
信号分解的各个子空间叠加可得信号总的小波包能量为
Figure BDA0003316329520000112
其中,WPE代表小波包能量小波包总能量(Wavelet Packet Energy)的缩写,可以反映信号不同频段内的总能量大小。
角速度、角度等惯性运动学参数在一定程度上能够反映出动作的执行能力,上肢健康者可以高质量按照规范完成既定动作,而上肢功能障碍患者由于缺少一部分肌肉运动功能,导致肢体发生抖动无法按照标准轨迹完成动作,功能障碍情况严重者甚至直接不能完成动作。因此,准确测量患者运动过程中肢体的角速度、角度惯性信息,然后与标称值作对比,可以反映出患者的运动及平衡能力。
可穿戴康复机械手控制:将受试者运动想象分类结果,通过上位机以指令形式发送给可穿戴康复机械手,控制可穿戴康复机械手辅助患者进行康复训练,如图4所示,所述可穿戴康复机械手可以实现手部每根手指单独运动,能够辅助各个手指关节伸展和弯曲,并通过蓝牙4.2接收上位机两个十六进制指令。如图4所示,①为限位卡扣,②为肌腱腱鞘,③为驱动电机,④为导线槽。
肌电-惯性信息在线训练阶段:当虚拟场景中的模型手变为握拳状态时,受试者通过已训练好的LF肌电分类模型进行当前动作分类识别,将分类结果以指令形式发送给可穿戴康复机械手,通过健侧手部的动作带动患侧手部的训练,控制可穿戴康复机械手辅助手功能障碍患者进行康复训练。同时当患者患侧机械手辅助训练时,采集患者患侧训练时的惯性数据进行分析,并通过建立好的隐马尔科夫模型计算出患侧相对于健侧运动功能对数似然概率,以此对康复训练进行评价,以姿态评估相似度的数值反馈给患者。
虚拟场景:如图5(a)、5(b)、5(c)、5(d)、5(e)所示,利用Unity3D游戏开发引擎搭建了虚拟场景,引导受试者进行肢体运动,同时通过虚拟手与场景进行人机交互。
进一步地,在图5(a)所示的虚拟场景中,通过诸如“握拳”等文字提示,同时播放对应文字内容的语音,虚拟场景中模型手为握拳状态来引导受试者进行相应的肢体运动。如果LF分类模型对受试者手部运动的分类识别结果为握拳,则将识别结果以指令形式发送至可穿戴康复机械手辅助受试者进行手部动作康复训练;分类识别结果为伸展则机械手辅助受试者进行伸展训练。其中a1-训练计时时间,a2-文字提示,a3-语音开,a4-模型手,a5-苹果模型,a6-虚拟手,a7-姿态评估相似度。
进一步地,当模型手变为握拳状态时,受试者健侧手部进行抓握动作,通过上位机对健侧肌电信号的分类识别后,将抓握动作以十六进制指令的形式发送至可穿戴康复机械手,带动受试者患侧手部的康复训练。通过这种健侧带动患侧主动式的康复训练,大大提高了手功能患者的康复训练效果。同时,采集训练时患者患侧的惯性信号,通过对惯性信号进行特征提取后进行归一化处理,计算患侧相对于健侧运动功能对数似然概率,用于对患侧手部运动功能的评价,以更正确的对下一次训练做出正确合理的方案。
S6:通过Leap Motion手部跟踪器采集受试者手部动作,经过分析处理后,完成手势识别,并在虚拟场景中以虚拟手的实时动作形式展示出来,对受试者产生一种视觉反馈,达到一种闭环反馈康复训练和物理疗法同时进行的效果,提高了手功能障碍患者康复训练的主动性和效率。
S7:根据受试者情况设置训练时间,训练结束后,生成训练报表并打印存档,退出康复训练系统。
本发明将肌电与惯性信息结合起来,通过采集受试者的肌电和惯性信号进行预处理、特征提取及模式识别,将肌电信号的识别结果以十六进制指令的形式传输到可穿戴康复机械手,通过可穿戴机械手辅助脑卒中后手功能障碍患者进行手部康复训练。同时对惯性信号进行预处理与特征提取,面向不同动作分别对训练健侧手部运动功能建立隐马尔科夫模型,运用健侧手部隐马尔科夫模型计算患侧手部运动功能对数似然概率,然后通过归一化处理得到患侧手部相对健侧手部运动功能归一化似然对数概率,从而对患者手部康复训练情况进行评估。并通过Leap Motion在场景中进行人机交互,为脑卒中患者提供一种肌电-惯性信息的手部康复训练装置。
本发明与传统康复训练方法相比,通过对患者肌电-惯性信息的处理分析,进行手部功能障碍康复训练,对患者手部运动功能进行评估,并通过Leap Motion进行人机交互,通过这种视觉反馈也很大程度的提高患者手部康复训练的主动性。

Claims (10)

1.一种基于肌电-惯性信息的手部康复训练装置,其特征在于:包括上位机,所述上位机内设置有肌电-惯性康复训练系统,所述上位机通过无线连接有采集患者上肢肌电数据和惯性信息的Delsys肌电-惯性信息采集装置,所述Delsys肌电-惯性信息采集装置包括信号接收器和分别佩戴于受试者健侧手臂以及患侧手臂指伸肌和尺侧腕屈肌位置的Delsys肌电-惯性采集模块;所述Delsys肌电-惯性采集模块将采集的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,所述肌电-惯性康复训练系统将采集的肌电信号进行预处理、特征提取、分类识别后将结果以指令形式通过蓝牙发送给可穿戴康复机械手,所述可穿戴康复机械手辅助受试者进行手部康复训练,所述肌电-惯性康复训练系统通过采集的受试者惯性信息获取受试者运动过程中的姿态数据并运用健侧隐马尔可夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,然后通过归一化处理得出患侧手部相对于健侧手部运动功能的归一化对数似然概率数值,实现肌电与惯性信息相结合方式进行手部康复训练与评估,通过Leap Motion手部跟踪器采集受试者手部动作,并同步到肌电-惯性康复训练系统内的虚拟场景中,通过场景中虚拟手的形式实现受试者可穿戴康复机械手与虚拟场景的交互。
2.根据权利要求1所述的一种基于肌电-惯性信息的手部康复训练装置,其特征在于:所述可穿戴康复外骨骼康复机械手包括由柔软的手套构成的内层、由硬材料构成的中间层、驱动手指运动的第三层,所述中间层安装有执行机构、钢丝绳导向器以及刚性板,所述第三层安装有驱动器和钢丝绳。
3.根据权利要求1所述的一种基于肌电-惯性信息的手部康复训练装置,其特征在于:所述可穿戴康复外骨骼康复机械手的指尖以及关节处均装有不可拉伸织物,指尖部分装有薄膜压力传感器,手指掌心部位装有弯曲角度传感器。
4.一种基于肌电-惯性信息的手部康复训练方法,其特征在于:包括如下步骤:
S1、将Delsys肌电-惯性采集模块佩戴于受试者健侧以及患侧手臂指伸肌和尺侧腕屈肌位置并固定,通过信号接收器将Delsys肌电-惯性采集模块与肌电-惯性康复训练系统无线连接,为受试者佩戴可穿戴康复机械手并接通电源,通过蓝牙将可穿戴康复机械手与肌电-惯性康复训练系统进行连接;
S2、登录肌电-惯性康复训练系统,Delsys肌电-惯性采集模块将采集的健侧的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,开始对受试者进行手部动作康复训练;
S3、建立LF肌电分类模型:受试者根据肌电-惯性康复训练系统的虚拟场景中模型手出现的手部状态,Delsys肌电-惯性采集模块采集受试者健侧手臂指伸肌和尺侧腕屈肌位置肌电信号,通过健侧手部运动带动患侧手部训练的方式进行主动式康复训练,肌电-惯性康复训练系统对采集的肌电信号进行预处理和特征提取;
S4、通过已建立的LF分类模型进行分类,以指令的形式将分类结果通过蓝牙模块发送至可穿戴康复机械手,分别用来控制可穿戴康复机械手的不同训练动作,辅助受试者进行手部康复训练;
S5、建立惯性信号的隐马尔科夫模型:采集患侧手部运动时的惯性信号,通过隐马尔科夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,对患侧手部运动功能进行评价;
S6、通过Leap Motion手部跟踪器采集受试者手部动作,经过分析处理后,完成手势识别,并在虚拟场景中以虚拟手的实时动作形式展示出来,作为视觉反馈提受试者康复训练的主动性时,形成闭环的康复训练;
S7、根据受试者情况设置训练时间,训练结束后,生成训练报表并打印存档,退出康复训练系统。
5.根据权利要求4所述的一种基于肌电-惯性信息的手部康复训练方法,其特征在于:所述步骤S3中肌电-惯性康复训练系统对采集的肌电信号进行去基线漂移,通过50Hz陷波器去除50Hz工频干扰。
6.根据权利要求4所述的一种基于肌电-惯性信息的手部康复训练方法,其特征在于:所述步骤S3中肌电-惯性康复训练系统对肌电信号特征提取包括均方根值、斜率标志变更和肌电积分值的时域特征,以及中心频率、平均功率频率和平均频域的频域特征。
7.根据权利要求6所述的一种基于肌电-惯性信息的手部康复训练方法,其特征在于:所述平均功率频率计算公式为:
Figure FDA0003316329510000031
其中,p(f)代表肌电信号的功率谱密度函数;
MPF的协同收缩率MPF_CR计算公式如下:
Figure FDA0003316329510000032
8.根据权利要求4所述的一种基于肌电-惯性信息的手部康复训练方法,其特征在于:所述步骤S3中LF肌电分类模型的损失函数公式为J(θ),对其进行二阶泰勒展开:
Figure FDA0003316329510000033
其中,当θ=θ0时,α=0,此时求J(θ)的最小值,对θ直接进行求导:
J′(θ)=0+J′(θ0)+(θ-θ0)*J″(θ0),
令J′(θ0)=0可以得到:
Figure FDA0003316329510000034
加入学习率可得:
Figure FDA0003316329510000035
9.根据权利要求4所述的一种基于肌电-惯性信息的手部康复训练方法,其特征在于:所述步骤S5中肌电-惯性康复训练系统对采集的惯性信号采用0-200Hz的巴特沃斯滤波器进行低通滤波预处理。
10.根据权利要求4所述的一种基于肌电-惯性信息的手部康复训练方法,其特征在于:所述步骤S5中惯性信号特征提取过程为:信号x(t)经过N层分解,分成2N个子空间,第n(n=1,2,3...2n)个子空间信号的重构表示:
Figure FDA0003316329510000041
其中,j表示尺度系数,k代表平移因数,ψj,k(t)是小波函数,
Figure FDA0003316329510000042
为小波系数;
第n个子空间重构信号对应的能量En的计算公式为:
Figure FDA0003316329510000043
信号分解的各个子空间叠加得到信号总的小波包能量为:
Figure FDA0003316329510000044
其中,WPE代表小波包能量小波包总能量,反映信号不同频段内的总能量大小。
CN202111231927.2A 2021-10-22 2021-10-22 一种基于肌电-惯性信息的手部康复训练装置及方法 Active CN113940856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111231927.2A CN113940856B (zh) 2021-10-22 2021-10-22 一种基于肌电-惯性信息的手部康复训练装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111231927.2A CN113940856B (zh) 2021-10-22 2021-10-22 一种基于肌电-惯性信息的手部康复训练装置及方法

Publications (2)

Publication Number Publication Date
CN113940856A true CN113940856A (zh) 2022-01-18
CN113940856B CN113940856B (zh) 2023-01-03

Family

ID=79332136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111231927.2A Active CN113940856B (zh) 2021-10-22 2021-10-22 一种基于肌电-惯性信息的手部康复训练装置及方法

Country Status (1)

Country Link
CN (1) CN113940856B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114392126A (zh) * 2022-01-24 2022-04-26 佳木斯大学 一种残疾儿童手部配合训练系统
CN114767464A (zh) * 2022-03-29 2022-07-22 东北大学 一种基于单目视觉引导的多模式手部康复系统及方法
CN114847978A (zh) * 2022-05-26 2022-08-05 南京理工大学 一种基于肌肉功能网络的康复评估方法
CN114917479A (zh) * 2022-06-30 2022-08-19 深圳英智科技有限公司 一种经颅磁脉冲干扰滤除方法、系统及电子设备
CN115054903A (zh) * 2022-06-30 2022-09-16 北京工业大学 一种用于脑卒中患者主动康复的虚拟游戏康复系统及方法
CN115177273A (zh) * 2022-06-30 2022-10-14 北京工业大学 基于多头再注意力机制的运动意图识别方法及系统
CN115399791A (zh) * 2022-06-28 2022-11-29 天津大学 基于肌电运动多数据融合的卒中下肢功能评估方法及系统
CN115444712A (zh) * 2022-09-05 2022-12-09 中国科学院长春光学精密机械与物理研究所 一种多自由度手功能康复装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105832343A (zh) * 2016-05-22 2016-08-10 上海大学 多维视觉手功能康复定量评估系统和评估方法
US20160287422A1 (en) * 2006-09-19 2016-10-06 Myomo, Inc. Powered Orthotic Device and Method of Using Same
CA2979894A1 (en) * 2015-06-15 2016-12-22 Myomo, Inc. Powered orthotic device and method of using same
CN107224669A (zh) * 2017-05-24 2017-10-03 上海理工大学 自适应穿戴式柔顺外骨骼康复机械手的控制系统
CN108478384A (zh) * 2018-01-29 2018-09-04 上海师范大学 一种穿戴式手功能康复训练装置
WO2018233435A1 (zh) * 2017-06-20 2018-12-27 东南大学 一种基于主成分分析法的多维表面肌电信号假手控制方法
CN109481226A (zh) * 2018-09-27 2019-03-19 南昌大学 一种双手跟踪式多自由度软体手指康复机器人及使用方法
CN111643315A (zh) * 2020-04-27 2020-09-11 东南大学 一种基于绳索驱动的柔性手部功能康复装置
CN111685966A (zh) * 2019-10-15 2020-09-22 东北林业大学 一种形状记忆合金丝驱动的手指运动功能康复装置
CN111938991A (zh) * 2020-07-21 2020-11-17 燕山大学 一种双主动控制模式的手部康复训练装置及训练方法
CN112589771A (zh) * 2020-12-04 2021-04-02 西安交通大学 一种航天员舱外活动手部助力外骨骼
CN113476799A (zh) * 2021-07-06 2021-10-08 燕山大学 基于肌电和惯性信息的手部训练及评估方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160287422A1 (en) * 2006-09-19 2016-10-06 Myomo, Inc. Powered Orthotic Device and Method of Using Same
CA2979894A1 (en) * 2015-06-15 2016-12-22 Myomo, Inc. Powered orthotic device and method of using same
CN105832343A (zh) * 2016-05-22 2016-08-10 上海大学 多维视觉手功能康复定量评估系统和评估方法
CN107224669A (zh) * 2017-05-24 2017-10-03 上海理工大学 自适应穿戴式柔顺外骨骼康复机械手的控制系统
WO2018233435A1 (zh) * 2017-06-20 2018-12-27 东南大学 一种基于主成分分析法的多维表面肌电信号假手控制方法
CN108478384A (zh) * 2018-01-29 2018-09-04 上海师范大学 一种穿戴式手功能康复训练装置
CN109481226A (zh) * 2018-09-27 2019-03-19 南昌大学 一种双手跟踪式多自由度软体手指康复机器人及使用方法
CN111685966A (zh) * 2019-10-15 2020-09-22 东北林业大学 一种形状记忆合金丝驱动的手指运动功能康复装置
CN111643315A (zh) * 2020-04-27 2020-09-11 东南大学 一种基于绳索驱动的柔性手部功能康复装置
CN111938991A (zh) * 2020-07-21 2020-11-17 燕山大学 一种双主动控制模式的手部康复训练装置及训练方法
CN112589771A (zh) * 2020-12-04 2021-04-02 西安交通大学 一种航天员舱外活动手部助力外骨骼
CN113476799A (zh) * 2021-07-06 2021-10-08 燕山大学 基于肌电和惯性信息的手部训练及评估方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114392126A (zh) * 2022-01-24 2022-04-26 佳木斯大学 一种残疾儿童手部配合训练系统
CN114392126B (zh) * 2022-01-24 2023-09-22 佳木斯大学 一种残疾儿童手部配合训练系统
CN114767464A (zh) * 2022-03-29 2022-07-22 东北大学 一种基于单目视觉引导的多模式手部康复系统及方法
CN114767464B (zh) * 2022-03-29 2023-06-23 东北大学 一种基于单目视觉引导的多模式手部康复系统及方法
CN114847978A (zh) * 2022-05-26 2022-08-05 南京理工大学 一种基于肌肉功能网络的康复评估方法
CN115399791A (zh) * 2022-06-28 2022-11-29 天津大学 基于肌电运动多数据融合的卒中下肢功能评估方法及系统
CN114917479A (zh) * 2022-06-30 2022-08-19 深圳英智科技有限公司 一种经颅磁脉冲干扰滤除方法、系统及电子设备
CN115054903A (zh) * 2022-06-30 2022-09-16 北京工业大学 一种用于脑卒中患者主动康复的虚拟游戏康复系统及方法
CN115177273A (zh) * 2022-06-30 2022-10-14 北京工业大学 基于多头再注意力机制的运动意图识别方法及系统
CN115177273B (zh) * 2022-06-30 2024-04-19 北京工业大学 基于多头再注意力机制的运动意图识别方法及系统
CN115444712A (zh) * 2022-09-05 2022-12-09 中国科学院长春光学精密机械与物理研究所 一种多自由度手功能康复装置

Also Published As

Publication number Publication date
CN113940856B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN113940856B (zh) 一种基于肌电-惯性信息的手部康复训练装置及方法
CN108814597B (zh) 一种基于运动信息与肌电交互的康复训练评测方法及系统
CN111938991A (zh) 一种双主动控制模式的手部康复训练装置及训练方法
CN111110982A (zh) 基于运动想象的手部康复训练方法
CN111150935B (zh) 一种肌电颈部按摩装置以及控制方法
JP2008510560A (ja) 脳の可塑性による運動訓練
CN103764021A (zh) 一种用于协同神经-生理学修复和/或功能提升的系统、仪器、装置和方法
WO2023206833A1 (zh) 基于肌肉协同和变刚度阻抗控制的手腕部康复训练系统
CN106236503A (zh) 肌电驱动的上肢可穿戴外骨骼系统及控制方法
CN111584031B (zh) 基于便携式脑电采集设备的脑控智能肢体康复系统及应用
US20220187913A1 (en) Neurorehabilitation system and neurorehabilitation method
CN114021604A (zh) 一种基于3d虚拟现实技术实时反馈的运动想象训练系统
TWI762313B (zh) 沉浸式多姿態主被動式肢體協調復健訓練系統
CN113730190A (zh) 一种三维空间运动的上肢康复机器人系统
Li et al. Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion
CN116983185A (zh) 一种脑卒中患者上肢功能重建系统
CN110090421A (zh) 基于脑机接口和互联网技术的智能脑卒中康复机器人系统
Wang et al. Research progress of rehabilitation exoskeletal robot and evaluation methodologies based on bioelectrical signals
CN215689579U (zh) 基于脑机接口的手功能康复训练系统
CN115670481A (zh) 意识关联康复机器臂运动意愿提取及协同控制方法
CN209253488U (zh) 一种全仿生类脑智能手部电子机械外骨骼及其控制系统
CN115671706A (zh) 一种用于认知障碍的vr游戏训练系统
CN215017698U (zh) 康复训练运动模拟可视化系统
CN114936574A (zh) 一种基于bci的高灵活度机械手系统及其实现方法
Li et al. Inter-subject variability evaluation of continuous elbow angle from sEMG using BPNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant