CN113940856B - 一种基于肌电-惯性信息的手部康复训练装置及方法 - Google Patents
一种基于肌电-惯性信息的手部康复训练装置及方法 Download PDFInfo
- Publication number
- CN113940856B CN113940856B CN202111231927.2A CN202111231927A CN113940856B CN 113940856 B CN113940856 B CN 113940856B CN 202111231927 A CN202111231927 A CN 202111231927A CN 113940856 B CN113940856 B CN 113940856B
- Authority
- CN
- China
- Prior art keywords
- hand
- myoelectricity
- inertia
- rehabilitation training
- rehabilitation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 73
- 230000009471 action Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 50
- 210000003205 muscle Anatomy 0.000 claims description 20
- 238000002567 electromyography Methods 0.000 claims description 16
- 238000013145 classification model Methods 0.000 claims description 15
- 210000000707 wrist Anatomy 0.000 claims description 11
- 230000003183 myoelectrical effect Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 210000001364 upper extremity Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 229910000831 Steel Inorganic materials 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 239000010959 steel Substances 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000000556 agonist Substances 0.000 claims 1
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 239000005557 antagonist Substances 0.000 claims 1
- 238000005457 optimization Methods 0.000 claims 1
- 208000006011 Stroke Diseases 0.000 abstract description 20
- 238000003909 pattern recognition Methods 0.000 abstract description 3
- 230000004064 dysfunction Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 210000003414 extremity Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 4
- 238000002560 therapeutic procedure Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000001145 finger joint Anatomy 0.000 description 3
- 206010061296 Motor dysfunction Diseases 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000016988 Hemorrhagic Stroke Diseases 0.000 description 1
- 208000032382 Ischaemic stroke Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 208000020658 intracerebral hemorrhage Diseases 0.000 description 1
- 230000008449 language Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009861 stroke prevention Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000011491 transcranial magnetic stimulation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
- A61H1/0285—Hand
- A61H1/0288—Fingers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/12—Driving means
- A61H2201/1207—Driving means with electric or magnetic drive
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/1635—Hand or arm, e.g. handle
- A61H2201/1638—Holding means therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/165—Wearable interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
- A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2230/00—Measuring physical parameters of the user
- A61H2230/08—Other bio-electrical signals
- A61H2230/085—Other bio-electrical signals used as a control parameter for the apparatus
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Power Engineering (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Rehabilitation Tools (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于肌电‑惯性信息的手部康复训练装置及方法,本发明将肌电与惯性信息结合起来,通过采集受试者的肌电和惯性信号进行预处理、特征提取及模式识别,将肌电信号的识别结果传输到可穿戴康复机械手,同时对惯性信号进行预处理与特征提取,面向不同动作分别对训练健侧手部运动功能建立隐马尔科夫模型,运用健侧手部隐马尔科夫模型计算患侧手部运动功能对数似然概率,然后通过归一化处理得到患侧手部相对健侧手部运动功能归一化似然对数概率,从而对患者手部康复训练情况进行评估。并通过Leap Motion在场景中进行人机交互,为脑卒中患者提供一种肌电‑惯性信息的手部康复训练装置。
Description
技术领域
本发明涉及虚拟现实、肌电控制、惯性评估及康复机械手等领域,尤其是一种基于肌电-惯性信息的手部康复训练装置及方法。
背景技术
脑卒中,是一种因脑部供血受阻而引起的神经肌肉通路损伤类疾病,可导致运动、感觉、语言等功能障碍,已成为导致我国残疾率与死亡率高的主要原因。脑卒中包括缺血性和出血性卒中,具有发病率高、死亡率高和致残率高的特点。《中国脑卒中防治报告2019》指出,脑卒中仍为我国成年人致死和致残的首位原因,我国整体卒中终生发病风险为39.9%,位居全球首位。中国卒中学会发布的流行病学调查数据表明,我国现有中风受试者1494万人,每年新发病例330万人。近几年,中国已成为全球卒中第一大国,每12秒新发脑卒中1例。全国现有大约700万受试者,且以每年8.7%的速度增长,到2030年预计全国脑卒中受试者人数达到3177万。临床发现,75%以上的脑卒中受试者表现为不同程度肢体运动功能障碍进而严重影响受试者的生活质量,给受试者、家庭和社会造成了沉重的负担。人体的上肢功能占全身功能的60%,手功能占上肢功能的90%。存活的脑卒中受试者55%-75%遗留有肢体功能障碍,其中手功能障碍受试者约占80%,已成为脑卒中引发的主要病症之一,严重影响受试者生活质量和活动能力。具体表现为手指关节弯曲伸展困难,不能进行正常的抓握、伸展等动作。依照当前的医学水平还没有能力完成修复损伤的神经系统,只能通过一些其它辅助手段来改善或替代受损神经系统功能。据相关实践证明,偏瘫受试者通过及时、主动的运动康复训练,在一定程度上可以恢复肢体的简单运动能力、甚至痊愈。
然而,传统手部运动功能障碍受试者的康复训练,主要是采取医师一对一式康复治疗或借助简单康复器械,不仅劳动强度大、费用昂贵,而且训练效果差强人意,尤其针对康复后期受试者,康复过程枯燥乏味,受试者参与主动性差,使得康复周期延长。近几年,脑卒中后手部运动功能障碍康复治疗技术不断出现,如强迫性运动疗法、机器人辅助治疗技术、经颅磁刺激技术、运动想象疗法等。其中,基于肌电的手部康复训练方法可以显著改善脑卒中受试者手部运动功能,并且通过惯性信息可以对受试者手部运动功能进行评估。但由于康复训练模式单一、交互性差,无法适应不同受试者、不同康复阶段的康复训练需求,即存在个体适应性差和受试者主动性差的问题,并且对手部运动功能的评价并不完善。
发明内容
本发明需要解决的技术问题是提供一种基于肌电-惯性信息的手部康复训练装置及方法,针对受试者的手部功能障碍问题,通过对受试者肌电-惯性信息的处理分析,进行手部功能障碍康复训练,对受试者手部运动功能进行评估,并通过Leap Motion进行人机交互,使受试者主动式康复训练,加速受试者的手部康复速度与康复效果。
为解决上述技术问题,本发明所采用的技术方案是:一种基于肌电-惯性信息的手部康复训练装置,包括上位机,所述上位机内设置有肌电-惯性康复训练系统,所述上位机通过无线连接有采集患者上肢肌电数据和惯性信息的Delsys肌电-惯性信息采集装置,所述Delsys肌电-惯性信息采集装置包括信号接收器和分别佩戴于受试者健侧手臂以及患侧手臂指伸肌和尺侧腕屈肌位置的Delsys肌电-惯性采集模块;所述Delsys肌电-惯性采集模块将采集的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,所述肌电-惯性康复训练系统将采集的肌电信号进行预处理、特征提取、分类识别后将结果以指令形式通过蓝牙发送给可穿戴康复机械手,所述可穿戴康复机械手辅助受试者进行手部康复训练,所述肌电-惯性康复训练系统通过采集的受试者惯性信息获取受试者运动过程中的姿态数据并运用健侧隐马尔可夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,然后通过归一化处理得出患侧手部相对于健侧手部运动功能的归一化对数似然概率数值,实现肌电与惯性信息相结合方式进行手部康复训练与评估,通过Leap Motion手部跟踪器采集受试者手部动作,并同步到肌电-惯性康复训练系统内的虚拟场景中,通过场景中虚拟手的形式实现受试者可穿戴康复机械手与虚拟场景的交互。
本发明技术方案的进一步改进在于:所述可穿戴康复外骨骼康复机械手包括由柔软的手套构成的内层、由硬材料构成的中间层、驱动手指运动的第三层,所述中间层安装有执行机构、钢丝绳导向器以及刚性板,所述第三层安装有驱动器和钢丝绳。
本发明技术方案的进一步改进在于:所述可穿戴康复外骨骼康复机械手的指尖以及关节处均装有不可拉伸织物,指尖部分装有薄膜压力传感器,手指掌心部位装有弯曲角度传感器。
本发明技术方案的进一步改进在于:一种基于肌电-惯性信息的手部康复训练方法,包括如下步骤:
S1、将Delsys肌电-惯性采集模块佩戴于受试者健侧以及患侧手臂指伸肌和尺侧腕屈肌位置并固定,通过信号接收器将Delsys肌电-惯性采集模块与肌电-惯性康复训练系统无线连接,为受试者佩戴可穿戴康复机械手并接通电源,通过蓝牙将可穿戴康复机械手与肌电-惯性康复训练系统进行连接;
S2、登录肌电-惯性康复训练系统,Delsys肌电-惯性采集模块将采集的健侧的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,开始对受试者进行手部动作康复训练;
S3、建立LF肌电分类模型:受试者根据肌电-惯性康复训练系统的虚拟场景中模型手出现的手部状态,Delsys肌电-惯性采集模块采集受试者健侧手臂指伸肌和尺侧腕屈肌位置肌电信号,通过健侧手部运动带动患侧手部训练的方式进行主动式康复训练,肌电-惯性康复训练系统对采集的肌电信号进行预处理和特征提取;
S4、通过已建立的LF分类模型进行分类,以指令的形式将分类结果通过蓝牙模块发送至可穿戴康复机械手,分别用来控制可穿戴康复机械手的不同训练动作,辅助受试者进行手部康复训练;
S5、建立惯性信号的隐马尔科夫模型:采集患侧手部运动时的惯性信号,通过隐马尔科夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,对患侧手部运动功能进行评价;
S6、通过Leap Motion手部跟踪器采集受试者手部动作,经过分析处理后,完成手势识别,并在虚拟场景中以虚拟手的实时动作形式展示出来,作为视觉反馈提受试者康复训练的主动性时,形成闭环的康复训练;
S7、根据受试者情况设置训练时间,训练结束后,生成训练报表并打印存档,退出康复训练系统。
本发明技术方案的进一步改进在于:所述步骤S3中肌电-惯性康复训练系统对采集的肌电信号进行去基线漂移,通过50Hz陷波器去除50Hz工频干扰。
本发明技术方案的进一步改进在于:所述步骤S3中肌电-惯性康复训练系统对肌电信号特征提取包括均方根值、斜率标志变更和肌电积分值的时域特征,以及中心频率、平均功率频率和平均频域的频域特征。
本发明技术方案的进一步改进在于:所述平均功率频率计算公式为:
其中,p(f)代表肌电信号的功率谱密度函数;
MPF的协同收缩率MPF_CR计算公式如下:
本发明技术方案的进一步改进在于:所述步骤S3中LF肌电分类模型的损失函数公式为J(θ),对其进行二阶泰勒展开:
其中,当θ=θ0时,α=0,此时求J(θ)的最小值,对θ直接进行求导:
J′(θ)=0+J′(θ0)+(θ-θ0)*J″(θ0),
令J′(θ0)=0可以得到:
加入学习率可得:
本发明技术方案的进一步改进在于:所述步骤S5中肌电-惯性康复训练系统对采集的惯性信号采用0-200Hz的巴特沃斯滤波器进行低通滤波预处理。
本发明技术方案的进一步改进在于:所述步骤S5中惯性信号特征提取过程为:信号x(t)经过N层分解,分成2N个子空间,第n(n=1,2,3...2n)个子空间信号的重构表示:
第n个子空间重构信号对应的能量En的计算公式为:
信号分解的各个子空间叠加得到信号总的小波包能量为:
其中,WPE代表小波包能量小波包总能量,反映信号不同频段内的总能量大小。
由于采用了上述技术方案,本发明取得的技术进步是:
1、本发明将肌电与惯性信息结合起来,通过采集受试者的肌电和惯性信号进行预处理、特征提取及模式识别,将肌电信号的识别结果以十六进制指令的形式传输到可穿戴康复机械手,通过可穿戴机械手辅助脑卒中后手功能障碍患者进行手部康复训练。同时对惯性信号进行预处理与特征提取,面向不同动作分别对训练健侧手部运动功能建立隐马尔科夫模型,运用健侧手部隐马尔科夫模型计算患侧手部运动功能对数似然概率,然后通过归一化处理得到患侧手部相对健侧手部运动功能归一化似然对数概率,从而对患者手部康复训练情况进行评估。并通过Leap Motion在场景中进行人机交互,为脑卒中患者提供一种肌电-惯性信息的手部康复训练装置;
2、本发明与传统康复训练方法相比,通过对患者肌电-惯性信息的处理分析,进行手部功能障碍康复训练,对患者手部运动功能进行评估,并通过Leap Motion进行人机交互,通过这种视觉反馈也很大程度的提高患者手部康复训练的主动性。
附图说明
图1为本发明提出的系统原理图;
图2为本发明的肌电信号采集位置示意图;
图3为本发明训练阶段实验范式示意图;
图4为本发明可穿戴康复机械手机构图;
图5(a)为本发明虚拟场景图一;
图5(b)为本发明虚拟场景图二;
图5(c)为本发明虚拟场景图三;
图5(d)为本发明虚拟场景图四;
图5(e)为本发明虚拟场景图五;
图6为本发明所述康复训练方法实施流程图。
具体实施方式
下面结合实施例对本发明做进一步详细说明:
如图1~图6所示,本发明提出一种基于肌电-惯性信息的手部康复训练装置,包括上位机,所述上位机内设置有肌电-惯性康复训练系统,所述上位机通过无线连接有采集患者上肢肌电数据和惯性信息的Delsys肌电-惯性信息采集装置,所述Delsys肌电-惯性信息采集装置包括信号接收器和分别佩戴于受试者健侧手臂以及患侧手臂指伸肌和尺侧腕屈肌位置的Delsys肌电-惯性采集模块;所述Delsys肌电-惯性采集模块将采集的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,所述肌电-惯性康复训练系统将采集的肌电信号进行预处理、特征提取、分类识别后将结果以指令形式通过蓝牙发送给可穿戴康复机械手,所述可穿戴康复机械手辅助受试者进行手部康复训练,能实现手部每根手指的独立运动,能够辅助各个手指关节伸展和弯曲,可穿戴康复机械手与肌电-惯性康复训练系统相结合,用于受试者的康复训练。
所述肌电-惯性康复训练系统通过采集的受试者惯性信息获取受试者运动过程中的姿态数据并运用健侧隐马尔可夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,然后通过归一化处理得出患侧手部相对于健侧手部运动功能的归一化对数似然概率数值,实现肌电与惯性信息相结合方式进行手部康复训练与评估,通过Leap Motion手部跟踪器采集受试者手部动作,并同步到肌电-惯性康复训练系统内的虚拟场景中,通过场景中虚拟手的形式实现受试者可穿戴康复机械手与虚拟场景的交互,刺激受试者进行主动的康复训练,加速了受试者手部康复速度,提高患者手部康复训练的主动性与康复训练的效果,具体流程如图6所示。
可穿戴康复机械手总共由三层结构构成:内层是柔软的手套,增加佩戴者的舒适度;第二层由硬材料构成,执行机构、电缆导向器以及刚性板安装在上面,其中刚性板防止不必要的横向变形;第三层是驱动手指的实际外骨骼系统(驱动器和钢丝绳)。为了克服手套拉伸问题,在指尖以及关节处均装有类似顶针的不可拉伸织物;指尖部分装有薄膜压力传感器,手指掌心部位装有弯曲角度传感器,其中,导线槽及顶针均使用3D打印机制作,采用FIRGELLI L12系列直线电机作为动力源,使用鲍登线作为驱动绳。
在加工制造时,可通过3D扫描逆向工程实现患者个性定制可穿戴设备,3D打印零件采用进口的高韧性树脂。
实施方式:
一种基于肌电-惯性信息的手部康复训练方法,包括如下步骤:
S1、选取一个安静舒适的实验环境,受试者位于电脑屏幕前约一米处,打开上位机与Delsys采集设备进行无线连接,为受试者佩戴Delsys肌电-惯性采集模块分别佩戴于受试者健侧手臂以及患侧手臂指伸肌和尺侧腕屈肌位置处进行固定,健侧手臂以及患侧手臂佩戴形式均如图2所示:10为尺侧腕屈肌,20为指伸肌;图2左侧,手臂手心向外,Delsys肌电-惯性采集模块贴在尺侧腕屈肌位置,图2右侧,手臂手心向里,将另一块Delsys肌电-惯性采集模块贴在指伸肌位置。接通可穿戴康复机械手电源,通过蓝牙与上位机进行连接,为受试者患侧佩戴可穿戴康复机械手。
S2、登录虚拟康复训练系统,肌电-惯性采集模块将采集的健侧的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,开始对受试者进行手部动作康复训练;
S3、建立LF肌电分类模型:受试者根据需求选择主动式康复训练或被动式康复训练,模型建立阶段应尽量避免提示外的其他实际动作。受试者根据肌电-惯性康复训练系统的虚拟场景中模型手出现的手部状态,Delsys肌电-惯性采集模块采集受试者健侧手臂指伸肌和尺侧腕屈肌位置肌电信号,通过健侧手臂指伸肌和尺侧腕屈肌位置运动带动患侧手臂指伸肌和尺侧腕屈肌位置训练的方式进行主动式康复训练,肌电-惯性康复训练系统对采集的肌电信号进行预处理和特征提取,通过LF肌电分类模型进行分类;
肌电信号预处理:由于原始的肌电信号存在高频噪声以及工频干扰等,所以需要对肌电信号进行预处理。本发明对采集的肌电信号进行去基线漂移,然后通过50Hz陷波器去除50Hz工频干扰。
肌电信号特征提取:使用阈值法对信号进行活动段检测,之后对活动段信号提取包括均方根值、斜率标志变更和肌电积分值的时域特征,以及中心频率、平均功率频率和平均频域的频域特征构成特征矩阵。平均功率频率是一种能够描述肌电信号的频域特征,它的大小和运动单位动作电位的一致化水平、传导速度快慢等关联,其计算公式为:
其中,p(f)代表肌电信号的功率谱密度函数。
MPF的协同收缩率(MPF_CR)计算公式如下:
LF分类模型:损失函数为J(θ),对其进行二阶泰勒展开
其中误差α是在Δθ→0即θ→θ0的前提下才趋于0,所以如果(θ-θ0)太大,误差会比较大。
这里要求J(θ)的最小值,对θ直接进行求导:
J′(θ)=0+J′(θ0)+(θ-θ0)*J″(θ0),
令J′(θ0)=0可以得到:
加入学习率可得:
S4、通过已建立的LF分类模型进行分类,以指令的形式将分类结果通过蓝牙模块发送至可穿戴康复机械手,分别用来控制可穿戴康复机械手的不同训练动作,辅助受试者进行手部康复训练;
如图3所示,要求受试者根据屏幕提示进行手部康复训练。在开始训练时,屏幕提示保持静止阶段,此过程受试者尽量避免其他非屏幕中提示动作,维持肌电-惯性信号的平稳,在第2s时,屏幕出现请匀速进行握拳动作,第10s时完成一次手部康复训练,然后休息2s,重复训练10次,肌电训练模型建立阶段结束;
S5:建立惯性信号的隐马尔科夫模型:采集患侧手部运动时的惯性信号,通过隐马尔科夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,对患侧手部运动功能进行评价;
惯性信号预处理:原始的肌电信号存在高频噪声以及工频干扰等,所以需要对惯性信号进行预处理。本项目采用0-200Hz的巴特沃斯滤波器进行低通滤波。
惯性信号采集与特征提取:信号x(t)经过N层分解,可以分成2N个子空间,第n(n=1,2,3...2n)个子空间信号的重构可以表示
由于小波函数具有正交性,且小波包系数与信号的能量紧密关联,它具有能量的量纲,信号小波包系数的数值可以反映出与之对应频段能量的大小,因此第n个子空间重构信号对应的能量En的计算公式为:
信号分解的各个子空间叠加可得信号总的小波包能量为
其中,WPE代表小波包能量小波包总能量(Wavelet Packet Energy)的缩写,可以反映信号不同频段内的总能量大小。
角速度、角度等惯性运动学参数在一定程度上能够反映出动作的执行能力,上肢健康者可以高质量按照规范完成既定动作,而上肢功能障碍患者由于缺少一部分肌肉运动功能,导致肢体发生抖动无法按照标准轨迹完成动作,功能障碍情况严重者甚至直接不能完成动作。因此,准确测量患者运动过程中肢体的角速度、角度惯性信息,然后与标称值作对比,可以反映出患者的运动及平衡能力。
可穿戴康复机械手控制:将受试者运动想象分类结果,通过上位机以指令形式发送给可穿戴康复机械手,控制可穿戴康复机械手辅助患者进行康复训练,如图4所示,所述可穿戴康复机械手可以实现手部每根手指单独运动,能够辅助各个手指关节伸展和弯曲,并通过蓝牙4.2接收上位机两个十六进制指令。如图4所示,①为限位卡扣,②为肌腱腱鞘,③为驱动电机,④为导线槽。
肌电-惯性信息在线训练阶段:当虚拟场景中的模型手变为握拳状态时,受试者通过已训练好的LF肌电分类模型进行当前动作分类识别,将分类结果以指令形式发送给可穿戴康复机械手,通过健侧手部的动作带动患侧手部的训练,控制可穿戴康复机械手辅助手功能障碍患者进行康复训练。同时当患者患侧机械手辅助训练时,采集患者患侧训练时的惯性数据进行分析,并通过建立好的隐马尔科夫模型计算出患侧相对于健侧运动功能对数似然概率,以此对康复训练进行评价,以姿态评估相似度的数值反馈给患者。
虚拟场景:如图5(a)、5(b)、5(c)、5(d)、5(e)所示,利用Unity3D游戏开发引擎搭建了虚拟场景,引导受试者进行肢体运动,同时通过虚拟手与场景进行人机交互。
进一步地,在图5(a)所示的虚拟场景中,通过诸如“握拳”等文字提示,同时播放对应文字内容的语音,虚拟场景中模型手为握拳状态来引导受试者进行相应的肢体运动。如果LF分类模型对受试者手部运动的分类识别结果为握拳,则将识别结果以指令形式发送至可穿戴康复机械手辅助受试者进行手部动作康复训练;分类识别结果为伸展则机械手辅助受试者进行伸展训练。其中a1-训练计时时间,a2-文字提示,a3-语音开,a4-模型手,a5-苹果模型,a6-虚拟手,a7-姿态评估相似度。
进一步地,当模型手变为握拳状态时,受试者健侧手部进行抓握动作,通过上位机对健侧肌电信号的分类识别后,将抓握动作以十六进制指令的形式发送至可穿戴康复机械手,带动受试者患侧手部的康复训练。通过这种健侧带动患侧主动式的康复训练,大大提高了手功能患者的康复训练效果。同时,采集训练时患者患侧的惯性信号,通过对惯性信号进行特征提取后进行归一化处理,计算患侧相对于健侧运动功能对数似然概率,用于对患侧手部运动功能的评价,以更正确的对下一次训练做出正确合理的方案。
S6:通过Leap Motion手部跟踪器采集受试者手部动作,经过分析处理后,完成手势识别,并在虚拟场景中以虚拟手的实时动作形式展示出来,对受试者产生一种视觉反馈,达到一种闭环反馈康复训练和物理疗法同时进行的效果,提高了手功能障碍患者康复训练的主动性和效率。
S7:根据受试者情况设置训练时间,训练结束后,生成训练报表并打印存档,退出康复训练系统。
本发明将肌电与惯性信息结合起来,通过采集受试者的肌电和惯性信号进行预处理、特征提取及模式识别,将肌电信号的识别结果以十六进制指令的形式传输到可穿戴康复机械手,通过可穿戴机械手辅助脑卒中后手功能障碍患者进行手部康复训练。同时对惯性信号进行预处理与特征提取,面向不同动作分别对训练健侧手部运动功能建立隐马尔科夫模型,运用健侧手部隐马尔科夫模型计算患侧手部运动功能对数似然概率,然后通过归一化处理得到患侧手部相对健侧手部运动功能归一化似然对数概率,从而对患者手部康复训练情况进行评估。并通过Leap Motion在场景中进行人机交互,为脑卒中患者提供一种肌电-惯性信息的手部康复训练装置。
本发明与传统康复训练方法相比,通过对患者肌电-惯性信息的处理分析,进行手部功能障碍康复训练,对患者手部运动功能进行评估,并通过Leap Motion进行人机交互,通过这种视觉反馈也很大程度的提高患者手部康复训练的主动性。
Claims (3)
1.一种基于肌电-惯性信息的手部康复训练装置,其特征在于:包括上位机,所述上位机内设置有肌电-惯性康复训练系统,所述上位机通过无线连接有采集患者上肢肌电数据和惯性信息的Delsys肌电-惯性信息采集装置,所述Delsys肌电-惯性信息采集装置包括信号接收器和分别佩戴于受试者健侧手臂以及患侧手臂指伸肌和尺侧腕屈肌位置的Delsys肌电-惯性采集模块;所述Delsys肌电-惯性采集模块将采集的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,所述肌电-惯性康复训练系统将采集的肌电信号进行预处理、特征提取、分类识别后将结果以指令形式通过蓝牙发送给可穿戴康复机械手,所述可穿戴康复机械手辅助受试者进行手部康复训练,所述可穿戴康复机械手包括由柔软的手套构成的内层、由硬材料构成的中间层、驱动手指运动的第三层,所述中间层安装有执行机构、钢丝绳导向器以及刚性板,所述第三层安装有驱动器和钢丝绳,所述可穿戴康复机械手的指尖以及关节处均装有不可拉伸织物,指尖部分装有薄膜压力传感器,手指掌心部位装有弯曲角度传感器,所述肌电-惯性康复训练系统通过采集的受试者惯性信息获取受试者运动过程中的姿态数据并运用健侧隐马尔可夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,然后通过归一化处理得出患侧手部相对于健侧手部运动功能的归一化对数似然概率数值,实现肌电与惯性信息相结合方式进行手部康复训练与评估,通过Leap Motion手部跟踪器采集受试者手部动作,并同步到肌电-惯性康复训练系统内的虚拟场景中,通过场景中虚拟手的形式实现受试者可穿戴康复机械手与虚拟场景的交互;
基于肌电-惯性信息的手部康复训练装置的训练方法,包括如下步骤:
S1、将Delsys肌电-惯性采集模块佩戴于受试者健侧以及患侧手臂指伸肌和尺侧腕屈肌位置并固定,通过信号接收器将Delsys肌电-惯性采集模块与肌电-惯性康复训练系统无线连接,为受试者佩戴可穿戴康复机械手并接通电源,通过蓝牙将可穿戴康复机械手与肌电-惯性康复训练系统进行连接;
S2、登录肌电-惯性康复训练系统,Delsys肌电-惯性采集模块将采集的健侧的肌电信号和惯性信号通过信号接收器无线传输至肌电-惯性康复训练系统,开始对受试者进行手部动作康复训练;
S3、建立LF肌电分类模型:受试者根据肌电-惯性康复训练系统的虚拟场景中模型手出现的手部状态,Delsys肌电-惯性采集模块采集受试者健侧手臂指伸肌和尺侧腕屈肌位置肌电信号,通过健侧手部运动带动患侧手部训练的方式进行主动式康复训练,肌电-惯性康复训练系统对采集的肌电信号进行预处理和特征提取,肌电-惯性康复训练系统对肌电信号特征提取包括均方根值、斜率标志变更和肌电积分值的时域特征,以及中心频率、平均功率频率和平均频域的频域特征;平均功率频率计算公式为:
其中,p(f)代表肌电信号的功率谱密度函数,f代表肌电信号的频率,fp(f)指代f乘以p(f);
MPF的协同收缩率MPF_CR计算公式如下:
其中,MPFantagonist代表拮抗肌的平均功率频率,MPFagonist代表主动肌的平均功率频率;
LF肌电分类模型的损失函数公式为J(θ),对其进行二阶泰勒展开:
其中,J(θ)表示LF肌电分类模型的损失函数,θ表示LF肌电分类模型损失函数的影响参数,θ0是使得J(θ)取极小值的估计值,α是指对LF肌电分类模型损失函数进行二阶泰勒展开之后的余项;
当θ=θ0时,α=0,此时求J(θ)的最小值,对θ直接进行求导:
J′(θ)=0+J′(θ0)+(θ-θ0)*J″(θ0),
令J′(θ)=0可以得到:
加入学习率可得:
其中,学习率为优化算法的调整参数,学习率决定每次迭代的步长,同时朝着损失函数的最小值前进;
S4、通过已建立的LF分类模型进行分类,以指令的形式将分类结果通过蓝牙模块发送至可穿戴康复机械手,分别用来控制可穿戴康复机械手的不同训练动作,辅助受试者进行手部康复训练;
S5、建立惯性信号的隐马尔科夫模型:采集患侧手部运动时的惯性信号,通过隐马尔科夫模型计算患侧手部相对于健侧手部运动功能对数似然概率,对患侧手部运动功能进行评价,惯性信号特征提取过程为:信号x(t)经过N层分解,分成2N个子空间,第n(n=1,2,3...2n)个子空间信号的重构表示:
第n个子空间重构信号对应的能量En的计算公式为:
信号分解的各个子空间叠加得到信号总的小波包能量为:
其中,WPE代表小波包能量,反映信号不同频段内的总能量大小;
S6、通过Leap Motion手部跟踪器采集受试者手部动作,经过分析处理后,完成手势识别,并在虚拟场景中以虚拟手的实时动作形式展示出来,作为视觉反馈提受试者康复训练的主动性时,形成闭环的康复训练;
S7、根据受试者情况设置训练时间,训练结束后,生成训练报表并打印存档,退出康复训练系统。
2.根据权利要求1所述的一种基于肌电-惯性信息的手部康复训练装置,其特征在于:所述步骤S3中肌电-惯性康复训练系统对采集的肌电信号进行去基线漂移,通过50Hz陷波器去除50Hz工频干扰。
3.根据权利要求1所述的一种基于肌电-惯性信息的手部康复训练装置,其特征在于:所述步骤S5中肌电-惯性康复训练系统对采集的惯性信号采用0-200Hz的巴特沃斯滤波器进行低通滤波预处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111231927.2A CN113940856B (zh) | 2021-10-22 | 2021-10-22 | 一种基于肌电-惯性信息的手部康复训练装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111231927.2A CN113940856B (zh) | 2021-10-22 | 2021-10-22 | 一种基于肌电-惯性信息的手部康复训练装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113940856A CN113940856A (zh) | 2022-01-18 |
CN113940856B true CN113940856B (zh) | 2023-01-03 |
Family
ID=79332136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111231927.2A Active CN113940856B (zh) | 2021-10-22 | 2021-10-22 | 一种基于肌电-惯性信息的手部康复训练装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113940856B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114392126B (zh) * | 2022-01-24 | 2023-09-22 | 佳木斯大学 | 一种残疾儿童手部配合训练系统 |
CN114767464B (zh) * | 2022-03-29 | 2023-06-23 | 东北大学 | 一种基于单目视觉引导的多模式手部康复系统及方法 |
CN114847978B (zh) * | 2022-05-26 | 2024-09-13 | 南京理工大学 | 一种基于肌肉功能网络的康复评估方法 |
CN115399791B (zh) * | 2022-06-28 | 2024-06-14 | 天津大学 | 基于肌电运动多数据融合的卒中下肢功能评估方法及系统 |
CN114917479B (zh) * | 2022-06-30 | 2023-04-07 | 深圳英智科技有限公司 | 一种经颅磁脉冲干扰滤除方法、系统及电子设备 |
CN115054903A (zh) * | 2022-06-30 | 2022-09-16 | 北京工业大学 | 一种用于脑卒中患者主动康复的虚拟游戏康复系统及方法 |
CN115177273B (zh) * | 2022-06-30 | 2024-04-19 | 北京工业大学 | 基于多头再注意力机制的运动意图识别方法及系统 |
CN115444712B (zh) * | 2022-09-05 | 2024-09-20 | 中国科学院长春光学精密机械与物理研究所 | 一种多自由度手功能康复装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10758394B2 (en) * | 2006-09-19 | 2020-09-01 | Myomo, Inc. | Powered orthotic device and method of using same |
JP2018519004A (ja) * | 2015-06-15 | 2018-07-19 | マイオモ インコーポレイテッド | 電動矯正デバイスおよびそれを使用する方法 |
CN105832343B (zh) * | 2016-05-22 | 2020-04-03 | 上海大学 | 多维视觉手功能康复定量评估系统和评估方法 |
CN107224669A (zh) * | 2017-05-24 | 2017-10-03 | 上海理工大学 | 自适应穿戴式柔顺外骨骼康复机械手的控制系统 |
CN107378944B (zh) * | 2017-06-20 | 2020-12-25 | 东南大学 | 一种基于主成分分析法的多维表面肌电信号假手控制方法 |
CN108478384A (zh) * | 2018-01-29 | 2018-09-04 | 上海师范大学 | 一种穿戴式手功能康复训练装置 |
CN109481226A (zh) * | 2018-09-27 | 2019-03-19 | 南昌大学 | 一种双手跟踪式多自由度软体手指康复机器人及使用方法 |
CN111685966B (zh) * | 2019-10-15 | 2024-04-19 | 东北林业大学 | 一种形状记忆合金丝驱动的手指运动功能康复装置 |
CN111643315B (zh) * | 2020-04-27 | 2021-09-03 | 东南大学 | 一种基于绳索驱动的柔性手部功能康复装置 |
CN111938991A (zh) * | 2020-07-21 | 2020-11-17 | 燕山大学 | 一种双主动控制模式的手部康复训练装置及训练方法 |
CN112589771B (zh) * | 2020-12-04 | 2022-05-03 | 西安交通大学 | 一种航天员舱外活动手部助力外骨骼 |
CN113476799B (zh) * | 2021-07-06 | 2022-04-19 | 燕山大学 | 基于肌电和惯性信息的手部训练及评估方法 |
-
2021
- 2021-10-22 CN CN202111231927.2A patent/CN113940856B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113940856A (zh) | 2022-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113940856B (zh) | 一种基于肌电-惯性信息的手部康复训练装置及方法 | |
CN108814597B (zh) | 一种基于运动信息与肌电交互的康复训练评测方法及系统 | |
CN111938991A (zh) | 一种双主动控制模式的手部康复训练装置及训练方法 | |
JP5113520B2 (ja) | 脳の可塑性による運動訓練 | |
CN103764021B (zh) | 一种用于协同神经-生理学修复和/或功能提升的系统、仪器、装置和方法 | |
CN111150935B (zh) | 一种肌电颈部按摩装置以及控制方法 | |
CN107440887B (zh) | 全仿生类脑智能手部电子机械外骨骼及其综合控制系统 | |
CN111110982A (zh) | 基于运动想象的手部康复训练方法 | |
CN114822761A (zh) | 基于肌肉协同和变刚度阻抗控制的手腕部康复训练系统 | |
CN109907940A (zh) | 一种基于手腕关节和康复手套的上肢康复系统及方法 | |
US20220187913A1 (en) | Neurorehabilitation system and neurorehabilitation method | |
CN114206292A (zh) | 具有意图感知功能的手功能康复装置 | |
CN114021604A (zh) | 一种基于3d虚拟现实技术实时反馈的运动想象训练系统 | |
CN110400618B (zh) | 一种基于人体运动结构特征的三维步态生成方法 | |
CN113730190A (zh) | 一种三维空间运动的上肢康复机器人系统 | |
TW202243664A (zh) | 沉浸式多姿態主被動式肢體協調復健訓練系統 | |
Li et al. | Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion | |
Mukherjee et al. | EEG sensor driven assistive device for elbow and finger rehabilitation using deep learning | |
CN116983185A (zh) | 一种脑卒中患者上肢功能重建系统 | |
CN110090421A (zh) | 基于脑机接口和互联网技术的智能脑卒中康复机器人系统 | |
Wang et al. | Research progress of rehabilitation exoskeletal robot and evaluation methodologies based on bioelectrical signals | |
CN215689579U (zh) | 基于脑机接口的手功能康复训练系统 | |
CN115670481A (zh) | 意识关联康复机器臂运动意愿提取及协同控制方法 | |
CN209253488U (zh) | 一种全仿生类脑智能手部电子机械外骨骼及其控制系统 | |
CN113476799B (zh) | 基于肌电和惯性信息的手部训练及评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |