CN110694169A - 基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统 - Google Patents
基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统 Download PDFInfo
- Publication number
- CN110694169A CN110694169A CN201910870341.7A CN201910870341A CN110694169A CN 110694169 A CN110694169 A CN 110694169A CN 201910870341 A CN201910870341 A CN 201910870341A CN 110694169 A CN110694169 A CN 110694169A
- Authority
- CN
- China
- Prior art keywords
- module
- motor
- signals
- stimulation
- regression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000638 stimulation Effects 0.000 title claims abstract description 72
- 210000005036 nerve Anatomy 0.000 title claims abstract description 36
- 206010061296 Motor dysfunction Diseases 0.000 title claims abstract description 35
- 210000003169 central nervous system Anatomy 0.000 title claims abstract description 17
- 230000001939 inductive effect Effects 0.000 title claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims abstract description 84
- 210000004556 brain Anatomy 0.000 claims abstract description 37
- 230000009471 action Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 230000001537 neural effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000010801 machine learning Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000008054 signal transmission Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000001054 cortical effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000003066 decision tree Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000007383 nerve stimulation Effects 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 230000000763 evoking effect Effects 0.000 claims 1
- 230000006403 short-term memory Effects 0.000 claims 1
- 241000282414 Homo sapiens Species 0.000 abstract description 12
- 230000007659 motor function Effects 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000007996 neuronal plasticity Effects 0.000 abstract description 5
- 230000033228 biological regulation Effects 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 13
- 208000020431 spinal cord injury Diseases 0.000 description 6
- 206010001497 Agitation Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 208000006011 Stroke Diseases 0.000 description 4
- 208000029028 brain injury Diseases 0.000 description 4
- 210000003710 cerebral cortex Anatomy 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000005013 brain tissue Anatomy 0.000 description 3
- 208000026106 cerebrovascular disease Diseases 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004064 dysfunction Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000007634 remodeling Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 206010019468 Hemiplegia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 238000007917 intracranial administration Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 208000030090 Acute Disease Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 208000014094 Dystonic disease Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000010118 dystonia Diseases 0.000 description 1
- 238000002566 electrocorticography Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000035474 group of disease Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000003767 neural control Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036407 pain Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000005070 sphincter Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/3606—Implantable neurostimulators for stimulating central or peripheral nerve system adapted for a particular treatment
- A61N1/36067—Movement disorders, e.g. tremor or Parkinson disease
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/3606—Implantable neurostimulators for stimulating central or peripheral nerve system adapted for a particular treatment
- A61N1/36103—Neuro-rehabilitation; Repair or reorganisation of neural tissue, e.g. after stroke
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/36128—Control systems
- A61N1/36135—Control systems using physiological parameters
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Hospice & Palliative Care (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Rehabilitation Therapy (AREA)
- Psychology (AREA)
- Electrotherapy Devices (AREA)
Abstract
本发明公开了一种基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,属于面向运动功能重建的康复生物医学领域,即通过对大脑运动区域神经电生理信号和运动信息进行监测分析,能够对所采集到的神经电生理信号和运动信息进行特征分析和实时解码,模拟动作的轨迹或预判运动意图,并利用电极自动实施闭环反馈神经电刺激调控,进而有效改善运动功能障碍患者动作的协调性与准确性。本发明通过神经可塑性原理影响大脑各个区域之间的相互连接,在大脑中枢运动控制系统和人体运动执行相关系统之间建立人工闭环假体,进而实现运动功能障碍患者凭借自主运动意图驱动动作发生,达到康复训练的目的,对于运动功能障碍患者具有重要意义。
Description
技术领域
本发明属于康复生物医学领域,涉及一种基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统。
背景技术
运动功能障碍主要是指自主运动的能力发生障碍,动作不连贯、不能完成,或完全不能随意运动,其中所占比例较大的为脊髓损伤和脑血管疾病:脊髓损伤(spinal cordinjury,SCI)是指由于外界直接或间接因素导致,在损害的相应节段出现运动、感觉和括约肌功能障碍,肌张力异常及病理反射等相应改变的疾病。脊髓损伤是脊柱损伤最严重的并发症,往往导致损伤节段以下肢体严重的功能障碍;脑血管疾病是发生在脑部血管,因颅内血液循环障碍而造成脑组织损害的一组疾病。生活中所讲的“脑血管意外”、“卒中”和“中风”都属于脑血管疾病。临床上以急性发病居多,多为中、老年患者,表现为半身不遂、言语障碍等,具有高发病率、高致残率和高致死率的特点,对人类具有重大威胁。随着世界各国经济水平的发展,运动功能障碍发病率呈现逐年增高的趋势,该疾病不仅会给患者本人带来身体和精神双重性的巨大痛苦,还会对整个社会造成巨大的经济负担,正成为危害我国乃至世界人类健康的杀手。因此寻找一种既安全有效,又无痛微创的治疗康复手段,对帮助患者恢复肢体运动功能,提高生活自理能力,减轻社会负担具有重大意义。
临床中治疗运动功能障碍的方法有很多,在运动功能恢复方面,功能电刺激(Functional Electrical Stimulation,FES)技术被普遍认为是一种有效的临床工具。FES技术是在瘫痪肢体处安装刺激装置,通过预定程序的电脉冲序列来刺激失去神经控制的肌肉收缩,从而产生肢体运动,以矫正或替代肢体所丧失的运动功能。FES技术上本质上相当于人工重建运动神经(故FES康复训练也称为运动神经重建)。但迄今为止,FES技术仅限于对外周肌肉做刺激,在刺激精度上并未能达到较好的效果,对于中枢神经系统更多地是起到反馈的作用,并非直接对中枢神经系统产生影响。故现有的FES技术具有自适应差、易受干扰、难以学习掌握等致命弱点,严重制约了运动障碍患者的运动神经重建效果。究其原因在于被动式的治疗方式难以对中枢运动神经环路进行重塑改善,只有对受损侧肢体进行大量有针对性的主动训练才能使得大脑皮层运动神经环路功能发生有效重塑。因此,如何利用技术手段来实现对大脑皮层,特别是运动神经环路功能的重塑是目前运功功能障碍患者运动能力康复技术研究中的热点问题。
来自动物神经生理学和神经解剖学实验的新证据,以及人类的神经影像学研究表明,大脑各个区域之间,功能和结构相互连接关系极为紧密。大脑皮层较远位置不同脑区之间的通信联系,是通过神经元的同步放电来实现神经元网络中的功能性耦合。因此,即使只是大脑的独立区域受到损伤,未受损伤区域之间的相互连接也有可能被破坏,进而导致许许多多脑损伤后会持续存在的功能障碍。但同样地,大脑各个区域之间也具备可塑性的相互连接。这也成为大脑受损后,进行运动功能恢复的切入点与突破口。
脑-机-脑接口技术的发展正是从这一研究给予运动功能障碍康复治疗更多的选择与可能。脑-机-脑接口技术(Brain-Machine-Brain Interfaces,BMBI)是大脑与外部设备之间直接的连接通路,通过在中枢神经特定区域植入不同类型的电极,对大脑的电生理信号进行获取和模式识别。另一方面,BMBI技术可以利用植入于中枢神经系统的电极实施电刺激调控相关神经元的活动产生对应的控制信号,以实现与外部环境的互动,从而重塑患者的运动功能。虽然目前还没有方法可以直接改变大脑各个区域之间的功能连接,用以恢复正常的通信连接模式,但由脑-机-脑接口技术设想,在大脑某一部位受到损伤后,可以基于神经可塑性原理影响大脑各个区域之间的相互连接,依托于脑-机-脑接口技术和神经调控技术,通过采集受损脑区和运动相关区域的信息,在大脑的中枢运动控制系统和人体运动执行相关系统之间构建人工闭环神经桥接假体,调节人体运动执行相关系统的兴奋性,进而重塑运动神经环路,实现运动功能障碍患者凭借自主运动意图驱动运动动作发生,达到中枢神经系统的自主康复目的。
发明内容
本发明的主旨是克服现有技术的不足,提出一种基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,将神经接口系统用于脑损伤康复过程。这种神经修复的脑修复方法可以通过在大脑皮层不同脑区之间建立通信联系进而促进脑损伤后的康复过程,实现受损功能的恢复。该项发明对中风后的偏瘫患者及脊髓损伤患者康复训练具有重要意义,更加广泛地,也适用于脑损伤后留下永久运动和认知障碍的个体。
本发明提出的技术方案如下:一种基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,基于神经可塑性原理影响大脑各个区域之间的相互连接,通过采集受损脑区周边和运动相关区域的信息,在大脑的中枢运动控制系统和人体运动执行相关系统之间构建人工闭环神经桥接假体,调节人体运动执行相关系统的兴奋性,进而重塑运动神经环路,实现运动功能障碍患者凭借自主运动意图驱动运动动作发生,达到康复训练的目的。所述系统包括:
多通道信号采集模块,用于多个通道神经电生理信号及运动信息的同步采集与模数转换,并将转换后得到的预定长度的神经电生理信号及运动信息;
闭环控制模块,主要由数据接收模块、数据预处理及特征提取模块、算法选择模块(回归模块或分类模块)、参数配置模块、刺激控制模块组成;
所述数据接收模块接收多通道信号采集模块输出的预定长度的神经电生理信号及运动信息;
所述数据预处理及特征提取模块对预定长度的神经电生理信号及运动信息进行预处理和特征提取,得到标准化的回归数据集或分类数据集,并得到对应数据集在预处理及特征提取时的最优参数;
所述算法选择模块根据所需功能的不同,建立神经信号到运动信息的映射模型,完成基于运动信息的回归模块的构建,实现神经信号对运动信息的回归解码;或完成基于主成分分析与机器学习的分类模块的构建,利用神经电生理信号特征进行解码,对运动动作或意图进行识别;多个通道的信号独立进行是否为动作信号的判断,每个通道的回归或分类结果将会传输给刺激控制模块,
所述参数配置模块用于接收上位机传输的相应配置刺激脉冲参数;
所述刺激控制模块根据参数配置模块的刺激脉冲参数和算法选择模块中每个通道的回归或分类结果向多通道刺激模块传达不同的刺激模式的参数;
信号传输与存储模块,用于接收上位机配置的各模块工作参数和闭环控制模块传输的神经电生理信号和运动信息,并将经过闭环控制模块处理后的神经电生理信号和运动信息进行存储,作为对象个性化数据集;
上位机,用于根据对象个性化数据集训练闭环控制模块中的参数,并与信号传输与存储模块进行实时通信,实现控制指令的传输与数据交换;配置与调整各个模块工作时所需的工作参数,更新闭环控制模块中的各种参数,并实时显示采集到的神经电生理信号与运动信息;
多通道刺激模块,用于根据闭环控制模块得到的结果或者上位机指令,实时改变多通道、多位点电刺激的输出,根据闭环控制模块的检测结果,对电极的神经电刺激进行调控。
进一步的,所述多个通道神经电生理信号包括皮层脑电信号和场电位信号。
进一步的,所述运动信息为运动参数及行为信息,包括肌电信号。
进一步的,所述所需功能为模拟动作的轨迹或预判运动意图。
进一步的,所述算法选择模块采用机器学习回归和分类算法。
进一步的,所述回归模块采用循环神经网络、长短期记忆网络、广义回归神经网络或卡尔曼滤波器,但不限于此,通过回归模块实现神经信号对运动信息的回归解码,模拟动作的轨迹。
进一步的,所述分类模块采用支持向量机、决策树或K—近邻算法,但不限于此,通过分类模块实现神经信号对动作的识别和运动意图的判断。
本发明的有益效果如下:本发明依托于闭环系统——脑-机-脑接口(Brain-Machine-Brain Interfaces,BMBI)技术和神经调控(Neurous Control,NC)技术,利用神经可塑性原理影响大脑各个区域之间的相互连接,通过采集受损脑区和运动相关区域的信息,在大脑的中枢运动控制系统和人体运动执行相关系统之间构建人工闭环神经桥接假体,调节人体运动执行相关系统的兴奋性,进而重塑运动神经环路,实现运动功能障碍患者凭借自主运动意图驱动运动动作发生,达到康复训练的目的。该发明不仅是全新的运动功能障碍患者康复技术概念手段,而且可以推广应用到其他脑组织部位损伤后留下运动功能障碍和认知功能障碍的个体上。本发明能够为运动功能障碍患者开拓全新的康复路径,促进康复生物医学发展。
附图说明
图1为本发明的方法概念示意图;
图2为本发明所采用的闭环微电刺激的运动功能障碍康复系统总流程图;
图3为本发明的系统框图;
图4为本发明的闭环控制模块框图;
图5为本发明的机器学习功能构建流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有的实施方式。相反,它们仅是与如所附中权利要求书中所详述的,本发明的一些方面相一致的系统的例子。本说明书的各个实施例均采用递进的方式描述。
本发明提出一种基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,运动功能障碍患者脑区受到损伤后,利用大脑各个区域之间相互连接的可塑性,通过采集受损脑区和运动相关区域的信号,构建人工闭环神经桥接假体,调节大脑人体运动执行相关系统的兴奋性,在不同脑区之间建立人为的通信联系,实现运动功能的恢复。闭环微电刺激神经假体可以增强皮层远端位置之间的功能连接,并在大脑运动皮层受到损伤后快速恢复并改善运动功能,是一种十分理想的运动功能障碍患者康复方案。
下面结合附图和实例对本发明作进一步详述。
如图1所示,采用本发明提供的康复系统,在大脑某一部位受到损伤后,可以依托于闭环系统——脑-机-脑接口(Brain-Machine-Brain Interfaces,BMBI)技术和神经调控(Neurous Control,NC)技术,利用神经可塑性原理影响大脑各个区域之间的相互连接,通过采集受损脑区和运动相关区域的信息,在大脑的中枢运动控制系统和人体运动执行相关系统之间构建人工闭环神经假体,调节人体运动执行相关系统的兴奋性,进而重塑运动神经环路,实现运动功能障碍患者凭借自主运动意图驱动运动动作发生,达到康复训练的目的,实现运动功能的恢复。
如图2所示,利用神经电生理信号导出运动功能障碍患者的主观运动意图,用以自主地控制肢体运动状态。即在大脑受损脑区周边和运动相关区域埋植记录电极,实时监测相关位点的神经电生理信号和运动信息。通过对所采集到的神经电生理信号和运动信息进行特征分析和实时解码(回归或分类解码),模拟动作的轨迹或预判运动意图,并自动实施闭环反馈神经电刺激调控,进而有效改善运动功能障碍患者动作的协调性与准确性。
如图3所示,本发明其中一个具体实施实例主要包括多通道信号采集模块1,闭环控制模块2,信号传输与存储模块3,上位机4,多通道刺激模块5。
所述的信号采集模块1能够通过连接植入式电极如微丝电极,ECOG电极,阵列电极,深部脑电极等采集神经生理电信号和运动相关区域信号,并将采集到的多通道神经电生理信号和运动信息转换为数字信号,然后将转换后得到的预定长度的神经电生理信号和运动信息发送给闭环控制模块2。
闭环控制模块2在接收到神经电信号和运动信息后对数据进行预处理与特征提取,得到标准化的回归数据集和分类数据集,经过预处理和特征提取后的信号将会进入算法选择模块,算法选择模块是运动信息回归模块或动作分类器,实现神经信号对运动信息的回归或对动作的识别,模拟动作的轨迹或预判运动意图,此回归或分类结果传输到刺激控制模块后,刺激控制模块根据配置好的刺激参数与回归或分类的结果配置不同的电刺激模式以及参数并下传到多通道刺激模块5。多通道可编程刺激模块5根据接收到的刺激参数施加对应的电刺激脉冲到多个位点的对应区域,完成系统对运动障碍的人工闭环干预过程。
信号传输与存储模块3能够将接收到的神经电生理信号和运动信息以有线或者无线的方式传输给上位机4以供信号实时的显示和分析,而在低功耗的运行模式下,信号传输与存储模块3不与上位机建立物理连接,直接将接收到的神经电生理信号和运动信息存储到板载的SD存储器中,以供后续的离线分析与处理。
在本发明的具体实施实例中,所述信号采集模块1能够通过闭环控制模块2接收上位机4下传的配置参数完成模块的初始化。其中根据配置参数中的采样率,滤波参数等选择具有不同生理意义的颅内部的局部场电位(Local Field Potential),皮层脑电信号(Electrocorticography,ECOG)等神经电信号作为闭环神经电刺激调控系统的可靠信息源。具体的,所述信号采集模块1采用小型化的电生理记录集成芯片,芯片输入端自带隔直耦合电容,能滤除电极与脑组织接触产生的极化电压,因此可直接与记录电极相连。芯片内部包括低噪声可编程带宽的信号放大阵列,多路复用模数转换器,可采集EEG、ECoG、LFP、Spike、ECG和EMG等电生理信号。所采集到的模拟信号通过芯片内部的AD转换器输出数字信号,并通过SPI通信方式将转换后的神经信号传输到闭环控制模块2中。
在本发明的具体实施实例中,所述闭环控制模块2进一步的结构如图4所示,该模块主要由数据接收模块2.1、数据预处理及特征提取模块2.2、算法选择模块2.3、参数配置模块2.4及刺激控制模块2.5等5个模块组成。其中数据接收模块2.1作为多通道信号采集模块1、信号传输与存储模块3与闭环控制模块的接口,能够通过SPI通信方式,负责接收与缓存信号采集模块1传输的神经电生理信号和运动信息,以及通过信号传输与存储模块3传输的上位机配置参数等。当数据接收模块2.1中的数据缓冲区得到预定长度的神经信号及运动信息时序序列后,该序列会作为信号预处理及特征提取模块2.2的输入,信号预处理及特征提取模块2.2对该序列进行预处理和特征提取;经过预处理和特征提取后的信号将会进入算法选择模块2.3,算法选择模块2.3实质上是根据所需功能选择运动信息回归模块或动作分类器,实现神经信号对运动信息的回归及对动作的识别,模拟动作的轨迹或预判运动意图;参数配置模块2.4接收上位机传输的相应配置刺激脉冲参数;多个通道的信号数据独立进行是否为动作信号的判断,每个通道的回归或分类结果将会传输给刺激控制模块2.5,刺激控制模块2.5将会根据参数配置模块2.4的刺激脉冲参数和算法选择模块2.3中每个通道的回归或分类结果向多通道刺激模块5传达不同的刺激模式的参数,若有多个位点区域对应的单个或多个通道采集的神经信号判断为动作信号,则该区域将会受到相应的电刺激。
在本发明的具体实施实例中,信号传输与存储模块3可以用WiFi无线或者USB两种式与上位机4进行通信,上传采集到的原电生理信号或者处理后的电生理信号到上位机,或者接收由上位机发送的配置参数与指令等。在低功耗模式下,信号传输模块与上位机不进行通信,而是通过SPI通信方式将采集到的生理信号数据打包发送到板载SD卡中,形成对象个性化数据集以供离线的数据分析。
所述上位机4在具体一实施例中启动后可选择USB模式和无线模式。在USB模式时通过扫描USB设备来连接,在无线模式时,通过信所分配的IP地址进行连接。连接后,通过读配置寄存器中的参数来检查信号采集模块1连接情况与具体的工作参数。同时可通过上位机4界面输入更新信号采集模块1,闭环控制模块2,多通道刺激模块5的工作参数。当所有模块配置正确并初始化成功后,可运行上位机4显示和记录采集的数据。上位机4可进一步对采集的数据进行数字信号处理如预处理和特征提取等。上位机4可手动或运行闭环反馈算法自动触发电刺激指令到多通道可编程刺激模块5。上位机4可配置进入低功耗独立运行模式,即信号传输与存储模块3停止上传数据,Wi-Fi进入休眠,以低采样率进行数据采集、刺激和SD卡存储。
进一步,上位机4采用有线或者无线等通信方式包括但不限于RS232串口、RS485、USB、Zig-Bee、蓝牙、Wi-Fi、UWB与信号传输与存储模块3之间建立物理通路。在本发明的具体实施实例中,系统中上位机4能够通过USB有线与Wi-Fi无线方式与信号传输与存储模块3进行通信。在系统调试或者初始化阶段将系统中可调的配置参数如采样率、滤波器带宽、刺激参数、回归模块或分类器中的各种参数等通过信号存储于传输模块3加载到系统中的其它各模块中。在信号采集时将信号采集板1传输的生理信号打包发送给上位机。在模块中的回归模块或分类器参数更新时,将上位机4离线训练好的算法参数通过上位机4加载到控制闭环模块2中。
在本发明的具体实施实例中,所述多通道刺激模块5能够实时接收由参数配置模块2.4存储的由上位机4传输的刺激参数与刺激控制模块2.5中的检测结果实时得到的不同刺激模式参数,及时在对应区域施加合适的电脉冲,进而有效改善运动功能障碍患者动作的协调性与准确性。
进一步的,用于机器学习功能的构建与使用分别在上位机4和算法选择模块2.3中进行。如图5所示,机器学习功能的构建过程分为机器学习功能构建S1、在线硬件算法S2、离线机器学习算法S3。该算法基于具体个体的训练数据集和回归分类算法思想训练出个性化的回归模块或分类器,该算法能够根据对象不同的数据集,自动调整所用到的阈值,输出分段函数等,使得该回归模块或分类器针对不同对象的不同区域达到最佳的结果。
进一步的,在S1机器学习功能构建中,我们将训练数据集通过滑窗的方式将对象个性化数据集中的神经信号样本分割成合适的长度,形成等长的时序序列(S1.1样本分割),得到数据处理的最小单元,进而单独提取信号特征。然后通过傅里叶变换的方法将信号分解成若干个不同谐波,将信号的幅值、相位或能量等变换到频率的坐标轴中,成为频率的函数,进而在频域中对信号进行频谱处理分析,获得有价值的时频信息,例如动态信号中的各个频率成分的分布和幅值、相位等信息,提取特征如时域特征,频域特征,时频域特征,复杂度分析特征等(S1.2特征提取)。由一系列的特征组成的特征向量作为回归模块或分类器的输入,通过个性化的回归模块或分类器,实现神经信号对运动信息的回归及对动作的识别分类,模拟动作的轨迹或预判运动意图。
在上位机完成机器学习功能构建S1后,进行算法的硬件移植并在算法选择模块2.3中实现实时的算法计算,神经信号的分类流程如S2所示,实时将记录的脑电信号分类为动作脑电信号和静息脑电信号。
在得到个性化回归模块或分类器后,在S3中通过离线机器学习算法进行评估。其中测试样本集中包含正负样本,测试样本集中的正负样本随机出现。测试样本集中的信号通过滑窗,处理成与训练样本相同长度的时序序列,通过回归模块或分类器时,对其效果进行评估。
在分别完成在线硬件算法S2和离线机器学习算法S3后,对两种机器学习算法结果进行对比,以评估系统效果。
由于不同对象的脑电信号,电极植入区域等差异,不同对象不同区域脑电信号的表现也存在差异。对不同区域的脑电信号建立不同的训练数据集从而产生个性化回归模块或分类器对于提高结果表现大有裨益,而基于机器学习的算法思想,基于个性回归模块或分类器相同的算法框架和个性化的参数,更有利于算法普适性与个性化同步的要求。本发明中,在为不同对象植入硬件算法时,只需要将个性化回归模块或分类器参数进行修改即可,硬件植入复杂度大大降低。
在具体一实例中,所述回归模块或分类器是由时域,频域,复杂度等多个维空间上的特征训练得到,结合多维空间信号的特点,相对于单一维度上的特征可以更加全面对信号进行剖析,提高分类准确率。
在具体一实例中,多维空间上的特征优选为能量谱。在较小计算量的前提下,可挖掘信号的深度信息,提高结果准确率。
在本发明的其中一个实施实例中所述多通道刺激模块5主要以单片机、恒流电路以及DC/DC电路组成。单片机与闭环控制模块2通讯的SPI接口通过光耦隔离,并单独用电池供电,与其它电路实现电气隔离,在刺激模块产生刺激电流时,电流不会流经采集板,从而减小刺激产生的记录伪迹。单片机接收到刺激模式参数,通过DAC可以输出任意波形的模拟电压,经过电压转电流(V/C)电路,输出恒流波形,最终通过多路模拟开关实现多路刺激输出。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,其特征在于,所述系统包括:
多通道信号采集模块,用于多个通道神经电生理信号及运动信息的同步采集与模数转换,并将转换后得到的预定长度的神经电生理信号及运动信息;
闭环控制模块,主要由数据接收模块、数据预处理及特征提取模块、算法选择模块(回归模块或分类模块)、参数配置模块、刺激控制模块组成;
所述数据接收模块接收多通道信号采集模块输出的预定长度的神经电生理信号及运动信息;
所述数据预处理及特征提取模块对预定长度的神经电生理信号及运动信息进行预处理和特征提取,得到标准化的回归数据集或分类数据集,并得到对应数据集在预处理及特征提取时的最优参数;
所述算法选择模块根据所需功能的不同,建立神经信号到运动信息的映射模型,完成基于运动信息的回归模块的构建,实现神经信号对运动信息的回归解码;或完成基于主成分分析与机器学习的分类模块的构建,利用神经电生理信号特征进行解码,对运动动作或意图进行识别;多个通道的信号独立进行是否为动作信号的判断,每个通道的回归或分类结果将会传输给刺激控制模块,
所述参数配置模块用于接收上位机传输的相应配置刺激脉冲参数;
所述刺激控制模块根据参数配置模块的刺激脉冲参数和算法选择模块中每个通道的回归或分类结果向多通道刺激模块传达不同的刺激模式的参数;
信号传输与存储模块,用于接收上位机配置的各模块工作参数和闭环控制模块传输的神经电生理信号和运动信息,并将经过闭环控制模块处理后的神经电生理信号和运动信息进行存储,作为对象个性化数据集;
上位机,用于根据对象个性化数据集训练闭环控制模块中的参数,并与信号传输与存储模块进行实时通信,实现控制指令的传输与数据交换;配置与调整各个模块工作时所需的工作参数,更新闭环控制模块中的各种参数,并实时显示采集到的神经电生理信号与运动信息;
多通道刺激模块,用于根据闭环控制模块得到的结果或者上位机指令,实时改变多通道、多位点电刺激的输出,根据闭环控制模块的检测结果,对电极的神经电刺激进行调控。
2.根据权利要求1所述的基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,其特征在于,所述多个通道神经电生理信号包括皮层脑电信号和场电位信号。
3.根据权利要求1所述的基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,其特征在于,所述运动信息为运动参数及行为信息,包括肌电信号。
4.根据权利要求1所述的基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,其特征在于,所述所需功能为模拟动作的轨迹或预判运动意图。
5.根据权利要求1所述的基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,其特征在于,所述算法选择模块采用机器学习回归和分类算法。
6.根据权利要求1所述的基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,其特征在于,所述回归模块采用循环神经网络、长短期记忆网络、广义回归神经网络或卡尔曼滤波器。
7.根据权利要求1所述的基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统,其特征在于,所述分类模块采用支持向量机、决策树或K—近邻算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910870341.7A CN110694169A (zh) | 2019-09-16 | 2019-09-16 | 基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910870341.7A CN110694169A (zh) | 2019-09-16 | 2019-09-16 | 基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110694169A true CN110694169A (zh) | 2020-01-17 |
Family
ID=69195207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910870341.7A Pending CN110694169A (zh) | 2019-09-16 | 2019-09-16 | 基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110694169A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111655328A (zh) * | 2020-03-31 | 2020-09-11 | 南通大学 | 一种重建步态运动功能的单端电极电子系统 |
CN111683714A (zh) * | 2020-03-31 | 2020-09-18 | 南通大学 | 一种重建步态运动功能的双电极电子系统 |
CN113209471A (zh) * | 2021-04-07 | 2021-08-06 | 北京脑陆科技有限公司 | 用于深部脑内刺激dbs设备的信号采集及分析方法及系统 |
WO2022120913A1 (zh) * | 2020-12-09 | 2022-06-16 | 中国人民解放军中部战区总医院 | 一种脑损伤脑电神经震荡分析系统及方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1887375A (zh) * | 2006-07-21 | 2007-01-03 | 天津大学 | 智能型瘫痪病人辅助康复系统 |
CA2613694A1 (en) * | 2005-07-01 | 2007-01-11 | Carmen Bartic | Means for functional restoration of a damaged nervous system |
CN101711908A (zh) * | 2009-11-30 | 2010-05-26 | 上海交通大学 | 针对下肢的层级式功能性电刺激康复系统 |
CN102813998A (zh) * | 2012-08-01 | 2012-12-12 | 上海交通大学 | 中枢神经损伤患者用多功能复合康复系统 |
CN103869979A (zh) * | 2014-03-03 | 2014-06-18 | 上海交通大学 | 一种基于选择性感受的脑机接口系统 |
WO2015059612A1 (en) * | 2013-10-23 | 2015-04-30 | Ecole Polytechnique Federale De Lausanne (Epfl) | Neuroprosthetic system restoring upper limb function through coordinated electrical stimulation |
CN105727442A (zh) * | 2015-12-16 | 2016-07-06 | 深圳先进技术研究院 | 闭环的脑控功能性电刺激系统 |
CN108744270A (zh) * | 2017-03-28 | 2018-11-06 | 洛桑联邦理工学院 | 用于中枢神经刺激和外周神经刺激的神经刺激系统 |
CN109078262A (zh) * | 2018-08-15 | 2018-12-25 | 北京机械设备研究所 | 一种基于外周神经电刺激的mi-bci训练方法 |
CN109124590A (zh) * | 2018-10-19 | 2019-01-04 | 南通大学 | 大鼠脑初级运动皮层神经在脊髓中的传导功能检测系统 |
CN109173056A (zh) * | 2018-10-19 | 2019-01-11 | 南通大学 | 一种大鼠脊髓神经信号检测与评估系统及方法 |
CN109646796A (zh) * | 2019-01-17 | 2019-04-19 | 浙江大学 | 用于癫痫治疗的多通道无线闭环神经电刺激系统 |
-
2019
- 2019-09-16 CN CN201910870341.7A patent/CN110694169A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2613694A1 (en) * | 2005-07-01 | 2007-01-11 | Carmen Bartic | Means for functional restoration of a damaged nervous system |
CN1887375A (zh) * | 2006-07-21 | 2007-01-03 | 天津大学 | 智能型瘫痪病人辅助康复系统 |
CN101711908A (zh) * | 2009-11-30 | 2010-05-26 | 上海交通大学 | 针对下肢的层级式功能性电刺激康复系统 |
CN102813998A (zh) * | 2012-08-01 | 2012-12-12 | 上海交通大学 | 中枢神经损伤患者用多功能复合康复系统 |
WO2015059612A1 (en) * | 2013-10-23 | 2015-04-30 | Ecole Polytechnique Federale De Lausanne (Epfl) | Neuroprosthetic system restoring upper limb function through coordinated electrical stimulation |
CN103869979A (zh) * | 2014-03-03 | 2014-06-18 | 上海交通大学 | 一种基于选择性感受的脑机接口系统 |
CN105727442A (zh) * | 2015-12-16 | 2016-07-06 | 深圳先进技术研究院 | 闭环的脑控功能性电刺激系统 |
CN108744270A (zh) * | 2017-03-28 | 2018-11-06 | 洛桑联邦理工学院 | 用于中枢神经刺激和外周神经刺激的神经刺激系统 |
CN109078262A (zh) * | 2018-08-15 | 2018-12-25 | 北京机械设备研究所 | 一种基于外周神经电刺激的mi-bci训练方法 |
CN109124590A (zh) * | 2018-10-19 | 2019-01-04 | 南通大学 | 大鼠脑初级运动皮层神经在脊髓中的传导功能检测系统 |
CN109173056A (zh) * | 2018-10-19 | 2019-01-11 | 南通大学 | 一种大鼠脊髓神经信号检测与评估系统及方法 |
CN109646796A (zh) * | 2019-01-17 | 2019-04-19 | 浙江大学 | 用于癫痫治疗的多通道无线闭环神经电刺激系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111655328A (zh) * | 2020-03-31 | 2020-09-11 | 南通大学 | 一种重建步态运动功能的单端电极电子系统 |
CN111683714A (zh) * | 2020-03-31 | 2020-09-18 | 南通大学 | 一种重建步态运动功能的双电极电子系统 |
WO2022120913A1 (zh) * | 2020-12-09 | 2022-06-16 | 中国人民解放军中部战区总医院 | 一种脑损伤脑电神经震荡分析系统及方法 |
CN113209471A (zh) * | 2021-04-07 | 2021-08-06 | 北京脑陆科技有限公司 | 用于深部脑内刺激dbs设备的信号采集及分析方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110694169A (zh) | 基于运动意图诱发中枢神经系统微电刺激的运动功能障碍神经桥接系统 | |
US9563740B2 (en) | Neural interface activity simulator | |
Raspopovic et al. | On the identification of sensory information from mixed nerves by using single-channel cuff electrodes | |
CN102886102B (zh) | 镜像运动神经调制系统 | |
Jordanic et al. | Spatial distribution of HD-EMG improves identification of task and force in patients with incomplete spinal cord injury | |
US9808641B2 (en) | System and method for non-invasive neuronal stimulation | |
CN106377252A (zh) | 一种基于虚拟现实的生物信息反馈系统 | |
CN109646796A (zh) | 用于癫痫治疗的多通道无线闭环神经电刺激系统 | |
CN100525854C (zh) | 智能型瘫痪病人辅助康复系统 | |
CN110136800A (zh) | 一种结合经颅电流刺激的主动康复训练系统 | |
CN111584031A (zh) | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 | |
CN105125186B (zh) | 一种确定干预治疗方式的方法及系统 | |
CN113995956B (zh) | 基于肌电预期姿势调整的卒中电刺激训练意图识别装置 | |
DE102020210676A1 (de) | Closed-loop computer-gehirn-schnittstellenvorrichtung | |
CN114259651A (zh) | 一种针对帕金森疾病的主动式实时闭环电刺激系统 | |
CN108543216A (zh) | 一种基于主从控制的手部功能重建装置及其实现方法 | |
CN114469641A (zh) | 基于肌电识别的功能性电刺激运动障碍镜像训练方法 | |
CN1985758A (zh) | 用于截瘫行走的人工运动神经系统重建方法 | |
Toledo-Peral et al. | sEMG signal acquisition strategy towards hand FES control | |
Huang et al. | The principle of the micro-electronic neural bridge and a prototype system design | |
CN100536958C (zh) | 瘫痪病人辅助神经信道恢复系统 | |
CN110801223B (zh) | 一种无线脑深部神经接口系统 | |
Litvak | Analysis of the effects of transcranial magnetic stimulation on functional states and connectivity of the human cerebral cortex using electroencephalography | |
Farajidavar et al. | Recognition and inhibition of dorsal horn nociceptive signals within a closed-loop system | |
Brandman et al. | Brain computer interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |
|
RJ01 | Rejection of invention patent application after publication |