CN109276808A - 基于视频运动捕捉的多模态脑卒中上肢康复训练系统 - Google Patents

基于视频运动捕捉的多模态脑卒中上肢康复训练系统 Download PDF

Info

Publication number
CN109276808A
CN109276808A CN201811382155.0A CN201811382155A CN109276808A CN 109276808 A CN109276808 A CN 109276808A CN 201811382155 A CN201811382155 A CN 201811382155A CN 109276808 A CN109276808 A CN 109276808A
Authority
CN
China
Prior art keywords
rehabilitation training
upper limbs
motion
eeg signals
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811382155.0A
Other languages
English (en)
Inventor
邵慧兴
江永发
何元平
刘亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUADU DISTRICT GUANGZHOU CITY PEOPLE'S HOSPITAL
Original Assignee
HUADU DISTRICT GUANGZHOU CITY PEOPLE'S HOSPITAL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUADU DISTRICT GUANGZHOU CITY PEOPLE'S HOSPITAL filed Critical HUADU DISTRICT GUANGZHOU CITY PEOPLE'S HOSPITAL
Priority to CN201811382155.0A priority Critical patent/CN109276808A/zh
Publication of CN109276808A publication Critical patent/CN109276808A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014External stimulators, e.g. with patch electrodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014External stimulators, e.g. with patch electrodes
    • A61N1/3603Control systems
    • A61N1/36031Control systems using physiological parameters for adjustment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种基于视频运动捕捉的多模态脑卒中上肢康复训练系统,包括脑电信号采集装置、功能性电刺激装置、上肢康复训练设备以及运动跟踪设备;所述脑电信号采集装置用于采集被试的运动想象脑电信号,并将脑电信号发送到终端;所述功能性电刺激装置用于接收终端的运动想象特征并根据特征指令刺激被试的手和前臂;所述上肢康复训练设备用于结合功能性电刺激装置对被试进行上肢康复训练;所述运动跟踪设备用于实现被试在上肢康复训练过程中的运动捕捉,并将人体运动信息发送到终端;所述终端用于被试脑电信号、人体运动信息的处理、分析、传输以及存储,从而完成被试的康复训练现状分析和评估。本发明利用了脑电信号、功能性电刺激以及肢体运动捕捉等多模态技术,客观评估被试的上肢运动功能,有利于脑卒中患者康复训练状况的实时监测,提高看康复训练的有效性。

Description

基于视频运动捕捉的多模态脑卒中上肢康复训练系统
技术领域
本发明涉及一种康复系统,尤其是一种基于视频运动捕捉的多模态脑卒中上肢康复训练系统,属于疾病护理、康复领域。
背景技术
脑卒中(stroke)又称中风、脑血管意外,世界卫生组织对其定义为“一种源于血管的急性神经性障碍,其症状和体征与脑受损部位相一致”,即在脑血管病人中,因各种诱发因素引起脑内动脉狭窄,闭塞或破裂,而造成急性脑血液循环障碍,临床上表现为一过性或永久性脑功能障碍的症状和体征,主要包括脑出血,脑梗死,蛛网膜下腔出血等。据估计,我国脑卒中发病率高达150万/年,其中75%的脑卒中患者遗留有功能障碍,绝大部分为以偏瘫为代表的运动功能障碍。这些功能障碍一方面给患者本身带来身体痛苦和生活不便,另一方面也加剧了医疗费用快速增长这一现状,有统计显示国家每年为脑卒中患者花费的医疗费用支出约在100亿元以上。
相比于下肢,上肢的运动功能障碍更难恢复,大多数脑卒中患者上肢功能的恢复是由近端到远端,由粗大到精细,由简单到复杂进行的。脑卒中后偏瘫上肢功能的康复一直是临床上比较棘手的问题之一。85%的脑卒中患者在发病的开始就有上肢功能障碍,约30%—36%的脑卒中患者在发病6个月后仍遗留上肢功能障碍。研究表明,除手术和药物治疗外,科学的康复训练对脑卒中偏瘫患者的肢体功能康复起着重要作用。
传统的上肢康复训练是治疗师运用各种训练手法及器械用具辅助患者进行训练,对受损大脑皮质的重建以及外部肢体和大脑之间的功能控制连接修复相对有限,这使得患者虽然进行了较长的康复治疗但效果却不够理想,而且整个康复过程单调枯燥,患者容易对训练失去兴趣和信心,鉴于治疗师经验不同导致即使完全相同的康复训练过程在具体执行是也会存在人为差异,无法保证康复训练的绝对一致性,不仅会导致训练效率低,更导致训练的信效度低,由训练结果反映出的康复进程评估这一价值大大折损。
发明内容
本发明的目的是为了解决上述现有技术的缺陷,提供一种基于视频运动捕捉的多模态脑卒中上肢康复训练系统,该系统基于被试者运动想象,提供了一种有效地重建运动想象与肢体运动之间的通路的手段,同时在康复训练中,根据被试的运动想象脑电特征给予对应肢体的功能性电刺激,从而有效的帮助患者建立运动想象和外部肢体之间的联系,结合已有的上肢康复训练设备A2,集成运动跟踪设备Kinect以实现患者在上肢康复训练过程中的运动捕捉,有利于脑卒中患者康复训练状况的实时监测,成为脑卒中患者康复训练中一种非常有前途的新运动功能康复训练方式,提高看康复训练的有效性。
本发明的目的可以通过采取如下技术方案达到:
基于视频运动捕捉的多模态脑卒中上肢康复训练系统,包括脑电信号采集装置、功能性电刺激装置、上肢康复训练设备以及运动跟踪设备;所述脑电信号采集装置和功能性电刺激装置分别通过蓝牙与终端连接,所述运动跟踪设备通过USB接口与终端连接,其中:
所述脑电信号采集装置,用于采集被试的脑电信号,并将脑电信号发送到终端;
所述功能性电刺激装置,用于接收终端被试的想象运动脑电信息并根据不同脑电信号的识别分类结果即特征指令输出不同的刺激类型、刺激频率及刺激时间;
上述刺激部位为被试的手和前臂;
所述运动跟踪设备,用以实现被试在上肢康复训练过程中的运动捕捉,并将人体运动信息发送到终端;
所述终端,用于人体脑电信号、人体运动信息的处理、分析、识别、传输以及存储,从而识别出完成被试的康复训练现状分析和评估;
优选的,所述脑电信号采集装置包括脑电帽、电极、Mini-USB接口、采集前端、MCU、电池、蓝牙;
所述脑电帽采用国际导联16导的EEG脑电记录系统,前额标注为电极地,耳后为参考电极;
所述电极通过Mini-USB接口与采集前端相连,采集前端与MCU相连,MCU与蓝牙相连,蓝牙通过无线传输与终端相连;
所述电池为采集前端、MCU和蓝牙供电。
所述采集前端采用ADS1298芯片,用于对采集脑电信号进行配置、控制、处理和通信;
所述MCU采用CortexM4单片机,用于对采集前端传输的脑电信号进行接收、处理、存储和通信;
所述蓝牙采用CC2560器件,用于接收MCU传出的脑电信号并将信号发送到终端;
所述电池采用集成锂电池的BQ24078线性充电器,通过USB端口或交流适配器为采集前端、MCU和蓝牙供电。
优选的,所述终端对接收到的脑电信号进行如下处理:
1)采用带通滤波器对采集到的脑电信号进行滤波处理,利用阈值小波变换法去除眼电信号和肌电信号的干扰;
2)利用小波熵算法对信号进行非线性动力学变换,从脑电信号所包含的能量信息角度度量信号的复杂性,当大脑处于清醒的想象运动状态时,脑电信号活跃,复杂度高,其对应的小波熵值较大,可以很好的度量大脑的运动想象情况;
3)采用非线性模型-人工神经网络对处理后的脑电信号参数值进行分类识别和模式输出,BP神经网络模型的搭建,主要考虑网络模型中神经元的个数、神经元的特征、神经元相互之间的连接方式拓扑结构以及网络的学习规则等,以小波熵特征值为输入神经元,运动想象深度为输出对脑电信号进行模式分类,然后将数据进行可视化并输出。
优选的,在所述功能性电刺激装置所述功能性电刺激装置包括蓝牙、微控制器,按键,显示屏,波形发生电路,充电电路和6通道电极片;
所述蓝牙和微控制器相连,微控制器和按键、显示器、波形发生电路依次相连,波形发生电路和电极片相连;
所述充电电路为蓝牙、微控制器,显示屏,波形发生电路供电。
所述6通道电极片置于被试的前臂和手;
优选的,在所述功能性电刺激装置中,所述蓝牙采用CC2560器件,用于接收终端分析处理的运动想象脑电信号特征可视化后的数据,并将该特征传送到微控制器;
优选的,所述微控制器采用STC单片机,用于接收蓝牙传回的脑电信号特征,并根据该特征控制功能性电刺激的输出;
优选的,所述显示屏采用LCD液晶显示屏,用于显示康复训练中功能性电刺激的刺激类型、频率和幅值;
优选的,所述按键用于控制康复训练中功能性电刺激的刺激类型、频率和刺激时间;
优选的,所述波形发生电路包括连续脉冲波、断续脉冲波、锯齿波和正弦波;
优选的,所述频率可调包括低频电和中频电两个档位;
优选的,所述上肢康复训练设备采用上肢智能反馈训练设备A2,用于结合功能性电刺激装置对被试进行上肢康复训练;
优选的,所述运动跟踪设备采用微软的包括红外探测器、深度摄像头、彩色摄像头三个感应器的Kinect跟踪设备,基于无标记点的视频跟踪技术进行捕捉被试在上肢康复训练过程中的运动情况,并将人体运动信息通过USB接口发送到终端;
优选的,上述深度摄像头跟踪技术采用配合式的用户鉴别方法,在开始采集被跟踪用户(即脑卒中患者)的运动数据之前,要求被试作出相应的动作来配合系统给予其一个身份标识。具体的处理过程为:
1)初始化:完成设备上下文对象的初始化,接着创建一个用户产品节点,这个节点用于对场景进行分析并且当有用户进入场景时自动对其开启跟踪;
2)跟踪循环:当完成系统的初始化之后,系统就自动进入跟踪循环,也就是一个循环。在这个循环中,程序一直在监测场景中的变化;
3)训练者身份鉴别:当训练处于被跟踪的状态下的时候,连续挥手秒,系统发现被跟踪的用户中有做出这种行为的时候,利用kincet的光编码(LightCoding)的技术就将其认定为训练者。发现训练者后,对他的特征进行提取,可以提取的比较明显的特征为骨架信息,同时为了提高系统运行效率,可以停止系统对其他用户的跟踪;
优选的,所述终端对接收到的人体运动信息进行骨骼跟踪算法处理:
1)摄像头kincet从图像采集器到场景中各点的距离即深度作为像素值的图像,深度图像经过坐标转换被计算为点云数据;
2)对深度点云数据流进行去噪处理,对于根节点的位置,可以使用当前帧的位置和上一帧的根节点的位置进行比较,计算它们差值的大小,判断根节点位置没有发生变化。对于关节点旋转量上的噪声处理,先将旋转量转换为旋转角和旋转轴的表现形式,然后计算与上一帧差值的大小,并将所有关节点的差值大小累加,判断其和是否小于另一个阈值从而去除噪点信息;
3)使用点云数据构建多边形网格,正确地重建出数据点集所表示的曲线和曲面,建网后的模型更加贴近真实被试和场景的表面。创建深度图像并使其可视化,提取边界信息、遍历每个深度图像点,通过寻找在近邻区域有深度变化的位置进行边缘检测,获取的具有稳定性、区别性的关键点集、对兴趣值进行平滑滤波,进行无最大值压缩找到的最终关键点,从中提取出人体关节点的数据,从而能够实时跟踪、捕捉和反馈康复过程中肢体的康复运动情况。
优选的,所述终端为上肢康复训练设备中的计算机。
本发明相对于现有技术具有如下的有益效果:
1、本发明的脑卒中上肢康复训练系统,通过终端可以接收脑卒中患者的脑电信号和康复训练中的人体运动信息;通过终端的智能分析可以完成被试的康复想象运动情况,而终端将脑电信号的运动想象可视化的数据结果通过无线通信传输到功能性电刺激装置中,避免了现有技术单一治疗脑卒中患者肢体运动的情况,有效地重建运动想象与肢体运动之间的通路,提高了康复治疗的有效性。
2、本发明的脑卒中上肢康复训练系统,功能性电刺激装置通过接收脑电信号中的人体运动信息特征提取和分类,设置相关参数和指令特征,结合上肢智能反馈训练设备A2进行康复训练,通过预先设定的刺激程序来刺激神经或者肌肉,使肌肉紧张或松弛,实现瘫痪肌肉的某种运动,从而达到改善或者恢复被刺激肌肉或肌群的功能的目的,极大地促进脑卒中患者的整个康复进程。
3、本发明的脑卒中上肢康复训练系统无线通信传输采用CC2560蓝牙,支持ZigBee(IEEE 802.15.4)和WPAN(IEEE 802.15.5)等传输标准,所述协议有单独的 M0内核处理蓝牙底层协议栈,M3内核则处理应用和蓝牙上层协议,运行速度更快,功耗更低,同时支持的Bluetooth Smart、ZigBee和WPAN协议,可以避免在近距离相遇时,由于蓝牙发射器的数量而造成数据无法大量缓冲以致丢包的现象,增加了场景中多个蓝牙使用时数据的安全传输。
4、本发明的脑卒中上肢康复训练系统,不仅可以实现实时监护脑卒中患者上肢康复训练的状况,更可以把患者在进行上肢康复训练过程中的训练结果、关节点数据等信息通过移动互联网上传至数据库中存储,可完成脑卒中上肢康复训练系统的社区应用,持续跟踪患者的上肢康复情况并将结果通过移动互联网传回到医院康复中心,实现院外脑卒中患者的社区康复管理。
附图说明
图1为本发明的上肢康复训练系统的总体结构图。
图2为本发明的脑电信号采集装置结构图。
图3为本发明的功能性电刺激装置结构图。
图4为本发明的功能性电刺激装置中刺激时电极片的一种安放位置图。
图5为本发明的功能性电刺激装置中LCD液晶显示部分的电路连接图。
图6为本发明的功能性电刺激装置中按键功能的单片机端口配置图。
图7为本发明的功能性电刺激装置中按键功能的控制流程图。
图8为本发明的功能性电刺激装置中充电电路图。
具体实施方式
实施例1:
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
如图1所示,本实施例的上肢康复训练系统应用于医院康复中心或某个社区中,包括脑电信号采集装置、功能性电刺激装置、上肢康复训练设备以及运动跟踪设备,所述脑电信号采集装置和功能性电刺激装置分别通过蓝牙与终端连接,所述运动跟踪设备通过USB接口与终端连接,其中:
脑卒中患者的想象运动信息利用脑电信号采集装置进行实时获取,所述脑电信号采集装置如图2所示,包括脑电帽、电极、Mini-USB接口、采集前端、MCU、电池、蓝牙;脑电帽采用国际导联16导的EEG脑电记录系统,前额标注为电极地,耳后为参考电极;电极通过Mini-USB接口与采集前端相连,采集前端与MCU相连,MCU 与蓝牙相连,蓝牙通过无线传输与终端相连。
所述脑电信号采集装置中,所述采集前端采用TI(Texas Instruments,德州仪器)公司的ADS1298芯片,用于对采集到的脑电信号进行放大、滤波和AD转换。
所述MCU采用Cortex M4单片机,用于对采集前端传输的脑电信号进行接收、处理、存储和通信。
所述脑电信号采集装置中,所述蓝牙采用CC2560器件,用于接收MCU传出的脑电信号并将信号发送到终端;其中的CC2560协议,有单独的M0内核处理蓝牙底层协议栈,M3内核则处理应用和蓝牙上层协议,同时支持Bluetooth Smart、ZigBee和WPAN 协议,运行速度更快,功耗更低。
所述脑电信号采集装置中,所述充电电池集成锂电池的BQ24078线性充电器,具有适用于空间受限型便携式应用的系统电源路径管理功能,通过USB端口或交流适配器为采集前端、MCU和蓝牙供电,且在输入电压范围内具有输入电压保护功能,因此该充电器支持非稳压适配器。
所述终端对接收到的脑电信号进行如下处理:
1)采用带通滤波器对采集到的脑电信号进行滤波处理,利用阈值小波变换法去除眼电信号和肌电信号的干扰;
2)利用小波熵算法对信号进行非线性动力学变换,从脑电信号所包含的能量信息角度度量信号的复杂性,当大脑处于清醒的想象运动状态时,脑电信号活跃,复杂度高,其对应的小波熵值较大,可以很好的度量大脑的运动想象情况;
3)采用非线性模型-人工神经网络对处理后的脑电信号参数值进行分类识别和模式输出,BP神经网络模型的搭建,主要考虑网络模型中神经元的个数、神经元的特征、神经元相互之间的连接方式拓扑结构以及网络的学习规则等,以小波熵特征值为输入神经元,运动想象深度为输出对脑电信号进行模式分类,然后将数据进行可视化并输出。
所述功能性电刺激装置如图3所示,包括蓝牙、微控制器,按键,显示屏,波形发生电路,充电电路和6通道电极片;所述蓝牙和微控制器相连,微控制器和按键、显示器、波形发生电路依次相连,波形发生电路和电极片相连。各个电路模块集成,由导线和电极片连接被试的手臂和手指,其中一种电极片的安放位置如图4所示,系统工作时,电刺激由集成电路产生,经由导线和电极片传输到被试的手臂和手指上。
所述功能性电刺激装置中,所述蓝牙采用CC2560器件用于接收终端分析处理的运动想象脑电信号特征可视化后的数据,并将该特征传送到微控制器。
所述功能性电刺激装置中,所述显示屏采用LCD液晶显示屏,用于显示康复训练中功能性电刺激的刺激类型、频率和幅值,显示屏的连接电路如图5所示,I/O口与液晶屏采用并行连接的方式,作为输入端与液晶屏连接时,I/O口是低电平,整个显示部分处于高阻抗状态,无法进行数据的传送,所以外接电阻时即可将电位拉高,为整个传送系统提供电流源,利用单片机的P2.0、P2.1和P2.2三个端口来进行读写及使能操作。
所述功能性电刺激装置中,所述波形发生电路包括连续脉冲波、断续脉冲波、锯齿波和正弦波。
所述功能性电刺激装置中,所述频率可调包括低频电和中频电两个档位,按键与单片机的端口配置如图6所示,按键控制过程如图7所示,利用单片机的中断系统通过按键来产生中断,暂停整个系统的工作状态后改变时钟系统的初值与计数值即可改变波形的频率,而时间调节模块只需对单片机的定时系统进行时间增量或减量即可。
所述功能性电刺激装置中,所述充电电路如图8所示,本电路所需电压为5V,通过变压器进行降压,经过一个桥式整流电路,将降低后的市电交流电压进行整流,接着采用电解电容和二极管并联的方式进行滤波,也就是在电容两端的电压升高时对电容进行充电,在其两端的电压变低时电容再对外放电,让电压降低时的坡度变得平缓,从而起到滤波的作用,最后通过78L05集成稳压器将输出电压稳定在5V左右。
所述上肢康复训练设备采用上肢智能反馈训练设备A2,用于结合功能性电刺激装置对被试进行上肢康复训练。在功能性电刺激装置接收终端分析处理的运动想象脑电信号特征可视化的数据后,根据该特征控制功能性电刺激的输出,在人体受到电刺激之后结合上肢智能反馈训练设备A2进行康复训练,从而达到辅助上肢康复训练的效果。
所述运动跟踪设备采用微软的Kinect跟踪设备,基于无标记点的视频跟踪技术进行捕捉被试在上肢康复训练过程中的运动情况,并将人体运动信息通过USB接口发送到终端。
所述跟踪技术采用配合式的用户鉴别方法,在开始采集被跟踪用户(即脑卒中患者)的运动数据之前,要求被试作出相应的动作来配合系统给予其一个身份标识。具体的处理过程为:
1)初始化:完成设备上下文对象的初始化,接着创建一个用户产品节点,这个节点用于对场景进行分析并且当有用户进入场景时自动对其开启跟踪;
2)跟踪循环:当完成系统的初始化之后,系统就自动进入跟踪循环,也就是一个循环。在这个循环中,程序一直在监测场景中的变化;
3)训练者身份鉴别:当训练处于被跟踪的状态下的时候,连续挥手秒,系统发现被跟踪的用户中有做出这种行为的时候,利用kincet的光编码(LightCoding)的技术就将其认定为训练者。发现训练者后,对他的特征进行提取,可以提取的比较明显的特征为骨架信息,同时为了提高系统运行效率,可以停止系统对其他用户的跟踪;
所述终端对接收到的人体运动信息进行骨骼跟踪算法处理:
1)摄像头kincet从图像采集器到场景中各点的距离即深度作为像素值的图像,深度图像经过坐标转换被计算为点云数据;
2)对深度点云数据流进行去噪处理,对于根节点的位置,可以使用当前帧的位置和上一帧的根节点的位置进行比较,计算它们差值的大小,判断根节点位置没有发生变化。对于关节点旋转量上的噪声处理,先将旋转量转换为旋转角和旋转轴的表现形式,然后计算与上一帧差值的大小,并将所有关节点的差值大小累加,判断其和是否小于另一个阈值从而去除噪点信息;
3)使用点云数据构建多边形网格,正确地重建出数据点集所表示的曲线和曲面,建网后的模型更加贴近真实被试和场景的表面。创建深度图像并使其可视化,提取边界信息、遍历每个深度图像点,通过寻找在近邻区域有深度变化的位置进行边缘检测,获取的具有稳定性、区别性的关键点集、对兴趣值进行平滑滤波,进行无最大值压缩找到的最终关键点,从中提取出人体关节点的数据,从而能够实时跟踪、捕捉和反馈康复过程中肢体的康复运动情况。
另外,上述实施例中的终端是上肢康复训练设备中的计算机。
实施例二
本实施例公开了一种基于视频运动捕捉的多模态脑卒中上肢康复训练系统的工作方法,包括:
步骤一、用脑电信号采集装置,采集被试的脑电信号,并将脑电信号发送到终端;
所述运动跟踪设备,用以实现被试在上肢康复训练过程中的运动捕捉,并将人体运动信息发送到终端;
所述终端,用于人体脑电信号、人体运动信息的处理、分析、识别、传输以及存储,从而识别出完成被试的康复训练现状分析和评估;
步骤二、利用终端对接收到的脑电信号进行分析处理,并将被试的运动想象脑电信号特征数据进行可视化;
步骤三、功能性电刺激装置用于接收上述终端可视化的数据,并根据不同脑电信号的识别分类结果即特征指令输出不同的刺激类型、刺激频率及刺激时间;
步骤四、上述刺激部位为被试的手和前臂;
步骤五、上述功能性电刺激装置结合上肢智能反馈训练设备A2,用于对被试进行上肢康复训练。在功能性电刺激装置接收终端分析处理的运动想象脑电信号特征可视化的数据后,根据该特征控制功能性电刺激的输出,在人体受到电刺激之后结合上肢智能反馈训练设备A2进行康复训练,从而达到辅助上肢康复训练的效果;
步骤六、采用微软的Kinect运动跟踪设备,进行捕捉被试在上肢康复训练过程中的运动情况,并将人体运动信息通过USB接口发送到终端;
步骤七、上述终端对接收到的人体运动信息进行骨骼跟踪算法处理,从而能够实时跟踪、捕捉和反馈康复过程中肢体的康复运动情况;
步骤八、患者在进行上肢康复训练过程中的训练结果、关节点数据等信息通过移动互联网上传至数据库中存储,可完成脑卒中上肢康复训练系统的社区应用,持续跟踪患者的上肢康复情况并将结果通过移动互联网传回到医院康复中心,实现院外脑卒中患者的社区康复管理。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明构思加以等同替换或改变,都属于本发明专利的保护范围。

Claims (10)

1.基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:包括脑电信号采集装置、功能性电刺激装置、上肢康复训练设备以及运动跟踪设备;所述脑电信号采集装置和功能性电刺激装置分别通过蓝牙与终端连接,所述运动跟踪设备通过USB接口与终端连接,其中:
所述脑电信号采集装置,用于采集被试的脑电信号,并将脑电信号发送到终端;
所述功能性电刺激装置,用于接收终端被试的想象运动脑电信息并根据不同脑电信号的识别分类结果即特征指令输出不同的刺激类型、刺激频率及刺激时间;
上述刺激部位为被试的手和前臂;
所述运动跟踪设备,用以实现被试在上肢康复训练过程中的运动捕捉,并将人体运动信息发送到终端;
所述终端,用于人体脑电信号、人体运动信息的处理、分析、识别、传输以及存储,从而识别出完成被试的康复训练现状分析和评估。
2.根据权利要求1所述的基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:所述脑电信号采集装置包括脑电帽、电极、Mini-USB接口、采集前端、MCU、电池、蓝牙;
所述脑电帽采用国际导联16导的EEG脑电记录系统,前额标注为电极地,耳后为参考电极;
所述电极通过Mini-USB接口与采集前端相连,采集前端与MCU相连,MCU与蓝牙相连,蓝牙通过无线传输与终端相连;
所述电池为采集前端、MCU和蓝牙供电。
3.根据权利要求2所述的基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:
所述终端对接收到的脑电信号进行如下处理:
1)采用带通滤波器对采集到的脑电信号进行滤波处理,利用阈值小波变换法去除眼电信号和肌电信号的干扰;
2)利用小波熵算法对信号进行非线性动力学变换,从脑电信号所包含的能量信息角度度量信号的复杂性,当大脑处于清醒的想象运动状态时,脑电信号活跃,复杂度高,其对应的小波熵值较大,从而可以度量大脑的运动想象情况;
3)采用非线性模型-人工神经网络对处理后的脑电信号参数值进行分类识别和模式输出,BP神经网络模型的搭建,主要考虑网络模型中神经元的个数、神经元的特征、神经元相互之间的连接方式拓扑结构以及网络的学习规则等,以小波熵特征值为输入神经元,运动想象深度为输出对脑电信号进行模式分类,然后将数据进行可视化并输出。
4.根据权利要求1所述的基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:所述功能性电刺激装置包括蓝牙、微控制器,按键,显示屏,波形发生电路,充电电路和6通道电极片;
所述蓝牙和微控制器相连,微控制器和按键、显示器、波形发生电路依次相连,波形发生电路和电极片相连;
所述充电电路为蓝牙、微控制器、显示屏、波形发生电路供电。
5.根据权利要求4所述的基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:
所述蓝牙采用CC2560器件,用于接收终端分析处理的运动想象脑电信号特征可视化后的数据,并将该特征传送到微控制器;
所述微控制器采用STC单片机,用于接收蓝牙传回的脑电信号特征,并根据该特征控制功能性电刺激的输出;
所述显示屏采用LCD液晶显示屏,用于显示康复训练中功能性电刺激的刺激类型、频率和幅值。
6.根据权利要求4所述的基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:
所述按键用于控制康复训练中功能性电刺激的刺激类型、频率和刺激时间;
所述波形发生电路包括连续脉冲波、断续脉冲波、锯齿波和正弦波;
所述频率可调包括低频电和中频电两个档位。
7.根据权利要求4所述的基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:
所述上肢康复训练设备采用上肢智能反馈训练设备A2,用于结合权利要求4中的功能性电刺激装置对被试进行上肢康复训练,功能性电刺激装置接收终端分析处理的运动想象脑电信号特征可视化的数据后,根据该特征控制功能性电刺激的输出,在人体受到电刺激之后结合上肢智能反馈训练设备A2进行康复训练,从而达到辅助上肢康复训练的效果。
8.根据权利要求1所述的基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:所述运动跟踪设备采用Kinect跟踪设备,用以捕捉被试在上肢康复训练过程中的运动情况,并将人体运动信息通过USB接口发送到终端。
9.根据权利要求8所述的基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:所述终端利用骨骼跟踪算法从记录到的运动视频图像中提取出人体关节点的数据,能够实时跟踪、捕捉和反馈康复过程中肢体的运动情况。
10.根据权利要求1-9任一项所述的基于视频运动捕捉的多模态脑卒中上肢康复训练系统,其特征在于:所述终端为上肢康复训练设备中的计算机。
CN201811382155.0A 2018-11-20 2018-11-20 基于视频运动捕捉的多模态脑卒中上肢康复训练系统 Pending CN109276808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811382155.0A CN109276808A (zh) 2018-11-20 2018-11-20 基于视频运动捕捉的多模态脑卒中上肢康复训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811382155.0A CN109276808A (zh) 2018-11-20 2018-11-20 基于视频运动捕捉的多模态脑卒中上肢康复训练系统

Publications (1)

Publication Number Publication Date
CN109276808A true CN109276808A (zh) 2019-01-29

Family

ID=65175804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811382155.0A Pending CN109276808A (zh) 2018-11-20 2018-11-20 基于视频运动捕捉的多模态脑卒中上肢康复训练系统

Country Status (1)

Country Link
CN (1) CN109276808A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110404168A (zh) * 2019-09-11 2019-11-05 中山大学 一种自适应电刺激训练系统
CN110694172A (zh) * 2019-10-14 2020-01-17 上海交通大学 一种基于功能性电刺激的智能化上肢康复训练系统
CN110974623A (zh) * 2019-12-22 2020-04-10 石燕芳 一种用于脑卒中康复的上肢被动活动系统
CN111544882A (zh) * 2020-04-30 2020-08-18 天津大学 一种基于脑机接口的新型脑卒中下肢主动康复系统及应用
CN111584033A (zh) * 2020-04-30 2020-08-25 天津大学 基于多层有序网络的脑控智能康复系统运动意图识别系统
CN111584028A (zh) * 2020-04-30 2020-08-25 天津大学 基于可视图符号网络和宽度学习的新型脑控智能康复系统
CN113117235A (zh) * 2021-04-16 2021-07-16 西安建筑科技大学 一种手部运动功能康复训练方法及系统
TWI817503B (zh) * 2022-05-13 2023-10-01 龍華科技大學 臉控裝置及利用其之電動車
CN116919424A (zh) * 2023-08-24 2023-10-24 之江实验室 脑机接口康复方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315478A (zh) * 2017-07-05 2017-11-03 中国人民解放军第三军医大学 一种运动想象上肢智能康复机器人系统及其训练方法
CN107626040A (zh) * 2017-10-24 2018-01-26 杭州易脑复苏科技有限公司 一种基于可交互虚拟现实和神经电刺激的康复系统及方法
WO2018093765A1 (en) * 2016-11-15 2018-05-24 Regents Of The University Of California Methods and apparatuses for improving peripheral nerve function

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018093765A1 (en) * 2016-11-15 2018-05-24 Regents Of The University Of California Methods and apparatuses for improving peripheral nerve function
CN107315478A (zh) * 2017-07-05 2017-11-03 中国人民解放军第三军医大学 一种运动想象上肢智能康复机器人系统及其训练方法
CN107626040A (zh) * 2017-10-24 2018-01-26 杭州易脑复苏科技有限公司 一种基于可交互虚拟现实和神经电刺激的康复系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程龙龙 等: "脑-机接口研究中想象动作电位的特征提取与分类算法", 《仪器仪表学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110404168B (zh) * 2019-09-11 2023-06-13 中山大学 一种自适应电刺激训练系统
CN110404168A (zh) * 2019-09-11 2019-11-05 中山大学 一种自适应电刺激训练系统
CN110694172A (zh) * 2019-10-14 2020-01-17 上海交通大学 一种基于功能性电刺激的智能化上肢康复训练系统
CN110974623A (zh) * 2019-12-22 2020-04-10 石燕芳 一种用于脑卒中康复的上肢被动活动系统
CN111544882A (zh) * 2020-04-30 2020-08-18 天津大学 一种基于脑机接口的新型脑卒中下肢主动康复系统及应用
CN111584028A (zh) * 2020-04-30 2020-08-25 天津大学 基于可视图符号网络和宽度学习的新型脑控智能康复系统
CN111584028B (zh) * 2020-04-30 2023-04-18 天津大学 基于可视图符号网络和宽度学习的新型脑控智能康复系统
CN111584033B (zh) * 2020-04-30 2023-04-18 天津大学 基于多层有序网络的脑控智能康复系统运动意图识别系统
CN111584033A (zh) * 2020-04-30 2020-08-25 天津大学 基于多层有序网络的脑控智能康复系统运动意图识别系统
CN113117235A (zh) * 2021-04-16 2021-07-16 西安建筑科技大学 一种手部运动功能康复训练方法及系统
TWI817503B (zh) * 2022-05-13 2023-10-01 龍華科技大學 臉控裝置及利用其之電動車
CN116919424A (zh) * 2023-08-24 2023-10-24 之江实验室 脑机接口康复方法、装置、电子设备和存储介质
CN116919424B (zh) * 2023-08-24 2024-05-03 之江实验室 脑机接口康复装置和电子设备

Similar Documents

Publication Publication Date Title
CN109276808A (zh) 基于视频运动捕捉的多模态脑卒中上肢康复训练系统
CN107788976A (zh) 基于振幅整合脑电图的睡眠监测系统
CN109366508A (zh) 一种基于bci的高级机械臂控制系统及其实现方法
CN107315478A (zh) 一种运动想象上肢智能康复机器人系统及其训练方法
CN107928980A (zh) 一种偏瘫患者的手部自主康复训练系统及训练方法
CN101574297B (zh) 基于虚拟现实的残障人士康复系统
CN108968952A (zh) 一种脑肌电及惯性信息同步采集装置
CN109011148A (zh) 具有智能自适应功能的便携式闭环脑深部刺激器系统
CN111110982A (zh) 基于运动想象的手部康复训练方法
CN106264520A (zh) 一种神经反馈运动训练系统及方法
CN106236503A (zh) 肌电驱动的上肢可穿戴外骨骼系统及控制方法
CN106859617A (zh) 一种穿戴式多生命体征参数采集设备及其参数提取方法
CN105920735A (zh) 身心康复反馈训练装置
CN106237510A (zh) 一种脑控主动下肢医疗康复训练系统
CN106075727A (zh) 一种基于耳迷走神经刺激仪的在线诊疗系统
CN109481164A (zh) 一种基于脑电信号的电动轮椅控制系统
CN103294192A (zh) 一种基于运动想象的led灯开关控制装置及其控制方法
CN106267557A (zh) 一种基于小波变换和支持向量机辨识的脑控主动上肢医疗康复训练系统
CN205988477U (zh) 身心康复反馈训练装置
CN111353972B (zh) 状态评估系统、诊疗系统及其操作方法
CN211024807U (zh) 多触发方式的智能电刺激手部训练器
CN204631770U (zh) 一种用于运动想象脑电的脑机接口高效用户训练装置
CN114003129B (zh) 一种基于非侵入式脑机接口的意念控制虚实融合反馈方法
CN103919549B (zh) 一种反馈治疗吞咽障碍的装置及设备
CN113359991B (zh) 一种面向残疾人的智能脑控机械臂辅助进食系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190129