CN107693257A - 一种基于云平台的多模态护理床bci系统 - Google Patents

一种基于云平台的多模态护理床bci系统 Download PDF

Info

Publication number
CN107693257A
CN107693257A CN201711018401.XA CN201711018401A CN107693257A CN 107693257 A CN107693257 A CN 107693257A CN 201711018401 A CN201711018401 A CN 201711018401A CN 107693257 A CN107693257 A CN 107693257A
Authority
CN
China
Prior art keywords
care bed
subelement
cloud platform
data
brain wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711018401.XA
Other languages
English (en)
Inventor
汪梅
陆慧敏
张思明
牛钦
惠晓东
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201711018401.XA priority Critical patent/CN107693257A/zh
Publication of CN107693257A publication Critical patent/CN107693257A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/002Beds specially adapted for nursing; Devices for lifting patients or disabled persons having adjustable mattress frame
    • A61G7/018Control or drive mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/001Beds specially adapted for nursing; Devices for lifting patients or disabled persons with means for turning-over the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/02Beds specially adapted for nursing; Devices for lifting patients or disabled persons with toilet conveniences, or specially adapted for use with toilets
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/05Parts, details or accessories of beds
    • A61G7/057Arrangements for preventing bed-sores or for supporting patients with burns, e.g. mattresses specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/05Parts, details or accessories of beds
    • A61G7/065Rests specially adapted therefor
    • A61G7/07Rests specially adapted therefor for the head or torso, e.g. special back-rests
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/05Parts, details or accessories of beds
    • A61G7/065Rests specially adapted therefor
    • A61G7/075Rests specially adapted therefor for the limbs
    • A61G7/0755Rests specially adapted therefor for the limbs for the legs or feet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice

Landscapes

  • Health & Medical Sciences (AREA)
  • Nursing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于云平台的多模态护理床BCI系统,其包括:图片显示单元、数据采集与发送单元、数据接收与处理单元、以及护理床状态及环境信息采集与发送单元。本发明的有益之处在于:(1)用两块TGAM模块采集脑波信号,没有过多的电极,使用便捷;(2)信号采集模式多样,集视觉诱发、运动想象以及语音识别于一体,多模式控制护理床,适用面广泛、使用稳定性好;(3)脑波信号由ARM处理器进行处理,ARM处理器大量使用寄存器,使得脑波信号处理分类速度加快,同时使得护理床BCI系统体积大大减小;(4)采用云平台存储数据,护理床的状态信息以及护理床周围的环境信息可以实时上传到云平台,方便用户查看,家属可以对病人进行实时监测。

Description

一种基于云平台的多模态护理床BCI系统
技术领域
本发明涉及一种护理床BCI系统,具体涉及一种基于云平台的多模态护理床BCI系统,属于控制系统技术领域。
背景技术
传统的自动护理床可以实现抬背坐起、屈腿、伸腿、左右翻身等姿势的转换。这些自动护理床大多采用手动模式,即:以直线推杆作为动力源,通过连杆铰链的机械结构实现抬背坐起、屈腿、伸腿、左右翻身等姿势的转换,从而防止病人因长期卧床导致的褥疮等并发症。但是,自动护理床的手动模式操作比较麻烦,并且使用时间长了机械部分还会出现噪音。
近年来,护理床逐渐向电动化控制转变,以电机驱动替代传统的手摇杆驱动,但大多数都是使用操纵按键来控制护理床电机,也有使用触摸屏的人机交互方式进行操作,后者同时可以显示病人的床体动作信息。
但是在实际的运用中,对于那些重症卧床、行动能力丧失的病人,他们是无法独立操作上述交互设备的,并且他们的家属也不能实时监测护理床的状态,控制模式单一。
脑-机接口(Brain-computer interface,BCI)技术是一种不依赖人体肌肉以及大脑外神经的通讯与控制技术,它可以让人脑通过想象建立起与外部设备的控制通道。
BCI系统是一种连接大脑和外部设备的实时通信系统,其可以把大脑发出的信息直接转换成能够驱动外部设备的命令,代替人的肢体和语言器官实现人对外部设备的控制以及人与外部环境的交流。换言之,BCI系统可以代替正常外围神经和肌肉组织实现人与外部设备以及人与外部环境之间的通信。
目前,大多数的BCI系统都是以计算机结合医用脑波测试仪进行开发的,不仅设计复杂、造价昂贵,而且不能很好的安装佩戴。
将BCI系统应用到电动护理床上,由于整体造价较高,所以很多患者不能承担高昂的使用费用。
此外,应用在电动护理床上的BCI系统(以下简称护理床BCI系统),还普遍存在以下一些共同的问题:
1、使用医用脑波测试仪采集脑波,电极过多,不方便患者使用;
2、医用脑波测试仪的脑波采集模式单一,适用面不广泛;
3、医用脑波测试仪的脑波信号由串口线连接发送给计算机,体积庞大,佩戴移动困难;
4、护理床信息以及环境信息只能在床体人机交互界面显示,家属不能对其进行实时监测。
所以,如何简化护理床BCI系统的设计,降低开发成本,方便病人安装佩戴,方便家属实时监测,提高实用性,让护理床的操作更加便捷,更好的为重症病人服务,是一项具有挑战性的研究课题。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种基于云平台的、方便病人和家属使用的、具有多模态的护理床BCI系统。
为了实现上述目标,本发明采用如下的技术方案:
一种基于云平台的多模态护理床BCI系统,其特征在于,该护理床BCI系统包括:图片显示单元、数据采集与发送单元、数据接收与处理单元、以及护理床状态及环境信息采集与发送单元,其中,
前述图片显示单元用于显示视觉诱发刺激图片和运动想象指示图片以及无线接收并显示护理床的状态图片,其中,视觉诱发刺激图片会产生不同的闪烁频率刺激人脑产生视觉诱发脑波信号;
前述数据采集与发送单元用于采集并无线发送脑波信号和语音信息;
前述数据接收与处理单元用于无线接收并处理脑波信号和语音信息,将接收到的脑波信号和语音信息转换成护理床的控制信息;
前述护理床状态及环境信息采集与发送单元用于采集护理床的状态信息和护理床周围的环境信息,并将采集到的信息整理无线发送至图片显示单元和云平台。
前述的基于云平台的多模态护理床BCI系统,其特征在于,前述图片显示单元采用的是基于Android系统的手机或Pad。
前述的基于云平台的多模态护理床BCI系统,其特征在于,前述数据采集与发送单元由脑波采集子单元、语音采集子单元和数据发送子单元组成,其中,
脑波采集子单元采用的是NeuroSky公司开发的TGAM脑波采集模块,共计两块,分别用来采集视觉诱发脑电波和运动想象脑电波;
语音采集子单元采用的是LD3320语音识别模块;
数据发送子单元采用的是蓝牙模块。
前述的基于云平台的多模态护理床BCI系统,其特征在于,前述数据接收与处理单元由数据接收子单元和数据转换子单元组成,其中,
数据接收子单元采用的是蓝牙模块;
数据转换子单元采用的是ARM处理器,ARM处理器能够对视觉诱发刺激图片刺激产生的脑波、运动想象指示图片提示产生的脑波以及语音信息进行处理形成控制护理床的指令,并从GPIO口输出控制编码。
前述的基于云平台的多模态护理床BCI系统,其特征在于,前述护理床状态及环境信息采集与发送单元由护理床状态采集子单元、护理床环境信息采集子单元和信息发送子单元组成,其中,
护理床状态采集子单元包括:超声波距离传感器;
环境信息采集子单元包括:温湿度传感器、环境光传感器、CO检测传感器和PM2.5粉尘检测传感器;
信息发送子单元采用的是GPRS模块。
本发明的有益之处在于:
1、用两块TGAM模块采集脑波信号,没有过多的电极,结构简单,使用便捷。
2、信号采集模式多样,集视觉诱发、运动想象以及语音识别于一体,多模式控制护理床,适用面广泛,同时也提高了使用稳定性。
3、视觉诱发刺激图片和运动想象指示图片均在Android手机上呈现,相比传统的刺激模块,稳定性更高,而且便于用户安装使用。
4、使用虚拟现实技术,将护理床的模型状态实时反映在手机界面,使得用户可以很方便的了解到床体的动作状态。
5、脑波信号由ARM处理器进行处理(传统的脑机接口研究都是基于C语言且运行在Windows平台上),ARM处理器大量使用寄存器,使得脑波信号处理分类速度加快,同时使得护理床BCI系统体积大大减小。
6、使用ARM处理器作为护理床的主控芯片,相比传统的摇杆机械结构,增加了系统的耐用性,也解放了护理人员的监护;相比于传统的遥控按键,减少了线路布置,增加了系统的安全性,避免触电等危险。
7、选用ARM处理器作为主控芯片,扩展性强,功能强大,功耗小。
8、采用云平台存储数据,护理床的状态信息以及护理床周围的环境信息可以实时上传到云平台,方便用户查看,家属可以对病人进行实时监测。
附图说明
图1是手机界面护理床虚拟图像实现框图;
图2是TGAM模块在人脑固定电极定位图;
图3是按键控制的护理床无线控制电路图;
图4(a)和图4(b)是ARM处理器处理脑波数据的流程图;
图5是手机上的控制界面图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
第一部分:基于云平台的多模态护理床BCI系统的组成
本发明的护理床BCI系统,其基于云平台,具有多模态,具体包括:图片显示单元、数据采集与发送单元、数据接收与处理单元、以及环境采集与发送单元。
一、图片显示单元
图片显示单元用于显示视觉诱发刺激图片、运动想象指示图片,以及无线接收并显示护理床的状态图片,其中,视觉诱发刺激图片会产生不同的闪烁频率,刺激人脑产生视觉诱发脑电波。
图片显示单元既可以采用手机,也可以采用Pad,不再使用传统的LED视觉刺激器。
图片显示单元优选基于Android系统的手机,Android系统处理速度很快,屏幕刷新速度几乎对刺激模块不产生影响,采用C#语言来编写手机中护理床的虚拟现实功能,从而在界面产生视觉诱发刺激图片(具有不同的闪烁频率)、运动想象指示图片以及护理床的状态图片。
基于Android系统的手机界面护理床虚拟图像的实现如图1所示,模型是基于C/S架构,结合Unity 3D引擎,以Unity 3D引擎为基础,同时以Android系统架构为基础,将Unity 3D引擎搭建在Android系统架构中的OpenGL ES之上,这样就可以将虚拟现实技术运行在Android系统终端。
二、数据采集与发送单元
数据采集与发送单元用于采集并无线发送脑波信号和语音信息。
数据采集与发送单元由脑波采集子单元、语音采集子单元和数据发送子单元组成。
1、脑波采集子单元
脑波采集子单元用于采集脑波信号——视觉诱发脑电波和运动想象脑电波。
脑波采集子单元采用的是NeuroSky公司开发的TGAM脑波采集模块,共计两块,分别用来采集视觉诱发脑电波和运动想象脑电波。
TGAM脑波采集模块的工作电压为3.3V、采样率为512Hz、传输波特率为57600,其会实时将脑波原始数据与预处理的数据发送出来,我们使用其脑波原始数据。
两块TGAM脑波采集模块在人脑固定电极定位图如图2所示。EEG1连接到使用者的运动皮层区,EEG2连接到使用者的枕叶区,REF1端和REF2端均连接到使用者的顶叶区(用于滤除自发式EEG信号和屏蔽EEG参考信号采集时受到的干扰),GND1和GND2信号地线分别与位于耳部的电极A1和A2连接(用于屏蔽人体头部以下电波对脑波信号的干扰,如心电、肌电)。
2、语音采集子单元
语音采集子单元用于采集语音指示。
语音采集子单元采用的是LD3320语音识别模块。
LD3320语音识别模块包括:麦克风、功放单元、信号处理单元、LD3320芯片和STC89C52单片机。在LD3320语音识别模块中,麦克风采集用户的语音,然后通过功放单元进行功率放大,随后通过信号处理单元对声音信号进行频谱分析得到语音特征,然后与已经录入LD3320芯片的关键词条语音特征进行匹配,最后将匹配程度最高的词条作为识别结果输出到STC89C52单片机中。
LD3320语音识别模块上的芯片不用特定人声去识别,最大录入词条可达50条,并且可以识别方言等各种口音,使用极为方便。
3、数据发送子单元
数据发送子单元用于将脑波采集子单元采集到的脑波信号和语音采集子单元采集到的语音信息发送给数据接收与处理单元。
数据发送子单元采用的是蓝牙模块。
脑波采集子单元采集到的脑波信号、语音采集子单元采集到的语音信息都通过蓝牙以无线的方式发送给数据接收与处理单元。
三、数据接收与处理单元
数据接收与处理单元用于无线接收并处理脑波信号和语音信息,将接收到的脑波信号和语音信息转换成护理床的控制信息。
数据接收与处理单元由数据接收子单元和数据转换子单元组成。
1、数据接收子单元
数据接收子单元用于接收数据采集与发送单元发送来的脑波信号和语音信息。
数据接收子单元采用的也是蓝牙模块。
2、数据转换子单元
数据转换子单元用于将脑波信号和语音信息转换成护理床控制指令。
数据转换子单元采用的是ARM处理器,其大量使用寄存器,指令执行速度更快,可以满足我们对脑波信号和语音信息的实时处理。
1、对于脑波信号
(1)由视觉诱发刺激图片刺激产生的脑波
当使用者用眼睛盯着Android手机上以特定频率闪烁的刺激块——视觉诱发刺激图片时,通过眼睛会诱发脑波的共振,在大脑皮层枕叶区产生与刺激信号相对应频率的微弱诱发电位,用电极采集枕叶区的电信号,然后通过蓝牙模块传给ARM处理器,ARM处理器对视觉诱发脑波信号进行四层小波变换以后滤除高频干扰,然后进行快速傅里叶变换得到诱发的频率值,此频率值与使用者所盯视的刺激块闪烁的频率是相同的或者是刺激快闪烁频率的整数倍,最后ARM处理器根据当前程序所处的状态和该频率就可以发送特定的指令来控制护理床动作。
(2)由运动想象指示图片提示产生的脑波
当使用者看到Android手机上的运动想象指示图片时,根据图片“手”或者“脚”的指示,想象自己的手部或者脚部运动,电极采集的脑电波由蓝牙模块发送到ARM处理器,ARM处理器对脑波信号依次进行傅里叶变换、功率谱计算、归一化处理,之后由程序设定的阈值判断使用者想象的是手部运动还是脚部运动,这样就可以发送不同的指令来控制护理床动作。
ARM处理器对脑波信号进行处理的流程见图4(a)和图4(b)。
手机上的控制界面见图5。
举一例:假设使用者说话有障碍,但是眼部没有障碍,他现在要坐起来,那么他就盯视着Android手机上“抬起背部”的刺激块,该刺激块以6Hz的频率进行闪烁,从使用者枕叶区提取的脑波信号传给ARM处理器,ARM处理器对脑波信号进行处理之后,会发送一个特定信号使得GPIO口输出一个控制编码,这样就完成了坐起来的动作。护理床一共可以进行八组不同的动作,原理均和抬起背部相同。
再举一例:假设使用者眼部和说话均有障碍,他现在要坐起来,那么他就根据图片“手”的指示,然后想象自己的手部运动(手部运动可以实现坐起功能),相应的会产生一个脑波信号,ARM处理器对脑波信号首先进行滤波处理,然后进行快速傅里叶变换,信号由时域转换到频域,再对每个频域的功率进行计算和归一化处理,消除个体的差异性,ARM处理器对脑波信号进行一系列的处理之后,会发送一个特定信号使得GPIO口输出一个控制编码,这样就完成了想象的动作;如果使用者现在要平躺,那么他就根据图片“腿”的指示,然后想象自己的腿部运动(腿部运动可以实现平躺功能),相应的会产生一个脑波信号,ARM处理器对脑波信号进行一系列的处理之后,会发送一个特定信号使得GPIO口输出一个控制编码,这样就完成了想象的动作。
2、对于语音信息
使用者对着语音采集子单元——LD3320语音识别模块上的麦克风说出想要进行的操作指令,LD3320语音识别模块就会根据之前使用者说出的特定词条去匹配已经录入芯片的词条,匹配成功后就会通过数据发送子单元——蓝牙模块发出相应的指令,ARM处理器接收到相应的指令之后,会发送一个特定信号使得GPIO口输出一个控制编码,这样就将语音信息转换成了护理床的控制信息。
如果使用者是个眼部残障人员,那么他就可以通过语音来对护理床进行相应的控制。
可见,本发明的护理床BCI系统具有多模态,可以面向不同使用人群,适用面很广泛。
四、环境采集与发送单元
护理床状态及环境信息采集与发送单元用于采集护理床的状态信息和护理床周围的环境信息,并将采集到的信息整理无线发送至图片显示单元和云平台。
护理床状态及环境信息采集与发送单元由护理床状态采集子单元、护理床环境信息采集子单元和信息发送子单元组成。
1、护理床状态采集子单元
护理床状态采集子单元用于采集护理床的状态信息,例如:床体背部升起、腿部落下,包括:超声波距离传感器。
2、护理床环境信息采集子单元
护理床环境信息采集子单元用于采集护理床周围的环境信息,例如:温度、湿度、光强、CO浓度、PM2.5粉尘浓度,包括:温湿度传感器、环境光传感器、CO检测传感器和PM2.5粉尘检测传感器。
2、信息发送子单元
信息发送子单元用于将护理床状态采集子单元采集到的护理床的状态信息、护理床环境信息采集子单元采集到的护理床周围的环境信息发送给图片显示单元和云平台。
信息发送子单元采用的是GPRS模块。
图片显示单元通过虚拟现实技术可以实时显示床体虚拟立体图,病人通过图片显示单元可以获知护理床状态采集子单元采集到的信息——床体的变化状态。
其他用户(例如:病人家属、医生、护士、护工)通过云平台可以访问查看护理床状态采集子单元和护理床环境信息采集子单元采集到的信息(护理床的状态信息和护理床周围的环境信息),从而可以对病人进行实时监测。
由此可见,图片显示单元、数据采集与发送单元、数据接收与处理单元以及环境采集与发送单元共同形成了一个完整的反馈控制系统。
第二部分:基于云平台的多模态护理床BCI系统的控制模式
上述基于云平台的多模态护理床BCI系统具有两种控制模式:脑波控制模式、语音控制模式。
1、脑波控制模式
用户(病人)观看图片显示单元(Android手机)上的视觉诱发刺激图片或者运动想象指示图片,通过视觉诱发刺激图片或者运动想象指示图片对大脑进行刺激产生相应的脑波信号,数据采集与发送单元中的脑波采集子单元(两块TGAM模块)对用户的脑波信号(视觉诱发脑电波)进行采集,采集到的脑波信号通过数据发送子单元(蓝牙模块)发送给数据接收与处理单元,数据接收与处理单元中的数据接收子单元(蓝牙模块)接收数据,数据转换子单元(ARM处理器)对接收到的脑波信号进行转换处理,将不同的脑波特征转换成不同的护理床控制信息,从而对护理床进行相应的控制。
2、语音控制模式
用户(病人、病人家属、医生、护士、护工)发出语音指示,数据采集与发送单元中的语音采集子单元(LD3320语音识别模块)采集用户的语音指示,采集到的语音指示信号通过数据发送子单元(蓝牙模块)发送给数据接收与处理单元,数据接收与处理单元中的数据接收子单元(蓝牙模块)接收数据,数据转换子单元(ARM处理器)对接收到的语音指示信号进行处理、识别,将不同的语音特征转换成不同的护理床控制信息,从而对护理床进行相应的控制。
由此可见,本发明的基于云平台的多模态护理床BCI系统,其既可以对脑波进行处理,又可以对语音进行分析,实现了多模式共同对护理床进行控制,适用面更广泛,实用性更强。
第三部分:基于云平台的多模态护理床BCI系统的显示模式
上述基于云平台的多模态护理床BCI系统具有两种显示模式:图片显示单元显示模式、云端显示模式。
1、图片显示单元显示模式
护理床的状态信息由环境采集与发送单元直接发送给图片显示单元,并实时显示在图片显示单元的显示界面上。
2、云端显示模式
护理床的状态信息以及周围的环境信息由环境采集与发送单元发送至云平台,其他用户通过浏览器进行访问查看,这些信息显示在网页界面上。
由此可见,本发明的基于云平台的多模态护理床BCI系统,其既可以向病人显示护理床的状态信息,又可以向病人家属、医生、护士、护工等显示护理床的状态信息和周围的环境信息,实现了病人家属、医生、护士、护工等对这些信息的实时监测,实用性更强。
第四部分:基于云平台的多模态护理床BCI系统的控制目标
对于上述基于云平台的多模态护理床BCI系统,我们优先选择按键控制的电动护理床作为其控制目标。按键控制的电动护理床价格适中,且床体可以实现起落背、起落腿、左右翻身以及开关便盆,可以满足瘫痪病人或卧床老人的康复护理。
对于按键控制的电动护理床,按键部分通过不同控制线控制床体各部分电机动作,我们对护理床的不同动作控制线的控制电压进行采集,并设计出对应电机的控制编码。
对按键控制的电动护理床的控制线的分析具体如下:
(1)护理床无线控制电路图如图3所示,将控制线从1至5进行顺延编号,对控制线两两间的压差进行测量并记录,对于护理床的八个按键按下和未按下均要进行测量,最终通过分析每一根控制线电压变换给出GND端。
(2)以上步骤分析得出的控制线为GND端,对其他八根控制线的各个动作电压进行再一次测量并记录,确定有效的控制线,测量结果如表1所示:
表1控制规律电压值
表1记录的是按键按下去的电压值(四根控制线相对于第五根控制线GND的电压值),此时护理床不会动作,当按键被释放时,护理床作出相应的动作。由此可知,护理床为上升沿脉冲触发驱动。
落腿受控制线1控制,抬腿受控制线2控制,落背受控制线3控制,起背受控制线4控制,便盆关受控制线1和控制线4同时控制,便盆开受控制线3和控制线4同时控制,左翻身受控制线1和控制线3同时控制,右翻身受控制线2和控制线4同时控制。
通过对护理床遥控的控制端进行分析可知,我们只要让四根控制线通过接地即可实现护理床不同的动作。
但是控制线的静止状态电压值为30V,ARM处理器的电压值只有3.3V,无法直接通过ARM处理器来控制护理床。
所以,我们使用光电耦合器进行隔离,当ARM处理器的引脚置高时,光耦的发光二极管端导通,从而光耦的光敏三极管也导通,控制板的控制线便实现了接地,相当于无线按键控制了护理床的机械动作。
护理床动作参数及无线控制端变化如表2所示:
表2护理床动作参数
(3)最后我们给出ARM处理器的控制端编码,其中视觉诱发和运动想象以及语音识别可以同时多模式对护理床进行同时控制。
ARM处理器的控制端的编码如表3所示:
表3护理床控制编码
控制编码信号通过ARM处理器的GPIO口输出,实现护理床按键功能。
第五部分:基于云平台的多模态护理床BCI系统的使用方法
具体的使用方法如下:
第1步:使用者固定好两TGAM模块的电极,戴好头套,打开Android手机App,打开蓝牙,连接ARM处理器,由于数据采集与发送单元的蓝牙模块设置为主动模式,数据接收与处理单元的蓝牙模块设置为从动模式,所以通电之后蓝牙会主动匹配连接。
第2步:当使用者用眼睛盯着Android手机上以特定频率闪烁的刺激块——视觉诱发刺激图片时,通过眼睛会诱发脑波的共振,在大脑皮层枕叶区产生与刺激信号相对应频率的微弱诱发电位,用电极采集枕叶区的电信号,然后通过蓝牙模块传给ARM处理器,ARM处理器对视觉诱发脑波信号进行四层小波变换以后滤除高频干扰,然后进行快速傅里叶变换得到诱发的频率值,此频率值与使用者所盯视的刺激块闪烁的频率是相同的或者是刺激快闪烁频率的整数倍,最后ARM处理器根据当前程序所处的状态和该频率就可以发送特定的指令来控制护理床动作;
当使用者看到Android手机上的运动想象指示图片时,根据图片“手”或者“脚”的指示,想象自己的手部或者脚步运动,电极采集的脑电波由蓝牙模块发送到ARM处理器,ARM处理器对脑波信号依次进行傅里叶变换、功率谱计算、归一化处理,之后由程序设定的阈值判断使用者想象的是手部运动还是脚步运动,这样就可以发送不同的指令来控制护理床动作;
使用者和其他用户也可以通过说话指令来对护理床进行控制。
3、床体进行动作之后,此时的状态和周围环境信息以数据包的形式通过GPRS模块发送给远程Web服务器,家属、医生、护士、护工等可以通过浏览器对信息进行查看。
需要说明的是,上述实施例不以任何形式限制本发明,凡采用等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。

Claims (5)

1.一种基于云平台的多模态护理床BCI系统,其特征在于,该护理床BCI系统包括:图片显示单元、数据采集与发送单元、数据接收与处理单元、以及护理床状态及环境信息采集与发送单元,其中,
所述图片显示单元用于显示视觉诱发刺激图片和运动想象指示图片以及无线接收并显示护理床的状态图片,其中,视觉诱发刺激图片会产生不同的闪烁频率刺激人脑产生视觉诱发脑波信号;
所述数据采集与发送单元用于采集并无线发送脑波信号和语音信息;
所述数据接收与处理单元用于无线接收并处理脑波信号和语音信息,将接收到的脑波信号和语音信息转换成护理床的控制信息;
所述护理床状态及环境信息采集与发送单元用于采集护理床的状态信息和护理床周围的环境信息,并将采集到的信息整理无线发送至图片显示单元和云平台。
2.根据权利要求1所述的基于云平台的多模态护理床BCI系统,其特征在于,所述图片显示单元采用的是基于Android系统的手机或Pad。
3.根据权利要求1所述的基于云平台的多模态护理床BCI系统,其特征在于,所述数据采集与发送单元由脑波采集子单元、语音采集子单元和数据发送子单元组成,其中,
脑波采集子单元采用的是NeuroSky公司开发的TGAM脑波采集模块,共计两块,分别用来采集视觉诱发脑电波和运动想象脑电波;
语音采集子单元采用的是LD3320语音识别模块;
数据发送子单元采用的是蓝牙模块。
4.根据权利要求1所述的基于云平台的多模态护理床BCI系统,其特征在于,所述数据接收与处理单元由数据接收子单元和数据转换子单元组成,其中,
数据接收子单元采用的是蓝牙模块;
数据转换子单元采用的是ARM处理器,ARM处理器能够对视觉诱发刺激图片刺激产生的脑波、运动想象指示图片提示产生的脑波以及语音信息进行处理形成控制护理床的指令,并从GPIO口输出控制编码。
5.根据权利要求1所述的基于云平台的多模态护理床BCI系统,其特征在于,所述护理床状态及环境信息采集与发送单元由护理床状态采集子单元、护理床环境信息采集子单元和信息发送子单元组成,其中,
护理床状态采集子单元包括:超声波距离传感器;
环境信息采集子单元包括:温湿度传感器、环境光传感器、CO检测传感器和PM2.5粉尘检测传感器;
信息发送子单元采用的是GPRS模块。
CN201711018401.XA 2017-10-26 2017-10-26 一种基于云平台的多模态护理床bci系统 Pending CN107693257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711018401.XA CN107693257A (zh) 2017-10-26 2017-10-26 一种基于云平台的多模态护理床bci系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711018401.XA CN107693257A (zh) 2017-10-26 2017-10-26 一种基于云平台的多模态护理床bci系统

Publications (1)

Publication Number Publication Date
CN107693257A true CN107693257A (zh) 2018-02-16

Family

ID=61183208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711018401.XA Pending CN107693257A (zh) 2017-10-26 2017-10-26 一种基于云平台的多模态护理床bci系统

Country Status (1)

Country Link
CN (1) CN107693257A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109846635A (zh) * 2019-02-20 2019-06-07 浙江强脑科技有限公司 基于眼镜和脑机接口的护理床系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103099693A (zh) * 2013-02-07 2013-05-15 王禹 基于脑电/语音指令助残控制系统
CN103263324A (zh) * 2013-05-06 2013-08-28 西安电子科技大学 基于ssvep稳态视觉诱发电位的智能轮椅系统
CN103349595A (zh) * 2013-07-16 2013-10-16 杭州电子科技大学 基于多模式分层控制的脑机接口智能轮椅
CN103473294A (zh) * 2013-09-03 2013-12-25 重庆邮电大学 基于msvm脑电信号特征分类的方法及智能轮椅系统
CN103845137A (zh) * 2014-03-19 2014-06-11 北京工业大学 基于稳态视觉诱发脑机接口的机器人控制方法
CN106214391A (zh) * 2016-07-21 2016-12-14 山东建筑大学 基于脑机接口的智能护理床及其控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103099693A (zh) * 2013-02-07 2013-05-15 王禹 基于脑电/语音指令助残控制系统
CN103263324A (zh) * 2013-05-06 2013-08-28 西安电子科技大学 基于ssvep稳态视觉诱发电位的智能轮椅系统
CN103349595A (zh) * 2013-07-16 2013-10-16 杭州电子科技大学 基于多模式分层控制的脑机接口智能轮椅
CN103473294A (zh) * 2013-09-03 2013-12-25 重庆邮电大学 基于msvm脑电信号特征分类的方法及智能轮椅系统
CN103845137A (zh) * 2014-03-19 2014-06-11 北京工业大学 基于稳态视觉诱发脑机接口的机器人控制方法
CN106214391A (zh) * 2016-07-21 2016-12-14 山东建筑大学 基于脑机接口的智能护理床及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109846635A (zh) * 2019-02-20 2019-06-07 浙江强脑科技有限公司 基于眼镜和脑机接口的护理床系统

Similar Documents

Publication Publication Date Title
CN109568083B (zh) 一种多模态交互的上肢康复机器人训练系统
CN106726030B (zh) 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN105816170B (zh) 基于可穿戴式nirs-eeg的精神分裂症早期检测评估系统
CN106214391B (zh) 基于脑机接口的智能护理床及其控制方法
CN105943207B (zh) 一种基于意念控制的智能假肢运动系统及其控制方法
CN202408871U (zh) 基于无线移动终端的人体生命指征监测系统
CN107788976A (zh) 基于振幅整合脑电图的睡眠监测系统
CN109366508A (zh) 一种基于bci的高级机械臂控制系统及其实现方法
CN106236503B (zh) 肌电驱动的上肢可穿戴外骨骼系统及控制方法
CN104997581B (zh) 基于面部表情驱动脑电信号的假手控制方法及装置
CN110058691A (zh) 基于嵌入式的可穿戴无线干电极脑电采集处理系统及方法
CN102551689A (zh) 基于无线移动终端的人体生命指征监测系统
CN104224495A (zh) 便携式肘关节康复机器人控制方法
CN106553201A (zh) 救生机器人及其实现方法
CN102125425A (zh) 基于移动通信终端的数字化中医脉象诊断系统
CN107049699A (zh) 一种催眠智能躺椅垫及其心率和呼吸波的测量方法
CN109276808A (zh) 基于视频运动捕捉的多模态脑卒中上肢康复训练系统
CN106569606A (zh) 一种基于自然手势识别的智能家居红外控制系统与方法
CN107510562A (zh) 基于脑机接口的护理床系统
CN106267557A (zh) 一种基于小波变换和支持向量机辨识的脑控主动上肢医疗康复训练系统
CN105302088A (zh) 基于脑-机接口与Zigbee的智能家居系统及控制方法
CN107617149A (zh) 意识障碍促醒系统及其使用方法
CN105997400A (zh) 一种医用护理床的控制及对病人的体征检测的装置
CN109717830A (zh) 基于眼动及头动参数监测的疲劳检测及促醒系统
CN109276408A (zh) 上肢手外骨骼康复机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180216