CN109065184A - 基于脑机接口的脑卒中患者语音交流看护控制系统及方法 - Google Patents
基于脑机接口的脑卒中患者语音交流看护控制系统及方法 Download PDFInfo
- Publication number
- CN109065184A CN109065184A CN201810764731.1A CN201810764731A CN109065184A CN 109065184 A CN109065184 A CN 109065184A CN 201810764731 A CN201810764731 A CN 201810764731A CN 109065184 A CN109065184 A CN 109065184A
- Authority
- CN
- China
- Prior art keywords
- module
- eeg signals
- brain
- patients
- cerebral apoplexy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010008190 Cerebrovascular accident Diseases 0.000 title claims abstract description 45
- 208000006011 Stroke Diseases 0.000 title claims abstract description 45
- 230000002490 cerebral effect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 230000004397 blinking Effects 0.000 claims abstract description 14
- 230000000763 evoking effect Effects 0.000 claims abstract description 11
- 230000004936 stimulating effect Effects 0.000 claims abstract description 5
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 16
- 230000033764 rhythmic process Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000010219 correlation analysis Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 abstract description 26
- 238000003786 synthesis reaction Methods 0.000 abstract description 25
- 238000000537 electroencephalography Methods 0.000 description 52
- 210000004556 brain Anatomy 0.000 description 14
- 239000002131 composite material Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 4
- 230000000474 nursing effect Effects 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 208000026106 cerebrovascular disease Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004070 electrodeposition Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 206010040026 Sensory disturbance Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000035474 group of disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑机接口的脑卒中患者语音交流看护控制系统及方法。其中，该系统包括视觉刺激模块，其分为若干个闪烁区域，每个闪烁区域的闪烁频率不同且常亮，用于刺激脑卒中患者产生脑电信号；脑电信号采集模块，其被配置为实时采集所述脑电信号并传送至脑电信号分析模块；所述脑电信号分析模块被配置为：当判断患者注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，传送至语音合成模块，且形成呼叫信号传送至病房呼叫模块；语音合成模块合成语音并输出。
Description
技术领域
本发明属于语音交流看护控制技术领域，尤其涉及一种基于脑机接口的脑卒中患者语音交流看护控制系统及方法。
背景技术
脑卒中(cerebral stroke)又称中风或脑血管意外(cerebralvascularaccident，CVA)，是一种急性脑血管疾病，由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一组疾病。
脑卒中已成为中老年人健康的最大威胁之一。脑卒中具有发病率高、致残率高、病死率高、复发率高等特点，严重影响着人类的健康。脑卒中预后会遗留有不同程度的肢体功能障碍、感觉障碍、言语障碍、认知障碍等，约37.66％存在言语障碍，言语障碍给病人的日常生活带来了巨大的困难：(1)言语障碍很大程度上导致了脑卒中抑郁，不仅会降低患者的生活质量，且与预后差、死亡率上升、日常生活活动能力受损及康复治疗依从性差密切相关。(2)脑卒中语言障碍使得患者与家人和医护人员的沟通困难，患者很难表达自己的照顾需求和身体的状况，阻碍了家人和医护人员给予及时的照顾和有效的护理。因此为脑卒中患者提供一种有效的沟通交流系统，改善患者的语言状况就显得尤为重要。
近些年来随着脑科学、计算机科学、信号处理技术的极大发展，脑机接口(Brain-Computer Interface，BCI)技术给那些具有严重功能障碍的患者带来了福音。BCI是一种不依赖于大脑外周神经与肌肉组成的正常输出通路的通讯控制系统。该系统采集患者的脑电信号(Electroencephalography，EEG)，对这些脑电信号进行处理、分析，识别出引起这些脑电变化的动作意图，再使用计算机语言进行编程，这样就把人的思维活动转换成相应的命令信号驱动外部设备，因此，BCI技术不仅能够为中风及偏瘫患者的康复治疗带来希望，更能有效增强脑卒中语言障碍患者与外界交流和沟通的能力，提高患者的生活质量。
现阶段，利用脑机接口技术实现文字的输入已经有了较多的研究，但是使用者要传达的信息还只是停留在屏幕上，给信息交流造成了不便；基于脑机接口技术实现文字的输入大部分只是为了实现存在语言障碍的重度残疾人士与他人的文字传递，几乎很少将其应用到在其住院期间的看护和护理上，并不能判断患者是否有需要交流的意图，也未实现将患者的有交流意图的脑电信号筛选出来，且将患者的有交流意图的脑电信号转换成中文语音的形式输出。
发明内容
为了解决现有技术的不足，本发明的第一目的是提供一种基于脑机接口的脑卒中患者语音交流看护控制系统，其能够判断患者是否有需要交流的意图，实现将患者的有交流意图的脑电信号筛选出来，且将患者的有交流意图的脑电信号转换成中文语音的形式输出。
本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统，包括：视觉刺激模块，其分为若干个闪烁区域，每个闪烁区域的闪烁频率不同且常亮，用于刺激脑卒中患者产生脑电信号；
脑电信号采集模块，其被配置为实时采集所述脑电信号并传送至脑电信号分析模块；
所述脑电信号分析模块被配置为：当判断患者注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，传送至语音合成模块，且形成呼叫信号传送至病房呼叫模块；
所述语音合成模块被配置为：
对输入的脑电信号特征完成分词以及标注；
基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成XML格式文件；
解析XML格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的XML文件进行韵律结构预测；
根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用PSOLA算法进行修改，最后合成语音并输出。
进一步的，所述病房呼叫模块被配置为接收所述呼叫信号，并关联相关医护人员。
进一步的，所述视觉刺激模块包括用户选择模式和用户确定模式这两种模式。
进一步的，在用户选择模式下，所有闪烁区域均为白色方框，黑色背景。
进一步的，在用户确定模式下，辨识出用户注视的区域后，用户注视区域变为除了黑色和白色的其他种类的颜色，便于用户对自己的选择进行及时的确定。
进一步的，在所述脑电信号分析模块中，判断患者是否注视频闪区域的具体过程为：对采集到的脑电信号进行分析判断其与预先设定的参考信号的相关系数是否小于阈值；若小于阈值，则为空闲状态，即患者没有注视频闪；若大于阈值，则是患者注视某一频闪区域，即患者为输入状态。
进一步的，所述脑电信号分析模块在提取出脑电信号特征之前还对脑电信号进行滤波处理。
进一步的，在所述脑电信号分析模块中，采用典型相关分析对脑电信号进行频率特征提取。
进一步的，在所述语音合成模块中，使用汉语词法分析系统对输入的脑电信号特征完成分词以及标注。
本发明的第二目的是提供一种基于脑机接口的脑卒中患者语音交流看护控制系统的控制方法，其能够判断患者是否有需要交流的意图，实现将患者的有交流意图的脑电信号筛选出来，且将患者的有交流意图的脑电信号转换成中文语音的形式输出。
本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统的控制方法，包括：
视觉刺激模块中所有闪烁区域常亮；
脑电信号采集模块实时采集所述脑电信号并传送至脑电信号分析模块；
脑电信号分析模块分析判断患者是否注视频闪区域，当判断患者是否注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，分别传送至病房呼叫模块和语音合成模块；
语音合成模块对输入的脑电信号特征完成分词以及标注；
基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成XML格式文件；
解析XML格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的XML文件进行韵律结构预测；
根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用PSOLA算法进行修改，最后合成语音并输出。
与现有技术相比，本发明的有益效果是：
本发明能够判断患者是否有需要交流的意图，实现将患者的有交流意图的脑电信号筛选出来，且将患者的有交流意图的脑电信号转换成中文语音的形式输出；
本发明将患者的脑电信号转换为用户想要表达的文字信号并通过语音合成软件通过语音播放出来，利于患者与看护人员及家人进行及时的沟通与交流，打破了屏幕的限制以及病人在紧急需要医护人员前来时无法表达的困境，促进了患者与家人和与医护人员的交流，有利于对其照顾和护理医治的开展。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统结构示意图；
图2是脑电信号采集模块的电极位置图；
图3(a)为视觉刺激模块频闪显示界面；
图3(b)为视觉刺激模块频闪反馈界面；
图4是本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统的控制方法流程图；
图5是本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统的工作流程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释：
SSVEP：Steady-State Visual Evoked Potential，稳态视觉诱发电位；
BCI：Brain Computer Interface,脑机接口；
Feature Extraction：特征提取；
Classification algorithm：分类算法；
CCA：Canonical Correlation Analysis,典型相关分析；
Voice synthesis：语音合成；
Text analysis：文本分析。
针对目前言语障碍给脑卒中患者的生活和康复带来的巨大问题，目前脑机接口的发展状态和脑机接口在脑卒中患者交流应用中存在的问题，本发明提供了一种基于脑机接口的脑卒中患者语音交流看护系统。
如图5所示，本发明提供的一种基于脑机接口的脑卒中患者语音交流看护系统的工作流程为：
看护人员将需要表达的想法通过看护人员的语音信号传递给患者，患者大脑理解之后，通过注视不同频率闪烁的刺激模块，将想要表达的想法通过文字输入的方式传递给系统，系统获取患者输入的文字信息并进行语音合成，最终将合成之后的能够表达患者想法的语音信号反馈给看护人员。
如图2所示，本发明的一种基于脑机接口的脑卒中患者语音交流看护系统由视觉刺激模块、脑电信号采集模块、脑电信号分析模块、语音合成模块和病房呼叫模块组成。
具体地：
(1)视觉刺激模块
视觉刺激模块分为若干个闪烁区域，每个闪烁区域的闪烁频率不同且常亮，用于刺激脑卒中患者产生脑电信号。
视觉刺激模块可以采用刷新率60帧/秒的液晶显示器完成，分辨率可以设置为1366×768(像素)。视觉刺激界面如图4所示。由于用户需要使用视觉刺激界面完成中文的输入，因此视觉刺激界面采用对中国人使用比较方便的九宫格中文输入界面。刺激目标由11个区域组成，刺激目标的频率分别设为6.1Hz、7.5Hz、8.57Hz、9Hz、10.3Hz、11Hz、12Hz、13Hz、14.3Hz、17Hz、19Hz、23Hz。
刺激目标选择白色方块，背景颜色为黑色。
视觉刺激模块分为两种工作模式，用户选择模式和用户确定模式。
在用户选择模式下，所有闪烁区域均为白色方框，黑色背景。
在用户确定模式下，辨识出用户注视的区域后，用户注视区域变为除了黑色和白色的其他种类的颜色，便于用户对自己的选择进行及时的确定。
(2)脑电信号采集模块
脑电信号采集模块，其被配置为实时采集所述脑电信号并传送至脑电信号分析模块。
患者佩戴电极帽进行脑电信号的采集。由于SSVEP信号只与患者大脑的视觉区域有关，因此可以只采集患者大脑视觉区域的脑电信号，如图2所示。图2虚线下方电极为本系统需要采集的10个电极位置，分别为T5、P3、Pz、P4、T6、PO3、PO4、O1、Oz、O2处，导联位置符合国际10-20标准。
用户佩戴脑电帽产生不同的EEG，EEG通过放大器由无线WiFi传送到EEG放大器控制端。
(3)脑电信号分析模块
脑电信号分析模块被配置为：当判断患者注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，传送至语音合成模块，且形成呼叫信号传送至病房呼叫模块。
EEG采集系统采集到的脑电信号通过WiFi传输到EEG分析模块，EEG分析模块对EEG进行在线处理，分析结果发送给语音合成模块，从而实现一套由稳态视觉诱发电位SSVEP完成汉字输入，由语音合成技术完成从文本到语音的转换的脑卒中语言障碍患者交流看护系统。
在所述脑电信号分析模块中，判断患者是否注视频闪区域的具体过程为：对采集到的脑电信号进行分析判断其与预先设定的参考信号的相关系数是否小于阈值；若小于阈值，则为空闲状态，即患者没有注视频闪；若大于阈值，则是患者注视某一频闪区域，即患者为输入状态。
在脑电信号分析模块中，当判断患者注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征的具体过程为：
预处理：先对SSVEP信号进行2Hz到40Hz的带通滤波，消除高频及工频干扰。滤波算法采用5阶Butterworth滤波器。
频率提取：本发明采用典型相关分析(Canonical Correlation Analysis,CCA)进行SSVEP信号的频率提取。
典型相关分析(Canonical Correlation Analysis,CCA)是多元统计学的组成部分，是研究两组变量间相互关系的统计分析方法。CCA应用于提取SSVEP相应频率时，两组多变量分别定义为X、Y，其中X是多通道的EEG信号，Y被设定为一组参考信号，如式(1)：
其中，(1)式中，N是谐波数量，f是刺激频率。
EEG信号X与参考信号Y寻找一组矢量Wx,Wy，这一组矢量可以使向量x,y之间的相关系数达到最大，其中x＝XTWx，y＝YTWY。计算方法如式(2)所示：
其中，对Wx,Wy，得出X和Y之间的相关系数ρ的最大值，即是得到了最大的典型相关系数。选取不同的f，计算ρ，则最大ρ对应的频率被认为是SSVEP响应频率。
(4)语音合成模块
本发明采用基于隐马尔科夫模型(HMM)的语音合成方法。具体工作流程如下：
使用汉语词法分析系统(Institute of Computing Technology,ChineseLexical Analysis System，ICTCLAS)对输入的文本完成分词以及标注工作。
ICTCLAS主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。
在字音转换的过程中，基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成XML格式文件；
解析XML格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的XML文件进行韵律结构预测；
根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用PSOLA算法进行修改，最后合成语音并输出。
PSOLA算法使得基于波形拼接的语音合成以及基于大语料库的语音合成成为了目前的主流技术,现在很多合成系统中都采用此算法,比如科大讯飞公司的产品。
例如：时域基音同步叠加法(TD-PSOLA)是PSOLA算法中最简单、应用最广泛、效率高的一种形式，用PSOLA算法实现语音合成时主要有三个步骤，分别为基音同步分析、基音同步修改和基音同步合成。
第一步基音同步分析：同步分析的功能主要是对语音合成单元进行同步标记设置。PSOLA技术中，短时信号的截取和叠加、时间长度的选择，均是依据同步标记进行的。
以语音合成单元的同步标记为中心，选择适当长度(一般取两倍的基音周期)的时窗对合成单元做加窗处理，获得一组短时信号xm(n):
xm(n)＝hm(tm-n)x(n) (3)
其中tm为基音标注点，hm(n)一般取Hamming窗，窗长度大于原始信号的一个基音周期，因此窗间有重叠。窗长一般取为原始信号的基音周期的2-4倍。
第二步基音同步修改：同步修改在合成规则的指导下，调整同步标记，产生新的基音同步标记。具体地说，就是通过对合成单元同步标记的插入、删除来改变合成语音的时长；通过对合成单元标记间隔的增加、减小来改变合成语音的基频等。这些短时合成信号序列在修改时与一套新的合成信号基音标记同步。在TD-PSOLA方法中，短时合成信号是由相应的短时分析信号直接拷贝而来。若短时分析信号为x(ta(s),n)，短时合成信号为x(ts(s),n)，则有：
x(ts(s),n)＝x(ta(s),n) (4)
式中ta(s)为分析基音标记，ts(s)为合成基音标记。
第三步基音同步合成：基音同步合成是利用短时合成信号进行叠加合成。如果合成信号仅仅在时长上有变化，则增加或减少相应的短时合成信号；如果是基频上有变换则首先将短时合成信号变换成符合要求的短时合成信号再进行合成。若采用原始信号谱与合成信号谱差异最小的最小平方叠加合成法进行语音信号的合成，则最终合成信号为：
式(5)可简化为：
式(6)中的分母是一个时变的单位化因子，补偿相邻窗口叠加部分的能量损失。该因子在窄带条件下接近于常数，在宽带条件下，当合成窗长为合成基音周期的两倍时，该因子亦为常数。此时，若设aq＝1，则有：
如图4所示，本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统的控制方法，包括：
视觉刺激模块中所有闪烁区域常亮；
脑电信号采集模块实时采集所述脑电信号并传送至脑电信号分析模块；
脑电信号分析模块分析判断患者是否注视频闪区域，当判断患者是否注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，分别传送至病房呼叫模块和语音合成模块；
语音合成模块对输入的脑电信号特征完成分词以及标注；
基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成XML格式文件；
解析XML格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的XML文件进行韵律结构预测；
根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用PSOLA算法进行修改，最后合成语音并输出。
具体地，判断患者是否注视频闪区域的过程为：
对采集到的脑电信号进行分析判断信号与参考信号的相关系数是否小于阈值；若小于阈值，则为空闲状态，即患者没有注视频闪；
若大于阈值，则是患者注视某一频闪区域，即患者为输入状态；
脑电信号进行分析结果，若为患者注视“SOS”区域，即为病房呼叫，会在护士站的病房呼叫平台显示病房呼叫，使医护人员前往。若是注视某一频闪区域，即患者为输入状态；
若注视区域为“SOS”区域，即为病房呼叫，会在护士站的病房呼叫平台显示病房呼叫，使医护人员前往。
若患者注视的是输入区频闪，首先为拼音的输入部分，注视的频闪区域代表的是相应的拼音字母将分析结果即对应频闪区域变色，如图3(a)和图3(b)所示，若患者注视“确定”区域后，其颜色改变，则系统分类正确，若是其他区域变色，则系统分类错误)，将SSVEP结果反馈给患者，由患者判断是否正确，若错误则注视“删除”区域，若正确则继续通过注视相应区域完成拼音的键入，拼音输入完成后注视“确定”区域，进入汉字的选择，待选汉字区域前标有序号，此时通过注视输入区进行对标号的选择，完成单个汉字的输入；
直至患者将所有意图输入完成，则注视“发送”区域，完成汉字的输入，将文本信息传送至语音合成模块，通过文本处理、韵律处理、声音合成实现合成，发出声音。
在与家人或医护人员进行交流时，由患者完成与其交流者的语意理解，然后通过该系统实现脑卒中语言障碍患者的语音表达。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于脑机接口的脑卒中患者语音交流看护控制系统，其特征在于，包括：视觉刺激模块，其分为若干个闪烁区域，每个闪烁区域的闪烁频率不同且常亮，用于刺激脑卒中患者产生脑电信号；
脑电信号采集模块，其被配置为实时采集所述脑电信号并传送至脑电信号分析模块；
所述脑电信号分析模块被配置为：当判断患者注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，传送至语音合成模块，且形成呼叫信号传送至病房呼叫模块；
所述语音合成模块被配置为：
对输入的脑电信号特征完成分词以及标注；
基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成XML格式文件；
解析XML格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的XML文件进行韵律结构预测；
根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用PSOLA算法进行修改，最后合成语音并输出。
2.如权利要求1所述的一种基于脑机接口的脑卒中患者语音交流看护控制系统，其特征在于，所述病房呼叫模块被配置为接收所述呼叫信号，并关联相关医护人员。
3.如权利要求1所述的一种基于脑机接口的脑卒中患者语音交流看护控制系统，其特征在于，所述视觉刺激模块包括用户选择模式和用户确定模式这两种模式。
4.如权利要求3所述的一种基于脑机接口的脑卒中患者语音交流看护控制系统，其特征在于，在用户选择模式下，所有闪烁区域均为白色方框，黑色背景。
5.如权利要求4所述的一种基于脑机接口的脑卒中患者语音交流看护控制系统，其特征在于，在用户确定模式下，辨识出用户注视的区域后，用户注视区域变为除了黑色和白色的其他种类的颜色，便于用户对自己的选择进行及时的确定。
6.如权利要求1所述的一种基于脑机接口的脑卒中患者语音交流看护控制系统，其特征在于，在所述脑电信号分析模块中，判断患者是否注视频闪区域的具体过程为：对采集到的脑电信号进行分析判断其与预先设定的参考信号的相关系数是否小于阈值；若小于阈值，则为空闲状态，即患者没有注视频闪；若大于阈值，则是患者注视某一频闪区域，即患者为输入状态。
7.如权利要求1所述的一种基于脑机接口的脑卒中患者语音交流看护控制系统，其特征在于，所述脑电信号分析模块在提取出脑电信号特征之前还对脑电信号进行滤波处理。
8.如权利要求1所述的一种基于脑机接口的脑卒中患者语音交流看护控制系统，其特征在于，在所述脑电信号分析模块中，采用典型相关分析对脑电信号进行频率特征提取。
9.如权利要求1所述的一种基于脑机接口的脑卒中患者语音交流看护控制系统，其特征在于，在所述语音合成模块中，使用汉语词法分析系统对输入的脑电信号特征完成分词以及标注。
10.一种基于如权利要求1-9中任一项所述的脑机接口的脑卒中患者语音交流看护控制系统的控制方法，其特征在于，包括：
视觉刺激模块中所有闪烁区域常亮；
脑电信号采集模块实时采集所述脑电信号并传送至脑电信号分析模块；
脑电信号分析模块分析判断患者是否注视频闪区域，当判断患者是否注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，分别传送至病房呼叫模块和语音合成模块；
语音合成模块对输入的脑电信号特征完成分词以及标注；
基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成XML格式文件；
解析XML格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的XML文件进行韵律结构预测；
根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用PSOLA算法进行修改，最后合成语音并输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810764731.1A CN109065184B (zh) | 2018-07-12 | 2018-07-12 | 基于脑机接口的脑卒中患者语音交流看护控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810764731.1A CN109065184B (zh) | 2018-07-12 | 2018-07-12 | 基于脑机接口的脑卒中患者语音交流看护控制系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109065184A true CN109065184A (zh) | 2018-12-21 |
| CN109065184B CN109065184B (zh) | 2021-10-22 |
Family
ID=64816384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810764731.1A Active CN109065184B (zh) | 2018-07-12 | 2018-07-12 | 基于脑机接口的脑卒中患者语音交流看护控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109065184B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992112A (zh) * | 2019-04-02 | 2019-07-09 | 上海大学 | 基于ssvep的重症患者意图表达系统及方法 |
| CN110007769A (zh) * | 2019-04-16 | 2019-07-12 | 山东建筑大学 | 一种基于异步脑机接口的交流系统和方法 |
| CN111681636A (zh) * | 2020-06-16 | 2020-09-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN112698729A (zh) * | 2021-01-19 | 2021-04-23 | 华南理工大学 | 一种基于脑信号与语音相结合的字符输入方法 |
| CN114010208A (zh) * | 2021-11-08 | 2022-02-08 | 成都信息工程大学 | 适用于ssvep分类的零填充频域卷积神经网络方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010128867A1 (en) * | 2009-05-07 | 2010-11-11 | Smartbrain As | Electrode fixing device |
| CN102098639A (zh) * | 2010-12-28 | 2011-06-15 | 中国人民解放军第三军医大学野战外科研究所 | 脑机接口短消息发送控制装置及发送控制方法 |
| CN103845137A (zh) * | 2014-03-19 | 2014-06-11 | 北京工业大学 | 基于稳态视觉诱发脑机接口的机器人控制方法 |
| CN104200804A (zh) * | 2014-09-19 | 2014-12-10 | 合肥工业大学 | 一种面向人机交互的多类信息耦合的情感识别方法 |
| CN104914994A (zh) * | 2015-05-15 | 2015-09-16 | 中国计量学院 | 基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法 |
| CN106214391A (zh) * | 2016-07-21 | 2016-12-14 | 山东建筑大学 | 基于脑机接口的智能护理床及其控制方法 |
| CN107390869A (zh) * | 2017-07-17 | 2017-11-24 | 西安交通大学 | 基于运动视觉诱发电位的高效脑控中文输入方法 |
| CN107483992A (zh) * | 2017-07-11 | 2017-12-15 | 昆明理工大学 | 一种基于ssvep和运动想象的智能电视遥控方法 |
-
2018
- 2018-07-12 CN CN201810764731.1A patent/CN109065184B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010128867A1 (en) * | 2009-05-07 | 2010-11-11 | Smartbrain As | Electrode fixing device |
| CN102098639A (zh) * | 2010-12-28 | 2011-06-15 | 中国人民解放军第三军医大学野战外科研究所 | 脑机接口短消息发送控制装置及发送控制方法 |
| CN103845137A (zh) * | 2014-03-19 | 2014-06-11 | 北京工业大学 | 基于稳态视觉诱发脑机接口的机器人控制方法 |
| CN104200804A (zh) * | 2014-09-19 | 2014-12-10 | 合肥工业大学 | 一种面向人机交互的多类信息耦合的情感识别方法 |
| CN104914994A (zh) * | 2015-05-15 | 2015-09-16 | 中国计量学院 | 基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法 |
| CN106214391A (zh) * | 2016-07-21 | 2016-12-14 | 山东建筑大学 | 基于脑机接口的智能护理床及其控制方法 |
| CN107483992A (zh) * | 2017-07-11 | 2017-12-15 | 昆明理工大学 | 一种基于ssvep和运动想象的智能电视遥控方法 |
| CN107390869A (zh) * | 2017-07-17 | 2017-11-24 | 西安交通大学 | 基于运动视觉诱发电位的高效脑控中文输入方法 |
Non-Patent Citations (2)
| Title |
|---|
| PAN J, ET AL.: "Discrimination between control and idle states in asynchronous SSVEP-based brain switches: a pseudo-key-based approach", 《IEEE TRANSACTIONS ON NEURAL SYSTEMS & REHABILITATION ENGINEERING》 * |
| 贾志浩: "汉语语音合成系统的改进与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992112A (zh) * | 2019-04-02 | 2019-07-09 | 上海大学 | 基于ssvep的重症患者意图表达系统及方法 |
| CN110007769A (zh) * | 2019-04-16 | 2019-07-12 | 山东建筑大学 | 一种基于异步脑机接口的交流系统和方法 |
| CN111681636A (zh) * | 2020-06-16 | 2020-09-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN111681636B (zh) * | 2020-06-16 | 2022-02-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN112698729A (zh) * | 2021-01-19 | 2021-04-23 | 华南理工大学 | 一种基于脑信号与语音相结合的字符输入方法 |
| CN112698729B (zh) * | 2021-01-19 | 2023-06-06 | 华南理工大学 | 一种基于脑信号与语音相结合的字符输入方法 |
| CN114010208A (zh) * | 2021-11-08 | 2022-02-08 | 成都信息工程大学 | 适用于ssvep分类的零填充频域卷积神经网络方法 |
| CN114010208B (zh) * | 2021-11-08 | 2023-09-08 | 成都信息工程大学 | 适用于ssvep分类的零填充频域卷积神经网络方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109065184B (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109065184A (zh) | 基于脑机接口的脑卒中患者语音交流看护控制系统及方法 | |
| CN109464130B (zh) | 睡眠辅助方法、系统及可读存储介质 | |
| Griffiths et al. | The planum temporale as a computational hub | |
| CN106512206B (zh) | 植入式闭环脑深部刺激系统 | |
| Zhu et al. | Seriality of semantic and phonological processes during overt speech in Mandarin as revealed by event-related brain potentials | |
| CN103699216B (zh) | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 | |
| CN109394247A (zh) | 一种多特征融合的就诊用户情绪监控方法 | |
| CN110059575A (zh) | 一种基于表面肌电唇语识别的辅助沟通系统 | |
| CN107635147A (zh) | 基于多模态人机交互的健康信息管理电视 | |
| CN110007769A (zh) | 一种基于异步脑机接口的交流系统和方法 | |
| CN103793058A (zh) | 一种主动式脑机交互系统运动想象任务分类方法及装置 | |
| CN103699226A (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
| WO2019144776A1 (zh) | 一种基于非对称脑电特征的脑-机接口系统编解码方法 | |
| CN106200006A (zh) | 脑电波控制的智能ar眼镜设备 | |
| CN107390869A (zh) | 基于运动视觉诱发电位的高效脑控中文输入方法 | |
| CN109460144A (zh) | 一种基于发声神经电位的脑机接口控制系统及方法 | |
| CN113031766A (zh) | 一种通过脑电解码汉语发音的方法 | |
| CN110141258A (zh) | 一种情绪状态检测方法、设备及终端 | |
| CN111743538A (zh) | 脑机接口报警方法及系统 | |
| CN115454238A (zh) | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 | |
| CN110688013A (zh) | 一种基于ssvep的英文键盘拼写系统及拼写方法 | |
| Parui et al. | An advanced healthcare system where internet of things meets brain-computer interface using event-related potential | |
| CN106778475B (zh) | 一种最优导联集选择方法及系统 | |
| CN112617831B (zh) | 基于虚拟现实与脑-机接口的阿尔兹海默症辅助治疗装置 | |
| Stawicki et al. | Design and Customization of SSVEP-Based BCI Applications Aimed for Elderly People |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |