CN113031766B - 一种通过脑电解码汉语发音的方法 - Google Patents
一种通过脑电解码汉语发音的方法 Download PDFInfo
- Publication number
- CN113031766B CN113031766B CN202110274646.9A CN202110274646A CN113031766B CN 113031766 B CN113031766 B CN 113031766B CN 202110274646 A CN202110274646 A CN 202110274646A CN 113031766 B CN113031766 B CN 113031766B
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- voice
- corpus
- signal
- chinese
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000001054 cortical effect Effects 0.000 claims abstract description 30
- 230000000638 stimulation Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000000763 evoking effect Effects 0.000 claims abstract description 6
- 230000002269 spontaneous effect Effects 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 238000009432 framing Methods 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 4
- 210000003926 auditory cortex Anatomy 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 210000000857 visual cortex Anatomy 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 2
- 238000000537 electroencephalography Methods 0.000 claims 13
- 230000004936 stimulating effect Effects 0.000 claims 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 210000004556 brain Anatomy 0.000 description 19
- 238000011160 research Methods 0.000 description 8
- 230000005611 electricity Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000007428 craniotomy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 210000003061 neural cell Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种通过脑电解码汉语发音的方法，包括：基于汉语语料库内的刺激材料和信号灯脑电实验范式，获取跟读音频和想象跟读脑电；数据预处理：得到每个单独语料的诱发皮层脑电信号和被试对于汉语语音每个单独语料的自发声语音时频信号；针对每一份语料刺激诱发的脑电与语音信号，执行分帧截取样本操作，而后输入双峰酒桶形深度玻尔兹曼机神经网络，采用均方误差来衡量网络解析皮层脑电和语音对应关系的深度，若均方误差达到一个极小量级，则在训练集上，尝试进行未知脑电对应语音的解码。本发明的优点是：扩展了应用脑电解码语音的范围；弥补了脑电解码汉语的空白；有利于单模态信息重建多模态信息。
Description
技术领域
本发明涉及脑电解码合成汉语语音技术领域，特别涉及一种应用双峰自动编码器网络通过脑电解码汉语发音的方法。
背景技术
我们的脑是由千亿计的神经细胞相互联结而形成的神经网络，这些细胞通过突触互相连接，建立起彼此之间以百万亿计的人脑神经连接。当大脑活动时，信息在这些神经网络连接之间传递、协同交互，共同实现大脑的复杂功能。
脑神经细胞在活动时会伴随电位变化，这些电位变化在头皮表面被检测到，称之为皮层脑电信号(Electroencephalogram，EEG)。学者们通过脑电开始了对人类大脑的探索。脑神经基础生理活动规律研究、认知心理学相关的脑活动规律探索、各种疾病状态下脑功能与认知活动的相关性研究等，使我们开始一步一步解释人体中最复杂的器官也即大脑。
语音合成是将人类语音用人工的方式所产生。若是将电脑系统用在语音合成上，则称为语音合成器。
针对由于中风、肌萎缩侧索硬化症或其他神经系统疾病而导致言语中断时，通过读取患者的脑电信息，帮助他们恢复说话能力，一直以来都是脑科学和类脑智能领域的研究重点。当前基于脑电接口合成语音多采用侵入式脑机接口采集的数据解码合成英文语音，对皮层脑电的应用和重建汉语语音研究尚少，尚无法通过皮层脑电解码合成汉语语音。
与本发明相关的现有技术一
脑电采集设备根据电极位于大脑的位置分为侵入式(灰质)、部分侵入式(颅腔内灰质外)和非侵入式(头皮表面)。侵入式和部分侵入式电极都需要通过开颅手术才能完成植入，实验被试都是需要进行大脑手术的患者，医疗需求大于科研需求，其认知能力、参与的积极性和测试的状态都与科研的受试者不同。现有的通过脑电合成语音的采集设备主要以部分侵入式类中的脑电图(ECoG)为主，通过对词库内单词进行识别分类，拼词成句完成脑电合成语音任务。而非侵入式则是以皮层脑电(EEG)为主，基于P300拼写器实验范式，对26个英文字母进行识别分类，组字成词再拼接成完整的语句，但效率和准确率明显不如部分侵入式。这不仅是因为识别字母再拼接成单词相比直接识别单词本身错误率就会高，还有就是皮层脑电具有对噪声敏感含大量伪迹和空间分辨率低的劣势。
现有技术一的缺点
1、合成语种受限：目前通过脑电信号直接合成自然语言的种类主要为英语语种，有直接合成单词组成语句，也有通过识别英文字母拼写单词最后组成流畅的语句，尚无应用脑电直接合成汉语自然语音的研究。仅有一些简单的汉字分类任务，如针对汉字元辅音、单个汉字在笔画和同音字上的区分等等。这主要是因为汉字笔画种类繁多和拼音构成复杂，造成合成汉语语音具有很大的困难。
2、脑电数据采集来源受限：现有的研究都是通过侵入式或部分侵入式脑电采集设备采集的脑电，用于合成自然语音。这是因为皮层脑电的电极受颅骨阻碍，无法采集到精细的脑电信号且易受噪音污染，对解码其中的语音信息造成了极大的困难。
发明内容
本发明针对现有技术的缺陷，提供了一种通过脑电解码汉语发音的方法。
为了实现以上发明目的，本发明采取的技术方案如下：
一种通过脑电解码汉语发音的方法，包括以下步骤：
步骤1，基于若干个汉语语料库内的刺激材料和信号灯脑电实验范式，获取被试针对不同提示语的跟读音频和想象跟读脑电；
步骤2，数据预处理：脑电信号部分，经基础的预处理操作去除眼电、肌电等伪迹信号后，将留下的信号还原得到干净的EEG成分，再以语料提示的结束时间为事件起始点，截取适当时长EEG信号并进行分段，得到每个单独语料的诱发皮层脑电信号；音频信号部分，仍以语料提示的结束时间为时间起始点，对语音信号进行分段，得到被试对于汉语语音每个单独语料的自发声语音时频信号；
步骤3，针对每一份语料刺激诱发的脑电与语音信号，执行分帧截取样本操作，而后输入双峰酒桶形深度玻尔兹曼机神经网络，采用均方误差来衡量网络解析皮层脑电和语音对应关系的深度，若均方误差达到一个极小量级，则说明，在训练集上，皮层脑电与语音的对应关系已有了初步了解，从而在测试集上，可以尝试进行未知脑电对应语音的解码。
进一步地，步骤1具体为，使用常见汉语词语作为刺激材料，依据语法功能和语汇意义将其分为虚词与实词两类，获取想象跟读语料诱发的皮层脑电数据和同一被试对相应语料的跟读数据，一一对应作为解析脑电与语音间关系的学习材料。
进一步地，步骤1中被试对同一语料的想象和跟读任务不同时进行，并且任务进行时无语料相关信息刺激，从而保证皮层脑电中肌电成分影响消失并且只采用听觉皮层通路诱发脑电，避免了视觉皮层通路的影响。
进一步地，步骤2具体为：首先对脑电信号进行预览，人工剔除明显的干扰噪声，以及典型的因被试头部的运动产生的大幅度数据漂移；使用全电极均值作为参考电极；其次，对脑电信号做1-45Hz的带通滤波，去除市电与电器频率干扰，最后，对脑电信号做ICA分解，将EEG信号分离成相互独立的信号，去除伪迹信号后，将留下的信号还原得到干净的EEG成分；在对数据进行预处理后，对于被试想象跟读语料任务得到的EEG信号，以语料提示的结束时间为事件起始点，截取适当时长EEG信号并进行分段，得到被试对于汉语语音每个单独语料的诱发皮层脑电信号；对于被试跟读语料任务得到的音频数据，仍以语料提示的结束时间为时间起始点，对语音信号进行分段，得到被试对于汉语语音每个单独语料的自发声语音时频信号。
进一步地，步骤3具体为：在对EEG数据和语音数据预处理后，得到两种模态的数据，一种是由想象跟读诱发的皮层脑电信号，另一种是跟读的语音时频信号，二者时间轴一一对应。针对每一份语料刺激诱发的脑电与语音信号，按10ms分帧，帧移为10ms，50ms为一个样本截取信号作为双峰酒桶形深度玻尔兹曼机网络的输入，从而对应的网络输出也为50ms，择第三帧即第20ms到第30ms区间内数据作为重建样本，从而避免了数字信号的边缘效应。使用均方误差来衡量网络解析皮层脑电和语音对应关系的深度，若均方误差到一个极小量级，则说明，在训练集上，皮层脑电与语音的对应关系已有了初步了解，从而在测试集上，尝试进行未知脑电对应语音的解析。
与现有技术相比，本发明的优点在于：
一提出了将皮层脑电与汉语语音进行跨模态整合，学习共同表达特征的技术，扩展了应用脑电解码语音的范围；
二选取有着复杂的声母、韵母和声调的汉语作为语音重建语种，弥补了脑电解码汉语的空白；
三构建了酒桶形的深度玻尔兹曼机网络结构，能提取更为丰富的共同表达特征，有利于单模态信息重建多模态信息。
附图说明
图1是本发明实施例单组实验范式流程图；
图2是本发明实施例双峰酒桶形深度玻尔兹曼机结构图；
图3是本发明实施例数据分帧示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实例，对本发明做进一步详细说明。
一种通过脑电解码汉语发音的方法，包括以下步骤：
步骤1，使用若干个常见汉语词语作为刺激材料，依据语法功能和语汇意义将其分为虚词与实词两类，获取想象跟读语料诱发的皮层脑电数据和同一被试对相应语料的跟读数据，一一对应作为解析脑电与语音间关系的学习材料。其中被试对同一语料的想象和跟读任务不同时进行，并且任务进行时无语料相关信息刺激，从而保证皮层脑电中肌电成分影响消失并且只采用听觉皮层通路诱发脑电，避免了视觉皮层通路的影响；
步骤2，EEG数据处理：首先对脑电信号进行预览，人工剔除较为明显的干扰噪声，以及典型的因被试头部的运动产生的大幅度数据漂移；使用全电极均值作为参考电极；其次，对脑电信号做1-45Hz的带通滤波，去除市电与电器频率干扰，最后，对脑电信号做ICA分解，将EEG信号分离成相互独立的信号，去除眼电、肌电等伪迹信号后，将留下的信号还原得到干净的EEG成分；在对数据进行预处理后，对于被试想象跟读语料任务得到的EEG信号，以语料提示的结束时间为事件起始点，截取适当时长EEG信号并进行分段，得到被试对于汉语语音每个单独语料的诱发皮层脑电信号；对于被试跟读语料任务得到的音频数据，仍以语料提示的结束时间为时间起始点，对语音信号进行分段，得到被试对于汉语语音每个单独语料的自发声语音时频信号；
步骤3，在对EEG数据和语音数据预处理后，得到两种模态的数据，一种是由想象跟读诱发的皮层脑电信号，另一种是跟读的语音时频信号，二者时间轴一一对应。针对每一份语料刺激诱发的脑电与语音信号，按10ms分帧，帧移为10ms，50ms为一个样本截取信号作为双峰酒桶形深度玻尔兹曼机网络的输入，从而对应的网络输出也为50ms，择第三帧即第20ms到第30ms区间内数据作为重建样本，从而避免了数字信号的边缘效应。使用均方误差来衡量网络解析皮层脑电和语音对应关系的深度，若均方误差到一个极小量级，则说明，在训练集上，皮层脑电与语音的对应关系已有了初步了解，从而在测试集上，可以尝试进行未知脑电对应语音的解析。本技术已在小范围数据集内完成了训练和测试的工作，测试结果较为良好，能完成对现有测试集所有未知脑电的解析任务。
想象跟读任务要求被试想象嘴唇、舌头、喉部和下颌的协调运动，从而通过听觉皮层通道诱发脑电位变化。因此，本发明认为脑在进行想象跟读任务时诱发的皮层脑电与想象跟读的语料存在一定的关联性。本发明设计了含两种汉语语料刺激的认知实验(两字词语与汉语数字)，构建一一对应的皮层脑电与语音音频数据库，语料细节如表1所示。
表1汉语语料表
实验目的：获取被试跟读提示词条的音频和想象跟读提示词条的脑电信号。实验任务设计灵感来自交通信号灯，故而以下以红绿灯的方式称呼刺激图片。被试在屏幕提示加号和红灯时保持沉默，加号刺激是用于保证实验刺激的不定时性；绿灯时跟读提示词条；黄灯时想象跟读提示词条。单个词条的trial时间安排如图1所示(以报纸这个词条为例)。此外会根据提示语料的长短调整相应的跟读与想象跟读时间，确保任务时间充足。
训练阶段是将步骤3预处理完成后的脑电和语音数据同步送入双峰酒桶形深度玻尔兹曼机进行训练，在经过一定轮次的迭代后，完成对图2所示网络结构中的共享表达层的多模态特征学习过程。
测试阶段则是将未知的皮层脑电预处理后，输入已训练好的双峰酒桶形深度玻尔兹曼机，获得重建的单峰语音输出，对其重构即得对应的语音音频。具体表现为，假设未知脑电共包含n个语料的想象跟读诱发皮层脑电，用Sn＝{s1,s2,s3…sn}表示。先对其进行预处理以剔除市电、电器、肌电和眼电等干扰成分。而后对皮层脑电进行分段，以语料提示的结束时间为事件起始点，截取合适的脑电时长进行分段，得到被试对于汉语语音每个单独语料的诱发皮层脑电信号si。之后对每段语音诱发的脑电以10ms为一帧，帧移为10ms分帧进行操作，如图3所示。五帧即50ms为一个样本作为双峰深度玻尔兹曼机的脑电侧的输入，而语音侧输入则补零，输出即得重建的单峰语音数据，最后分解帧并拼接即得对应的语音音频。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (5)
1.一种通过脑电解码汉语发音的方法，其特征在于，包括以下步骤：
步骤1，基于若干个汉语语料库内的刺激材料和信号灯脑电实验范式，获取被试针对不同提示语的跟读音频和想象跟读脑电；
步骤2，数据预处理：脑电信号部分，经基础的预处理操作去除眼电、肌电的伪迹信号后，将留下的信号还原得到干净的EEG成分，再以语料提示的结束时间为事件起始点，截取适当时长EEG信号并进行分段，得到每个单独语料的诱发皮层脑电信号；音频信号部分，仍以语料提示的结束时间为时间起始点，对语音信号进行分段，得到被试对于汉语语音每个单独语料的自发声语音时频信号；
步骤3，针对每一份语料刺激诱发的脑电与语音信号，执行分帧截取样本操作，而后输入双峰酒桶形深度玻尔兹曼机神经网络，采用均方误差来衡量网络解析皮层脑电和语音对应关系的深度，若均方误差达到一个极小量级，则说明，在训练集上，皮层脑电与语音的对应关系已有了初步了解，从而在测试集上，尝试进行未知脑电对应语音的解码。
2.根据权利要求1所述的一种通过脑电解码汉语发音的方法，其特征在于：步骤1具体为，使用常见汉语词语作为刺激材料，依据语法功能和语汇意义将其分为虚词与实词两类，获取想象跟读语料诱发的皮层脑电数据和同一被试对相应语料的跟读数据，一一对应作为解析脑电与语音间关系的学习材料。
3.根据权利要求2所述的一种通过脑电解码汉语发音的方法，其特征在于：步骤1中被试对同一语料的想象和跟读任务不同时进行，并且任务进行时无语料相关信息刺激，从而保证皮层脑电中肌电成分影响消失并且只采用听觉皮层通路诱发脑电，避免了视觉皮层通路的影响。
4.根据权利要求3所述的一种通过脑电解码汉语发音的方法，其特征在于：步骤2具体为：首先对脑电信号进行预览，人工剔除明显的干扰噪声，以及典型的因被试头部的运动产生的大幅度数据漂移；使用全电极均值作为参考电极；其次，对脑电信号做1-45Hz的带通滤波，去除市电与电器频率干扰，最后，对脑电信号做ICA分解，将EEG信号分离成相互独立的信号，去除伪迹信号后，将留下的信号还原得到干净的EEG成分；在对数据进行预处理后，对于被试想象跟读语料任务得到的EEG信号，以语料提示的结束时间为事件起始点，截取适当时长EEG信号并进行分段，得到被试对于汉语语音每个单独语料的诱发皮层脑电信号；对于被试跟读语料任务得到的音频数据，仍以语料提示的结束时间为时间起始点，对语音信号进行分段，得到被试对于汉语语音每个单独语料的自发声语音时频信号。
5.根据权利要求4所述的一种通过脑电解码汉语发音的方法，其特征在于：步骤3具体为：在对EEG数据和语音数据预处理后，得到两种模态的数据，一种是由想象跟读诱发的皮层脑电信号，另一种是跟读的语音时频信号，二者时间轴一一对应；针对每一份语料刺激诱发的脑电与语音信号，按10ms分帧，帧移为10ms，50ms为一个样本截取信号作为双峰酒桶形深度玻尔兹曼机网络的输入，从而对应的网络输出也为50ms，择第三帧即第20ms到第30ms区间内数据作为重建样本，从而避免了数字信号的边缘效应；使用均方误差来衡量网络解析皮层脑电和语音对应关系的深度，若均方误差到一个极小量级，则说明，在训练集上，皮层脑电与语音的对应关系已有了初步了解，从而在测试集上，尝试进行未知脑电对应语音的解析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110274646.9A CN113031766B (zh) | 2021-03-15 | 2021-03-15 | 一种通过脑电解码汉语发音的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110274646.9A CN113031766B (zh) | 2021-03-15 | 2021-03-15 | 一种通过脑电解码汉语发音的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113031766A CN113031766A (zh) | 2021-06-25 |
| CN113031766B true CN113031766B (zh) | 2022-09-23 |
Family
ID=76469117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110274646.9A Active CN113031766B (zh) | 2021-03-15 | 2021-03-15 | 一种通过脑电解码汉语发音的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113031766B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113504828A (zh) * | 2021-06-28 | 2021-10-15 | 广州大学 | 基于语言想象和运动想象的脑机接口控制方法及系统 |
| CN113724687B (zh) * | 2021-08-30 | 2024-04-16 | 深圳市神经科学研究院 | 基于脑电信号的语音生成方法、装置、终端及存储介质 |
| CN115565540B (zh) * | 2022-12-05 | 2023-04-07 | 浙江大学 | 一种侵入式脑机接口汉语发音解码方法 |
| CN117130490B (zh) * | 2023-10-26 | 2024-01-26 | 天津大学 | 一种脑机接口控制系统及其控制方法和实现方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103716744A (zh) * | 2012-10-08 | 2014-04-09 | 奥迪康有限公司 | 具有随脑电波而变的音频处理的听力装置 |
| CN108236464A (zh) * | 2017-12-29 | 2018-07-03 | 重庆邮电大学 | 基于脑电信号的特征提取方法及其检测提取系统 |
| CN108540899A (zh) * | 2017-03-02 | 2018-09-14 | 斯达克实验室公司 | 包含用户交互式听觉显示器的听觉设备 |
| CN109172067A (zh) * | 2018-08-21 | 2019-01-11 | 中国地质大学（武汉） | 一种基于脑电信号和语音信号共同控制的智能义肢系统 |
| WO2019068200A1 (en) * | 2017-10-06 | 2019-04-11 | Holland Bloorview Kids Rehabilitation Hospital | BRAIN INTERFACES PLATFORM AND METHOD FOR INNER SPEECH CLASSIFICATION |
| CN111728609A (zh) * | 2020-08-26 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 脑电信号的分类方法、分类模型的训练方法、装置及介质 |
| CN111973178A (zh) * | 2020-08-14 | 2020-11-24 | 中国科学院上海微系统与信息技术研究所 | 一种脑电信号识别系统及方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9679496B2 (en) * | 2011-12-01 | 2017-06-13 | Arkady Zilberman | Reverse language resonance systems and methods for foreign language acquisition |
| US9405366B2 (en) * | 2013-10-02 | 2016-08-02 | David Lee SEGAL | Systems and methods for using imagined directions to define an action, function or execution for non-tactile devices |
| CN104679249B (zh) * | 2015-03-06 | 2017-07-07 | 南京邮电大学 | 一种基于diva模型的汉语脑机接口实现方法 |
| KR102072788B1 (ko) * | 2015-04-30 | 2020-03-12 | 삼성전자주식회사 | 휴대 장치 및 휴대 장치의 콘텐트 화면 변경방법 |
| CN205721730U (zh) * | 2016-04-28 | 2016-11-23 | 华南师范大学 | 用于自动翻页的控制装置及其电子阅读器装置 |
| CN107864440B (zh) * | 2016-07-08 | 2022-02-08 | 奥迪康有限公司 | 包括eeg记录和分析系统的助听系统 |
| CN108646726A (zh) * | 2018-04-03 | 2018-10-12 | 山东农业大学 | 基于脑电波的轮椅控制方法以及结合语音的轮椅控制系统 |
| WO2021035067A1 (en) * | 2019-08-20 | 2021-02-25 | The Trustees Of Columbia University In The City Of New York | Measuring language proficiency from electroencephelography data |
-
2021
- 2021-03-15 CN CN202110274646.9A patent/CN113031766B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103716744A (zh) * | 2012-10-08 | 2014-04-09 | 奥迪康有限公司 | 具有随脑电波而变的音频处理的听力装置 |
| CN108540899A (zh) * | 2017-03-02 | 2018-09-14 | 斯达克实验室公司 | 包含用户交互式听觉显示器的听觉设备 |
| WO2019068200A1 (en) * | 2017-10-06 | 2019-04-11 | Holland Bloorview Kids Rehabilitation Hospital | BRAIN INTERFACES PLATFORM AND METHOD FOR INNER SPEECH CLASSIFICATION |
| CN108236464A (zh) * | 2017-12-29 | 2018-07-03 | 重庆邮电大学 | 基于脑电信号的特征提取方法及其检测提取系统 |
| CN109172067A (zh) * | 2018-08-21 | 2019-01-11 | 中国地质大学（武汉） | 一种基于脑电信号和语音信号共同控制的智能义肢系统 |
| CN111973178A (zh) * | 2020-08-14 | 2020-11-24 | 中国科学院上海微系统与信息技术研究所 | 一种脑电信号识别系统及方法 |
| CN111728609A (zh) * | 2020-08-26 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 脑电信号的分类方法、分类模型的训练方法、装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113031766A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113031766B (zh) | 一种通过脑电解码汉语发音的方法 | |
| CN110765920B (zh) | 基于卷积神经网络的运动想象分类方法 | |
| Jenson et al. | Temporal dynamics of sensorimotor integration in speech perception and production: independent component analysis of EEG data | |
| Xue et al. | The linguistic context effects on the processing of body–object interaction words: An ERP study on second language learners | |
| CN111110230A (zh) | 一种运动想象脑电特征增强方法及系统 | |
| Fadzal et al. | Review of brain computer interface application in diagnosing dyslexia | |
| Bakhshali et al. | Investigating the neural correlates of imagined speech: An EEG-based connectivity analysis | |
| Bastos-Filho | Introduction to non-invasive EEG-Based brain-computer interfaces for assistive technologies | |
| CN107822628B (zh) | 一种癫痫脑部病灶区自动定位装置及系统 | |
| Varshney et al. | Imagined speech classification using six phonetically distributed words | |
| Li et al. | A preliminary study of classifying spoken vowels with EEG signals | |
| Nam et al. | Language-related glossokinetic potentials on scalp | |
| Eva et al. | Amplitude Modulation Index as Feature in a Brain Computer Interface. | |
| CN111616704A (zh) | 针对句子听力任务大脑动态功能网络交互模式的研究方法 | |
| Rao | Decoding imagined speech using wearable EEG headset for a single subject | |
| Mugler et al. | Differential representation of articulatory gestures and phonemes in motor, premotor, and inferior frontal cortices | |
| Kalyakin et al. | Extraction of the mismatch negativity elicited by sound duration decrements: a comparison of three procedures | |
| Sharma et al. | Human-Computer Interaction with Special Emphasis on Converting Brain Signals to Speech | |
| Ramkumar et al. | An Approach on BCI based Silent Speech Interface for Automatic Speech Recognition | |
| Maegherman et al. | The involvement of articulatory motor cortex in motor imagery of speech | |
| Roussel | Analysis of cortical activity for the development of brain-computer interfaces for speech | |
| Nataraj et al. | Statistical cross-correlation band features based thought controlled communication system | |
| Dekker et al. | DAIS: The Delft Database of EEG Recordings of Dutch Articulated and Imagined Speech | |
| Watanabe | Neural decoding of sentences using synchronization between EEG and speech rhythm | |
| Wu et al. | Silent Speech Recognition based on sEMG and EEG Signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |