CN111973178A - 一种脑电信号识别系统及方法 - Google Patents
一种脑电信号识别系统及方法 Download PDFInfo
- Publication number
- CN111973178A CN111973178A CN202010818365.0A CN202010818365A CN111973178A CN 111973178 A CN111973178 A CN 111973178A CN 202010818365 A CN202010818365 A CN 202010818365A CN 111973178 A CN111973178 A CN 111973178A
- Authority
- CN
- China
- Prior art keywords
- information
- text
- module
- electroencephalogram
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 67
- 230000008451 emotion Effects 0.000 claims abstract description 54
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 210000003710 cerebral cortex Anatomy 0.000 claims abstract description 9
- 230000005236 sound signal Effects 0.000 claims description 62
- 238000012549 training Methods 0.000 claims description 45
- 238000010801 machine learning Methods 0.000 claims description 29
- 210000004556 brain Anatomy 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 12
- 210000004326 gyrus cinguli Anatomy 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 230000002450 orbitofrontal effect Effects 0.000 claims description 8
- 239000000758 substrate Substances 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 5
- 108010022355 Fibroins Proteins 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims 2
- 230000001054 cortical effect Effects 0.000 abstract description 14
- 230000008909 emotion recognition Effects 0.000 abstract description 7
- 230000002996 emotional effect Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003715 limbic system Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0209—Special features of electrodes classified in A61B5/24, A61B5/25, A61B5/283, A61B5/291, A61B5/296, A61B5/053
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请涉及一种脑电信号识别系统及方法，包括依次连接的脑电信号采集模块、特征提取模块和识别模块；脑电信号采集模块用于通过贴附于大脑皮层布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层的脑电极采集脑电信号，并将脑电信号传递至特征提取模块；特征提取模块用于对脑电信号进行预处理，并根据已训练的特征提取模型对预处理后的脑电信号进行特征提取，得到脑电信号的特征信息；识别模块用于根据已训练的识别模型中的编码器对特征信息进行编码，得到包含文本特征和情绪特征的编码信息，并根据已训练的识别模型中的解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息。如此，可以实现基于皮层脑电信号的情绪识别和语义复现。
Description
技术领域
本申请涉及神经科学技术领域，特别涉及一种脑电信号识别系统及方法。
背景技术
语言是人类沟通、表达的载体，人脑经过数千年的演变进化形成了听觉性、运动性、视觉性、书写性四部分语言中枢，使人类获得了听、说、读、写等一系列的语言功能。近年来，随着脑机接口领域的不断发展与突破，针对语言的脑电信号研究引起了广泛重视，包括脑电语音合成、发音想象脑机接口等；情绪同样在人类沟通、表达时发挥重要作用，其种类与强度影响着人类对语句语义的理解及反馈，是实现准确语音合成和人机交互的关键信息。
现有技术中针对脑电语音相关性的研究主要集中在头皮脑电信号(EEG)分析，然而，说话引起的不同程度面部肌肉运动以及不同的情绪类型激发的额部、脸颊周围区域肌电信号和额电信号对EEG的采集有明显干扰，低信噪比信号不利于后续特征提取与解码；且现有技术中基于脑电语音的解码工作已经开展了很多，但针对基于脑电信号的语音-情绪协同解码还未有涉及。
发明内容
本申请实施例提供了一种脑电信号识别系统及方法，可以实现基于皮层脑电信号的文本信息和情绪信息的识别。
一方面，本申请实施例提供了一种脑电信号识别系统，包括依次连接的脑电信号采集模块、特征提取模块和识别模块；
脑电信号采集模块，用于通过贴附于大脑皮层布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层的脑电极采集脑电信号，并将脑电信号传递至特征提取模块；
特征提取模块，用于对脑电信号进行预处理，并根据已训练的特征提取模型对预处理后的脑电信号进行特征提取，得到脑电信号的特征信息；
识别模块，用于根据已训练的识别模型中的编码器对特征信息进行编码，得到包含文本特征和情绪特征的编码信息，并根据已训练的识别模型中的解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息。
可选的，系统还包括互相连接的音频信号采集模块和音频信号处理模块；音频信号采集模块，用于采集训练文本对应的音频信号，并将音频信号传递至音频信号处理模块；音频信号处理模块，用于对音频信号进行特征提取，得到音频信号对应的语音特征；其中，语音特征、训练文本和训练文本对应的阅读情绪用于对未训练的识别模型进行训练，以得到已训练的识别模型。
可选的，脑电极包括柔性衬底；柔性衬底的材料为蚕丝蛋白。
可选的，编码器采用双向长短时记忆循环神经网络模型结构；解码器采用长短时记忆循环神经网络模型结构；特征提取模型采用时域卷积网络模型结构。
可选的，解码器包括文本解码子模块和情绪解码子模块；文本解码子模块基于第一长短时记忆循环神经网络模型对编码信息进行文本解码，得到文本信息；情绪解码子模块基于第二长短时记忆循环神经网络模型对编码信息进行情绪解码，得到情绪信息。
可选的，系统还包括语音合成模块；语音合成模块与识别模块连接；语音合成模块，用于将文本信息转换为脑电信号对应的语音信息。
另一方面，本申请实施例还提供了一种脑电信号识别方法，包括：
根据已训练的特征提取模型对预处理后的脑电信号进行特征提取，得到脑电信号的特征信息；脑电信号是通过贴附于大脑皮层布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层的脑电极采集得到的；
根据已训练的识别模型中的编码器对特征信息进行编码，得到包含文本特征和情绪特征的编码信息；
根据已训练的识别模型中的解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息。
可选的，方法还包括获取已训练的识别模型的步骤；获取已训练的识别模型，包括：获取训练文本、训练文本对应的音频信号、阅读情绪和脑电样本；对音频信号进行特征提取，得到音频信号对应的实际语音特征；根据已训练的特征提取模型对预处理后的脑电样本进行特征提取，得到脑电样本的特征信息；基于脑电样本的特征信息、实际语音特征、训练文本、阅读情绪对预设机器学习模型进行训练，得到已训练的识别模型。
可选的，基于脑电样本的特征信息、实际语音特征、训练文本、阅读情绪对预设机器学习模型进行训练，得到已训练的识别模型，包括：构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；预设机器学习模型包括编码器和解码器；根据编码器对脑电样本的特征信息进行编码，得到包括预测文本特征和预测情绪特征的预测编码信息，并输出预测语音特征；基于预测语音特征和实际语音特征确定第一损失值；根据解码器对预测编码信息进行解码，得到脑电样本对应的预测文本信息和预测情绪信息；基于预测文本信息、预测情绪信息、阅读情绪和训练文本确定第二损失值；根据第一损失值和第二损失值确定第三损失值；当第三损失值大于预设阈值时，基于第三损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：根据编码器对脑电样本的特征信息进行编码，得到包括预测文本特征和预测情绪特征的预测编码信息，并输出预测语音特征；当第三损失值小于预设阈值时，得到已训练的识别模型。
可选的，根据已训练的识别模型中的解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息之后，还包括：将文本信息转换为脑电信号对应的语音信息。
本申请实施例提供的一种脑电信号识别系统及方法具有如下有益效果：
脑电信号识别系统，包括依次连接的脑电信号采集模块、特征提取模块和识别模块；脑电信号采集模块，用于通过贴附于大脑皮层布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层的脑电极采集脑电信号，并将脑电信号传递至特征提取模块；特征提取模块，用于对脑电信号进行预处理，并根据已训练的特征提取模型对预处理后的脑电信号进行特征提取，得到脑电信号的特征信息；识别模块，用于根据已训练的识别模型中的编码器对特征信息进行编码，得到包含文本特征和情绪特征的编码信息，并根据已训练的识别模型中的解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息。如此，可以实现基于皮层脑电信号的情绪识别和语义复现。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种脑电信号识别系统的结构示意图；
图2是本申请实施例提供的一种脑电信号和音频信号时序同步采集系统；
图3是本申请实施例提供的一种识别模型的结构示意图；
图4是本申请实施例提供的一种脑电信号识别方法的流程示意图；
图5是本申请实施例提供的一种基于脑电信号识别系统的脑电信号识别流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请为了实现基于皮层脑电信号(ECoG)的情绪识别和语义、语音复现等功能，提供了一种脑电信号识别系统。请参阅图1，图1是本申请实施例提供的一种脑电信号识别系统的结构示意图，包括依次连接的脑电信号采集模块101、特征提取模块102和识别模块103；
脑电信号采集模块101，用于通过贴附于大脑皮层布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层的脑电极采集脑电信号，并将脑电信号传递至特征提取模块102；
特征提取模块102，用于对脑电信号进行预处理，并根据已训练的特征提取模型对预处理后的脑电信号进行特征提取，得到脑电信号的特征信息；
识别模块103，用于根据已训练的识别模型中的编码器对特征信息进行编码，得到包含文本特征和情绪特征的编码信息，并根据已训练的识别模型中的解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息。
可选的，上述特征提取模块102和识别模块103可以被设置于同一个设备，例如计算机等终端设备。如此，脑电信号采集模块101采集的脑电信号直接传递至计算机，由计算机对脑电信号进行特征提取和识别。
本申请实施例中，通过脑电信号采集模块101中贴附于大脑皮层布洛卡区、视觉语言中枢(37、39区)、眶额叶皮层(11、12区)和扣带皮层(23、24区)的脑电极来采集皮层脑电脑信号(ECoG)，如此，可以获得信号强度强、信噪比高的脑电信号；其中，布洛卡区为皮层运动语言中枢，控制着人发音过程中嘴部肌肉、声带的运动；视觉语言中枢靠近视中枢，其神经活动调控人在阅读或识图时对文字和图像的理解；眶额叶皮层和扣带皮层处于人脑边缘系统中，研究表明情绪的产生与表达在与这两个脑区的神经活动有关联；然后将采集的脑电信号依次经特征提取模块102和识别模块103，进行特征提取以及对提取的特征信息进行编码和解码，从而获得脑电信号对应的文本信息和情绪信息，如此，可以实现基于皮层脑电信号的情绪识别和语义复现。
一种可选的实施方式中，脑电信号识别系统还包括语音合成模块；语音合成模块与识别模块103连接；语音合成模块，用于将文本信息转换为脑电信号对应的语音信息。
具体的，可以通过文语转换(Text to Speech，TTS)技术将文本信息转换为脑电信号对应的语音信息。如此，在实现基于皮层脑电信号的情绪识别和语义复现的基础上，还可以实现语音的复现。
一种可选的实施方式中，脑电信号采集模块101中脑电极可以采用柔性衬底，柔性衬底的材料为蚕丝蛋白。将蚕丝蛋白脑电极有针对性的对特定脑区进行高信噪比、稳定ECoG测量，极大程度上避免了非相关脑区的信号干扰。
相对于现有技术中针对ECoG的测量都是基于商用皮层电极，本申请基于蚕丝蛋白的皮层脑电极的优势有：生物兼容性好，对于大脑表面的皮层与脑沟具有更优良的贴附性，保证了信号采集的稳定性与高信噪比；蚕丝蛋白皮层脑电极制造工艺灵活，可根据需覆盖脑区的皮层面积、形貌等进行特异性设计，选用合适的通道数和电极密集程度，可以增强脑电信息特征提取的针对性，可以减轻后端采集电路的负担。
一种可选的实施方式中，脑电信号识别系统还包括互相连接的音频信号采集模块和音频信号处理模块；音频信号采集模块，用于采集训练文本对应的音频信号，并将音频信号传递至音频信号处理模块；音频信号处理模块，用于对音频信号进行特征提取，得到音频信号对应的语音特征；其中，语音特征、训练文本和训练文本对应的阅读情绪用于对未训练的识别模型进行训练，以得到已训练的识别模型。
具体的，音频信号采集模块可以包括高保真麦克风和声卡，当被试者在阅读训练文本时，通过高保真麦克风和声卡采集与脑电信号时序同步的音频信号；然后将音频信号传递至音频信号处理模块进行后续的处理。作为参考，高保真麦克风可以选择TAKSTAR PC-K500型号；声卡可以选择steinberg UR44C型号。
请参阅图2，图2是本申请实施例提供的一种脑电信号和音频信号时序同步采集系统，包括脑电信号采集模块201、音频信号采集模块202和计算机203；脑电信号采集模块201具体包括脑电极2011和多通道数据采集设备2012，多通道数据采集设备2012与计算机203连接；音频信号采集模块202具体包括麦克风2021和声卡2022，声卡2022与计算机203连接。
结合图2，下面介绍一种脑电信号和音频信号的时序同步采集方法。首先，在处于手术窗口期的被试者大脑皮层特定区域(布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层)放置皮层脑电极2011，外部连接多通道数据采集设备2012；被试者根据给出的训练文本进行情感朗读、默读和图片描述，可以选择录制三种情况下的音频信号，同时采集对应的脑电样本；其中，训练文本为基于中文的数据集；采集时可以分为两个阶段，空闲期和发音期；在空闲期，被试者被要求不做任何任务，仅注视屏幕上的固定符号，目的是让脑活动信号返回基线水平，防止对随后发音期的神经数据记录造成干扰，也可把这段数据作为负样本；在发音期，被试者逐个大声朗读训练文本中的汉字，每个汉字都会在计算机屏幕上短暂显示以供朗诵，句子间有几秒的间隔(空白屏)；此外，采集时麦克风2021使用16位深度、单声道、192kHz采集被试者朗读训练文本时的音频信号。作为参考，多通道数据采集设备2012可以选择现有的intan RHS型号。
为便于后续信号处理，音频信号和脑电样本的时序同步性非常关键，可以使用intan设备自带的时钟脉冲发生器所产生的标记脉冲以及被试者有意识的咳嗽动作作为时序标记点，在后续信号处理过程中对比两种时序标记进行数据截断与对齐，确保脑电样本与音频信号发生响应时的同步性。
一种可选的实施方式中，识别模块103的识别模型中的编码器采用双向长短时记忆(Bidirectional Long Short-term Memory，Bi-LSTM)循环神经网络模型结构；解码器采用长短时记忆(Long Short-term Memory，LSTM)循环神经网络模型结构；特征提取模块102的特征提取模型采用时域卷积网络(Temporal Convolutional Network，TCN)模型结构。
一种可选的实施方式中，特征提取模块102还包括预处理模块，用于对脑电信号进行预处理，以得到脑电信号中的high-gamma信号。
具体的，预处理模块用于：对采集的脑电信号进行放大，固定采样率在3kHz左右，去除可见伪影或噪声过大的通道；然后对这些数字信号进行抗混叠(200Hz低通滤波)并降采样至400Hz；其次，在剩余的N个电极上，通过双极参考法生成2N个通道；最后，分别在70到150Hz之间的八个相邻频带中提取解析振幅，在整个频带中取平均值并降采样到200Hz左右。随后在30s的滑动窗口的基础上对解析信号的幅度进行z分数转换，从而生成high-gamma信号。本申请中对脑电信号进行预处理得到脑电信号中的high-gamma信号的目的是为了获得更加准确的特征信息。
一种可选的实施方式中，识别模块103的识别模型中的解码器包括文本解码子模块和情绪解码子模块；文本解码子模块基于第一长短时记忆循环神经网络模型对编码信息进行文本解码，得到文本信息；情绪解码子模块基于第二长短时记忆循环神经网络模型对编码信息进行情绪解码，得到情绪信息。
具体的，请参阅图3，图3是本申请实施例提供的一种识别模型的结构示意图，包括编码器301和解码器302；解码器302包括文本解码子模块3021和情绪解码子模块3022；编码器301的输入为对脑电信号进行预处理、特征提取后的特征信息，例如high-gamma频段峰峰拟合特征谱线；编码器301采用Bi-LSTM，对特征信息进行编码，将编码器301的隐藏层输出的包含文本特征和情绪特征的编码信息作为解码器302的输入；文本解码子模块3021采用LSTM1，对编码信息进行文本解码，输出文本信息；情绪解码子模块3022采用LSTM2，对编码信息进行情绪解码，输出情绪信息；其中，编码器301的输出为预测的音频特征信号，实际应用时可以直接舍弃；在训练识别模型时，该音频特征信号与真实值比较来作为一部分损失来训练模型，真实值为采集的音频信号进行转换之后的音频特征。识别模型的训练过程在下文中具体介绍，此处主要介绍识别模型的结构。
以下介绍本申请一种脑电信号识别方法的具体实施例，图4是本申请实施例提供的一种脑电信号识别方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图4所示，该方法可以包括：
S401：根据已训练的特征提取模型对预处理后的脑电信号进行特征提取，得到脑电信号的特征信息；脑电信号是通过贴附于大脑皮层布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层的脑电极采集得到的。
S403：根据已训练的识别模型中的编码器对特征信息进行编码，得到包含文本特征和情绪特征的编码信息。
S405：根据已训练的识别模型中的解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息。
本申请实施例中，步骤S401-S405的脑电信号识别方法是基于脑电信号识别系统实现的，脑电信号识别系统包括上文系统实施例中脑电信号采集模块、特征提取模块和识别模块，通过脑电信号采集模块得到脑电信号，具体的说，通过贴附于大脑皮层布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层的脑电极采集得到脑电信号；其次，由特征提取模块根据已训练的特征提取模型对预处理后的脑电信号进行特征提取，得到脑电信号的特征信息；其次，由识别模块根据已训练的识别模型中的编码器对特征信息进行编码，得到包含文本特征和情绪特征的编码信息，并根据解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息。如此，可以实现基于皮层脑电信号的情绪识别和语义复现。
一种可选的实施方式中，脑电信号识别方法还包括获取已训练的识别模型的步骤；获取已训练的识别模型，包括：获取训练文本、训练文本对应的音频信号、阅读情绪和脑电样本；对音频信号进行特征提取，得到音频信号对应的实际语音特征；根据已训练的特征提取模型对预处理后的脑电样本进行特征提取，得到脑电样本的特征信息；基于脑电样本的特征信息、实际语音特征、训练文本、阅读情绪对预设机器学习模型进行训练，得到已训练的识别模型。
一种具体的对音频信号进行特征提取，得到音频信号对应的实际语音特征的实施方式中，通过已训练的语音特征提取模型对音频信号进行特征提取，得到音频信号对应的实际语音特征，此处语音特征提取模型提取的语音特征为梅尔倒谱系数(Mel-scaleFrequency Cepstral Coefficients，MFCC)，因此，音频信号对应的实际语音特征也可以简称为真实MFCC。
需要说明的是，上述训练文本为基于中文的数据集；训练文本对应的音频信号和脑电样本可以通过上文系统实施例中介绍的时序同步采集系统和方法采集得到；阅读情绪可以基于音频信号进行标注，该实施例中阅读情绪可以指情绪级别，通过标定的0-10的整数来对音频信号进行情绪等级标注，得到阅读情绪标注数据。其他实施例中，阅读情绪也可以基于其他标定方式来获得阅读情绪标注数据。
一种具体的基于脑电样本的特征信息、实际语音特征、训练文本、阅读情绪对预设机器学习模型进行训练，得到已训练的识别模型的实施方式中，首先，构建预设机器学习模型；在根据已训练的特征提取模型对预处理后的脑电样本进行特征提取，得到脑电样本的特征信息之后，将脑电样本的特征信息作为预设机器学习模型的输入；预设机器学习模型包括编码器和解码器；基于上文系统实施例，编码器采用Bi-LSTM，解码器采用LSTM1和LSTM2；将预设机器学习模型确定为当前机器学习模型；其次，根据编码器对脑电样本的特征信息进行编码，隐藏层输出包括预测文本特征和预测情绪特征的预测编码信息，全连接层输出预测语音特征；基于预测语音特征和实际语音特征(真实MFCC)确定第一损失值；根据解码器对预测编码信息进行解码，得到脑电样本对应的预测文本信息和预测情绪信息；基于预测文本信息、预测情绪信息、阅读情绪和训练文本确定第二损失值；根据第一损失值和第二损失值确定第三损失值；当第三损失值大于预设阈值时，基于第三损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：根据编码器对脑电样本的特征信息进行编码，得到包括预测文本特征和预测情绪特征的预测编码信息，并输出预测语音特征；当第三损失值小于预设阈值时，得到已训练的识别模型。
需要说明的是，在本申请其他实施例中，在识别模型的训练过程中，可以定义不同的或更详细的损失函数以获得更加准确的识别模型。
一种可选的根据已训练的识别模型中的解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息之后，脑电信号识别方法还可以包括：将文本信息转换为脑电信号对应的语音信息。
具体的，通过TTS技术将文本信息转换为脑电信号对应的语音信息。如此，在实现基于皮层脑电信号的情绪识别和语义复现的基础上，还可以实现语音的复现。
基于上述可选的实施方式，下面结合图5介绍一种基于脑电信号识别系统的脑电信号识别流程，脑电信号识别系统包括脑电信号采集模块501、特征提取模块502和识别模块503；脑电信号采集模块501具体包括脑电极5011；特征提取模块502具体包括预处理模块5021和特征提取模型5022，特征提取模型5022采用TCN网络模型；识别模块503具体包括识别模型5031，识别模型5031包括编码器和解码器，编码器采用Bi-LSTM循环神经网络，解码器采用两个LSTM循环神经网络(LSTM1、LSTM2)；如图5所示，训练时，首先通过脑电极5011采集脑电样本(ECoG)；其次，对采集得到的ECoG进行特征匹配，包括采集ECoG时被试者阅读的训练文本、与ECoG时序同步的音频信号经MFCC后提取的特征频谱和阅读训练文本时的阅读情绪级别(标定为0-10的整数)三种特征匹配，得到训练数据集；其次，通过预处理模块5021将ECoG进行预处理得到high-gamma信号，并通过TCN提取high-gamma频段峰峰拟合特征谱线(Feature sequences)；其次，将该特征谱线与三种匹配特征输入Bi-LSTM，将脑电样本和文本/语音/阅读情绪级别进行编码，将编码器的隐藏层(Hidden state)的输出作为解码器(LSTM1、LSTM2)的输入，进行文本信息和情绪信息的解码，权值储存在隐藏层中并随着循环的进行不断迭代更新，每次循环编码器全连接层输出的预测MFCC语音特征、LSTM1输出的预测文本信息和LSTM2输出的预测情绪信息将影响隐藏层权值的调整权重；经过足量的数据训练得到基于脑电信号解码文本和情绪的识别模型5031；测试或应用时，有新的脑电信号输入，依次通过预处理模块5021、特征提取模型5022和识别模型5031可以得到脑电信号对应的文本信息与情绪信息；也可以更进一步的通过语音合成模块5032利用TTS技术将文本信息合成为语音；或更进一步地，通过语音合成模块5032结合文本信息和情绪信息合成带有情绪的语音。
综上，本申请通过对时序同步的脑电信号和音频信号进行编码器解码器结构搭建、训练与优化，形成了从ECoG、音频信号同步采集，到后端特征信息提取和解码校验一体集成的脑电信号识别系统；通过脑电信号采集模块采集的脑电信号依次经特征提取模块和识别模块，进行特征提取以及对提取的特征信息进行编码和解码，从而可以获得脑电信号对应的文本信息和情绪信息，如此，与现有技术不同的是，本申请除了对文本信息进行解码外，该系统能将被试者阅读文本时的情绪特征一同解码，更加充分的保留了语音中的情绪信息，便于准确实现语义、语音复现等功能。
本申请基于脑电信号识别系统实现了脑电信号的情感和语义的识别，进一步地可以实现语音的合成；通过本申请实施例提供的脑电信号识别系统及方法，可以大幅提升脑电信号到语音信息的转换质量，尽可能的复现语音信息中的文本信息与情绪信息，极大程度上减少信息丢失，避免歧义；进一步地，可以辅助语言障碍者更便捷、更明确的进行表达与交流，为癫痫患者术中情绪体征检测提供可靠的接口与手段。
本申请实施例中的方法和系统实施例基于同样的申请构思。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种脑电信号识别系统，其特征在于，包括依次连接的脑电信号采集模块(101)、特征提取模块(102)和识别模块(103)；
所述脑电信号采集模块(101)，用于通过贴附于大脑皮层布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层的脑电极采集脑电信号，并将所述脑电信号传递至所述特征提取模块(102)；
所述特征提取模块(102)，用于对所述脑电信号进行预处理，并根据已训练的特征提取模型对所述预处理后的脑电信号进行特征提取，得到所述脑电信号的特征信息；
所述识别模块(103)，用于根据已训练的识别模型中的编码器对所述特征信息进行编码，得到包含文本特征和情绪特征的编码信息，并根据所述已训练的识别模型中的解码器对所述编码信息进行解码，得到所述脑电信号对应的文本信息和情绪信息。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括互相连接的音频信号采集模块和音频信号处理模块；
所述音频信号采集模块，用于采集训练文本对应的音频信号，并将所述音频信号传递至所述音频信号处理模块；
所述音频信号处理模块，用于对所述音频信号进行特征提取，得到所述音频信号对应的语音特征；
其中，所述语音特征、所述训练文本和所述训练文本对应的阅读情绪用于对未训练的识别模型进行训练，以得到所述已训练的识别模型。
3.根据权利要求1所述的系统，其特征在于，所述脑电极包括柔性衬底；
所述柔性衬底的材料为蚕丝蛋白。
4.根据权利要求1所述的系统，其特征在于，所述编码器采用双向长短时记忆循环神经网络模型结构；
所述解码器采用长短时记忆循环神经网络模型结构；
所述特征提取模型采用时域卷积网络模型结构。
5.根据权利要求4所述的系统，其特征在于，所述解码器包括文本解码子模块和情绪解码子模块；
所述文本解码子模块基于第一长短时记忆循环神经网络模型LSTM1对所述编码信息进行文本解码，得到所述文本信息；
所述情绪解码子模块基于第二长短时记忆循环神经网络模型LSTM2对所述编码信息进行情绪解码，得到所述情绪信息。
6.根据权利要求1所述的系统，其特征在于，所述系统还包括语音合成模块；所述语音合成模块与所述识别模块(103)连接；
所述语音合成模块，用于将所述文本信息转换为所述脑电信号对应的语音信息。
7.一种脑电信号识别方法，其特征在于，包括：
根据已训练的特征提取模型对预处理后的脑电信号进行特征提取，得到所述脑电信号的特征信息；所述脑电信号是通过贴附于大脑皮层布洛卡区、视觉语言中枢、眶额叶皮层和扣带皮层的脑电极采集得到的；
根据已训练的识别模型中的编码器对所述特征信息进行编码，得到包含文本特征和情绪特征的编码信息；
根据所述已训练的识别模型中的解码器对所述编码信息进行解码，得到所述脑电信号对应的文本信息和情绪信息。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括获取所述已训练的识别模型的步骤；
所述获取所述已训练的识别模型，包括：
获取训练文本、所述训练文本对应的音频信号、阅读情绪和脑电样本；
对所述音频信号进行特征提取，得到所述音频信号对应的实际语音特征；
根据所述已训练的特征提取模型对预处理后的脑电样本进行特征提取，得到所述脑电样本的特征信息；
基于所述脑电样本的特征信息、所述实际语音特征、所述训练文本、所述阅读情绪对预设机器学习模型进行训练，得到所述已训练的识别模型。
9.根据权利要求8所述的方法，其特征在于，所述基于所述脑电样本的特征信息、所述实际语音特征、所述训练文本、所述阅读情绪对预设机器学习模型进行训练，得到所述已训练的识别模型，包括：
构建所述预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；所述预设机器学习模型包括编码器和解码器；
根据所述编码器对所述脑电样本的特征信息进行编码，得到包括预测文本特征和预测情绪特征的预测编码信息，并输出预测语音特征；
基于所述预测语音特征和所述实际语音特征确定第一损失值；
根据所述解码器对所述预测编码信息进行解码，得到所述脑电样本对应的预测文本信息和预测情绪信息；
基于所述预测文本信息、所述预测情绪信息、所述阅读情绪和所述训练文本确定第二损失值；
根据所述第一损失值和所述第二损失值确定第三损失值；
当所述第三损失值大于预设阈值时，基于所述第三损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为所述当前机器学习模型；重复步骤：根据所述编码器对所述脑电样本的特征信息进行编码，得到包括预测文本特征和预测情绪特征的预测编码信息，并输出预测语音特征；
当所述第三损失值小于所述预设阈值时，得到所述已训练的识别模型。
10.根据权利要求7所述的方法，其特征在于，所述根据所述已训练的识别模型中的解码器对所述编码信息进行解码，得到所述脑电信号对应的文本信息和情绪信息之后，还包括：
将所述文本信息转换为所述脑电信号对应的语音信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818365.0A CN111973178B (zh) | 2020-08-14 | 2020-08-14 | 一种脑电信号识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818365.0A CN111973178B (zh) | 2020-08-14 | 2020-08-14 | 一种脑电信号识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111973178A true CN111973178A (zh) | 2020-11-24 |
| CN111973178B CN111973178B (zh) | 2024-07-05 |
Family
ID=73435653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010818365.0A Active CN111973178B (zh) | 2020-08-14 | 2020-08-14 | 一种脑电信号识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111973178B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464018A (zh) * | 2020-12-10 | 2021-03-09 | 山西慧虎健康科技有限公司 | 一种智能情绪识别调节方法及系统 |
| CN113031766A (zh) * | 2021-03-15 | 2021-06-25 | 哈尔滨工业大学 | 一种通过脑电解码汉语发音的方法 |
| CN113157100A (zh) * | 2021-01-04 | 2021-07-23 | 河北工业大学 | 一种附加汉字默读与运动想象任务的脑-机接口方法 |
| CN113204980A (zh) * | 2021-06-09 | 2021-08-03 | 中国银行股份有限公司 | 信息录入辅助方法、装置、电子设备及存储介质 |
| CN113792588A (zh) * | 2021-08-05 | 2021-12-14 | 深兰科技（上海）有限公司 | 一种脑电波处理装置、方法、计算机设备及存储介质 |
| CN114185436A (zh) * | 2021-12-14 | 2022-03-15 | 江苏集萃脑机融合智能技术研究所有限公司 | 基于视觉诱发电位脑机接口的导览系统及装置 |
| CN114492514A (zh) * | 2022-01-04 | 2022-05-13 | 中国科学院合肥物质科学研究院 | 一种基于六分类运动想象脑电信号的文本输出方法 |
| CN115576430A (zh) * | 2022-11-10 | 2023-01-06 | 中国科学院自动化研究所 | 脑电通讯方法、系统和电子设备 |
| CN116098589A (zh) * | 2023-02-17 | 2023-05-12 | 无锡健芯半导体科技有限公司 | 生物电信号分离降噪方法、装置和电子设备 |
| CN119002706A (zh) * | 2024-10-22 | 2024-11-22 | 浙江大学 | 一种基于多模态特征融合的语音脑机接口解码方法 |
| CN119004069A (zh) * | 2024-08-01 | 2024-11-22 | 浙江大学 | 一种从多种生理信号提取高级语义信息的方法和系统 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101888875A (zh) * | 2007-10-04 | 2010-11-17 | 纽若尼克斯有限公司 | 用于治疗与中枢神经系统有关的医学疾病以及用于提高认知功能的系统和方法 |
| US20140095148A1 (en) * | 2012-10-03 | 2014-04-03 | Kanjoya, Inc. | Emotion identification system and method |
| CN105054928A (zh) * | 2015-07-17 | 2015-11-18 | 张洪振 | 一种基于bci装置脑电波采集分析的情绪展示设备 |
| US20160027452A1 (en) * | 2014-07-28 | 2016-01-28 | Sone Computer Entertainment Inc. | Emotional speech processing |
| CN105551499A (zh) * | 2015-12-14 | 2016-05-04 | 渤海大学 | 面向语音与面部表情信号的情感可视化方法 |
| CN105678325A (zh) * | 2015-12-31 | 2016-06-15 | 哈尔滨工业大学深圳研究生院 | 一种文本情感标注方法、装置及系统 |
| CN106073771A (zh) * | 2016-06-29 | 2016-11-09 | 中国科学院上海微系统与信息技术研究所 | 一种可定制多维度高密度柔性脑部电极及其制作方法 |
| CN106778186A (zh) * | 2017-02-14 | 2017-05-31 | 南方科技大学 | 一种用于虚拟现实交互设备的身份识别方法及装置 |
| WO2017218243A2 (en) * | 2016-06-13 | 2017-12-21 | Microsoft Technology Licensing, Llc | Intent recognition and emotional text-to-speech learning system |
| CN108205522A (zh) * | 2016-12-16 | 2018-06-26 | 北京酷我科技有限公司 | 情感标注的方法及其系统 |
| CN108494952A (zh) * | 2018-03-05 | 2018-09-04 | 广东欧珀移动通信有限公司 | 语音通话处理方法及相关设备 |
| CN108509034A (zh) * | 2018-03-16 | 2018-09-07 | 广东欧珀移动通信有限公司 | 电子装置、信息处理方法及相关产品 |
| CN108962217A (zh) * | 2018-07-28 | 2018-12-07 | 华为技术有限公司 | 语音合成方法及相关设备 |
| CN109276243A (zh) * | 2018-08-31 | 2019-01-29 | 易念科技（深圳）有限公司 | 脑电心理测试方法及终端设备 |
| CN109394207A (zh) * | 2018-08-17 | 2019-03-01 | 西安易朴通讯技术有限公司 | 情绪识别方法及系统、电子设备 |
| CN110070105A (zh) * | 2019-03-25 | 2019-07-30 | 中国科学院自动化研究所 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
| KR102057927B1 (ko) * | 2019-03-19 | 2019-12-20 | 휴멜로 주식회사 | 음성 합성 장치 및 그 방법 |
| CN111161314A (zh) * | 2019-12-17 | 2020-05-15 | 中国科学院上海微系统与信息技术研究所 | 目标对象的位置区域确定方法、装置、电子设备及存储介质 |
| CN111444709A (zh) * | 2020-03-09 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 文本分类方法、装置、存储介质及设备 |
-
2020
- 2020-08-14 CN CN202010818365.0A patent/CN111973178B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101888875A (zh) * | 2007-10-04 | 2010-11-17 | 纽若尼克斯有限公司 | 用于治疗与中枢神经系统有关的医学疾病以及用于提高认知功能的系统和方法 |
| US20140095148A1 (en) * | 2012-10-03 | 2014-04-03 | Kanjoya, Inc. | Emotion identification system and method |
| US20160027452A1 (en) * | 2014-07-28 | 2016-01-28 | Sone Computer Entertainment Inc. | Emotional speech processing |
| CN105054928A (zh) * | 2015-07-17 | 2015-11-18 | 张洪振 | 一种基于bci装置脑电波采集分析的情绪展示设备 |
| CN105551499A (zh) * | 2015-12-14 | 2016-05-04 | 渤海大学 | 面向语音与面部表情信号的情感可视化方法 |
| CN105678325A (zh) * | 2015-12-31 | 2016-06-15 | 哈尔滨工业大学深圳研究生院 | 一种文本情感标注方法、装置及系统 |
| WO2017218243A2 (en) * | 2016-06-13 | 2017-12-21 | Microsoft Technology Licensing, Llc | Intent recognition and emotional text-to-speech learning system |
| CN106073771A (zh) * | 2016-06-29 | 2016-11-09 | 中国科学院上海微系统与信息技术研究所 | 一种可定制多维度高密度柔性脑部电极及其制作方法 |
| CN108205522A (zh) * | 2016-12-16 | 2018-06-26 | 北京酷我科技有限公司 | 情感标注的方法及其系统 |
| CN106778186A (zh) * | 2017-02-14 | 2017-05-31 | 南方科技大学 | 一种用于虚拟现实交互设备的身份识别方法及装置 |
| CN108494952A (zh) * | 2018-03-05 | 2018-09-04 | 广东欧珀移动通信有限公司 | 语音通话处理方法及相关设备 |
| CN108509034A (zh) * | 2018-03-16 | 2018-09-07 | 广东欧珀移动通信有限公司 | 电子装置、信息处理方法及相关产品 |
| CN108962217A (zh) * | 2018-07-28 | 2018-12-07 | 华为技术有限公司 | 语音合成方法及相关设备 |
| CN109394207A (zh) * | 2018-08-17 | 2019-03-01 | 西安易朴通讯技术有限公司 | 情绪识别方法及系统、电子设备 |
| CN109276243A (zh) * | 2018-08-31 | 2019-01-29 | 易念科技（深圳）有限公司 | 脑电心理测试方法及终端设备 |
| KR102057927B1 (ko) * | 2019-03-19 | 2019-12-20 | 휴멜로 주식회사 | 음성 합성 장치 및 그 방법 |
| CN110070105A (zh) * | 2019-03-25 | 2019-07-30 | 中国科学院自动化研究所 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
| CN111161314A (zh) * | 2019-12-17 | 2020-05-15 | 中国科学院上海微系统与信息技术研究所 | 目标对象的位置区域确定方法、装置、电子设备及存储介质 |
| CN111444709A (zh) * | 2020-03-09 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 文本分类方法、装置、存储介质及设备 |
Non-Patent Citations (3)
| Title |
|---|
| 刘欢: "基于多元模式分析的情绪脑电识别", 《中国优秀硕士学位论文全文数据库》, pages 102 - 7 * |
| 喻国明, 钱绯璠, 陈瑶等: ""后真相"的发生机制:情绪化文本的传播效果——基于脑电技术范式的研究", 《西安交通大学学报(社会科学版)》, pages 73 - 78 * |
| 马江河: "融合语音信号和脑电信号的多模态情感识别", 《中国优秀硕士学位论文全文数据库》, pages 006 - 232 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464018A (zh) * | 2020-12-10 | 2021-03-09 | 山西慧虎健康科技有限公司 | 一种智能情绪识别调节方法及系统 |
| CN113157100A (zh) * | 2021-01-04 | 2021-07-23 | 河北工业大学 | 一种附加汉字默读与运动想象任务的脑-机接口方法 |
| CN113031766A (zh) * | 2021-03-15 | 2021-06-25 | 哈尔滨工业大学 | 一种通过脑电解码汉语发音的方法 |
| CN113031766B (zh) * | 2021-03-15 | 2022-09-23 | 哈尔滨工业大学 | 一种通过脑电解码汉语发音的方法 |
| CN113204980A (zh) * | 2021-06-09 | 2021-08-03 | 中国银行股份有限公司 | 信息录入辅助方法、装置、电子设备及存储介质 |
| CN113204980B (zh) * | 2021-06-09 | 2024-12-06 | 中国银行股份有限公司 | 信息录入辅助方法、装置、电子设备及存储介质 |
| CN113792588B (zh) * | 2021-08-05 | 2024-04-09 | 深兰科技（上海）有限公司 | 一种脑电波处理装置、方法、计算机设备及存储介质 |
| CN113792588A (zh) * | 2021-08-05 | 2021-12-14 | 深兰科技（上海）有限公司 | 一种脑电波处理装置、方法、计算机设备及存储介质 |
| CN114185436A (zh) * | 2021-12-14 | 2022-03-15 | 江苏集萃脑机融合智能技术研究所有限公司 | 基于视觉诱发电位脑机接口的导览系统及装置 |
| CN114492514A (zh) * | 2022-01-04 | 2022-05-13 | 中国科学院合肥物质科学研究院 | 一种基于六分类运动想象脑电信号的文本输出方法 |
| CN115576430A (zh) * | 2022-11-10 | 2023-01-06 | 中国科学院自动化研究所 | 脑电通讯方法、系统和电子设备 |
| CN116098589A (zh) * | 2023-02-17 | 2023-05-12 | 无锡健芯半导体科技有限公司 | 生物电信号分离降噪方法、装置和电子设备 |
| CN119004069A (zh) * | 2024-08-01 | 2024-11-22 | 浙江大学 | 一种从多种生理信号提取高级语义信息的方法和系统 |
| CN119002706A (zh) * | 2024-10-22 | 2024-11-22 | 浙江大学 | 一种基于多模态特征融合的语音脑机接口解码方法 |
| CN119002706B (zh) * | 2024-10-22 | 2025-03-14 | 浙江大学 | 一种基于多模态特征融合的语音脑机接口解码方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111973178B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111973178A (zh) | 一种脑电信号识别系统及方法 | |
| Herff et al. | Generating natural, intelligible speech from brain activity in motor, premotor, and inferior frontal cortices | |
| Song et al. | Perception of speech in noise: neural correlates | |
| Ballard et al. | Developmental trajectory for production of prosody: Lexical stress contrastivity in children ages 3 to 7 years and in adults | |
| CN106548772A (zh) | 语音识别测试系统及方法 | |
| CN110610719A (zh) | 声音处理设备 | |
| EP2887351A1 (en) | Computer-implemented method, computer system and computer program product for automatic transformation of myoelectric signals into audible speech | |
| Angrick et al. | Online speech synthesis using a chronically implanted brain–computer interface in an individual with ALS | |
| Du et al. | Depression recognition using a proposed speech chain model fusing speech production and perception features | |
| Kamińska et al. | Recognition of human emotion from a speech signal based on Plutchik's model | |
| Daudet et al. | Portable mTBI assessment using temporal and frequency analysis of speech | |
| Flanagan et al. | The role of phase synchronisation between low frequency amplitude modulations in child phonology and morphology speech tasks | |
| Kuuluvainen et al. | Auditory evoked potentials to speech and nonspeech stimuli are associated with verbal skills in preschoolers | |
| Vojtech et al. | Surface electromyography–based recognition, synthesis, and perception of prosodic subvocal speech | |
| Cai et al. | EEG-based auditory attention detection in cocktail party environment | |
| Xu et al. | Auditory attention decoding from EEG-based Mandarin speech envelope reconstruction | |
| Wand | Advancing electromyographic continuous speech recognition: Signal preprocessing and modeling | |
| Fan et al. | Language related differences of the sustained response evoked by natural speech sounds | |
| Koctúrová et al. | EEG-based speech activity detection | |
| Ortiz-Mantilla et al. | Modulation of theta phase synchrony during syllable processing as a function of interactive acoustic experience in infancy | |
| Sharon et al. | The" Sound of Silence" in EEG--Cognitive voice activity detection | |
| Anumanchipalli et al. | Intelligible speech synthesis from neural decoding of spoken sentences | |
| CN115588434A (zh) | 一种由舌部超声图像直接合成语音的方法 | |
| Mandke et al. | Neural and behavioural rhythmic tracking during language acquisition: the story so far | |
| CN114863911A (zh) | 基于语音信号的帕金森预测方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |