CN115576430A - 脑电通讯方法、系统和电子设备 - Google Patents
脑电通讯方法、系统和电子设备 Download PDFInfo
- Publication number
- CN115576430A CN115576430A CN202211402904.8A CN202211402904A CN115576430A CN 115576430 A CN115576430 A CN 115576430A CN 202211402904 A CN202211402904 A CN 202211402904A CN 115576430 A CN115576430 A CN 115576430A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- decoding result
- user
- emotion
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000004891 communication Methods 0.000 title claims abstract description 57
- 230000008451 emotion Effects 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 59
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 210000004556 brain Anatomy 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000763 evoking effect Effects 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002996 emotional effect Effects 0.000 abstract description 10
- 230000003993 interaction Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 208000022540 Consciousness disease Diseases 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Computer Interaction (AREA)
- Psychology (AREA)
- General Physics & Mathematics (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Ophthalmology & Optometry (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种脑电通讯方法、系统和电子设备，本发明涉及通讯技术领域。该方法包括：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；将所述文字解码结果和所述情感解码结果整合为语音信息；输出所述语音信息。该方法提供了一种富有情感的通讯交流方式。
Description
技术领域
本发明涉及通讯技术领域，尤其涉及一种脑电通讯方法、系统和电子设备。
背景技术
现阶段，脑机接口领域的应用方向主要在医疗健康、娱乐、智能家居等领域。尤其是在医疗领域，脑机接口技术在肢体运动障碍、精神疾病康复治疗、意识与认知障碍诊疗中可以起到辅助性治疗作用，并在癫痫疾病领域已经产生了一些相对成熟的应用。
相关技术中，脑机接口在通讯领域的应用中，双方交互用户仅能够通过交互来获知信息的内容，难以了解交互对方当前的情感状态，不便于用户之间的情感交流。
发明内容
本发明提供一种脑电通讯方法、系统和电子设备，用以解决现有技术中难以了解交互方情感状态的缺陷，实现一种富有情感的交互方式。
本发明提供一种脑电通讯方法，包括：
接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；
通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；
将所述文字解码结果和所述情感解码结果整合为语音信息；
输出所述语音信息。
根据本发明提供的一种脑电通讯方法，接收用户的脑电信号的同时，还包括：
接收所述用户的ID信息，根据所述用户的ID信息选择对应的特异处理模型对所述脑电信号进行处理，获得文字解码结果和情感解码结果。
根据本发明提供的一种脑电通讯方法，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果，包括：
对所述SSVEP信号进行特征提取处理和分类处理获得所述文字解码结果；
对所述眼电信号进行特征提取处理和分类处理获得所述情感解码结果。
根据本发明提供的一种脑电通讯方法，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果之前，还包括：
对所述脑电信号进行预处理。
根据本发明提供的一种脑电通讯方法，将所述文字解码结果和所述情感解码结果整合为语音信息，包括：
将所述文字解码结果中的不同的单词转换为不同的音素组合；
预测各所述音素组合的发音时间、音调和语调；
将不同的所述音素组合、以及不同的所述音素组合对应的所述发音时间、音调和语调进行语音合成；
语音合成时根据所述情感解码结果赋予所述语音情感标签。
根据本发明提供的一种脑电通讯方法，语音合成过程中还包括：根据所述用户的声音特征赋予所述语音声音标签；
根据所述用户选择的场景风格赋予所述语音场景标签。
本发明还提供一种脑电通讯方法，包括：
向用户呈现SSVEP诱发输入界面；
接收所述用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；
通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；
将所述文字解码结果和所述情感解码结果整合为语音信息；
输出所述语音信息。
本发明还提供一种脑电通讯系统，包括：
第一电子设备，用于向用户呈现SSVEP诱发输入界面；
脑电采集设备，用于采集所述用户的脑电信号；
处理设备，用于接收所述脑电信号，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果，还用于将所述文字解码结果和所述情感解码结果整合为语音信息并输出所述语音信息。
根据本发明提供的一种脑电通讯系统，所述处理设备为服务器或第二电子设备。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述脑电通讯方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述脑电通讯方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述脑电通讯方法。
本发明提供的脑电通讯方法，通过采集用户的脑电波来获取用户的交互意图和情感状态，使得交互双方能够在了解用户的意图的同时获知用户当前的情感状态，提供了一种富有情感的通讯交流方式。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的脑电通讯方法的流程示意图之一；
图2是本发明提供的脑电信号处理方法的流程示意图；
图3是本发明提供的文字解码结果和所述情感解码结果整合方法的流程示意图；
图4是本发明提供的脑电通讯方法的流程示意图之二；
图5 是本发明提供的脑电通讯系统的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明的脑电通讯方法，参考图1中所示，该方法包括：
S101：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号。
示例性的，用户的脑电信号可以是由用户佩戴的脑电采集设备采集的，脑电采集设备可以是以耳机、发箍、帽子、眼镜等形式佩戴于用户脑部，以用于采集用户的脑电信号。用户的脑电信号可以是由脑电采集设备采集后直接发出或者经由与脑电采集设备连接的第一电子设备发出的。
该脑电通讯方法可以由服务器来执行，也可以由与脑电信号所属用户进行通讯的另一用户的第二电子设备来执行。
S102：通过对所述脑电信号进行处理获得文字解码结果和情感解码结果。
可以理解的是，通过对脑电信号进行处理可以获得反应用户意图的文字解码结果和反应用户情感的情感解码结果。
S103：将所述文字解码结果和所述情感解码结果整合为语音信息。
在获得反应用户意图的文字解码结果和反应用户情感的情感解码结果后，可以通过整合方法将文字解码结果和情感解码结果进行合成，以获得可以反应用户情感及意图的语音信息，用户的意图可以通过语音信息的内容来进行提现，用户的情感可以通过语音信息的音调、节奏快慢、语调等进行体现。
示例性的，可以通过TTS (Text-To-Speech)技术进行上述合成工作。TTS是将用户输入的或计算机产生的文字信息转变为易懂、流利的口语进行输出，该技术在语音助理、智能家居、地图导航等方面已经有较多的应用，在此不做详细的说明。
S104：输出所述语音信息。
在合成能够反应用户意图和情感的语音信息后，则需要将该语音信息进行输出，当该方法的执行主体为服务器时，该语音信息需要由服务器输出至与脑电信号所属用户进行通讯的另一用户的第二电子设备上，经由第二电子设备输出给另一用户，服务器与第二电子设备可以通过蜂窝网络进行通讯。当该方法的执行主体为与脑电信号所属用户进行通讯的另一用户的第二电子设备时，该语言信息通过第二电子设备输出给另一用户，例如输出方式可以是第二电子设备直接进行语音播放或将该语言信息显示在第二电子设备的屏幕上供另一用户进行选择播放。其中，第二电子设备可以是移动电子设备，对脑电信号进行处理以及合成语言信息的步骤可以通过第二电子设备上的应用程序进行执行。
本发明提供的脑电通讯方法，通过采集用户的脑电波来获取用户的交互意图和情感状态，使得交互双方能够在了解用户的意图的同时获知用户当前的情感状态，提供了一种富有情感的通讯交流方式。
在一个实施例中，接收用户的脑电信号的同时，还包括：
接收所述用户的ID信息，根据所述用户的ID信息选择对应的特异处理模型对所述脑电信号进行处理，获得文字解码结果和情感解码结果。
示例性的，为了使合成的语音信息能够更加准确的反应用户的意图和用户的情感，在接收用户脑电信号的同时还可以接收用户的ID信息，并根据用户的ID信息选择对应该用户的特异处理模型来对脑电信号进行处理。
用户在首次使用SSVEP诱发输入界面进行输入时，可以进行一次数据采集，针对该用户的刺激反应选择对应该用户的预设刺激频率，并采用该预设刺激频率来调整预训练好的通用处理模型的参数，从而得到该用户对应的特异处理模型。
进一步的，当该用户没有对应的特异处理模型时，也可以直接采用通用处理模型对脑电信号进行处理。
在一个实施例中，参考图2中所示，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果，包括：
S201：对所述SSVEP信号进行特征提取处理和分类处理获得所述文字解码结果。
具体的，在对SSVEP信号进行处理时，首先需要对SSVEP信号进行特征提取，示例性的，可以通过FFT（fast Fourier transform，快速傅里叶变换）方法或小波变换等方法对SSVEP信号的特征进行提取。在对SSVEP信号进行特征提取之后，需要对SSVEP信号进行分类，分类指的是将SSVEP信号对应到字符，示例性的，可以采用CCA（Canonical CorrelationAnalysis，典型相关分析）模型，TRCA（task-related component analysis，任务相关成分算法）模型、FBCCA（Filter Bank Canonical Corrlation Analysis）模型等算法模型对SSVEP信号进行分类处理。
示例性的，在对所述SSVEP信号进行分类处理时的信息传输率（InformationTranslate Rate，ITR）为：
其中，N表示待选的输入字符数，P表示字符识别准确率，T表示单个字符的输入时间。
S202：对所述眼电信号进行特征提取处理和分类处理获得所述情感解码结果。
示例性的，可以采用CNN（Convolutional Neural Networks，卷积神经网络）模型、LSTM（Long Short Term Memory，长短时记忆网络）模型等算法模型对眼电信号进行特征提取处理和分类处理。
在一个实施例中，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果之前，还包括：
对所述脑电信号进行预处理。
具体的，为了提高脑电信号的信噪比，在对脑电信号进行处理前可以先对脑电信号进行预处理，预处理包括使用共同平均参考值处理、带通滤波处理、去伪迹处理等处理方法中的一种或多种对脑电信号进行处理。带通滤波处理是指允许特定频段的波通过的同时屏蔽其他波段的波；去伪迹处理为去除心电、肌肉点等其他干扰。
在一个实施例中，参考图3中所示，将所述文字解码结果和所述情感解码结果整合为语音信息，包括：
S301：将所述文字解码结果中的不同的单词转换为不同的音素组合。
具体的，文字解码过程中的文字即为语素，整合时首先需要将语素中不同的单词转换为不同的音素组合。
S302：预测各所述音素组合的发音时间、音调和语调。
具体的，音素的发音时间指的是读出该音素对应的单词文本需要的时间。预测各音素组合的音调和语调是为了使得合成的语音能够尽可能的接近人类的发音。
S303：将不同的所述音素组合、以及不同的所述音素组合对应的所述发音时间、音调和语调进行语音合成。
S304：语音合成时根据所述情感解码结果赋予所述语音情感标签。
在合成处理网络的基础上针对不同的情感分类设定不同的情感标签，情感分类可以是例如积极、消极、中性等情感分类。在语音合成的时候根据情感解码结果赋予语音对应的情感标签，合成处理网络可以根据情感标签来对合成语音的语速和语调等进行调整以使得合成的语音符合对应的情感标签。
在一个实施例中，语音合成过程中还包括：根据所述用户的声音特征赋予所述语音声音标签；
根据所述用户选择的场景风格赋予所述语音场景标签。
具体的，为得到与用户声音相似的语音信息，在语音合成时还可以根据用户的声音特征来进行语音合成。用户的声音特征可以为预先采集存储的，使用时可根据用户的ID信息进行调用。
为了使得语音信息更加符合用户处于的环境状态，可以在语音合成时根据用户的场景风格来进行语音合成，用户的场景风格可以为用户在SSVEP诱发输入界面输入时自行选择的场景风格，各可选场景风格的特征为预先设定存储的，场景风格可以包括开会场景、睡眠场景、娱乐场景、工作场景等。
下面结合图4描述本发明的另一种脑电通讯方法，该方法包括：
S401：向用户呈现SSVEP诱发输入界面。
具体的，该方法的执行主体可以是想要发出通讯信息的用户的第一电子设备，该第一电子设备可以是移动电子设备。
SSVEP（Steady-State Visual Evoked Potential，稳态视觉诱发电位）诱发输入界面可以是通过第一电子设备上的应用程序来进行呈现的。所述SSVEP诱发输入界面可以为采用图像刺激源或模式翻转刺激源呈现的输入界面，该输入界面中各输入单元的闪烁或翻转频率不相同，各输入单元的闪烁或翻转频率为4~30hz。
当用户是第一次使用时，先设置频谱范围，然后通过SSVEP诱发输入界面采用不同的频率对用户枕叶视觉的电极进行刺激，选取用户反应幅值最大且谐波频率无交叉的刺激频率，并将选择的刺激频率分配至SSVEP诱发输入界面上的各输入单元。
S402：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号。
示例性的，用户的脑电信号可以是由用户佩戴的脑电采集设备采集的，脑电采集设备可以是以耳机、发箍、帽子、眼镜等形式佩戴于用户脑部，以用于采集用户的脑电信号。
S403：通过对所述脑电信号进行处理获得文字解码结果和情感解码结果。
可以理解的是，通过对脑电信号进行处理可以获得反应用户意图的文字解码结果和反应用户情感的情感解码结果。
S404：将所述文字解码结果和所述情感解码结果整合为语音信息。
在获得反应用户意图的文字解码结果和反应用户情感的情感解码结果后，可以通过整合方法将文字解码结果和情感解码结果进行合成，以获得可以反应用户情感及意图的语音信息，用户的意图可以通过语音信息内容来进行提现，用户的情感可以通过语音信息的音调、节奏快慢、语调等进行体现。
示例性的，可以通过TTS (Text-To-Speech)技术进行上述合成工作，TTS是将用户输入的或计算机产生的文字信息转变为易懂、流利的口语进行输出，该技术在语音助理、智能家居、地图导航等方面已经有较多的应用，在此不做详细的说明。
S405：输出所述语音信息。
输出所述语音信息则是由用户的第一电子设备将语音信息输出至与用户进行通讯的另一用户的第二电子设备，以使得另一用户的第二电子设备可以接收到语音信息，第一电子设备和/或第二电子设备为移动电子设备，通过蜂窝网络来进行通讯。
下面对本发明提供的脑电通讯系统进行描述，如图5所示，该系统包括：
第一电子设备501，用于向用户呈现SSVEP诱发输入界面；
脑电采集设备502，用于采集所述用户的脑电信号；
处理设备503，用于接收所述脑电信号，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果，还用于将所述文字解码结果和所述情感解码结果整合为语音信息并输出所述语音信息。
具体的，脑电采集设备502可以是以耳机、发箍、帽子、眼镜等形式佩戴于用户脑部，以用于采集用户的脑电信号。脑电采集设备502采集的脑电信号可以直接发出也可以经由第一电子设备501发出，处理设备503与脑电采集设备502或第一电子设备501通过蜂窝网络进行通讯，其中，第一电子设备501可以是移动电子设备。
在一个实施例中，所述处理设备503为服务器或第二电子设备。
处理设备503可以是服务器也可以是与第一电子设备501所属用户进行通讯的另一用户的第二电子设备。当处理设备503为服务器时，需要将语音信息输出至与第一电子设备501所属用户进行通讯的另一用户的第二电子设备上。当处理设备503为第二电子设备时，对应的输出语音信息则是将语音信息直接进行语音播放或将该语言信息显示在第二电子设备的屏幕上供另一用户进行选择播放。
进一步的，处理设备503还可以是集成在第一电子设备501上的，由第一电子设备501处理得到语音信息后输出至第二电子设备，第一电子设备501和第二电子设备可以通过蜂窝网络进行通讯。
本发明提供的脑电通讯系统，通过采集用户的脑电波来获取用户的交互意图和情感状态，使得交互双方能够在了解用户的意图的同时获知用户当前的情感状态，提供了一种富有情感的通讯交流方式。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行脑电通讯方法，该方法包括：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；将所述文字解码结果和所述情感解码结果整合为语音信息；输出所述语音信息。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的脑电通讯方法，该方法包括：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；将所述文字解码结果和所述情感解码结果整合为语音信息；输出所述语音信息。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的脑电通讯方法，该方法包括：接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；将所述文字解码结果和所述情感解码结果整合为语音信息；输出所述语音信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种脑电通讯方法，其特征在于，包括：
接收用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；
通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；
将所述文字解码结果和所述情感解码结果整合为语音信息；
输出所述语音信息。
2.根据权利要求1所述脑电通讯方法，其特征在于，接收用户的脑电信号的同时，还包括：
接收所述用户的ID信息，根据所述用户的ID信息选择对应的特异处理模型对所述脑电信号进行处理，获得文字解码结果和情感解码结果。
3.根据权利要求1或2所述脑电通讯方法，其特征在于，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果，包括：
对所述SSVEP信号进行特征提取处理和分类处理获得所述文字解码结果；
对所述眼电信号进行特征提取处理和分类处理获得所述情感解码结果。
4.根据权利要求3所述脑电通讯方法，其特征在于，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果之前，还包括：
对所述脑电信号进行预处理。
5.根据权利要求1所述脑电通讯方法，其特征在于，将所述文字解码结果和所述情感解码结果整合为语音信息，包括：
将所述文字解码结果中的不同的单词转换为不同的音素组合；
预测各所述音素组合的发音时间、音调和语调；
将不同的所述音素组合、以及不同的所述音素组合对应的所述发音时间、音调和语调进行语音合成；
语音合成时根据所述情感解码结果赋予所述语音情感标签。
6.根据权利要求5所述脑电通讯方法，其特征在于，语音合成过程中还包括：根据所述用户的声音特征赋予所述语音声音标签；
根据所述用户选择的场景风格赋予所述语音场景标签。
7.一种脑电通讯方法，其特征在于，包括：
向用户呈现SSVEP诱发输入界面；
接收所述用户的脑电信号，所述脑电信号包括SSVEP信号和眼电信号；
通过对所述脑电信号进行处理获得文字解码结果和情感解码结果；
将所述文字解码结果和所述情感解码结果整合为语音信息；
输出所述语音信息。
8.一种脑电通讯系统，其特征在于，包括：
第一电子设备，用于向用户呈现SSVEP诱发输入界面；
脑电采集设备，用于采集所述用户的脑电信号；
处理设备，用于接收所述脑电信号，通过对所述脑电信号进行处理获得文字解码结果和情感解码结果，还用于将所述文字解码结果和所述情感解码结果整合为语音信息并输出所述语音信息。
9.根据权利要求8所述脑电通讯系统，其特征在于，所述处理设备为服务器或第二电子设备。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述脑电通讯方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211402904.8A CN115576430A (zh) | 2022-11-10 | 2022-11-10 | 脑电通讯方法、系统和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211402904.8A CN115576430A (zh) | 2022-11-10 | 2022-11-10 | 脑电通讯方法、系统和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115576430A true CN115576430A (zh) | 2023-01-06 |
Family
ID=84588442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211402904.8A Pending CN115576430A (zh) | 2022-11-10 | 2022-11-10 | 脑电通讯方法、系统和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115576430A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992112A (zh) * | 2019-04-02 | 2019-07-09 | 上海大学 | 基于ssvep的重症患者意图表达系统及方法 |
| CN110070105A (zh) * | 2019-03-25 | 2019-07-30 | 中国科学院自动化研究所 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
| US20200142481A1 (en) * | 2018-11-07 | 2020-05-07 | Korea University Research And Business Foundation | Brain-computer interface system and method for decoding user's conversation intention using the same |
| CN111297379A (zh) * | 2020-02-10 | 2020-06-19 | 中国科学院深圳先进技术研究院 | 一种基于感官传递的脑机结合系统和方法 |
| CN111973178A (zh) * | 2020-08-14 | 2020-11-24 | 中国科学院上海微系统与信息技术研究所 | 一种脑电信号识别系统及方法 |
| CN113515195A (zh) * | 2021-06-30 | 2021-10-19 | 杭州回车电子科技有限公司 | 基于ssvep的脑机交互方法、装置、电子装置和存储介质 |
-
2022
- 2022-11-10 CN CN202211402904.8A patent/CN115576430A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200142481A1 (en) * | 2018-11-07 | 2020-05-07 | Korea University Research And Business Foundation | Brain-computer interface system and method for decoding user's conversation intention using the same |
| CN110070105A (zh) * | 2019-03-25 | 2019-07-30 | 中国科学院自动化研究所 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
| CN109992112A (zh) * | 2019-04-02 | 2019-07-09 | 上海大学 | 基于ssvep的重症患者意图表达系统及方法 |
| CN111297379A (zh) * | 2020-02-10 | 2020-06-19 | 中国科学院深圳先进技术研究院 | 一种基于感官传递的脑机结合系统和方法 |
| CN111973178A (zh) * | 2020-08-14 | 2020-11-24 | 中国科学院上海微系统与信息技术研究所 | 一种脑电信号识别系统及方法 |
| CN113515195A (zh) * | 2021-06-30 | 2021-10-19 | 杭州回车电子科技有限公司 | 基于ssvep的脑机交互方法、装置、电子装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Molinaro et al. | Delta (but not theta)‐band cortical entrainment involves speech‐specific processing | |
| CA2953539C (en) | Voice affect modification | |
| Nieto et al. | Thinking out loud, an open-access EEG-based BCI dataset for inner speech recognition | |
| CN109585021B (zh) | 基于全息投影技术的精神状态评估方法 | |
| Brookshire et al. | Visual cortex entrains to sign language | |
| Patil et al. | The physiological microphone (PMIC): A competitive alternative for speaker assessment in stress detection and speaker verification | |
| Desai et al. | Generalizable EEG encoding models with naturalistic audiovisual stimuli | |
| CN113143289A (zh) | 一种可互联互动的智能脑波音乐耳机 | |
| Zhang et al. | EEG-based classification of imaginary Mandarin tones | |
| Clayton et al. | Decoding Imagined, Heard, and Spoken Speech: Classification and Regression of EEG Using a 14-Channel Dry-Contact Mobile Headset. | |
| Steinmetzger et al. | Effects of acoustic periodicity and intelligibility on the neural oscillations in response to speech | |
| CN108418962A (zh) | 基于脑电波的信息响应方法及相关产品 | |
| Kim et al. | Meaning based covert speech classification for brain-computer interface based on electroencephalography | |
| Varshney et al. | Imagined speech classification using six phonetically distributed words | |
| CN115576430A (zh) | 脑电通讯方法、系统和电子设备 | |
| Ren et al. | Pre-attentive processing of mandarin tone and intonation: evidence from event-related potentials | |
| CN113178195B (zh) | 一种基于声音诱发脑电信号的说话人识别方法 | |
| Parmonangan et al. | Speech Quality Evaluation of Synthesized Japanese Speech Using EEG. | |
| CN111508500B (zh) | 一种语音情绪识别方法、系统、装置和存储介质 | |
| US20220238113A1 (en) | Speech imagery recognition device, wearing fixture, speech imagery recognition method, and program | |
| CN113724687A (zh) | 基于脑电信号的语音生成方法、装置、终端及存储介质 | |
| CN113907756A (zh) | 一种基于多种模态的生理数据的可穿戴系统 | |
| Biswas et al. | Lateralization of brain during EEG based covert speech classification | |
| Krishna et al. | Improving EEG based continuous speech recognition using GAN | |
| Al-Anbary et al. | A Survey of Eeg Signals Prepossessing and Classification for Imagined Speech Application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230106 |
|
| RJ01 | Rejection of invention patent application after publication |