CN113763783A - 一种基于脑机接口的聋哑人辅助系统及方法 - Google Patents
一种基于脑机接口的聋哑人辅助系统及方法 Download PDFInfo
- Publication number
- CN113763783A CN113763783A CN202111057015.8A CN202111057015A CN113763783A CN 113763783 A CN113763783 A CN 113763783A CN 202111057015 A CN202111057015 A CN 202111057015A CN 113763783 A CN113763783 A CN 113763783A
- Authority
- CN
- China
- Prior art keywords
- module
- brain
- electroencephalogram
- information
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010011878 Deafness Diseases 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 101
- 210000004556 brain Anatomy 0.000 claims description 87
- 238000007781 pre-processing Methods 0.000 claims description 27
- 230000008451 emotion Effects 0.000 claims description 19
- 230000002093 peripheral effect Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 210000000860 cochlear nerve Anatomy 0.000 claims description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 4
- 210000003710 cerebral cortex Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑机接口的聋哑人辅助系统及方法，涉及脑机接口技术领域，一种基于脑机接口的聋哑人辅助系统，包括：脑电信号采集帽，脑电信号处理模块，声音处理模块，外设接口模块，主处理器模块，总线模块，快速暂存模块。本发明解决了聋哑人难以与外界沟通交流的问题，可帮助用户能够更加方便地表达自己的想法、并获取外界的声音，提高了用户的交流效率，使得用户拥有更好的交流体验。
Description
技术领域
本发明涉及脑机接口技术领域，具体涉及一种基于脑机接口的聋哑人辅助系统及方法。
背景技术
随着科学技术发展，当前的脑机接口，语音识别，语音生成等技术已经实现迅猛发展。这为聋哑人群的听觉和发声辅助设备提供了很好的技术基础与支持，也为智能辅助设备方面提供了智能化辅助控制机遇。
发明内容
本发明的目的在于提供一种基于脑机接口的聋哑人辅助系统及方法，解决了聋哑人难以与外界沟通交流的问题。
本发明通过下述技术方案实现：
第一方面，本发明提供一种基于脑机接口的聋哑人辅助系统，包括：脑电信号采集帽，用于采集用户的脑部电信号信息，并将外部合成的脑部电信号信息传递至用户；脑电信号处理模块，用于处理由上述脑电信号采集帽所采集的脑部电信号信息，并将外部其他形式的信号合成为脑部电信号信息传递至上述脑电信号采集帽；声音处理模块，用于接收、处理由上述脑电信号处理模块发送的脑电信号，并接收、处理外部语音信息，且将处理后的外部语音信息发送至上述脑电信号处理模块；外设接口模块，与上述声音处理模块连接，用于获取上述外部语音信息或通过语音的方式向外部传达用户的意图；主处理器模块，用于支持系统的控制与执行，控制各模块的启动与关闭；总线模块，用于连接各模块，并控制各模块间的数据传递；快速暂存模块，用于暂存各个模块执行运算的中间数据以及输入输出数据。
基于第一方面，在本发明一些实施例中，上述脑电信号处理模块包括：脑电信号采集模块，用于从上述脑电信号采集帽所采集的脑部电信号信息中提取脑电信号，并提取脑电频域特征；脑电信号预处理模块，用于对上述脑电信号采集模块提取的脑电频域特征进行预处理；脑电信号生成模块，用于对上述外部语音信息执行频域转换操作、生成对应的脑部电信号信息。
基于第一方面，在本发明一些实施例中，上述脑电信号预处理模块对上述脑电频域特征进行预处理包括：对上述脑电频域特征进行时域转换，并依据声学输入特征要求进行预处理计算操作。
基于第一方面，在本发明一些实施例中，上述声音处理模块包括：语音识别模块，用于对接收的外部语音信息执行噪声消除以及声学特征提取操作；语音生成模块，用于将上述脑电信号处理模块处理后的脑电信号转换成语音信号并传送至外设接口模块进行语音播报。
基于第一方面，在本发明一些实施例中，还包括：语义分析模块，用于对上述外部语音信息或上述语音信号进行神经网络语义信息处理操作，以消除语句之间存在的词义分歧问题。
基于第一方面，在本发明一些实施例中，还包括：情感分析模块，用于对上述外部语音信息或上述语音信号所表达的情绪以及正负面情感倾向进行判断。
基于第一方面，在本发明一些实施例中，上述外设接口模块包括传声器和扬声器。
第二方面，本发明提供一种基于脑机接口的聋哑人辅助方法，应用于上述系统，替代发声功能的执行步骤包括：S101、由上述脑电信号采集帽采集用户的脑部电信号信息，并传递至脑电信号处理模块；S102、上述脑电信号处理模块对采集的脑部电信号信息执行提取、预处理操作；上述预处理包括噪声信号处理、频域信号转换；S103、将步骤S102中经预处理后的脑部电信号信息传递至声音处理模块，经上述声音处理模块处理后生成符合用户意图的语音信号；S104、将步骤S103生成的语音信号通过上述外设接口模块中的扬声器进行语音播报。
第三方面，本发明提供一种基于脑机接口的聋哑人辅助方法，应用于上述系统，替代听觉功能的执行步骤包括：S201、由上述外设接口模块中的传声器收集外部语音信息；S202、将收集的外部语音信息传送至上述声音处理模块，由上述声音处理模块对收集的外部语音信息进行提取，生成关键语音信息，并将上述关键语音信息传递至上述脑电信号处理模块；S203、上述脑电信号处理模块将上述关键语音信息转换成脑电波信息，并通过上述脑电信号采集帽传递至大脑，辅助听觉神经进行听觉外部干预。
本发明与现有技术相比，具有如下的优点和有益效果：
第一方面，本发明提供一种基于脑机接口的聋哑人辅助系统，包括：脑电信号采集帽，脑电信号处理模块，声音处理模块，外设接口模块，主处理器模块，总线模块，快速暂存模块。可帮助聋哑人群能够更加方便地表达自己的想法、并获取外界的声音，提高聋哑人群的交流效率。
第二方面，本发明提供一种基于脑机接口的聋哑人辅助方法，由上述脑电信号采集帽采集用户的脑部电信号信息，并传递至脑电信号处理模块；上述脑电信号处理模块对采集的脑部电信号信息执行提取、预处理操作；上述预处理包括噪声信号处理、频域信号转换；经预处理后的脑部电信号信息传递至声音处理模块，经上述声音处理模块处理后生成符合用户意图的语音信号；将生成的语音信号通过上述外设接口模块中的扬声器进行语音播报。如此，可一定程度上代替发声功能，更加直观地通过声音向外部传达用户的意图。
第三方面，本发明提供一种基于脑机接口的聋哑人辅助方法，由上述外设接口模块中的传声器收集外部语音信息；将收集的外部语音信息传送至上述声音处理模块，由上述声音处理模块对收集的外部语音信息进行提取，生成关键语音信息，并将上述关键语音信息传递至上述脑电信号处理模块；上述脑电信号处理模块将上述关键语音信息转换成脑电波信息，并通过上述脑电信号采集帽传递至大脑，辅助听觉神经进行听觉外部干预。如此可一定程度上替代听觉功能，令用户能够更加准确的了解他人所传达的信息，改善用户的交流体验。
附图说明
为了更清楚地说明本发明示例性实施本发明提供一种基于脑机接口的聋哑人辅助系统的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本发明提供的一种基于脑机接口的聋哑人辅助系统一实施例的系统结构图；
图2为本发明提供的一种基于脑机接口的聋哑人辅助方法一实施例的流程框图；
图3为本发明提供的一种基于脑机接口的聋哑人辅助方法另一实施例的流程框图。
附图中标记及对应的零部件名称：
1-脑电信号采集帽；2-脑电信号处理模块；21-脑电信号采集模块；22-脑电信号预处理模块；23-脑电信号生成模块；3-声音处理模块；31-语音识别模块；32-语音生成模块；33-语义分析模块；34-情感分析模块；4-外设接口模块；41-扬声器；42-传声器；5-主处理器模块；6-总线模块；7-快速暂存模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
请参照图1和图2，本发明实施例提供一种基于脑机接口的聋哑人辅助系统，其特征在于，包括：
脑电信号采集帽1，用于采集用户的脑部电信号信息，并将外部合成的脑部电信号信息传递至用户；
示例性的，本实施例中脑电信号采集帽1包括电极帽，可利用脑电图传感器，通过电极记录大脑的电活动，电极通常嵌入电极帽中。电极帽通常需要5分钟才能安装在用户身上，通过调节电极以获得良好的信号。脑电图实施的原理是生物电现象。脑电波(EEG)是大脑在活动时，脑皮质细胞群之间形成电位差，从而在大脑皮质的细胞外产生电流。脑电图记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。
脑电信号处理模块2，用于处理由上述脑电信号采集帽1所采集的脑部电信号信息，并将外部其他形式的信号合成为脑部电信号信息传递至上述脑电信号采集帽1；
示例性的，脑电信号处理模块2包括脑电信号采集模块21和脑电信号预处理模块22。
示例性的，脑电信号采集模块21可采用ADS1299脑电采集芯片。当脑电信号采集模块21接收到由脑电信号采集帽1采集的脑部电信号信息后，需要从脑部电信号信息中提取所需要的脑电信号，并提取脑电信号的脑电频域特征。
脑电信号预处理模块22则对提取的脑电频域特征进行分析处理，其中包括对上述脑电频域特征信号进行噪声信号处理、时域转换，并依据声学输入特征要求进行预处理计算操作。
声音处理模块3，用于接收、处理由上述脑电信号处理模块2发送的脑电信号，并接收、处理外部语音信息，且将处理后的外部语音信息发送至上述脑电信号处理模块2；
示例性的，声音处理模块3包括语音生成模块32，用于将上述脑电信号处理模块2处理后的脑电信号转换成语音信号并传送至外设接口模块4进行语音播报。示例性的，语音生成模块32包括DIVA模型，DIVA模型是一种为了生成单词、音节和音素而控制模拟声道运动的自适应神经网络模型，其依赖的输入信号则是从人体大脑中采集的脑电信号。
进一步的，声音处理模块3还包括语义分析模块33，DIVA模型输出语音信号后可通过语义分析神经网络模型分析语句是否存在语病或歧义，若存在则进行修改，以保证能够更加准确的表达用户的意图，向外界传递更加准确的信息，
进一步的，声音处理模块3还包括情感分析模块34，示例性的，本实施例中，情感分析模块34用于对由语音生成模块32输出的语音信号所表达的情绪以及正负面情感倾向进行判断。并将所表达的情绪通过添加词句、改变语气或音量的方式表达出来。示例性的，若用户想要表达的是“我想去洗手间”，情感分析模块34分析出目前用户的情绪十分焦急，则可将之前的语句表达为“我非常想去洗手间”，或是通过焦急的语气表达“我想去洗手间”。情感分析模块34通过分析用户当前的情绪，能够帮助用户更好地表达自己的意图和需要，使得用户能够获得更好的交流体验。
外设接口模块4，与上述声音处理模块3连接，用于获取上述外部语音信息或通过语音的方式向外部传达用户的意图；
示例性的，外设接口模块4包括扬声器41，经上述声音处理模块3处理后生成语音信号则发送至扬声器41，由扬声器41进行播报用以代替声带，直观地通过声音向外部传达用户的意图。
另外，系统还包括主处理器模块5，用于支持系统的控制与执行，控制各模块的启动与关闭；总线模块6，用于连接各模块，并控制各模块间的数据传递；快速暂存模块7，用于暂存各个模块执行运算的中间数据以及输入输出数据。
对于聋哑用户而言，可通过令系统执行以下步骤替代发声功能：
S101、由上述脑电信号采集帽1采集用户的脑部电信号信息，并传递至脑电信号处理模块2；
示例性的，本实施例中脑电信号采集帽1包括电极帽，可利用脑电图传感器，通过电极记录大脑的电活动，电极通常嵌入电极帽中。脑电图实施的原理是生物电现象，脑电波(EEG)是大脑在活动时，脑皮质细胞群之间形成电位差，从而在大脑皮质的细胞外产生电流。脑电信号极其微弱，其主要频段在0.5Hz～100Hz，信号幅值范围为5uV～100uV，所以极易受到其他信号的干扰，由于人体的分布电容、肌肉活动以及电子元器件受外界电磁环境影响等原因，脑电信号通常都带有多种干扰信号，如基线漂移、工频干扰、肌电干扰等等。因此脑电信号经采集后需送至电信号处理模块进行处理。
S102、上述脑电信号处理模块2对采集的脑部电信号信息执行提取、预处理操作；上述预处理包括噪声信号处理、频域信号转换；
示例性的，脑电信号处理模块2包括脑电信号采集模块21和脑电信号预处理模块22，当脑电信号采集模块21接收到由脑电信号采集帽1采集的脑部电信号信息后，需要从脑部电信号信息中提取所需要的脑电信号，并提取脑电信号的脑电频域特征。脑电信号预处理模块22则对提取的脑电频域特征进行分析处理，其中包括对上述脑电频域特征信号进行噪声信号处理、时域转换，并依据声学输入特征要求进行预处理计算操作。
S103、将步骤S102中经预处理后的脑部电信号信息传递至声音处理模块3，经上述声音处理模块3处理后生成符合用户意图的语音信号；
示例性的，声音处理模块3包括语音生成模块32，用于将上述脑电信号处理模块2处理后的脑电信号转换成语音信号并传送至外设接口模块4进行语音播报。示例性的，语音生成模块32包括DIVA模型，DIVA模型是一种为了生成单词、音节和音素而控制模拟声道运动的自适应神经网络模型，其依赖的输入信号则是从人体大脑中采集的脑电信号。
另外，为了更加准确得表达用户的意图和情感，可将经语音生成模块32输出的语音信号输入语义分析模块33、情感分析模块34中进行进一步的分析处理，以帮助用户更好地表达自己的意图和需要，使得用户能够获得更好的交流体验。
S104、将步骤S103生成的语音信号通过上述外设接口模块4中的扬声器41进行语音播报。
示例性的，外设接口模块4包括扬声器41，经上述声音处理模块3处理后生成语音信号则发送至扬声器41，由扬声器41进行播报用以代替声带，直观地通过声音向外部传达用户的意图。
实施例2
对于聋哑人群而言，除了需要向外界表达他们的需求，获取外界的声音信息亦同样重要。
请参照图1和图3，在上述实施例1的基础上。示例性的，上述外设接口模块4还包括传声器42，传声器42是将声音信号转换为电信号的能量转换器件，本实施中则作为采集外部语音信息的装置。
示例性的，上述声音处理模块3还包括语音识别模块31，由于外部的语音信息极为杂乱，存在许多的干扰信息，为降低系统负担，需要由语音识别模块31从繁乱的外部语音信息提取出关键语音信息，提取的内容尽量简明扼要，然后再对提取出的外部语音信息执行噪声消除以及声学特征提取操作，进一步降低干扰、精简信息。
进一步的，为保证能够向用户传达更加准确的信息，本实施例中，语义分析模块33，则用于对外部语音信号中的语义信息进行神经网络语义信息处理操作，消除语句之间存在的词义分歧问题；
进一步的，为能够帮助用户更好地了解他人意图和需要，使得用户能够获得更好的交流体验。本实施例中，情感分析模块34，则用于对外部语音信号中所表达的情绪以及正负面情感倾向进行判断。
示例性的，上述脑电信号处理模块2还包括脑电信号生成模块23。主要用于对由语音识别模块31处理后语音信息执行频域转换操作、生成对应的脑部电信号信息。脑电信号生成模块23则可将外部的声音信息生成对应的脑部电信号信息，然后通过脑电信号采集帽1将脑部电信号信息传输至用户的脑部，令用户能够更加准确的了解他人所传达的信息。
对于聋哑用户而言，可通过令系统执行以下步骤替代听觉功能：
S201、由上述外设接口模块4中的传声器42收集外部语音信息；
示例性的，示例性的，上述外设接口模块4还包括传声器42，传声器42是将声音信号转换为电信号的能量转换器件，本实施中则作为采集外部语音信息的装置。
S202、将收集的外部语音信息传送至上述声音处理模块3，由上述声音处理模块3对收集的外部语音信息进行提取，生成关键语音信息，并将上述关键语音信息传递至上述脑电信号处理模块2；
示例性的，上述声音处理模块3还包括语音识别模块31，由于外部的语音信息极为杂乱，存在许多的干扰信息，为降低系统负担，需要由语音识别模块31从繁乱的外部语音信息提取出关键语音信息，提取的内容尽量简明扼要，然后再对提取出的外部语音信息执行噪声消除以及声学特征提取操作，生成关键语音信息，然后将关键语音信息传递至上述脑电信号处理模块2。
S203、上述脑电信号处理模块2将上述关键语音信息转换成脑电波信息，并通过上述脑电信号采集帽1传递至大脑，辅助听觉神经进行听觉外部干预。
示例性的，上述脑电信号处理模块2还包括脑电信号生成模块23。主要用于对由语音识别模块31处理后语音信息执行频域转换操作、生成对应的脑部电信号信息。脑电信号生成模块23则可将外部的声音信息生成对应的脑部电信号信息，然后通过脑电信号采集帽1将脑部电信号信息传输至用户的脑部，令用户能够更加准确的了解他人所传达的信息。
实施例3
请参照图2，本发明实施例提供一种基于脑机接口的聋哑人辅助方法，应用于上述系统，替代发声功能的执行步骤包括：S101、由上述脑电信号采集帽1采集用户的脑部电信号信息，并传递至脑电信号处理模块2；S102、上述脑电信号处理模块2对采集的脑部电信号信息执行提取、预处理操作；上述预处理包括噪声信号处理、频域信号转换；S103、将步骤S102中经预处理后的脑部电信号信息传递至声音处理模块3，经上述声音处理模块3处理后生成符合用户意图的语音信号；S104、将步骤S103生成的语音信号通过上述外设接口模块4中的扬声器41进行语音播报。
本实施例的具体实施步骤见实施例1，在此不作赘述。
实施例4
请参照图3，本发明实施例提供一种基于脑机接口的聋哑人辅助方法，应用于上述系统，替代听觉功能的执行步骤包括：S201、由上述外设接口模块4中的传声器42收集外部语音信息；S202、将收集的外部语音信息传送至上述声音处理模块3，由上述声音处理模块3对收集的外部语音信息进行提取，生成关键语音信息，并将上述关键语音信息传递至上述脑电信号处理模块2；S203、上述脑电信号处理模块2将上述关键语音信息转换成脑电波信息，并通过上述脑电信号采集帽1传递至大脑，辅助听觉神经进行听觉外部干预。
本实施例的具体实施步骤见实施例2，在此不作赘述。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于脑机接口的聋哑人辅助系统，其特征在于，包括：
脑电信号采集帽，用于采集用户的脑部电信号信息，并将外部合成的脑部电信号信息传递至用户；
脑电信号处理模块，用于处理由所述脑电信号采集帽所采集的脑部电信号信息，并将外部其他形式的信号合成为脑部电信号信息传递至所述脑电信号采集帽；
声音处理模块，用于接收、处理由所述脑电信号处理模块发送的脑电信号，并接收、处理外部语音信息，且将处理后的外部语音信息发送至所述脑电信号处理模块；
外设接口模块，与所述声音处理模块连接，用于获取所述外部语音信息或通过语音的方式向外部传达用户的意图；
主处理器模块，用于支持系统的控制与执行，控制各模块的启动与关闭；
总线模块，用于连接各模块，并控制各模块间的数据传递；
快速暂存模块，用于暂存各个模块执行运算的中间数据以及输入输出数据。
2.根据权利要求1所述的基于脑机接口的聋哑人辅助系统，其特征在于，所述脑电信号处理模块包括：
脑电信号采集模块，用于从所述脑电信号采集帽所采集的脑部电信号信息中提取脑电信号，并提取脑电频域特征；
脑电信号预处理模块，用于对所述脑电信号采集模块提取的脑电频域特征进行预处理；
脑电信号生成模块，用于对所述外部语音信息执行频域转换操作、生成对应的脑部电信号信息。
3.根据权利要求2所述的基于脑机接口的聋哑人辅助系统，其特征在于，所述脑电信号预处理模块对所述脑电频域特征进行预处理包括：
对所述脑电频域特征进行时域转换，并依据声学输入特征要求进行预处理计算操作。
4.根据权利要求2所述的基于脑机接口的聋哑人辅助系统，其特征在于，所述声音处理模块包括：
语音识别模块，用于对接收的外部语音信息执行噪声消除以及声学特征提取操作；
语音生成模块，用于将所述脑电信号处理模块处理后的脑电信号转换成语音信号并传送至外设接口模块进行语音播报。
5.根据权利要求4所述的基于脑机接口的聋哑人辅助系统，其特征在于，还包括：
语义分析模块，用于对所述外部语音信息或所述语音信号进行神经网络语义信息处理操作，以消除语句之间存在的词义分歧问题。
6.根据权利要求4所述的基于脑机接口的聋哑人辅助系统，其特征在于，还包括：
情感分析模块，用于对所述外部语音信息或所述语音信号所表达的情绪以及正负面情感倾向进行判断。
7.根据权利要求1所述的基于脑机接口的聋哑人辅助系统，其特征在于，所述外设接口模块包括传声器和扬声器。
8.一种基于脑机接口的聋哑人辅助方法，其特征在于，替代发声功能的执行步骤包括：
S101、由所述脑电信号采集帽采集用户的脑部电信号信息，并传递至脑电信号处理模块；
S102、所述脑电信号处理模块对采集的脑部电信号信息执行提取、预处理操作；所述预处理包括噪声信号处理、频域信号转换；
S103、将步骤S102中经预处理后的脑部电信号信息传递至声音处理模块，经所述声音处理模块处理后生成符合用户意图的语音信号；
S104、将步骤S103生成的语音信号通过所述外设接口模块中的扬声器进行语音播报。
9.一种基于脑机接口的聋哑人辅助方法，其特征在于，替代听觉功能的执行步骤包括：
S201、由所述外设接口模块中的传声器收集外部语音信息；
S202、将收集的外部语音信息传送至所述声音处理模块，由所述声音处理模块对收集的外部语音信息进行提取，生成关键语音信息，并将所述关键语音信息传递至所述脑电信号处理模块；
S203、所述脑电信号处理模块将所述关键语音信息转换成脑电波信息，并通过所述脑电信号采集帽传递至大脑，辅助听觉神经进行听觉外部干预。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111057015.8A CN113763783A (zh) | 2021-09-09 | 2021-09-09 | 一种基于脑机接口的聋哑人辅助系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111057015.8A CN113763783A (zh) | 2021-09-09 | 2021-09-09 | 一种基于脑机接口的聋哑人辅助系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113763783A true CN113763783A (zh) | 2021-12-07 |
Family
ID=78794340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111057015.8A Pending CN113763783A (zh) | 2021-09-09 | 2021-09-09 | 一种基于脑机接口的聋哑人辅助系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763783A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285224A (ja) * | 2005-03-09 | 2006-10-19 | Advanced Telecommunication Research Institute International | 発声機能支援装置 |
| WO2012001447A1 (en) * | 2010-07-02 | 2012-01-05 | Kingman Timothy J | A device that enables deaf people to perceive sound |
| CN202996127U (zh) * | 2012-11-28 | 2013-06-12 | 蔡思强 | 聋哑人交流帽 |
| CN106205048A (zh) * | 2016-07-21 | 2016-12-07 | 山东大学 | 基于脑‑机接口的昏迷自动报警系统及报警方法 |
| CN108608439A (zh) * | 2018-06-29 | 2018-10-02 | 华南理工大学广州学院 | 一种儿童情感宣泄机器人及方法 |
| CN111258088A (zh) * | 2020-02-25 | 2020-06-09 | 厦门明睐科技有限公司 | 一种脑电波控制的智能眼镜设备及使用方法 |
| CN111681636A (zh) * | 2020-06-16 | 2020-09-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN112151056A (zh) * | 2020-09-27 | 2020-12-29 | 浙江诺尔康神经电子科技股份有限公司 | 带自定义的智能耳蜗声音处理系统和方法 |
-
2021
- 2021-09-09 CN CN202111057015.8A patent/CN113763783A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285224A (ja) * | 2005-03-09 | 2006-10-19 | Advanced Telecommunication Research Institute International | 発声機能支援装置 |
| WO2012001447A1 (en) * | 2010-07-02 | 2012-01-05 | Kingman Timothy J | A device that enables deaf people to perceive sound |
| CN202996127U (zh) * | 2012-11-28 | 2013-06-12 | 蔡思强 | 聋哑人交流帽 |
| CN106205048A (zh) * | 2016-07-21 | 2016-12-07 | 山东大学 | 基于脑‑机接口的昏迷自动报警系统及报警方法 |
| CN108608439A (zh) * | 2018-06-29 | 2018-10-02 | 华南理工大学广州学院 | 一种儿童情感宣泄机器人及方法 |
| CN111258088A (zh) * | 2020-02-25 | 2020-06-09 | 厦门明睐科技有限公司 | 一种脑电波控制的智能眼镜设备及使用方法 |
| CN111681636A (zh) * | 2020-06-16 | 2020-09-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN112151056A (zh) * | 2020-09-27 | 2020-12-29 | 浙江诺尔康神经电子科技股份有限公司 | 带自定义的智能耳蜗声音处理系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vongphoe et al. | Speaker recognition with temporal cues in acoustic and electric hearing | |
| CN104661700B (zh) | 听力植入物中的瞬变声音的减小 | |
| EP2887351A1 (en) | Computer-implemented method, computer system and computer program product for automatic transformation of myoelectric signals into audible speech | |
| CN111681636B (zh) | 基于脑机接口技术语音生成方法及医疗系统和终端 | |
| CN201920987U (zh) | 一种基于莫尔斯码的皮肤听声器 | |
| CN106233379A (zh) | 声音合成设备和用于合成声音的方法 | |
| CN113143289A (zh) | 一种可互联互动的智能脑波音乐耳机 | |
| CN110719558B (zh) | 助听器验配方法、装置、计算机设备及存储介质 | |
| Reichenbach et al. | The auditory-brainstem response to continuous, non-repetitive speech is modulated by the speech envelope and reflects speech processing | |
| US20100082325A1 (en) | Automated phonetic language translation system using Human Brain Interface | |
| CN113724687B (zh) | 基于脑电信号的语音生成方法、装置、终端及存储介质 | |
| Fletcher et al. | Electro-haptic stimulation: A new approach for improving cochlear-implant listening | |
| Viswanathan et al. | Modulation masking and fine structure shape neural envelope coding to predict speech intelligibility across diverse listening conditions | |
| US20100075281A1 (en) | In-Flight Entertainment Phonetic Language Translation System using Brain Interface | |
| CN113763783A (zh) | 一种基于脑机接口的聋哑人辅助系统及方法 | |
| Lindboom et al. | Incorporating models of subcortical processing improves the ability to predict EEG responses to natural speech | |
| Krishna et al. | Advancing speech synthesis using EEG | |
| Sree et al. | Vowel classification from imagined speech using sub-band EEG frequencies and deep belief networks | |
| CN115757860A (zh) | 一种基于多模态融合的音乐情感标签生成方法 | |
| CN114040308B (zh) | 一种基于情感增益的皮肤听声助听装置 | |
| Al-Anbary et al. | A Survey of Eeg Signals Prepossessing and Classification for Imagined Speech Application | |
| CN106255026A (zh) | 基于语音模式识别和振动反馈的助残装置及交互方法 | |
| CN102426839B (zh) | 一种听障人群的语音辨识方法 | |
| Yuan et al. | Non-acoustic speech sensing system based on flexible piezoelectric | |
| CN106714064B (zh) | 一种人工耳蜗音频实时处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211207 |
|
| RJ01 | Rejection of invention patent application after publication |