CN116269447B - 一种基于语音调制和脑电信号的言语认知评估系统 - Google Patents
一种基于语音调制和脑电信号的言语认知评估系统 Download PDFInfo
- Publication number
- CN116269447B CN116269447B CN202310552371.XA CN202310552371A CN116269447B CN 116269447 B CN116269447 B CN 116269447B CN 202310552371 A CN202310552371 A CN 202310552371A CN 116269447 B CN116269447 B CN 116269447B
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- voice
- speech
- modulation
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 57
- 230000004044 response Effects 0.000 claims abstract description 91
- 210000004556 brain Anatomy 0.000 claims abstract description 67
- 230000033764 rhythmic process Effects 0.000 claims abstract description 66
- 230000019771 cognition Effects 0.000 claims abstract description 27
- 238000001228 spectrum Methods 0.000 claims abstract description 27
- 239000000463 material Substances 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000003930 cognitive ability Effects 0.000 claims description 26
- 210000005036 nerve Anatomy 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 25
- 230000008449 language Effects 0.000 description 22
- 238000012360 testing method Methods 0.000 description 15
- 230000001149 cognitive effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000004424 eye movement Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 210000001595 mastoid Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000721701 Lynx Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000008309 brain mechanism Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008140 language development Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008904 neural response Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000001152 parietal lobe Anatomy 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Neurosurgery (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于语音调制和脑电信号的言语认知评估系统，包括：语音序列生成模块，选择结构化语音材料并将其合成为语音序列，对语音序列进行调制得到若干种调制语音序列；结构化语音材料中的词汇按预设的频率呈现，每一种调制语音序列间的词汇节奏相位相同、声学节奏相位不同；脑电信号采集模块，使用音频输入设备向被测试者呈现所有调制语音序列，使用脑电记录设备同步采集被测试者的脑电信号；脑电信号分析模块，对脑电信号进行处理得到脑电响应频谱，分别提取所有调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位；言语认知评估结果获取模块，计算不同种调制语音序列对应的脑电响应相位之差，判定言语认知评估结果。
Description
技术领域
本发明涉及语言能力评估领域，尤其涉及一种基于语音调制和脑电信号的言语认知评估系统。
背景技术
言语认知能力是对个体认知水平、语言能力的一个重要评价指标。个人的言语认知能力取决于自身言语功能的物理条件（听力器官、大脑功能等）和后天的教育训练（母语学习、第二语言学习等），因此言语能力评估在儿童语言发展、医学诊断、语言教育等领域受到广泛的关注和应用。
传统的言语认知能力评估方法分为两种：人工评估和试题评估。人工测评大多应用于医学诊断领域，是指通过专家或者评估人员与受试者进行交流，以观察、测验、量表等方式对受试者的言语认知能力进行评估。但是，由于人工评估是通过评估人员对测试者的言语认知能力进行评价，评估的结果容易受到主观因素以及评估人员专业能力的影响。试题评估大多应用于语言教育领域，是指通过试题作答的方式对受试者的言语认知能力进行评估。具体来说，出题者根据言语测试的内容设计不同类型的试题，受试者通过回答试题，获得对应的答题分数，最后根据答题分数来评估受试者的言语认知能力。但是，由于试题评估的方法以答题分数作为言语认知能力的综合指标，对于受试者的语言知识、认知结构等方面无法进行详细的评价。因此，即使答题分数相同的受试者也可能具有差异化的言语认知能力特点，从而导致试题评估的结果不够准确。为了使得传统的言语认知评估方法更加准确并且能够提供更多维度的信息，语言研究者们在传统的言语能力评估方法的基础上结合了认知心理学、计量心理学、统计数学和计算机科学理论，将言语能力与认知模式结合在一起，提出了许多言语认知诊断模型，如规则空间模型、融合模型等。由于传统的言语认知评估方法涉及较多的交互过程，包括人与人之间的交互、人与试题之间的交互等，对受试者的意识状态、注意力、工作记忆等方面有较高的要求，从而使得言语认知评估结果的好坏受到诸多因素而非言语认知这单一因素的影响。因此，传统的言语认知评估方法往往只适用于特征人群，即除言语认知外其余因素都相似的人群，其应用场景比较单一、应用范围较小。与此同时，多维度的能力考察需要受试者付出大量的时间和精力参与完整的评估过程。
随着认知科学相关技术的发展，眼动测量技术也被应用于言语认知的评估。Hallowell等人通过受试者在听语音时对屏幕中与语音相关图片的注视时间来评估受试者的语言理解能力。中国专利CN103857347A公开了一种语言理解的瞳孔度量评估方法，向受试者提供不同言语刺激列表作为视觉输入，通过测量瞳孔的大小评估受试者的语言理解的能力。这两种方法只能针对视觉功能良好的个体进行测量，与此同时，眼球运动和瞳孔变化也容易受到视觉刺激的亮度、色彩等外界因素的影响。中国专利CN109199410A公开了一种基于眼部运动的言语认知评估方法，通过测量受试者在听语音时的同步眼球运动评估受试者的言语认知能力。这种潜意识的同步眼球运动虽然不易受到外界因素的影响，但并不直接反映大脑的言语认知活动，属于一种间接测量方法，同时也无法正确反映眼球活动受损人群的言语认知能力。除了通过眼动测量方法之外，脑电信号的测量也可以直接反映人脑的语言处理机制。Frazier等人通过测量脑电图（EEG）信号，研究发现语音的韵律可以增强人对语音的记忆，促进大脑对语言的理解。Aiken等人通过测量脑电图信号，研究发现人在听语音时，脑电信号会跟踪语音包络，即语音的声强变化。Ding等人通过测量脑磁图（MEG）信号，研究发现人在听可以理解的语音时，脑电信号会跟踪字、词、句子等不同层级的语言结构，产生与语言结构时序对齐的神经响应；在听无法理解的语音时，脑电信号则不会跟踪词、句子等高层级的语言结构，不产生与语言结构时序对齐的神经响应。上述脑机制研究均表明，通过脑电信号中的语言处理响应检测人的言语认知功能是客观评价言语认知能力的有效途径之一。但是，这些研究并没有将脑电信号活动与言语认知能力的强弱关联起来，无法直接用于评估人的言语认知能力。
综上所述，现有技术中的主流的言语认知评估方法存在以下技术问题：
1、传统主流评估方法中的人工评估方法的结果容易受到主观因素以及评估人员专业能力的影响。传统主流评估方法中的试题评估方法对于受试者的语言知识、认知结构等方面无法进行详细的评价，从而导致试题评估的结果不够准确。并且，传统的言语认知评估方法涉及较多的交互过程，包括人与人之间的交互、人与试题之间的交互等，对受试者的意识状态、注意力、工作记忆等方面有较高的要求，从而使得言语认知评估结果的好坏受到诸多其他因素而非言语认知这单一因素的影响。因此，传统的言语认知评估方法往往只适用于特定人群，即除言语认知外其余因素都相似的人群，其应用场景比较单一、应用范围较小。
2、在传统的言语能力评估方法的基础上结合了认知心理学、计量心理学、统计数学和计算机科学理论的许多新型言语认知诊断模型也有其局限性。例如，多维度的言语认知评估需要受试者付出大量的时间和精力参与完整的评估过程，其综合成本过高，且可行性较低。一些基于眼部运动测量技术的评估方法无法正确反映眼球活动受损人群的言语认知能力，测量结果容易受亮度、色彩等外界因素影响，且无法直接反映被测试者大脑的言语认知活动。
发明内容
针对现有技术不足，本发明提供了一种基于语音调制和脑电信号的言语认知评估系统。
为实现上述发明目的，本发明的技术方案为：本发明提供了一种基于语音调制和脑电信号的言语认知评估系统，所述系统包括：
语音序列生成模块，选择结构化语音材料并将结构化语音材料合成为语音序列，对语音序列进行调制得到若干种调制语音序列；其中，结构化语音材料中的词汇按预设的频率呈现，每一种调制语音序列间的词汇节奏相位相同、声学节奏相位不同；
脑电信号采集模块，使用音频输入设备向被测试者呈现所有调制语音序列，使用脑电记录设备同步采集被测试者的脑电信号；
脑电信号分析模块，对脑电信号进行处理得到脑电响应频谱，分别提取所有调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位；
言语认知评估结果获取模块，计算不同种调制语音序列对应的脑电响应相位之差，判定言语认知评估结果。
进一步地，结构化语音材料中的多音节词汇以自定义预设的频率出现。
进一步地，语音序列中每个音节的呈现时长相同；每个音节的呈现时长为100毫秒至1000毫秒。
进一步地，对语音序列进行调制得到若干调制语音序列包括：
对语音序列引入与词汇频率相同、相位不同的声学节奏，得到词汇节奏相位相同、声学节奏相位不同的若干种调制语音序列；
其中，声学节奏通过调制词汇音节的音调、声强、音色在内的人脑可感知的声学特征而产生。
进一步地，对脑电信号进行处理得到脑电响应频谱包括：
对脑电信号进行预处理，记预处理后的脑电信号为x(n)，n为时域点序号。
对预处理后的脑电信号x(n)进行离散傅里叶变换，得到被测试者的脑电响应频谱，表达式如下：
式中，N为脑电数据的采样点数，m为频率点序号。
进一步地，对脑电信号进行预处理包括：对脑电信号进行降采样和带通滤波，并将不同调制语音序列对应的脑电信号进行分组平均。
进一步地，提取调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位包括：
将被测试者的脑电响应频谱X(m)的离散傅里叶变换式转换为直角坐标形式，表达式如下：
其中，j为虚数；
将直角坐标形式转换为复数形式，表达式如下：
式中，为在频率点m处的实部，/>为在频率点m处的虚部；
提取脑电响应频谱在频域点m处的脑电响应相位，表达式如下：
提取词汇频率脑电响应相位时，频域点m设置为词汇频率点。
进一步地，计算不同种调制语音序列对应的脑电响应相位之差，判定言语认知评估结果包括：
当不同种调制语音序列对应的脑电响应相位之差越接近0°时，则被测试者的大脑神经响应主要跟踪调制语音序列中的词汇节奏，表明被测试者的言语认知能力越强；
当不同种调制语音序列对应的脑电响应相位之差越接近调制语音序列的声学节奏之差时，则被测试者的大脑神经响应主要跟踪调制语音序列中的声学节奏，表明被测试者的言语认知能力越弱。
进一步地，计算不同种调制语音序列对应的脑电响应相位之差，判定言语认知评估结果包括：
计算不同种调制语音序列对应的脑电响应相位之差；
获取相位临界值；
当脑电响应相位之差小于相位临界值时，则被测试者的大脑神经响应主要跟踪调制语音序列中的词汇节奏；
当脑电响应相位之差大于相位临界值时，则被测试者的大脑神经响应主要跟踪调制语音序列中的声学节奏。
进一步地，获取相位临界值包括：
计算不同种调制语音序列之间的声学节奏相位差，表达式如下：
式中，表示第p种调制语音序列对应的声学节奏相位，/>表示第q种调制语音序列对应的声学节奏相位；
将不同种调制语音序列的声学节奏相位差与词汇节奏相位差的均值作为相位临界值α，其中，词汇节奏的相位差为0°。
本发明相对于现有技术而言，具有如下有益效果：
1、本发明系统直接将大脑活动与言语认知能力关联起来，减少了可能产生影响的其他中间因素，可以直接、准确地反映被测试者的言语认知能力。
2、本发明无需专业评测人员参与即可实现对被测试者言语认知能力的客观评价，采用语音输入设备与脑电设备，对受试人员的条件局限较少，具有广泛的适用场景和适用人群。
3、本发明具备便捷、高效的特性，可以以更少的时间成本和费用实现较高质量的言语认知评估方案。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于语音调制和脑电信号的言语认知评估系统的流程模块图；
图2是本发明实施例提供的生成语音序列的示意图；
图3是本发明实施例提供的对语音序列进行调制得到若干种调制语音序列的示例图；
图4是本发明实施例提供的脑电信号分析的示意图；
图5是本发明实施例提供的脑电频谱图；
图6是本发明实施例提供的脑电相位图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明基本原理是通过调制语音激发大脑的神经跟踪活动，不同言语认知能力的人群，其神经跟踪活动会显示出不同的响应相位，根据不同难度语料下的神经响应相位判断被测试者对调制语音的理解程度，以实现被测试者的言语认知能力评估。
如图1所示，本发明实施例提出了一种基于语音调制和脑电信号的言语认知评估系统，具体包括：语音序列生成模块、脑电信号采集模块、脑电信号分析模块和言语认知评估结果获取模块。
语音序列生成模块，选择结构化语音材料并将结构化语音材料合成为语音序列，对语音序列进行调制得到若干种调制语音序列；其中，结构化语音材料中的词汇按预设的频率呈现，每一种调制语音序列间的词汇节奏相位相同、声学节奏相位不同。
具体地，所述语音序列生成模块根据自然语料构建结构化语料，将结构化语料合成语音序列，调制语音序列产生不同的声学节奏，得到若干种调制语音序列。
进一步地，在本实例中，可以选择不同难度的自然语料构建结构化语料，结构化语料中多音节词汇以恒定的预设的频率出现，使语料具备恒定的语言结构；优选地，选择多组自然语料，每一组自然语料中包含难度相同或相近的多段自然语料。
进一步地，将结构化语料合成语音序列，调制语音序列产生不同的声学节奏，得到若干调制语音序列包括：根据结构化语料生成的语音序列中每个音节的呈现时长相同，优选地，每个音节的呈现时长为100毫秒至1000毫秒。通过调制语音序列的声学特性引入与词汇频率相同、相位不同的声学节奏，每段结构化语料生成至少两种不同相位声学节奏的调制语音序列；优选地，可以调制音节的音调、声强、音色等人脑可感知的声学特征产生声学节奏。优选的，每种调制语音序列可根据不同语料生成多段语音序列。
需要说明的是，不同种调制语音序列的词汇节奏相位差为0°，声学节奏相位差根据调制的音调、声强、音色等声学特征决定。
脑电信号采集模块，使用音频输入设备向被测试者呈现所有调制语音序列，使用脑电记录设备同步采集被测试者的脑电信号。
需要说明的是，使用音频输入设备向被测试者呈现所有调制语音序列时，每一种调制语音序列至少呈现一次。在本实例中，音频输入设备采用入耳式耳机。
进一步地，所述的脑电信号通过脑电图呈现。脑电记录设备采用多通道脑电仪，优选地，记录脑电信号的电极数量为1-256个，且至少有一个电极与大脑顶叶区对应。
脑电信号分析模块，对脑电信号进行处理得到脑电响应频谱，分别提取所有调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位。
具体地，对脑电信号进行处理得到脑电响应频谱包括：
对脑电信号进行预处理：对脑电信号进行降采样和带通滤波，以去除低频漂移和工频干扰，并将脑电信号根据不同种调制语音序列进行分组平均，以提高数据信噪比，记预处理后的脑电信号为x(n)，n为时域点序号。
对预处理后的脑电信号x(n)进行离散傅里叶变换，得到被测试者的脑电响应频谱，表达式如下：
式中，N为脑电数据的采样点数，m为频率点序号。
将离散傅里叶变换式转换为直角坐标形式：
其中，j为虚数；
将直角坐标形式转换为复数形式，表达式如下：
式中，为在频率点m处的实部，/>为在频率点m处的虚部；
提取脑电响应频谱在频域序列点m处的脑电响应相位，表达式如下：
。
在本实例中，所述频域点m设置为词汇频率点。
言语认知评估结果获取模块，计算不同种调制语音序列对应的脑电响应相位之差以判定言语认知评估结果。
具体地，在本实例中可以根据第一判定方式和/或第二判定方式获取言语认知评估结果。
其中，第一判定方式为：
当不同种调制语音序列对应的脑电响应相位之差接近0°时，则被测试者的大脑神经响应主要跟踪调制语音序列中的词汇节奏，表明被测试者的言语认知能力越强。
当不同种调制语音序列对应的脑电响应相位之差接近调制语音序列的声学节奏之差时，则被测试者的大脑神经响应主要跟踪调制语音序列中的声学节奏，表明被测试者的言语认知能力越弱。
第二判定方式为：计算被测试者对不同种调制语音的脑电响应相位差，通过相位差/>与相位临界值α的关系判断被测试者是否能够理解当前难度的语音。具体地：
计算不同种调制语音序列对应的脑电响应相位之差，与相位临界值进行比较。
当脑电响应相位之差小于相位临界值时，则被测试者的大脑神经响应主要跟踪调制语音序列中的词汇节奏。
当脑电响应相位之差大于相位临界值时，则被测试者的大脑神经响应主要跟踪调制语音序列中的声学节奏。
进一步地，获取相位临界值的过程包括：
计算不同种调制语音序列两两之间的声学节奏相位差，表达式如下：
式中，表示第p种调制语音序列对应的声学节奏相位，/>表示第q种调制语音序列对应的声学节奏相位。
不同种调制语音序列的声学节奏相位差与词汇节奏相位差的均值作为相位临界值α，其中，词汇节奏的相位差为0°。
实施例1
在本实施例1中采用sennheiser入耳式耳机作为声音输入设备，Biosemi脑电记录仪作为脑电记录设备，配备一台计算机设备用于语音输入、数据存储与数据分析。计算机配备Intel Corei7-4790中央处理器，8G DDR3内存，1TB固态机械硬盘、Lynx 2声卡与AOC液晶显示器。
基于上述的设备，对本发明提供的基于语音调制和脑电信号的言语认知评估系统进行进一步阐明：
语音序列生成模块，选择结构化语音材料并将结构化语音材料合成为语音序列，对语音序列进行调制，得到第一调制语音序列和第二调制语音序列。
具体地，在本实例中，选用14篇儿童故事语料以测量母语者与非母语者的言语认知能力。每篇故事语料均被设计为结构化语料，其内容互不相关，每篇语料包含80至140个词汇。所设计的结构化语料是由双音节词（约占80%）或单音节词（约占20%）构成的。如图3所示，选用结构化语料“一匹小马非常勤劳，每天拼命拉车干活，……，受到表扬”，在结构化语料中所有奇数位置的音节都是双音节词的第一个音节，或者单音节词；所有偶数位置的音节都是双音节词的第二个音节，或者另一个单音节词。在汉语中，单音节词就是单字词，比如“一”、“匹”、“小”、“马”；双音节词就是双字词，比如“非常”、“勤劳”等。由于这种语音材料主要由双音节词汇构成，在不影响语料内容连续性的情况下可以形成一个恒定的双音节词汇结构。
对结构化语料进语音合成与声学调制：结构化语音材料中的所有音节都采用Neospeech语音生成器（Liang语音包）单独进行生成，通过结尾处截断或者补零的方式调整为250毫秒，并通过余弦窗对每个音节结尾处的25毫秒进行平滑处理，并调整所有音节的声强相等，最后将所有音节进行合成拼接生成语音序列。为了使得语音序列听起来更加自然，在合成语音时，在语料的每个标点处都插入了500毫秒时长的空白间隔。此时，语音序列中的音节以250毫秒的节奏进行呈现，即4赫兹音节节奏；双音节词则以500毫秒的节奏进行呈现，即2赫兹词汇节奏。
对语音序列进行声学调制，得到第一调制语音序列和第二调制语音序列：引入不同相位的2赫兹声学节奏。本实例采用声强幅度调节的方式进行声学调制，分别生成了第一调制语音序列和第二调制语音序列。如图3所示，第一调制语音序列是将语音序列中所有奇数位置音节的声强放大2倍，以“强弱强弱”的模式进行呈现；第二调制语音序列是将语音序列中所有偶数位置音节的声强放大2倍，以“弱强弱强”的模式进行呈现。第一调制语音序列和第二调制语音序列的强弱音节都是交替呈现的，声学节奏均为2赫兹。但是，由于第一调制语音序列和第二调制语音序列放大了不同位置音节的声强，使得语音序列的声学节奏相差250毫秒，因此，第一调制语音序列和第二调制语音序列在2赫兹的声学节奏上会形成180°的相位差。
脑电信号采集模块，使用音频输入设备向被测试者呈现第一调制语音序列和第二调制语音序列，使用脑电记录设备同步采集被测试者的脑电信号。
在本实例中，通过入耳式耳机向被测试者呈现第一调制语音序列和第二调制语音序列，在呈现语音序列的时间内同步采集被测试者的脑电信号。脑电采集设备使用Biosemi脑电记录仪对被测试者的头皮脑电信号进行采集。脑电记录仪配备64个脑电传感电极和2个乳突参考电极。其中，64个脑电传感电极通过脑电帽依附于被测试者的头皮处进行信号采集，2个乳突参考电极通过电极贴片依附于被测试者的左右耳后乳突位置进行信号采集。Biosemi的脑电记录仪的采样频率为500赫兹，即每秒钟采集500个数据点。
脑电信号分析模块，对脑电信号进行处理得到脑电响应频谱，分别提取所有调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位。
具体地，如图4所示，对脑电信号进行处理得到脑电响应频谱包括：
对脑电信号进行预处理：首先对脑电数据进行降采样以提升脑电分析效率，脑电数据被降采样至120赫兹。降采样后的脑电数据需减去参考信号，参考信号为2个乳突参考电极的平均信号或者所有脑电传感电极的平均信号。然后通过带通滤波的方式对脑电数据进行降噪，去除低频漂移、工频干扰等噪声以提升脑电数据信噪比。选择FIR通滤波器对脑电数据进行滤波，通带范围为0.5至30赫兹。最后，将处理后的有效脑电数据进行分段平均，被测试者对一种调制语音的脑电数据被划分为36段，每段7秒，然后对36段脑电数据xi(n)进行叠加平均，以提高信号的信噪比。叠加平均的公式为：
对于第一调制语音序列和第二调制语音序列，将预处理后的脑电数据做离散傅里叶变换，可以得到第一调制语音序列和第二调制语音序列对应的频谱响应图，其结果如图5所示。其中，图5中的（A）为母语者对应的脑电频谱图，图5中的（B）为非母语者对应的脑电频谱图。进一步提取被测试者对第一调制语音序列和第二调制语音序列的脑电响应频谱在2赫兹处的频谱相位角度。
离散傅里叶变换的公式为：
其中，N为脑电数据的采样点数，n为脑电数据的时域点序号（n的取值范围为[0,N-1]），m为脑电数据的频域点序号（m的取值范围为[0,N-1]）。
傅里叶变换公式可转换为直角坐标形式，用于提取频域点的相位，推导公式为：
其中，为虚数；
将直角坐标形式转换为复数形式，表达式如下：
式中，为在频率点m处的实部，/>为在频率点m处的虚部；
则脑电数据频域序号m点的相位为：
在本实例中，所述频域点m设置为词汇频率点。
言语认知评估结果获取模块，计算第一调制语音序列和第二调制语音序列对应的脑电响应相位之差，得到言语认知评估结果。
本实例向被测试者呈现了两种不同的调制语音。在声学属性上，由于两种调制语音的声学节奏以“强弱强弱”与“弱强弱强”的模式进行呈现，两种调制语音2赫兹声学节奏的相位差异为180°；在语言属性上，由于两种调制语音的语料都具有相同的双音节词汇结构，两种调制语音2赫兹词汇节奏的相位差异为0°。因此，通过分析被测试者对两种调制语音的脑电响应相位差即可评估其在当前语料难度下的言语认知能力。
计算脑电响应相位差的公式为：
其中，和/>分别为被测试者对两种调制语音的2赫兹脑电响应相位，/>的结果范围按相位周期被调节为[0,2π]。
根据被测试者对第一调制语音序列和第二调制语音序列的脑电响应相位差异可评估被测试者的言语认知能力包括：
若被测试者对两种调制语音的脑电响应在2赫兹处的相位差接近180°，则说明被测试者无法有效理解语音中的语言信息，大脑的神经响应主要跟踪语音中的声学节奏；若被测试者对两种调制语音的脑电响应在2赫兹处的相位差接近0°，则说明被测试者能够理解语音中的语言信息，大脑的神经响应主要跟踪语音中的词汇节奏。
在本实例中，36位母语者与36位非母语者对两种调制语音的脑电响应相位差异如图6所示。如图6中的（A）所示，母语者的脑电响应相位差均接近0°，所有母语者的响应相位差小于90°，如图6中的（B）所示，非母语者的脑电响应相位差则接近180°，所有非母语者的响应相位差大于90°。
综上所述，该实施例表明，通过对被测试者的脑电数据分析，可以判断被测试者是否能够理解该语音中的语料，通过设计不同难度的语音材料，即可评估被测试者的言语认知水平。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (8)
1.一种基于语音调制和脑电信号的言语认知评估系统，其特征在于，所述系统包括：
语音序列生成模块，选择结构化语音材料并将结构化语音材料合成为语音序列，对语音序列进行调制得到若干种调制语音序列；其中，结构化语音材料中的词汇按预设的频率呈现，每一种调制语音序列间的词汇节奏相位相同、声学节奏相位不同；
脑电信号采集模块，使用音频输入设备向被测试者呈现所有调制语音序列，使用脑电记录设备同步采集被测试者的脑电信号；
脑电信号分析模块，对脑电信号进行处理得到脑电响应频谱，分别提取所有调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位；
言语认知评估结果获取模块，计算不同种调制语音序列对应的脑电响应相位之差，判定言语认知评估结果包括：
当不同种调制语音序列对应的脑电响应相位之差越接近0°时，则被测试者的大脑神经响应主要跟踪调制语音序列中的词汇节奏，表明被测试者的言语认知能力越强；
当不同种调制语音序列对应的脑电响应相位之差越接近调制语音序列的声学节奏之差时，则被测试者的大脑神经响应主要跟踪调制语音序列中的声学节奏，表明被测试者的言语认知能力越弱；
和/或，
计算不同种调制语音序列对应的脑电响应相位之差；
获取相位临界值；
当脑电响应相位之差小于相位临界值时，则被测试者的大脑神经响应主要跟踪调制语音序列中的词汇节奏；
当脑电响应相位之差大于相位临界值时，则被测试者的大脑神经响应主要跟踪调制语音序列中的声学节奏。
2.根据权利要求1所述的基于语音调制和脑电信号的言语认知评估系统，其特征在于，结构化语音材料中的多音节词汇以自定义预设的频率出现。
3.根据权利要求1所述的基于语音调制和脑电信号的言语认知评估系统，其特征在于，语音序列中每个音节的呈现时长相同；每个音节的呈现时长为100毫秒至1000毫秒。
4.根据权利要求1或2所述的基于语音调制和脑电信号的言语认知评估系统，其特征在于，对语音序列进行调制得到若干调制语音序列包括：
对语音序列引入与词汇频率相同、相位不同的声学节奏，得到词汇节奏相位相同、声学节奏相位不同的若干种调制语音序列；
其中，声学节奏通过调制词汇音节的音调、声强、音色在内的人脑可感知的声学特征而产生。
5.根据权利要求1所述的基于语音调制和脑电信号的言语认知评估系统，其特征在于，对脑电信号进行处理得到脑电响应频谱包括：
对脑电信号进行预处理，记预处理后的脑电信号为x(n)，n为时域点序号；
对预处理后的脑电信号x(n)进行离散傅里叶变换，得到被测试者的脑电响应频谱，表达式如下：
式中，N为脑电数据的采样点数，m为频率点序号。
6.根据权利要求5所述的基于语音调制和脑电信号的言语认知评估系统，其特征在于，对脑电信号进行预处理包括：
对脑电信号进行降采样和带通滤波，并将不同种调制语音序列对应的脑电信号进行分组平均。
7.根据权利要求5所述的基于语音调制和脑电信号的言语认知评估系统，其特征在于，提取调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位包括：
将被测试者的脑电响应频谱X(m)的离散傅里叶变换式转换为直角坐标形式，表达式如下：
其中，j为虚数；
将直角坐标形式转换为复数形式，表达式如下：
X(m)＝Xreal(m)+j·Ximag(m)
式中，Xreal(m)为在频率点m处的实部，Ximag(m)为在频率点m处的虚部；
提取脑电响应频谱在频域点m处的脑电响应相位，表达式如下：
提取词汇频率脑电响应相位时，频域点m设置为词汇频率点。
8.根据权利要求1所述的基于语音调制和脑电信号的言语认知评估系统，其特征在于，获取相位临界值包括：
计算不同种调制语音序列之间的声学节奏相位差Δβ，表达式如下：
Δβ＝βp-βq
式中，βp表示第p种调制语音序列对应的声学节奏相位，βq表示第q种调制语音序列对应的声学节奏相位；
将不同种调制语音序列的声学节奏相位差Δβ与词汇节奏相位差的均值作为相位临界值α，其中，词汇节奏的相位差为0°。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310552371.XA CN116269447B (zh) | 2023-05-17 | 2023-05-17 | 一种基于语音调制和脑电信号的言语认知评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310552371.XA CN116269447B (zh) | 2023-05-17 | 2023-05-17 | 一种基于语音调制和脑电信号的言语认知评估系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116269447A CN116269447A (zh) | 2023-06-23 |
| CN116269447B true CN116269447B (zh) | 2023-08-29 |
Family
ID=86801672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310552371.XA Active CN116269447B (zh) | 2023-05-17 | 2023-05-17 | 一种基于语音调制和脑电信号的言语认知评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116269447B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464729A (zh) * | 2009-01-05 | 2009-06-24 | 清华大学 | 基于听觉认知神经信号的自主意愿表达方法 |
| KR20100026426A (ko) * | 2008-08-29 | 2010-03-10 | 연세대학교 산학협력단 | 뇌파 기반 실시간 기능적 피질 연결성 모니터링 시스템 |
| CN102793540A (zh) * | 2012-06-14 | 2012-11-28 | 天津大学 | 一种视听认知事件相关电位实验范式的优化方法 |
| CN103815902A (zh) * | 2013-11-22 | 2014-05-28 | 刘志勇 | 基于脑电频域特征指标化算法的课堂教学评估系统及方法 |
| CN107468242A (zh) * | 2017-06-15 | 2017-12-15 | 北京师范大学 | 一种新型基于皮层脑电的功能定位系统 |
| CN109199410A (zh) * | 2018-06-28 | 2019-01-15 | 浙江大学 | 一种基于眼部运动的言语认知评估方法 |
| CN109288518A (zh) * | 2018-08-16 | 2019-02-01 | 北京薏然阳光电子技术有限公司 | 基于EEG和ERPs的脑认知神经功能测评系统及方法 |
| CN110353671A (zh) * | 2019-07-09 | 2019-10-22 | 杭州绎杰检测科技有限公司 | 一种基于视频调制和脑电信号的视觉注视位置测量方法 |
| CN110652294A (zh) * | 2019-09-16 | 2020-01-07 | 清华大学 | 基于脑电信号的创造力人格特质测量方法及装置 |
| CN111210838A (zh) * | 2019-12-05 | 2020-05-29 | 中国船舶工业综合技术经济研究院 | 一种言语认知能力的评价方法 |
| CN113143293A (zh) * | 2021-04-12 | 2021-07-23 | 天津大学 | 一种基于脑电源成像的连续语音包络神经夹带提取方法 |
| CN113274033A (zh) * | 2021-05-10 | 2021-08-20 | 燕山大学 | 基于脑肌电交叉频率耦合的运动功能监测管理方法 |
| CN113288171A (zh) * | 2021-05-20 | 2021-08-24 | 常州大学 | 基于脑电特征的adhd儿童认知功能监测系统 |
| WO2021203719A1 (zh) * | 2020-04-08 | 2021-10-14 | 江苏贝泰福医疗科技有限公司 | 结合脑电检测分析控制的声电刺激神经调控方法及装置 |
| CN113712507A (zh) * | 2020-05-25 | 2021-11-30 | 中国科学院脑科学与智能技术卓越创新中心 | 评估意识障碍程度的系统、恢复倾向预测方法和存储介质 |
| WO2022012653A1 (zh) * | 2020-07-17 | 2022-01-20 | 香港中文大学 | 预测婴幼儿的语言发展和交流能力的方法和工具 |
| CN114305333A (zh) * | 2021-12-16 | 2022-04-12 | 广州大学 | 一种基于脑网络和深度学习的脑电信号识别方法 |
| CN114376524A (zh) * | 2022-01-07 | 2022-04-22 | 浙江大学医学院附属第一医院 | 基于语音统计学习的意识评估方法及系统 |
| CN115153563A (zh) * | 2022-05-16 | 2022-10-11 | 天津大学 | 基于eeg的普通话听觉注意解码方法及装置 |
| CN115191950A (zh) * | 2022-08-02 | 2022-10-18 | 南方科技大学 | 认知功能评估方法、装置、电子设备及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| PL369935A1 (en) * | 2001-06-07 | 2005-05-02 | Lawrence Farwell | Method and apparatus for brain fingerprinting, measurement, assessment and analysis of brain function |
| US20140323899A1 (en) * | 2006-12-22 | 2014-10-30 | Neuro-Insight Pty. Ltd. | Psychological Evaluation and Methods of Use |
| WO2010147913A1 (en) * | 2009-06-15 | 2010-12-23 | Brain Computer Interface Llc | A brain-computer interface test battery for the physiological assessment of nervous system health |
| US20120022392A1 (en) * | 2010-07-22 | 2012-01-26 | Washington University In St. Louis | Correlating Frequency Signatures To Cognitive Processes |
| TWI581818B (zh) * | 2015-10-30 | 2017-05-11 | 國立中央大學 | 頭顱電刺激的系統及方法 |
| US10799186B2 (en) * | 2016-02-12 | 2020-10-13 | Newton Howard | Detection of disease conditions and comorbidities |
| US11241185B2 (en) * | 2018-02-26 | 2022-02-08 | Korea University Research And Business Foundation | Resonating device and method of individual EEG cognitive frequency, recording medium for performing the method |
| CN109656365B (zh) * | 2018-12-19 | 2021-03-30 | 东南大学 | 一种基于实时闭环振动刺激增强的脑机接口方法及系统 |
-
2023
- 2023-05-17 CN CN202310552371.XA patent/CN116269447B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100026426A (ko) * | 2008-08-29 | 2010-03-10 | 연세대학교 산학협력단 | 뇌파 기반 실시간 기능적 피질 연결성 모니터링 시스템 |
| CN101464729A (zh) * | 2009-01-05 | 2009-06-24 | 清华大学 | 基于听觉认知神经信号的自主意愿表达方法 |
| CN102793540A (zh) * | 2012-06-14 | 2012-11-28 | 天津大学 | 一种视听认知事件相关电位实验范式的优化方法 |
| CN103815902A (zh) * | 2013-11-22 | 2014-05-28 | 刘志勇 | 基于脑电频域特征指标化算法的课堂教学评估系统及方法 |
| CN107468242A (zh) * | 2017-06-15 | 2017-12-15 | 北京师范大学 | 一种新型基于皮层脑电的功能定位系统 |
| CN109199410A (zh) * | 2018-06-28 | 2019-01-15 | 浙江大学 | 一种基于眼部运动的言语认知评估方法 |
| CN109288518A (zh) * | 2018-08-16 | 2019-02-01 | 北京薏然阳光电子技术有限公司 | 基于EEG和ERPs的脑认知神经功能测评系统及方法 |
| CN110353671A (zh) * | 2019-07-09 | 2019-10-22 | 杭州绎杰检测科技有限公司 | 一种基于视频调制和脑电信号的视觉注视位置测量方法 |
| CN110652294A (zh) * | 2019-09-16 | 2020-01-07 | 清华大学 | 基于脑电信号的创造力人格特质测量方法及装置 |
| CN111210838A (zh) * | 2019-12-05 | 2020-05-29 | 中国船舶工业综合技术经济研究院 | 一种言语认知能力的评价方法 |
| WO2021203719A1 (zh) * | 2020-04-08 | 2021-10-14 | 江苏贝泰福医疗科技有限公司 | 结合脑电检测分析控制的声电刺激神经调控方法及装置 |
| CN113712507A (zh) * | 2020-05-25 | 2021-11-30 | 中国科学院脑科学与智能技术卓越创新中心 | 评估意识障碍程度的系统、恢复倾向预测方法和存储介质 |
| WO2022012653A1 (zh) * | 2020-07-17 | 2022-01-20 | 香港中文大学 | 预测婴幼儿的语言发展和交流能力的方法和工具 |
| CN113143293A (zh) * | 2021-04-12 | 2021-07-23 | 天津大学 | 一种基于脑电源成像的连续语音包络神经夹带提取方法 |
| CN113274033A (zh) * | 2021-05-10 | 2021-08-20 | 燕山大学 | 基于脑肌电交叉频率耦合的运动功能监测管理方法 |
| CN113288171A (zh) * | 2021-05-20 | 2021-08-24 | 常州大学 | 基于脑电特征的adhd儿童认知功能监测系统 |
| CN114305333A (zh) * | 2021-12-16 | 2022-04-12 | 广州大学 | 一种基于脑网络和深度学习的脑电信号识别方法 |
| CN114376524A (zh) * | 2022-01-07 | 2022-04-22 | 浙江大学医学院附属第一医院 | 基于语音统计学习的意识评估方法及系统 |
| CN115153563A (zh) * | 2022-05-16 | 2022-10-11 | 天津大学 | 基于eeg的普通话听觉注意解码方法及装置 |
| CN115191950A (zh) * | 2022-08-02 | 2022-10-18 | 南方科技大学 | 认知功能评估方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116269447A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Krizman et al. | Analyzing the FFR: A tutorial for decoding the richness of auditory function | |
| Herff et al. | Generating natural, intelligible speech from brain activity in motor, premotor, and inferior frontal cortices | |
| Russo et al. | Brainstem responses to speech syllables | |
| Dejonckere | Perceptual and laboratory assessment of dysphonia | |
| Clinard et al. | Neural representation of dynamic frequency is degraded in older adults | |
| US20080045805A1 (en) | Method and System of Indicating a Condition of an Individual | |
| Sjerps et al. | Listening to different speakers: On the time-course of perceptual compensation for vocal-tract characteristics | |
| Toiviainen et al. | Timbre similarity: Convergence of neural, behavioral, and computational approaches | |
| CN109199410B (zh) | 一种基于眼部运动的言语认知评估方法 | |
| Stone Jr et al. | Vocal change associated with the use of atypical pitch and intensity levels | |
| Dittinger et al. | Testing the influence of musical expertise on novel word learning across the lifespan using a cross-sectional approach in children, young adults and older adults | |
| Omote et al. | Successful non-native speech perception is linked to frequency following response phase consistency | |
| Andermann et al. | Early cortical processing of pitch height and the role of adaptation and musicality | |
| Bonacina et al. | Rhythm, reading, and sound processing in the brain in preschool children | |
| Schwab et al. | Working memory and not acoustic sensitivity is related to stress processing ability in a foreign language: An ERP study | |
| CN116421187B (zh) | 一种基于言语层级序列的注意力缺陷多动障碍的分析系统 | |
| Caviness et al. | Analysis of high-frequency electroencephalographic-electromyographic coherence elicited by speech and oral nonspeech tasks in Parkinson’s disease | |
| Abrams et al. | Rapid acoustic processing in the auditory brainstem is not related to cortical asymmetry for the syllable rate of speech | |
| CN116269447B (zh) | 一种基于语音调制和脑电信号的言语认知评估系统 | |
| Pettigrew et al. | Review The relationship between the mismatch negativity (MMN) and psycholinguistic models of spoken word processing | |
| Wig et al. | Matching the Mismatch: The interaction between perceptual and conceptual cues in bilinguals’ speech perception | |
| CN109907762A (zh) | 一种测量听觉神经表征精准性的系统 | |
| CN115227264A (zh) | 一种用克拉尼图形展示脑波信号的方法 | |
| Kurteff et al. | Speaker-induced suppression in EEG during a naturalistic reading and listening task | |
| Ott et al. | Processing of self-initiated speech-sounds is different in musicians |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |