CN113143293B - 一种基于脑电源成像的连续语音包络神经夹带提取方法 - Google Patents

Abstract

本发明公开了一种基于脑电源成像的连续语音包络神经夹带提取方法，包括如下步骤：编制语音信号并提取语音信号包络；采集被试在语音信号刺激下的脑电数据；对采集的脑电数据进行预处理；对多个被试的脑电数据采用时空对准方法，提取电极空间共同神经响应；计算提取的电极空间共同神经响应在脑源空间的映射；基于mTRF算法由语音包络预测源空间共同神经响应；计算源空间上连续语音包络的神经夹带；由预测得到的源空间共同神经响应，与计算得到的共同神经响应在脑源空间的映射间的皮尔逊相关系数，评估神经夹带。本发明结合共同神经反应提取和源重构方法，便于在源空间中分析脑电和语音的耦合效应，分析连续语音感知和理解过程中人脑的工作机制。

Description

一种基于脑电源成像的连续语音包络神经夹带提取方法

技术领域

本发明涉及一种脑电分析领域，特别涉及一种基于脑电源成像的连续语音包络神经夹带提取方法。

背景技术

目前，近年来，采用自然语音故事作为刺激来研究语言处理已成为越来越多科研人员的研究方向。而语音幅度包络包含有关韵律、语速、语调和语音感知所必需的重要信息。在复杂环境中，神经振荡对特定节奏的选择性注意会影响感觉、运动和认知过程。当人们收听语音时，他们双侧听觉皮层的皮层振荡活动和部分高阶脑区的皮层振荡活动会在delta和theta频带(1-8Hz)与语音包络保持恒定的相位关系。这种现象被称为“语音-大脑夹带”效应，已经通过脑电图(EEG)、立体定向脑电图(SEEG)和脑磁图(MEG)记录方法可靠地观察到。在神经夹带(neural entrainment)研究中，刺激通常是演讲或故事中一段长的片段(大约30秒到180秒)，并且只向受试者呈现一次，以减小启动效应。虽然EEG是一种低成本、易于采用并且广泛应用于神经学研究的技术，但与SEEG和MEG相比，基于EEG数据的神经夹带分析通常局限于电极空间。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种基于脑电源成像的连续语音包络神经夹带提取方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于脑电源成像的连续语音包络神经夹带提取方法，包括如下步骤：

步骤1，编制语音信号，并提取语音信号包络；

步骤2，采集被试在编制的语音信号刺激下的脑电数据；

步骤3，对采集的脑电数据进行预处理；

步骤4，对多个被试的脑电数据采用时空对准方法，提取电极空间共同神经响应；

步骤5，计算提取的电极空间共同神经响应在脑源空间的映射；

步骤6，基于mTRF算法由语音包络预测源空间共同神经响应；

步骤7，计算源空间上连续语音包络的神经夹带；由步骤6预测得到的源空间共同神经响应，与步骤5计算得到的共同神经响应在脑源空间的映射间的皮尔逊相关系数，评估神经夹带。

进一步地，步骤1中，编制语音信号的方法为：将多个故事的录音切分成若干段，每段录音包含一个完整的情节片段；将一个故事中的若干段录音按时间顺序排列编制为一组语音信号。

进一步地，步骤1中，提取语音信号包络的方法具体包括以下分步骤：

步骤1-1，采用伽马通滤波器组来将语音信号分成n个子带，每个子带间隔1个等效矩形带宽，并去除子带的起始延迟，对子带的末端进行零填充；

步骤1-2，设子带信号为x_n，将其变换为|x_n|^0.6来提取子带包络，对n个子带包络求均值，以获得语音信号包络。

进一步地，n取28～64。

进一步地，步骤2中，被试分为两组，一组输入的语音信号按时间轴正向播放；另一组输入的语音信号按时间轴反向播放；所有语音信号刺激均为单声道，采样率为10.1～44.1kHz，刺激幅度归一化为具有相同的均方根值。

进一步地，所述步骤3包括以下分步骤：

步骤3-1，对采集到的脑电数据进行降采样以及滤波处理；

步骤3-2，采用伪影子空间重建方法检测并去除脑电数据中的高振幅的伪影，并用球面样条插值计算的估计值替换不良通道的数据，并将所有脑电通道重参考到平均参考；

步骤3-3，采用主成分分析方法将脑电数据降维至数据本身的秩，将具有共享分量的自适应混合独立成分分析方法与独立成分标签方法相结合，自动识别和去除伪影成分。

进一步地，步骤3-1中，对采集到的脑电数据降采样至200～250Hz，进行0.1～2Hz高通滤波去除线性漂移，以及30～40Hz低通滤波去除工频干扰和高频噪声。

进一步地，所述步骤4具体包括以下分步骤：

步骤4-1，采用典型相关分析方法提取每个被试脑电数据与对应语音包络最相关的子空间；

步骤4-2，对步骤4-1得到的脑电子空间数据，将相同语音包络对应的多个被试数据进行叠加平均，并再次采用典型相关分析方法提取与对应语音包络最相关的子空间。

进一步地，所述步骤5具体包括以下分步骤：

步骤5-1，采用有限元法计算采用ICBM152标准模板的大脑正向模型；

步骤5-2，采用加权最小范数估计与标准低分辨率电磁断层成像方法计算大脑逆向模型，且源偶极子方向被约束为垂直于大脑皮质表面；

步骤5-3，根据Desikan-Killiany图谱将大脑皮质表面分割成68个解剖区域，提取每个区域内偶极子信号的平均值其作为代表性时间序列。

进一步地，所述步骤6包括以下分步骤：

步骤6-1，对于每种条件，每个试次都有一个单独的模型，其余试次作为训练集；

步骤6-2，通过对每个训练集中单个试次的模型进行平均来获得的对应测试试次的模型。

本发明具有的优点和积极效果是：本发明通过采用降采样以及滤波处理方法对脑电信号进行去噪处理，并结合多被试共同神经反应提取和源重构方法，提高了脑电信号的信噪比，减小了个体差异对结果的影响，便于在源空间中分析脑电和语音的耦合效应，以及更便于分析连续语音感知和理解过程中人脑的工作机制。

附图说明

图1为本发明的一种工作流程图；

图2为本发明优选实施例的故事语音条件与时间倒转语音条件的电极空间神经夹带对比图；

图3为本发明优选实施例的故事语音条件与时间倒转语音条件的源空间神经夹带对比图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：

请参见图1，一种基于脑电源成像的连续语音包络神经夹带提取方法，包括如下步骤：

步骤1，编制语音信号，并提取语音信号包络；

步骤2，采集被试在编制的语音信号刺激下的脑电数据；

步骤3，对采集的脑电数据进行预处理；

步骤4，对多个被试的脑电数据采用时空对准方法，提取电极空间共同神经响应；

步骤5，计算提取的电极空间共同神经响应在脑源空间的映射；

步骤6，基于mTRF算法由语音包络预测源空间共同神经响应；

步骤7，计算源空间上连续语音包络的神经夹带；由步骤6预测得到的源空间共同神经响应，与步骤5计算得到的共同神经响应在脑源空间的映射间的皮尔逊相关系数，评估神经夹带。

mTRF算法是指多元时间响应函数，mTRF为多元时间响应函数(MultivariateTemporal Response Function)的英文缩写，本发明的多元时间响应函数，引用于期刊：Crosse M J,Di L,Adam B,et al.The Multivariate Temporal Response Function(mTRF)Toolbox:A MATLAB Toolbox for Relating Neural Signals to ContinuousStimuli[J].Frontiers in Human Neuroscience,2016,10.

上述引用来源的中文释义：《人类神经科学前沿》,2016年10月版，论文题目：多元时间响应函数(mTRF)工具箱：一个将神经信号与连续刺激相关联的MATLAB工具箱，作者：Crosse M J,Di L,Adam B,等。

多元时间响应函数用于建模多变量刺激反应数据，适用于MEG、EEG、sEEG、ECoG和EMG等神经生理学数据。它可以用来建模神经元群体与自然场景和声音等动态感觉输入之间的函数关系，或者构建用于重建刺激特征和开发脑机接口(BCIs)等实时应用的神经解码器。

进一步地，步骤1中，编制语音信号的方法可为：将多个故事的录音切分成若干段，每段录音包含一个完整的情节片段；将一个故事中的若干段录音按时间顺序排列编制为一组语音信号。

进一步地，步骤1中，提取语音信号包络的方法具体可包括以下分步骤：

步骤1-1，采用伽马通滤波器组来将语音信号分成n个子带，每个子带间隔1个等效矩形带宽，并去除子带的起始延迟，对子带的末端进行零填充；

步骤1-2，设子带信号为x_n，将其变换为|x_n|^0.6来提取子带包络，对n个子带包络求均值，以获得语音信号包络。

上述n可取28～64。

进一步地，步骤2中，被试可分为两组，一组输入的语音信号按时间轴正向播放；另一组输入的语音信号按时间轴反向播放；所有语音信号刺激均可为单声道，采样率为10.1～44.1kHz，刺激幅度可归一化为具有相同的均方根值。

进一步地，所述步骤3可包括以下分步骤：

步骤3-1，可对采集到的脑电数据进行降采样以及滤波处理；

步骤3-2，可采用伪影子空间重建方法检测并去除脑电数据中的高振幅的伪影，并用球面样条插值计算的估计值替换不良通道的数据，并将所有脑电通道重参考到平均参考；

步骤3-3，可采用主成分分析方法将脑电数据降维至数据本身的秩，将具有共享分量的自适应混合独立成分分析方法与独立成分标签方法相结合，自动识别和去除伪影成分。

进一步地，步骤3-1中，可对采集到的脑电数据降采样至200～250Hz，进行0.1～2Hz高通滤波去除线性漂移，以及30～40Hz低通滤波去除工频干扰和高频噪声。

进一步地，所述步骤4具体可包括以下分步骤：

步骤4-1，可采用典型相关分析方法提取每个被试脑电数据与对应语音包络最相关的子空间；

步骤4-2，对步骤4-1得到的脑电子空间数据，可将相同语音包络对应的多个被试数据进行叠加平均，并可再次采用典型相关分析方法提取与对应语音包络最相关的子空间。

进一步地，所述步骤5具体可包括以下分步骤：

步骤5-1，可采用有限元法计算采用ICBM152标准模板的大脑正向模型；

步骤5-2，可采用加权最小范数估计与标准低分辨率电磁断层成像方法计算大脑逆向模型，且源偶极子方向被约束为垂直于大脑皮质表面；

步骤5-3，可根据Desikan-Killiany图谱将大脑皮质表面分割成68个解剖区域，提取每个区域内偶极子信号的平均值其作为代表性时间序列。

进一步地，所述步骤6可包括以下分步骤：

步骤6-1，对于每种条件，每个试次都有一个单独的模型，其余试次作为训练集；

步骤6-2，可通过对每个训练集中单个试次的模型进行平均来获得的对应测试试次的模型。

下面以本发明的一个优选实施例来进一步说明本发明的工作流程及工作原理：

本发明优选实施例是在Windows 10(64位)操作系统中Matlab R2020b仿真环境下进行的。

本发明采用的脑电数据来自天津大学智能与计算学部天津市认知计算与应用重点实验室。脑电数据由128通道的NeuroScan Synamps系统以1000Hz的采样率记录。电极按10-5国际标准导联系统放置，其中6个通道用于记录垂直眼电图(VEOG)、水平眼电图(HEOG)和两个乳突信号。在数据采集过程中，每个电极的阻抗都保持在10kΩ以下。

共21名健康、右利手被试，均无听力障碍或神经性障碍。实验由48个试次组成，每个试次长度为60秒左右。试次分为两组，每组由24个试次组成。一组为正常语序播放的音频，由三篇微型小说切分而成；其中每个试次都是一个完整的情节片段，且没有重复的试次，由一名中国男性播音员在隔音室内录制。另一组是同样的故事，但以时间倒转的方式播放，并作为对比来评估对语音包络的神经夹带是否反映了语音的可懂度。我们以不影响故事理解的方式将48个试次顺序打乱。所有语音刺激均为单声道，采样率为44.1kHz，刺激幅度归一化为具有相同的均方根(RMS)值。所有语音片段也被修改以将静默间隙截断到小于0.5s。

实验是在电磁屏蔽的隔音室内进行的，通过音特美ER-2塞入式耳机将语音刺激以约65dB的音量呈现给被试。在每一个试次中，被试被指示将视线专注于屏幕中央的十字准线标记，并最大限度地减少眨眼、头部移动和其他身体动作。每个试次前有5秒基线期，受试者每10个试次有5分钟的休息时间。每个试次结束后，受试者被要求立即回答关于故事内容的单项选择题，以确保他们专注于听觉任务。

基于上述脑电数据集，本发明具体实施步骤如下：

(1)脑电数据预处理；

(2)语音信号包络提取；

(3)基于多被试时空超对准算法提取电极空间共同神经响应；

(4)计算电极空间神经响应在脑源空间的映射；

(5)基于mTRF计算由语音包络预测的源空间共同神经响应；

(6)计算源空间上连续语音包络的神经夹带，神经夹带由步骤(5)中语音包络预测的共同神经响应与步骤(4)中共同神经反应的源映射间的皮尔逊相关系数评估。

所述步骤(1)中，包括以下分步骤：

A1,对采集到的的脑电数据降采样至250Hz，进行1Hz高通滤波去除线性漂移，40Hz低通滤波去除工频干扰和高频噪声；

A2,采用伪影子空间重建(artifact subspace reconstruction)方法检测并去除高振幅的非脑“伪影”活动(由眨眼、肌肉活动、电极移动等产生)，用球面样条插值计算的估计值替换不良通道，并将所有脑电通道重参考到平均参考；

A3,采用主成分分析(PCA)将脑电数据降维至数据本身的秩，将具有共享分量的自适应混合独立成分分析(AMICA)与独立成分标签(IC Label)相结合，自动识别和去除伪影独立成分(也是由眨眼、肌肉活动、电极移动等产生)。

所述步骤(2)中，包括以下分步骤：

B1,采用伽马通滤波器组来将语音信号分成64个子带，每个子带间隔1个等效矩形带宽(ERB)，中心频率从30Hz至15kHz，并去除子带的起始延迟，对子带的末端进行零填充；

B2,设子带信号为x_n，将其变换为|x_n|^0.6来提取包络，得到的64个子带包络被平均以获得语音信号包络。

所述步骤(3)中，包括以下分步骤：

C1,采用典型相关分析(CCA)提取每个被试脑电数据与对应语音包络最相关的子空间；

C2,基于步骤C1得到的脑电子空间数据，将相同语音包络对应的多个被试数据叠加平均，并再次采用典型相关分析提取与对应语音包络最相关的子空间。

所述步骤(4)中，包括以下分步骤：

D1,采用有限元法(FEM)计算采用ICBM152模板的正向模型；

D2,采用加权最小范数估计(wMNE)与标准低分辨率电磁断层成像(sLORETA)计算逆模型，且源偶极子方向被约束为垂直于大脑皮质表面；

D3,根据Desikan-Killiany图谱将大脑皮质表面分割成68个解剖区域，提取每个区域内偶极子信号的平均值其作为代表性时间序列。

所述步骤(5)中，包括以下分步骤：

E1,对于每种条件，每个试次都有一个单独的模型，其余23个试次作为训练集。

E2,通过对每个训练集中单个试次的模型进行平均来获得的对应测试试次的模型。

如图2所示，故事语音条件与时间倒转语音条件的电极空间神经夹带对比图，我们可以看出故事语音与时间倒转语音的神经夹带模式显著不同。在故事语音条件下的神经夹带偏向于顶叶电极，而时间倒转语音条件下的神经夹带偏向于双耳附近的听觉区域电极，并且两者在额叶电极上显示了分布不同的神经夹带。

如图3所示，故事语音条件与时间倒转语音条件的源空间神经夹带对比图，我们可以看出故事语音与时间倒转语音的神经夹带模式显著不同。在故事语音条件下的神经夹带偏向于言语理解和高级认知区，而时间倒转语音条件下的神经夹带偏向于听觉处理区。

以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (5)

1.一种基于脑电源成像的连续语音包络神经夹带提取方法，其特征在于，包括如下步骤：

步骤1，编制语音信号，并提取语音信号包络；

步骤2，采集被试在编制的语音信号刺激下的脑电数据；

步骤3，对采集的脑电数据进行预处理；

步骤4，对多个被试的脑电数据采用时空对准方法，提取电极空间共同神经响应；

步骤5，计算提取的电极空间共同神经响应在脑源空间的映射；

步骤6，基于mTRF算法由语音包络预测源空间共同神经响应；

步骤7，计算源空间上连续语音包络的神经夹带；由步骤6预测得到的源空间共同神经响应，与步骤5计算得到的共同神经响应在脑源空间的映射间的皮尔逊相关系数，评估神经夹带；

步骤1中，编制语音信号的方法为：将多个故事的录音切分成若干段，每段录音包含一个完整的情节片段；将一个故事中的若干段录音按时间顺序排列编制为一组语音信号；

步骤1中，提取语音信号包络的方法具体包括以下分步骤：

步骤1-1，采用伽马通滤波器组来将语音信号分成n个子带，每个子带间隔1个等效矩形带宽，并去除子带的起始延迟，对子带的末端进行零填充；

步骤1-2，设子带信号为x_n，将其变换为|x_n|^0.6来提取子带包络，对n个子带包络求均值，以获得语音信号包络；

所述步骤3包括以下分步骤：

步骤3-1，对采集到的脑电数据进行降采样以及滤波处理；

步骤3-2，采用伪影子空间重建方法检测并去除脑电数据中的高振幅的伪影，并用球面样条插值计算的估计值替换不良通道的数据，并将所有脑电通道重参考到平均参考；

步骤3-3，采用主成分分析方法将脑电数据降维至数据本身的秩，将具有共享分量的自适应混合独立成分分析方法与独立成分标签方法相结合，自动识别和去除伪影成分；

所述步骤4具体包括以下分步骤：

步骤4-1，采用典型相关分析方法提取每个被试脑电数据与对应语音包络最相关的子空间；

步骤4-2，对步骤4-1得到的脑电子空间数据，将相同语音包络对应的多个被试数据进行叠加平均，并再次采用典型相关分析方法提取与对应语音包络最相关的子空间；

所述步骤5具体包括以下分步骤：

步骤5-1，采用有限元法计算采用ICBM152标准模板的大脑正向模型；

步骤5-2，采用加权最小范数估计与标准低分辨率电磁断层成像方法计算大脑逆向模型，且源偶极子方向被约束为垂直于大脑皮质表面；

步骤5-3，根据Desikan-Killiany图谱将大脑皮质表面分割成68个解剖区域，提取每个区域内偶极子信号的平均值其作为代表性时间序列。

2.根据权利要求1所述的基于脑电源成像的连续语音包络神经夹带提取方法，其特征在于，n取28～64。

3.根据权利要求1所述的基于脑电源成像的连续语音包络神经夹带提取方法，其特征在于，步骤2中，被试分为两组，一组输入的语音信号按时间轴正向播放；另一组输入的语音信号按时间轴反向播放；所有语音信号刺激均为单声道，采样率为10.1～44.1kHz，刺激幅度归一化为具有相同的均方根值。

4.根据权利要求1所述的基于脑电源成像的连续语音包络神经夹带提取方法，其特征在于，步骤3-1中，对采集到的脑电数据降采样至200～250Hz，进行0.1～2Hz高通滤波去除线性漂移，以及30～40Hz低通滤波去除工频干扰和高频噪声。

5.根据权利要求1所述的基于脑电源成像的连续语音包络神经夹带提取方法，其特征在于，所述步骤6包括以下分步骤：

步骤6-1，对于每种条件，每个试次都有一个单独的模型，其余试次作为训练集；

步骤6-2，通过对每个训练集中单个试次的模型进行平均来获得的对应测试试次的模型。

Images