CN104688222A - 基于脑电信号的音色合成装置 - Google Patents

Abstract

本发明提供一种基于脑电信号的音色合成装置。该装置包括：刺激设备，配置为生成针对用户的、预定频率的刺激信号；脑电采集设备，配置为采集所述用户接收所述刺激信号后所生成的脑电信号并将所采集的脑电信号进行模数转换；处理器，配置为获得经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度，并根据所述基频和所述谐波幅度计算基频和谐波幅度比；以及合成设备，配置为根据所述基频和谐波幅度比来合成音色。本装置所提供的音色可以用来播放任意声音，如果播放音乐，基本不会破坏原有作品的音乐性。因此，显著提升了用户体验。

Description

基于脑电信号的音色合成装置

技术领域

本发明涉及生物医学工程领域，具体地，涉及一种基于脑电信号的音色合成装置。

背景技术

现有的生物反馈系统通常进行以下操作：1、测量某种生理信号，例如心电、脑电、肌电等，并提取其中与某些特定生理心理活动有关的特征；2、将这些特征或者它们的变动性映射为某种视觉、听觉或者触觉刺激；3、用户接受刺激后通常会做出反应，将自己的心理和生理状态调整到某个状态。在这类系统中，生理信号特征提取和映射算法是十分关键的技术。

对于将脑电(EEG)信号转换为特定声音的方案主要有以下一些。

将脑电信号直接音频翻译。具体地，将脑电信号的波形视为声波进行播放。但是，因为脑电信号的主要频率在30Hz以下，十分接近或低于人耳的听阈(20-20KHz)，因此需要在频域乘上合适的系数，将其频率提高到人类可以听到的范围。

将脑电信号的参数映射为声音的参数。这种方法利用脑电信号的原始值或者特征参数来控制声音或音乐合成的参数。一些方法中，首先利用单道脑波信号参数与音乐参数的映射，得到单道音乐，然后通过节拍滤波、调式滤波等步骤得到多声部合奏音乐。一些方法中，将脑电特定参数映射为声音的音高。一些方法中，用不同通道、不同频段的脑电信号能量调制出来不同的音符的能量，以产生音乐。例如，采用三个通道的脑电信号(CzC3C4)，每个通道的脑电信号采用数字滤波器滤成多个频段。对于低频段的成分，首先计算波形的峰值，然后计算每一个峰值与之前的谷值的差值。两个相邻峰值的时间间隔的倒数被定义为“实时频率”。对于高频段的成分，求其实时功率。该例中所使用的MIDI序列器包含11种声音。其中声音1对应最低频段的成分，其幅度调制音高。声音2到7对应左右两边电极(C3、C4)的中频段的成分，实时频率调制音高，峰值调制速度。声音8到11对应左右两边电极(C3、C4)高频段成分，实时功率调制音高。一些方法中，提出了根据自发脑电信号的幅度、相位等变化调节音乐的和弦等，以调节音乐的风格(flavor)。

通过脑电信号调制声音出现频率。一些方法中，采用重复视觉刺激，根据诱发产生的脑电电位调节啪嗒声出现的频率，此频率在4到20次每秒间变化。一些方法中，根据某一频段脑电信号的特征生成等时间间隔的信号作为反馈。

现有的上述基于脑电信号的声音合成方法和装置都试图将包含某些特定生理信息的脑电信号转化为声音，作为反馈信息向用户播放。但是，其所生成的声音非常不悦耳，甚至更接近杂乱的噪声。用户如果长期倾听这样的声音，容易感到疲劳和烦躁。

发明内容

为了至少部分地解决上述技术问题，根据本发明的一个方面，提供一种基于脑电信号的音色合成装置，包括：

刺激设备，配置为生成针对用户的、预定频率的刺激信号；

脑电采集设备，配置为采集所述用户接收所述刺激信号后所生成的脑电信号并将所采集的脑电信号进行模数转换；

处理器，配置为获得经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度，并根据所述基频和所述谐波幅度计算基频和谐波幅度比；以及

合成设备，配置为根据所述基频和谐波幅度比来合成音色。

可选地，所述刺激设备是视觉刺激设备、听觉刺激设备和/或触觉刺激设备。

可选地，所述处理器进一步包括数字滤波器，其配置为对所述经模数转换的脑电信号进行滤波。可选地，所述数字滤波器进一步配置为利用典型相关分析方法对所述经模数转换的脑电信号进行空间滤波。

可选地，所述处理器进一步配置为利用直接频谱分析方法获得所述经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度。其中，所述直接频谱分析方法可以包括快速傅里叶变换方法。

可选地，所述处理器进一步配置为利用间接频谱分析方法获得所述经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度。其中，所述间接频谱分析方法可以包括利用回声状态网络的方法。

可选地，所述脑电采集设备进一步包括滤波电路，其配置为对所采集的脑电信号进行滤波。可选地，所述脑电采集设备进一步包括放大器，其配置为对所采集的脑电信号进行放大。

可选地，上述基于脑电信号的音色合成装置还包括：播放器，配置为根据所述音色播放声音。

本发明提出的上述基于脑电信号的音色合成装置可以播放任意声音，例如用户自己喜欢的音乐。相对于现有的装置，该装置不会破坏原有声音的音乐性，总之，有效提升了用户体验。

在发明内容中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

以下结合附图，详细说明本发明的优点和特征。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施方式及其描述，用来解释本发明的原理。在附图中，

图1是根据本发明一个具体实施例的基于脑电信号的音色合成装置的示意性框图。

具体实施方式

在下文的描述中，提供了大量的细节以便能够彻底地理解本发明。然而，本领域技术人员可以了解，如下描述仅涉及本发明的较佳实施例，本发明可以无需一个或多个这样的细节而得以实施。此外，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

脑电信号是通过放置在人头皮表面的电极采集到的生物电位，该信号通常十分微弱。脑电信号能够反映大脑的电活动情况。脑电信号包含许多成分。根据频率的不同，可将脑电信号分为alpha频段(8-15Hz)，beta频段(16-31Hz)，Gamma频段(32Hz以上)等几个成分。根据脑电诱发方式的不同，可将其分为自发脑电信号、事件相关电位、稳态诱发电位等。其中稳态诱发电位通常由指定频率的刺激诱发。稳态诱发电位通常具有较为稳定的频率特征，如稳态视觉诱发电位(SSVEP)响应通常会包含与刺激频率相同频率的基频信号和若干次谐波信号。每个个体的稳态视觉诱发响应的基频和谐波的能量比一般都不同，且它们的能量会受到不同生理或心理状态的调制。

音色(timbre)是指声音的感觉特性。不同乐器或者人具有不同音色。音色的不同取决于不同的泛音，每一种乐器、不同的人以及所有能发声的物体发出的声音，除了一个基音外，还有许多不同频率(振动的速度)的泛音伴随，正是这些泛音决定了其不同的音色。泛音是基音的整数倍频的谐波。通过调节谐波的能量及其比例，就可以产生各种不同的音色。现代电子技术的发展，使得人们几乎可以任意生成各种不同音色。许多专门的音乐合成器或软件都可以合成音色，并且利用特定音色演奏音乐。

本发明所提供的装置主要根据脑电信号合成期望的音色。用户可以根据自己的喜好选择声音，例如音乐。电子乐器或专门的软件可以用该音色播放任意乐曲。

图1示出了根据本发明一个具体实施例的基于脑电信号的音色合成装置100。如图1所示，该基于脑电信号的音色合成装置100包括刺激设备110、脑电采集设备120、处理器130和合成设备140。

刺激设备110配置为生成针对用户的、预定频率的刺激信号。预定频率的刺激信号可以使接收该刺激信号的用户的脑电中产生稳态诱发响应。其中，刺激信号的频率可以是提前任意指定的。

该刺激设备110可以是视觉刺激设备，例如显示器或者LED灯。可以用计算机控制显示器按照某一特定频率闪烁。或者，可以用单片机或嵌入式系统控制LED灯按照某一特定频率闪烁。

该刺激设备110也可以是听觉刺激装置，例如扬声器。可以用计算机、嵌入式系统或者单片机控制扬声器发出按照某一特定频率幅度调制的正弦信号。

该刺激设备110还可以是触觉刺激装置，例如振动器。可以用计算机、嵌入式系统或者单片机控制振动器按照某一特定频率振动。

视觉刺激设备、听觉刺激设备和触觉刺激设备实现简单，能够有效刺激用户。本领域普通技术人员可以理解，可以同时使用多个刺激设备来进行组合刺激，其中各个刺激设备所生成的刺激信号的频率不同，以获得合适的脑电信号。

脑电采集设备120配置为采集用户接收刺激信号后所生成的脑电信号并将所采集的脑电信号进行模数转换。

用户接收刺激设备110生成的预定频率的刺激信号后，会在脑电信号中产生相应的稳态诱发响应。脑电采集设备可以包括各种电极，以采集该脑电信号。在采集脑电信号时，将电极安放在用户头部的合适位置，例如，与头皮紧密接触，以准确采集用户的脑电信号。优选地，脑电采集单元包括非侵入式干电极。非侵入式干电极采用微针技术、超高输入阻抗放大器以及光电传感技术。相对于传统脑电采集电极，非侵入式干电极摆脱了对导电介质的依赖性，使用方便、便携、灵敏度高、不易受环境制约，从而保证所采集脑电信号准确性。

优选地，脑电采集设备可以包括滤波电路，其配置为对所采集的脑电信号进行滤波。滤波电路可以是单个滤波电路，也可以是多个滤波电路的组合。滤波电路可包括高通滤波电路、陷波电路和/或低通滤波电路。脑电信号微弱且伴有复杂的噪声影响，滤波电路的存在可以有效去除脑电信号中的噪声，避免所合成的声音有瑕疵。

优选地，脑电采集设备可以包括放大器，其配置为对所采集的脑电信号进行放大。如前所述，脑电信号非常微弱，其幅值大概在2到100微伏左右。放大器能够增加有效信号的强度。为了计算更方便，可以将脑电信号放大15000到20000倍。

处理器130配置为从脑电采集设备120获得经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度，并根据基频和谐波幅度计算基频和谐波幅度比。基频等于刺激信号的频率。

处理器130可以配置为利用直接频谱分析方法获得经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度。

直接频谱分析方法包括快速傅里叶变换方法。具体地，利用快速傅里叶变换得到脑电信号的频谱。可以从脑电信号的频谱中得到基频以及其谐波的幅度。计算基频与谐波幅度比。快速傅里叶变换方法应用到脑电信号中稳态诱发响应的频谱分析中来，其表达直观，计算简单，实现容易，成本低廉。

处理器130还可以配置为利用间接频谱分析方法获得经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度。

用一个函数s()来表示一个非线性系统。当输入一个正弦信号x(t)＝sin(2*pi*ft)，则输出y(t)＝s(x(t))。对y(t)作频谱分析，就可以得到输出在f、2f、3f等处的幅度，进而得到这些谐波与基波的能量比。

间接频谱分析方法包括利用回声状态网络(Echo state network)的方法。具体地，利用回声状态网络模拟大脑这一非线性系统的冲击响应函数。利用回声状态网络的方法能够逼真模拟复杂的非线性系统，其保证了正确计算基波和谐波幅度比。

假设采用频率为f的刺激信号x(t)作为刺激，可以得到脑电信号响应y(t)。根据这两个信号x(t)和y(t)，采用回声状态网络的方法估计出对应的系统s()。当期望演奏频率为f₁的声音的时候，则输入x’(t)＝sin(2*pi*f₁t)，得到y’(t)＝s(x’(t))。根据y’(t)可以得到基波和谐波的幅度比。

本领域普通技术人员可以理解，为了描述方便，上述示例中，谐波的频率是基频的整数倍。但是，其也可以是非整数倍频，例如1/2倍基频、1/4倍基频，2.5倍基频等。谐波的频率与基频倍数为任意实数，使得本发明所合成的音色更加丰富，提高用户体验。

可选地，处理器130可以包括数字滤波器，其配置为对经模数转换的脑电信号进行滤波。通过数字滤波器，可以有效地去除脑电中的噪声，使基波和谐波的幅度比计算更加准确。优选地，数字滤波器进一步配置为利用典型相关分析方法对所述经模数转换的脑电信号进行空间滤波。对于多通道脑电信号进行空间滤波，能够更高效地提取稳态诱发响应。

合成设备140配置为根据处理器130所计算的基频和谐波幅度比来合成音色。

合成设备140可以根据期望音色的基频和其幅度以及上述计算获得的基频和谐波幅度比来合成期望的音色。假设期望音色的基频为f₀，幅度为a₀，处理器130计算得到的基频与谐波幅度比为1：a₁:a₂:a₃...:...a_N，则生成的声音表达式为 $s\left(t\right)=a_0\sin (f_{0}t+\mathrm{\θ})+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i{a}_0\sin (i{f}_{0}t+\mathrm{\θ}).$

例如，根据现代乐器调音标准，中央C上方的A为440Hz。当期望播放A1时，就是播放基频为440Hz的正弦信号。当利用某乐器演奏A1时，除了基音，还有谐波，所以实际发出的声音的频率包含440*2Hz、440*3Hz……。这些谐波能量和基音能量的比值的差异造成了音色的差异。在本发明的基于脑电信号的音色合成装置中，谐波和基音的差异由脑电信号决定。当要利用上述基于脑电信号的音色合成装置播放A1时，不是简单播放频率为440Hz的正弦信号，而是播放表达式为a0*sin(2pi*440t)+a0*a1*sin(2pi*880t)+a0*a2*sin(2pi*1320t)…的声音。

合成设备140可以根据基于单个用户的脑电信号所计算的基频和谐波幅度比来合成音色。合成设备140还可以根据基于多个用户的脑电信号所计算的基频和谐波幅度比来合成音色。甚至，合成设备140还可以在根据基于单个或多个用户的脑电信号所计算的基频和谐波幅度比来合成音色同时，将其他声音也合成进来，例如乐器的声音。

本发明提出的上述基于脑电信号的音色合成装置100可以播放任意声音。对于音乐，其本身没有固定音色，乐谱只标记了音高、节奏、强度等信息。音色完全取决于演奏乐谱的乐器。利用本发明的上述装置，可以播放独具音色的音乐。相对于现有的装置，本发明的上述装置不会破坏原有声音的音乐性。此外，因为利用脑电信号的谐波与基波能量比来生成音色，映射关系简单，计算量小，上述装置可以实现实时合成音色。总之，有效提升了用户体验。

由于每个用户的脑电信号特征不同，所合成的声音音色也不同。被采集脑电信号的用户可以合成专属于其个人的声音。脑电信号的特征可以受到特定的生理状态或者认知任务的调制，因此声音的音色也可以作为生物反馈信息。当然，多个用户也可以组成乐队合奏乐曲。

根据本发明一个具体实施例，基于脑电信号的音色合成装置还可以包括播放器。播放器配置为根据合成设备所合成的音色播放声音。其中，声音可以是任意的，不仅可以是可以预先选定，也可以是即兴创作的。通过播放器，可以播放声音给任何人听，包括被采集脑电信号的用户。如果播放声音给被采集脑电信号的用户听，那么该装置即为生物反馈装置。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (10)

1.一种基于脑电信号的音色合成装置，包括：

刺激设备，配置为生成针对用户的、预定频率的刺激信号；

脑电采集设备，配置为采集所述用户接收所述刺激信号后所生成的脑电信号并将所采集的脑电信号进行模数转换；

处理器，配置为获得经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度，并根据所述基频和所述谐波幅度计算基频和谐波幅度比；以及

合成设备，配置为根据所述基频和谐波幅度比来合成音色。

2.如权利要求1所述的装置，其特征在于，所述刺激设备是视觉刺激设备、听觉刺激设备和/或触觉刺激设备。

3.如权利要求1所述的装置，其特征在于，所述处理器进一步包括数字滤波器，其配置为对所述经模数转换的脑电信号进行滤波。

4.如权利要求3所述的装置，其特征在于，所述数字滤波器进一步配置为利用典型相关分析方法对所述经模数转换的脑电信号进行空间滤波。

5.如权利要求1至4之一所述的装置，其特征在于，所述处理器进一步配置为利用直接频谱分析方法获得所述经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度。

6.如权利要求5所述的装置，其特征在于，所述直接频谱分析方法是快速傅里叶变换方法。

7.如权利要求1至4之一所述的装置，其特征在于，所述处理器进一步配置为利用间接频谱分析方法获得所述经模数转换的脑电信号中稳态诱发响应的基频和谐波幅度。

8.如权利要求7所述的装置，其特征在于，所述间接频谱分析方法是利用回声状态网络的方法。

9.如权利要求1至4之一所述的装置，其特征在于，所述脑电采集设备进一步包括滤波电路和放大器；其中，所述滤波电路配置为对所采集的脑电信号进行滤波；所述放大器配置为对所采集的脑电信号进行放大。

10.如权利要求1至4之一所述的装置，其特征在于，还包括：播放器，配置为根据所述音色播放声音。