CN100502819C - 制造适合汉语语音编码策略的人工耳蜗的方法 - Google Patents

Abstract

本发明中提出一种制造适合汉语语音编码策略的人工耳蜗的方法，包括以下几个部分：预加重，语音信号经一阶FIR高通滤波器提升信号中的高频成分；分带滤波，根据人耳听觉特性对语音频带进行等bark尺度划分，分为若干子带，并基于傅氏变换的频域滤波技术对信号进行零相位失真滤波，得到每个子带的信号；准锁相刺激发放，包括过零点检测、包络提取、非线性动态范围压缩、电脉冲发放；过零点检测检测各个频带的信号正向过零点，作为该频带的零相位时刻；包络提取，提取各个子带信号的包络，如利用Hilbert变换来求；非线性动态范围压缩对包络值的动态范围进行非线性压缩；以及电脉冲发放。

Description

制造适合汉语语音编码策略的人工耳蜗的方法

技术领域

本发明属于语音信号处理技术领域，涉及一种人工耳蜗，具体涉及一种制造适合汉语语音编码策略的人工耳蜗的方法。

背景技术

在信息社会中，人与人之间的交流变得越来越重要，而丧失听力的聋人却不能使用语音这种方便有效的工具进行正常的人际交流，更无法享受诸如欣赏音乐这样的生活乐趣。帮助聋人重新回到有声世界，使他们过上正常人的生活，是一件具有重要社会意义的工作。为了这一目标，前人开展了大量的研究工作，探索出了一些可行的方法和技术，人工耳蜗植入技术就是较好的一种方法。

人工耳蜗的基本原理是利用体外语音处理器代替耳蜗对声音进行频率分析。对于语音处理器采用的语音处理方法，国外开展这方面的研究已经有几十年的历史。表1总结了国外人工耳蜗方法近20年来的研究发展情况。

表1 人工耳蜗语音处理方法的发展

现在的人工耳蜗语音处理方案均采用滤波器组技术(波形保持技术)。以下将简要介绍两种比较有代表性且已投入到实际使用中的人工耳蜗方法。

连续间隔采样方法(Continuous Interleaved Sampling，CIS)

美国Triangle研究所(Research Triangle Institute，RTI)研制的CIS(连续间隔采样)语音处理方法，方法流程图如图1所示，是人工耳蜗技术在过去十几年中的重大突破。方法首先对输入的语音信号进行预加重，然后分带处理，并提取每个频带内的信号包络，分别用对称双相脉冲序列进行调制，且调制脉冲序列在时序上是不同步的，脉冲交替出现。最后，调制后的离散序列即作为电极的刺激信号。CIS方法的优点在于使用间隔脉冲刺激序列，避免了由于同时刺激多个电极带来的电场互扰问题。随后，奥地利MED-EL公司在它的新型人工耳蜗系统COMBI 40/40+中开始采用了CIS+方法。CIS+方法与CIS方法的不同之处在于CIS+采用Hilbert变换的方法代替传统的整流低通方法进行包络检测。

2.多脉冲刺激方法(Multiple Pulsatile Stimulation，MPS)

多脉冲刺激方法近年来由Advanced Bionics公司的人工耳蜗系统推出并采用。MPS方法在信号处理或电极刺激的产生等方面与CIS方法基本一致，唯一不同之处是CIS方法的所有通道电脉冲刺激均无重叠，即呈相间分布，而在MPS方案中，第1和第5导、第2和第6导、第3和第7导、第4和第8导这4对通道的电刺激重叠，即同时刺激。这样，每通道的刺激速率可高达1625Hz，比CIS方法的刺激速率有所提高。

人工耳蜗的使用可以帮助耳聋患者恢复一定的言语识别能力，但是国内引进的相同类型的人工耳蜗产品，取得的效果却并不如国外情况理想，表现语音识别正确率很低，语音可懂度下降。研究发现，国外的人工耳蜗语音处理方法研究所针对的都是西方语言，以英语为代表；而我们的语言是汉语，与西方语言不同，汉语普通话与英语在声学和语音学层次上有着明显的不同，最显著的特点在于汉语普通话中元音的基频变化有表义作用，而当前的人工耳蜗技术却无法体现出语音的基频变化。国外使用的人工耳蜗技术尽管在讲英语时的效果较好，但欣赏音乐和学习音乐时同样遇到很大困难。这些情况都表明，利用当前的人工耳蜗技术，对基频的正确感知存在困难。因此如何完善人工耳蜗对于基频信息的处理，从而能够感受到语音的声调是值得探索的重大问题。

发明内容

传统人工耳蜗对语音的处理方法之所以存在着上述困难，其根本原因是方法所产生的电刺激只能体现语音信号的包络信息，而如相位这样的精细结构却无法体现，因此造成了对基频感知存在困难的缺陷。

本发明的目的就是提高对基频的正确感知能力，提供一种制造能够正确感受到语音声调的人工耳蜗的方法。

本发明中所提出的制造适合汉语语音编码策略的人工耳蜗的方法基本思想是，根据各个子带语音信号的幅度和相位调制相应通道的电刺激。本发明的重要创新之处在于它有效地结合了听神经编码声音信号的“部位理论”与“时间理论”，实现了在分带调制的基础上，通过控制电刺激与子带信号过零点的同步发放，来模拟正常听神经对输入信号的锁相功能。由于本发明的方法能够表现语音信号的精细结构，因此可以感受到基频信息。

本发明的方法是基于CIS/CIS+的改进方法，它结合了原方法包络保持的特点，并保留了预加重模块与非线性压缩模块，同时为保留声音刺激的时间信息，方法模拟了听觉系统的锁相现象，提出了新的刺激模式，采用准锁相的刺激发放，这也是改进方法最显著的特点之一。因此本方法被命名为“准锁相刺激”方法(Simulated Phase-Locking Stimulating，SPLS)。

本发明的制造适合汉语语音编码策略的人工耳蜗的方法，包括以下几个部分：

预加重 语音信号经一阶FIR高通滤波器提升信号中的高频成分。

分带滤波 根据人耳听觉特性对语音频带进行等bark尺度划分，分为若干子带，并基于傅氏变换的频域滤波技术对信号进行零相位失真滤波，得到每个子带的信号。

准锁相刺激发放 包括过零点检测、包络提取、非线性动态范围压缩、电脉冲发放：

过零点检测 检测各个频带的信号正向过零点，作为该频带的零相位时刻。

包络提取 提取各个子带信号的包络，如利用Hilbert变换来求。

非线性动态范围压缩 对包络值的动态范围进行非线性压缩。

电脉冲发放 对于中心频率低于阈值的通道，在每个正向过零点所对应的零相位时刻发放脉冲；对于中心频率高于阈值的通道，在每

(f：中心频率，[·]表示大于f/阈值的最小整数)个过零点对应的时间位置发放脉冲；脉冲幅度等于发放时刻信号包络的压缩幅度。

附图说明

下面结合附图对本发明进一步详细地说明：

图1是CIS方法流程图；

图2是本发明的SPLS方法流程图；

图3是采用本发明的SPLS方法处理模拟声音合成的流程图；

图4预加重滤波器的幅频特性；

图5是8通道SPLS方法脉冲发放示意图；

图6为各种实验结果的比较图，其中

图6.1为语句干扰实验结果；

图6.2为平稳语谱噪声干扰的实验结果；

图6.3为语句包络调制语谱噪声干扰的实验结果；

图6.4为STMI的评价结果；

图6.5为SPLS和CIS+对汉语和英语的处理效果比较；

图6.6为不同信噪比对方法处理的影响。

具体实施方式

下面参照本发明的附图，更详细地描述本发明的最佳实施例。

图2所示为本发明的制造适合汉语语音编码策略的人工耳蜗的方法实现流程图，本发明方法的具体实现步骤包括预加重、分带滤波、准锁相刺激发放。图3是采用本发明的SPLS方法处理模拟声音合成的流程图。实施例中以16000Hz采样，16bit量化的语音信号为输入，输出为8通道电脉冲，各步骤的具体实现过程如下：

1.预加重滤波器

预加重滤波器的目的就是模拟外耳的高频补偿作用，实施例中采用了一阶差分滤波器来实现对语音的预加重。设x(n)为语音信号采样序列，y(n)为预加重输出，则：

y(n)＝x(n)-a·x(n-1)。

图4显示了不同a值(0.8，0.7，0.6)的预加重滤波器的频率响应。

实施例中取a＝0.6。由上图可以看到，预加重滤波器对2kHz以下的信号有-6dB/oct的衰减，而对高频有一定的提升。

2.分带滤波

人工耳蜗中的每一个通道对应信号中的一个子带，分带滤波的作用即为提取每个子带的时域信号。由于本专利中所提出的SPLS人工耳蜗方法需要保留语音的相位信息，因此实施例中采用了基于傅氏变换的频域滤波技术实现分带滤波。这种技术的优点在于滤波过程中不会引入相位失真，是一种零相位失真的带通滤波器。

首先对一帧短时信号(512样本)加汉宁窗，再由快速傅氏变换(FFT)得到复频谱系数X_i i＝0—511。根据人耳的听觉特性，8000Hz语音带宽按bark尺度被分为8个子带，每个子带对应一组相邻的复频谱系数。

为得到某一子带的时域信号，可保留该子带所对应的谱系数，同时将其它系数置零，再由反傅氏变换(IFFT)恢复到时域后加汉宁窗，并与以前结果进行混叠相加，前1/4帧的叠加结果即为该子带滤波后的时域信号。帧移1/4帧长，按上述方法继续处理下一帧。

3.准锁相刺激发放

人工耳蜗的各个通道电极根据相应的子带信号发放电脉冲。本专利中所提出的准锁相刺激发放方法是指通道电极的电脉冲发放时间与相应子带信号的正向过零点同步，脉冲发放幅度由经非线性压缩后的子带信号包络大小决定。这一部分又包括四个模块：过零点检测；包络提取；非线性动态范围压缩；电脉冲发放。

(1)过零点检测

对第k个子带而言，检测子带信号S_k(i)的正向过零点，即当S_k(i-1)<0且S_k(i)≥0时，时刻i即为正向过零点。

(2)包络提取

本专利中利用Hilbert变换提取子带信号包络。对第k个子带信号S_k(i)，先进行Hilbert变换，得到变换结果H_k(i)，信号的包络值E_k(i)即为：

$E_k\left(i\right)=\sqrt{S_k{\left(i\right)}^2+H_k{\left(i\right)}^2}$

(3)非线性动态范围压缩

发明中采用了指数函数形式对提取的包络值E_k(i)进行动态范围压缩。这种压缩方法的优点是压缩函数的形状，尤其是陡度可以通过调节指数p值方便地调整。

指数压缩函数的表达式为：

E_k(i)＇＝AE_k(i)^p+B，p<1，

其中A和B是根据患者的个人情况选择的常量，定义如下：

$A=\frac{\mathrm{MCL}-\mathrm{THR}}{E_{\max }^p-E_{\min }^p},$ $B=\mathrm{THR}-{\mathrm{Ax}}_{\min }^p$

式中MCL代表每个患者最舒适的声强，THR是其听阈，x_max和x_min分别代表输入信号幅度的最大值和最小值，这样使得声强的动态范围[E_min，E_max]恰好映射到电刺激的动态范围[THR，MCL]。

(4)电脉冲发放

本实施例中阈值取1200Hz，对于中心频率低于1200Hz的通道，在每个正向过零点对应的时间位置发放脉冲；对于中心频率高于阈值的通道，在每 $m=\left[\frac{f}{1200}\right]$ (f：中心频率，[·]表示大于f/1200的最小整数)个过零点对应的时间位置发放脉冲；脉冲幅度等于发放时刻信号包络的压缩幅度E_k(i)’。

图5是根据一段语音得到的8个通道的脉冲发放示意图，图中的尖峰表明了电流刺激的时间位置。

下面结合具体实施例说明本发明的优点。

1.各通道之间的干扰情况

准锁相刺激模式与CIS所采用的均匀间隔刺激模式不同，其刺激频率与刺激时间位置与声音信号相关。因此各通道上是否会出现同时刺激而产生通道间的干扰是值得考察的问题。我们通过实验对一段大约49s的声音文件进行处理，并统计各通道的同时刺激率，以考察准锁相刺激模式的电极间互相干扰的情况。被处理的文件中包括男女声、汉英语以及音乐等不同内容的声音信号。各通道最高刺激率限制在1200pps以下，双相脉冲脉宽为31.25us/phase。相邻两通道的两个脉冲同时统计阈限是31.25us，即重叠50％脉冲以上即纳入统计。表2给出了8通道SPLS方法统计的结果。

表2 8通道SPLS方法同时刺激率统计结果(％)

注：表2中a_i表示两相邻通道同时刺激数，b_i表示第i通道的脉冲刺激总数，其中i＝1，2，...，7。

通过表2可以看出，SPLS方法尽管会出现同时刺激两相邻电极的情形，但出现的概率是比较低的，由此带来的电场互扰问题也比较小。

2.方法的感知效果评价

在这一部分，我们首先利用正弦信号合成方法来模拟耳蜗植入者感受到的声音。合成过程如图三所示。然后对合成后的模拟声音进行主观评价和客观评价。主观评价采用听觉心理物理实验的方法，将合成的模拟声音作为实验信号，播放给被试并记录被试得分。客观评价采用谱-时间调制指数(Spectro-TemporalModulation Index，STMI)语音可懂度客观评价的方法，对合成模拟声音进行打分，比较不同方法在不同信噪比下的性能，以及通道数对言语识别的影响。

2.1主观评价结果

主观评价采用的测试材料为北京大学言语听觉研究中心自行录制的无意义语句语音库(22.05kHz采样，16位量化)，利用CIS+和SPLS方法对语音进行处理，并以合成的模拟声音作为信号，进行听觉心理物理实验，比较两种方法的处理效果。

实验在北京大学言语听觉研究中心铜网屏蔽听力检查隔音室中进行，被试坐在隔音室的一角，椅子与墙角成45度角；在与被试中垂面成45度角的左右两侧各放置有一个与被试坐下时耳朵所在高度基本等到的两个扬声器；被试经过一段时间的练习与适应后，开始正式实验。

实验采用无意义句子进行测试，避免了被试的联想、猜测等不可控因素。无意义句子结构为：*代词*+主语(名词)+*副词*+谓语(动词)+*代词*+宾语(名词)，如“一只蚂蚁正在喧闹那个书包”等。被试的任务是复述主、谓、宾三个关键词，主试统计被试的复述正确率。

测试时，两个扬声器都要放音，但时间上有先后，以构造出听觉优先效应(即人会感觉到声音来自先放音的扬声器)。被试需要复述的目标语句始终是右边的扬声器首先发声，这样被试感觉目标总是右边来的。同时扬声器还要播放干扰语句，来影响被试对目标的收听。干扰语句是左边的扬声器先于右边发声，使得被试感觉干扰声来自左边。通过改变信噪比(目标干扰能量比)来调节干扰的强弱，信噪比依次从25dB降低至-5dB。

实验采用的声音信号均采用15带CIS+或者SPLS方法处理，将奇数带的调幅正弦序列叠加得到目标信号，将奇数或者偶数带的调幅正弦序列叠加得到干扰信号。如果干扰信号也是奇数带的叠加，则称为同带干扰(图6.1中条件1)，反之称为异带干扰(图6.1中条件2)。这又构成了实验的一个自变量。

实验中，每一名被试对每一种实验条件(例如：信噪比25dB，目标信号来自右边，干扰来自左边，同带干扰)需要听18个无意义语句，完成对54个关键词的复述。

图6.1给出了语句干扰的条件1和条件2下，两种方法合成的模拟声音的平均得分。所有32名被试(24名参加CIS+测试；8名参加SPLS测试，得分标准差小于0.05)在参加实验前都经过纯音听力检测。

除了采用采用无意义语句作为干扰信号，实验中还采用了平稳的语谱噪声和语句包络调制的语谱噪声作为干扰信号。

对于上述两种干扰信号，实验同样做了同带干扰和异带干扰两种条件，为此首先对干扰噪声进行分带。分带采用了与CIS+或SPLS相同的带通滤波器组，将其奇数带(偶数带)的输出叠加构成同带干扰(异带干扰)。图6.2-6.3给出这两种噪声干扰条件下的实验结果。

从图6.1-6.3的测试结果来看，在三种干扰信号(无意义语句，平稳语谱噪声，语句包络调制的语谱噪声)、两种干扰条件(同带为干扰条件1，异带为干扰条件2)、不同信噪比下，SPLS的主观得分都显著高于CIS+。同时也可以看出，在如此复杂的干扰条件下，被试对SPLS方法的合成模拟声音仍有较高的正确识别率，说明SPLS方法具有优秀的语音处理性能，能很好的保持语音的可懂度。

2.2客观评价结果——无背景噪声情况下

客观评价处理的声音类型包括：汉语男女声，英语男女声以及几种音乐。汉语男女声音文件取自中科大录制的863汉语语音识别数据库，男女各5位说话人，每人20句话。英语男女声音文件取自华尔街日报语音数据库，男女各5位说话人，每人20句话。音乐类型包括古典音乐、交响乐以及流行歌曲，每种类型各5段。所有声音文件均为16kHz采样，16位量化。

如图6.4所示为STMI的评价结果，我们利用STMI方法对合成语音的可懂度进行评价，并比较了CIS+方法和SPLS方法处理汉语(图6.4左上图所示)、英语(图6.4右上图所示)和音乐(图6.4下图所示)后的评价结果。从图表中可以看到：

1)采用SPLS方法处理汉语或者英语后，其合成语音的可懂度都明显高于CIS+方法，在8带、6带、4带情况下，其STMI达到0.95以上；对于汉语处理，CIS+方法的STMI都在0.9以下。

2)CIS+方法随着通道数目的下降，其合成语音可懂度下降明显。SPLS方法由于引入语音相位信息，极大的提高了合成语音的可懂度，当分带数目大于3的时候，通道数的下降几乎对语音可懂度没有影响。因此可以预测，采用SPLS方法，人工耳蜗使用者可能仅需要很少的通道，就可以达到较高的言语识别率。

图6.4下图所示是对合成音乐的评价。由于音乐不存在可懂度的问题，这里的打分我们认为一定程度上反映了合成音乐相对于原始音乐的质量好坏。从主观听辨来看，SPLS处理的音乐保持了原有音乐的节奏和旋律，音色也较好，而CIS+处理后的音乐听起来的感觉象噪音。图中的客观评价结果也可以反映出两种方法的优劣。

从这一结果图中还可以看出，对于不同种类的音乐，相同的处理方法也会有不同的结果。最明显的是CIS+方法处理交响乐和流行音乐，相同通道数情况下，二者打分结果相差0.3以上，差异是非常显著的。

在图6.5中，我们把SPLS方法和CIS+方法对汉语和英语的处理结果分别做出来做一比较。从左图可以看出，SPLS方法处理女声语句的结果，汉语和英语两条曲线大部分吻合在一起，而在8通道、6通道和4通道时，对汉语的处理结果优于英语。右图中，CIS+方法处理汉语和英语的结果迥然不同，相同的通道数下，无论男声女声，对英语的处理结果都优于汉语。这也说明，CIS+语音处理方法在处理汉语这种带调语音的时候，效果不及英语。SPLS方法更适合汉语。

2.3客观评价结果——有背景噪声情况下

图6.6所示为不同信噪比对方法处理的影响，在考察噪声(高斯白噪声)CIS+和SPLS方法影响时，我们把通道数固定为6，考察20、10、0、-10dB四种信噪比情况。

1)噪声对汉语处理的影响

图6.6左图是不同信噪比下汉语的评价结果。在信噪比高于0dB时，SPLS和CIS+的性能几乎保持平行的下降，但SPLS的评分结果始终比CIS+高出10％左右。当信噪比降低到-10dB时，两种方法的结果几乎重合，已经不能体现二者孰优孰劣。

2)噪声对英语处理的影响

图6.6右图是不同信噪比下英语的评价结果，几乎是跟图6.6左图一样的结果，随着信噪比的降低，合成语音可懂度越来越低。一点不同是当信噪比为10dB时，CIS+处理结果可懂度已经有明显降低，而SPLS的结果与20dB时的结果基本持平。当环境噪声非常显著时，无法体现SPLS方法的优越性。

噪声对音乐处理的影响与对汉语处理的影响一致。

通过对CIS+和SPLS方法仿真结果进行的主观和客观比较，我们得出以下结论：

1)在相同通道数的情况下，无论是处理汉语或英语，SPLS得分都高于CIS+，说明引入相位信息的SPLS方法是对言语理解更有效的方法；

2)由于引入相位信息，SPLS方法对于患者对基频的感知帮助更大，因此SPLS是更适合汉语、甚至音乐的语音处理方法；

3)在通道数不小于3的情况下，SPLS方法得分相当且保持了很高的水平，预示了人工耳蜗患者有可能使用很少的通带而达到较高的言语识别率；

4)在存在背景噪声干扰的情况下，当噪声不是特别显著时(信噪比大于-10dB)，SPLS方法客观评价结果始终优于CIS+，表明了方法的鲁棒性

比较传统方法，本发明的制造适合汉语语音编码策略的人工耳蜗的方法的突出优点在于它在通道数有限的条件下通过保留语音的相位信息，体现语音的语调，使人工耳蜗植入患者能够感受到语音基频，有效地解决了此类患者难以感知语音的语调信息这一难题。该问题的解决尤其对提高带调语言(如汉语)的可懂度具有重要意义。通过模拟人工耳蜗患者对声音的感知效果，以及对模拟结果所作的主客观语音可懂度评价表明，与传统方法相比，新方法对英语和汉语语音的可懂度均有明显的提高，尤其对汉语可懂度的提高更为显著。同时研究表明，由于新方法能够更好地体现声音频谱的精细结构，因此它能够有效地提高患者感受到的声音质量，使耳聋患者能够同正常人一样欣赏、学习音乐。

尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (6)

1.一种制造适合汉语语音编码策略的人工耳蜗的方法，具体包括以下步骤：

1)对语音信号进行预加重处理；

2)对预加重后的信号进行分带滤波，得到分带滤波后的子带信号；

3)准锁相刺激发放，包括

过零点检测，即检测各个频带的信号正向过零点，作为该频带的零相位时刻；

提取各个子带信号的包络；

对包络值的动态范围进行非线性压缩；以及

电脉冲发放。

2.如权利要求1所述的制造适合汉语语音编码策略的人工耳蜗的方法，其特征在于：采用了一阶差分滤波器来进行预加重处理。

3.如权利要求1所述的制造适合汉语语音编码策略的人工耳蜗的方法，其特征在于：利用Hilbert变换来提取子带信号的包络。

4.如权利要求1所述的制造适合汉语语音编码策略的人工耳蜗的方法，其特征在于：分带滤波采用基于傅氏变换的频域滤波技术对信号进行零相位失真滤波，得到每个子带的信号。

5.如权利要求1所述的制造适合汉语语音编码策略的人工耳蜗的方法，其特征在于：采用指数函数对包络值进行非线性压缩。

6.如权利要求1所述的制造适合汉语语音编码策略的人工耳蜗的方法，其特征在于：准锁相刺激发放时，对于中心频率低于阈值的通道，在每个过零点对应的时间位置发放脉冲；对于中心频率高于阈值的通道，在每个过零点对应的时间位置发放脉冲，其中

表示大于中心频率/阈值的最小整数；脉冲幅度等于发放时刻信号包络的压缩幅度。

Images