CN101716108B - 一种电子耳蜗信号处理及电刺激编码系统 - Google Patents

Abstract

本发明提供一种电子耳蜗信号处理及电刺激编码系统及其处理方法。该系统包括：声信号分析与处理模块、电刺激分辨测试与处理模块及电刺激编码模块。声信号分析与处理模块对声信号进行分析，提取低频和高频通道需要传递的特征信息。电刺激分辨测试与处理模块测量并拟合电子耳蜗使用者个体的电刺激部位分辨能力和电刺激速率分辨能力，计算处理得到电子耳蜗使用者个体分辨并感知电刺激模式的参数。电刺激编码模块根据电子耳蜗使用者个体接收电刺激信息的能力及声信号处理结果共同决定电子耳蜗植入体电极的放电模式。本发明的系统能够最大限度提升电子耳蜗使用者的听音能力，改善其对噪声背景下的言语识别、对声调语言及音乐的理解的能力。

Description

一种电子耳蜗信号处理及电刺激编码系统

技术领域

本发明涉及电子耳蜗领域，特别涉及一种电子耳蜗信号处理及电刺激编码系统及其处理方法，适用于提升电子耳蜗对噪声背景下的言语识别、对声调语言及音乐的理解的能力。 

背景技术

电子耳蜗技术是目前唯一可以让聋人恢复听觉的神经修复术，通过用电流直接刺激听神经，使聋人恢复听觉，已帮助全球超过12万电子耳蜗植入者不同程度的恢复了听力。当前应用最广泛的电子耳蜗信号处理策略，如：连续交替采用方案CIS(continuous-interleaved-sampling)，高级混合编码方案ACE(advanced confined encoding)都是通过植入电极产生速率恒定的电刺激脉冲，刺激耳蜗不同位置来模拟正常耳蜗的部位编码，植入的电极在鼓阶由蜗底向蜗尖依次排列，刺激由高到低不同频率敏感的听神经。植入电极的不同位置，对应于信号处理策略中划分的不同的频段。电极-频率的对应关系受到电极插入深度，扭结程度和神经元存活情况等因素影响。 

正常人的耳蜗中有大约3000个左右的纤毛细胞，分别被调谐在从20～20,000Hz之间的不同频率上，同时，每一个纤毛细胞中有10～20个刺激听觉的神经纤维，它们将信息传向中枢神经系统。根据部位编码，声音的不同频率信息由不同的听觉通道传输。假设每个神经纤维为一条频率传输通道，较之现在电子耳蜗有限数目的电极(8～22)所能提供的频率传输通路，正常人耳能提供频率分辨力比电子耳蜗要高出几个数量级。由于目前电极制造技术及如何在耳蜗中放置电极技术的限制，很难再增加植入电极的数量。这也就意味着，从信号处理策略的角度而言，完全依据部位编码，很难改善电子耳蜗的频率分辨力。 

近年来，信号处理策略及电刺激编码方案主要取得的进展主要有： 

Advanced Bionics公司实现了称为虚拟通道的这项创新的处理方案。虚拟通道利用相邻电极间产生同时电流虚拟出一个新的刺激点，在不增加电极数的前提下，增加实际刺激的通道数。但虚拟通道方案并未超出部位编码的范畴。心理声学学实验证明，时间编码在电刺激中大概是通过变化刺激速率来模拟的，其限定范围是300～500Hz。也就是说，在电极数不增加的前提下，有可能通过变换刺激率模拟时间编 码来提高电子耳蜗的频率分辨力。澳大利亚南威尔士大学，美国Duck大学的研究人员分别在Cochlear公司的Nucleus 22/24电子耳蜗系统上实现了变刺激速率的电刺激编码策略。德国慕尼黑大学的研究人员在MED-EL公司的COMBO 40+电子耳蜗系统上实现了相似的策略。结果显示，较之原电子耳蜗编码策略，变刺激速率的编码策略一定程度的改善了音乐的识别。奥地利MED-EL公司提出了“FineHearing”技术，将过零率检测技术与虚拟通道引入编码策略中，由过零率检测来控制电刺激脉冲发放，并同时通过虚拟通道技术增加部位感知能力。 

目前，电子耳蜗植入者在安静环境下的言语识别已经达到了良好的水平，可供半数以上植入者顺利地进行电话交谈。但噪声背景下的言语识别、对声调语言及音乐的理解仍然是当前电子耳蜗植入者普遍无法逾越的障碍。目前，仍然没有任何的商用或是实验室的电子耳蜗信号处理策略及电刺激编码方案可以完全克服上述障碍。原因主要有以下几点：首先是电子耳蜗使用者的个体差异很大，如听神经残存情况差别很大；当前信号处理策略对于不同个体无法做到因人而异；其次，现有的信号处理策略只能通过低频段的通道传递基频(F0)信息(无论是刺激率恒定或是变化)，并且获取基频(F0)及瞬时频率的算法往往鲁棒性较差；最后，现有策略往往采用单一尺度的滤波器组对信号分频，时间分辨率和频率分辨率往往不能兼得。 

在此背景下，开发对信号进行深入分析、鲁棒性好且实现方便的信号处理策略是一个需要解决的技术难题；研究何种电刺激能够最大程度的表达信号处理的结果是一个值得探索的学术问题；如何为电子耳蜗使用者制定其最适合的电刺激编码方案是电子耳蜗发展值得探索的重要问题。 

发明内容

本发明的目的在于提供一种电子耳蜗信号处理及电刺激编码系统及其处理方法。针对电子耳蜗使用者对噪声背景下的言语识别、对声调语言及音乐的理解能力普遍较差的情况，提供一种高分辨率电子耳蜗信号处理策略，并为电子耳蜗使用者制定其最适合的电刺激编码方案。使电子耳蜗使用者不仅能够听见，而且最大程度做到听清。 

为了实现上述目的，本发明的一种电子耳蜗信号处理及电刺激编码系统，包括：声信号分析与处理模块、电刺激分辨测试与处理模块以及结合部位编码和时间编码的电刺激编码模块。 

其中，所述声信号分析与处理模块，采用傅里叶变换(FFT)对声信号进行分析，将其划分为M个频带；在进行峰值选取处理之后对信号进行分析，提取出其信号特征；在计算特征之后，确定低频(＜500Hz)L个通道，高频(＞500Hz)N个通道进行电刺激；随后，对低频L个通道和高频N个通道计算其包络进行压缩；对每一帧信号，特征不同，L与N的取值也不同，L+N＜M。 

另外，所述声信号分析与处理模块利用相位声码器处理来得出其信号特征，所述相位声码器首先对峰值选取后的信号进行相位计算，随后计算信号包含主要频谱成分的瞬时频率和瞬时能量对应关系，接着根据该计算结果，估计基频(F0)与谐波的对应关系；最后通过虚拟低音技术增强低频信息。 

所述电刺激分辨测试与处理模块，测试以下项目：a)电刺激部位分辨音调感知测试，包括：物理电极分辨、虚拟通道分辨、相邻电极顺序电刺激音调分辨；b)电刺激速率分辨音调感知测试；c)电刺激能量分辨测试；并根据测试项目的结果，拟合、量化并定义参数：可感知并分辨的电刺激部位A1、A2、A3…An；可感知并分辨的电刺激速率B1、B2、B3…Bn；可感知并分辨的电刺激能量C1、C2、C3…Cn；然后，根据以上结果，进行综合电刺激模式，并确定最终可感知分辨的参数。 

所述结合部位编码和时间编码的电刺激编码模块，根据电子耳蜗使用者个体接收电刺激信息的能力及声信号处理结果，对于低频通道以及高频通道，分别编码电刺激能量信息和刺激速率信息。 

另外，本发明的一种电子耳蜗信号处理及电刺激编码系统的处理方法，包括如下步骤： 

1)声信号分析与处理模块将输入声信号划分为M个频带，进行峰值选取处理之后对信号进行分析，提取出其信号特征；在计算特征之后，确定低频L个通道，高频N个通道并进行电刺激，具体实现过程如下： 

a)采用傅里叶变换(FFT)对声信号进行分析，将其划分为M个频带： 

首先对一帧P个点(64～1024个点)的短时信号，进行加汉宁窗处理，然后进行FFT运算。 

FFT输出的结果为P个点的复数，取其中P/2个有效点(需要去除直流分量点)，信号被分为P/2个频带； 

b)对FFT输出的结果进行峰值选取，并对选择的峰值进行相位计算： 

FFT输出的结果为P个点的复数，取其中P/2个有效点(需要去除直流分量点)进行取模处理后，进行峰值选择，选择出能量较大的H个(20～50个)点重新排序，并记录能量，然后，对取出的H个能量峰值点复数，取反正切，得到相位值； 

c)计算信号包含主要频谱成分的瞬时频率和瞬时能量对应关系： 

由相邻2帧的相位值可求得任意频率通道的瞬时频率； 

d)根据所述步骤c)的计算结果，估计基频与谐波的对应关系： 

由已知的瞬时频率与瞬时能量关系，采用峰值匹配的方法，估计信号的基频与谐波关系，估计过程中并不要求高次谐波频率与基频频率满足严格的整数倍关系，在倍频点上下约5％范围内均能够看做是基频与谐波关系，记录估计出的基频与谐波关系。 

e)通过虚拟低音技术增强低频信息： 

对于峰值选取后的输出，表达为各正弦分量叠加，利用相位声码器求得的瞬时频率，乘以频率变换系数，将各正弦分量叠加即可得到音调变换后的信号； 

f)分为低频和高频通道并求包络： 

利用所述步骤d)中的基频与谐波的对应关系确定低频(＜500Hz)L个通道，高频(＞500Hz)N个通道进行电刺激；M值的取值范围为32～512，其中，最佳实施原则为：M＝128，L小于等于3，且频率划分符合线性坐标划分；N小于等于15，且频率划分符合对数坐标划分。 

随后，对低频L个通道和高频N个通道计算其包络进行压缩(L+N＜M)；在每一帧的处理中，L与N的值都是不固定的。对于每一帧信号，只表达一个基频信息及与之对应的谐波信息； 

2)电刺激分辨测试与处理模块对电子耳蜗使用者个体进行综合电刺激模式，并确定最终可感知分辨的参数，具体实现过程如下： 

a)首先对电子耳蜗使用者个体进行以下测试项目：电刺激部位分辨音调感知测试，包括：物理电极分辨、“虚拟通道”分辨、相邻电极顺序电刺激音调分辨；电刺激速率分辨音调感知测试以及电刺激能量分辨测试； 

b)其次根据上述测试项目的结果，拟合、量化并定义：可感知并分辨的电刺激 部位A1、A2、A3…An；可感知并分辨的电刺激速率B1、B2、B3…Bn；以及可感知并分辨的电刺激能量C1、C2、C3…Cn；并根据以上结果，进行综合电刺激模式，并确定最终可感知分辨的参数； 

c)最后，将结果保存，供后续的每次电刺激编码模块调用； 

3)结合部位编码和时间编码的电刺激编码模块，根据电子耳蜗使用者个体接收电刺激信息的能力及声信号处理结果，对于低频通道以及高频通道，分别编码电刺激能量信息与刺激速率信息，具体过程如下： 

a)首先调用电刺激分辨测试与处理模块的结果，设定刺激模式，同时限定低频通道刺激率的变化范围，以及限定高频通道刺激部位的变化范围； 

b)其次根据声信号分析与处理模块的结果，对于L个低频通道，进行电刺激编码，能量信息由计算的包络信息决定，刺激率信息由最接近通道中心频率的瞬时频率信息决定；对于N个高频通道，进行电刺激编码，能量信息由计算的包络信息决定，刺激部位信息由经过虚拟低音处理的谐波频率信息决定； 

c)最后按照能量从大大小的顺序，依次发放刺激。 

本发明的一种电子耳蜗信号处理及电刺激编码系统及其处理方法的有益效果在于：

本发明的电子耳蜗信号处理及电刺激编码系统结构中，声信号分析与处理模块对声信号进行分析，提取低频和高频通道需要传递的特征信息。电刺激分辨测试与处理模块测量并拟合电子耳蜗使用者个体的电刺激部位分辨能力和电刺激速率分辨能力，计算处理得到电子耳蜗使用者个体分辨并感知电刺激模式的参数。结合部位编码和时间编码的电刺激编码模块根据电子耳蜗使用者个体接收电刺激信息的能力及声信号处理结果共同决定电子耳蜗植入体电极的放电模式。本发明通过声信号分析与处理模块对信号进行深入分析，提取信号的基频、谐波能量关系并创新的利用虚拟低音技术提升低频信息；同时，很好的平衡了计算量和时频分辨率的关系；鲁棒性好且实现方便。利用电刺激分辨测试与处理模块全面测试何种电刺激能够最大程度的表达信号处理的结果，首先考虑电子耳蜗植入者能够接受何种信息，多少信息，最大限度提升电子耳蜗使用者的听音能力。然后，采用结合部位编码和时间编码的电刺激编码模块区分低频以及高频，采用不同的编码方案。既考虑到时间编码，又考虑到部位编码，从而提供一种高分辨率电子耳蜗信号处理策略，并为电子耳蜗使用者制定其最适合的电刺激编码方案。使电子耳蜗使用者不仅能够听见，而且最 大程度做到听清。 

附图说明

图1为本发明的电子耳蜗信号处理及电刺激编码系统的总体构成框图。 

图2为本发明的电子耳蜗信号处理及电刺激编码系统的处理方法的总流程示意图。 

图3为本发明的电子耳蜗信号处理及电刺激编码系统的处理方法的声信号分析与处理过程的具体实现流程图。 

图4为本发明的电子耳蜗信号处理及电刺激编码系统的处理方法的电刺激分辨测试及处理过程的具体实现流程图。 

图5为本发明的电子耳蜗信号处理及电刺激编码系统的处理方法的电刺激编码过程的具体实现流程图。 

具体实施方式

下面结合附图对本发明的电子耳蜗信号处理及电刺激编码系统及其处理方法作进一步的说明，并给出更详细地描述本发明的最佳实施例。 

图1是本发明的电子耳蜗信号处理及电刺激编码系统的总体框图，如图1所示，本发明的电子耳蜗信号处理及电刺激编码系统包括：声信号分析与处理模块、电刺激分辨测试与处理模块、以及结合部位编码和时间编码的电刺激编码模块。 

其中，声信号分析与处理模块实施本发明的高分辨率电子耳蜗信号处理策略。声信号分析与处理模块对声信号进行分析，将输入声信号划分为M个频带，进行峰值选取处理之后对信号进行分析，提取出其信号特征；在计算特征之后，确定低频(＜500Hz)L个通道以及高频(＞500Hz)N个通道并进行电刺激；随后，对L个低频通道和N个高频通道计算其包络进行压缩；其中，对于每一帧信号，根据其不同的特征，L与N的取值也不同，L+N＜M。 

电刺激分辨测试与处理模块，对电子耳蜗使用者个体进行综合电刺激模式，并确定最终可感知分辨的参数。测试以下三个项目：电刺激部位分辨音调感知测试、电刺激速率分辨音调感知测试以及电刺激能量分辨测试；接着，根据各测试项目的结果，拟合、量化并定义如下参数：可感知并分辨的电刺激部位A1、A2、A3…An；可感知并分辨的电刺激速率B1、B2、B3…Bn；以及可感知并分辨的电刺激能量C1、C2、C3…Cn；然后，根据以上结果，进行综合电刺激模式，并确定最终可感知分辨 的参数。 

结合部位编码和时间编码的电刺激编码模块，根据电子耳蜗使用者个体接收电刺激信息的能力及声信号处理结果，对于低频通道，编码电刺激能量信息与刺激速率信息；对于高频通道编码电刺激能量信息与电刺激部位信息。 

另外，电刺激分辨测试与处理模块充分考虑电子耳蜗植入者能够接受何种电刺激信息，多少信息，以便最大限度提升电子耳蜗使用者的听音能力；声信号分析与处理模块分析并提取信号的基频、谐波能量关系并创新的利用虚拟低音技术提升低频信息的表达；结合部位编码和时间编码的电刺激编码模块综合其他两个模块的信息，决定在低频通道编码何种刺激能量和刺激速率信息，决定在高频通道编码何种刺激能量和刺激部位信息。 

另外，图2为本发明的电子耳蜗信号处理及电刺激编码系统的处理方法的总流程示意图。图3为本发明的电子耳蜗信号处理及电刺激编码系统的处理方法的声信号分析与处理过程的具体实现流程图。图4为本发明的电子耳蜗信号处理及电刺激编码系统的处理方法的电刺激分辨测试及处理过程的具体实现流程图。图5为本发明的电子耳蜗信号处理及电刺激编码系统的处理方法的电刺激编码过程的具体实现流程图。 

如图2所示，本发明的一种电子耳蜗信号处理及电刺激编码系统的处理方法，包括如下步骤： 

1)声信号分析与处理模块将输入声信号划分为M个频带，进行峰值选取处理之后对信号进行分析，提取出其信号特征；在计算特征之后，确定L个低频通道以及N个高频通道并进行电刺激，具体实现过程如下(如图3所示)： 

a)采用傅里叶变换(FFT)对声信号进行分析，将其划分为M个频带：在优选实施例中，声信号采样率为16KHz，使用基于傅里叶变换(FFT)的频域滤波技术实现分频带功能。 

a)采用傅里叶变换(FFT)对声信号进行分析，将其划分为M个频带： 

首先对一帧P个点(64～1024个点)的短时信号，进行加汉宁窗处理，然后进行FFT运算。 

FFT输出的结果为P点的复数，取其中P/2个有效点(需要去除直流分量点)，信号被分为P/2个频带； 

b)对FFT输出的结果进行峰值选取，并对选择的峰值进行相位计算： 

FFT输出的结果为P点的复数，取其中P/2个有效点(需要去除直流分量点)进行取模处理后，进行峰值选择，选择出能量较大的H个(20～50个)点重新排序，并记录能量，然后，对取出的H个能量峰值点复数，取反正切，得到相位值； 

c)计算信号包含主要频谱成分的瞬时频率和瞬时能量对应关系： 

由相邻2帧的相位值可求得任意频率通道的瞬时频率； 

d)根据所述步骤c)的计算结果，估计基频与谐波的对应关系：由已知的瞬时频率与瞬时能量关系，采用峰值匹配的方法，估计信号的基频与谐波关系，估计过程中并不要求高次谐波频率与基频频率满足严格的整数倍关系。在倍频点约5％范围内均能够看做是基频与谐波关系。记录估计出的基频与谐波关系。 

e)通过虚拟低音技术增强低频信息 

心理声学实验中，存在一种被称为“虚拟音调”的现象：对于一段和谐复音信号，其基频成分觉得了信号音调的高低；然而，通过某些手段将复音信号的基频部分除去后，余下的各次谐波的叠加依然能够使人感受到相同的音调高低，即人耳能在基频缺失情况下利用谐波组合重建信号音调高低。虚拟低音技术逆向应用了该现象。对于低频(＜500Hz)信息，人为的构造谐波叠加谐波信号可获得与基频相同的音调感知，增强低音。 

在该实施例中，对于峰值选取后的输出，表达为各正弦分量叠加，利用相位声码器求得的瞬时频率，乘以频率变换系数，将各正弦分量叠加即可得到音调变换后的信号。 

f)分为低频高频通道并求包络 

利用所述步骤d)中的基频与谐波的对应关系确定低频(＜500Hz)L个通道，高频(＞500Hz)N个通道进行电刺激；M值的取值范围为32～512，其中，最佳实施原则为：M＝128，L小于等于3，且频率划分符合线性坐标划分；N小于等于15，且频率划分符合对数坐标划分。 

随后，对低频L个通道和高频N个通道计算其包络进行压缩(L+N＜M)；在每一帧的处理中，L与N的值都是不固定的。对于每一帧信号，只表达一个基频信息及与之对应的谐波信息。 

2)电刺激分辨测试与处理模块对电子耳蜗使用者个体进行综合电刺激模式，并确定最终可感知分辨的参数，具体实现过程如下(如图4所示)： 

a)首先对电子耳蜗使用者个体进行以下测试项目：电刺激部位分辨音调感知测试，包括：物理电极分辨、虚拟通道分辨、以及相邻电极顺序电刺激音调分辨；电刺激速率分辨音调感知测试；电刺激能量分辨测试； 

b)其次根据测试项目的结果，拟合、量化并定义：可感知并分辨的电刺激部位A1、A2、A3…An；可感知并分辨的电刺激速率B1、B2、B3…Bn；可感知并分辨的电刺激能量C1、C2、C3…Cn；并根据以上结果，进行综合电刺激模式，并确定最终可感知分辨的参数。 

c)最后，将结果保存，供后续的每次电刺激编码模块调用。 

3)结合部位编码和时间编码的电刺激编码模块，根据电子耳蜗使用者个体接收电刺激信息的能力及声信号处理结果，对于低频通道以及高频通道，分别编码电刺激能量信息与刺激速率信息，具体过程如下(如图5所示)： 

a)首先，调用电刺激分辨测试与处理模块的结果，设定刺激模式。同时限定低频通道刺激率的变化范围，限定高频通道刺激部位的变化范围。 

b)其次，根据声信号分析与处理模块的结果，对于L个低频通道，进行电刺激编码，能量信息由计算的包络信息决定，刺激率信息由最接近通道中心频率的瞬时频率信息决定；对于N个高频通道，进行电刺激编码，能量信息由计算的包络信息决定，刺激部位信息由经过虚拟低音处理的谐波频率信息决定； 

c)最后，按照能量从大大小的顺序，依次发放刺激。 

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。 

Claims (4)

1.一种电子耳蜗信号处理及电刺激编码系统，其特征在于，包括：声信号分析与处理模块、电刺激分辨测试与处理模块、以及结合部位编码和时间编码的电刺激编码模块，

其中，所述声信号分析与处理模块，采用傅里叶变换对声信号进行分析，将其划分为M个频带；在进行峰值选取处理之后对信号进行分析，提取出其特征；在计算特征之后，确定L个低频通道以及N个高频通道进行电刺激；随后，对L个低频通道和N个高频通道计算其包络进行压缩；其中，对于每一帧信号，根据其不同的特征，L与N的取值也不同，L+N＜M；

所述电刺激分辨测试与处理模块，测试以下三个项目：电刺激部位分辨音调感知测试、电刺激速率分辨音调感知测试以及电刺激能量分辨测试；接着，根据各测试项目的结果，拟合、量化并定义如下参数：可感知并分辨的电刺激部位A1、A2、A3…An；可感知并分辨的电刺激速率B1、B2、B3…Bn；以及可感知并分辨的电刺激能量C1、C2、C3…Cn；然后，根据以上结果，进行综合电刺激模式，并确定最终可感知分辨的参数；

所述结合部位编码和时间编码的电刺激编码模块，根据电子耳蜗使用者个体接收电刺激信息的能力及声信号处理结果，对于低频通道以及高频通道，分别编码电刺激能量信息和刺激速率信息。

2.根据权利要求1所述的电子耳蜗信号处理及电刺激编码系统，其特征在于，所述声信号分析与处理模块利用相位声码器处理来得出其信号特征，所述相位声码器首先对峰值选取后的信号进行相位计算，随后计算信号包含主要频谱成分的瞬时频率和瞬时能量对应关系，接着根据该计算结果，估计基频与谐波的对应关系；最后通过虚拟低音技术增强低频信息。

3.根据权利要求1所述的电子耳蜗信号处理及电刺激编码系统，其特征在于，所述声信号分析与处理模块在进行频带划分时，总频带数M的取值范围为32～512；低频通道数L小于等于3，且频率划分符合线性坐标划分；高频通道数N小于等于15，且频率划分符合对数坐标划分。

4.根据权利要求1所述的电子耳蜗信号处理及电刺激编码系统，其特征在于，所述电刺激分辨测试与处理模块所进行的电刺激部位分辨音调感知测试，包括：物理电极分辨、虚拟通道分辨以及相邻电极顺序电刺激音调分辨。

Images