CN102871798B - 基于光纤激光阵列声效应的人工听觉仿真系统和方法 - Google Patents

Abstract

本发明具体公开了一种基于光纤激光阵列声效应的人工听觉仿真系统和方法，包括语音处理器、激光调制驱动器、激光光纤阵列、阵列光电探测器、数据处理模块及语言合成模块；所述的语音处理器与激光调制驱动器相连，激光调制驱动器与激光光纤阵列相连，激光光纤阵列输出的信号给阵列光电探测器，阵列光电探测器与数据处理模块相连，数据处理模块与语音合成相连。有益效果：1.采用可密集布局的光纤激光阵列取代电极阵列；2.采用多路并行同步光脉冲触发取代电极分时间隔触发；3.该装置及仿真方法具有精度高、可调节控制、便于数据采集和对比评估处理算法的特点。

Description

基于光纤激光阵列声效应的人工听觉仿真系统和方法

技术领域

本发明具体涉及一种基于光纤激光阵列声效应的人工听觉仿真系统和方法。

背景技术

耳蜗是动物类（包括高级动物人类）听觉系统接收声音信息的重要感应器官，由于种种原因致使该器官或与该器官关联的功能组织失去感应功效，便患上重度以上感音性耳聋，以致无法正常听音和完成正常语言交流功能。目前，针对此类耳聋，可采用电极式人工耳蜗（即电子仿生耳）植入术恢复部分听觉，如专利（CN200610027193.5）中，公开了一种全植入式人工耳蜗及其制备方法，该装置根据耳蜗的感音机理和功能，将体外的声信号经采集、变换和编码，以无线方式送给埋入耳蜗内的各电极，有选择地依次触发对应的听神经（或神经束），将外来声信息阵列传给大脑听中枢，以恢复聋者的部分听力。尽管该装置已取得显著成效，但是，在感应音乐旋律、辨别乐器品种或话者等更丰富细致的声信息方面明显不足，表明人工听觉康复装置还有待深入研究和继续改良。

由医学解剖学可知，人类耳蜗内的基底膜长约2-3cm，能感知20Hz-20KHz的声频信息，不同的动物其耳蜗基底膜长度不同，可感应的声频范围也各异；基底膜上按声频位置排列着能感音的纤毛细胞（内毛细胞约3500个）和对应的听神经纤维。基底膜对于声音的感受具有频率选择性，与位置对应。

声谱分析发现,言语信号在时域和频域上的表现与音乐信号相比有些差别，如图1和图2所示，对应音乐中丰富的旋律变化和乐音品质的变化，音乐信号总体声谱能量集中区常常比语音声谱宽较多，而且谱峰集中区的个数也更多，对应在时域波形上音乐信号变化更多样、更密集。我们知道，音乐的音色是由其所含声频成分决定的，例如，在同一旋律音符下，不同的乐器有不同声音效果，其对应声谱包络（即声谱成分沿频率轴变化的轮廓）应有明显区别。而同一乐器，在发高低不同的旋律音符时，其对应的声谱包络无明显变化，但此时声谱的局部细节有明显差别，同时在时域信号的基本周期上也有差别，这种差别是在一定时段上表现的。对多种乐器演奏出的乐音来说，常常是多种旋律音符、多种乐器音的叠加，其乐音声谱的表现更加复杂、细腻、多变。

所以若要有效地传递乐音品质和旋律等信息，更密集的电极阵列是必要，同时要保持正确、同步的声频阵列信号时序关系，保证代表乐器品质的声频包络变化和乐音旋律音符变化在听觉中枢处获得正确叠加和感知音效。

目前最佳的人工耳蜗装置中有22-24导金属电极。作为埋入耳蜗的金属电极，由于传导电流时存在电场发散性，易导致相邻电极相互干扰，这样，在2-3cm的范围内电极总数目增加受限；另外，为减少相邻电极同步发放信号相互干扰，触发时间必须间隔，即电极阵列上各路信号在时序上是非同步的，这样在听觉中枢产生的各路信号叠加就是错位的。目前，对于语音信号这种变化相对缓慢、频谱强能区相对较窄的信号而言，该装置可达到恢复部分听力的效果。但对频谱更宽、变化更复杂细腻的音乐信号来说，可能很多信息漏传或错传，这些是否是导致乐音感知不佳的原因有待研究证实。因此，研究向内耳发放定时准确、频谱定位更准确密集的声阵列信号（已有研究证明，通道数应不少于32导）的仿生耳蜗，可能是解决该问题的研究方向。

激光具有更好的方向性，而且脉冲激光具有诱发声效应的物理特性，即用光辐照某物体时，由于它对光的吸收会使其内部的温度改变，从而引起其局部区域的机械参数变化；当采用脉冲光源或调制光源时，物体内局部温度的起伏会引起其体积的伸缩，因而向外辐射声波，这种现象称为光致声效应（简称光声效应）。研究已证实，光纤脉冲激光能触发听神经发放，其功效和声音触发极其相似。而与金属电极相比，光纤易组成密集阵列，是取代金属电极传导丰富声谱信息的良好候选。

在文献1（Izzo AD,Richter CP,Jansen ED,et al.Laser Stimulation of the Auditory Nerve.Lasers Surg Med,2006,38(8):745753.）；文献2（Wenzel GI,Balster S,Zhang K,et al.Greenlaser light activates the inner ear.J Biomed Opt,2009,14(4):4004—4007)研究已证实，光纤脉冲激光照射耳蜗神经组织可产生光声效应，该效应可通过测量耳蜗神经复合动作电位（CAP）来记录听觉神经对激光参量的反应，也可通过测量听性脑干反应（ABR）和下丘神经元反应来观察大脑对激光触发听神经的反应。但目前所见这类研究仅限于单路光纤激光照射。基于激光脉冲对听神经具有和声波信号相似的触发功效，进一步的光纤激光阵列照射试验，便需要相应的研究装置和仿真方法，这种试验系统需要多个组成部件或环节，有的需灵活调节和拼装，在激光光纤阵列布局、光源选择、脉冲激光参数(幅度、宽度和重复率)调节、信号发放时间控制等方面，都需要围绕听觉感知效果对系统进行实验和考察。

发明内容

为深入研究和探讨人工听觉感知的若干问题，本发明提出了一种基于光纤激光阵列声效应的人工听觉仿真系统和方法。

本发明采用的技术方案如下：

基于光纤激光阵列声效应的人工听觉仿真系统，包括语音处理器、激光调制驱动器、激光光纤阵列、阵列光电探测器、数据处理模块及语言合成模块；所述的语音处理器与激光调制驱动器相连，激光调制驱动器与激光光纤阵列相连，激光光纤阵列输出的信号给阵列光电探测器，阵列光电探测器与数据处理模块相连，数据处理模块与语音合成模块相连，其中所述语音处理器输出的各通道信号频段利用对数尺度（也称美尔尺度）进行截取。

基于光纤激光阵列声效应的人工听觉仿真系统的方法，包括如下步骤：

步骤1语音处理器将语音声波转换为多通道电信号，各通道信号频段按符合人耳听觉特性的对数尺度截取；

步骤2激光调制驱动器将截取后的每个通道的电信号调制到激光光纤阵列中对应光源的输出光信号上；

步骤3激光光纤阵列将多路光信号从光纤中输送到阵列光电探测器；

步骤4阵列光电探测器将检测到的光信号，经过转换后转换成电信号发送给数据处理模块；

步骤5数据处理模块处理采集到的多路电信号，解析并存储数据信息入计算机，并在计算机上分析解析后的各路信号波形和信号成像图谱，分析、对比；

步骤6语音合成模块将解析存储的数据信号通过相应的声音处理算法进行语音合成，以便与原始语音信号比对。

基于光纤激光阵列声效应的人工听觉仿真系统的方法，所述步骤1的多通道电信号中的每个通道的电信号对应激光光纤阵列中的一路。

基于光纤激光阵列声效应的人工听觉仿真系统的方法，所述步骤2的激光调制驱动器是完成将来自语音处理器的多路电信号数据流转为光信号的模块电路，激光器的调制采用以下两种调制方式：

（1）脉冲占空比调制：采用这种调制方法，将在光纤激光阵列上输出占空比随数据流幅值变化的多路同步光脉冲信号，这样的光脉冲信号其峰值保持不变，只是单位时间输出的光脉冲疏密度是动态变化的；

（2）将数据流转换为模拟电信号，用该信号控制激光器的光强输出，得到激光光强随该数据流电信号同步变化的光阵列信号。

本发明的有益效果是：

1.采用光脉冲触发听神经：用方向性更好的光脉冲代替易产生电场交叉的电流脉冲。

2.采用密集布局的光纤激光阵列：大量增加触发听神经的通道数，若按光纤口径50um计算，对人耳耳蜗来说，理论上通道数可提升至600导，采用更细光纤（如10um），通道数可增至3000，从而大大增加可感知声谱的分辨率，传递更丰富细致的声音信息。

3.采用无时间失真的多路并行同步光脉冲触发：对应光纤阵列中心频率，多路滤波器输出无时间失真的阵列信号，同步调制多路激光器产生能量不同的脉冲光信号，同步照射，触发耳蜗基底膜对应的听神经，从而保持阵列信号时间上的一致性。

4.以阵列光电探测采集方式和仿真合成方法评估验证大脑听觉中枢对新型装置的感音效果。

5.该装置及仿真方法具有精度高、可调节控制、便于数据采集和方法对比等特点。

6.语音处理器输出的各通道信号频段利用对数尺度进行截取，之所以采用对数尺度截取，是因为人耳对声谱频率的感知是非线性的，对每一路而言，符合恒Q特性，这样对信号进行细化，实现了对频谱更宽、变化更复杂细腻的信号的识别。

附图说明

图1等长度、等采样条件下的话音信号和音乐信号的时域波形比较图；

图2等长度、等采样条件下的话音信号和音乐信号的宽带语图比较图；

图3光纤阵列激光声效应人工听觉仿真系统整体结构图；

具体实施方式

仿真实验方法，采用图3所示系统构成，即在电脑上重构仿真声、让正常人耳测听或比对重构声语图和绘制各路信号波形等方式评估处理效果，评估新装置在传导声谱信息中涉及的光电信号相互转换、信号调节控制方法、各种信号编码处理算法的效果。通常这类问题不直接对人耳和动物耳试验，而是以声、光、电信号之间的相互转换控制为研究对象，进行仿真声试验。

基于光纤激光阵列声效应的人工听觉仿真系统，包括语音处理器、激光调制驱动器、激光光纤阵列、阵列光电探测器、数据处理模块及语言合成模块；所述的语音处理器与激光调制驱动器相连，激光调制驱动器与激光光纤阵列相连，激光光纤阵列输出的信号给阵列光电探测器，阵列光电探测器与数据处理模块相连，数据处理模块与语音合成模块相连，其中所述语音处理器输出的各通道信号频段利用对数尺度进行截取。

其处理过程如下：

步骤1语音处理器将语音声波转换为多通道电信号，每个通道的电信号对应激光光纤阵列中的一路；各通道信号频段按符合人耳听觉特性的对数尺度截取；

步骤2激光调制驱动器将截取后的每个通道的电信号调制到激光光纤阵列中对应光源的输出光信号上；激光调制驱动电路采用脉冲调制，将在激光器上输出占空比随数据流变化的光脉冲信号，这样输出光脉冲的峰值保持不变，只是单位时间输出的光脉冲疏密度是动态变化的。

步骤3激光光纤阵列将多路激光信号通过光耦合输送到阵列光电探测器；

步骤4阵列光电探测器，将检测到的光信号转换成电信号后发送给数据处理模块；

步骤5数据处理模块处理采集到的电信号，解析并存储数据信息入计算机，并在电脑上利用相关分析软件，分析各路信号波形和信号成像图谱，进行分析、对比；

步骤6语音合成模块将解析存储的数据信号通过相应的声音处理算法进行语音合成，以便与原始语音信号进行比对。

步骤1所述的语音处理器可以是电脑，电脑采集外界声信号经变换、编码，形成特定数据包，将这些数据下载。

通过调整激光器的脉宽、中心频率和线宽、连续型输出、脉冲式输出及脉冲频率，研究激光光纤阵列信号对仿真合成声信号质量的影响，比较在不同参数组合下对应合成声音的MOS得分曲线，进行主观评估；还可绘制各路同步信号波形图和三维语图，进行处理效果的客观分析评估。

Claims (3)

1.基于激光光纤阵列声效应的人工听觉仿真系统的方法，其特征在于：系统包括语音处理器、激光调制驱动器、激光光纤阵列、阵列光电探测器、数据处理模块及语音合成模块；所述的语音处理器与激光调制驱动器相连，激光调制驱动器与激光光纤阵列相连，激光光纤阵列输出的信号给阵列光电探测器，阵列光电探测器与数据处理模块相连，数据处理模块与语音合成模块相连，其中所述语音处理器输出的各通道信号频段利用对数尺度进行截取；方法如下步骤：

步骤 1语音处理器将语音声波转换为多通道电信号，各通道信号频段按符合人耳听觉特性的对数尺度截取；

步骤2激光调制驱动器将截取后的每个通道的电信号调制到激光光纤阵列中对应光源的输出光信号上；

步骤 3 被划分的光信号由激光光纤阵列输送到阵列光电探测器；

步骤 4 阵列光电探测器将检测到的各路光信号，经过转换后转换成电信号发送给数据处理模块；

步骤 5 数据处理模块处理采集到的电信号，解析并存储数据信息入计算机，并在计算机上分析解析后的各路信号波形和信号成像图谱，分析、对比；

步骤 6语音合成模块将解析存储的数据信号通过相应的声音处理算法进行语音合成，以便与原始语音信号比对。

2.如权利要求1所述的基于激光光纤阵列声效应的人工听觉仿真系统的方法，其特征在于：所述步骤1的多通道电信号中的每个通道的电信号对应激光光纤阵列中的一路。

3.如权利要求1所述的基于激光光纤阵列声效应的人工听觉仿真系统的方法，其特征在于：所述步骤2的激光调制驱动器是完成将来自语音处理器的多路电信号数据流转为光信号的模块电路，激光调制驱动器的调制采用以下两种调制方式：

（1）脉冲占空比调制：采用这种调制方法，将在激光光纤阵列上输出占空比随数据流幅值变化的多路同步光脉冲信号，这样的光脉冲信号其峰值保持不变，只是单位时间输出的光脉冲疏密度是动态变化的；

（2）将数据流转换为模拟电信号，用模拟电信号控制激光调制驱动器的光强输出，得到激光光强随该数据流的电信号同步变化的光阵列信号。