CN103892939B - 提高汉语声调识别率的人工耳蜗言语处理器和方法 - Google Patents

Abstract

本发明公开了一种提高汉语声调识别率的人工耳蜗言语处理器和方法，其中方法实施例中，包括以下步骤：对传送的声信号进行预加重和分频处理，并将处理的结果合并为M个通道；对每一通道进行包络提取；对基频信息进行提取；根据发声频率对基频信息进行调整；根据调整后的基频信息对每一通道的包络进行调整；对每个通道的包络进行带通滤波、包络检测、压缩和脉冲调制。本发明用于实时提取F0信息，通过提高幅度包络与F0的相关性来提高中文声调的识别。

Description

提高汉语声调识别率的人工耳蜗言语处理器和方法

技术领域

本发明属于医疗器械领域，特别涉及一种提高汉语声调识别率的人工耳蜗言语处理器和方法。

背景技术

语音产生过程中声波的基频信息和周期性信息对语音理解非常重要，对声调语言如中文尤其如此，然而基频信息和周期性信息对英文语音识别的贡献比较弱。

汉语声调的识别主要通过感知频域基频（F0）的变化来实现的。其他的声学特性，在不同声调下也会有所不同，这些声学特征对声调的识别也可能有所帮助。例如，韵母长度：一般来说，发第三声的韵母的长度是最长的，而第四声是最短的；声音幅度：第三声的峰值幅度较低，而第四声的峰值幅度是最高的；幅度包络和F0轮廓相关性：很多声音的幅度变化包络与基频的变化轮廓有一定程度的相关性。在频域基频（F0）存在的情况下，这些声学特性对声识别影响很小。因此，基频轮廓为说话人的身份鉴定，韵律辨识和声调识别提供了重要信息。

人工耳蜗从各分析频段提取时域包络，用来调制传递给相应电极的电脉冲，以此来表达语音信号。由于目前现有的人工耳蜗言语处理策略不能有效地传输F0基频信息。增强F0信息的言语编码策略一直受到关注，一些研究曾经尝试对信号时域包络中周期波动进行增强，增加时域周期波动的调制深度可以产生更好的单电极电刺激下的基频感知，但对多电极而言，不能显著增强基频感知。

现有技术中，调整所有的或某一单独通道的幅度包络曲线是根据一个非实时过程。为了使幅度包络更类似于F0曲线的形状，在均方根（RootMeanSquare，RMS）幅值先分别计算在一帧一帧的基础上，以匹配F0数据的离散格式，公式如下：

${F0}_{\mathrm{RMS}}\left(i\right)=\frac{{\mathrm{\Σ}}_{k=0}^{\mathrm{Voiced}}\mathrm{RMS}\left(k\right)}{{\mathrm{\Σ}}_{k=0}^{\mathrm{Voiced}}F0\left(k\right)}F0\left(i\right)$

其中k是求和的帧索引，i是F0_RMS幅度序列和基频序列的帧指数。需要注意的是，幅度包络的修改只针对有声帧，然后根据形状因子s修改RMS幅度序列，

Mod_RMS(i)=RMS(i)+s*(F0_RMS(i)-RMS(i))

此处，ModRMS是调整后的RMS幅度序列。当形状因子s=0时，幅度包络无需调整；s=1时的振幅包络调整最大，使得修改后的均方根幅度序列与F0序列成正比。以上对包络的调整算法为非实时过程，无法及时的反应幅度包络与F0的相关性，使得原始包络信息杂乱，导致声调识别率低的问题。

针对以上问题，本发明提出了一种包络增强言语处理策略（EnvelopeEnhanced-Tone(eTone)SpeechProcessingStrategy），是针对汉语四声提出的人工耳蜗言语处理策略，核心思想是通过提高幅度包络与F0的相关性来提高安静环境下的声调识别率。eTone是一种独立的预处理方法，在进行包络处理后可以与现有的连续间隔采样（ContinuousInterleavedSampling，CIS），高级混合编码(AdvancedCombinationEncoding，ACE)，或者虚拟通道策略联合使用。

发明内容

有鉴于此，本发明的目的在于提供一种提高汉语声调识别率的人工耳蜗言语处理器和方法，用于实时提取F0信息，通过提高幅度包络与F0的相关性来提高中文声调的识别。

为达到上述目的，本发明提供了一种提高汉语声调识别率的人工耳蜗言语处理器，包括预处理单元，分频包络提取单元，基频提取单元连续间隔采样CIS单元，进一步包括基频调整单元和包络调整单元，其中，

所述预处理单元，用于对传送的声信号进行预加重和分频处理，并将处理的结果合并为M个通道；

所述分频包络提取单元，用于对每一通道进行包络提取；

所述基频提取单元，用于对基频信息进行提取；

所述基频调整单元，用于根据发声频率对基频信息进行调整；

所述包络调整单元，用于根据调整后的基频信息对每一通道的包络进行调整；

所述连续间隔采样单元，用于对每个通道的包络进行带通滤波、包络检测、压缩和脉冲调制。

可选地，对于基频包络和每一通道的包络进行拖尾保护。

可选地，通过计算帧与帧之间的差值，调整包络的均方根RMS以及以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量各占一定权重对基频包络进行实时的调整。

可选地，所述计算帧与帧之间的差值，调整包络的均方根RMS可通过如下公式得到：

M_RMS(i)=RMS(i)*(△F0/Basic_F0+1)，

其中，△F0为前后帧之间F0的增量，Basic_F0是前几帧F0的均值。

可选地，以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量可通过如下公式得到：

M_RMS(i)=Basic_RMS(i)*(△F0/Basic_F0+1)，

其中，M_RMS是M个通道的RMS序列，Basic_RMS是包络前几帧均方根的均值，△F0为前后帧之间F0的增量，Basic_F0是前几帧F0的均值。

基于上述目的，本发明还提供了一种提高汉语声调识别率的人工耳蜗言语处理方法，包括以下步骤：

对传送的声信号进行预加重和分频处理，并将处理的结果合并为M个通道；

对每一通道进行包络提取；

对基频信息进行提取；

根据基频信息，对基频包络进行实时的调整；

根据调整后的基频信息对每一通道的包络进行调整；

对每个通道的包络进行带通滤波、包络检测、压缩和脉冲调制。

可选地，对于基频包络和每一通道的包络进行拖尾保护。

可选地，通过计算帧与帧之间的差值，调整包络的均方根RMS以及以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量各占一定权重对基频包络进行实时的调整。

可选地，所述计算帧与帧之间的差值，调整包络的均方根RMS可通过如下公式得到：

M_RMS(i)=RMS(i)*(△F0/Basic_F0+1)，

其中，△F0为前后帧之间F0的增量，Basic_F0是前几帧F0的均值。

可选地，以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量可通过如下公式得到：

M_RMS(i)=Basic_RMS(i)*(△F0/Basic_F0+1)，

其中，M_RMS是M个通道的RMS序列，Basic_RMS是包络前几帧均方根的均值，△F0为前后帧之间F0的增量，Basic_F0是前几帧F0的均值。

本发明的有益效果在于：通过引入包络增强言语处理策略提高幅度包络与F0的相关性来提高中文声调的识别，同时包络增强言语处理策略是一种独立的预处理算法，可以与现有的CIS策略联合使用，进一步提高中文声调的识别率。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明实施例的提高汉语声调识别率的人工耳蜗言语处理器的结构示意图；

图2为本发明实施例的提高汉语声调识别率的人工耳蜗言语处理器中一具体应用实例中方法一包络调整波形示意图；

图3为本发明实施例的提高汉语声调识别率的人工耳蜗言语处理器中一具体应用实例中方法二包络调整波形示意图；

图4为本发明实施例的提高汉语声调识别率的人工耳蜗言语处理器中一具体中采用方法一和方法二加权包络调整波形示意图；

图5为本发明实施例的提高汉语声调识别率的人工耳蜗言语处理方法的步骤流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

参见图1，所示为本发明实施例的提高汉语声调识别率的人工耳蜗言语处理器的结构示意图，其包括：预处理单元101，分频包络提取单元102，基频提取单元103，连续间隔采样单元106，进一步包括基频调整单元104和包络调整单元105，其中，

预处理单元101，用于对传送的声信号进行预加重和分频处理，并将处理的结果合并为M个通道；

分频包络提取单元102，用于对每一通道进行包络提取；

基频提取单元103，用于对基频信息进行提取；

基频调整单元104，用于根据发声频率对基频信息进行调整；

包络调整单元105，用于根据调整后的基频包络信息对每一通道的包络进行调整；

连续间隔采样单元106，用于对每个通道的包络进行带通滤波、包络检测、压缩和脉冲调制。

针对以上实施例的技术方案，其中预处理单元101，分频包络提取单元102，基频提取单元103，以及连续间隔采样单元106可参考现有技术中的实现方式，本发明实施例的重点在于基频调整单元104，其根据发声频率对基频信息进行调整，以及包络调整单元105，其根据调整后的基频包络对每一通道的包络进行调整，通过以上两步骤可较好的解决原始包络信息杂乱，导致的声调识别率低的问题。进一步地，在具体应用实例中，对于基频包络和每一通道的包络进行拖尾保护。

以下将对基频调整单元104的实现过程作进一步的说明，以使本领域内的技术人员能更好的理解本发明实施例的实现过程。

基频调整单元104根据发声频率对基频信息进行实时的调整过程如下：通过计算帧与帧之间的差值，调整包络的均方根RMS以及以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量各占一定权重对基频包络进行调整。进一步地，在具体应用实例中，计算帧与帧之间的差值，调整包络的均方根RMS可通过如下公式得到：

M_RMS(i)=RMS(i)*(△F0/Basic_F0+1)，

其中，△F0为前后帧之间F0的增量，Basic_F0是前几帧F0的均值。

此方法中，牺牲F0整体趋势，仅计算帧与帧之间的差值，调整包络的RMS，这样调整更多的保留了包络原始能量和形状。

进一步地，以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量可通过如下公式得到：

M_RMS(i)=Basic_RMS(i)*(△F0/Basic_F0+1)。

其中，M_RMS是M个通道的RMS序列，Basic_RMS是包络前几帧均方根的均值，△F0为前后帧之间F0的增量，Basic_F0是前几帧F0的均值。

此方法中，调整的包络和F0更相似，但需要牺牲原始包络的能量变化，特别是当前几帧包络能量和后续能量差别较大时，这样的算法可能会很大程度改变输出的大小。

因此本发明实施例中通过采用对以上两种方法各占一定权重对基频包括进行调整，具体公式如下：

$M_{\mathrm{RMS}\left(i\right)}=S*{\mathrm{Basic}}_{\mathrm{RMS}\left(i\right)}*(\frac{\mathrm{\ΔF}0}{{\mathrm{Basic}}_{F0}}+1)+(1-S)*\mathrm{RMS}\left(i\right)*(\mathrm{\ΔF}0/\mathrm{Basic}\_F0+1)$

其中S为权重因子，可以取0-1之间的值。

通过以上技术方案将包络曲线进行调整，使其向基频靠拢，但又不完全与基频相同，这样听音声调效果好，可较好的提高音调的识别率。

以下将通过一具体应用实施例来说明本发明实施例的采用包络曲线调整言语处理策略的基频调整单元104的实施效果。需要说明的是，图2至图4中，F0即是已经进行过基频调整后的曲线，F0在前几帧处为零，而后迅速增大。这是因为人发出声音的频率范围男性为64～523Hz、女性为160～1200Hz，本发明实施例中所取频率范围为125～425Hz，超出这一范围的就视为零，所以前几帧为零。

对于计算帧与帧之间的差值，调整包络的均方根RMS，以输入第四声的“dan4”为例，

用wola（加权重叠相加，weightedoverlap—add）获取FFT结果并按DSP的设置配置所有参数；

将FFT结果合并为4个通道后，参考图2所示，其中，曲线1是wola获取的4个通道的包络变化，曲线2是进行处理后并且按包络最大能量归一化后的F0曲线，曲线3是按上述调整包络的结果，可见按此方法调整包络，与原始包络的改变并不大。

对于以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量，其仿真结果参考图3所示，曲线1是wola获取的4个通道的包络变化，曲线2是进行处理后并且按包络最大能量归一化后的F0曲线，曲线3是按上述调整包络的结果，可见按此方法调整包络，和F0更相似，但需要牺牲原始包络的能量变化。

参见图4，为按照以上两种方法权重各取50%得到的仿真波形图，同样，曲线1是wola获取的4个通道的包络变化，曲线2是进行处理后并且按包络最大能量归一化后的F0曲线，曲线3是按上述调整包络的结果，可见按照此方法调整包络后，兼顾了原始包络的能量变化和F0信息。

与上述提高汉语声调识别率的人工耳蜗言语处理器对应的是，本发明又一实施例提供了提高汉语声调识别率的人工耳蜗言语处理方法，其流程图参见图5，包括以下步骤：

S101，对传送的声信号进行预加重和分频处理，并将处理的结果合并为M个通道；

S102，对每一通道进行包络提取；

S103，对基频信息进行提取；

S104，根据发声频率对基频信息进行调整；

S105，根据调整后的基频信息对每一通道的包络进行调整；

S106，对每个通道的包络进行带通滤波、包络检测、压缩和脉冲调制。

其中，S101，S102，S103，S105，以S106可参考现有技术中的实现方式，本发明实施例的重点在于S104，根据发声频率对基频信息进行调整，可较好的解决原始包络信息杂乱，导致的声调识别率低的问题。进一步地，在具体应用实例中，对于基频包络和每一通道的包络进行拖尾保护。

以下将对S104的实现过程作进一步的说明，以使本领域内的技术人员能很好的理解本发明实施例的实现过程。

S104根据发声频率对基频信息进行调整过程如下：通过计算帧与帧之间的差值，调整包络的均方根RMS以及以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量各占一定权重对基频包络进行调整。

进一步地，在具体应用实例中，计算帧与帧之间的差值，调整包络的均方根RMS可通过如下公式得到：

M_RMS(i)=RMS(i)*(△F0/Basic_F0+1)，

其中，△F0为前后帧之间F0的增量，Basic_F0是前几帧F0的均值。

此方法中，牺牲F0整体趋势，仅计算帧与帧之间的差值，调整包络的RMS，这样调整更多的保留了包络原始能量和形状。

进一步地，在具体的应用实例中，以声信号中检测到的元音的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量可通过如下公式得到：

M_RMS(i)=Basic_RMS(i)*(△F0/Basic_F0+1)，

其中，M_RMS是M个通道的RMS序列，Basic_RMS是包络前几帧均方根的均值，△F0为前后帧之间F0的增量，Basic_F0是前几帧F0的均值。

此方法中，调整的包络和F0更相似，但需要牺牲原始包络的能量变化，特别是当前几帧包络能量和后续能量差别较大时，这样的算法可能会很大程度改变输出的大小。

因此本发明实施例中通过采用对以上两种方法各占一定权重对基频包括进行调整，具体公式如下：

$M_{\mathrm{RMS}\left(i\right)}=S*{\mathrm{Basic}}_{\mathrm{RMS}\left(i\right)}*(\frac{\mathrm{\ΔF}0}{{\mathrm{Basic}}_{F0}}+1)+(1-S)*\mathrm{RMS}\left(i\right)*(\mathrm{\ΔF}0/\mathrm{Basic}\_F0+1)$

其中S为权重因子，可以取0-1之间的值。

同样的具体应用实例可参见图2至图4对应的仿真波形图，通过以上技术方案将包络曲线进行调整，使其向基频靠拢，但又不完全与基频相同，这样听音声调效果好，可较好的提高中文音调的识别率。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (8)

1.一种提高汉语声调识别率的人工耳蜗言语处理器，包括预处理单元，分频包络提取单元，基频提取单元，连续间隔采样CIS单元，其特征在于，进一步包括基频调整单元和包络调整单元，其中，

所述预处理单元，用于对传送的声信号进行预加重和分频处理，并将处理的结果合并为M个通道；

所述分频包络提取单元，用于对每一通道进行包络提取；

所述基频提取单元，用于对基频信息进行提取；

所述基频调整单元，用于根据发声频率对基频信息进行调整，具体为：通过计算帧与帧之间的差值，调整包络的均方根RMS以及以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量各占一定权重对基频包络进行实时的调整；

所述包络调整单元，用于根据调整后的基频信息对每一通道的包络进行调整；

所述连续间隔采样单元，用于对包络调整单元进行调整后的每个通道的包络进行带通滤波、包络检测、压缩和脉冲调制。

2.根据权利要求1所述的提高汉语声调识别率的人工耳蜗言语处理器，其特征在于，对于基频包络和包络调整单元进行调整后的每一通道的包络进行拖尾保护。

3.根据权利要求1所述的提高汉语声调识别率的人工耳蜗言语处理器，其特征在于，所述计算帧与帧之间的差值，调整包络的均方根RMS可通过如下公式得到：

M_RMS(i)＝RMS(i)*(△F0/Basic_F0+1)，

其中，△F0为前后帧之间基频F0的增量，Basic_F0是前几帧基频F0的均值。

4.根据权利要求1所述的提高汉语声调识别率的人工耳蜗言语处理器，其特征在于，以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量可通过如下公式得到：

M_RMS(i)＝Basic_RMS(i)*(△F0/Basic_F0+1)，

其中，M_RMS是M个通道的均方根RMS序列，Basic_RMS是包络前几帧均方根的均值，△F0为前后帧之间基频F0的增量，Basic_F0是前几帧基频F0的均值。

5.一种提高汉语声调识别率的人工耳蜗言语处理方法，其特征在于，包括以下步骤：

对传送的声信号进行预加重和分频处理，并将处理的结果合并为M个通道；

对每一通道进行包络提取；

对基频信息进行提取；

根据发声频率对基频信息进行调整，具体为：通过计算帧与帧之间的差值，调整包络的均方根RMS以及以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量各占一定权重对基频包络进行实时的调整；

根据调整后的基频信息对每一通道的包络进行调整；

对包络调整单元进行调整后的每个通道的包络进行带通滤波、包络检测、压缩和脉冲调制。

6.根据权利要求5所述的提高汉语声调识别率的人工耳蜗言语处理方法，其特征在于，对于基频包络和包络调整单元进行调整后的每一通道的包络进行拖尾保护。

7.根据权利要求5所述的提高汉语声调识别率的人工耳蜗言语处理方法，其特征在于，所述计算帧与帧之间的差值，调整包络的均方根RMS可通过如下公式得到：

M_RMS(i)＝RMS(i)*(△F0/Basic_F0+1)，

其中，△F0为前后帧之间基频F0的增量，Basic_F0是前几帧基频F0的均值。

8.根据权利要求5所述的提高汉语声调识别率的人工耳蜗言语处理方法，其特征在于，以声信号中检测到的元音信号的开始几帧的能量作为标尺，按基频的变化趋势调整包络能量可通过如下公式得到：

M_RMS(i)＝Basic_RMS(i)*(△F0/Basic_F0+1)，

其中，M_RMS是M个通道的均方根RMS序列，Basic_RMS是包络前几帧均方根的均值，△F0为前后帧之间基频F0的增量，Basic_F0是前几帧基频F0的均值。