CN102915737A - 一种浊音起始帧后丢帧的补偿方法和装置 - Google Patents

Abstract

浊音起始帧后丢帧的补偿方法和装置，保证浊音起始帧后丢帧的补偿无延时，包括：根据浊音起始帧的稳定性条件选取不同方式推断浊音起始帧之后紧随的第一丢失帧的基音延时；根据第一丢失帧前接收的一个或多个子帧的自适应码本增益推断第一丢失帧的自适应码本增益，或根据浊音起始帧的时域语音信号的能量变化推断第一丢失帧的自适应码本增益；用推断得到的基音延时和自适应码本增益对第一丢失帧补偿。补偿后，将浊音起始帧之后首个正确接收的帧中每个子帧解码得到的自适应码本增益乘一尺度因子得到每个子帧的新的自适应码本增益，用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。可减小由于丢帧带来的错误传递，控制合成语音的能量。

Description

一种浊音起始帧后丢帧的补偿方法和装置

技术领域

本发明涉及语音编解码技术领域，具体涉及一种浊音起始帧后丢帧的补偿方法和装置。

背景技术

当语音帧在信道中传输时，例如无线环境或者IP网络等，可能由于传输过程中所涉及的各种复杂因素导致在接收时出现丢帧现象，使得接收端合成的语音质量严重下降。丢帧补偿技术的目的是为了减小这种因为丢帧所引起的语音质量下降，以提高人的主观感受。

CELP(码激励线性预测)类型语音编解码器由于能在中低速率提供较好的语音质量，从而在实际的通讯系统中得到广泛的应用。CELP类型语音编码解器是基于预测的语音编解码器，当前编解码的语音帧不仅依赖于当前语音帧数据，而且还与编解码器的历史状态有关，即存在较强的帧间相关性。这样当任意一语音帧丢失时，不仅会造成当前语音帧无法正确合成，还会将这种错误延续到之后的若干帧去，造成合成的语音质量严重下降，因此提供一种高质量的丢帧补偿方法显得尤为重要。

为了提高丢帧补偿质量，一种方法是在编码端发送额外的“边信息”，这些“边信息”在解码时被用来恢复丢失的语音帧，但显然这种方法会增加比特流速率，同时带来额外的编解码延时。另一种方法是对信息帧解码后得到的时域语音信号进行分类，类型包括：清音帧，清音过渡帧，浊音过渡帧，浊音帧，浊音起始帧等。根据丢失帧前相邻帧不同的类别选择不同的丢帧补偿方法，但浊音起始帧之后的丢帧通常使用与浊音帧之后的丢帧相类似的补偿办法，从而当丢帧发生在浊音起始帧之后时补偿音质没有得到保证。

发明内容

本发明要解决的技术问题是提供一种浊音起始帧后丢帧的补偿方法和装置，保证浊音起始帧后丢帧的补偿无延时、效果好。

为解决上述技术问题，本发明提供了一种浊音起始帧后丢帧的补偿方法，所述方法包括：

浊音起始帧正确接收，当浊音起始帧之后紧随的第一帧丢失时，根据该浊音起始帧的稳定性条件选取相应的基音延时推断方式推断该第一丢失帧的基音延时；根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益；根据推断得到的基音延时和自适应码本增益对第一丢失帧进行补偿。

为解决上述技术问题，本发明还提供了一种浊音起始帧后丢帧的补偿装置，所述装置包括第一基因延时补偿模块、第一自适应码本增益补偿模块和第一补偿模块，其中：

所述第一基因延时补偿模块，在浊音起始帧正确接收，浊音起始帧之后紧随的第一帧丢失时，根据该浊音起始帧的稳定性条件选取相应的基音延时推断方式推断该第一丢失帧的基音延时；

所述第一自适应码本增益补偿模块，根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益；

所述第一补偿模块，用于根据推断得到的基音延时和自适应码本增益对第一丢失帧进行补偿。

本发明要解决的另一技术问题是提供一种浊音起始帧后丢帧的补偿方法和装置，减小由于丢帧带来的错误传递，控制合成语音的能量。

为解决上述技术问题，本发明提供了一种浊音起始帧后帧的补偿方法，所述方法包括：

浊音起始帧正确接收，当浊音起始帧之后紧随的一个或两个以上帧丢失时，推断丢失帧的基音延时以及自适应码本增益，根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿；

对浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益乘以该子帧的第二尺度因子得到每个子帧的新的自适应码本增益，使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

为解决上述技术问题，本发明还提供了一种浊音起始帧后帧的补偿装置，所述装置包括补偿模块和自适应码本增益调整模块，其中：

所述补偿模块，用于在浊音起始帧正确接收，当浊音起始帧之后紧随的一个或两个以上帧丢失时，推断丢失帧的基音延时以及自适应码本增益，根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿；

所述自适应码本增益调整模块，对浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益乘以该子帧的第二尺度因子得到每个子帧的新的自适应码本增益，使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

本发明实施例充分考虑到浊音起始帧不同于浊音帧的特点，针对浊音起始帧之后紧随的第一丢失帧，根据该浊音起始帧的不同的稳定特性，采用不同的方式推断该第一丢失帧的基音延时，根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益，补偿时仅仅用到丢失帧前帧的信息可以避免补偿延时，同时由于基于浊音起始帧不同的稳定特性采用不同的补偿方式从而可以保证补偿音质。针对上述第一丢失帧之后紧随的一个或两个以上的丢失帧，采用衰减后插值的方法获得丢失帧的自适应码本增益，从而使得丢失帧时的语音能量平滑下降。针对丢失帧之后的首个正常接收帧，通过对其进行自适应码本增益的调整以达到减小由于丢帧带来的错误传递和控制合成语音的能量的效果，综上，采用本发明实施例方法，可以提高在丢帧环境下的语音通话质量。

附图说明

图1为本发明实施例1的流程图；

图2为本发明实施例1中步骤102的具体方法流程图；

图3为本发明实施例1中步骤103的具体方法流程图；

图4为本发明实施例3的流程图；

图5为本发明实施例4中第二尺度因子计算方法的流程图；

图6为本发明实施例5中补偿装置的结构示意图；

图7为本发明实施例6中补偿装置的结构示意图；

图8为本发明实施例7中补偿装置的结构示意图；

图9为本发明实施例8中补偿装置的结构示意图；

图10为本发明实施例8中第二尺度因子计算模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。以下实施例针对浊音起始帧正常接收，而浊音起始帧之后紧随的帧丢失的情况进行说明。

实施例1

本实施例描述浊音起始帧之后紧随的第一帧丢失后补偿的方法，如图1所示，包括以下步骤：

步骤101，浊音起始帧正确接收，判断浊音起始帧之后紧随的第一帧(下称第一丢失帧)是否丢失，如果丢失，执行步骤102，否则本流程结束；

步骤102，根据该浊音起始帧的稳定性条件选取相应的基音延时推断方式推断该第一丢失帧的基音延时；

具体地：如果浊音起始帧符合稳定性条件，则采用以下基音延时推断方式推断该第一丢失帧的基音延时：使用该浊音起始帧中最后一个子帧的基音延时的整数部分(T_-1)作为该第一丢失帧中每个子帧的基音延时；

如果浊音起始帧不符合稳定性条件，则采用以下基音延时推断方式推断该第一丢失帧的基音延时：使用第一修正量对该浊音起始帧中最后一个子帧的基音延时的整数部分(T_-1)进行修正得到第一修正值，将第一修正值作为该第一丢失帧中每个子帧的基音延时。

当得到的基音延时为非整数时，优选地，可通过取整处理使第一修正值为一整数。取整处理的具体实现方式可以是向上取整或向下取整或者四舍五入。

第一修正量采用以下方法获得：以第一丢失帧之前的一个子帧(浊音起始帧的最后一个子帧)为基准，消除第一丢失帧之前的两个以上子帧的基因延时的倍数，利用消除基音延时的倍数后的第一丢失帧之前的两个以上子帧的基音延时的整数部分确定基音延时的修正因子，用该修正因子和T_-1确定基因延时的第一尺度因子，所述第一修正量为该修正因子和第一尺度因子的乘积，其中所述第一尺度因子用于表示该修正因子的可信度。具体地，修正因子为：消除基音延时的倍数后的第一丢失帧之前的两个以上子帧的基音延时整数部分的标准方差。第一尺度因子为：1减去修正因子与浊音起始帧的最后一个子帧的基音延时的整数部分的比值f_s＝1-f_m/T_-1，，其中f_m为修正因子。在其他实施例中，第一尺度因子也可以取其他值，例如[0，1]之间的常数。

优选采用以下方式判断浊音起始帧是否符合稳定性条件：满足以下任一条件之一的浊音起始帧符合所述稳定性条件，不满足以下所有条件的浊音起始帧不符合所述稳定性条件：

浊音起始帧的基音同步的自相关系数大于第一阈值R；

浊音起始帧的最后一个子帧的自适应码本增益大于第二阈值G₁，且该浊音起始帧的倒数第二个子帧的自适应码本增益大于第三阈值G₂；

浊音起始帧的最后一个子帧和倒数第二个子帧的基音延时的整数部分相等。

以帧长为20ms，每帧分成4个5ms时长的子帧，采样率为16kHz的语音流为例对本实施例步骤102进行具体说明，在其它帧长和采样率条件下，下述方法同样适用。如图2所示，包括以下步骤：

步骤102a，判断浊音起始帧是否符合以下任一稳定性条件，如果是，执行步骤102b，如果不符合以下所有条件，执行步骤102c；

●浊音起始帧的基音同步的自相关系数R_T大于第一阈值R；

其中，0≤R≤1。优选地，R＞0.5。

对于任意一帧，基音同步自相关系数(pitch-synchronous normalized correlation)R_T为该帧最后两个连续基音周期的归一化自相关系数值，用于表示该连续两个基音周期的相似性特征，具体可以采用如下方法计算：

其中，N为子帧长度，T取值如下：round(·)表示四舍五入运算，T₂和T₃表示该帧第3子帧和第4子帧的基音延时；

上式中的C_N(kT)，k＝1，2的计算方法如下：

$C_N\left(\mathrm{kT}\right)=\frac{{\mathrm{\Σ}}_{i=L-\mathrm{kT}}^{L-1-(k-1)T}\hat{s}\left(i\right)\hat{s}(i-T)}{\sqrt{{\mathrm{\Σ}}_{i=L-\mathrm{kT}}^{L-1-(k-1)T}{\hat{s}}^2\left(i\right)}\sqrt{{\mathrm{\Σ}}_{i=L-\mathrm{kT}}^{L-1-(k-1)T}{\hat{s}}^2(i-T)}}$

其中，L为帧长，

为解码器合成的该帧的时域语音信号。

●g_p，-1大于第二阈值G₁且g_p，-2大于第三阈值G₂；

其中，g_p，-1和g_p，-2分别为浊音起始帧的第4子帧(最后一子帧)和第3子帧(倒数第二子帧)的自适应码本增益；0＜G₁≤G₂＜1。

●T_-1等于T_-2；

其中，T_-1和T_-2分别为浊音起始帧的第4子帧和第3子帧的基音延时的整数部分。

步骤102b，如果浊音起始帧符合上述任一稳定性条件，则使用浊音起始帧的最后一个子帧(本实施例中为第4子帧)的基音延时的整数部分T_-1作为第一丢失帧每个子帧的基音延时，结束；

步骤102c，如果浊音起始帧不符合上述所有稳定性条件，则对当前丢失帧之前的M₁个(例如M₁＝4)子帧的基音延时的整数部分

何等如下消除基音延时的倍数的处理，即以当前丢失帧之前的最后一个子帧为基准，消除当前丢失帧之前的两个以上子帧的基因延时的倍数：

先取T’_-1为T_-1，T’_-1表示消除倍数后的基音延时；对于i从-2到-M₁：

如果T_i小于等于T_-1，T’_i取T_i和2*T_i距离T_-1更近者，即T_i和2*T_i中与T_-1之差的绝对值最小的那个，如果|T_i-T_-1|与|2*T_i-T_-1|中|T_i-T_-1|最小，则取T’_i＝T_i，如果|T_i-T_-1|与|2*T_i-T_-1|中|2*T_i-T_-1|最小，则取T’_i＝2*T_i；

反之如果T_i大于T_-1，T’_i取T_i和T_i/2距离T_-1更近者，即T_i和T_i/2中与T_-1之差的绝对值最小的那个，如果|T_i-T_-1|与|(T_i/2)-T_-1|中|T_i-T_-1|最小，则取T’_i＝T_i，如果|T_i-T_-1|与|(T_i/2)-T_-1|中|(T_i/2)-T_-1|最小，则取T’_i＝T_i/2。

步骤102d，确定基音延时的修正因子f_m和第一尺度因子f_s，取第一修正量为第一尺度因子和修正因子的乘积，即f_s*f_m，其中修正因子f_m取作

T’_-1的标准方差，第一尺度因子f_s表示修正因子的一种可信程度，具体取值如下：

$f_m=\sqrt{\frac{1}{M_1}{\mathrm{\Σ}}_{i=-1}^{-M_1}{(T_i^{\′}-{\stackrel{\‾}{T}}^{\′})}^2},$ 其中 ${\stackrel{\‾}{T}}^{\′}=\frac{1}{M_1}{\mathrm{\Σ}}_{i=-1}^{-M_1}{T}_i^{\′},$

f_s＝1-f_m/T_-1，

上式中T’_i为步骤102c中计算得到的T’_i。

步骤102e，使用浊音起始帧的最后一个子帧(本实施例中为第4子帧)的基音延时的整数部分T_-1作为第一丢失帧每个子帧的基音延时基本值，采用修正因子和第一尺度因子对基音延时基本值进行第一次修正处理得到第一修正值T_c＝T_-1+f_s*f_m，将该T_c作为该第一丢失帧每个子帧的基音延时。

使用第一修正量对T_-1进行修正时，应保证得到的第一修正值T_c在基音延时的取值范围内。最后通过取整处理(本实施例中采用四舍五入的方式)使第一修正值T_c为一整数。在其他实施例中，如果得到的基音延时为一整数，则可以不再进行取整处理。

步骤103，根据第一丢失帧前接收的M₂(M₂取大于等于1的整数)个子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益，该浊音起始帧的时域语音信号由解码器合成得到；

具体地：如果满足以下条件一：浊音起始帧的基音周期内对数能量与长时基音周期内对数能量的差值小于第四阈值E_thr，则将衰减后的第一丢失帧之前M₂个子帧的自适应码本增益的中位数的值作为第一丢失帧中每个子帧的自适应码本增益的推断值g_p，衰减采用的系数为[0，1]之间的常数；

如果不满足条件一，但满足以下条件二：浊音起始帧中最后一个子帧的自适应码本增益g_p，-1在预定范围内，则将衰减后的g_p，-1作为第一丢失帧中每个子帧的自适应码本增益的推断值g_p，衰减采用的系数为[0，1]之间的常数；

如果不满足条件一也不满足条件二，则计算能量比值R_LT和R_ST，使用衰减后的R_LT和R_ST的加权平均值作为第一丢失帧中每个子帧的自适应码本增益的推断值g_p；其中，R_LT表示解码器合成的浊音起始帧的时域语音信号的除第一个基音周期外的能量与除最后一个基音周期外的能量的比值；R_ST表示表示解码器合成的浊音起始帧的时域语音信号的最后一个基音周期的能量与最后一个基音周期的前一个基音周期的能量的比值，这里限制基音周期(即基因延时T_-1)不得超过帧长L的一半，即当T_-1大于L/2时取T_-1＝L/2。

当前帧丢失时，对历史激励信号以步骤102中得到的基音延时为周期进行周期性延拓得到自适应码本激励，将步骤103中得到的自适应码本增益与自适应码本激励的乘积作为当前丢失帧当前子帧的激励信号的周期性部分参与语音合成。

以帧长为20ms，每帧分成4个5ms时长的子帧，采样率为16kHz的语音流为例对步骤103进行具体说明，在其它帧长和采样率条件下，下述方法同样适用。如图3所示，包括以下步骤：

●对于当前丢失帧的第1子帧：

步骤103a，如果满足以下条件一：当前丢帧的前一帧(在本实施例中为浊音起始帧)的基音周期内对数能量与长时基音周期内对数能量的差值dE_t小于阈值E_thr(通常E_thr取负值)，则取衰减后的当前丢失帧之前的M₂个(例如M₂＝5)子帧的自适应码本增益

的中位数的值作为当前丢失帧第1子帧的自适应码本增益的推断值g_p，即

g_p＝α_p(n)*median(g_p，-M，...，g_p，-1)，

同时将g_p限制在适当范围之内，例如限制g_p在[0.5，0.95]之内，即：若g_p＜0.5，取g_p＝0.5；若g_p＞0.95，取g_p＝0.95。

上述公式中，n表示当前连续丢帧的序号，例如这里为正确接收帧后的第一个丢帧，故取n＝1；α_p(n)表示与之对应的衰减系数，取值如下：

${\mathrm{\α}}_p\left(n\right)=\left\{\begin{array}{cc}1.0,& n=1\\ 0.95,& n=2\\ 0.6,& n>=3\end{array}\right.;$ median(·)表示取中位数。

对于任意一帧，dE_t定义为基音周期内对数能量与长时基音周期内对数能量的差值，即：

$d{E}_t=E_t-{\stackrel{\‾}{E}}_t,$

其中，E_t表示基音周期内对数能量：

式中，L表示帧长，T′表示基音延时，取值为：

表示长时基音周期内对数能量，当该帧的类型为浊音帧(VOICED)时需要对其进行更新，更新方式为：

103b，如果上述103a中的条件不满足，但满足以下条件二：当前丢失帧前一子帧(即浊音起始帧中最后一个子帧)的自适应码本增益g_p，-1在适当的范围内，例如g_p，-1在0.8到1.1之间，对g_p，-1做适当衰减得到当前丢失帧第1子帧的自适应码本增益g_p：

g_p＝α_p(n)*g_p，-1  (1)

式中α_p(n)表示衰减系数。

103c，上述103a和103b中的两个条件都不满足时，根据解码器合成的浊音起始帧的时域语音信号的能量变化，推断得到当前丢失帧的自适应码本增益，具体推断方式如下：

首先，计算能量比值R_LT和R_ST，其中R_LT表示解码器合成的浊音起始帧的时域语音信号的除第一个基音周期外的能量与除最后一个基音周期外的能量的比值；R_ST表示表示解码器合成的浊音起始帧的时域语音信号的最后一个基音周期的能量与最后一个基音周期的前一个基音周期的能量的比值，这里限制基音周期不得超过L/2，即T_-1大于L/2时取L/2，R_LT和R_ST的计算公式如下：

$R_{\mathrm{LT}}=\sqrt{\frac{{\mathrm{\Σ}}_{i=T_{-1}}^{L-1}{{\hat{s}}_{\mathrm{pre}}}^2\left(i\right)}{{\mathrm{\Σ}}_{i=0}^{L-T_{-1}-1}{{\hat{s}}_{\mathrm{pre}}}^2\left(i\right)}},$

$R_{\mathrm{ST}}=\sqrt{\frac{{\mathrm{\Σ}}_{i={L-T}_{-1}-2}^{L-1}{{\hat{s}}_{\mathrm{pre}}}^2\left(i\right)}{{\mathrm{\Σ}}_{i=L-2T_{-1}-2}^{L-T_{-1}-1}{{\hat{s}}_{\mathrm{pre}}}^2\left(i\right)}},$

其中，L为帧长，

为解码器合成的浊音起始帧的时域语音信号；

然后，将能量比值R_LT和R_ST加权平均后做适当的衰减得到：

g_p＝α_p(n)*(0.5*R_LT+0.5*R_ST)，(2)

103d，将由式(1)或式(2)估计得到的g_p进行限制后的值作为当前丢失帧第1子帧的自适应码本增益的推断值；具体对g_p的限制方法如下：

如果g_p大于某一上限阈值，例如1，取g_p为该上限阈值；

如果g_p小于某一下限阈值，例如0.7，取g_p为该下限阈值；

如果T_-1等于步骤102中推断得到的第一修正值T_c(进行取整处理后的T_c)，并且g_p大于另一上限阈值，例如0.95，取g_p为该另一上限阈值；

●对于当前丢失帧除第1子帧外的其他子帧，直接沿用当前丢失帧第1子帧推断得到的自适应码本增益g_p作为该子帧的自适应码本增益的推断值。

步骤104，根据推断得到的基音延时和自适应码本增益对第一丢失帧进行补偿，即使用推断得到的基音延时和自适应码本增益参与第一丢失帧的语音合成。

具体补偿方法可采用现有技术实现，本文不再赘述。

实施例2

本实施例描述浊音起始帧之后紧随的第一帧丢失后补偿的方法，与实施例1的区别在于增加了第二修正处理。

步骤201，与实施例1中步骤101相同；

步骤202，本步骤与步骤102的主要区别在于，当浊音起始帧不符合稳定性条件，使用第一修正量对T_-1进行修正后，对该修正后的T_-1进行第二修正处理，将修正处理后的结果作为最终的该第一丢失帧每个子帧的基音延时的推断值。

具体地，第二修正处理如下：

判断如果满足下述两条件，则取T_-1为基音延时中间值：条件1：修正后的T_-1(即T_c＝T_-1+f_s*f_m)与T_-1的差的绝对值大于第五阈值T_thr1，条件2：T_-1与浊音起始帧倒数第二个子帧的基音延时整数部分T_-2的差的绝对值小于第六阈值T_thr2；其中0＜第六阈值T_thr2＜第五阈值T_thr1；判断如果不满足上述任一条件，则将第五阈值T_thr1与第一修正量的最小值与T_-1的和作为基音延时中间值；

判断基音延时中间值如果大于最近正确接收的具有稳定基音延时的浊音帧的基音延时的x倍(x＞1，优选地x＝1.7)，则将基音延时中间值乘2作为第二修正处理后的结果，否则直接将基音延时中间值作为第二修正处理后的结果。优选地，在基音延时中间值大于最近正确接收的具有稳定基音延时的浊音帧的基音延时的x倍时，置倍频标识位为有效(例如1)，不大于时，置倍频标识位为无效(例如0)。

步骤203，本步骤与步骤103的主要区别在于，条件一为：浊音起始帧的基音周期内对数能量与长时基音周期内对数能量的差值小于第四阈值E_thr或者在基音延时推断中设置的倍频标识位为有效(例如为1)。满足条件一的处理，条件二，不满足条件一但满足条件二的处理，以及不满足条件一和条件二时的处理均与步骤103相同。

步骤204，与实施例1中步骤104相同。

以帧长为20ms，每帧分成4个5ms时长的子帧，采样率为16kHz的语音流为例对本实施例步骤202进行具体说明，在其它帧长和采样率条件下，下述方法同样适用。

步骤202a，判断浊音起始帧是否符合以下任一稳定性条件，如果是，执行步骤202b，如果不符合以下所有条件，执行步骤202c；

●浊音起始帧的基音同步的自相关系数R_T大于第一阈值R；

其中，0≤R≤1。优选地，R＞0.5。

对于任意一帧，基音同步自相关系数(pitch-synchronous normalized correlation)R_T为该帧最后两个连续基音周期的归一化自相关系数值，用于表示该连续两个基音周期的相似性特征，具体计算方法参见步骤102a，此处不再赘述。

●g_p，-1大于第二阈值G₁且g_p，-2大于第三阈值G₂；

其中，g_p，-1和g_p，-2分别为浊音起始帧的第4子帧(最后一子帧)和第3子帧(倒数第二子帧)的自适应码本增益；0＜G₁≤G₂＜1。

●T_-1等于T_-2；

其中，T_-1和T_-2分别为浊音起始帧的第4子帧和第3子帧的基音延时的整数部分。

步骤202b，如果浊音起始帧符合上述任一稳定性条件，则使用浊音起始帧的最后一个子帧(本实施例中为第4子帧)的基音延时的整数部分T_-1作为第一丢失帧每个子帧的基音延时，结束；

步骤202c，如果浊音起始帧不符合上述所有稳定性条件，则对当前丢失帧之前的M₁个(例如M₁＝4)子帧的基音延时的整数部分做如下消除基音延时的倍数的处理，即以当前丢失帧之前的最后一个子帧为基准，消除其他子帧的基因延时的倍数：

先取T’_-1为T_-1，T’_-1表示消除倍数后的基音延时；如果T_i小于等于T_-1，T’_i取T_i和2*T_i中与T_-1之差的绝对值最小的那个；反之如果T_i大于T_-1，T’_i取T_i和T_i/2中与T_-1之差的绝对值最小的那个，其中i＝[-2，-M₁]，其中M₁为待进行消除操作的第一丢失帧之前的子帧的个数。

步骤202d，确定基音延时的修正因子f_m和第一尺度因子f_s，取第一修正量为第一尺度因子和修正因子的乘积，即f_s*f_m，其中修正因子f_m取作

T’_-1的标准方差，第一尺度因子f_s表示修正因子的一种可信程度，具体取值如下：

$f_m=\sqrt{\frac{1}{M_1}{\mathrm{\Σ}}_{i=-1}^{-M_1}{(T_i^{\′}-{\stackrel{\‾}{T}}^{\′})}^2},$ 其中 ${\stackrel{\‾}{T}}^{\′}=\frac{1}{M_1}{\mathrm{\Σ}}_{i=-1}^{-M_1}{T}_i^{\′},$

f_s＝1-f_m/T_-1，

上式中T’_i为步骤202c中计算得到的T’_i。

步骤202e，使用浊音起始帧的最后一个子帧(本实施例中为第4子帧)的基音延时的整数部分T_-1作为第一丢失帧每个子帧的基音延时基本值，采用修正因子和第一尺度因子对基音延时基本值进行第一次修正处理得到第一修正值T_c＝T_-1+f_s*f_m；

步骤202f，对第一修正值进行如下第二修正处理：

如果T_c与T_-1的差的绝对值大于阈值第五T_thr1，并且T_-1与T_-2差的绝对值小于第六阈值T_thr2，则取T_c＝T_-1；否则(上述任一条件不满足)取T_c为T_-1加上f_s*f_m与T_thr1的最小值，即T_c＝T_-1+min(f_s*f_m，T_thr1)，优选地，取阈值0＜T_thr2＜T_thr1＜15；

将得到的T_c与最近正确接收的具有稳定基音延时的浊音帧的基音延时T_s作比较：若T_s大于x倍的T_c，优选x＝1.7，更新T_c＝T_c×2，置倍频标识位为1；否则，不更新T_c，置倍频标识位为0。

其中，T_s在信息帧正确接收时需要更新，更新方式如下：

设T₀，T₁，T₂和T₃分别为该帧第1、第2、第3和第4子帧的基音延时，如果当前正确接收帧为浊音类型帧，包括浊音过度帧，浊音帧，浊音起始帧，并且该帧有稳定的基音周期，例如满足条件：T₁不超过1.4倍的T₃，且T₃不超过1.4倍的T₁，且T₀与T₂差的绝对值不超过10，则更新T_s为T₃，否则不进行更新。

步骤202g，使用取整处理后的T_c作为当前丢失帧每一个子帧的基音延时，同时应保证取整处理后的T_c在基音延时的取值范围内，即：

如果T_c＞T_max，取T_c＝T_max；

如果T_c＜T_min，取T_c＝T_min；

其中，T_min和T_max分别为基音延时所允许的最小值和最大值。

实施例3

本实施例描述浊音起始帧之后紧随的两个以上帧丢失后补偿的方法，丢失帧中包括第一丢失帧以及第一丢失帧之后紧随的1个或2个以上丢失帧，如图4所示，包括以下步骤：

步骤301，采用实施例1或实施例2中的方法推断第一丢失帧的基音延时和自适应码本增益；

步骤302，对于第一丢失帧之后紧随的1个或2个以上丢失帧，使用当前丢失帧的前一丢失帧的基音延时作为当前丢失帧的基音延时；

步骤303，将当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益的推断值进行衰减、插值后得到的自适应码本增益值作为当前丢失帧中各子帧的自适应码本增益；

具体地，针对当前丢失帧，将经过衰减后的当前丢失帧的前一丢失帧(可能是第一丢失帧也可能是第一丢失帧之后的丢失帧)的最后一个子帧的自适应码本增益作为当前丢失帧的最后一个子帧的自适应码本增益g_p，end，当前丢失帧的其他子帧的自适应码本增益由处理后的g_p，end和g_p，end之间的线性插值得到，对g_p，end的处理用于使g_p，end向1靠近，例如处理后的g_p，end为g_p，end的算术平方根：

或者也可以为g_p，end的立方根。

步骤304，根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿。

以帧长为20ms，每帧分成4个5ms时长的子帧，采样率为16kHz的语音流为例对本步骤303进行具体说明，在其它帧长和采样率条件下，下述方法同样适用。

将当前丢失帧的4个子帧的自适应码本增益记为：g_p，0，g_p，1，g_p，2，g_p，3；将当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益推断值记为：g_p，-1；计算得到g_p，0，g_p，1，g_p，2，g_p，3的方法如下：

首先，令g_p，end＝α_p(n)*g_p，-1，其中，n表示当前连续丢帧的序号，α_p(n)表示与之对应的衰减系数；

然后，计算插值步长g_p，step为：

其中，4为当前丢失帧的总子帧数，在其他实施例中，如果每帧中的子帧数为其他值，则在采用本实施例方法进行计算时，用该其他值替换上述公式中的“4”；

这样，g_p，0，g_p，1，g_p，2，g_p，3的取值如下式：

g_p，0＝g_p，start+g_p，step，

g_p，1＝g_p，0+g_p，step，

g_p，2＝g_p，1+g_p，step，

g_p，3＝g_p，2+g_p，step＝g_p，end.

实施例4

本实施例描述如何对浊音起始帧之后首个正确接收到的帧进行补偿后的恢复处理，本实施例可以与上述实施例1或实施例2或实施例3结合使用，或者也可以与现有技术中的对浊音起始帧后丢帧的补偿方法结合使用。包括以下步骤：

步骤401，浊音起始帧正确接收，当浊音起始帧之后紧随的一个或两个以上帧丢失时，推断丢失帧的基音延时以及自适应码本增益，根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿；

本步骤可以采用实施例1或实施例2或实施例3中的方法实现，或者采用现有技术中的补偿方法实现。

步骤402，对于浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益g_p乘以第二尺度因子scale_fac得到每个子帧的新的自适应码本增益g_p＝scale_fac*g_p，使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

在进行语音合成时，使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成，得到当前帧的时域语音信号。

第二尺度因子scale_fac用来控制丢帧后第一个正确接收帧的自适应码本的贡献和合成语音的整体能量。当补偿时使用的基音延时与当前帧使用的基音延时形成跳跃时即说明补偿时使用的基音延时的可靠性不高，需要适当减小自适应码本贡献以减小错误的自适应码本带来的错误传递，同时通过控制第二尺度因子scale_fac使得丢帧后第一个正确接收帧的能量不会迅速增大，

如图5所示，本实施例中，每个子帧的第二尺度因子采用以下方法计算得到：

步骤a，将第二尺度因子赋初值1；

优选地，在步骤a、b之间还可以包括步骤a1：如果当前帧的前一丢帧的基音延时的推断值与当前帧解码得到的第一个子帧的基音延时T₀差的绝对值大于预设第八阈值，例如大于10，则根据丢帧前最后一个正确接收帧即浊音起始帧的基音同步自相关系数R_T的线性增函数重新计算新的第二尺度因子为a*R_T+b，通常只需取a＞0以保证第二尺度因子为关于R_T的增函数，同时可以对新的scale_fac进行范围限制，例如当scale_fac大于1时取1，小于0.5时取0.5。

步骤b，将第二尺度因子scale_fac(可能是步骤a中的第二尺度因子初值，也可能是步骤a1中的新的第二尺度因子)乘以当前子帧解码得到的自适应码本增益g_p，得到的值再乘以当前子帧的自适应码本，将得到的信号作为当前子帧的激励信号；

步骤c，使用该激励信号进行语音预先合成，合成后不更新各滤波器的状态值，根据预先合成的语音信号计算得到当前子帧的信号能量E；

步骤d，如果当前子帧的信号能量E和当前帧的前一帧中最后一个子帧的信号能量E_-1的比值的算术平方根超过第七阈值K(优选1＜K＜1.5)，将第二尺度因子更新为当前第二尺度因子的

倍：

如果不超过，则不更新。

能量E的计算公式如下：

其中，N为子帧长度，

为预先合成的语音信号或解码器合成的当前帧的前一帧的语音信号。

实施例5

本实施例描述实现实施例1方法的补偿装置，该装置包括第一基因延时补偿模块、第一自适应码本增益补偿模块和第一补偿模块，其中：

该第一基因延时补偿模块，在浊音起始帧正确接收，浊音起始帧之后紧随的第一帧丢失时，根据该浊音起始帧的稳定性条件选取相应的基音延时推断方式推断该第一丢失帧的基音延时；

该第一自适应码本增益补偿模块，根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益；

该第一补偿模块，用于根据推断得到的基音延时和自适应码本增益对第一丢失帧进行补偿。

优选地，该第一基因延时补偿模块是用于采用以下方式根据该浊音起始帧的稳定性条件选取相应的基音延时推断方式推断该第一丢失帧的基音延时：

如果浊音起始帧满足以下任一条件，则采用以下基音延时推断方式推断该第一丢失帧的基音延时：使用该浊音起始帧的最后一个子帧的基音延时的整数部分作为该第一丢失帧每个子帧的基音延时的推断值；

如果浊音起始帧不满足以下所有条件，则采用以下基音延时推断方式推断该第一丢失帧的基音延时：使用第一修正量对该浊音起始帧的最后一个子帧的基音延时的整数部分进行修正得到第一修正值，将第一修正值作为该第一丢失帧每个子帧的基音延时的推断值；

上述条件为：

浊音起始帧的基音同步的自相关系数大于第一阈值；

浊音起始帧的最后一个子帧的自适应码本增益大于第二阈值，且该浊音起始帧的倒数第二个子帧的自适应码本增益大于第三阈值；

浊音起始帧的最后一个子帧和倒数第二个子帧的基音延时的整数部分相等。

如图6所示，该补偿装置还包括第一修正量计算模块，其用于获得所述第一修正量，该第一修正量计算模块可以单独设置，也可以设置在第一基音延时补偿模块中。该第一修正量计算模块包括消除单元、修正因子计算单元、第一尺度因子计算单元和第一修正量计算单元，其中：

该消除单元，用于以第一丢失帧之前的最后一个子帧为基准，消除第一丢失帧之前的两个以上子帧的基因延时的倍数；

该修正因子计算单元，用于采用以下方式确定基音延时的修正因子：修正因子为：消除基音延时倍数后的第一丢失帧之前的两个以上子帧的基音延时整数部分的标准方差；

该第一尺度因子计算单元，用于采用以下方式确定基因延时的第一尺度因子：第一尺度因子为：1减去修正因子与浊音起始帧的最后一个子帧的基音延时的整数部分的比值；

该第一修正量计算单元，用于采用以下方式计算该第一修正量：第一修正量为：所述修正因子和第一尺度因子的乘积。

优选地，该消除单元是用于采用以下方式以第一丢失帧之前的最后一个子帧为基准，消除第一丢失帧之前的两个以上子帧的基因延时的倍数：

先取T’_-1为T_-1，其中，T’_-1表示消除倍数后的基音延时，T_-1为该浊音起始帧的最后一个子帧的基音延时的整数部分；如果T_i小于等于T_-1，消除单元取T_i和2*T_i中与T_-1之差的绝对值最小的那个作为T’_i；如果T_i大于T_-1，消除单元取T_i和T_i/2中与T_-1之差的绝对值最小的那个作为T’_i，其中i＝[-2，-M₁]，其中M₁为待进行消除操作的第一丢失帧之前的子帧的个数。

优选地，该第一自适应码本增益补偿模块是用于采用以下方式根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益：

第一自适应码本增益补偿模块判断如果满足以下条件一：浊音起始帧的基音周期内对数能量与长时基音周期内对数能量的差值小于第四阈值，则将衰减后的第一丢失帧之前一个或两个以上子帧的自适应码本增益的中位数的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

第一自适应码本增益补偿模块判断如果不满足条件一，但满足以下条件二：浊音起始帧中最后一个子帧的自适应码本增益在预定范围内，则将对其衰减后的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

第一自适应码本增益补偿模块判断如果不满足条件一也不满足条件二，则计算能量比值R_LT和R_ST，使用衰减后的R_LT和R_ST的加权平均值作为第一丢失帧中每个子帧的自适应码本增益的推断值；其中，R_LT表示解码器合成的浊音起始帧的时域语音信号的除第一个基音周期外的能量与除最后一个基音周期外的能量的比值；R_ST表示表示解码器合成的浊音起始帧的时域语音信号的最后一个基音周期的能量与最后一个基音周期的前一个基音周期的能量的比值，所述基音周期不超过帧长的一半。

实施例6

本实施例描述实现实施例2方法的补偿装置，如图7所示，该装置在实施例5中装置的基础上增加了一个基因延时补偿修正模块，其用于在得到第一修正值之后，对该第一修正值进行第二修正处理，将修正处理后的结果作为最终的该第一丢失帧每个子帧的基音延时的推断值。

进一步地，该基因延时补偿修正模块是用于采用以下方式对该第一修正值进行第二修正处理：

基因延时补偿修正模块判断如果满足下述两条件，则取该浊音起始帧的最后一个子帧的基音延时的整数部分为基音延时中间值：条件1：第一修正值与该浊音起始帧的最后一个子帧的基音延时的整数部分的差的绝对值大于第五阈值T_thr1，条件2：该浊音起始帧的最后一个子帧的基音延时的整数部分与浊音起始帧倒数第二个子帧的基音延时整数部分的差的绝对值小于第六阈值；其中0＜第六阈值＜第五阈值；基因延时补偿修正模块判断如果不满足上述任一条件，则取第一修正量与第五阈值的最小值与该浊音起始帧的最后一个子帧的基音延时的整数部分的和为基音延时中间值；

基因延时补偿修正模块判断基音延时中间值如果大于最近正确接收的具有稳定基音延时的浊音帧的基音延时的x倍，x＞1，则将基音延时中间值乘2作为第二修正处理后的结果，同时置倍频标识位为有效；若基音延时中间值不大于最近正确接收的具有稳定基音延时的浊音帧的基音延时的x倍，则将该基音延时中间值作为第二修正处理后的结果，同时置倍频标识位为无效。

在本实施例中，第一自适应码本增益补偿模块是用于采用以下方式根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益：

第一自适应码本增益补偿模块判断如果满足以下条件一：浊音起始帧的基音周期内对数能量与长时基音周期内对数能量的差值小于第四阈值或者在基音延时推断中设置的倍频标识位为有效，则将衰减后的第一丢失帧之前一个或两个以上子帧的自适应码本增益的中位数的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

第一自适应码本增益补偿模块判断如果不满足条件一，但满足以下条件二：浊音起始帧中最后一个子帧的自适应码本增益在预定范围内，则将对其衰减后的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

第一自适应码本增益补偿模块判断如果不满足条件一也不满足条件二，则计算能量比值R_LT和R_ST，使用衰减后的R_LT和R_ST的加权平均值作为第一丢失帧中每个子帧的自适应码本增益的推断值；其中，R_LT表示解码器合成的浊音起始帧的时域语音信号的除第一个基音周期外的能量与除最后一个基音周期外的能量的比值；R_ST表示表示解码器合成的浊音起始帧的时域语音信号的最后一个基音周期的能量与最后一个基音周期的前一个基音周期的能量的比值，所述基音周期不超过帧长的一半。

实施例7

本实施例描述实现实施例3方法的补偿装置，如图8所示，该装置在实施例5或者实施例6装置基础上增加了第二基音延时补偿模块、第二自适应码本增益补偿模块和第二补偿模块，其中：

该第二基音延时补偿模块，用于对于第一丢失帧之后紧随的一个或两个以上丢失帧，使用当前丢失帧的前一丢失帧的基音延时的推断值作为当前丢失帧的基音延时；

该第二自适应码本增益补偿模块，用于将当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益的推断值进行衰减、插值后得到的自适应码本增益值作为当前丢失帧中各子帧的自适应码本增益；

该第二补偿模块，用于根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿。

优选地，该第二自适应码本增益补偿模块是用于采用以下方式将当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益的推断值进行衰减、插值后得到的自适应码本增益值作为当前丢失帧中各子帧的自适应码本增益：

第二自适应码本增益补偿模块将经过衰减后的当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益作为当前丢失帧的最后一个子帧的自适应码本增益(g_p，end)，当前丢失帧的其他子帧的自适应码本增益由处理后的g_p，end和g_p，end之间的线性插值得到，对g_p，end的处理用于使g_p，end向1靠近。

实施例8

本实施例描述实现实施例4方法的补偿装置，如图9所示，该装置包括补偿模块和自适应码本增益调整模块，其中：

该补偿模块，用于在浊音起始帧正确接收，当浊音起始帧之后紧随的一个或两个以上帧丢失时，推断丢失帧的基音延时以及自适应码本增益，根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿；该补偿模块可以采用如实施例5或实施例6或实施例7中所述的补偿装置实现；

该自适应码本增益调整模块，对浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益乘以该子帧的第二尺度因子得到每个子帧的新的自适应码本增益，使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

优选地，补偿装置还包括第二尺度因子计算模块，其用于计算每个子帧的第二尺度因子，该第二尺度因子计算模块可以单独设置，也可以设置在自适应码本增益调整模块中。如图10所示，该第二尺度因子计算模块包括激励信号获取单元、预合成单元和第二尺度因子生成单元，其中：

该激励信号获取单元，用于将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益，再乘以当前子帧的自适应码本，将得到的信号作为当前子帧的激励信号；

该预合成单元，用于使用所述激励信号进行语音预先合成，根据预先合成的语音信号计算得到当前子帧的信号能量；

该第二尺度因子生成单元，用于在判断当前子帧的信号能量和当前帧的前一帧最后一个子帧的信号能量的比值的算术平方根超过第七阈值时，将第二尺度因子更新为当前第二尺度因子的Q倍，Q为所述算术平方根与第七阈值的乘积。

优选地，该激励信号获取单元，还用于在将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益之前，判断当前帧的前一丢帧的基音延时的推断值与当前帧解码得到的第一个子帧的基音延时差的绝对值大于第八阈值时，根据浊音起始帧的基音同步自相关系数的线性增函数重新计算新的第二尺度因子，用新的第二尺度因子代替第二尺度因子初值。

本文实施例中所使用阈值为经验值，可通过仿真得到。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (39)

1.一种浊音起始帧后丢帧的补偿方法，其特征在于，所述方法包括：

浊音起始帧正确接收，当浊音起始帧之后紧随的第一帧丢失时，根据该浊音起始帧的稳定性条件选取相应的基音延时推断方式推断该第一丢失帧的基音延时；根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益；根据推断得到的基音延时和自适应码本增益对第一丢失帧进行补偿。

2.如权利要求1所述的方法，其特征在于，

所述根据该浊音起始帧的稳定性条件选取相应的基音延时推断方式推断该第一丢失帧的基音延时，包括：

如果浊音起始帧符合稳定性条件，则采用以下基音延时推断方式推断该第一丢失帧的基音延时：使用该浊音起始帧的最后一个子帧的基音延时的整数部分作为该第一丢失帧每个子帧的基音延时的推断值；

如果浊音起始帧不符合稳定性条件，则采用以下基音延时推断方式推断该第一丢失帧的基音延时：使用第一修正量对该浊音起始帧的最后一个子帧的基音延时的整数部分进行修正得到第一修正值，将第一修正值作为该第一丢失帧每个子帧的基音延时的推断值。

3.如权利要求2所述的方法，其特征在于，

采用以下方式判断浊音起始帧是否符合稳定性条件：

满足以下任一条件的浊音起始帧符合所述稳定性条件，不满足以下所有条件的浊音起始帧不符合所述稳定性条件：

浊音起始帧的基音同步的自相关系数大于第一阈值；

浊音起始帧的最后一个子帧的自适应码本增益大于第二阈值，且该浊音起始帧的倒数第二个子帧的自适应码本增益大于第三阈值；

浊音起始帧的最后一个子帧和倒数第二个子帧的基音延时的整数部分相等。

4.如权利要求2所述的方法，其特征在于，

所述第一修正量采用以下方法获得：

以第一丢失帧之前的最后一个子帧为基准，消除第一丢失帧之前的两个以上子帧的基因延时的倍数，利用消除基音延时的倍数后的第一丢失帧之前的两个以上子帧的基音延时的整数部分确定基音延时的修正因子，用该修正因子和该浊音起始帧的最后一个子帧的基音延时的整数部分确定基因延时的第一尺度因子，所述第一修正量为该修正因子和第一尺度因子的乘积。

5.如权利要求4所述的方法，其特征在于，

所述修正因子为：消除基音延时倍数后的第一丢失帧之前的两个以上子帧的基音延时整数部分的标准方差；

所述第一尺度因子为：1减去修正因子与浊音起始帧的最后一个子帧的基音延时的整数部分的比值。

6.如权利要求4或5所述的方法，其特征在于，

所述以第一丢失帧之前的最后一个子帧为基准，消除第一丢失帧之前的两个以上子帧的基因延时的倍数，包括：

先取T’_-1为T_-1，其中，T’_-1表示消除倍数后的基音延时，T_-1为该浊音起始帧的最后一个子帧的基音延时的整数部分；

如果T_i小于等于T_-1，T’_i取T_i和2*T_i中与T_-1之差的绝对值最小的那个；反之如果T_i大于T_-1，T’_i取T_i和T_i/2中与T_-1之差的绝对值最小的那个，其中i＝[-2，-M₁]，其中M₁为待进行消除操作的第一丢失帧之前的子帧的个数。

7.如权利要求2所述的方法，其特征在于，

所述根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益，包括：

如果满足以下条件一：浊音起始帧的基音周期内对数能量与长时基音周期内对数能量的差值小于第四阈值，则将衰减后的第一丢失帧之前一个或两个以上子帧的自适应码本增益的中位数的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

如果不满足条件一，但满足以下条件二：浊音起始帧中最后一个子帧的自适应码本增益在预定范围内，则将对其衰减后的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

如果不满足条件一也不满足条件二，则计算能量比值R_LT和R_ST，使用衰减后的R_LT和R_ST的加权平均值作为第一丢失帧中每个子帧的自适应码本增益的推断值；其中，R_LT表示解码器合成的浊音起始帧的时域语音信号的除第一个基音周期外的能量与除最后一个基音周期外的能量的比值；R_ST表示表示解码器合成的浊音起始帧的时域语音信号的最后一个基音周期的能量与最后一个基音周期的前一个基音周期的能量的比值，所述基音周期不超过帧长的一半。

8.如权利要求2所述的方法，其特征在于，

得到第一修正值之后，所述方法还包括：

对该第一修正值进行第二修正处理，将修正处理后的结果作为最终的该第一丢失帧每个子帧的基音延时的推断值。

9.如权利要求8所述的方法，其特征在于，所述对该第一修正值进行第二修正处理，包括：

判断如果满足下述两条件，则取该浊音起始帧的最后一个子帧的基音延时的整数部分为基音延时中间值：条件1：第一修正值与该浊音起始帧的最后一个子帧的基音延时的整数部分的差的绝对值大于第五阈值，条件2：该浊音起始帧的最后一个子帧的基音延时的整数部分与浊音起始帧倒数第二个子帧的基音延时整数部分的差的绝对值小于第六阈值；其中0＜第六阈值＜第五阈值；判断如果不满足上述任一条件，则取第一修正量与第五阈值的最小值与该浊音起始帧的最后一个子帧的基音延时的整数部分的和为基音延时中间值；

判断基音延时中间值如果大于最近正确接收的具有稳定基音延时的浊音帧的基音延时的x倍，x＞1，则将基音延时中间值乘2作为第二修正处理后的结果，同时置倍频标识位为有效；若基音延时中间值不大于最近正确接收的具有稳定基音延时的浊音帧的基音延时的x倍，则将该基音延时中间值作为第二修正处理后的结果，同时置倍频标识位为无效。

10.如权利要求9所述的方法，其特征在于，

所述根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益，包括：

如果满足以下条件一：浊音起始帧的基音周期内对数能量与长时基音周期内对数能量的差值小于第四阈值或者在基音延时推断中设置的倍频标识位为有效，则将衰减后的第一丢失帧之前一个或两个以上子帧的自适应码本增益的中位数的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

如果不满足条件一，但满足以下条件二：浊音起始帧中最后一个子帧的自适应码本增益在预定范围内，则将对其衰减后的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

如果不满足条件一也不满足条件二，则计算能量比值R_LT和R_ST，使用衰减后的R_LT和R_ST的加权平均值作为第一丢失帧中每个子帧的自适应码本增益的推断值；其中，R_LT表示解码器合成的浊音起始帧的时域语音信号的除第一个基音周期外的能量与除最后一个基音周期外的能量的比值；R_ST表示表示解码器合成的浊音起始帧的时域语音信号的最后一个基音周期的能量与最后一个基音周期的前一个基音周期的能量的比值，所述基音周期不超过帧长的一半。

11.如权利要求1或7或10所述的方法，其特征在于，所述方法还包括：

对于第一丢失帧之后紧随的一个或两个以上丢失帧，使用当前丢失帧的前一丢失帧的基音延时的推断值作为当前丢失帧的基音延时；将当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益的推断值进行衰减、插值后得到的自适应码本增益值作为当前丢失帧中各子帧的自适应码本增益；根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿。

12.如权利要求11所述的方法，其特征在于，

所述将当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益的推断值进行衰减、插值后得到的自适应码本增益值作为当前丢失帧中各子帧的自适应码本增益，包括：

将经过衰减后的当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益作为当前丢失帧的最后一个子帧的自适应码本增益(g_p，end)，当前丢失帧的其他子帧的自适应码本增益由处理后的g_p，end和g_p，end之间的线性插值得到，对g_p，end的处理用于使g_p，end向1靠近。

13.如权利要求12所述的方法，其特征在于，

所述处理后的g_p，end为g_p，end的算术平方根。

14.如权利要求1所述的方法，其特征在于，所述方法还包括：

对于浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益乘以该子帧的第二尺度因子得到每个子帧的新的自适应码本增益，使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

15.如权利要求11所述的方法，其特征在于，所述方法还包括：

对于浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益乘以该子帧的第二尺度因子得到每个子帧的新的自适应码本增益，使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

16.如权利要求14或15所述的方法，其特征在于，每个子帧的第二尺度因子采用以下方法计算：

将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益，再乘以当前子帧的自适应码本，将得到的信号作为当前子帧的激励信号；

使用所述激励信号进行语音预先合成，根据预先合成的语音信号计算得到当前子帧的信号能量；

如果当前子帧的信号能量和当前帧的前一帧最后一个子帧的信号能量的比值的算术平方根超过第七阈值，将第二尺度因子更新为当前第二尺度因子的Q倍，Q为所述算术平方根与第七阈值的乘积。

17.如权利要求16所述的方法，其特征在于，

将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益之前，所述方法还包括：

如果当前帧的前一丢帧的基音延时的推断值与当前帧解码得到的第一个子帧的基音延时差的绝对值大于第八阈值，则根据浊音起始帧的基音同步自相关系数的线性增函数重新计算新的第二尺度因子，用该新的第二尺度因子代替第二尺度因子初值。

18.一种浊音起始帧后帧的补偿方法，其特征在于，所述方法包括：

浊音起始帧正确接收，当浊音起始帧之后紧随的一个或两个以上帧丢失时，推断丢失帧的基音延时以及自适应码本增益，根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿；

对浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益乘以该子帧的第二尺度因子得到每个子帧的新的自适应码本增益，使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

19.如权利要求18所述的方法，其特征在于，每个子帧的第二尺度因子采用以下方法计算：

将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益，再乘以当前子帧的自适应码本，将得到的信号作为当前子帧的激励信号；

使用所述激励信号进行语音预先合成，根据预先合成的语音信号计算得到当前子帧的信号能量；

如果当前子帧的信号能量和当前帧的前一帧最后一个子帧的信号能量E_-1的比值的算术平方根超过第七阈值，将第二尺度因子更新为当前第二尺度因子的Q倍，Q为所述算术平方根与第七阈值的乘积。

20.如权利要求19所述的方法，其特征在于，

将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益之前，所述方法还包括：

如果当前帧的前一丢帧的基音延时的推断值与当前帧解码得到的第一个子帧的基音延时差的绝对值大于第八阈值，则根据浊音起始帧的基音同步自相关系数的线性增函数重新计算新的第二尺度因子，用该新的第二尺度因子代替第二尺度因子初值。

21.如权利要求18或19或20所述的方法，其特征在于，

所述推断丢失帧的基音延时以及自适应码本增益，包括：

当浊音起始帧之后紧随的第一帧丢失时，采用如权利要求1-10中任一权利要求所述的方法，推断浊音起始帧之后紧随的第一丢失帧的基音延时和自适应码本增益；或者

当浊音起始帧之后紧随的第一帧丢失且第一丢失帧之后紧随的一个或两个以上帧丢失时，采用如权利要求1-10中任一权利要求所述的方法，推断浊音起始帧之后紧随的第一丢失帧的基音延时和自适应码本增益；采用如权利要求11-17中任一权利要求所述的方法，推断第一丢失帧之后紧随的一个或两个以上丢失帧的基音延时和自适应码本增益。

22.一种浊音起始帧后丢帧的补偿装置，其特征在于，所述装置包括第一基因延时补偿模块、第一自适应码本增益补偿模块和第一补偿模块，其中：

所述第一基因延时补偿模块，在浊音起始帧正确接收，浊音起始帧之后紧随的第一帧丢失时，根据该浊音起始帧的稳定性条件选取相应的基音延时推断方式推断该第一丢失帧的基音延时；

所述第一自适应码本增益补偿模块，根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益；

所述第一补偿模块，用于根据推断得到的基音延时和自适应码本增益对第一丢失帧进行补偿。

23.如权利要求22所述的补偿装置，其特征在于，

所述第一基因延时补偿模块是用于采用以下方式根据该浊音起始帧的稳定性条件选取相应的基音延时推断方式推断该第一丢失帧的基音延时：

如果浊音起始帧满足以下任一条件，则采用以下基音延时推断方式推断该第一丢失帧的基音延时：使用该浊音起始帧的最后一个子帧的基音延时的整数部分作为该第一丢失帧每个子帧的基音延时的推断值；

如果浊音起始帧不满足以下所有条件，则采用以下基音延时推断方式推断该第一丢失帧的基音延时：使用第一修正量对该浊音起始帧的最后一个子帧的基音延时的整数部分进行修正得到第一修正值，将第一修正值作为该第一丢失帧每个子帧的基音延时的推断值；

所述条件为：

浊音起始帧的基音同步的自相关系数大于第一阈值；

浊音起始帧的最后一个子帧的自适应码本增益大于第二阈值，且该浊音起始帧的倒数第二个子帧的自适应码本增益大于第三阈值；

浊音起始帧的最后一个子帧和倒数第二个子帧的基音延时的整数部分相等。

24.如权利要求23所述的补偿装置，其特征在于，

所述补偿装置还包括第一修正量计算模块，其用于获得所述第一修正量，所述第一修正量计算模块包括消除单元、修正因子计算单元、第一尺度因子计算单元和第一修正量计算单元，其中：

所述消除单元，用于以第一丢失帧之前的最后一个子帧为基准，消除第一丢失帧之前的两个以上子帧的基因延时的倍数；

所述修正因子计算单元，用于采用以下方式确定基音延时的修正因子：修正因子为：消除基音延时倍数后的第一丢失帧之前的两个以上子帧的基音延时整数部分的标准方差；

所述第一尺度因子计算单元，用于采用以下方式确定基因延时的第一尺度因子：第一尺度因子为：1减去修正因子与浊音起始帧的最后一个子帧的基音延时的整数部分的比值；

所述第一修正量计算单元，用于采用以下方式计算所述第一修正量：第一修正量为：所述修正因子和第一尺度因子的乘积。

25.如权利要求24所述的补偿装置，其特征在于，

所述消除单元是用于采用以下方式以第一丢失帧之前的最后一个子帧为基准，消除第一丢失帧之前的两个以上子帧的基因延时的倍数：

先取T’_-1为T_-1，其中，T’_-1表示消除倍数后的基音延时，T_-1为该浊音起始帧的最后一个子帧的基音延时的整数部分；如果T_i小于等于T_-1，所述消除单元取T_i和2*T_i中与T_-1之差的绝对值最小的那个作为T’_i；如果T_i大于T_-1，所述消除单元取T_i和T_i/2中与T_-1之差的绝对值最小的那个作为T’_i，其中i＝[-2，-M₁]，其中M₁为待进行消除操作的第一丢失帧之前的子帧的个数。

26.如权利要求23所述的补偿装置，其特征在于，

所述第一自适应码本增益补偿模块是用于采用以下方式根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益：

所述第一自适应码本增益补偿模块判断如果满足以下条件一：浊音起始帧的基音周期内对数能量与长时基音周期内对数能量的差值小于第四阈值，则将衰减后的第一丢失帧之前一个或两个以上子帧的自适应码本增益的中位数的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

所述第一自适应码本增益补偿模块判断如果不满足条件一，但满足以下条件二：浊音起始帧中最后一个子帧的自适应码本增益在预定范围内，则将对其衰减后的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

所述第一自适应码本增益补偿模块判断如果不满足条件一也不满足条件二，则计算能量比值R_LT和R_ST，使用衰减后的R_LT和R_ST的加权平均值作为第一丢失帧中每个子帧的自适应码本增益的推断值；其中，R_LT表示解码器合成的浊音起始帧的时域语音信号的除第一个基音周期外的能量与除最后一个基音周期外的能量的比值；R_ST表示表示解码器合成的浊音起始帧的时域语音信号的最后一个基音周期的能量与最后一个基音周期的前一个基音周期的能量的比值，所述基音周期不超过帧长的一半。

27.如权利要求23所述的补偿装置，其特征在于，

所述补偿装置还包括：基因延时补偿修正模块，其用于在得到第一修正值之后，对该第一修正值进行第二修正处理，将修正处理后的结果作为最终的该第一丢失帧每个子帧的基音延时的推断值。

28.如权利要求27所述的补偿装置，其特征在于，

所述基因延时补偿修正模块是用于采用以下方式对该第一修正值进行第二修正处理：

所述基因延时补偿修正模块判断如果满足下述两条件，则取该浊音起始帧的最后一个子帧的基音延时的整数部分为基音延时中间值：条件1：第一修正值与该浊音起始帧的最后一个子帧的基音延时的整数部分的差的绝对值大于第五阈值，条件2：该浊音起始帧的最后一个子帧的基音延时的整数部分与浊音起始帧倒数第二个子帧的基音延时整数部分的差的绝对值小于第六阈值；其中0＜第六阈值＜第五阈值；所述基因延时补偿修正模块判断如果不满足上述任一条件，则取第一修正量与第五阈值的最小值与该浊音起始帧的最后一个子帧的基音延时的整数部分的和为基音延时中间值；

所述基因延时补偿修正模块判断基音延时中间值如果大于最近正确接收的具有稳定基音延时的浊音帧的基音延时的x倍，x＞1，则将基音延时中间值乘2作为第二修正处理后的结果，同时置倍频标识位为有效；若基音延时中间值不大于最近正确接收的具有稳定基音延时的浊音帧的基音延时的x倍，则将该基音延时中间值作为第二修正处理后的结果，同时置倍频标识位为无效。

29.如权利要求28所述的补偿装置，其特征在于，

所述第一自适应码本增益补偿模块是用于采用以下方式根据第一丢失帧前接收的一个或两个以上子帧的自适应码本增益推断该第一丢失帧的自适应码本增益，或者根据浊音起始帧的时域语音信号的能量变化推断该第一丢失帧的自适应码本增益：

所述第一自适应码本增益补偿模块判断如果满足以下条件一：浊音起始帧的基音周期内对数能量与长时基音周期内对数能量的差值小于第四阈值或者在基音延时推断中设置的倍频标识位为有效，则将衰减后的第一丢失帧之前一个或两个以上子帧的自适应码本增益的中位数的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

所述第一自适应码本增益补偿模块判断如果不满足条件一，但满足以下条件二：浊音起始帧中最后一个子帧的自适应码本增益在预定范围内，则将对其衰减后的值作为第一丢失帧中每个子帧的自适应码本增益的推断值；

所述第一自适应码本增益补偿模块判断如果不满足条件一也不满足条件二，则计算能量比值R_LT和R_ST，使用衰减后的R_LT和R_ST的加权平均值作为第一丢失帧中每个子帧的自适应码本增益的推断值；其中，R_LT表示解码器合成的浊音起始帧的时域语音信号的除第一个基音周期外的能量与除最后一个基音周期外的能量的比值；R_ST表示表示解码器合成的浊音起始帧的时域语音信号的最后一个基音周期的能量与最后一个基音周期的前一个基音周期的能量的比值，所述基音周期不超过帧长的一半。

30.如权利要求22或26或29所述的补偿装置，其特征在于，

所述补偿装置还包括第二基音延时补偿模块、第二自适应码本增益补偿模块和第二补偿模块，其中：

所述第二基音延时补偿模块，用于对于第一丢失帧之后紧随的一个或两个以上丢失帧，使用当前丢失帧的前一丢失帧的基音延时的推断值作为当前丢失帧的基音延时；

所述第二自适应码本增益补偿模块，用于将当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益的推断值进行衰减、插值后得到的自适应码本增益值作为当前丢失帧中各子帧的自适应码本增益；

所述第二补偿模块，用于根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿。

31.如权利要求30所述的补偿装置，其特征在于，

所述第二自适应码本增益补偿模块是用于采用以下方式将当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益的推断值进行衰减、插值后得到的自适应码本增益值作为当前丢失帧中各子帧的自适应码本增益：

所述第二自适应码本增益补偿模块将经过衰减后的当前丢失帧的前一丢失帧的最后一个子帧的自适应码本增益作为当前丢失帧的最后一个子帧的自适应码本增益(g_p，end)，当前丢失帧的其他子帧的自适应码本增益由处理后的g_p，end和g_p，end之间的线性插值得到，对g_p，end的处理用于使g_p，end向1靠近。

32.如权利要求31所述的补偿装置，其特征在于，

所述处理后的g_p，end为g_p，end的算术平方根。

33.如权利要求22所述的补偿装置，其特征在于，

所述补偿装置还包括自适应码本增益调整模块和第三补偿模块，其中：

所述适应码本增益调整模块，用于对于浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益乘以该子帧的第二尺度因子得到每个子帧的新的自适应码本增益；

所述第三补偿模块，用于使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

34.如权利要求30所述的补偿装置，其特征在于，

所述补偿装置还包括自适应码本增益调整模块和第三补偿模块，其中：

所述适应码本增益调整模块，用于对于浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益乘以该子帧的第二尺度因子得到每个子帧的新的自适应码本增益；

所述第三补偿模块，用于使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

35.如权利要求33或34所述的补偿装置，其特征在于，

所述补偿装置还包括第二尺度因子计算模块，其用于计算每个子帧的第二尺度因子，包括激励信号获取单元、预合成单元和第二尺度因子生成单元，其中：

所述激励信号获取单元，用于将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益，再乘以当前子帧的自适应码本，将得到的信号作为当前子帧的激励信号；

所述预合成单元，用于使用所述激励信号进行语音预先合成，根据预先合成的语音信号计算得到当前子帧的信号能量；

所述第二尺度因子生成单元，用于在判断当前子帧的信号能量和当前帧的前一帧最后一个子帧的信号能量的比值的算术平方根超过第七阈值时，将第二尺度因子更新为当前第二尺度因子的Q倍，Q为所述算术平方根与第七阈值的乘积。

36.如权利要求35所述的补偿装置，其特征在于，

所述激励信号获取单元，还用于在将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益之前，判断当前帧的前一丢帧的基音延时的推断值与当前帧解码得到的第一个子帧的基音延时差的绝对值大于第八阈值时，根据浊音起始帧的基音同步自相关系数的线性增函数重新计算新的第二尺度因子，用新的第二尺度因子代替第二尺度因子初值。

37.一种浊音起始帧后帧的补偿装置，其特征在于，所述装置包括补偿模块和自适应码本增益调整模块，其中：

所述补偿模块，用于在浊音起始帧正确接收，当浊音起始帧之后紧随的一个或两个以上帧丢失时，推断丢失帧的基音延时以及自适应码本增益，根据推断得到的基音延时和自适应码本增益对丢失帧进行补偿；

所述自适应码本增益调整模块，对浊音起始帧之后首个正确接收的帧，将该帧中每个子帧解码得到的自适应码本增益乘以该子帧的第二尺度因子得到每个子帧的新的自适应码本增益，使用新的自适应码本增益代替解码得到的自适应码本增益参与语音合成。

38.如权利要求37所述的补偿装置，其特征在于，

所述补偿装置还包括第二尺度因子计算模块，其用于计算每个子帧的第二尺度因子，包括激励信号获取单元、预合成单元和第二尺度因子生成单元，其中：

所述激励信号获取单元，用于将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益，再乘以当前子帧的自适应码本，将得到的信号作为当前子帧的激励信号；

所述预合成单元，用于使用所述激励信号进行语音预先合成，根据预先合成的语音信号计算得到当前子帧的信号能量；

所述第二尺度因子生成单元，用于在判断当前子帧的信号能量和当前帧的前一帧最后一个子帧的信号能量的比值的算术平方根超过第七阈值时，将第二尺度因子更新为当前第二尺度因子的Q倍，Q为所述算术平方根与第七阈值的乘积。

39.如权利要求38所述的补偿装置，其特征在于，

所述激励信号获取单元，还用于在将第二尺度因子初值乘以当前子帧解码得到的自适应码本增益之前，判断当前帧的前一丢帧的基音延时的推断值与当前帧解码得到的第一个子帧的基音延时差的绝对值大于第八阈值时，根据浊音起始帧的基音同步自相关系数的线性增函数重新计算新的第二尺度因子，用新的第二尺度因子代替第二尺度因子初值。

Images