CN101616059A - 一种丢包隐藏的方法和装置 - Google Patents

Abstract

本发明公开了一种丢包隐藏的方法和装置，属于网络通信领域。所述方法包括：根据第一解码信号生成第一合成信号；确定所述第一合成信号与第二解码信号的相位差；根据所述相位差，确定插值间隔逐渐变化的插值时刻点，对所述第一合成信号进行波形压扩得到第一重构信号；使用所述第一重构信号重构介于所述第一解码信号与所述第二解码信号之间的丢失信号。采用本发明的技术方案，避免了丢失帧内部的基音周期频率不连续的问题，使恢复的音频信号的质量得以提高，避免了丢失的信号较长或帧长较长时造成的失真问题。

Description

一种丢包隐藏的方法和装置

技术领域

本发明涉及网络通信领域，特别涉及一种网络通信中进行丢包隐藏的方法和装置。

背景技术

IP网络最初是为传输包含较大的包且不需要实时可靠传送的数据流而设计的，因而对于数据传输的实时性和可靠性要求不高。而声音的传输需要实时可靠地传送较小的包，在VoIP(Voice Over Internet Protocal，网际音频协议)系统中，传送的包较小，当一个语音包在传输过程中被丢失时，通常没有时间重新传送丢失的包。而当一个语音包经过了一段较长的路由而在需要播放时不能及时到达，这个包也就失去了存在的意义。因此，语音包不能到达或不能及时到达，都被认为丢失了。网络丢包是网络传输中语音服务质量下降的最主要的原因。如果没有有效的语音丢包恢复或隐藏技术，即使是设计、管理得再好的IP网络也不能提供长话级品质的通信。设计良好的解决丢包问题的技术，能大大提高语音传输质量。

一般来讲，清音从波形上看，杂乱无章，而浊音在波形上表现出周期性。对于浊音，现有技术中大都采用以基音重复的的丢包隐藏方法。基音重复的丢包隐藏方法是一种基于收端的处理技术，它根据语音的特点对丢失的音频帧进行补偿。首先利用丢失帧的之前的历史信号来估计出基音周期T₀，这通常采用自相关的方法获得，然后通过重复复制丢失帧之前长度为T₀的一段信号来重构丢失帧所对应的信号。如图1所示，帧2为丢失帧(采用虚线表示)，帧长为L，帧1和帧3都是完好帧(对应的信号用实线表示)，其中在丢失帧(帧2)之前的信号，即帧1包括帧1之前的信号，称为历史信号；在丢失帧之后的信号，即帧3包括帧3以后的信号，称为当前帧信号。假定已经获得历史信号所对应的基音周期为T₀，对应区间为区间1；那么根据浊音的特点，就可以把历史信号最后一个基音(对应基音周期为T₀)所对应的信号(即区间1对应的信号)重复拷贝到帧2，以重建丢失帧所对应的信号。如果使用一个基音周期长度的信号不足以把丢失帧填满(即T₀＜L)，则需要重复拷贝区间1中的信号进行填充。例如，在图1中，需要两个基音周期才能填满丢失帧，在拷贝区间1中的信号到区间2之后，还要再次拷贝区间1中的信号到区间3。而对于清音信号，则可以采用简单重复上一帧的方法来生成丢失帧对应的信号。

根据人的生理特点，即使对于持续不变的发音，例如说话人努力保持稳定的基音和声道形状的情况下发一个元音，基音周期也都几乎不可能保持固定，而是可能随时间随机的变化着，这一特性称之为基音的“抖动”。此外，即使在一个持续的元音中，相邻的几个基音周期中的声门波幅度也会有所变化，这一特性被称为幅度“闪烁”。这些均可能是由时变的声道特性和声带特性引起的。而恰恰是连续基音周期中的“抖动”和“闪烁”使元音具有了自然度、而单一的基音和一成不变的幅度会导致声音比较生硬，甚至引起音乐噪声。

由于人的语音的幅度“闪烁”现象的存在，如果直接用从历史信号得到的基音周期进行重复填充，在两个基音周期的相接处会产生波形的突变。为保证拼接处的平滑，通常在用历史信号最后一个基音周期的信号对丢失帧进行填充之前，要对历史信号中最后1/4基音周期的信号进行交叉衰减。如图2-1所示，将历史缓冲区最后一个基音周期之前的T₀/4信号乘以上升窗、将缓冲区最后T₀/4乘以下降窗并做叠加处理，然后替换掉历史缓冲区最后T₀/4的信号，以保证在进行基音重复时，保证相邻两个基音周期相接处的平滑过渡。同时，为了保证丢失帧和其后的好帧拼接处的平滑过度，通常将多生成M个样点，然后与长度同为M的好帧信号进行交叉衰减，并用交叉衰减后的得到的信号替换好帧信号，如图2-2所示。在图2-2中，上面一行信号中，点线对应的信号为合成的重构信号；在遇到丢失帧之后的第一个好帧时，再生成丢失帧对应的合成信号后，继续生成长度为M的一段信号并乘上一个上升窗，与将同样长度的丢失帧之后的第一个好帧信号，如图2-2中的下面一行中“帧3(当前帧信号)”乘上一个上升窗后得到的信号进行交叉衰减，替换丢失帧之后的第一个好帧信号的同样长度的信号。

在所述交叉衰减所用的上升窗和下降窗，最为简单的情况，可以采用如下面公式定义的窗：

其中，M为要加窗信号的长度，取整数值，i为要加窗信号的对应的第i个采样点对应的下标。

但是，在完成本发明的过程中，发明人发现现有技术还存在以下问题：由于现有的丢包隐藏的方法是通过重复复制历史信号的基音波形来生成丢失帧信号，因此在丢失帧内的多个基音周期大小仍然是一样的，没有人的语音所具有的“抖动”特性，也就是基音周期没有渐变，导致声音比较生硬、失真，甚至引起噪声，影响音频质量。

发明内容

本发明实施例提供了一种丢包隐藏的方法及装置，以保证丢失帧内的基音周期频率的渐变性。

基于上述目的，本发明实施例的技术方案如下：

根据第一解码信号生成第一合成信号；

确定所述第一合成信号与第二解码信号的相位差；

根据所述相位差，确定插值间隔逐渐变化的插值时刻点，对所述第一合成信号进行波形压扩得到第一重构信号；

使用所述第一重构信号重构介于第一解码信号与第二解码信号之间的丢失信号。

一种丢包隐藏的装置，所述装置包括：

合成信号生成单元，用于根据第一解码信号生成第一合成信号；

相位差获取单元，用于确定所述第一合成信号与第二解码信号的相位差；

波形压扩单元，用于根据所述相位差，确定插值间隔逐渐变化的插值时刻点，对所述第一合成信号进行波形压扩得到第一重构信号；

重构单元，用于使用所述第一重构信号重构介于第一解码信号与第二解码信号之间的丢失信号。

一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码被一个计算机执行的时候，所述计算机程序代码可以使得所述计算机执行丢包隐藏的方法中任意一项的步骤。

一种计算机可读存储介质，其特征在于，所述计算机存储计算机程序代码，当所述计算机程序代码被一个计算机执行的时候，所述计算机程序代码可以使得所述计算机执行丢包隐藏的方法中任意一项的步骤。

本发明实施例解决了丢失帧内部的基音周期频率不连续的问题，使恢复的音频信号的质量得以提高。

附图说明

图1是现有技术中基音波形替代的示意图；

图2-1、图2-2是现有技术中对信号平滑处理的示意图；

图3是本发明实施例1中丢包隐藏方法的流程图；

图4是本发明实施例中匹配点及相位差的示意图；

图5-图8是本发明实施例中插值间隔的示意图；

图9是本发明实施例1中的改进插值计算方法压扩处理后的波形效果图；

图10是本发明实施例2中丢包隐藏方法的流程图；

图11是本发明实施例2中在合成信号中查找与给定波形最匹配的波形，以确定相位差的示意图；

图12是本发明实施例2中改进相位差方法填充丢失帧的波形效果图；

图13是本发明实施例3中丢包隐藏方法的流程图；

图14是本发明实施例4中平滑处理的示意图；

图15是本发明实施例5中使用双边补偿来生成最终丢失帧信号的示意图；

图16是本发明实施例5中双边补偿的丢包隐藏方法的流程图；

图17是本发明实施例6中丢包隐藏装置的结构图；

图18是本发明实施例6相位差确定模块结构图；

图19是本发明实施例6相位差确定模块另一结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步的详细描述。

实施例1

本发明实施例采用非等距插值的方法对重构信号进行插值处理，使得插值时刻点的间隔逐渐减小，得到基音周期逐渐变大的重构信号；或使得插值时刻点的间隔逐渐变大，得到基音周期逐渐变小的重构信号；这样可以保证频率的连续性。

本发明实施例1提供了一种丢包隐藏的方法，通过设置间隔渐变的插值时刻点，进行波形压扩，实现了丢失帧内部的基音频率的渐变。在本实施例中，第一解码信号和第二解码信号分别对应解码后的丢失帧两侧的完好信号，即第一解码信号为丢失帧之前的历史信号，第二解码信号为丢失帧之后的当前帧信号；或第一解码信号为丢失帧之后的当前帧信号，第二解码信号为丢失帧之前的历史信号。在本发明实施例中，以丢失一帧为例进行说明，针对丢失多帧的情况，也同样适用，不同之处在于，在丢失多帧的情况下需要重复复制多帧，并对多帧设置间隔渐变的插值时刻点，进行波形压扩。丢失帧也可以称为丢失信号。如图3所示，具体处理步骤如下：

步骤101：根据第一解码信号生成第一合成信号。

步骤102：确定所述第一合成信号与第二解码信号的相位差。

步骤103：根据所述相位差，确定间隔逐渐变化的插值时刻点，对所述第一合成信号进行波形压扩，得到第一重构信号。

步骤104：使用所述第一重构信号重构介于所述第一解码信号与所述第二解码信号之间的丢失信号。

其中，在步骤101中，可以采用基音重复的方法生成合成信号，也可以采用其他方法，例如线性预测来生成合成信号。

其中在步骤102中，所述相位差的计算方法可以采用如下技术获得：

首先需要找出合成信号中与当前帧起始点的匹配点，并在多个匹配点中选择一个最佳匹配点，并以该最佳匹配点和当前帧起始点的相位差作为最终的相位差。

如图4所示，当前帧起始点S的左右两侧与该起始点S的最近的两个匹配点m1、m2，到当前帧起始点的距离分别为de和dc，则和当前帧起始点之间的相位差分别为-de和dc。如果de＜dc，则取左侧匹配点为最佳匹配点，相位差d＝-de；否则取右侧匹配点为最佳匹配点，相位差d＝dc。

其中在步骤103中，所述确定间隔逐渐变化的插值时刻点，对合成信号进行波形压扩的具体步骤如下：假定丢失的采样点数为N，通常的压缩是指将(N+d)(d＞0)个采样点采用插值的方法，压缩成N个采样点；通常的扩展是指将(N+d)(d＜0)个采样点采用插值的方法，扩展成N个采样点。而对于扩展和压缩，通常又分别对应两种情况，一种是基音周期逐渐变大，一种是基音周期不断变小，因此，进行插值计算对应四种情形，如下表所示：

其中，对应情况①和②，使用同一个计算公式进行插值，对应情况③和④则使用另外一个计算公式进行插值。下面会首先对这四种情况分成两组(①和②、③和④)进行介绍，然后再说明这几种情况对应的场景：

1、对应①和②所使用的插值计算公式。

可采用下面公式计算：

$t\left(n\right)=n+\frac{n}{N}\·\frac{n-1}{N-1}\·d$

式中，N为帧长，n＝1，2...，N。采用上式计算的时间点间隔为：

$T\left(n\right)=t(n+1)-t\left(n\right)$

$=((n+1)+\frac{n+1}{N}\·\frac{n}{N-1}\·d)-(n+\frac{n}{N}\·\frac{n-1}{N-1}\·d)$

$=1+\frac{2}{N}\·\frac{n}{N-1}\·d$

式中n＝1，2...，N-1。因此采用该公式计算的插值时刻点的间隔是线性增加或减少的。

对应情况①，将步骤101生成的合成信号存储在缓冲区中，对缓冲区中的信号进行扩展，基音周期沿着历史信号到当前帧信号的方向越来越大，对应插值时刻点的间隔如图5所示，其中在图5中，对应N＝80，d＝-5.

其中纵轴表示新的样点与前一个样点之间的时间间隔相对于未进行插值之前的两个相邻样点的时间间隔之比，既对应T(n)。横轴对应公式中的n(图6-图8同此说明)。

对应情况②，将步骤101生成的合成信号存储在缓冲区中，对缓冲区进行压缩，基音周期沿着历史信号到当前帧信号的方向越来越小，对应插值时刻点的间隔如图6所示，在图6中，对应N＝80，d＝5.

2、对应情况③和④所使用的插值计算公式。

可采用下面公式计算：                                  n

式中，N为帧长，n＝1，2...，N。采用上式计算的时间点间隔为：

$T\left(n\right)=t(n+1)-t\left(n\right)$

$=((n+1)+d-\frac{N-n}{N}\·\frac{N-n-1}{N-1}\·d)-(n+d-\frac{N-n+1}{N}\·\frac{N-n}{N-1}\·d)$

$=1+\frac{2}{N}\·\frac{N-n}{N-1}\·d$

式中n＝1，2...，N-1。因此采用该公式计算的插值时刻点的间隔是线性增加或减少的。

对应情况③，将步骤101生成的合成信号存储在缓冲区中，对缓冲区进行压缩，基音周期沿着历史信号到当前帧信号的方向越来越大，对应插值时刻点的间隔如图7所示，其中，N＝80，d＝5.

对应情况④，将步骤101生成的合成信号存储在缓冲区中，缓冲区进行扩展，基音周期沿着历史信号到当前帧信号的方向越来越小，对应插值时刻点的间隔如图8所示，其中，N＝80，d＝-5.

根据上述步骤获取的插值的时刻点t(n)，再进行插值计算：线性插值计算量较小，一般采用线性插值的方法，计算公式如下：

式中表示比t(n)大的最小整数，

表示小于或等于t(n)的最大整数，x是没有考虑相位匹配填充的序列，长度为填充的起始点到匹配点，即等于N+d，y为线性插值之后的序列，n＝1，2...，N。

除了本实施例中介绍的线性插值计算公式外，也可以采用其它线性公式进行插值，还可以采用非线性插值计算公式进行插值。

图9是采用上述插值计算方法处理后的波形，可以看出在丢失帧内，基音周期是渐变的，和当前帧信号以及历史信号有很好的频率连续性。

本实施例通过在压缩和扩展时，调整了固定的插值时刻点的间隔为渐变的插值时刻点的间隔，保证了丢失帧内的基音周期频率的渐变性，从而实现了基音周期的连续。

实施例2

本发明实施例提供了一种丢包隐藏的方法，结合丢失帧两侧信号基音周期，通过改进相位差的计算方法，使得丢失帧信号和相邻完好帧的基音周期频率保持连续性。在本实施例中，第一解码信号和第二解码信号分别对应解码后的丢失帧两侧的完好信号。参见图10，具体步骤如下：

步骤201：根据第一解码信号生成合成信号。

步骤202：结合所述第一解码信号和第二解码信号的基音周期，确定所述合成信号与所述第二解码信号相位差。

步骤203：根据所述相位差，确定插值时刻点的间隔，对合成信号进行波形压扩，得到重构信号。

步骤204：将该重构信号填入丢失帧。

其中在步骤201中，可以采用基音重复的方法生成合成信号，即可以采用重复填充历史信号的基音周期信号到丢失帧的方法，生成合成信号，也可以采用其他方法，例如线性预测来生成合成信号。

其中在步骤202中，结合丢失帧两侧信号基音周期，对相位差计算方法进行了改进。具体步骤如下：

步骤202a：获得第一解码信号的基音周期，令为T₁；获得第二解码信号的基音周期，令为T₂。

步骤202b：寻找所述合成信号中与第二解码信号中最靠近丢失帧的样点匹配的、对应时刻在丢失帧内的第一相位匹配点以及对应时刻在第二解码信号的第二相位匹配点。即寻找第一相位匹配点和第二相位匹配点，具体为：以第二解码信号中最靠近丢失信号的样点为目标匹配点，在第一合成信号中的对应时刻分别在丢失信号内和第二解码信号内的样点中，寻找最靠近目标匹配点且与目标匹配点相匹配的第一相位匹配点和第二相位匹配点。

步骤202c：结合第一解码信号对应的基音周期T₁、和第二解码信号对应的基音周期T₂，以及第一相位匹配点和第二相位匹配点的位置确定最终的相位差d。

其中在步骤202b中，查找匹配点的方法如下所示：

图11所示为本发明实施例中在合成信号中查找与第二解码信号中最靠近丢失帧的样点的相位匹配点的示意图，其中第一解码信号对应历史信号，对应帧N之前的信号；第二解码信号对应丢失帧之后的收到的第一个好帧，即当前帧的信号，对应下面一行帧N+1对应信号；上面一行帧N之后，由点线组成的波形对应合成信号。

在第二解码信号中从起始位置开始设置一个预设长度为W的固定窗TW，在合成信号中设置一个与TW长度W相等的滑动窗SW，SW的终止端点为从起始端点起向第二解码信号方向且与起始端点距离为W的样点，SW的起始端点在第二解码信号中最靠近丢失帧的样点向第一解码信号方向T₁个样点和向第二解码信号方向T₁个样点之间的区间滑动，并在滑动过程中计算SW中的采样点和TW中的采样点的匹配值。

其中，匹配值的计算可以采用自相关的方法进行计算，这里用SW[i]表示SW窗中第i个采样点对应的幅度值，TW[i]表示TW窗中第i个采样点对应的幅度值，窗长为W，则可以取

$\mathrm{BMV}=\frac{\underset{i=0}{\overset{W-1}{\mathrm{\Σ}}}\mathrm{SW}\left[i\right]*\mathrm{TW}\left[i\right]}{\sqrt{\underset{i=0}{\overset{W-1}{\mathrm{\Σ}}}{\mathrm{TW}\left[i\right]}^2}}$

中的峰值对应SW的起始点为匹配点，即取BMV中的峰值点对应的值作为最佳匹配值。取时刻最接近第二解码信号中最靠近丢失帧的样点的两侧的两个匹配点为第一匹配点和第二匹配点，它们到第二解码信号中最靠近丢失帧的样点的距离分别为de和dc。通常W需满足大于W≥0.55*T₂，如果丢失帧长度较短，则窗长可以取帧长，即W＝min(N，0.55*T₂)。窗长W即为查找匹配点时用到的预设长度。

另外注意到当SW的起始点到第二解码信号中最靠近丢失帧的样点的长度小于W时，SW可用数据不够W个样点，因此合成信号的长度要满足不少于N+W。

为减少计算复杂度，也可采用短时平均幅度差来表示两段波形的匹配度，则可以取

$\mathrm{BMV}=\underset{i=0}{\overset{W-1}{\mathrm{\Σ}}}\left|\mathrm{SW}\right[i]-\mathrm{TW}[i\left]\right|$

中的波谷对应SW的起始点为匹配点，即取BMV中的波谷值对应的值作为最佳匹配值。取最靠近第二解码信号中最靠近丢失帧的样点两侧的两个匹配点为第一匹配点和第二匹配点，它们到第二解码信号中最靠近丢失帧的样点的距离分别为de和dc。

其中在步骤202c中，确定相位差的方法可以有如下几种：

第一种实现方式：在合成信号中，匹配点并不只有两个(de处dc处)，在丢失帧内的，距离第一相位匹配点的距离为P₁的整数倍的样点，以及在第二解码信号中，距离第二相位匹配点的距离为P₂的整数倍的多个样点也应该是匹配点；基于此，上述第一种实现方式的具体步骤为：

首先计算填充的丢失帧从起始点到上述多个各个相位匹配点之间的序列分别压缩或扩展成长度为一个帧长的序列后的基音周期： $\tilde{T}\left(d\right)=T_1\·N/(N+d),$ 其中N为帧长，d＝...，-(T₁+de)，-de，dc，dc+T_2，...；然后令

最小的d值作为相位差。第二种实现方式也同样基于根据计算基音周期确定相位差d，具体如下：

如果T₁＜T₂，取相位差d＝-de，如果T₁＞T₂取相位差d＝dc。

上述改进方法可以解决基音周期从大逐渐变小或者从小逐渐变大时频率不连续问题，但是当基音周期从大变小然后又变大，或者相反时，则会存在问题。因此增加下面步骤修正：

步骤202d：如果de与dc中的小者远小于T₁(例如min(de，dc)＜T₁/8)，则重设相位差为：

$d=\left\{\begin{array}{cc}-\mathrm{de},& \mathrm{de}=\min (\mathrm{de},\mathrm{dc})\\ \mathrm{dc},& \mathrm{dc}=\min (\mathrm{de},\mathrm{dc})\end{array}\right.$

其中在步骤203中：可以采用如下的插值方法，对合成信号进行波形压扩：

根据在步骤202中计算出来的相位差d，对填充的波形进行压缩或者扩展。由于线性插值计算量较小，一般采用线性插值的方法，计算公式如下：

式中α＝(N+d)/N，N为帧长，

表示比α·n大的最小整数，

表示小于或等于α·n的最大整数，x是没有考虑相位匹配填充的序列，长度为填充的起始点到匹配点，即等于N+d，y为线性插值之后的序列，n＝1，2...，N。插值计算完成之后将插值之后的结果重新填充丢失的帧。

也可以采用实施例1中的插值方法，对合成信号进行波形压扩。

如图12所示为采用这种消除相位不匹配方法处理后的结果。本实施例结合丢失帧两侧解码信号的基音周期确定相位差，设置插值时刻点的间隔实现波形压扩，丢失帧与完好帧的基音周期频率和丢失帧内的基音周期频率渐变，从而实现了基音周期与丢失帧的连续性。

实施例3

本实施例结合实施1中对合成信号进行渐变间隔插值，以及实施例2中所述结合丢失帧两侧解码信号的基音周期的方法来实现基音周期在丢失帧内外的变化连续性。如图13所示，具体步骤如下：

步骤301：根据第一解码信号生成合成信号。

步骤302：结合所述第一解码信号和第二解码信号的基音周期，确定所述合成信号与第二解码信号相位差。

步骤303：根据所述相位差，确定间隔逐渐变化的插值时刻点，对合成信号进行波形压扩，得到重构信号。

步骤304：将该重构信号填入丢失帧。

其中在步骤302中，采用实施例2中步骤202所述结合丢失帧两侧信号的基音周期确定所述合成信号与第二解码信号的相位差的方法。

其中在步骤303中，采用实施例1中步骤103所述确定间隔逐渐变化的插值时刻点的方法，对合成信号进行波形压扩。

实施例4

如图14所示，在第一解码信号对应历史信号，第二解码信号对应丢失帧之后的第一个好帧信号的情况下，在实施例1、实施例2和实施例3中，为保证丢失帧合成信号与第二解码信号的信号的平稳过渡，需对第二解码信号和合成信号进行平滑处理。考虑在实施例1中的步骤103或实施例2中的步骤203或实施例3中的步骤303之后，增加加一个步骤，具体如下：

在合成信号中，从对应第二解码信号起始样点的同一时刻起，在合成信号中取一段长度为M的信号，并乘上一个下降窗；取第二解码信号中从起始样点开始，长度为M的信号，并乘上一个下降窗，然后将两者相叠加，并用叠加后后的信号替换掉第二解码信号起始样点起始的长度为M的信号。M通常取T₀/4。

实施例5

在实施例1、2、3和4中，填充丢失帧所用的信号是根据历史信号得到的，在帧长较短或丢失的信号较短的情况下采用实施例1、2、3、4中的方法也可以达到较好的效果；但如果帧长较长，则仅采用实施例1和2中的方法就会造成一定程度的失真，越接近于当前帧的信号失真越严重。如果结合当前帧的信号，使得填充后的丢失帧在靠近历史信号的一端信号和历史信号的最后一个基音周期的信号相似度比较高，而在靠近当前帧的一端信号和当前帧的第一个基音周期的信号相似度比较高。为此目的，本实施例是一种双边补偿的方法，即，同时使用历史信号和当前帧的信号来恢复丢失帧的信号。

如图15所示，为使用双边补偿来生成最终丢失帧信号的示意图，其中帧N-1为丢失帧之前的好帧、帧N为丢失帧、帧N+1为丢失帧之后的第一个好帧。图15中上面一行信号，区间帧N-1所在区间对应信号为收到的帧N-1对应的好帧信号，帧N所在区间对应信号为利用历史信号得到的第一重构信号(用短虚线表示)，生成信号的方向如箭头1所示；图15中下面一行信号，区间帧N+1所在区间对应信号为收到的帧N+1对应的好帧信号，帧N所在区间对应信号为利用当前帧，即帧N+1的信号得到的第二重构信号(用长虚线表示)，生成信号的方向如箭头2所示，同箭头1所示方向相反；最后将第一重构信号和第二重构信号进行叠加，并将叠加后的信号作为最终丢失帧的信号。

如图16所示，具体步骤如下：

步骤501：根据历史信号和当前帧的信号分别生成第一重构信号和第二重构信号。

步骤502：对第一重构信号和第二重构信号进行叠加，得到最终的丢失帧信号。

其中在步骤501中，根据历史信号生成第一重构信号的方法为实施例1或实施例2或实施例3中所采用的方法，即以历史信号为第一解码信号，以当前帧信号为第二解码信号来生成第一重构信号；根据当前帧信号生成第二重构信号的方法为实施例1或实施例2或实施例3中所采用的方法，即以当前帧信号为第一解码信号，以历史信号为第二解码信号来生成第二重构信号。

其中在步骤501中，在执行实施例1或实施例2或实施例3中的第三步之前，即根据相位差进行波形压扩之前，需要根据历史信号和当前帧信号的基音周期对相位差进行修正，具体方法为：

假定生成第一重构信号使用的相位差为d₁，生成第二重构信号使用的相位差为d₂，则有：

$\left\{\begin{array}{cc}{d}_1=d_1+T_1,d_2=d_2& T_1>T_2\\ d_1=d_1,d_2=d_2+T_2& T_1<T_2\end{array}\right.$

其中在步骤502中，所述叠加方法为：将第一解码信号乘上一个下降窗、将第二解码信号乘上一个上升窗，然后将两个加窗后的信号进行相加。

本发明实施例还提供一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码被一个计算机执行的时候，所述计算机程序代码可以使得所述计算机执行丢包隐藏的方法中任意一项的步骤。

本发明实施例还提供一种计算机可读存储介质，其特征在于，所述计算机存储计算机程序代码，当所述计算机程序代码被一个计算机执行的时候，所述计算机程序代码可以使得所述计算机执行丢包隐藏的方法中任意一项的步骤。

实施例6

本发明实施例提供了一种丢包隐藏的装置，如图17所示，该装置包括如下单元：

合成信号生成单元61，用于根据第一解码信号生成第一合成信号；

相位差获取单元62，用于确定所述第一合成信号与第二解码信号的相位差；

波形压扩单元63，用于根据所述相位差，确定插值间隔逐渐变化的插值时刻点，对所述第一合成信号进行波形压扩得到第一重构信号；

重构单元64，用于使用所述第一重构信号重构丢失帧。

其中，波形压扩单元63具体包括：

插值减小波形压扩模块631，用于根据所述相位差，确定沿基音周期逐渐变大的方向插值间隔逐渐减小的插值时刻点，对所述合成信号进行波形压扩；或

插值增大波形压扩模块632，用于根据所述相位差，确定沿基音周期逐渐变小的方向插值间隔逐渐增大的插值时刻点，对所述合成信号进行波形压扩。

相位差获取单元62具体包括：

1、基音周期获取模块621，用于获取第一解码信号对应的第一基音周期和第二解码信号对应的第二基音周期；

2、匹配模块622，用于寻找所述第一合成信号中与第二解码信号中最靠近丢失帧的样点匹配的，对应时刻在丢失帧内的第一相位匹配点以及对应时刻在第二解码信号的第二相位匹配点；

其中，匹配模块622具体包括：

固定窗，设置于所述第二解码信号中的起始位置，所述固定窗的长度为预先设置；

滑动窗，设置于所述第一合成信号中，所述滑动窗的长度与所述固定窗长度相等；

所述滑动窗的终止端点为从起始端点起向第二解码信号方向且与起始端点距离为所述预设长度的样点，所述滑动窗的起始端点在所述第二解码信号中最靠近所述丢失帧的样点向所述第一解码信号方向移动固定个样点和向所述第二解码信号方向移动固定个样点之间的区间滑动；

匹配值计算子单元，用于在滑动过程中计算所述滑动窗中的采样点和所述固定窗中的采样点的匹配值。

3、相位差确定模块623，用于根据所述第一解码信号的基音周期和第二解码信号的基音周期，以及所述第一相位匹配点和第二相位匹配点的位置确定所述相位差。

如图18所示，相位差确定模块623具体包括：

基音周期计算子模块6231，用于计算从丢失帧起始点到所述匹配点之间的序列分别压缩或扩展成长度为一个帧长的序列后的基音周期；

相位差选择子模块6232，用于选择所述计算出的基音周期与所述第一解码信号的基音周期和第二解码信号的基音周期平均值最接近的匹配点对应的相位差为所述第一合成信号与所述第二解码信号的相位差。

如图19所示，在本发明的一个实施例中，相位差确定模块623还可以具体包括：

判断子模块6233，用于判断所述第一解码信号的基音周期是否小于所述第二解码信号的基音周期；

相位差确定子模块6234，用于根据判断子单元的判断结果确定相位差，如果所述第一解码信号的基音周期小于所述第二解码信号的基音周期，则所述第一相位匹配点对应的相位差为所述第一合成信号与所述第二解码信号的相位差；如果所述第一解码信号的基音周期大于所述第二解码信号的基音周期，则所述第二相位匹配点对应的相位差为所述第一合成信号与所述第二解码信号的相位差。

在本发明的一个实施例中，相位差确定子模块6234还用于：

如果所述第一相位匹配点对应的相位差和所述第二相位匹配点对应的相位差中较小的相位差远小于所述第一解码信号的基音周期，则所述较小的相位差为所述第一合成信号与所述第二解码信号的相位差。

在实现双边补偿的情况下，本发明实施里所述的丢包隐藏的装置中：

合成信号生成单元61还用于：根据第二解码信号生成第二合成信号；

相位差获取单元62还用于：确定所述第二合成信号与第一解码信号的相位差；

波形压扩单元63还用于：根据所述相位差，确定插值间隔逐渐变化的插值时刻点，对所述第二合成信号进行波形压扩得到第二重构信号；

重构单元64还用于：使用所述第一重构信号和第二重构信号重构丢失帧。

为了对信号进行平滑处理，本发明实施里中，丢包隐藏装置还可以包括平滑单元65，用于：

获取所述波形压扩单元63产生的第一重构信号，在第一重构信号中，从对应所述第二解码信号起始样点的同一时刻起，取一段固定长度为M的信号，并乘上一个下降窗，得到第一乘窗信号；

实现在第二解码信号中从起始样点开始，取一段同样长度为M的信号，并乘上一个下降窗，得到第二乘窗信号；

将所述第一乘窗信号和所述第二乘窗信号叠加，并用叠加后的信号替换第一重构信号中从所述第二解码信号起始样点起长度所述固定长度的信号。

本发明实施例中，所述的第一解码信号为历史信号；所述第二解码信号为当前帧信号。

作为另一种情况，也可以是所述第一解码信号为当前帧信号；所述第二解码信号为历史信号。

本发明实施例可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，例如，路由器的硬盘、缓存或光盘中。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种丢包隐藏的方法，其特征在于，所述方法包括以下步骤：

根据第一解码信号生成第一合成信号；

确定所述第一合成信号与第二解码信号的相位差；

根据所述相位差，确定插值间隔逐渐变化的插值时刻点，对所述第一合成信号进行波形压扩得到第一重构信号；

使用所述第一重构信号重构介于所述第一解码信号与所述第二解码信号之间的丢失信号。

2.如权利要求1所述的丢包隐藏的方法，其特征在于，所述确定间隔逐渐变化的插值时刻点的原则为：

沿基音周期逐渐变大的方向，对应所述插值时刻点的间隔逐渐减小；沿基音周期逐渐变小的方向，对应所述插值时刻点的间隔逐渐增大。

3.如权利要求1所述的丢包隐藏的方法，其特征在于，确定所述第一合成信号与第二解码信号的相位差，具体包括：

获取所述第一解码信号对应的第一基音周期和所述第二解码信号对应的第二基音周期；

以所述第二解码信号中最靠近丢失信号的样点为目标匹配点，在所述第一合成信号中的对应时刻分别在丢失信号内和第二解码信号内的样点中，寻找最靠近所述目标匹配点且与所述目标匹配点相匹配的第一相位匹配点和第二相位匹配点；

根据所述第一基音周期和所述第二基音周期，以及所述第一相位匹配点和所述第二相位匹配点的位置确定所述第一合成信号与第二解码信号的相位差。

4.如权利要求3所述的丢包隐藏的方法，其特征在于，所述在所述第一合成信号中的对应时刻分别在丢失信号内和第二解码信号内的样点中，寻找最靠近所述目标匹配点且与所述目标匹配点相匹配的第一相位匹配点和第二相位匹配点，具体包括：

以从所述第一解码信号到所述第二解码信号的方向为匹配方向；

在所述第二解码信号中，设定沿所述匹配方向，从所述目标匹配点起长度为预设长度的样点为固定窗信号；在所述第一合成信号中设置一个起始样点到终止样点的方向与所述匹配方向相同，且长度与所述固定窗信号长度相等的滑动窗信号；

在所述滑动窗在丢失信号内的所述第一合成信号滑动时，依次选取所述经过的样点为所述滑动窗信号的起始样点，并在滑动过程中计算所述滑动窗信号与所述固定窗信号的匹配值，取最靠近所述目标匹配点且具有最佳匹配值时，所述滑动窗信号的起始样点为第一相位匹配点；所述滑动窗信号的起始样点在对应时刻在所述第二解码内的所述第一合成信号中滑动，并在滑动过程中计算所述滑动窗信号与所述固定窗信号的匹配值，取最靠近所述目标匹配点且具有最佳匹配值时，所述滑动窗信号的起始样点为第二相位匹配点。

5.如权利要求3所述的丢包隐藏的方法，其特征在于，根据所述第一基音周期和所述第二基音周期，以及所述第一相位匹配点和所述第二相位匹配点的位置确定所述第一合成信号与第二解码信号的相位差，具体包括：

计算从丢失帧信号起始点到所述相位匹配点之间的信号分别压缩或扩展成长度为丢失信号所对应长度的信号后的基音周期；

选择所述计算出的基音周期与所述第一基音周期和所述第二基音周期的平均值最接近的相位匹配点对应的相位差为所述第一合成信号与所述第二解码信号的相位差。

6.如权利要求3所述的丢包隐藏的方法，其特征在于，根据所述第一基音周期和所述第二基音周期，以及第一相位匹配点和第二相位匹配点的位置确定所述第一合成信号与第二解码信号的相位差，具体包括：

如果所述第一基音周期小于所述第二基音周期，则所述第一相位匹配点对应的相位差为所述第一合成信号与所述第二解码信号的相位差；

如果所述第一基音周期大于所述第二基音周期，则所述第二相位匹配点对应的相位差为所述第一合成信号与所述第二解码信号的相位差。

7.如权利要求6所述的丢包隐藏的方法，其特征在于，所述方法还包括：

如果所述第一相位匹配点对应的相位差和所述第二相位匹配点对应的相位差中较小的相位差远小于所述第一解码信号的基音周期，则所述较小的相位差为所述第一合成信号与所述第二解码信号的相位差。

8.根据权利要求1所述的丢包隐藏的方法，其特征在于，所述使用所述第一重构信号重构丢失信号具体为：使用所述第一重构信号和第二重构信号重构介于所述第一解码信号与所述第二解码信号之间的丢失信号；

其中所述第二重构信号具体通过以下步骤获得：

根据所述第二解码信号生成第二合成信号；

确定所述第二合成信号与所述第一解码信号的相位差；

根据所述相位差，确定插值间隔逐渐变化的插值时刻点，对所述第二合成信号进行波形压扩得到第二重构信号。

9.如权利要求1所述的丢包隐藏的方法，其特征在于，所述使用所述第一重构信号重构介于第一解码信号与第二解码信号之间的丢失信号具体包括：

在所述第一重构信号中，从对应所述第二解码信号起始样点的同一时刻起，取一段固定长度为M的信号，并乘上一个下降窗，得到第一乘窗信号，其中M取整数；

在所述第二解码信号中从起始样点开始，取一段同样长度为M的信号，并乘上一个上升窗，得到第二乘窗信号；

将所述第一乘窗信号和所述第二乘窗信号叠加，并用叠加后的信号替换所述第一重构信号中从所述第二解码信号起始样点起长度为所述固定长度的信号，得到第三重构信号；

用所述的第三重构信号重构介于第一解码信号与第二解码信号之间的丢失信号。

10.如权利要求1-9中任意一项所述的丢包隐藏的方法，其特征在于，所述第一解码信号为历史信号，所述第二解码信号为当前帧信号。

11、如权利要求1-7中任意一项所述的丢包隐藏的方法，其特征在于，所述第一解码信号为当前帧信号，所述第二解码信号为历史信号。

12.一种丢包隐藏的装置，其特征在于，所述装置包括：

合成信号生成单元，用于根据第一解码信号生成第一合成信号；

相位差获取单元，用于确定所述第一合成信号与第二解码信号的相位差；

波形压扩单元，用于根据所述相位差，确定插值间隔逐渐变化的插值时刻点，对所述第一合成信号进行波形压扩得到第一重构信号；

重构单元，用于使用所述第一重构信号重构介于所述第一解码信号与所述第二解码信号之间的丢失信号。

13.如权利要求12所述的丢包隐藏的装置，其特征在于，所述波形压扩单元包括：

插值减小波形压扩模块，用于根据所述相位差，确定沿基音周期逐渐变大的方向插值间隔逐渐减小的插值时刻点，对所述合成信号进行波形压扩；

插值增大波形压扩模块，用于根据所述相位差，确定沿基音周期逐渐变小的方向插值间隔逐渐增大的插值时刻点，对所述合成信号进行波形压扩。

14.如权利要求12所述的丢包隐藏的装置，其特征在于，所述相位差获取单元具体包括：

基音周期获取模块，用于获取所述第一解码信号对应的第一基音周期和第二解码信号对应的第二基音周期；

匹配模块，用于以所述第二解码信号中最靠近丢失信号的样点为目标匹配点，在所述第一合成信号中的对应时刻分别在丢失信号内和所述第二解码信号内的样点中，寻找最靠近所述目标匹配点且与目标匹配点相匹配的第一相位匹配点和第二相位匹配点；

相位差确定模块，用于根据所述第一基音周期和所述第二基音周期，以及所述第一相位匹配点和所述第二相位匹配点的位置确定所述相位差。

15.如权利要求12所述的丢包隐藏的装置，其特征在于，

所述合成信号生成单元还用于：根据第二解码信号生成第二合成信号；

所述相位差获取单元还用于：确定所述第二合成信号与第一解码信号的相位差；

所述波形压扩单元还用于：根据所述相位差，确定插值间隔逐渐变化的插值时刻点，对所述第二合成信号进行波形压扩得到第二重构信号；

所述重构单元具体用于：使用所述第一重构信号和所述第二重构信号重构丢失信号。

16.如权利要求12所述的丢包隐藏的装置，其特征在于，所述装置还包括平滑单元，用于：

获取所述波形压扩模块产生的第一重构信号，在所述第一重构信号中，从对应所述第二解码信号起始样点的同一时刻起，取一段固定长度为M的信号，并乘上一个下降窗，得到第一乘窗信号，其中M取整数；

在第二解码信号中从起始样点开始，取一段同样长度为M的信号，并乘上一个下降窗，得到第二乘窗信号；

将所述第一乘窗信号和所述第二乘窗信号叠加，并用叠加后的信号替换所述第一重构信号中从所述第二解码信号起始样点起长度为所述固定长度M的信号，得到第三重构信号；；

将所述的第三重构信号发送给所述重构单元。

17.如权利要求12-16中任意一项所述的丢包隐藏的装置，其特征在于，所述第一解码信号为历史信号，所述第二解码信号为当前帧信号。

18、如权利要求12-14中任意一项所述的丢包隐藏的装置，其特征在于，所述第一解码信号为当前帧信号，所述第二解码信号为历史信号。

19.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码被一个计算机执行的时候，所述计算机程序代码可以使得所述计算机执行权利要求1至11项中任意一项的步骤。

20.一种计算机可读存储介质，其特征在于，所述计算机存储计算机程序代码，当所述计算机程序代码被一个计算机执行的时候，所述计算机程序代码可以使得所述计算机执行权利要求1至11项中任意一项的步骤。

Images