CN1174571C - 一种在网络上传输ip语音包的丢包恢复方法 - Google Patents

Abstract

本发明涉及一种在网络上传输IP语音包的丢包恢复方法，是采用PCM类编码在因特网或公共数据网上传输语音时，对网络传输中的丢包进行恢复的方法。接收端发生当前IP语音包丢包或延迟未到时，在上一个和下一个IP语音包都存在的情况下，采用波形插值法恢复生成丢失的当前IP语音包；在只有上一个IP语音包存在时，采用线性预测法恢复生成丢失的当前IP语音包；对恢复的当前IP语音包作解码输出。实现改善IP电话业务通话质量的效果。

Description

一种在网络上传输IP语音包的丢包恢复方法

技术领域

本发明涉及一种网络传输技术，更确切地说是涉及一种在网络传输中，对丢失的或延迟未到的采用脉冲编码调制(PCM，简称脉码调制)类编码的IP语音包，进行恢复的方法。

背景技术

PCM类编码，包括脉冲编码调制(PCM)及自适应差分脉冲编码调制(ADPCM)等，都属于波形编码，具有编码算法简单、语音或音乐失真较小、语音或音乐质量较高的优点，是目前公众业务电话网(PSTN)主要采用的编码技术之一。而随着因特网、公共数据网带宽的日益增加，在IP(国际互联网协议或因特网协议)电话业务中也已逐渐采用PCM类编码进行语音或音乐信号的编码传输。

IP电话业务不同于传统的电路交换，它是基于分组交换进行传输的，PCM类语音编码数据先按一定的时间段被分割成帧，再将一帧或多帧语音打成一个IP语音包在网络上传输，打包时按时间顺序为每个IP语音包插入一序列号标记。由于网络的业务流量是不断变化的，特别是发生网络阻塞时，常会造成IP包的丢失，接收端根据插入在IP语音包中的序列号标记是很容易判断出是否发生了丢包，此外，每个IP包到达接收端的路由也不是固定不变的，这就造成各IP语音包在到达接收端的时间也是交化的，即产生延时抖动，当在预定的时间内，某IP语音包还未到达时也认为发生了丢包。尽管可以在接收端采用缓冲的方式来防止这种延时抖动，并且也能取得比较好的效果，减少了丢包，但是，从总体上说仍不能完全解决丢包问题。

在当前的网络传输技术中，虽然可以检查出丢包，但对于丢失的PCM类编码IP语音包，基本不做补救或恢复处理，因此造成语音质量下降，特别是在网络的业务流量变化剧烈时，丢包更为频繁，使语音质量大大恶化。

发明内容

本发明的目的是通过设计一种在网络上传输IP语音包的丢失恢复方法，即一种对于采用PCM类编码、在因特网或公共数据网上传输IP语音包时的丢包进行恢复处理的方法，克服因丢包造成的语音质量下降问题，保证语音或音乐的网络传输质量。

本发明的目的是这样实现的：一种在网络上传输IP语音包的丢包恢复方法，其特征在于包括以下步骤：

A.收端检查当前的IP语音包是否到达，在检查出当前的IP语音包没有到达时，进一步检查下一个IP语音包是否到达；

B.在检查出下一个IP语音包已经到达时，根据上一个IP语音包和下一个IP语音包，通过波形插值法恢复当前的IP语音包；在检查出下一个IP语音包没有到达时，根据上一个IP语音包，通过线性预测法恢复当前的IP语音包；

C.在检查出当前的IP语音包已经到达时，检查上一个IP语音包是否是经线性预测法恢复得到的；

D.在检查出上一个IP语音包是经线性预测法恢复得到的时，对当前的IP语音包作平滑滤波，使当前的IP语音包与上一个IP语音包的相位保持同步；

E.在检查出上一个IP语音包是未经线性预测法恢复得到的时，对当前的IP语音包直接作脉冲编码调制解码输出。

所述的步骤A中，在接收端检查出当前的IP语音包已经到达时，直接对当前的IP语音包作脉冲编码调制(PCM)解码输出。

所述的步骤B中，在检查出当前的IP语音包没有到达和在检查下一个IP语音包是否到达前，对上一个IP语音包的语音性质作是否是清音、静音或浊音的判断，在上一个IP语音包的语音性质是否是清音、静音时，则重复上一个IP语音包作为当前的IP语音包并使当前的IP语音包与上一个IP语音包相位同步，在上一个IP语音包的语音性质是浊音时，则继续执行步骤B。

所述的判断上一个IP语音包的语音性质是通过估计短时能量或短时平均幅度或短时过零率实现的。

所述的波形插值法包括：通过分别估计出上一个IP语音包与下一个IP语音包的基音周期，得到当前IP语音包的语音基音个数；根据上一个与下一个IP语音包的基音周期和当前IP语音包的语音基音个数，通过插值得到当前IP语音包的基音周期；分别从上一个IP语音包与下一个IP语音包中提取一个完整的基音；利用从上一个IP语音包与下一个IP语音包中提取的基音和当前IP语音包的语音基音个数及基音周期，对当前IP包的基音进行线性插值，获得当前IP包各个基音中各点的相位及幅度。

所述的对当前IP包的基音进行线性插值，还包括先对上一个IP语音包与下一个IP语音包的基音作线性插值，在上一个IP语音包与下一个IP语音包基音的每两个点间插入三个点。

所述的估计基音周期包括短时自相关方法和短时平均幅度差方法。

所述的线性预测法包括：将上一个IP语音包的数据分成两个子帧，分别估计出每个子帧的基音周期；根据第一子帧的基音周期和第二子帧的基音周期求出当前IP语音包的语音基音个数；预测当前IP语音包的语音基音周期；分别从第一子帧与第二子帧数据中提取一个完整的基音；利用从第一子帧与第二子帧中提取的基音和当前IP语音包的语音基音个数及基音周期，对当前IP语音包的基音进行线性插值，获得当前IP语音包各个基音中各点的相位及幅度。

所述的预测当前IP语音包语音基音周期是2倍的第二子帧的基音周期与第一子帧的基音周期的差值。

所述的对当前IP包的基音进行线性插值，还包括先对第一子帧和第二子帧的基音周期作线性插值，在第一子帧和第二子帧基音周期的每两个点间插入三个点。

本发明的脉码调制类编码在IP应用中的丢包处理方法，是在网络的业务流量变化比较剧烈时，由于阻塞或到达接收端的路由变化，造成PCM类IP语音包丢失或在一定时间内延迟未到(也认定是丢包)，而采用波形插值或线性预测方法恢复丢失或延迟未到的IP语音包。

本发明方法充分利用了语音的帧间相关性，当有IP语音包丢失时，根据其上的一个IP语音包和其下的一个IP语音包的数据，对该IP语音也作最大限度的恢复，以达到改善IP电话业务通话质量的效果。具体方法是：在上一个IP语音包和下一个IP语音包都存在时，采用波形插值法恢复生成丢失的当前IP语音包；在只有上一个IP语音包时，采用线性预测法恢复生成丢失的当前IP语音包。

本发明的方法可以应用于目前国际互联网(INTERNET)上公用网或专用网的IP语音或音乐传送，也可以用于未来移动通信中基于IP的核心网上语音或音乐的传送。

附图说明

图1是PCM类IP语音丢包恢复处理的原理流程图；

图2是PCM类IP语音丢包恢复处理的一具体流程图；

具体实施方式

下面结合实施例及附图进一步说明本发明的方法。

实施例针对的是一个采用PCM类编码在网络上传输语音时的丢包恢复处理方法。

参见图1，图中示出PCM类IP语音包丢包恢复处理的基本操作流程。

步骤11，采用PCM类编码的IP语音包输入接收端，供PCM类解码输出，在解码输出前，首先检查当前的IP语音包是否到达，如果判断出当前的IP语音包已经到达时执行步骤15，否则执行步骤12；

步骤12，检查下一个IP语音包是否到达，如果判断出下一个IP语音包已经到达时执行步骤13，否则执行步骤14；

步骤13，在判断出下一个IP语音包已经到达时，则根据上一个IP语音包和下一个IP语音包并通过波形插位法得到当前丢失的IP语音包数据。

步骤14，在判断出下一个IP语音包也未到达时，则根据上一个IP语音包并通过线性预测法得到当前丢失的IP语音包数据。

步骤15，在判断出当前的IP语音包已经到达时，则进一步检查上一个IP语音包数据是否是通过线性预测法得到的，若不是通过线性预测法得到的，则直接执行步骤17，若是通过线性预测法得到的，则执行步骤16；

步骤16，如果判断出当前的IP语音包已经到达且判断出上一个IP语音包数据是通过线性预测法得到的，则需要对当前IP语音包的语音数据做平滑滤波，使当前IP语音包的数据与上一个IP语音包数据的相位同步；

步骤17，对经步骤13、14、15、16操作后的当前IP语音包数据做PCM类解码输出。

通过本发明方法对当前的丢失或延迟未到(在预定的时间内未到则认定为丢失)的PCM类编码的IP语音包做波形插值或线性预测，来恢复该丢失的IP语音包，可以大大改善由于丢包引起的语音质量下降问题。

其恢复处理的基本思想是：如果上一个IP语音包和下一个IP语音包的数据都存在时，采用波形插值的方法生成当前的IP语音包数据；如果只有上一个IP语音包数据时，则采用线性预测的方法估计当前的IP语音包数据。

参见图2，图中示出PCM类IP语音丢包恢复处理的具体操作流程。

步骤201，采用PCM类编码的IP语音包输入接收端，供PCM类解码输出，首先检查当前的IP语音包是否到达，如果判断出当前的IP语音包已经到达时执行步骤202，否则执行步骤203；

步骤202，在当前的IP语音包已经到达时，直接对当前的IP语音包数据做PCM类解码输出；

步骤203，若当前的IP语音包没有到达，即发生了丢包，则判断上一个IP语音包的语音性质，对于清音或静音，则执行步骤204，对于浊音则执行步骤205，区别清音、静音和浊音，可以通过估计短时能量、短时平均幅度和短时过零率的方法来实现(如何判断清音/浊音/静音是现有的成熟技术，且不是本发明的目的所在，故不在此赘述)。

步骤204，在判断出上一个IP语音包数据是清音或静音时，只需简单地重复上一个语音包数据作为当前丢失的IP语音包数据，并使当前的IP语音包数据与上一个IP语音包数据相位同步；

步骤205，在判断出上一个IP语音包数据是浊音时，检查下一个IP语音包是否到达，如果检查出下一个IP语音包已经到达时执行步骤210，否则执行步骤206；

步骤210，在检查出下一个IP语音包数据已经收到，则通过波形插值法恢复当前丢失的IP语音包数据，首先估计出上一个IP语音包的基音周期为Ta，下一个IP语音包的基音周期为Tb，估计基音周期可采用短时自相关和短时平均幅度差的方法进行，再根据公式(1)求出当前丢失IP语音包的语音基音个数n(小数)，其中Tip是一个IP语音包的语音长度，

$n=\frac{\mathrm{Tip}}{\mathrm{Ta}+\mathrm{Tb}}\×2---\left(1\right)$

步骤211，通过公式(2)经插值得到当前丢失IP语音包的相应基音周期Ti，其中i＝1，2，...，[n]+1，[n]表示对n取整数；

$\mathrm{Ti}=\mathrm{Ta}+(\mathrm{Tb}-\mathrm{Ta})\×\frac{i}{n}---\left(2\right)$

步骤212，对当前丢失的IP语音包进行线性插值，首先分别从上一个和下一个IP语音包数据中提取一个完整的且相位一致的基音周期，即Ta、Tb；再对当前丢失IP语音包的[n]+1个基音进行插值，即当前丢失的IP语音包的第i个基音的第j个点是由上一个IP语音包基音周期Ta中第k个点和下一个IP语音包基音周期Tb中第m个点线形插值得到，插值时其相位应满足以下关系(3)式：

$\frac{D(i,j)}{\mathrm{Ti}}=\frac{D(a,k)}{\mathrm{Ta}}=\frac{D(b,m)}{\mathrm{Tb}}---\left(3\right)$

其中，D(i，j)是当前丢失IP语音包中第i个基音的第j个点距离初始相位的时间，D(a，k)是上一个IP语音包基音周期的第k个点距离初始相位的时间，D(b，m)是下一个IP语音包基音周期的第m个点距离初始相位的时间，因为语音数据是离散的，K和m应取最接近的点，初始相位时间选择每一个基音周期中第一个点作为参考点时的相位。为了提高计算精度，在对当前丢失的IP语音包进行线性插值时，可先对上一个IP语音包和下一个IP语音包的基音做线性插值，如在每两个点间再插入三个点，即由原来的1点变成4点，此时精度能提高4倍。插值时当前丢失IP语音包第i个基音第j个点的幅度按关系(4)式求出：

$A(i,j)=A(a,k)+[A(b,m)-A(a,k)]\×\frac{i}{n}---\left(4\right)$

步骤206，当检查出下一个IP语音包没有到达时，则根据上一个IP语音包并通过线性预测法得到当前丢失的IP语音包数据，首先将上一个IP语音包的语音数据分成两个子帧，即第一子帧与第二子帧；

步骤207，分别对每个子帧估计其基音周期，估计基音周期可采用短时自相关和短时平均幅度差的方法进行，如第一子帧语音数据的基音周期为Ta，第二子帧语音数据的基音周期为Tb，则通过公式(5)求出当前丢失IP语音包的语音基音个数n(小数)，其中Tip是一个IP语音包的语音长度：

$n=\frac{\mathrm{Tip}}{2\mathrm{Tb}-\mathrm{Ta}}---\left(5\right)$

步骤208，根据公式(6)预测当前丢失IP语音包的基音周期Tc：

                Tc＝2Tb-Ta……(6)

步骤209，对当前丢失的IP语音包进行线性插值，首先分别对第一子帧和第二子帧语音数据提取一个完整的且相位一致的基音周期，即Ta、Tb，再线性预测周期为Tc的基音，对当前丢失IP语音包的[n]+1个基音进行外推插值，即当前丢失的IP语音包的第i个基音的第j个点是由第一子帧基音周期Ta中第k个点和第二子帧基音周期Tb的第m个点经线形外推得到，线性外推时其相位应满足以下关系(7)式：

$\frac{D(i,j)}{\mathrm{Ti}}=\frac{D(a,k)}{\mathrm{Ta}}=\frac{D(b,m)}{\mathrm{Tb}}---\left(7\right)$

其中D(i，j)是当前丢失IP语音包中第i个基音的第j个点距离初始相位的时间，D(a，k)是第一子帧基音的第k个点距离初始相位的时间，D(b，m)是第二子帧基音周期的第m个点距离初始相位的时间。因为语音数据是离散的，K和m应取最接近的点，初始相位时间选择每一个基音周期中第一个点作为参考点时的相位。为了提高计算精度，在对当前丢失的IP语音包进行线性插值时，可先对第一子帧和第二子帧的基音做线性插值，在每两个点间再插入三个点，即由原来的1点变成4点，此时精度能提高4倍。线性外推时当前丢失IP语音包第i个基音第j个点的幅度按关系(8)式求出：

$A(i,j)=A(a,k)+[A(b,m)-A(a,k)]\×\frac{i}{n}---\left(8\right)$

最后，对基音周期为Tc的基音进行重复就得到丢失的当前IP语音包的语音数据，再通过对相位进行调整，以保证当前IP语音包的数据与上一个IP语音包数据的相位同步。

步骤213，对经步骤212、209、204操作后的当前丢失的IP语音包数据做PCM类解码输出。

本发明的方法是一种在网络上传输IP语音包的丢包恢复方法，也是一种脉码调制类编码在IP应用中的丢包处理方法。采用PCM类编码、按IP包格式在因特网或公共数据网上传输语音或音乐数据，当接收端发生丢失当前IP语音包的情况时，根据其上、下IP包的接收状况，选择波形插值法或线性预测法来恢复该丢失的当前IP语音包，从而解决因丢包而引起的语音或音乐的传输质量变劣问题，大大改善所接收的语音或音乐信号的质量。

Claims (11)

1.一种在网络上传输IP语音包的丢包恢复方法，其特征在于包括以下步骤：

A.收端检查当前的IP语音包是否到达，在检查出当前的IP语音包没有到达时，进一步检查下一个IP语音包是否到达；

B.在检查出下一个IP语音包已经到达时，根据上一个IP语音包和下一个IP语音包，通过波形插值法恢复当前的IP语音包；在检查出下一个IP语音包没有到达时，根据上一个IP语音包，通过线性预测法恢复当前的IP语音包；

C.在检查出当前的IP语音包已经到达时，检查上一个IP语音包是否是经线性预测法恢复得到的；

D.在检查出上一个IP语音包是经线性预测法恢复得到的时，对当前的IP语音包作平滑滤波，使当前的IP语音包与上一个IP语音包的相位保持同步；

E.在检查出上一个IP语音包是未经线性预测法恢复得到的时，对当前的IP语音包直接作脉冲编码调制解码输出。

2.根据权利要求1所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于：所述的步骤A中，在接收端检查出当前的IP语音包已经到达时，直接对当前的IP语音包作脉冲编码调制解码输出。

3.根据权利要求1所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于：所述的步骤B中，在检查出当前的IP语音包没有到达和在检查下一个语音包是否到达前，对上一个IP语音包的语音性质作是否是清音、静音或浊音的判断，在上一个IP语音包的语音性质是清音、静音时，则重复上一个IP语音包作为当前的IP语音包并使当前的IP语音包与上一个IP语音包相位同步，在上一个IP语音包的语音性质是浊音时，则继续执行步骤B。

4.根据权利要求4所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于：所述的判断上一个IP语音包的语音性质是通过估计短时能量或短时平均幅度或短时过零率实现的。

5.根据权利要求1所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于：所述的波形插值法包括：通过分别估计出上一个IP语音包与下一个IP语音包的基音周期，得到当前IP语音包的语音基音个数；根据上一个与下一个IP语音包的基音周期和当前IP语音包的语音基音个数，通过插值得到当前IP语音包的基音周期；分别从上一个IP语音包与下一个IP语音包中提取一个完整的基音；利用从上一个IP语音包与下一个IP语音包中提取的基音和当前IP语音包的语音基音个数及基音周期，对当前IP包的基音进行线性插值，获得当前IP包各个基音中各点的相位及幅度。

6.根据权利要求5所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于：所述的对当前IP包的基音进行线性插值，还包括先对上一个IP语音包与下一个IP语音包的基音作线性插值，在上一个IP语音包与下一个IP语音包基音的每两个点间插入三个点。

7.根据权利要求5所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于：所述的估计基音周期包括短时自相关方法和短时平均幅度差方法。

8.根据权利要求1所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于所述的线性预测法包括：将上一个IP语音包的数据分成两个子帧，分别估计出每个子帧的基音周期；根据第一子帧的基音周期和第二子帧的基音周期求出当前IP语音包的语音基音个数；预测当前IP语音包的语音基音周期；分别从第一子帧与第二子帧数据中提取一个完整的基音；利用从第一子帧与第二子帧中提取的基音和当前IP语音包的语音基音个数及基音周期，对当前IP语音的基音进行线性插值，获得当前IP语音包各个基音中各点的相位及幅度。

9.根据权利要求8所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于：所述的预测当前IP语音包的语音基音周期是2倍的第二子帧的基音周期与第一子帧的基音周期的差值。

10.根据权利要求8所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于：所述的对当前IP包的基音进行线性插值，还包括先对第一子帧和第二子帧的基音周期作线性插值，在第一子帧和第二子帧基音周期的每两个点间插入三个点。

11.根据权利要求8所述的一种在网络上传输IP语音包的丢包恢复方法，其特征在于：所述的估计基音周期包括短时自相关方法和短时平均幅度差方法。