CN1929355B - 语音包丢失恢复系统以及方法 - Google Patents

Abstract

本发明提供一种语音包丢失恢复系统和方法。该语音包丢失恢复系统包括：一包丢失恢复算法选择单元，其根据丢包类型和丢包率来选择包丢失恢复的算法，和一包丢失恢复单元，其利用包丢失恢复算法选择单元选择的算法进行包丢失恢复。

Description

语音包丢失恢复系统以及方法

技术领域

本发明涉及一种语音包丢失恢复系统以及方法，特别涉及一种能够以低功耗进行包丢失恢复的语音包丢失恢复系统以及方法。

背景技术

VoIP是以IP分组交换网络为传输平台，对模拟的语音信号进行压缩、打包等一系列的特殊处理，使之可以采用无连接的UDP协议进行传输。语音信号是模拟波形，通过IP方式来传输语音，首先要对语音信号进行模拟数据转换，也就是对模拟语音信号进行8位或16位的量化，然后送入到缓冲存储区中。许多低比特率的编码器是采取以帧为单位进行编码。

一旦语音信号进行数字编码，下一步就是对语音包以特定的帧长进行压缩编码。编码后，将压缩的语音包送入网络处理器。网络处理器为语音添加包头、时标和其它信息后通过网络传送到另一端点。IP网络要求把数据放在可变长的数据报或分组中，然后给每个数据报附带寻址和控制信息，并通过网络发送，一站一站地转发到目的地。在这个通道中，全部网络被看成一个从输入端接收语音包，然后在一定时间内将其传送到网络输出端。网络中的同间节点检查每个IP数据附带的寻址信息，并使用这个信息把该数据报转发到目的地路径上的下一站。目的地VoIP设备接收这个IP数据并开始处理。在数据报的处理过程中，去掉寻址和控制信息，保留原始的原数据，然后把这个原数据提供给解码器。播放驱动器将解码缓冲器中的语音样点取出送入声卡，通过扬声器按预定的频率播出。

语音编码的主要功能就是把用户语音的PCM(脉冲编码调制)样值编码成少量的比特(帧)。语音编码器分为三种类形：(a)波形编器；(b)声码器；(c)混合编码器。波形编码器会尽可能构出包括背景噪声在内的模拟波形。波形编码器作用于所有输入信号，因此会产生高质量的样值，但是它需要较高比特率。声码器方法不会再生原始波形，这组编码器会提取一组参数，这组参数被送到接收端，用来导出语音产生模形。线性预测编码(LPC)用来获取一时变数字滤波器的参数。常用的声码器编码方法包括G.723，G.728，G.729，LPC-10，iLBC等。

目前，在进行VOIP语音传输时，波形编码的语音质量较高，因此在实现VOIP系统时，实现G.711和G.726就成为VOIP终端的基本要求。特别的，所有VOIP终端必须支持的语音编码为G.711。波形编码方式的优点是实现简单，编码需要的运算复杂度极低。但是它的缺点也非常明显，比如对于数据丢包非常敏感，仅仅5％的数据丢包就使得音频传输质量下降到不可以接受的水平；对于在因特网上的传输而言，此类方法的数据传输率较高。

在实现VOIP技术时，发送端必须将语音数据实时编码，并以语音包的形式发送出去，接收端收到此语音包之后，对语音数据解码并播放.这个发送和接收的过程连续进行，发送者和接收者之间的数据传输连续，则两方通话就能顺畅的继续.但是在目前的网络条件下，语音包在因特网上传送以路由器传递的方式进行，在传输过程中，由于路由路径不同和路由器负载不同，经常遇到许多语音包延时的情况.也就是说，语音包以等时间间隔连续发送的，但是语音包到达会有较大的时延波动.图1显示了：在接收端发送之后，语音包以或长或短的间隔到达接收端.

为了平滑到达的时间波动，接收端往往会使用一种缓冲机制。接收端如果发现语音包延时，则一直等待，直到缓冲区填满为止。理论上来讲，缓冲区越大，包延时到达时，被接收到的可能性越大，但是引入的播放延时也较大。较小的缓冲区，会丢失一些语音包，但是引入的播放延时也较小。在语音传输时，从发送到网络传输、再到解码、用户听见的单向时延一般需要控制在150ms以内，最大不能超过300ms，否则会使语音传输的效果显著下降。

除了过小的接收缓冲会引入额外丢包，同样，语音包的平均到达时延也会引入语音包丢失。举例而言，如果语音包的平均到达时延为10ms，在每个语音包30ms秒的条件下，1秒钟将只能播放25个包，将比理想情况丢包20％。

由于音频数据一般采用UDP方式传输，而且并没有额外的重传机制，因此网络传输也会引入语音包丢失，因此在最坏情况下，语音包时延丢包、接收缓冲丢包和网络数据丢失会叠加在一起，影响语音传输的质量。

因此，商业的VOIP实现都会在接收端对接收的波形编码数据进行语音质量修复和提升的工作，其中最常用的技术就是包损失恢复技术(Packet LossConcealment)。它的原理是依据语音信号的短时不变性，使用已经收到的语音包采用语音合成技术对丢失的语音包进行恢复。对于参数编码方法，由于它内置包损失恢复算法，所以无需提供独立的包损失恢复算法。目前针对波形编码包损失恢复的算法和专利非常多，但是主流的技术有两种：一种是基于时域波形拼接的技术，另外一种是基于线性预测(Linear Prediction)的技术。

但是，现有的方法主要的着眼点都在于如何提供一种单一的、性能更为优良的包损失恢复算法，它一般是以增大计算复杂度，增加准确的判决方法为代价的。因为处理能力的原因，这些算法对于基于PC的软终端可能是合适的，但是对于嵌入式VOIP设备，功耗是整机性能的重要指标，计算量越大的算法，对应的数字协处理器或主CPU的运行主频就越高，因此功耗就越大。

发明内容

有鉴于此，本发明的目的在于提供一种既能保证语音通信质量又能降低运算量和功耗的语音包丢失恢复系统和方法。

依照本发明的语音包丢失恢复系统，其包括：一包丢失恢复算法选择单元，通过判断当前丢包是否为第一次丢包以及第一次丢包是否为活动语音包确定丢包类型，根据所述丢包类型，并当所述丢包类型为第一次丢包且为活动语音包时还结合丢包率来选择包丢失恢复的算法，和一包丢失恢复单元，其利用包丢失恢复算法选择单元选择的算法进行包丢失恢复。

依照本发明的语音包丢失恢复方法，其包括：步骤一，利用一包丢失恢复算法选择单元，通过判断当前丢包是否为第一次丢包以及第一次丢包是否为活动语音包确定丢包类型，根据所述丢包类型，并当所述丢包类型为第一次丢包且为活动语音包时还结合丢包率来选择包丢失恢复的算法，和步骤二，利用一包丢失恢复单元，根据步骤一选择的算法进行包丢失恢复。

依照本发明，可以根据丢包类型和丢包率来选择运算量不同包丢失恢复的算法，从而可以在保证通信质量的前提下降低运算量和功耗。

附图说明

图1为显示通信过程中的接收延时的示意图。

图2为依照本发明的语音包丢失恢复系统的结构框图。

图3为依照本发明的语音包丢失恢复方法的流程图。

具体实施方式

在语音传输时，语音包在网络连续传输，语音包的丢失可能发生在语音处理的任何时刻，因此包丢失恢复算法必须实时进行运算。在本发明中，基于丢失语音包的情况，实时地调用相应的包恢复算法，进行包恢复。

如图2所示，依照本发明的语音包丢失恢复系统包括一语音包接收单元21，一语音包缓冲单元22，一包丢失恢复算法选择单元23，一包丢失恢复算法加载单元24，一包丢失恢复算法单元25和一语音包播放单元26。

语音包接收单元21负责从网络接收语音包，在接收到语音包之后，判定此语音包是否已经到达，如果到达，将直接丢弃此语音包。否则，该语音包接收单元21除去网络传输头，并将原语音传给语音包缓冲单元22。

语音包缓冲单元22判定语音包的顺序号，将乱序语音包进行重组，并等待语音包播放单元读出语音包。同时，基于已接收的语音包，该语音包缓冲单元22可以判断是否存在语音包丢失，这将作为包丢失恢复算法选择的前提条件。如果判断不存在语音包丢失，则直接通过语音包播放单元26播放。如果判断存在语音包丢失，则利用包丢失恢复算法选择单元23，包丢失恢复算法加载单元24和包丢失恢复算法单元25进行丢失包的恢复。

包丢失恢复算法选择单元23根据网络丢包率和语音包的类型选择最适合的包丢失恢复算法，包丢失恢复算法加载单元24将包丢失恢复算法选择单元23选择的包丢失恢复算法加载，并通过包丢失恢复算法单元25进行包丢失的恢复。

具体的，包丢失恢复算法选择单元23首先判断当前丢包是否为第一次丢包。当包丢失恢复算法选择单元23判断当前丢包不是第一次丢包时，选择重叠区计算算法作为包丢失恢复算法。重叠区计算算法，是连续丢包时使用的一种算法，其主要对前面计算出来的首包进行处理。重叠区计算算法的主要工作是逐渐衰减语音数据，使得其后的语音播出较为平滑，其运算量一般很小。

基于已收到的语音包，如果包丢失恢复算法选择单元23判断当前丢包是第一次丢包，则从语音包缓冲单元22中取得历史语音包，其根据历史语音包进一步判断当前丢包是否为活动语音包，即判断当前丢包是否为白噪声。如果包丢失恢复算法选择单元23判断当前语音包不是活动语音包，即是白噪声时，选择舒适噪音生成算法作为包丢失恢复算法。舒适噪音声算法根据历史缓冲中的语音平均能量，由某种随机策略，生成白噪音数据。

如果包丢失恢复算法选择单元23判断当前语音包是活动语音包，即不是白噪声时，其进一步计算系统的总丢包率。系统的总丢包率为时延丢包率P’和网络传输丢包率P的和。

网络传输丢包率P通过下式计算：

$P=1-\frac{N^r}{N^s},$ 其中，

N^r：表示接收端实际接收的语音包总和

N^s：表示发送端实际发送的语音包总和

时延丢包率P’通过下面的方式计算：

t_k ^j：表示在第k个语音通话中第i个包的发送者时戳，此时戳保存在发送端RTP包头中；

a_k ^j：表示在第k个语音通话中第i个包的接收者时戳，此时戳为接收者的当前时间；

n_k：表示在第k个语音通话中接收者收到的包数；

表示在第k个语音通话中第i个包的发送者到接收者延时，由于发送端和接收端的时钟不同步，此差值仅是一个相对度量值；

$\hat{d}=\underset{1\≤k\≤M,1\≤i\≤n_k}{\min }\left\{{\hat{d}}_k^i\right\};$

其表示消除网络时延抖动后，在第k个语音通话中第i个包的发送者到接收者正交延时，在和最小时延求差之后，此值可以度量语音抖动的相对程度；

表示平均抖动时延，此值可以用来度量语音时延造成的丢包；

s_k ^j：表示第k个语音通话中第i个包的时间长度；

时延丢包率

然后，包丢失恢复算法选择单元23将该计算得到的丢包率和某一阀值相比较。当丢包率大于该阀值时，选择基于线性预测的恢复算法，否则选择基于时域波形恢复算法。基于时域波形恢复算法，它一般对时域音频数据进行直接处理，无须进行时域到频域的数值计算，其计算量较小。它以ITU-TG.711Appendix I为代表，它的计算复杂度低，对于15％以内的丢包具有较好的效果。但是它的缺点是性能不太稳定，对于存在噪音和高频语音(女声)的恢复效果不理想。基于线性预测恢复算法，需要先对语音数据进行线性预测编码，然后对编码后的数据进行基音检测工作，最后需要进行反编码，将编码后的数据转换为实际的语音数据，其计算量较大。它以ANSIT1.521a-2000(Annex B)为代表，它的计算复杂度较高，但是性能稳定，对于噪音和女声有较好的恢复效果。

在包丢失恢复算法选择单元23选择了适当的包丢失恢复算法之后，它将算法类型作为参数传给包丢失恢复算法加载单元24。

包丢失恢复算法加载单元24加载包丢失恢复算法选择单元23选择的适当的算法.如果需要，其还可以根据算法的类型设置数字协处理器(即包丢失恢复算法单元25)的工作主频.例如，当包丢失恢复算法为重叠区计算算法或舒适噪音生成算法时，其可以将数字协处理器的工作主频设置为最低工作主频.当包丢失恢复算法为基于时域波形的恢复算法时，其将数字协处理器工作主频设置为较低(第二预置)工作主频，例如可以是1/16主频.当包丢失恢复算法为基于线性预测恢复算法时，将数字协处理器的工作主频设置为较高(第一预置)工作主频，例如可以是1/4主频.

包丢失恢复算法单元25调用实际的语音恢复算法。该包丢失恢复算法单元25可以由数字协处理器实现。

在包丢失恢复算法单元25计算而进行了包丢失恢复之后，通过语音包播放单元26播放语音包。

下面，参照图3，描述依照本发明的语音包丢失恢复方法。

当语音数据包准备播出时，首先在步骤S301中，判断语音包是否到达，即判断是否有丢包发生。如果判断没有丢包，则直接通过步骤S307将语音包传出，播放语音。如果判断有丢包发生，则进行至步骤S302。

在步骤S302中，判断该丢失包是否是第一次丢包。如果确定不是第一次丢包，则进行至步骤S311-S313。在步骤S311至S313中，将数字协处理器的工作主频设置为最低工作主频，且加载重叠区算法进行计算，恢复丢失包。如果判断是第一次丢包，则进行至步骤S303。

在步骤S303中，从语音包缓冲单元22中取得历史语音包。

接着，在步骤S304中，判断该丢失的语音包是否为活动语音包，即判断该语音包是否为白噪声。如果判断该丢失的语音包不是活动语音包，即为白噪声时，进行至步骤S321-S323。在步骤S321-S323中，将数字协处理器的工作主频设置为最低工作主频，且加载舒适噪音生成算法进行计算，恢复丢失包。如果判断该丢失的语音包为活动语音包，则进行至步骤S305。

在步骤S305中，计算网络丢包率。

接着，在步骤S306中，判断在步骤S305中计算得到的丢包率是否大于某一阈值。该阈值可以根据实际情况而进行调整。如果判断丢包率不大于该阈值，则进行至步骤S331-S333。如果判断丢包率大于该阈值，则进行至步骤S334-S343。

在步骤S331-S333中，设置数字协处理器工作主频为较低(第二预置工作主频，例如可以是1/16主频，并加载基于时域波形恢复算法进行计算，恢复丢失包。在步骤S334-S343中，设置数字协处理器工作主频为较高(第一预置)工作主频，例如可以是1/4主频，并加载基于线性预测恢复算法进行计算，恢复丢失包。

经过步骤S311-S313，步骤S321-S323，步骤S331-S333，或步骤S341-S343进行了包丢失恢复之后，在步骤S307中传出语音包。

依照本发明的语音包丢失恢复系统和方法，根据丢包类型和丢包率选择适当的包丢失恢复的算法，从而实现降低运算量和功耗的目的。此外，本发明还根据丢包类型和丢包率选择相应的工作主频，进一步降低了功耗。例如，对于连续丢包(即非第一次丢包)，设置工作主频为最低工作主频，且选择运算量较小的重叠区计算算法；对于非活动语音包，设置工作主频为最低工作主频，且选择运算量较小的舒适噪音生成算法；根据丢包率的大小，设置不同的工作主频，以及选择运算量不同的基于使用波形恢复算法或基于线性预测恢复算法。从而，本发明既可以保证语音通信质量又可以根据实际情况设置不同的工作主频和恢复算法来降低运算量和功耗。

Claims (16)

1.一种语音包丢失恢复系统，其包括：

一包丢失恢复算法选择单元，其通过判断当前丢包是否为第一次丢包以及第一次丢包是否为活动语音包确定丢包类型，根据所述丢包类型，并当所述丢包类型为第一次丢包且为活动语音包时还结合丢包率来选择包丢失恢复的算法，和

一包丢失恢复单元，其利用包丢失恢复算法选择单元选择的算法进行包丢失恢复。

2.如权利要求1所述的语音包丢失恢复系统，其中，

当包丢失恢复算法选择单元确定当前丢包不是第一次丢包时，选择重叠区计算算法作为包丢失恢复算法。

3.如权利要求1所述的语音包丢失恢复系统，其中，

当包丢失恢复算法选择单元确定当前丢包是第一次丢包且根据已接收的语音包判定当前丢失语音包不是活动语音包时，选择舒适噪音生成算法作为包丢失恢复算法。

4.如权利要求1所述的语音包丢失恢复系统，其中，

当包丢失恢复算法选择单元确定当前丢包是第一次丢包且根据已接收的语音包判定当前丢失语音包是活动语音包时，判断丢包率是否大于一阈值，当丢包率大于该阈值时，选择基于线性预测恢复算法作为包丢失恢复算法。

5.如权利要求4所述的语音包丢失恢复系统，其中，

当包丢失恢复算法选择单元确定丢包率不大于该阈值时，选择基于时域波形恢复算法作为包丢失恢复算法。

6.如权利要求2所述的语音包丢失恢复系统，其中，

当包丢失恢复算法为重叠区计算算法时，包丢失恢复单元将其工作主频设置为最低工作主频。

7.如权利要求3所述的语音包丢失恢复系统，其中，

当包丢失恢复算法为舒适噪音生成算法时，包丢失恢复单元将其工作主频设置为最低工作主频。

8.如权利要求5所述的语音包丢失恢复系统，其中，

当包丢失恢复算法为基于线性预测恢复算法时，包丢失恢复单元将其工作主频设置为第一预置工作主频；当包丢失恢复算法为基于时域波形恢复算法时，包丢失恢复单元将其工作主频设置为低于所述第一预置工作主频的第二预置工作主频。

9.一种语音包丢失恢复方法，其包括：

步骤一，利用一包丢失恢复算法选择单元，通过判断当前丢包是否为第一次丢包以及第一次丢包是否为活动语音包确定丢包类型，根据所述丢包类型，并当所述丢包类型为第一次丢包且为活动语音包时还结合丢包率来选择包丢失恢复的算法，和

步骤二，利用一包丢失恢复单元，根据步骤一选择的算法进行包丢失恢复。

10.如权利要求9所述的语音包丢失恢复方法，其中，

在步骤一中，当当前丢包不是第一次丢包时，选择重叠区计算算法作为包丢失恢复算法。

11.如权利要求9所述的语音包丢失恢复方法，其中，

在步骤一中，当当前丢包是第一次丢包且根据已接收的语音包判定当前丢失语音包不是活动语音包时，选择舒适噪音生成算法作为包丢失恢复算法。

12.如权利要求9所述的语音包丢失恢复方法，其中，

在步骤一中，当当前丢包是第一次丢包且根据已接收的语音包判定当前丢失语音包是活动语音包时，判断丢包率是否大于一阈值，当丢包率大于该阈值时，选择基于线性预测恢复算法作为包丢失恢复算法。

13.如权利要求12所述的语音包丢失恢复方法，其中，

在步骤一中，当丢包率不大于该阈值时，选择基于时域波形恢复算法作为包丢失恢复算法。

14.如权利要求10所述的语音包丢失恢复方法，其中，

在步骤二中，当包丢失恢复算法为重叠区计算算法时，将进行包丢失恢复的工作主频设置为最低工作主频。

15.如权利要求11所述的语音包丢失恢复方法，其中，

在步骤二中，当包丢失恢复算法为舒适噪音生成算法时，将进行包丢失恢复的工作主频设置为最低工作主频。

16.如权利要求13所述的语音包丢失恢复方法，其中，

在步骤二中，当包丢失恢复算法为基于线性预测恢复算法时，将进行包丢失恢复的工作主频设置为第一预置工作主频；当包丢失恢复算法为基于时域波形恢复算法时，将进行包丢失恢复的工作主频设置为低于所述第一预置工作主频的第二预置工作主频。

Images