CN106571893B - 一种语音数据的编解码方法 - Google Patents

Abstract

本发明主要披露了一种语音数据的编解码方法，包括以下操作步骤a:对信道端发送的语音数据进行编码，得到语音信息包Ss；步骤b:在信息包Ss头部添加包长度和时间戳信息，得到扩展信息包Ss'并将其压入语音队列;步骤c:对信息包Ss'选择RS编码模式，进行RS纠错编码，生成冗余包Rs,并在Rs头部添加相关保护信息得到扩展冗余包Rs',并进一步将信息包Ss和扩展冗余包Rs'组合封装生成组合包；步骤d:在信道接收端，根据接收到的信息包和冗余包对丢失的信息包进行RS丢包恢复。信道接收端对收到的组合包进行拆包和校验过程，如果关联信息包数量SN与关联冗余包数量RN之和大于等于k数值时，转至丢包恢复操作后解码。本发明方法在接收端检测出错包是否能被恢复，能则立即恢复，进一步减小延时，有效修复网络丢包、延时、抖动引起的语音质量问题。

Description

一种语音数据的编解码方法

技术领域

本发明属于网络电话技术领域，尤其涉及网络电话的语音处理技术。

背景技术

随着网络技术日新月异的发展，作为当下最为热门的互联网技术之一的流媒体技术，是提供我们可以快速高保真的分享图像、音频、视频等多媒体文件的基础。在流媒体技术中,由于网络等外部原因，数据包丢失、乱序、延时到达等出错现象不可避免。而语音文件对网络质量最为敏感，如果音频文件的包出错，比如包的丢失、乱序、延时等达到一定程度，则严重影响接收端的语音听觉效果，出现抖动，噪声，语音模糊，严重时甚至无法识别语音内容。

为了保证发送音频在接收端能够正常播放，则需要对音频包出错进行恢复，这一般都是通过在传输的音频包中增加冗余包来实现的。音频纠错编码是一种能够恢复一定数量范围内音频包出错的编码方法。在纠错编码中，用于生成冗余包的每组音频包的数量越多，则能够恢复的出错包数量越多。然而，每组音频包的数量增多则会导致接收延时增加等问题。在传输的带宽一定的情况下，用尽量少的引入延时来达到最大可能恢复发送音频包，则纠错编码效率越高。FEC编码是目前较常采用的一种数据恢复编码，其有较为高效的丢包恢复能力，FEC又分为多种编码实现方式，RS编码是其中最为高效的一种编码方式。然而，目前的FEC编码设计，存在对丢包恢复效果与编码效率之间难以达到平衡的难题。

发明内容

本发明的目的在于提供一种语音数据的编解码方法，在接收端检测出错包是否能被恢复，能则立即恢复，进一步减小延时，有效修复网络丢包、延时、抖动引起的语音质量问题。

为了实现上述发明目的，本发明一种语音数据的编解码方法包括：步骤a:对信道端发送的语音数据进行编码，得到语音信息包Ss；步骤 b: 在信息包Ss头部添加包长度和时间戳信息，得到扩展信息包Ss'并将其压入语音队列;步骤c:对信息包Ss'选择RS编码模式，进行RS纠错编码，生成冗余包Rs, 并在Rs头部添加相关保护信息得到扩展冗余包Rs',并进一步将信息包Ss和扩展冗余包Rs'组合封装生成组合包；步骤d:在信道接收端，根据接收到的信息包和冗余包Rs对丢失的信息包进行RS丢包恢复。

优选的，冗余包Rs头部添加相关保护信息包括:每组语音数据帧数量 k、该冗余包的序号、被保护的第一个信息包的序列号、被保护的所有信息包的时间戳信息，得到扩展冗余包Rs'。

优选的，所述步骤d之前还包括：信道接收端对收到的所述组合包进行拆包和校验过程。其中，校验过程包括：根据Rs'携带的被保护信息包的时间戳判断是否与Rs'相关联的信息包已全部放入待解码队列，是则将Rs'丢弃，否则将该Rs'压入接收冗余队列末尾。

优选的，上述校验过程还包括：取出接收冗余队列中第一个扩展冗余包Rs'，根据其携带的被保护信息包的时间戳信息在接收语音队列中找出与该扩展冗余包Rs'相关联的信息包，压入FEC解码语音队列，并记找到的关联信息包数量为SN。

优选的，上述校验过程还包括：如果SN=k，则根据扩展冗余包Rs'中携带的被保护的第一个信息包的序列号从接收冗余队列中找出与该扩展冗余包Rs'相关联的扩展冗余包Rs'丢弃，清空FEC解码语音队列并转至解码步骤，否则转至寻找关联扩展冗余包Rs'步骤。

优选的，上述寻找关联扩展冗余包Rs'步骤具体是指：根据扩展冗余包Rs'中携带的被保护的第一个信息包的序列号从接收冗余队列中找出与该扩展冗余包Rs'相关联的扩展冗余包Rs'，压入FEC解码冗余队列，记找到的关联扩展冗余包Rs'数量为RN。

优选的，上述校验过程还包括：如果RN+SN>=k，则转至丢包恢复步骤，否则清空FEC解码语音队列和FEC解码冗余队列并转至解码步骤。

优选的，丢包恢复步骤是指：根据冗余包Rs和接收到的信息包对丢失的信息包进行 RS 丢包恢复，在恢复出来的信息包头部添加序列号，根据序列号将恢复的信息包放至待解码队列的合适位置。

本发明在发送端根据统计的丢包率，选择生成冗余包Rs的信息包数量即最佳的RS编码模式，从而找出最高效的FEC RS编码设计，在接收端检测出错包是否能被恢复，能则立即恢复，有效修复网络丢包、延时、抖动引起的语音质量问题。

设计高效的音频FEC编码算法，在冗余包Rs与信息包数量相等时，根据统计的丢包率选择生成合适的冗余包Rs的信息包的数量以实现最佳的包出错恢复效果。

本发明提供的方案通过在信道发送端发送信息包的同时发送高效编码的FEC冗余包，保证了信道接收端能够对音频传输过程中的包出错进行恢复，从而保证了接收端的音频质量。

本发明提供的方案在发送冗余包与信息包数量相同的情况下，根据统计的丢包率选择最佳的RS编码模式，即确定RS编码最佳的信息包数量，来进行FEC编码，能够使包出错恢复率得到保证，又能尽量减小引入延时以及降低终端资源占用，从而保证信道接收端音频有较好的质量。

本发明实例对发送端音频进行RS编码时，在保证丢包恢复概率的前提下，选择信息包数量最小的RS编码模式，减小引入延时、降低终端资源占用，在接收端检测出错包是否能被恢复，能则立即恢复，进一步减小延时，有效修复网络丢包、延时、抖动引起的语音质量问题。

本发明实例FEC RS编码的计算过程中，对部分运算事先制作成为运算表，使得在编解码的过程中部分运算转换为查表的方式，提高了运算效率。

附图说明

图1为本发明具体实施例中对语音数据传输处理的流程。

具体实施方式

发明的基本原理：一种在信道发送端对语音数据进行高效 FEC 编码的方法，该方法在每一帧语音数据上附加一个FEC冗余数据，通过信道发送。从而实现在较差网络环境下尽可能的减小网络抖动、延时以及对语音数据进行最大概率的恢复，提高了接收端的语音质量。该方法的具体的从根据语音信息数据进行高效FEC 编码并根据标准格式进行流媒体包打包后经过信道发送到从信道接收包含音频数据和FEC冗余数据的流媒体包后进行校验纠错。

为了更清楚地说明本发明实例的技术方案，下面将结合示例图对本发明的实施进行详细的介绍，下面的描述仅仅是本发明的一些实施例。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些实施例获得本发明的其他实施方式。

图1为本发明具体实施例中对语音数据传输处理的流程。如图 1 所示，本发明的主要内容包括以下操作步骤：

步骤S110：设置 RS FEC 编码模式，确定每组语音数据帧数量 k。

步骤S120：对信道发送端的语音数据进行编码得到语音信息包 { Ss1，Ss2，...，Ssk }, 并在{ Ss1，Ss2，...，Ssk }头部添加包长度和时间戳信息，得到扩展语音信息包{Ss'1，Ss'2，...，Ss'k }。

步骤S130：根据步骤S120中的扩展语音信息包和步骤S110中选择的RS编码模式进行RS纠错编码，得到冗余包 { Rs1，Rs2，...，Rsk }，在{ Rs1，Rs2，...，Rsk }头部添加每组语音数据帧数量 k、该冗余包的序号、被保护的第一个信息包的序列号、被保护的所有信息包的时间戳信息，得到扩展冗余包{ Rs'1，Rs'2，...，Rs'k }。将扩展冗余包和信息包组合封装，得到组合包 { T1，T2，...，Tk }。

其中，步骤 S110-S130为本发明的编码部分，步骤S150-S190为本发明的解码部分，步骤S110的初始化只需对开始的发送语音组进行设置。

步骤S140：将组合包发送至信道。

步骤S150：在信道接收端对收到的组合包进行拆包，得到信息包 Ss和扩展冗余包Rs'。

步骤S160：在信道接收端对得到的信息包进行校验，如果发生丢包且丢包可恢复则转至步骤S170，否则转至步骤S180。

步骤S170：根据接收到的信息包和冗余包Rs对丢失的信息包进行RS丢包恢复。

步骤S180：对收到的语音信息包和校验恢复后的语音信息包进行解码。

下面对本发明具体实施例方法在信息包编码、传输解码、信息包恢复校验方面作进一步详细的说明：

步骤S210：设置初始RS FEC 编码模式，确定每组语音数据帧的数量为k。步骤S210只需在初始化时执行一次。

步骤S220：对信道发送端的语音数据用主流音频编码器进行编码，得到信息包 {Ss1，Ss2，...，Ssk }。

在本发明实例中，为了保证发送端语音在接收端能够抵抗信道中的丢包、抖动而正常播放，需要对其添加用于校验的冗余包。记发送端第 i 组的发送包为 Gi，其包含的包总数为 k，为组合包 { T1，T2，...，Tk }，是信息包 { Ss1，Ss2，...，Ssk } 与扩展冗余包{ Rs’1，Rs’2，...，Rs’k } 的组合。其中，扩展冗余包 { Rs’1，Rs’2，...，Rs’k } 是对信息包 { Ss1，Ss2，...，Ssk } 添加一定的头部信息, 再通过纠错编码算法后，再添加相关信息得到的，用于在接收端对接收的音频数据包进行校验正确性并纠错恢复。以下步骤S220-a至步骤S220-d用来说明基于信息包、冗余包来生成组合包的制作过程。

S220-a对信道发送端的一帧语音数据用主流音频编码器进行编码，得到信息包Ss。在信息包Ss头部添加包长度和时间戳信息，得到Ss'并将其压入语音队列。

S220-b检查发送冗余队列中是否有冗余数据包，如果有则转至S220-c，否则转至S220-d。

S220-c从发送冗余队列中取出一个扩展冗余包Rs'，和信息包Ss进行组合，并添加相关信息得到组合包T。

S220-d检查语音队列中的语音包数量是否大于等于k ，如果是则转至步骤S230，否则转至步骤S240。需要每k个信息包来生成k个冗余包Rs，如果语音包数量小于k则需要等到足够k个信息包再通过步骤S230生成k个冗余包Rs。

步骤S230：从语音队列中取出k个信息包{ Ss’1，Ss’2，...，Ss’k }，根据步骤S210中选择的 RS 编码模式进行 RS 纠错编码，得到冗余包 { Rs1，Rs2，...，Rsk } 。在Rsn头部添加每组语音数据帧数量 k、该冗余包的序号、被保护的第一个信息包的序列号、被保护的所有信息包的时间戳信息，得到扩展冗余包{ Rs’1，Rs’2，..，Rs’k } ，将Rs’n 依次压入冗余队列。

在本发明具体实施例中，所述冗余包生成可以参考以下操作：

S230-a 建立 GF ( 2m ) 数据表。由于在本发明实例中，RS 编码的所有运算是在伽罗华域 GF ( 2m ) 下进行的，所以先求出 GF ( 2m ) 下的所有元素表，并对该域下的乘法运算建立乘法表，以节省 RS 编解码过程中乘法运算的时间。S230-b 由 RS 编码模式RS ( k ) 确定 RS 编码的本原多项式，并根据 S230-a 中的运算数据表计算生成矩阵。S230-c 根据生成矩阵构造校验矩阵。S230-d 根据校验矩阵和 k 个信息包求出 k 个用于校验的冗余包。

步骤S240：根据RTCP统计的发送丢包率动态选择FEC 编码模式，重新确定每组语音数据帧的数量k，使得包出错恢复率得到保证，又能尽量减小引入延时以及降低终端资源占用，从而保证信道接收端音频有较好的质量。

步骤S250：将组合包发送至信道进行传输。在传输过程中，某些发送包可能会发生丢失或出错的情况，各个包的发送顺序和到达顺序可能不同。

其中，步骤S210-S240 为本发明的编码部分，在信道的发送端执行，用于对发送语音帧添加校验冗余包，其中步骤S210的初始化只执行一次，步骤 S220-S230则对每个语音帧都要执行，步骤S240在接收到RTCP包时执行。

步骤S260：在信道接收端对收到的组合包进行拆包，得到信息包 Ss和扩展冗余包Rs'。

步骤S270：在信道接收端对得到的信息包进行校验，如果发生丢包且丢包可恢复则转至步骤S280，否则转至步骤S290。

在本发明实例中，校验过程为：S270-a根据Rs’携带的被保护信息包的时间戳信息判断与Rs’相关联的信息包是否已全部放入待解码队列，是则将Rs’丢弃，否则将该Rs’压入接收冗余队列末尾。S270-b在步骤S260得到的信息包Ss头部添加序列号、包长度、时间戳信息，得到信息包Sr’。根据序列号将Sr’放至待解码队列的合适位置并将Sr’压入接收语音队列末尾。同时清理队列中过期的信息包Sr’和扩展冗余包Rs'。S270-c取出接收冗余队列中第一个扩展冗余包Rs'，根据其携带的被保护信息包的时间戳信息, 在接收语音队列中找出与该冗余包相关联的信息包Sr’，压入FEC解码语音队列，并记找到的关联信息包数量为SN。如果SN=k，说明与其相关联的信息包没有发生丢包, 则根据扩展冗余包Rs'中携带的被保护的第一个信息包的序列号从接收冗余队列中找出与该扩展冗余包Rs'相关联的扩展冗余包Rs'，并丢弃，同时清空FEC解码语音队列并转至步骤S290，否则转至步骤S270-d。S270-d根据扩展冗余包Rs'中携带的被保护的第一个信息包的序列号从接收冗余队列中找出与该扩展冗余包Rs'相关联的扩展冗余包Rs'，压入FEC解码冗余队列，记找到的关联冗余包数量为RN，如果RN+SN>=k，说明有丢包发生且丢包可恢复, 则转至步骤S280，否则说明有丢包发生但丢包不可恢复, 则清空FEC解码语音队列和FEC解码冗余队列并转至步骤S290。

步骤S280：根据冗余包Rs和接收到的信息包Sr’对丢失的信息包进行 RS 丢包恢复，在恢复出来的信息包头部添加序列号，根据序列号将恢复的信息包放至待解码队列的合适位置。

步骤S290：将待解码队列中的数据依次送入解码器中解码。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种语音数据的编解码方法，其特征在于，所述方法包括以下操作：

步骤a：对信道端发送的语音数据进行编码，得到语音信息包Ss；

步骤 b：在所述信息包Ss头部添加包长度和时间戳信息，得到扩展信息包Ss'并将其压入语音队列；

步骤c：对所述信息包Ss'选择RS编码模式，进行RS纠错编码，生成冗余包Rs, 并在Rs头部添加保护信息得到扩展冗余包Rs', 并进一步将所述信息包Ss和所述扩展冗余包Rs'组合封装生成组合包；

步骤d：在信道接收端，根据接收到的所述信息包Ss和所述冗余包Rs对丢失的信息包进行RS丢包恢复。

2.根据权利要求1所述的编解码方法，其特征在于，所述信息包Ss和所述冗余包Rs的数量都为k。

3.根据权利要求2所述的编解码方法，其特征在于，还包括步骤：所述冗余包Rs头部添加所述保护信息包括: 每组语音数据帧数量 k、冗余包的序号、被保护的第一个信息包的序列号、被保护的所有信息包的时间戳信息。

4.根据权利要求3所述的编解码方法，其特征在于，所述步骤d之前还包括：所述信道接收端对收到的所述组合包进行拆包和校验过程。

5.根据权利要求4所述的编解码方法，其特征在于，所述校验过程包括：根据所述Rs'携带的被保护信息包的时间戳判断与Rs'相关联的信息包是否已全部放入待解码队列，是则将Rs'丢弃，否则将该Rs'压入接收冗余队列末尾。

6.根据权利要求5所述的编解码方法，其特征在于，所述校验过程还包括：取出接收冗余队列中第一个扩展冗余包Rs'，根据其携带的被保护信息包的时间戳信息在接收语音队列中找出与所述扩展冗余包Rs'相关联的信息包，压入FEC解码语音队列，并记找到的关联信息包数量为SN。

7.根据权利要求6所述的编解码方法，其特征在于，所述校验过程还包括：如果SN=k，则根据所述扩展冗余包Rs'中携带的被保护的第一个信息包的序列号从接收冗余队列中找出与该所述扩展冗余包Rs'相关联的所述扩展冗余包Rs'丢弃，清空FEC解码语音队列并转至解码步骤，否则转至寻找关联的所述扩展冗余包Rs'步骤。

8.根据权利要求7所述的编解码方法，其特征在于，所述寻找关联的所述扩展冗余包Rs'步骤具体是指：根据所述扩展冗余包Rs'中携带的被保护的第一个信息包的序列号从接收冗余队列中找出与该所述扩展冗余包Rs'相关联的所述扩展冗余包Rs'，压入FEC解码冗余队列，记找到的关联的所述扩展冗余包Rs'数量为RN。

9.根据权利要求8所述的编解码方法，其特征在于，所述校验过程还包括：如果RN+SN>=k，则转至丢包恢复步骤，否则清空FEC解码语音队列和FEC解码冗余队列并转至解码步骤。

10.根据权利要求9所述的编解码方法，其特征在于，所述丢包恢复步骤是指：根据所述冗余包Rs和接收到的信息包对丢失的信息包进行 RS 丢包恢复，在恢复出来的信息包头部添加序列号，根据序列号将恢复的信息包放至待解码队列的合适位置。

Images