CN101471073B - 一种基于频域的丢包补偿方法、装置和系统 - Google Patents

一种基于频域的丢包补偿方法、装置和系统 Download PDF

Info

Publication number
CN101471073B
CN101471073B CN2008101266632A CN200810126663A CN101471073B CN 101471073 B CN101471073 B CN 101471073B CN 2008101266632 A CN2008101266632 A CN 2008101266632A CN 200810126663 A CN200810126663 A CN 200810126663A CN 101471073 B CN101471073 B CN 101471073B
Authority
CN
China
Prior art keywords
mdct coefficient
lost frames
frame
weighting factor
lost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101266632A
Other languages
English (en)
Other versions
CN101471073A (zh
Inventor
吴文海
肖玮
王庭红
李立雄
张德军
张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Yong Wei Wood Industry Co.,Ltd.
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN2008101266632A priority Critical patent/CN101471073B/zh
Publication of CN101471073A publication Critical patent/CN101471073A/zh
Application granted granted Critical
Publication of CN101471073B publication Critical patent/CN101471073B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于频域的丢包补偿方法,包括如下步骤:采用数据恢复手段恢复丢失帧对应的核心解码数据,根据丢失帧的在前帧和/或在后帧对丢失帧的改进离散余弦变换MDCT系数的频域进行预测,得到丢失帧对应的MDCT系数;用所述恢复出的核心解码数据和预测得到的MDCT系数合成对应于丢失帧的恢复帧。本发明还公开了一种基于频域的丢包补偿的装置和系统。本发明方案可以使声音解码的频域上的具有较高的连续性,使声音信号更好的平滑,带来主观质量的提高。

Description

一种基于频域的丢包补偿方法、装置和系统
技术领域
本发明涉及声音编码技术领域,特别涉及一种基于频域的丢包补偿方法、装置及系统。
背景技术
随着第三代(3G)、第四代(4G)移动通信技术和宽带互联网的发展,对宽带语音业务的需求日益增加,如IP电话(Voice over Internet Protocol,VoIP)业务。宽带语音业务涉及到语音压缩编码、打包分组、分配路由、存储交换、解包解压等交换处理,在IP网或互联网上实现语音通信,促进了网络资源利用,降低语音业务成本,同时提供比窄带语音更高质量的服务。
宽带语音业务的关键技术包括信令技术、编码技术、实时传输技术、服务质量(QoS)保证技术、以及网络传输技术等。其中编码技术又分为波形编码、参数编码和混合编码。波形编码包括窄带编码、宽带编码和超宽带编码。其中,宽带编码器处理频带0-7kHz的信号,超宽带编码器处理的语音带宽可达到16kHz,宽带编码器或超宽带编码器通常会在窄带0-4kHz信号采用代数码激励线性预测编码算法(Code Excited Linear Prediction,CELP)模型,在宽带或超宽带的高频部分,采用改进离散余弦变换(Modified Discrete Cosine Transform,MDCT)频带处理。图1给出了这类编码器的基本的框架。
IP数据包在网络传送过程中,不可避免地会出现丢包或者数据包损坏的情况。例如,数据包在网络传输的过程中被破坏,数据包由于网络拥塞或者网络节点的队列已满而被丢弃,数据包由于网络的故障而丢失,或者数据包仅仅由于到达接收端太晚而无法包括在重放语音中并被丢弃。而丢包是影响IP实时语音服务质量的最主要因素之一,当丢包发生时,在解码端必然不能重现丢失的IP包。当一帧或者相邻连续几帧被丢失时,解码器的语音质量会快速下降。
发明人在实现本发明的过程中,发现现有技术至少存在以下缺点:在CELP模型的窄带编解码器中,有很多丢包补偿的方法和系统,但现有的丢包补偿技术都是在时域进行处理,并且大多使用在窄带编码器中,对宽带、超宽带编码器的宽带及超宽带扩展部分并不能够使用。
发明内容
有鉴于此,本发明实施例提出一种基于频域的丢包补偿方法,可以适用于宽带、超宽带编码器的宽带及超宽带扩展部分。该丢包补偿方法包括如下步骤:
采用数据恢复手段恢复丢失帧对应的核心编码数据,根据丢失帧的在前帧和/或在后帧对丢失帧的改进离散余弦变换MDCT系数的频域进行预测,得到丢失帧对应的MDCT系数;
用所述恢复出的核心编码数据和预测得到的MDCT系数合成对应于丢失帧的恢复帧;
其中,所述得到丢失帧对应的MDCT系数的步骤包括:若丢失帧数为1,用丢失帧前一帧/后一帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数;如果连续丢失帧数大于1,则用在前最后一个未丢失的帧/在后第一个未丢失帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数,所述加权因子的取值大于等于0,且小于等于1;或者,
用丢失帧之前的帧的MDCT系数乘以加权因子,得到前向预测的丢失帧的MDCT系数;用丢失帧之后的帧的MDCT系数乘以加权因子,得到后向预测的丢失帧的MDCT系数;将所述前向预测的丢失帧的MDCT系数与后向预测的丢失帧的MDCT系数加窗叠加,得到丢失帧对应的MDCT系数。
本发明实施例还提出一种能够实现基于频域的丢包补偿的接收端装置,包括解码子系统,用于对所收到的数据帧的MDCT系数和核心编码数据进行处理,得到解码的声音信号,该接收端装置还包括:
MDCT系数预测模块,用于用丢失帧前一帧/后一帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数;如果连续丢失帧数大于1,则用在前最后一个未丢失的帧/在后第一个未丢失帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数,所述加权因子的取值大于等于0,且小于等于1;或者,
所述MDCT系数预测模块用于用丢失帧之前的帧的MDCT系数乘以加权因子,得到前向预测的丢失帧的MDCT系数;用丢失帧之后的帧的MDCT系数乘以加权因子,得到后向预测的丢失帧的MDCT系数;将所述前向预测的丢失帧的MDCT系数与后向预测的丢失帧的MDCT系数加窗叠加,得到丢失帧对应的MDCT系数;
核心数据恢复模块,用于恢复丢失帧对应的核心编码数据;
则所述解码子系统根据来自MDCT系数预测模块的丢失帧对应的MDCT系数和来自数据恢复模块的核心编码数据进行处理得到丢失帧的解码声音信号。
本发明实施例还提出一种能够实现基于频域的丢包补偿系统,包括:
MDCT系数预测模块,用于用丢失帧前一帧/后一帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数;如果连续丢失帧数大于1,则用在前最后一个未丢失的帧/在后第一个未丢失帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数,所述加权因子的取值大于等于0,且小于等于1;或者,
所述MDCT系数预测模块用于用丢失帧之前的帧的MDCT系数乘以加权因子,得到前向预测的丢失帧的MDCT系数;用丢失帧之后的帧的MDCT系数乘以加权因子,得到后向预测的丢失帧的MDCT系数;将所述前向预测的丢失帧的MDCT系数与后向预测的丢失帧的MDCT系数加窗叠加,得到丢失帧对应的MDCT系数;
核心数据恢复模块,用于恢复丢失帧对应的核心编码数据;
解码子系统,用于根据所述MDCT系数预测模块的丢失帧对应的MDCT系数和所述核心数据恢复模块的核心编码数据进行处理得到丢失帧的解码声音信号。
从以上技术方案可以看出,利用丢失帧的在前和/或在后帧对丢失帧的MDCT系数在频域上进行预测,可以得到丢失帧对应的MDCT系数,再将该MDCT系数与恢复得到的丢失帧的核心编码数据,可以合成得到丢失帧对应的信号。本发明方案可以使声音解码的频域上的具有较高的连续性,使声音信号更好的平滑,带来主观质量的提高。在基于宽带编码器试验的主观评测中,应用本发明方案比对照组要有较好的改善。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术的宽带编码器或超宽带编码器的基本框架示意图;
图2为本发明实施例的编码段框架示意图;
图3为本发明实施例的解码端框架示意图;
图4为图3所示解码端的合成原理图;
图5为本发明实施例的前向预测原理图;
图6为本发明实施例的后向预测原理图;
图7为本发明实施例的混合预测原理图;
图8为本发明实施例中的MDCT系数预测模块的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明方案通过帧间信号频域信息的外推和/或内插,来补偿丢包的宽带信号的信息,进而改善声音信号质量。
首先,对本发明实施例的应用环境,即宽带或超宽带的编解码系统进行说明。其中,编码端的结构如图2所示,在编码端100,原始的声音信号s(n)首先经过CELP模型的核心编码器101编码,得到
Figure GSB00000484936000051
信号,原始声音信号s(n)同CELP模型的核心编码器101的编码信号
Figure GSB00000484936000052
在减法器102中执行减法运算,s(n)减去
Figure GSB00000484936000053
输出低带的残差信号r(n)。
减法器102输出的残差信号r(n)在MDCT变换模块103进行N点的MDCT变换,得到长度为N的MDCT系数
Figure GSB00000484936000054
如公式(1)所示:
S en ( k ) = Σ n = 0 2 N - 1 r ( n ) h k ( n ) - - - ( 1 )
其中,hk(n)是MDCT正变换的基函数,如公式(2)所示:
h k ( n ) = ω ( n ) 2 N / 2 cos ( ( 2 n + N + 1 ) ( 2 k + 1 ) π 2 N ) - - - ( 2 )
量化模块103选择正弦窗
ω ( n ) = sin ( ( n + 0.5 ) π N ) - - - ( 3 )
对MDCT变换模块103输出的MDCT的系数进行量化,将量化后的MDCT系数
Figure GSB00000484936000058
连同CELP模型核心编码器101输出的编码数据
Figure GSB00000484936000059
一起通过输出模块105形成码流并输出。
解码端的结构如图3所示。在本实施例中,接收端200为解码端。在接收端200,接收模块201从所收到的码流中获得编码数据帧,所述编码数据帧包括量化后的MDCT系数
Figure GSB00000484936000061
以及声音编码数据
Figure GSB00000484936000062
由改进离散余弦逆变换(IMDCT)变换模块202对所述量化的MDCT系数
Figure GSB00000484936000063
进行IMDCT变换,得到时域信号
Figure GSB00000484936000064
长度为2N,前后相邻两帧
Figure GSB00000484936000065
信号进行N点的重叠相加作为当前帧的残差估计值,如公式(4)所示:
r ^ ′ ( n ) = Σ n = 0 N - 1 s ^ en m ( n ) * ω ( n ) + s ^ en m - 1 ( N / 2 + n ) * ω ( N - n - 1 ) - - - ( 4 )
将所述残差估计值连同CELP模型核心解码器203解码出的信号在合成输出模块204相加输出最终的合成信号。图4给出了解码端的合成原理图。
在丢包的情况下,本发明实施例的解码端在CELP模型核心解码器203之前,设置核心数据恢复模块206采用数据恢复手段,恢复丢失帧对应的核心解码数据。例如可以采用帧差错隐藏(Frame Erease Conceatment,FEC)或者丢包隐藏(Pack Loss Conceatment,PLC)技术来恢复丢失帧对应的CELP模型编码数据。考虑到MDCT的重叠处理及信号的平稳性,在IMDCT变换模块202和接收模块201之间,设置MDCT预测模块205对当前所要处理的丢失帧MDCT系数的频域根据前后帧进行预测,得到丢失帧对应的MDCT系数。最后用恢复出的丢失帧对应的CELP解码数据和预测得到的MDCT系数合成对应于丢失帧的恢复帧,则可以有效提升主观音质。
所述预测方法包括前向预测、后向预测和混合预测。
1、前向预测的方法:
图5为前向预测的原理图。解码过程保存前几帧的MDCT系数,在丢失帧情况下,根据在前帧的MDCT系数预测得到当前帧的MDCT系数(预测的阶数为M,M≥1)。如果连续丢失帧的帧数为M,则根据最后一个未丢失的帧的MDCT系数进行预测,则该预测的阶数为M。从原理上说,相当于用在前的MDCT系数向后外推得到当前丢失帧的MDCT系数。
以下以一阶预测为例进行描述。利用前一帧MDCT系数,乘以一个加权因子,得到当前帧的MDCT系数,如公式(5)所示:
S ^ en m ( n ) = ρ × S ^ ′ m - 1 en ( n ) 0≤ρ≤1.0        (5)
作为一种较为简便的实施方式,所述加权因子ρ=0.85。加权因子ρ也可以不是固定值,而是接收端信号采样值的线性或非线性函数。
2、后向预测方法
图6为后向预测的原理图。在当前帧正常,前一帧或几帧丢失的情况下,根据在当前帧的MDCT系数预测在前帧的MDCT系数(预测的阶数为M,M≥1)。从原理上说,相当于用当前的MDCT系数向前外推得到在前丢失帧的MDCT系数。
以下以一阶预测为例进行描述。利用当前帧MDCT系数,乘以一个加权因子,得到前一帧的MDCT系数,如公式(6)所示:
S ^ ′ m - 1 en ( n ) = ρ × S ^ en m ( n ) 0≤ρ≤1.0            (6)
作为一种较为简便的实施方式,所述加权因子ρ=0.85。加权因子ρ也可以不是固定值,而是接收端信号采样值的线性或非线性函数。
3、混合预测方法
图7为混合预测的原理图。在当前帧正常,前一帧或几帧丢失的情况下,在MDCT域,根据丢失帧之前的帧采用前向预测对丢失帧进行预测,并根据当前帧对丢失帧进行后向预测;对于丢失帧,为了能与前后的信号进行好的匹配,采用前向及后向预测的重叠相加的输出。从原理上说,相当于用丢失帧两侧MDCT系数内插得到中间丢失帧的MDCT系数。
Figure GSB00000484936000081
经IMDCT变化为
Figure GSB00000484936000082
并连同前向预测
Figure GSB00000484936000083
两者的经过加窗重叠相加,作为当前帧IMDCT重叠相加的输入,如公式(7)所示:
imdct _ cur _ in ( n ) = Σ n = 0 N s ^ m - 1 en ( n + N ) * ω ( N / 2 - n - 1 ) + s ^ ′ m - 1 en ( n + N ) * ω ( n ) - - - ( 7 )
所述加窗所用函数可以采用公式(3)描述的正弦窗ω(n)。
为达到较佳实施效果,可以根据信号的属性对信号进行分类,对其中某些种类的信号应用上述预测方案。
根据信号模式的不同,信号分为清音帧、浊音、通用帧和瞬态帧。在不同类型的信号模式下,信号的相关性不同的,当前一帧为清音、浊音、通用帧的情况下,认为存有较好的相关性;当前一帧为瞬态帧,则相关性较差。可以根据帧类型进行分类处理,当前一帧为清音帧、浊音、通用帧,进行预测处理,否则不进行预测。图5为前向预测的流程图:
在前向预测和后向预测中,还可以根据频率不同的子带进行分类处理,在较高频带采用预测,在低频带不进行预测。下面以一阶前向预测为例:
低频带:
Figure GSB00000484936000085
0≤n<M
高频带:
Figure GSB00000484936000086
0≤ρ≤1.0  M≤n<N  M<N
研究发现,对高频带2k-7kHz采用本发明实施例方案进行预测,在低频带0-2kHz不预测有较好的效果。
本发明实施例提出一种能够实现基于频域的丢包补偿的接收端装置,如图3所示,包括接收模块201、IMDCT变换模块202、CELP模型核心解码器203和合成输出模块204组成的解码子系统,用于对所收到的数据帧的MDCT系数和核心编码数据进行处理,得到解码的声音信号。解码子系统中各个模块的功能和连接关系如前所述。该接收端装置还包括:
MDCT系数预测模块205,设置在接收模块201和IMDCT变换模块202之间,对所收到的连续一定数目的MDCT系数进行缓存。如果没有出现丢包现象,则MDCT系数预测模块206将来自接收模块201的MDCT系数透传至IMDCT变换模块202;如果出现丢包现象,则MDCT系数预测模块205根据所缓存的丢失帧的在前帧和/或在后帧对丢失帧的MDCT系数的频域进行预测,得到丢失帧对应的MDCT系数;
核心数据恢复模块206,设置在接收模块201和CELP模型核心解码器204之间,如果没有出现丢包现象,则透传所收到的核心编码数据;如果出现丢包,则用于恢复丢失帧对应的核心编码数据。
所述核心数据恢复模块206可以包括采用帧差错隐藏技术的FEC单元和/或采用丢包隐藏技术的PLC单元。
所述MDCT系数预测模块205的内部结构如图8所示,具体包括:
加权因子单元301,用于生成或存储预先设置的加权因子;
参考单元302,用于记录丢失帧之前和/或之后的帧的MDCT系数;
预测单元303,用于根据所述加权因子单元301的加权因子和参考单元302的MDCT系数预测丢失帧的MDCT系数。
所述MDCT系数预测模块205进一步包括:
第一条件判断单元305,用于判断丢失帧的在前或在后帧是否为瞬态帧,若是,则MDCT系数预测模块205将丢失帧的MDCT系数直接设置为0;否则,由所述加权因子单元301、参考单元302和预测单元303预测丢失帧的MDCT系数;
和/或,
第二条件判断单元306,用于判断丢失帧的在前帧或在后帧所处频带范围是否属于预先设定的特定频带范围,若是,由所述加权因子单元301、参考单元302和预测单元303预测丢失帧的MDCT系数;否则,MDCT系数预测模块205将丢失帧的MDCT系数直接设置为0。
在本发明其它实施例还提供一种能够实现基于频域的丢包补偿系统,该系统包括接收模块201、IMDCT变换模块202、CELP模型核心解码器203和合成输出模块204组成的解码子系统,MDCT系数预测模块205,核心数据恢复模块206,如图3。
所述MDCT系数预测模块205,用于根据丢失帧的在前帧和/或在后帧对丢失帧的改进离散余弦变换MDCT系数的频域进行预测,得到丢失帧对应的MDCT系数;
所述核心数据恢复模块206,用于恢复丢失帧对应的核心编码数据;
所述解码子系统用于根据所述MDCT系数预测模块的丢失帧对应的MDCT系数和所述核心数据恢复模块的核心编码数据进行处理得到丢失帧的解码声音信号。
较佳地,所述核心数据恢复模块206包括采用帧差错隐藏技术的FEC单元和/或采用丢包隐藏技术的PLC单元。
所述MDCT系数预测模块205的内部结构如图8所示,具体包括:
加权因子单元301,用于生成或存储预先设置的加权因子;
参考单元302,用于记录丢失帧之前和/或之后的帧的MDCT系数;
预测单元303,用于根据所述加权因子单元301的加权因子和参考单元302的MDCT系数预测丢失帧的MDCT系数。
所述MDCT系数预测模块205进一步包括:
第一条件判断单元305,用于判断丢失帧的在前或在后帧是否为瞬态帧,若是,则MDCT系数预测模块205将丢失帧的MDCT系数直接设置为0;否则,由所述加权因子单元301、参考单元302和预测单元303预测丢失帧的MDCT系数;
如/或,
第二条件判断单元306,用于判断丢失帧的在前帧或在后帧所处频带范围是否属于预先设定的特定频带范围,若是,由所述加权因子单元301、参考单元302和预测单元303预测丢失帧的MDCT系数;否则,MDCT系数预测模块205将丢失帧的MDCT系数直接设置为0。
本发明方案可以带来频域上的连续性,使声音信号更好的平滑,带来主观质量的提高。在基于宽带编码器试验的主观评测中,应用本发明方案比对照组要有较好的改善。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种基于频域的丢包补偿方法,其特征在于,包括如下步骤:
采用数据恢复手段恢复丢失帧对应的核心编码数据,根据丢失帧的在前帧和/或在后帧对丢失帧的改进离散余弦变换MDCT系数的频域进行预测,得到丢失帧对应的MDCT系数;
用所述恢复出的核心编码数据和预测得到的MDCT系数合成对应于丢失帧的恢复帧;
其中,所述得到丢失帧对应的MDCT系数的步骤包括:若丢失帧数为1,用丢失帧前一帧/后一帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数;如果连续丢失帧数大于1,则用在前最后一个未丢失的帧/在后第一个未丢失帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数,所述加权因子的取值大于等于0,且小于等于1;或者,
用丢失帧之前的帧的MDCT系数乘以加权因子,得到前向预测的丢失帧的MDCT系数;用丢失帧之后的帧的MDCT系数乘以加权因子,得到后向预测的丢失帧的MDCT系数;将所述前向预测的丢失帧的MDCT系数与后向预测的丢失帧的MDCT系数加窗叠加,得到丢失帧对应的MDCT系数。
2.根据权利要求1所述的丢包补偿方法,其特征在于,所述数据恢复手段为帧差错隐藏FEC或丢包隐藏PLC技术。
3.根据权利要求1所述的丢包补偿方法,其特征在于,所述加权因子为预先设置的数值,或者为信号采样值的线性或非线性函数。
4.根据权利要求1所述的丢包补偿方法,其特征在于,所述核心解码数据为代数码激励线性预测编码算法CELP模型的核心解码数据。
5.根据权利要求1所述的丢包补偿方法,其特征在于,所述根据丢失帧的在前帧和/或在后帧对丢失帧的改进离散余弦变换MDCT系数的频域进行预测之前,进一步包括:根据丢失帧的在前帧或在后帧的信号相关性,确定是否执行所述后续步骤。
6.根据权利要求5所述的丢包补偿方法,其特征在于,所述根据丢失帧的在前帧或在后帧的信号相关性,确定是否执行所述后续步骤为:判断丢失帧的在前帧或在后帧是否为瞬态帧,若否,则执行所述后续步骤。
7.根据权利要求1所述的丢包补偿方法,其特征在于,预先设定特定频带范围,所述根据丢失帧的在前帧和/或在后帧对丢失帧的改进离散余弦变换MDCT系数的频域进行预测之前,进一步包括:判断丢失帧的在前帧或在后帧所处频带范围是否为所述特定频带范围,若是,则执行所述后续步骤。
8.根据权利要求7所述的丢包补偿方法,其特征在于,所述特定频带范围为2kHz至7kHz。
9.一种能够实现基于频域的丢包补偿的接收端装置,包括解码子系统,用于对所收到的数据帧的MDCT系数和核心编码数据进行处理,得到解码的声音信号,其特征在于,该接收端装置还包括:
MDCT系数预测模块,用于用丢失帧前一帧/后一帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数;如果连续丢失帧数大于1,则用在前最后一个未丢失的帧/在后第一个未丢失帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数,所述加权因子的取值大于等于0,且小于等于1;或者,
所述MDCT系数预测模块用于用丢失帧之前的帧的MDCT系数乘以加权因子,得到前向预测的丢失帧的MDCT系数;用丢失帧之后的帧的MDCT系数乘以加权因子,得到后向预测的丢失帧的MDCT系数;将所述前向预测的丢失帧的MDCT系数与后向预测的丢失帧的MDCT系数加窗叠加,得到丢失帧对应的MDCT系数;
核心数据恢复模块,用于恢复丢失帧对应的核心编码数据;
则所述解码子系统根据来自MDCT系数预测模块的丢失帧对应的MDCT系数和来自数据恢复模块的核心编码数据进行处理得到丢失帧的解码声音信号。
10.根据权利要求9所述的接收端装置,其特征在于,所述核心数据恢复模块包括采用帧差错隐藏技术的FEC单元和/或采用丢包隐藏技术的PLC单元。
11.根据权利要求9所述的接收端装置,其特征在于,所述MDCT系数预测模块包括:
加权因子单元,用于生成或存储预先设置的加权因子;
参考单元,用于记录丢失帧之前和/或之后的帧的MDCT系数;
预测单元,用于根据所述加权因子单元加权因子和参考单元的MDCT系数预测丢失帧的MDCT系数。
12.根据权利要求11所述的接收端装置,其特征在于,所述MDCT系数预测模块进一步包括:
第一条件判断单元,用于判断丢失帧的在前或在后帧是否为瞬态帧,若是,则MDCT系数预测模块将丢失帧的MDCT系数直接设置为0;否则,由所述加权因子单元、参考单元和预测单元预测丢失帧的MDCT系数。
13.根据权利要求11所述的接收端装置,其特征在于,所述MDCT系数预测模块进一步包括:
第二条件判断单元,用于判断丢失帧的在前帧或在后帧所处频带范围是否属于预先设定的特定频带范围,若是,由所述加权因子单元、参考单元和预测单元预测丢失帧的MDCT系数;否则,MDCT系数预测模块将丢失帧的MDCT系数直接设置为0。
14.一种能够实现基于频域的丢包补偿系统,其特征在于,包括:
MDCT系数预测模块,用于用丢失帧前一帧/后一帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数;如果连续丢失帧数大于1,则用在前最后一个未丢失的帧/在后第一个未丢失帧的MDCT系数乘以加权因子,得到丢失帧的MDCT系数,所述加权因子的取值大于等于0,且小于等于1;或者,
所述MDCT系数预测模块用于用丢失帧之前的帧的MDCT系数乘以加权因子,得到前向预测的丢失帧的MDCT系数;用丢失帧之后的帧的MDCT系数乘以加权因子,得到后向预测的丢失帧的MDCT系数;将所述前向预测的丢失帧的MDCT系数与后向预测的丢失帧的MDCT系数加窗叠加,得到丢失帧对应的MDCT系数;
核心数据恢复模块,用于恢复丢失帧对应的核心编码数据;
解码子系统,用于根据所述MDCT系数预测模块的丢失帧对应的MDCT系数和所述核心数据恢复模块的核心编码数据进行处理得到丢失帧的解码声音信号。
15.根据权利要求14所述的丢包补偿系统,其特征在于,所述核心数据恢复模块包括采用帧差错隐藏技术的FEC单元和/或采用丢包隐藏技术的PLC单元。
16.根据权利要求14所述的丢包补偿系统,其特征在于,所述MDCT系数预测模块包括:
加权因子单元,用于生成或存储预先设置的加权因子;
参考单元,用于记录丢失帧之前和/或之后的帧的MDCT系数;
预测单元,用于根据所述加权因子单元加权因子和参考单元的MDCT系数预测丢失帧的MDCT系数。
17.根据权利要求16所述的丢包补偿系统,其特征在于,所述MDCT系数预测模块进一步包括:
第一条件判断单元,用于判断丢失帧的在前或在后帧是否为瞬态帧,若是,则MDCT系数预测模块将丢失帧的MDCT系数直接设置为0;否则,由所述加权因子单元、参考单元和预测单元预测丢失帧的MDCT系数。
18.根据权利要求16所述的丢包补偿系统,其特征在于,所述MDCT系数预测模块进一步包括:
第二条件判断单元,用于判断丢失帧的在前帧或在后帧所处频带范围是否属于预先设定的特定频带范围,若是,由所述加权因子单元、参考单元和预测单元预测丢失帧的MDCT系数;否则,MDCT系数预测模块将丢失帧的MDCT系数直接设置为0。
CN2008101266632A 2007-12-27 2008-06-17 一种基于频域的丢包补偿方法、装置和系统 Expired - Fee Related CN101471073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101266632A CN101471073B (zh) 2007-12-27 2008-06-17 一种基于频域的丢包补偿方法、装置和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200710306906 2007-12-27
CN200710306906.6 2007-12-27
CN2008101266632A CN101471073B (zh) 2007-12-27 2008-06-17 一种基于频域的丢包补偿方法、装置和系统

Publications (2)

Publication Number Publication Date
CN101471073A CN101471073A (zh) 2009-07-01
CN101471073B true CN101471073B (zh) 2011-09-14

Family

ID=40828488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101266632A Expired - Fee Related CN101471073B (zh) 2007-12-27 2008-06-17 一种基于频域的丢包补偿方法、装置和系统

Country Status (1)

Country Link
CN (1) CN101471073B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101958119B (zh) 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
CN101937679B (zh) * 2010-07-05 2012-01-11 展讯通信(上海)有限公司 音频数据帧的错误掩盖方法及音频解码装置
CN102480760B (zh) * 2010-11-23 2014-09-10 中兴通讯股份有限公司 系统间链路协议帧丢帧处理、补偿帧判别方法及装置
WO2013060223A1 (zh) * 2011-10-24 2013-05-02 中兴通讯股份有限公司 语音频信号的丢帧补偿方法和装置
CN103854649B (zh) * 2012-11-29 2018-08-28 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
CN103456307B (zh) * 2013-09-18 2015-10-21 武汉大学 音频解码器中帧差错隐藏的谱代替方法及系统
CN104751851B (zh) * 2013-12-30 2018-04-27 联芯科技有限公司 一种基于前后向联合估计的丢帧差错隐藏方法及系统
FR3024582A1 (fr) * 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd
CN109616129B (zh) * 2018-11-13 2021-07-30 南京南大电子智慧型服务机器人研究院有限公司 用于提升语音丢帧补偿性能的混合多描述正弦编码器方法
CN111402905B (zh) * 2018-12-28 2023-05-26 南京中感微电子有限公司 音频数据恢复方法、装置及蓝牙设备
CN110366029B (zh) * 2019-07-04 2021-08-24 中国科学院深圳先进技术研究院 一种视频间插入图像帧的方法、系统及电子设备
CN110601771B (zh) * 2019-09-18 2021-04-13 Oppo广东移动通信有限公司 基于超声波的丢帧处理方法、装置、移动终端及存储介质
CN111537005B (zh) * 2020-05-09 2022-03-25 浙江众邦机电科技有限公司 一种增量式光电编码器信号丢失的处理方法
CN111653285B (zh) * 2020-06-01 2023-06-30 北京猿力未来科技有限公司 丢包补偿方法及装置
CN113035205B (zh) * 2020-12-28 2022-06-07 阿里巴巴(中国)有限公司 音频丢包补偿处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1950883A (zh) * 2004-04-30 2007-04-18 松下电器产业株式会社 可伸缩性解码装置及增强层丢失的隐藏方法
WO2007051124A1 (en) * 2005-10-26 2007-05-03 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1950883A (zh) * 2004-04-30 2007-04-18 松下电器产业株式会社 可伸缩性解码装置及增强层丢失的隐藏方法
WO2007051124A1 (en) * 2005-10-26 2007-05-03 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding

Also Published As

Publication number Publication date
CN101471073A (zh) 2009-07-01

Similar Documents

Publication Publication Date Title
CN101471073B (zh) 一种基于频域的丢包补偿方法、装置和系统
US11721349B2 (en) Methods, encoder and decoder for linear predictive encoding and decoding of sound signals upon transition between frames having different sampling rates
KR100647336B1 (ko) 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법
CN102449690B (zh) 用于重建被擦除语音帧的系统与方法
CN100583241C (zh) 音频编码设备、音频解码设备、音频编码方法和音频解码方法
CN101268351B (zh) 健壮解码器
US8428957B2 (en) Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
CN1957399B (zh) 语音/音频解码装置以及语音/音频解码方法
CN104347076A (zh) 网络音频丢包掩蔽方法和装置
CN103229234B (zh) 音频编码装置、方法以及音频解码装置、方法
JP2010020346A (ja) 音声信号および音楽信号を符号化する方法
CN106847297A (zh) 高频带信号的预测方法、编/解码设备
US20100185440A1 (en) Transcoding method, transcoding device and communication apparatus
EP2595147B1 (en) Audio data encoding method and device
US20090198499A1 (en) Method and apparatus for encoding residual signals and method and apparatus for decoding residual signals
Gueham et al. Packet loss concealment method based on interpolation in packet voice coding
CN113096670A (zh) 音频数据的处理方法、装置、设备及存储介质
KR100682966B1 (ko) 주파수 크기데이터 양자화/역양자화 방법 및 장치와 이를이용한 오디오 부호화/복호화 방법 및 장치
KR20130086486A (ko) Nmf 알고리즘을 이용한 음성 신호 코딩 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171206

Address after: 221300 Pizhou Economic Development Zone, Xuzhou City, Jiangsu, on the north side of the North Road and the east side of Hongqi Road

Patentee after: Huang Shaowei

Address before: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Effective date of registration: 20171206

Address after: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

CB03 Change of inventor or designer information

Inventor after: Yang Lichao

Inventor before: Wu Wenhai

Inventor before: Xiao Wei

Inventor before: Wang Tinghong

Inventor before: Li Lixiong

Inventor before: Zhang Dejun

Inventor before: Zhang Liang

CB03 Change of inventor or designer information
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180125

Address after: West District 065000 Langfang Backstreet fun city of Hebei province Guangyang District 2 Building 1 unit 401 room

Patentee after: Yang Lichao

Address before: 221300 Pizhou Economic Development Zone, Xuzhou City, Jiangsu, on the north side of the North Road and the east side of Hongqi Road

Patentee before: Huang Shaowei

TR01 Transfer of patent right

Effective date of registration: 20181105

Address after: 221300 Liu Gou Village, Zou Zhuang Town, Pizhou City, Xuzhou, Jiangsu

Patentee after: Xuzhou Yong Wei Wood Industry Co.,Ltd.

Address before: 065000 Langfang, Hebei, Guangyang District, Guangxi District, 2 West Street, 1 units, 401 rooms.

Patentee before: Yang Lichao

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110914

Termination date: 20180617

CF01 Termination of patent right due to non-payment of annual fee