CN103456307A - 音频解码器中帧差错隐藏的谱代替方法及系统 - Google Patents

音频解码器中帧差错隐藏的谱代替方法及系统 Download PDF

Info

Publication number
CN103456307A
CN103456307A CN2013104299732A CN201310429973A CN103456307A CN 103456307 A CN103456307 A CN 103456307A CN 2013104299732 A CN2013104299732 A CN 2013104299732A CN 201310429973 A CN201310429973 A CN 201310429973A CN 103456307 A CN103456307 A CN 103456307A
Authority
CN
China
Prior art keywords
frame
spectrum
current bad
bad frame
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013104299732A
Other languages
English (en)
Other versions
CN103456307B (zh
Inventor
胡瑞敏
杨玉红
董少龙
谢松波
余洪江
成鸿飞
高丽
王晓晨
涂卫平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOOSLINK SUZHOU INFORMATION TECHNOLOGY Co.,Ltd.
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201310429973.2A priority Critical patent/CN103456307B/zh
Publication of CN103456307A publication Critical patent/CN103456307A/zh
Application granted granted Critical
Publication of CN103456307B publication Critical patent/CN103456307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种音频解码器中帧差错隐藏的谱代替方法及系统,本发明方法根据上一帧和当前坏帧的线性预测滤波器参数确定当前坏帧的衰减因子,并根据当前坏帧衰减因子和/或当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值。本发明用来处理音频解码器接收的坏帧,能提高解码后的音频序列的主客观质量。

Description

音频解码器中帧差错隐藏的谱代替方法及系统
技术领域
本发明涉及音频解码器技术领域,更具体的说,涉及一种音频解码器中帧差错隐藏的谱代替方法及系统。
背景技术
在无线信道中由于多径传输及其传输环境的恶劣性,信号的误码率较高;而在互联网的IP应用中,Internet是基于分组交换的,在无QoS(Quality of Service)保证的前提下,要尽最大努力传递数据包,因此携带实时音频数据的数据包可能由于不能及时到达或者被丢弃从而无法提供有效的服务。由于音频信号的短时平稳性,一个帧数据或者一个包数据的丢失将会影响到后续数据的接收质量。现阶段移动音频编解码器多采用变速率自适应压缩编码器,在解码的时候多采用参数提取和模型重建方法,一帧数据的丢失会影响到相邻帧参数译码效果,连续多帧的丢失将严重降低译码质量。同时,音频数据在网络上传输以分组的方式进行,数据包的丢失也会影响接受端的分组重排效果。
在传输过程中丢失的音频帧,需要在接收端进行相应的恢复过程,即如何恢复原有传输的丢失帧信息。这个过程需要在接收端建立一个丢失帧恢复模块,包括丢失帧检测和丢失帧重建。一旦接收端检测到确定位置的丢失帧或者接收帧信号损伤到不可忍受,这时接收端的帧差错隐藏算法就会生成一个与原始丢失的帧信号相似的重构信号去替代丢失信号,并按照音频信号的短时平稳性保证相邻帧之间的良好过渡效果,这称为帧差错隐藏。
音频帧差错隐藏的研究来源于网络和通信的中出现的帧丢失、延迟、乱序等导致接收端音频质量下降的信道问题。音频的帧差错隐藏其理论基础是应用音频信号的短时平稳性和人耳听觉特性,从而对由存储介质受损或信道误码造成的解码端音频信号质量下降的问题进行掩蔽。现有的各种音频帧差错隐藏技术大致可以分成如下两类,基于发送端的帧差错隐藏方法(Sender-based Repair)和基于接收端的帧差错隐藏方法(Receiver-based Repair)。
发明内容
本发明的目的是提供一种用于音频解码器、可进一步提高解码后音频序列主观质量和客观质量的帧差错隐藏的谱代替方法及系统。
为达到上述目的,本发明采用如下的技术方案:
一、一种音频解码器中帧差错隐藏的谱代替方法,对音频序列的当前坏帧进行如下处理:根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,并根据当前坏帧衰减因子和/或当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值。
上述根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,进一步包括子步骤:
根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
上述当前坏帧的幅值增益根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得。
上述当前坏帧的谱参数替换值由当前坏帧的衰减因子和上一帧的谱参数相乘得到。
上述当前坏帧的谱参数替换值由当前坏帧的衰减因子、当前坏帧的幅值增益和上一帧的谱参数相乘得到。
二、音频解码器中帧差错隐藏的谱代替系统,包括:
衰减因子获取模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子;
谱参数替代值获取模块,用来根据当前坏帧衰减因子和/或当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值。
上述衰减因子获取模块进一步包括子模块:
线谱距离获得模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
滤波器稳定性获得模块,用来根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
衰减因子获得模块,用来根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
上述音频解码器中帧差错隐藏的谱代替系统还包括幅值增益预测模块,用来根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得当前坏帧的幅值增益。。
上述谱参数替代值获取模块用来将当前坏帧的衰减因子和上一帧的谱参数相乘得到当前坏帧的谱参数替代值。
上述谱参数替代值获取模块用来将当前坏帧的衰减因子、当前坏帧的幅值增益和上一帧的谱参数相乘得到当前坏帧的谱参数替换值。
本发明根据线性预测滤波器参数确定滤波器的稳定性,然后根据滤波器稳定性值确定衰减因子,最后根据上一帧的谱参数、衰减因子和预测增益生成当前坏帧的谱参数替代值,从而隐藏由音频解码器经过通信信道接收的坏帧的影响。本发明用于处理音频解码器接收的坏帧,可提高解码后音频序列的主观质量和客观质量。
附图说明
图1是本发明方法流程图。
具体实施方式
本发明系统可应用于音频解码器。若音频信号的当前帧为坏帧,则启动本发明的帧差错隐藏的谱代替机制,这里的坏帧指未被音频解码器接收的帧或音频解码器接收的错误帧。本发明的基本思路如下:首先,根据上一帧和当前坏帧的线性预测滤波器参数获取线谱距离,并获得滤波器稳定性值;然后,根据滤波器稳定性值、当前连续坏帧数和上一帧类型获取衰减因子;最后,根据衰减因子、上一帧谱参数和当前坏帧的幅值增益获得当前坏帧的谱参数替换值。
音频解码器中采用一缓存单元存储当前坏帧的上一帧的谱参数值,包括线性预测滤波器参数;如果音频序列的当前帧为坏帧,则采用当前坏帧和上一帧的线性预测滤波器参数确定衰减因子,再根据上一帧的谱参数值、衰减因子和当前坏帧的幅值增益获得当前坏帧的谱参数替代值。当前坏帧的上一帧可能是好帧,也可能是坏帧,因此,缓存单元存储的可能是好帧的谱参数和线性预测滤波器参数,也可能是坏帧经帧差错隐藏恢复的谱参数和线性预测滤波器参数。
本具体实施中,采用AMR-WB+编解码器环境,编码端强制使用TCX编码模式。对输入的音频序列,解码器接收每帧数据,如果音频序列的当前帧未被接收或者出现错误,即当前帧为坏帧时,解码器启动帧差错隐藏的谱代替机制,具体步骤如下:
步骤1,根据上一帧和当前坏帧的线性预测滤波器参数获取滤波器稳定性值。
首先,根据上一帧和当前坏帧的线性预测滤波器参数计算线谱距离ISFdist
ISF dist = Σ i = 0 u ( f i - f i ( p ) ) 2 - - - ( 1 )
式(1)中:
u+1为上一帧或当前坏帧恢复的线性预测滤波器包含的参数数量;
fi为上一帧的线性预测滤波器的第i个参数;
fi (p)为当前坏帧恢复的线性预测滤波器的第i个参数。
当前坏帧恢复的线性预测滤波器参数fi (p)由式(2)计算得到:
fi (p)=α*fi+(1-α)*ISFmean(i)     (2)
式(2)中:
α=0.9;
fi (p)是当前坏帧恢复的线性预测滤波器的第i个参数;
i为当前坏帧恢复的线性预测滤波器参数的编号,i=0,2,...,15;
fi是上一帧的线性预测滤波器的第i个参数;
ISFmean(i)是线性预测滤波器参数的部分自适应平均值,由线性预测滤波器参数的自适应平均值ISFconst_mean(i)和线性预测滤波器参数的常数平均值ISFadaptive_mean(i)获取:
ISFmean(i)=β*ISFconst_mean(i)+(1-β)*ISFadaptive_mean(i)       (3)
式(3)中:
β=0.25;
i为当前坏帧恢复的线性预测滤波器参数的编号,i=0,2,...,15;
ISFconst_mean(i)为线性预测滤波器参数的第i分量的常数平均值,为经验常数;
Figure BDA0000384079500000051
为当前坏帧的最近3个好帧线性预测滤波器参数的自适应平均值,past_ISFq(i)指当前坏帧的最近三个好帧的线性预测滤波器的第i个参数,j表示当前坏帧的最近3个好帧的编号。
音频解码器中设有好帧缓存单元,可依次缓存3个好帧的线性预测滤波器参数,当前坏帧的最近3个好帧的线性预测滤波器参数即为好帧缓存单元中当前缓存的好帧线性预测滤波器参数。当音频解码器接收到新好帧时,则将新接收好帧的线性预测滤波器参数缓存至好帧缓存单元,同时删除好帧缓存单元中离该新好帧最远的好帧线性预测滤波器参数。若好帧缓存单元中缓存的好帧数量不足3个,那么当前坏帧对应的ISFadaptive_mean(i)则为好帧缓存单元中缓存的好帧线性预测滤波器参数的自适应平均值。
然后,根据线谱距离ISFdist计算滤波器稳定性值θ:
θ=1.25-ISFdist/v        (4)
式(4)中:
ISFdist为线谱距离;
v为整数常量,根据信号是宽带还是窄带取不同值;本具体实施中,使用的输入信号为宽带信号,则v=400,000。
步骤2,根据滤波器稳定性值确定衰减因子。
根据滤波器稳定性值θ、当前连续坏帧数和上一帧类型确定衰减因子上一帧类型可以分为“人工起始”、“起始”、“浊音过渡”、“清音过渡”、“清音”和“浊音”等类型。当前连续坏帧是上一好帧之后的连续坏帧,包括当前坏帧。
根据当前连续坏帧数和上一帧类型的不同,选择不同的衰减因子计算公式,本具体实施采用下述典型衰减因子计算公式来获取衰减因子:
Figure BDA0000384079500000061
步骤3,预测当前坏帧的幅值增益。
采用频谱外推法预测当前坏帧的幅值增益,即使用当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值按照下式预测当前坏帧的幅值增益gain:
gain = Σ k A [ k ] 2 Σ k oldA [ k ] 2 - - - ( 6 )
式(6)~(7)中:
A[k]为当前坏帧样点k的频谱幅值;
oldA[k]为上一帧样点k的频谱幅值;
k为信号帧中样点编号。
步骤4,根据衰减因子
Figure BDA0000384079500000063
上一帧谱参数和当前坏帧幅值增益gain获取当前坏帧谱参数X[k]:
Figure BDA0000384079500000064
式(7)中:
X[k]为当前坏帧样点k的谱参数;
oldX[k]为上一帧样点k的谱参数。
以公式(7)获得的谱参数X[k]为当前坏帧的谱参数替换值,即完成了帧差错隐藏的谱代替。

Claims (10)

1.音频解码器中帧差错隐藏的谱代替方法,其特征在于,对音频序列的当前坏帧进行如下处理:
根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,并根据当前坏帧衰减因子和/或当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值。
2.如权利要求1所述的音频解码器中帧差错隐藏的谱代替方法,其特征在于:
所述的根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,进一步包括子步骤:
根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
3.如权利要求1所述的音频解码器中帧差错隐藏的谱代替方法,其特征在于:
所述的当前坏帧的幅值增益根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得。
4.如权利要求1所述的音频解码器中帧差错隐藏的谱代替方法,其特征在于:
所述的当前坏帧的谱参数替换值由当前坏帧的衰减因子和上一帧的谱参数相乘得到。
5.如权利要求1所述的音频解码器中帧差错隐藏的谱代替方法,其特征在于:
所述的当前坏帧的谱参数替换值由当前坏帧的衰减因子、当前坏帧的幅值增益和上一帧的谱参数相乘得到。
6.音频解码器中帧差错隐藏的谱代替系统,其特征在于,包括:
衰减因子获取模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子;
谱参数替代值获取模块,用来根据当前坏帧衰减因子和/或当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值。
7.如权利要求6所述的音频解码器中帧差错隐藏的谱代替系统,其特征在于:
所述的衰减因子获取模块进一步包括子模块:
线谱距离获得模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
滤波器稳定性获得模块,用来根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
衰减因子获得模块,用来根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
8.如权利要求6所述的音频解码器中帧差错隐藏的谱代替系统,其特征在于:
还包括幅值增益预测模块,用来根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得当前坏帧的幅值增益。
9.如权利要求6所述的音频解码器中帧差错隐藏的谱代替系统,其特征在于:
所述的谱参数替代值获取模块用来将当前坏帧的衰减因子和上一帧的谱参数相乘得到当前坏帧的谱参数替代值。
10.如权利要求6所述的音频解码器中帧差错隐藏的谱代替系统,其特征在于:
所述的谱参数替代值获取模块用来将当前坏帧的衰减因子、当前坏帧的幅值增益和上一帧的谱参数相乘得到当前坏帧的谱参数替换值。
CN201310429973.2A 2013-09-18 2013-09-18 音频解码器中帧差错隐藏的谱代替方法及系统 Active CN103456307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310429973.2A CN103456307B (zh) 2013-09-18 2013-09-18 音频解码器中帧差错隐藏的谱代替方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310429973.2A CN103456307B (zh) 2013-09-18 2013-09-18 音频解码器中帧差错隐藏的谱代替方法及系统

Publications (2)

Publication Number Publication Date
CN103456307A true CN103456307A (zh) 2013-12-18
CN103456307B CN103456307B (zh) 2015-10-21

Family

ID=49738604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310429973.2A Active CN103456307B (zh) 2013-09-18 2013-09-18 音频解码器中帧差错隐藏的谱代替方法及系统

Country Status (1)

Country Link
CN (1) CN103456307B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575505A (zh) * 2014-07-29 2017-04-19 奥兰吉公司 Fd/lpd转换环境中的帧丢失管理
CN107393559A (zh) * 2017-07-14 2017-11-24 深圳永顺智信息科技有限公司 检校语音检测结果的方法及装置
CN111312261A (zh) * 2014-06-13 2020-06-19 瑞典爱立信有限公司 突发帧错误处理
CN111370005A (zh) * 2014-03-19 2020-07-03 弗朗霍夫应用科学研究促进协会 产生错误隐藏信号的装置、方法和计算机可读介质
CN111370006A (zh) * 2014-03-19 2020-07-03 弗朗霍夫应用科学研究促进协会 产生错误隐藏信号的装置、方法和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239462A1 (en) * 2000-10-23 2007-10-11 Jari Makinen Spectral parameter substitution for the frame error concealment in a speech decoder
CN101197133A (zh) * 2006-12-04 2008-06-11 华为技术有限公司 一种解码方法及装置
CN101471073A (zh) * 2007-12-27 2009-07-01 华为技术有限公司 一种基于频域的丢包补偿方法、装置和系统
CN103117062A (zh) * 2013-01-22 2013-05-22 武汉大学 语音解码器中帧差错隐藏的谱参数代替方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239462A1 (en) * 2000-10-23 2007-10-11 Jari Makinen Spectral parameter substitution for the frame error concealment in a speech decoder
CN101197133A (zh) * 2006-12-04 2008-06-11 华为技术有限公司 一种解码方法及装置
CN101471073A (zh) * 2007-12-27 2009-07-01 华为技术有限公司 一种基于频域的丢包补偿方法、装置和系统
CN103117062A (zh) * 2013-01-22 2013-05-22 武汉大学 语音解码器中帧差错隐藏的谱参数代替方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111370005A (zh) * 2014-03-19 2020-07-03 弗朗霍夫应用科学研究促进协会 产生错误隐藏信号的装置、方法和计算机可读介质
CN111370006A (zh) * 2014-03-19 2020-07-03 弗朗霍夫应用科学研究促进协会 产生错误隐藏信号的装置、方法和计算机可读介质
CN111370005B (zh) * 2014-03-19 2023-12-15 弗朗霍夫应用科学研究促进协会 产生错误隐藏信号的装置、方法和计算机可读介质
CN111370006B (zh) * 2014-03-19 2024-03-05 弗朗霍夫应用科学研究促进协会 产生错误隐藏信号的装置、方法和计算机可读介质
CN111312261A (zh) * 2014-06-13 2020-06-19 瑞典爱立信有限公司 突发帧错误处理
CN111312261B (zh) * 2014-06-13 2023-12-05 瑞典爱立信有限公司 突发帧错误处理
CN106575505A (zh) * 2014-07-29 2017-04-19 奥兰吉公司 Fd/lpd转换环境中的帧丢失管理
CN107393559A (zh) * 2017-07-14 2017-11-24 深圳永顺智信息科技有限公司 检校语音检测结果的方法及装置

Also Published As

Publication number Publication date
CN103456307B (zh) 2015-10-21

Similar Documents

Publication Publication Date Title
EP2535893B1 (en) Device and method for lost frame concealment
CA2953635C (en) System and method of redundancy based packet transmission error recovery
CN103456307B (zh) 音频解码器中帧差错隐藏的谱代替方法及系统
KR101540371B1 (ko) 신호 분류 방법 및 장치, 및 인코딩/디코딩 방법 및 장치
CN100580773C (zh) 话音分组发送方法及话音分组发送装置
CN104966517A (zh) 一种音频信号增强方法和装置
CN107248411B (zh) 丢帧补偿处理方法和装置
KR20090051760A (ko) 에코 제거/억압 방법 및 장치
CN102598119A (zh) 基音估计
CN113612808B (zh) 音频处理方法、相关设备、存储介质及程序产品
CN103714820B (zh) 参数域的丢包隐藏方法及装置
CN103915097B (zh) 一种语音信号处理方法、装置和系统
CN101166071A (zh) 差错帧隐藏装置与方法
CN101221765A (zh) 一种基于语音前向包络预测的差错隐藏方法
CN105336339B (zh) 一种语音频信号的处理方法和装置
CN103117062B (zh) 语音解码器中帧差错隐藏的谱参数代替方法及系统
De Martin et al. Improved frame erasure concealment for CELP-based coders
CN106463140B (zh) 具有语音信息的改进型帧丢失矫正
WO2015100999A1 (zh) 语音频码流的解码方法及装置
KR101452635B1 (ko) Lms 예측기를 이용한 패킷 손실 은닉 방법 및 이를 기록한 기록매체
JP2003218932A (ja) エラー隠蔽装置及び方法
Ma et al. Packet loss concealment for speech transmission based on compressed sensing
Aoki A VoIP packet loss concealment technique taking account of pitch variation in pitch waveform replication
Bakri et al. Implementing the PLC Techniques with G 729 Coded to Improving the Speech Quality for VoIP Transmission
KR100934528B1 (ko) 프레임 손실 은닉 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210707

Address after: 215000 unit 01, 5 / F, building a, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Patentee after: BOOSLINK SUZHOU INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan

Patentee before: WUHAN University

TR01 Transfer of patent right