CN1983909A - 一种丢帧隐藏装置和方法 - Google Patents
一种丢帧隐藏装置和方法 Download PDFInfo
- Publication number
- CN1983909A CN1983909A CNA2006100874754A CN200610087475A CN1983909A CN 1983909 A CN1983909 A CN 1983909A CN A2006100874754 A CNA2006100874754 A CN A2006100874754A CN 200610087475 A CN200610087475 A CN 200610087475A CN 1983909 A CN1983909 A CN 1983909A
- Authority
- CN
- China
- Prior art keywords
- frame
- pitch period
- frame losing
- losing
- pumping signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005086 pumping Methods 0.000 claims description 157
- 230000003139 buffering effect Effects 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 12
- 230000005284 excitation Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 230000035807 sensation Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种丢帧隐藏装置和方法,通过丢帧前最后一个好帧的音调周期获取当前丢帧的音调周期,通过丢帧前的最近的好帧的激励信号恢复当前丢帧的激励信号,降低了接收者的感觉反差,提高了语音质量。进一步地,本发明根据丢帧前最近一个好帧的音调周期变化趋势来调整连续丢帧时的音调周期,避免了连续丢帧产生的蜂鸣效应,进一步提高了语音质量;另外,通过在连续丢帧时对得到的激励信号进行能量衰减,符合了人的听觉生理特性,进一步降低了接收者的听觉反差。
Description
技术领域
本发明涉及语音编解码技术领域,具体涉及一种丢帧隐藏装置和方法。
背景技术
IP语音(VoIP)通过IP网或互联网上的语音压缩编码、打包分组、分配路由、存储交换和解包解压等交换处理来实现语音通信,编码技术是IP语音的关键技术。编码技术分为波形编码、参数编码和混合编码,在采用波形编码时由于其占用带宽较大,不适合带宽紧张的场合。
为了在带宽有限的情况下提高IP语音的传输效率,业界提出了低速率编解码方法。国际电信联盟电信标准化部分(ITU_T)在1996年3月公布的电话带宽语音信号编码标准:G.729建议中对码率为8kb/s的语音信号采用对结构代数码激励线性预测(CS-AECLP)的语音编解码方案,1996年11月ITU_T相继公布了G.729建议的附件A(Annex A)和附件B(Annex B),对G.729建议进一步优化。
CS-ACELP是基于码激励线性预测(CELP)的编码模式,每80个样点为1个语音帧,对语音信号进行分析并提取各种参数如:线性预测滤波器系数、自适应码本和固定码本中的码本序号、自适应码矢增益、固定码矢增益等,然后把这些参数编码发送到解码端。在解码端,如图1所示,首先,把收到的比特流恢复成参数编码,解码后得到各个参数,用自适应码矢序号从自适应码本中得到自适应码矢,用固定码本序号从固定码本中得到固定码矢,分别乘以各自的增益gc、gp按点相加后构成激励序列;用线性预测滤波器系数构成短时滤波器,用所谓的自适应码本方法实现长时或基音合成滤波,计算出合成语音后,用长时后置滤波器进一步增强音质。
但是IP包在网络中传输时,无法避免在传输过程中被破坏,或由于网络拥塞而被丢弃,或由于网络故障而丢失,或仅仅由于到达接收端太晚而无法包括在重放语音中而被丢弃,丢帧是网络传输中语音质量下降的最主要原因。丢失的IP帧在解码端无法重现,当一帧或相邻连续几帧码本丢失时,CS-ACELP解码器面临两个问题:失去一队顺序排列的激励信号所包含的所有码元,此时需计算得到可产生最小语音质量失真且平滑过渡的替代激励信号;当帧丢失时,失去所有原来的自适应码本参量、短时线性预测滤波器系数和增益,由于G.729采用后向自适应编码方式,所以当接收到下一好帧后,需要经过一定时间后语音信号才能收敛。因此在丢帧时,G.729解码器的语音质量会快速下降。
针对G.729的丢帧现象,G.729标准建议采取了一种高性能低复杂度的丢帧隐藏技术,如图2所示,其具体步骤如下:
步骤201:检测到当前发生丢帧现象,从长时后置滤波器获取丢帧前最近一个5ms好子帧的长时预测增益。
在实际应用中,好帧如:语音帧或静音帧是由上层协议层如:实时传输协议(RTP)层等转发给丢帧隐藏处理装置的,丢帧检测也是由上层协议层完成的。若上层协议层收到好帧,则直接将该好帧转发给丢帧隐藏处理装置;若上层协议层检测到发生丢帧现象,则向丢帧隐藏处理装置发送一个丢帧指示,丢帧隐藏处理装置收到该丢帧指示,则确定当前发生丢帧现象。
步骤202:判断丢帧前最近一个5ms好子帧的长时预测增益是否大于3dB,若是,认为当前丢帧是周期帧,即为语音,执行步骤203;否则,认为当前丢帧是非周期帧,即:不为语音,执行步骤205。
步骤203:根据丢帧前最近一个好帧的基音延时,计算当前丢帧的基音延时;将丢帧前最近一个好帧的自适应码本增益进行能量衰减得到当前丢帧的自适应码本增益;将丢帧前最近一个好帧的自适应码本作为当前丢帧的自适应码本。
具体地,当前丢帧的基音延时的计算过程为:首先取丢帧前最近一个好帧的基音延时的整数部分T,若当前丢帧为连续丢帧的第n个帧,则当前帧的基音延时为:T加上(n-1)个采样点时长。为避免丢帧过分周期性,限定丢帧的基音延时不大于T加上143个采样点时长所得到的值。
在G.729中,1个帧的长度为10ms,共包含80个采样点,因此1个采样点时长为0.125ms。
设定连续丢帧的第一丢帧的自适应码本增益与丢帧前的最近一个好帧的自适应码本增益相同,连续丢帧的第二丢帧及第二丢帧以后的丢帧的自适应码本增益在前一丢帧的自适应码本增益的基础上以0.9的衰减系数进行衰减,即:当前丢帧的自适应码本增益为:
其中,n表示当前丢帧在连续丢帧中的帧序号,gp n为当前丢帧的自适应码本增益,n-1表示当前丢帧的前一丢帧在连续丢帧中的帧序号,gp n-1为当前丢帧的前一丢帧的自适应码本增益,且n>1。
步骤204:根据所述基音延时、自适应码本增益和自适应码本计算当前丢帧的激励信号,本流程结束。
步骤205:根据丢帧前最近一个好帧的基音延时,计算当前丢帧的基音延时;将丢帧前最近一个好帧的固定码本增益进行能量衰减得到当前丢帧的固定码本增益;根据当前产生的随机数得到当前丢帧的固定码本的序号和符号。
具体地,设定连续丢帧的第一丢帧的固定码本增益与丢帧前的最近一个好帧的固定码本增益相同,连续丢帧的第二丢帧及第二丢帧以后的丢帧的固定码本增益在前一丢帧的固定码本增益的基础上以0.98的衰减系数进行衰减,即:当前丢帧的固定码本增益为:
其中,n表示当前丢帧在连续丢帧中的帧序号,gc n为当前丢帧的固定码本增益,n-1表示当前丢帧的前一丢帧在连续丢帧中的帧序号,gc n-1为当前丢帧的前一丢帧的固定码本增益,且n>1。
固定码本的序号和符号具体计算过程为:首先,根据seed(n)=seed(n-1)×31821+13849得到seed(n),然后将seed(n)的第0~12个最低有效位作为固定码本序号,第0~3个最低有效位作为固定码本符号,其中,seed(0)=21845。
步骤206:根据所述基音延时、固定码本增益和固定码本的序号和符号计算当前丢帧的激励信号。
图2所示方法利用丢帧前的最近一个好帧的基音延时来估计当前丢帧的基音延时,根据丢帧前的最近一个好帧为语音或非语音的不同而完全采用自适应码本或完全采用固定码本来恢复丢帧的激励信号,可在语音的生理特性方面取得较好的补偿,但在网络条件较差时,补偿效果会急速下降;同时,由于在恢复丢帧的激励信号时只取自适应码本激励或只取固定码本激励,而固定码本激励只是一个随机数,任一丢帧都会使得恢复的激励信号再出现较大偏差,丢帧率越高,偏差越大,使得丢帧前后的信号能量起伏很大,从而使得接收者的主观感觉反差较大。通常,当丢帧率在2%以下时,该方法可达到较满意的效果,当丢帧率超过2%时,效果则不能令人满意。
发明内容
本发明的主要目的在于提供一种丢帧隐藏装置和方法,以在语音产生丢帧现象时,提高恢复帧的语音质量。
为达到上述目的,本发明的技术方案是这样实现的:
一种丢帧隐藏装置,该装置包括:
丢帧检测模块,用于将上层协议层发来的丢帧指示信号转发出去;
丢帧音调周期确定模块,用于接收丢帧检测模块发来的丢帧指示信号,根据自身保存的丢帧前最近一个好帧的音调周期确定当前丢帧的音调周期,并将当前丢帧的音调周期发送出去;
丢帧激励信号确定模块,用于接收并保存来自上层协议层的好帧的激励信号,根据丢帧音调周期确定模块发来的当前丢帧的音调周期和自身保存的好帧激励信号得到当前丢帧的激励信号。
所述丢帧音调周期确定模块包括:
好帧音调周期输出模块,用于保存每个好帧包含的各子帧的音调周期,根据丢帧检测模块发来的丢帧指示信号,将保存的最近一个好帧的各子帧的音调周期发送出去;
音调周期变化趋势确定模块,用于判断好帧音调周期输出模块发来的最近一个好帧的各子帧的音调周期是否呈递减趋势,若是,将触发信号1发送出去;否则,将触发信号0发送出去;
丢帧音调周期输出模块,用于接收丢帧检测模块发来的当前丢帧在连续丢帧中的帧序号,若收到音调周期变化趋势确定模块发来的触发信号1,则将好帧音调周期输出模块发来的最近一个好帧中的最后一个好子帧的音调周期减去与当前帧在连续丢帧中的帧序号相同个数的采样点时长再加上1个采样点时长所得的值作为当前丢帧的音调周期;若收到音调周期变化趋势确定模块发来的触发信号0,则将好帧音调周期输出模块发来的最近一个好子帧的音调周期加上与当前帧在连续丢帧中的帧序号相同个数的采样点时长再减去1个采样点时长所得的值作为当前丢帧的音调周期;将得到的当前帧的音调周期发送到丢帧激励信号确定模块。
所述丢帧激励信号确定模块包括:
好帧激励信号输出模块,用于接收并保存来自上层协议层的好帧的激励信号,接收丢帧音调周期确定模块输出的当前丢帧的音调周期,将自身保存的最近
个和最近1至
个当前丢帧音调周期的激励信号重叠相加,将得到的激励信号作为当前丢帧的最后
个音调周期的激励信号;将自身保存的最近
至1个当前丢帧音调周期的激励信号作为当前丢帧的0至
个音调周期的激励信号;将得到的1个音调周期的当前丢帧的激励信号发送出去,其中,m>1;
丢帧激励信号输出模块,用于将好帧激励信号输出模块发来的1个音调周期的激励信号顺序重复写入自身的当前丢帧的激励信号缓冲区中。
所述丢帧激励信号确定模块进一步包括能量衰减模块,用于对丢帧激励信号输出模块发来的当前丢帧的激励信号进行能量衰减。
一种丢帧隐藏方法,每接收到一个好帧将该好帧的激励信号保存在好帧激励信号缓冲区中,包括:
A、检测到当前发生丢帧现象,根据丢帧前最近一个好帧的音调周期获取当前丢帧的音调周期;
B、根据当前丢帧的音调周期和好帧激励信号缓冲区中保存的激励信号恢复当前丢帧的激励信号。
步骤A所述根据丢帧前最近一个好帧的音调周期获取当前丢帧的音调周期包括:
A1、从丢帧前最近一个好帧的自适应码本中获取丢帧前最近一个好帧包含的各子帧的音调周期,判断丢帧前最近一个好帧的音调周期是否呈递减趋势,若是,执行步骤A2;否则,执行步骤A3;
A2、将丢帧前最近一个好子帧的音调周期减去与当前丢帧在连续丢帧中的帧序号相同个数的采样点时长再加上1个采样点时长得到的值作为当前丢帧的音调周期,转至步骤B;
A3、将丢帧前最近一个好子帧的音调周期加上与当前丢帧在连续丢帧中的帧序号相同个数的采样点时长再减去1个采样点时长得到的值作为当前丢帧的音调周期,转至步骤B。
所述步骤A2之前进一步包括:判断当前丢帧在连续丢帧中的帧序号是否大于预定值,若是,将丢帧前最近一个好子帧的音调周期减去预定值个采样点时长得到的值作为当前丢帧的音调周期;否则,执行步骤A2。
所述步骤A3之前进一步包括:判断当前丢帧在连续丢帧中的帧序号是否大于预定值,若是,将丢帧前最近一个好子帧的音调周期加上预定值个采样点时长得到的值作为当前丢帧的音调周期;否则,执行步骤A3。
所述预定值为:20至143之间的任一整数值。
所述步骤B包括:
将好帧激励信号缓冲区中保存的最近
个当前丢帧音调周期的激励信号与最近1至
个当前丢帧音调周期的激励信号重叠相加,将得到的激励信号作为当前丢帧的最后
个音调周期的激励信号;将好帧激励信号缓冲区中保存的最近
至1个当前丢帧音调周期的激励信号作为当前丢帧的0至
个音调周期的激励信号;将得到的当前丢帧的一个音调周期的激励信号顺序重复写入当前丢帧的激励信号缓冲区中,其中,m>1。
所述步骤B之后进一步包括:对当前丢帧的激励信号进行能量衰减。
将好帧激励信号缓冲区中保存的最近
个当前丢帧音调周期的激励信号与最近1至
个当前丢帧音调周期的激励信号重叠相加包括:将好帧激励信号缓冲区中保存的最近
个当前丢帧音调周期的激励信号乘以三角窗函数的下降斜率,将好帧激励信号缓冲区中保存的最近1至
个音调周期的激励信号乘以三角窗函数的上升斜率,最后将两次相乘结果相加。
与现有技术相比,本发明所提供的装置和方法通过丢帧前最后一个好帧的音调周期获取当前丢帧的音调周期,通过丢帧前最近一个好帧的激励信号恢复当前丢帧的激励信号,降低了接收者的感觉反差,提高了语音质量。进一步地,本发明根据丢帧前最近一个好帧的音调周期变化趋势来调整连续丢帧时的音调周期,避免了连续丢帧产生的蜂鸣效应,进一步提高了语音质量;另外,通过在连续丢帧时对得到的激励信号进行能量衰减,符合了人的听觉生理特性,进一步降低了接收者的听觉反差。
附图说明
图1为G.729的语音解码原理图;
图2为G.729中提出的丢帧隐藏的流程图;
图3为本发明提供的丢帧隐藏的装置框图;
图4为本发明提供的丢帧隐藏的具体实施例的装置框图;
图5为本发明提供的丢帧隐藏的流程图;
图6为本发明提供的丢帧隐藏的具体实施例的流程图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
当丢帧发生时,随着丢帧率的上升,会导致丢帧期间的整个语音段的有效信息和能量等级出现较大偏差。通过对一段连续语音信号进行线性预测(LPC)处理后发现:经LPC处理得到的残差信号的频谱距离白噪声还很远,可清楚地看到:在浊音持续区域之间,存在很明显的尖周期脉冲,这说明激励信号之间存在着长期相关,且看到:激励信号的相关性相距一个音调周期或整数倍音调周期;由于清音或噪声不存在周期性激励信号,因此,可设定相邻两帧清音或噪声的激励信号的能量等级等特性是一致的。综上所述,本发明的核心思想是:将丢帧前的最近一个好帧的基音延时作为该好帧的音调周期,根据该音调周期,获取丢帧的音调周期,然后根据丢帧前最近一个好帧的激励信号恢复丢帧的激励信号。
图3为本发明提供的丢帧隐藏的装置框图,如图3所示,其主要包括:
丢帧检测模块31:用于将上层协议层发来的丢帧指示信号转发到丢帧音调周期确定模块32。
丢帧音调周期确定模块32:用于接收丢帧检测模块31发来的丢帧指示信号,根据自身保存的丢帧前最近一个好帧的音调周期确定当前丢帧的音调周期,并将当前丢帧的音调周期输出到丢帧激励信号确定模块33。
丢帧激励信号确定模块33:用于接收来自上层协议层的好帧的激励信号,并将该好帧激励信号保存在自身缓冲区中,接收丢帧音调周期确定模块32发来的当前丢帧的音调周期,根据该音调周期和自身保存的好帧激励信号得到当前丢帧的激励信号。
进一步地,如图4所示,丢帧音调周期确定模块32包括:好帧音调周期输出模块321、音调周期变化趋势确定模块322和丢帧音调周期输出模块323,其中:
好帧音调周期输出模块321:用于保存每个好帧包含的各子帧的音调周期,接收丢帧检测模块31发来的触发信号,将保存的最近一个好帧的各子帧的音调周期输出到音调周期变化趋势确定模块322和丢帧音调周期输出模块323。
音调周期变化趋势确定模块322:用于接收好帧音调周期输出模块321发来的最近一个好帧的各子帧的音调周期,判断该好帧的音调周期是否呈递减趋势,若是,向丢帧音调周期输出模块323发送触发信号1;否则,向丢帧音调周期输出模块323发送触发信号0。
丢帧音调周期输出模块323:用于接收丢帧检测模块31发来的当前丢帧在连续丢帧中的帧序号,若收到音调周期变化趋势确定模块322发来的触发信号1,则将好帧音调周期输出模块321发来的最近一个好帧中的最后一个好子帧的音调周期减去与当前帧在连续丢帧中的帧序号相同个数的采样点时长再加上1个采样点时长所得到的值作为当前丢帧的音调周期;若收到音调周期变化趋势确定模块322发来的触发信号0,则将好帧音调周期输出模块321发来的最近一个好子帧的音调周期加上与当前帧在连续丢帧中的帧序号相同个数的采样点时长再减去1个采样点时长所得到的值作为当前丢帧的音调周期;将当前帧的音调周期输出到丢帧激励信号确定模块33。
进一步地,如图4所示,丢帧激励信号确定模块33包括:好帧激励信号输出模块331和丢帧激励信号输出模块332,其中:
好帧激励信号输出模块331:用于接收并保存来自上层协议层的好帧的激励信号,接收丢帧音调周期确定模块32输出的当前丢帧的音调周期,将自身保存的最近
个当前丢帧音调周期即:
长度的激励信号和最近
个当前丢帧音调周期的激励信号重叠相加,将得到的激励信号作为当前丢帧的最后
个音调周期的激励信号;将自身保存的最近
个当前丢帧音调周期的激励信号作为当前丢帧的
个音调周期的激励信号;将得到的1个音调周期的当前丢帧的激励信号输出到丢帧激励信号输出模块332。
丢帧激励信号输出模块332:用于将好帧激励信号输出模块331发来的1个音调周期的激励信号顺序重复写入自身的当前丢帧的激励信号缓冲区中。
进一步地,如图4所示,丢帧激励信号确定模块33还包括能量衰减模块333:用于对丢帧激励信号输出模块332发来的当前丢帧的激励信号进行能量衰减。
图5为本发明提供的丢帧隐藏的流程图,如图5所示,其具体步骤如下:
步骤501:每接收到一个好帧,将该好帧的激励信号保存在好帧激励信号缓冲区中。
缓冲区的长度可根据经验设定。
步骤502:检测到当前发生丢帧现象,根据丢帧前最近一个好帧的音调周期确定当前丢帧的音调周期。
步骤503:根据当前丢帧的音调周期和丢帧前的好帧的激励信号确定当前丢帧的激励信号。
图6为本发明提供的丢帧隐藏的具体实施例的流程图,如图6所示,其具体步骤如下:
步骤601:每接收到一个好帧,将该好帧的激励信号保存在好帧激励信号缓冲区中。
缓冲区的长度可根据经验设定。
步骤602:检测到当前帧产生丢帧现象,从丢帧前最近一个好帧的自适应码本中获取丢帧前最近一个好帧所包含的各子帧的音调周期。
步骤603:判断丢帧前最近一个好帧的音调周期是否呈递减趋势,若是,执行步骤604;否则,执行步骤605。
在G.729中,每个帧的长度为10ms,每个帧可分为两个5ms的子帧,通过比较丢帧前最近一个好帧的两个子帧的音调周期的大小,可以得知丢帧前最近一个好帧的音调周期是否呈递减趋势;若丢帧前最近一个好帧的两个子帧的音调周期相同,则可认为丢帧前最近一个好帧的音调周期呈递增趋势。
步骤604:将丢帧前最近一个好子帧的音调周期T0减去n-1个采样点时长后得到的值作为当前丢帧的音调周期Tn,转至步骤606。其中,n为当前丢帧在连续丢帧中的帧序号。
进一步地,预先设定一个整数Td(20≤Td≤143),判断n>Td是否成立,若是,当前丢帧的音调周期Tn等于最近一个好帧的音调周期T0减去Td个采样点时长;否则,Tn等于丢帧前最近一个好子帧的音调周期T0减去n-1个采样点时长。
步骤605:将丢帧前最近一个好子帧的音调周期T0加上n-1个采样点时长后得到的值作为当前丢帧的音调周期Tn,转至步骤606。其中,n为当前丢帧在连续丢帧中的帧序号。
进一步地,预先设定一个整数Td(20≤Td≤143),判断n>Td是否成立,若是,当前丢帧的音调周期Tn等于最近一个好帧的音调周期T0加上Td个采样点时长;Tn等于丢帧前最近一个好子帧的音调周期T0加上n-1个采样点时长。
由于在稳定的浊音期,音调周期是平缓变化的,因此,当n=1时,可认为第一帧丢帧与丢帧前最近一个好子帧的音调周期相同。
步骤606:将好帧激励信号缓冲区中保存的最近
个当前丢帧音调周期即:
长度的激励信号和最近
个当前丢帧音调周期的激励信号重叠相加,将得到的激励信号作为当前丢帧的最后
个音调周期的激励信号;将好帧激励信号缓冲区中保存的最近
个当前丢帧音调周期的激励信号作为当前丢帧的
个音调周期的激励信号。
重叠相加窗可为三角窗或汉宁窗,当为三角窗时,重叠相加过程为:将好帧激励信号缓冲区中保存的最近
个当前丢帧音调周期的激励信号乘以窗函数的下降斜率,将好帧激励信号缓冲区中保存的最近
个当前丢帧音调周期的激励信号乘以窗函数的上升斜率,最后将两次相乘结果相加。
进一步地,为了避免产生蜂鸣现象,可对当前丢帧的激励信号进行能量衰减,能量衰减公式为:
gn=(a)n-1g0
其中,n为当前丢帧在连续丢帧中的帧序号,gn为当前丢帧的能量,g0为丢帧前最近一个好帧的能量,a为能量衰减系数,通常a=0.9。
步骤607:将得到的当前丢帧的一个音调周期的激励信号顺序重复写入当前丢帧的激励信号缓冲区中。
具体地,将当前丢帧的激励信号的数据指针指向所述得到的当前丢帧的一个音调周期的激励信号的起始位置,然后按顺序将所述得到的一个音调周期的激励信号复制到当前丢帧的激励信号的缓冲区。若步骤604或605中得到的当前丢帧的音调周期<当前丢帧长度:10ms,则当数据指针移至所述得到的一个音调周期的激励信号的结束位置时,再重新返回到所述得到的一个音调周期的激励信号的起始位置。
以上所述仅为本发明的过程及方法实施例,并不用以限制本发明,凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1、一种丢帧隐藏装置,其特征在于,该装置包括:
丢帧检测模块,用于将上层协议层发来的丢帧指示信号转发出去;
丢帧音调周期确定模块,用于接收丢帧检测模块发来的丢帧指示信号,根据自身保存的丢帧前最近一个好帧的音调周期确定当前丢帧的音调周期,并将当前丢帧的音调周期发送出去;
丢帧激励信号确定模块,用于接收并保存来自上层协议层的好帧的激励信号,根据丢帧音调周期确定模块发来的当前丢帧的音调周期和自身保存的好帧激励信号得到当前丢帧的激励信号。
2、如权利要求1所述的装置,其特征在于,所述丢帧音调周期确定模块包括:
好帧音调周期输出模块,用于保存每个好帧包含的各子帧的音调周期,根据丢帧检测模块发来的丢帧指示信号,将保存的最近一个好帧的各子帧的音调周期发送出去;
音调周期变化趋势确定模块,用于判断好帧音调周期输出模块发来的最近一个好帧的各子帧的音调周期是否呈递减趋势,若是,将触发信号1发送出去;否则,将触发信号0发送出去;
丢帧音调周期输出模块,用于接收丢帧检测模块发来的当前丢帧在连续丢帧中的帧序号,若收到音调周期变化趋势确定模块发来的触发信号1,则将好帧音调周期输出模块发来的最近一个好帧中的最后一个好子帧的音调周期减去与当前帧在连续丢帧中的帧序号相同个数的采样点时长再加上1个采样点时长所得的值作为当前丢帧的音调周期;若收到音调周期变化趋势确定模块发来的触发信号0,则将好帧音调周期输出模块发来的最近一个好子帧的音调周期加上与当前帧在连续丢帧中的帧序号相同个数的采样点时长再减去1个采样点时长所得的值作为当前丢帧的音调周期;将得到的当前帧的音调周期发送到丢帧激励信号确定模块。
4、如权利要求3所述的装置,其特征在于,所述丢帧激励信号确定模块进一步包括能量衰减模块,用于对丢帧激励信号输出模块发来的当前丢帧的激励信号进行能量衰减。
5、一种丢帧隐藏方法,其特征在于,每接收到一个好帧将该好帧的激励信号保存在好帧激励信号缓冲区中,该方法包括:
A、检测到当前发生丢帧现象,根据丢帧前最近一个好帧的音调周期获取当前丢帧的音调周期;
B、根据当前丢帧的音调周期和好帧激励信号缓冲区中保存的激励信号恢复当前丢帧的激励信号。
6、如权利要求5所述的方法,其特征在于,步骤A所述根据丢帧前最近一个好帧的音调周期获取当前丢帧的音调周期包括:
A1、从丢帧前最近一个好帧的自适应码本中获取丢帧前最近一个好帧包含的各子帧的音调周期,判断丢帧前最近一个好帧的音调周期是否呈递减趋势,若是,执行步骤A2;否则,执行步骤A3;
A2、将丢帧前最近一个好子帧的音调周期减去与当前丢帧在连续丢帧中的帧序号相同个数的采样点时长再加上1个采样点时长得到的值作为当前丢帧的音调周期,转至步骤B;
A3、将丢帧前最近一个好子帧的音调周期加上与当前丢帧在连续丢帧中的帧序号相同个数的采样点时长再减去1个采样点时长得到的值作为当前丢帧的音调周期,转至步骤B。
7、如权利要求6所述的方法,其特征在于,所述步骤A2之前进一步包括:判断当前丢帧在连续丢帧中的帧序号是否大于预定值,若是,将丢帧前最近一个好子帧的音调周期减去预定值个采样点时长得到的值作为当前丢帧的音调周期;否则,执行步骤A2。
8、如权利要求6所述的方法,其特征在于,所述步骤A3之前进一步包括:判断当前丢帧在连续丢帧中的帧序号是否大于预定值,若是,将丢帧前最近一个好子帧的音调周期加上预定值个采样点时长得到的值作为当前丢帧的音调周期;否则,执行步骤A3。
9、如权利要求7或8所述的方法,其特征在于,所述预定值为:20至143之间的任一整数值。
11、如权利要求10所述的方法,其特征在于,所述步骤B之后进一步包括:对当前丢帧的激励信号进行能量衰减。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2006100874754A CN1983909B (zh) | 2006-06-08 | 2006-06-08 | 一种丢帧隐藏装置和方法 |
EP07721713A EP2026330B1 (en) | 2006-06-08 | 2007-06-07 | Device and method for lost frame concealment |
PCT/CN2007/070092 WO2007143953A1 (fr) | 2006-06-08 | 2007-06-07 | Dispositif et procédé pour dissimulation de trames perdues |
EP12183974.0A EP2535893B1 (en) | 2006-06-08 | 2007-06-07 | Device and method for lost frame concealment |
US12/330,265 US7778824B2 (en) | 2006-06-08 | 2008-12-08 | Device and method for frame lost concealment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2006100874754A CN1983909B (zh) | 2006-06-08 | 2006-06-08 | 一种丢帧隐藏装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1983909A true CN1983909A (zh) | 2007-06-20 |
CN1983909B CN1983909B (zh) | 2010-07-28 |
Family
ID=38166175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006100874754A Active CN1983909B (zh) | 2006-06-08 | 2006-06-08 | 一种丢帧隐藏装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7778824B2 (zh) |
EP (2) | EP2026330B1 (zh) |
CN (1) | CN1983909B (zh) |
WO (1) | WO2007143953A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009059497A1 (fr) * | 2007-11-05 | 2009-05-14 | Huawei Technologies Co., Ltd. | Procédé et dispositif d'obtention d'un facteur d'atténuation |
WO2009059498A1 (fr) * | 2007-11-05 | 2009-05-14 | Huawei Technologies Co., Ltd. | Procédé de traitement de signal, dispositif de traitement et décodeur audio |
CN102013943A (zh) * | 2010-07-26 | 2011-04-13 | 浙江吉利汽车研究院有限公司 | 一种can总线网络丢帧处理方法 |
CN107103909A (zh) * | 2013-02-13 | 2017-08-29 | 瑞典爱立信有限公司 | 帧错误隐藏 |
US10529351B2 (en) | 2014-06-25 | 2020-01-07 | Huawei Technologies Co., Ltd. | Method and apparatus for recovering lost frames |
CN110931025A (zh) * | 2013-06-21 | 2020-03-27 | 弗朗霍夫应用科学研究促进协会 | 利用改进的脉冲再同步化的似acelp隐藏中的自适应码本的改进隐藏的装置及方法 |
CN111883147A (zh) * | 2020-07-23 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 音频数据处理方法、装置、计算机设备及存储介质 |
CN112908346A (zh) * | 2019-11-19 | 2021-06-04 | 中国移动通信集团山东有限公司 | 丢包恢复方法及装置、电子设备和计算机可读存储介质 |
WO2021227749A1 (zh) * | 2020-05-15 | 2021-11-18 | 腾讯科技(深圳)有限公司 | 一种语音处理方法、装置、电子设备及计算机可读存储介质 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102292769B (zh) * | 2009-02-13 | 2012-12-19 | 华为技术有限公司 | 一种立体声编码方法和装置 |
FR3004876A1 (fr) * | 2013-04-18 | 2014-10-24 | France Telecom | Correction de perte de trame par injection de bruit pondere. |
TWI553631B (zh) * | 2013-06-21 | 2016-10-11 | 弗勞恩霍夫爾協會 | 用於解碼音訊信號之裝置與方法,以及相關電腦程式 |
CN108364657B (zh) * | 2013-07-16 | 2020-10-30 | 超清编解码有限公司 | 处理丢失帧的方法和解码器 |
CN104021792B (zh) * | 2014-06-10 | 2016-10-26 | 中国电子科技集团公司第三十研究所 | 一种语音丢包隐藏方法及其系统 |
EP3483878A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
WO2019091576A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
EP3483886A1 (en) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Selecting pitch lag |
EP3483882A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
EP3483883A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
EP3483879A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
EP3483884A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
CN113488068B (zh) * | 2021-07-19 | 2024-03-08 | 歌尔科技有限公司 | 音频异常检测方法、装置及计算机可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5960386A (en) * | 1996-05-17 | 1999-09-28 | Janiszewski; Thomas John | Method for adaptively controlling the pitch gain of a vocoder's adaptive codebook |
EP1088302B1 (en) | 1999-04-19 | 2008-07-23 | AT & T Corp. | Method for performing packet loss concealment |
DE60233283D1 (de) * | 2001-02-27 | 2009-09-24 | Texas Instruments Inc | Verschleierungsverfahren bei Verlust von Sprachrahmen und Dekoder dafer |
CA2388439A1 (en) | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
ATE523876T1 (de) * | 2004-03-05 | 2011-09-15 | Panasonic Corp | Fehlerverbergungseinrichtung und fehlerverbergungsverfahren |
-
2006
- 2006-06-08 CN CN2006100874754A patent/CN1983909B/zh active Active
-
2007
- 2007-06-07 EP EP07721713A patent/EP2026330B1/en active Active
- 2007-06-07 EP EP12183974.0A patent/EP2535893B1/en active Active
- 2007-06-07 WO PCT/CN2007/070092 patent/WO2007143953A1/zh active Application Filing
-
2008
- 2008-12-08 US US12/330,265 patent/US7778824B2/en active Active
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009059497A1 (fr) * | 2007-11-05 | 2009-05-14 | Huawei Technologies Co., Ltd. | Procédé et dispositif d'obtention d'un facteur d'atténuation |
WO2009059498A1 (fr) * | 2007-11-05 | 2009-05-14 | Huawei Technologies Co., Ltd. | Procédé de traitement de signal, dispositif de traitement et décodeur audio |
US7957961B2 (en) | 2007-11-05 | 2011-06-07 | Huawei Technologies Co., Ltd. | Method and apparatus for obtaining an attenuation factor |
CN101578657B (zh) * | 2007-11-05 | 2012-11-07 | 华为技术有限公司 | 一种衰减因子的获取方法和获取装置 |
US8320265B2 (en) | 2007-11-05 | 2012-11-27 | Huawei Technologies Co., Ltd. | Method and apparatus for obtaining an attenuation factor |
CN102682777B (zh) * | 2007-11-05 | 2013-11-06 | 华为技术有限公司 | 一种衰减因子的获取方法和获取装置 |
CN102169692B (zh) * | 2007-11-05 | 2014-04-30 | 华为技术有限公司 | 信号处理方法和装置 |
CN102013943A (zh) * | 2010-07-26 | 2011-04-13 | 浙江吉利汽车研究院有限公司 | 一种can总线网络丢帧处理方法 |
CN107103909A (zh) * | 2013-02-13 | 2017-08-29 | 瑞典爱立信有限公司 | 帧错误隐藏 |
CN107103909B (zh) * | 2013-02-13 | 2020-08-04 | 瑞典爱立信有限公司 | 帧错误隐藏 |
CN110931025A (zh) * | 2013-06-21 | 2020-03-27 | 弗朗霍夫应用科学研究促进协会 | 利用改进的脉冲再同步化的似acelp隐藏中的自适应码本的改进隐藏的装置及方法 |
US10529351B2 (en) | 2014-06-25 | 2020-01-07 | Huawei Technologies Co., Ltd. | Method and apparatus for recovering lost frames |
CN112908346A (zh) * | 2019-11-19 | 2021-06-04 | 中国移动通信集团山东有限公司 | 丢包恢复方法及装置、电子设备和计算机可读存储介质 |
WO2021227749A1 (zh) * | 2020-05-15 | 2021-11-18 | 腾讯科技(深圳)有限公司 | 一种语音处理方法、装置、电子设备及计算机可读存储介质 |
CN111883147A (zh) * | 2020-07-23 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 音频数据处理方法、装置、计算机设备及存储介质 |
CN111883147B (zh) * | 2020-07-23 | 2024-05-07 | 北京达佳互联信息技术有限公司 | 音频数据处理方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2026330A4 (en) | 2011-11-02 |
CN1983909B (zh) | 2010-07-28 |
US20090089050A1 (en) | 2009-04-02 |
EP2026330B1 (en) | 2012-11-07 |
EP2026330A1 (en) | 2009-02-18 |
US7778824B2 (en) | 2010-08-17 |
EP2535893A1 (en) | 2012-12-19 |
EP2535893B1 (en) | 2015-08-12 |
WO2007143953A1 (fr) | 2007-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1983909B (zh) | 一种丢帧隐藏装置和方法 | |
CN102449690B (zh) | 用于重建被擦除语音帧的系统与方法 | |
AU2006252972B2 (en) | Robust decoder | |
US8102872B2 (en) | Method for discontinuous transmission and accurate reproduction of background noise information | |
KR100998396B1 (ko) | 프레임 손실 은닉 방법, 프레임 손실 은닉 장치 및 음성송수신 장치 | |
KR101038964B1 (ko) | 에코 제거/억제 방법 및 장치 | |
US20160036564A1 (en) | System and method of redundancy based packet transmission error recovery | |
JP6793675B2 (ja) | 音声符号化装置 | |
JPH10187197A (ja) | 音声符号化方法及び該方法を実施する装置 | |
CN101894558A (zh) | 丢帧恢复方法、设备以及语音增强方法、设备和系统 | |
US6873954B1 (en) | Method and apparatus in a telecommunications system | |
SE518941C2 (sv) | Anordning och förfarande relaterande till kommunikation av tal | |
CN103456307B (zh) | 音频解码器中帧差错隐藏的谱代替方法及系统 | |
RU2707144C2 (ru) | Аудиокодер и способ для кодирования аудиосигнала | |
Gueham et al. | Packet loss concealment method based on interpolation in packet voice coding | |
JP4437011B2 (ja) | 音声符号化装置 | |
WO2003001172A1 (en) | Method and device for coding speech in analysis-by-synthesis speech coders | |
JP3490325B2 (ja) | 音声信号符号化方法、復号方法およびその符号化器、復号器 | |
Sun et al. | Speech compression | |
KR102132326B1 (ko) | 통신 시스템에서 오류 은닉 방법 및 장치 | |
Bakri et al. | Implementing the PLC Techniques with G 729 Coded to Improving the Speech Quality for VoIP Transmission | |
EP1527440A1 (en) | Speech communication unit and method for error mitigation of speech frames | |
Woodard | Digital coding of speech using code excited linear prediction | |
Yeganeh et al. | Time Scale Modification as a Packet loss Concealment in VoIP Applications | |
Nour-Eldin et al. | Loss recovery through spectral interpolation for robust speech recognition over packet voice communications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |