CN101325537B - 一种丢帧隐藏的方法和设备 - Google Patents
一种丢帧隐藏的方法和设备 Download PDFInfo
- Publication number
- CN101325537B CN101325537B CN2007100749890A CN200710074989A CN101325537B CN 101325537 B CN101325537 B CN 101325537B CN 2007100749890 A CN2007100749890 A CN 2007100749890A CN 200710074989 A CN200710074989 A CN 200710074989A CN 101325537 B CN101325537 B CN 101325537B
- Authority
- CN
- China
- Prior art keywords
- signal
- frame
- band
- previous frame
- decoded signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000011084 recovery Methods 0.000 claims abstract description 22
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000001914 filtration Methods 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000000576 supplementary effect Effects 0.000 description 2
- 241001105470 Valenzuela Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种丢帧隐藏的设备,包括检测语音帧是否丢失的失帧检测器;解码当前语音帧的解码模块;对低带信号进行延迟的低带延迟模块;恢复丢失的低带信号的低带信号恢复模块;对高带信号进行丢帧隐藏处理的高带丢帧隐藏模块;对低带信号和高带信号进行综合滤波的QMF综合滤波器。本发明充分利用了编解码器本身的延迟,提高了低带和高带信号丢帧隐藏的效果,并且丢帧隐藏的处理没有引入附近的延迟。
Description
技术领域
本发明涉及丢帧隐藏领域,具体涉及一种语音或音频编码器丢帧隐藏的方法和设备。
背景技术
在网络通信中,分组技术应用十分广泛。各种形式的信息——语音、图像或者数据经过编码后采用分组技术在网络上传输。由于信息发送端发送容量的限制,或在指定延迟时间内,分组信息帧没有到达接收端缓冲区,从而造成信息的丢失,这就是分组通信中常见的丢帧现象。此外,在分组交换网络中,由于网络拥塞、传输损耗也会引起丢帧。
目前,不同的语音编码标准有其相应的丢帧隐藏技术,以减少因丢帧造成的语音质量下降。一些基于码激励线性预测的语音编码器都内嵌了丢帧隐藏算法,如G.723.1,G.728和G.729。
采用波形编码技术的G.711应用十分广泛,其在附录(G.711 Appendix I,″A high quality low complexity a lgorithm for packet 1055 concealmentwith G.711″(September1999))中提供了一种丢帧隐藏算法,但该丢帧隐藏算法只支持8khz采样的窄带信号,不支持宽带信号,不能满足高质量的通话要求,因此希望能够出现解决支持宽带信号的解决方案。
发明内容
本发明的实施例在于提供一种支持带扩展的丢帧隐藏方法和设备。
本发明的实施例所采取的技术方案是:
一种丢帧隐藏的设备,其该设备包括:
丢失帧检测器,用于检测语音帧是否丢失;
解码模块,用于解码当前语音帧,生成当前帧低带信号和当前帧高带解码信号;
低带延迟模块,用于对所述的当前帧低带信号延迟设定时间,生成前帧低带信号;
低带信号恢复模块,用于前帧丢失时,恢复丢失的前帧低带信号;
高带丢帧隐藏模块,用于接收所述的当前帧高带解码信号以及丢失帧检测器输出的帧丢失信息,生成前帧高带信号;
QMF综合滤波器,用于接收低带延迟模块生成的前帧低带信号和高带丢帧隐藏模块生成的前帧高带信号,进行综合滤波,输出前帧语音信号;或者,接收低带信号恢复模块恢复的前帧低带信号和高带丢帧隐藏模块生成的前帧高带信号,进行综合滤波,输出前帧语音信号。
一种丢帧隐藏的方法,该方法包括:
检测语音帧是否丢失;
若当前帧没有丢失,解码当前语音帧,生成当前帧低带信号和当前帧高带解码信号;
对所述的当前帧低带信号延迟设定时间,生成前帧低带信号,或者,若前帧丢失时,恢复丢失的前帧低带信号;
根据帧丢失信息对所述的当前帧高带解码信号进行处理,生成前帧高带信号;
对所述的前帧低带信号和所述的前帧高带信号进行综合滤波,生成前帧语音信号。
其中,所述的设定时间为一帧时间,所述的前帧为当前帧的上一帧。
本发明的实施例描述的丢帧隐藏设备和方法利用了编解码器本身的延迟,提高了低带和高带信号丢帧隐藏的效果,并且丢帧隐藏的处理没有引入附近的延迟。
附图说明
下面通过具体实施方式并结合附图对本发明作进一步的详细说明。
图1是G.711宽带扩展编码器框图。
图2是G.711宽带扩展解码器框图。
图3是MDCT变换的叠加窗示意图。
图4是MDCT变换引入一帧延迟的示意图。
图5是本发明的丢帧隐藏方法的框架图。
图6是高带丢帧隐藏模块的一个实施例。
图7是高带丢帧隐藏模块的另外一个实施例。
图8是图7的一个变化。
图9是图7和图8中“恢复上一帧高带解码后半窗信号”的一种实现方法。
图10是丢帧隐藏相位不匹配的示意图。
图11是消除丢帧隐藏相位不匹配方法的示意图。
图12是消除相位不匹配后的波形图。
图13是丢失帧在清浊音过渡段时丢帧隐藏处理后的示意图。
具体实施方式
图1是宽带扩展编码器框图,以G.711宽带扩展编码器为例,图中QMF(quadrature mirror filter,正交镜像滤波器)分析滤波器101接收16khz采样的输入信号,分析滤波之后输出8khz采样的低带信号和8khz采样的高带信号。低带信号输入给核心编码器(即G.711的编码器)102,编码之后输出核心比特流,并输入给复用模块108。核心编码器102输出的核心比特流同时也输入给核心解码器(即G.711的解码器)103,解码之后输出低带信号,并输入给加法器105。QMF分析滤波器101输出的低带信号同时也输入给加法器105,加法器输出残差信号,并输入给低带增强编码器104。低带增强编码器104对输入的低带残差信号编码,输出低带增强比特流,并输入给复用模块108。QMF分析滤波器101输出的低带信号同时也输入给PLC(packet loss concealment,丢包隐藏)边信息计算模块106,该模块用于计算丢帧隐藏(丢包隐藏和丢帧隐藏概念类似,在本发明的实施例中如非特殊说明,可以互换)的辅助信息,借助于这些辅助信息,在解码端可以进一步提高丢帧隐藏性能。PLC边信息计算模块106输出PLC边信息,并输入给复用模块108。QMF分析滤波器101输出的高带信号输入给高带编码器107,编码后输出高带比特流,并输入给复用模块108。高带编码器107是基于MDCT(Modifed Discrete Cosine Transform,修正的离散余玄变换)变换。
图2是宽带扩展解码器框图,仍以G.711宽带扩展编码器为例,图中解复用模块201接收比特流,解复用之后输出PLC边信息、低带核心比特流、低带增强比特流、高带比特流。核心解码器(即G.711的解码器)202接收低带核心比特流,解码之后输出给加法器205。低带增强解码器203接收低带增强比特流,解码之后输出给加法器205。加法器205对输入的两路信号相加之后产生低带信号,并输出给低带PLC模块206。低带PLC模块206进行丢帧隐藏处理之后输出给QMF综合滤波器模块208。高带解码器(基于MDCT的逆变换)204接收高带比特流,解码之后输出高带信号给高带PLC模块207。高带PLC模块207进行高带的丢帧隐藏处理之后输出给QMF综合滤波器模块208。QMF综合滤波器模块208对已经进行丢帧隐藏处理的低带信号和高带信号进行综合滤波,输出16khz采样的信号。
图1中的高带编码器107和图2中的高带解码器204分别基于MDCT变换的正变换和逆变换,由于和本发明实施例关系密切,因此予以说明。
MDCT利用时域的重叠对消(Aliasing Cancellation)技术来降低“边界效应”。MDCT的正变换和反变换公式如下:
其中N是帧长;k=0,1,...,N-1;n=0,1,...,2N-1;n0=N/2+1/2;x(n)是时域信号;X(k)是正变换之后的频域信号;X(n)是逆变换之后的信号;h(n)是窗函数,满足如下关系:
h(n)h(n)+h(n+N)h(n+N)=1
h(n)=h(2N-1-n)
式中Xp(n+N)是前一帧逆变换之后的信号。
下面结合本发明实施例说明。例如,图1中的高带编码器107准备对图3中的第3帧高带信号进行编码,首先需要取足2N个样点,在本发明中取前一帧(即第2帧)的N个样点和当前帧(即第3帧)的N个样点组成2N个样点,然后乘上窗函数(即图3中的虚线所示),进行MDCT正变换。再对变换之后的MDCT时域信号进行一定方式的编码,例如huffman编码,形成高带比特流。在解码端,图2中的高带解码器204对第3帧的高带比特流解码,获得MDCT时域信号,进行MDCT逆变换,获得逆变换之后的信号。第2帧逆变换后半窗信号和第3帧逆变换前半窗信号叠加之后,就输出重建的第2帧高带信号,如图4中的阴影部分所示。从图中可以看出,MDCT变换会给编解码器引入附加的一帧延迟。
图5是本发明的丢帧隐藏方法的框架图。丢失帧检测器501接收比特流,检测语音帧(或IP包,本发明假定一个IP只包含一个语音帧的码流,因此在本发明中丢失一个包和丢失一个帧的概念是等价的)是否丢失,并记录丢失状态。如果接收到当前帧,则解码模块502解码当前帧,并输出当前帧低带信号、当前帧高带解码信号和PLC边信息。解码模块502和图2中的解复用模块201、核心解码器202、低带增强解码器203、高带解码器204、加法器205相对应。解码模块502输出的低带信号输入到低带延迟模块504,低带延迟模块504延迟一个帧长,然后输出上一帧低带信号给QMF综合滤波器506。QMF综合滤波器506和图2中的QMF综合滤波器208对应。丢失帧检测器501输出相关的帧丢失信息给低带信号恢复模块503,如果上一帧丢失,则低带信号恢复模块503采用低带的丢帧隐藏算法恢复出上一帧的低带信号。低带信号恢复模块504同时也接收解码模块502输出的PLC边信息,利用PLC边信息可以提高丢帧隐藏的性能,但不是必需的。由于低带信号恢复模块503是在延迟一帧之后才去恢复上一帧低带信号,因此在当前帧收到时,可以利用当前帧的信息提高恢复上一帧低带信号的效果。低带信号恢复模块503输出上一帧的低带信号给QMF综合滤波器506,由于上一帧没有丢失时QMF综合模块506会收到低带延迟模块504输出的上一帧低带信号,这样不论上一帧是否丢失,QMF综合滤波器506都会收到上一帧的低带信号。高带丢帧隐藏模块505接收解码模块502输出的当前帧高带解码信号、PLC边信息以及丢失帧检测器输出的帧丢失信息,进行高带丢帧隐藏处理之后,输出上一帧的高带信号给QMF综合滤波器506。对照图4可知,当解码模块502输出的当前帧高带解码之后的信号是MDCT逆变换之后的信号,有两个帧长,而高带丢帧隐藏模块505输出的上一帧的高带信号只有一个帧长,是MDCT逆变换上一帧后半窗信号和当前帧前半窗信号叠加产生的结果,或者是MDCT逆变换信号有丢失时,采用某种丢帧隐藏方法恢复的结果。QMF综合滤波器506对接收的上一帧低带信号和上一帧高带信号进行综合滤波,输出16khz采样的上一帧语音信号。
G.711 Appendix I的丢帧隐藏方案在恢复丢失帧时,没有利用丢失帧后面帧的信息,并且会引入附加的3.75毫秒延迟。图5所示的PLC方案,充分利用了MDCT变换本身的一帧延迟时间,恢复丢失的低带信号时可以利用丢失帧的后面帧的信息,恢复高带后半窗信号时也可以利用丢失帧的后面帧的信息,并且进行丢帧隐藏时没有引入附加的延迟。
图6是图5中高带丢帧隐藏模块505的一个实施例。步骤601根据图5中的丢失帧检测器输出的帧丢失信息,判断是否收到当前帧高带解码信号,如果收到则进入步骤603,否则进入步骤602。步骤602采用丢帧隐藏算法恢复丢失的当前帧高带解码信号,处理完毕之后进入步骤603。如前面所描述,恢复的当前帧高带解码信号的长度为2个帧长。高带解码信号前半部分为前半窗信号,后半部分为后半窗信号,步骤603延迟当前帧高带解码信号的后半窗信号一个帧长的时间,并叠加当前帧高带解码前半窗信号和上一帧高带解码后半窗信号,产生上一帧高带信号。步骤604输出步骤603产生的上一帧高带信号。步骤605判断是否需要继续进行丢帧隐藏处理,如果是则回到步骤601,否则结束。
在图6所示的高带丢帧隐藏算法中,一些步骤的先后调整,例如将步骤603中的“延迟当前帧高带解码信号的后半窗信号”操作移到步骤604之后,对算法没有实质的改变,应认为属于本发明范畴。
高带信号类似于噪声,对相位不敏感,只要保证采用丢帧隐藏算法恢复的高带信号和原始的高带信号有类似的能量、过零率(体现了频域特征)等特征,则能进行较好的恢复。由于相邻的两帧高带信号能量、过零率等特征变化不大,因此可以考虑采用前帧高带信号代替当前丢失的高带信号。基于以上思想,步骤602的一种有效实现方式是:复制上一帧高带解码信号作为当前丢失的高带解码信号,上一帧高带解码信号既可以是上一帧收到时图5中的解码模块502输出的信号,也可以是上一帧丢失时丢帧隐藏产生的信号。
图7是图5中高带丢帧隐藏模块505的另外一个实施例。步骤701根据图5中的丢失帧检测器输出的帧丢失信息,判断是否收到当前帧高带解码信号,如果收到则进入步骤705,否则进入步骤702。步骤702判断是否收到上一帧高带解码信号,如果收到则进入步骤704,否则进入步骤703。步骤703恢复上一帧的高带信号,处理完之后进入步骤709。步骤704恢复当前帧高带解码信号的前半窗信号,处理完之后进入步骤708。步骤705延迟当前帧高带解码信号的后半窗信号,处理完之后进入步骤706。步骤706判断是否收到上一帧的高带解码信号,如果是则进入步骤708,否则进入步骤707。步骤707恢复上一帧高带解码信号的后半窗信号,处理完之后进入步骤708。步骤708叠加当前帧高带解码信号的前半窗信号和上一帧高带解码信号的后半窗信号,产生上一帧的高带信号。步骤708处理完之后进入步骤709。步骤709输出上一帧高带信号,然后在步骤710中判断是否需要继续丢帧隐藏处理,如果是则返回步骤701,否则结束。
在图7所示的高带丢帧隐藏算法中,一些步骤的先后调整,例如将步骤703“延迟当前帧高带解码后半窗信号”操作移到步骤706、707、708或709之后,对算法没有实质的改变,应认为属于本发明范畴。
图8是图7的一个变化,基本思路是一样的,只是判断当前帧和上一帧是否收到的先后顺序不一样。步骤801根据图5中的丢失帧检测器输出的帧丢失信息,判断是否收到上一帧高带解码信号,如果收到则进入步骤806,否则进入步骤802。步骤802判断是否收到当前帧高带解码信号,如果收到则进入步骤804,否则进入步骤803。步骤803恢复上一帧的高带信号,处理完之后进入步骤810。步骤804延迟当前帧高带解码信号的后半窗信号,处理完之后进入步骤805。步骤805恢复上一帧高带解码信号的后半窗信号,处理完之后进入步骤809。步骤806判断是否收到当前帧高带解码信号,如果收到则进入步骤808,否则进入步骤807。步骤808延迟当前帧高带解码信号的后半窗信号,处理完之后进入步骤809。步骤807恢复当前帧高带解码信号的前半窗信号,处理完之后进入步骤809。步骤809叠加当前帧高带解码信号的前半窗信号和上一帧高带解码信号的后半窗信号,产生上一帧的高带信号。步骤809处理完之后进入步骤810。步骤810输出上一帧高带信号,然后在步骤911中判断是否需要继续丢帧隐藏处理,如果是则返回步骤801,否则结束。
在图8所示的高带丢帧隐藏算法中,一些步骤的先后调整,例如将步骤805和808“延迟当前帧高带解码后半窗信号”操作移到步骤809或810之后,对算法没有实质的改变,应认为属于本发明范畴。
在图6中,当发现当前帧丢失时,立即恢复出当前帧高带解码信号(包括前半窗信号和后半窗信号)。在图8和图7中,发现当前帧丢失时,只立即恢复当前帧高带解码信号的前半窗信号,而后半窗信号的恢复在延迟一帧之后才进行,即图中的步骤707和805“恢复上一帧高带解码后半窗信号”。因此图8和图7相对于图6的一个优点是,在恢复上一帧高带解码信号的后半窗信号时,可以利用当前帧的一些信息,有利于提高丢帧隐藏效果。
图7中的步骤704和图8中的步骤807“恢复当前帧高带解码前半窗信号”有多种处理方法,举例如下:
方法一:将当前帧高带解码信号的前半窗信号设为零,此时图7中的步骤708和图8中的步骤809可以省略,即直接把上一帧高带解码信号的后半窗信号作为上一帧高带信号。
方法二:复制上一帧高带解码信号的前半窗信号作为当前帧高带解码信号的前半窗信号。相对于方法一的好处是,可以保持能量的连贯性。
图7中的步骤707和图8中的步骤805“恢复上一帧高带解码后半窗信号”有多种处理方法,举例如下:
方法一:将上一帧高带解码信号的后半窗信号设为零,此时图7中的步骤708和图8中的步骤809可以省略,即直接把当前帧高带解码信号的前半窗信号作为上一帧高带信号。
方法二:复制上一帧的上一帧高带解码信号的后半窗信号作为上一帧高带解码信号的后半窗信号。
方法三:复制当前帧高带解码信号的后半窗信号作为上一帧高带解码信号的后半窗信号。
方法四:如图9所示,将上一帧的上一帧高带解码信号的后半窗信号乘上下降窗,将当前帧高带解码信号的后半窗信号乘上上升窗,然后进行叠加,产生上一帧高带解码信号的后半窗信号。其中下降窗幅值线性的从1下降到0,上升窗幅值线性的从0上升到1。叠加窗口也可以是其他形状,例如幅值是0.5的矩形窗。采用该方法的好处是,在恢复高带解码信号的后半窗信号时,同时利用了丢失帧前后帧的信息,能更好的保持信号能量的连贯性。
图7中的步骤703和图8中的步骤803“恢复上一帧高带信号”有多种处理方法,举例如下:
方法一:分别恢复出当前帧高带解码信号的前半窗信号和上一帧高带解码信号的后半窗信号,然后进行叠加,产生上一帧高带信号。当前帧高带解码信号的前半窗信号的恢复可采用复制上一帧高带解码信号的前半窗信号的方法,上一帧高带解码信号的后半窗信号的恢复可采用复制上一帧的上一帧高带解码信号的后半窗信号的方法。
方法二:复制上一帧的上一帧高带信号作为上一帧的高带信号。
图5中的低带信号恢复模块503的一种实现方式是基音重复,即将丢失帧前面一帧的最后一个基音周期重复的在丢失帧内填充,直到填充完一帧为止。例如,图10中,上一帧丢失,上一帧的上一帧的最后一个基音周期长度是P,首先将上一帧的上一帧的最后一个基音周期填在丢失帧(上一帧)的最左边,紧跟着再填充一个基音周期,由于还没有填满一帧,令帧长为N,则还需填充的长度为N-P*2,取基因周期开始的N-P*2个样点填充到剩下的空隙,则整个填充完毕。
由于基音周期是变化的,因此采用基音重复的方法进行丢帧隐藏会导致相位不匹配。例如,在图10中填充的上一帧波形的末尾和当前帧的开始没有吻合,即相位不匹配。为了达到较好的丢帧隐藏效果,需要利用丢失帧后帧的信息消除相位不匹配的影响。文献“A New Voice-Packet Reconstruction Technique”(一种新的语音包重构技术)(R.A.Valenzuela and C.N.Animalu,IEEEICASSP-89,vol.2,pp.1334-1336,1989)公开了一种利用丢失帧后帧信息消除相位不匹配的方法,如图11所示,该方法主要包括以下一些步骤:
步骤1101,填充丢失帧:可以采用前面基音重复的方法,当然也可以采用其他方法;
步骤1102,计算相位差:如图10所示,首先需要找出当前帧起始点和填充的数据相匹配的点(寻找匹配点的计算方法参见Valenzuela的文章),并在多个匹配点中选择一个最佳匹配点,并以最佳匹配点和当前帧起始点的相位差作为最终的相位差。在图10中匹配点有两个,分别位于当前帧起始点的左边和右边,到当前帧起始点的距离分别为de和dc,和当前帧起始点之间的相位差分别为-de和dc。如果de<dc,则最佳匹配点是左边的匹配点,相位差d=-de,否则最佳匹配点是右边的匹配点,相位差d=dc;
步骤1103,插值计算:线性插值计算量较小,一般采用线性插值的方法,计算公式如下:
式中α=(N+d)/N,N为帧长,表示比α·n大的最小整数,表示小于或等于α·n的最大整数,x是没有考虑相位匹配填充的序列,长度为填充的起始点到匹配点,即等于N+d,y为线性插值之后的序列,n=1,2...,N。插值计算完成之后将插值之后的结果重新填充丢失的帧。
图12所示的是采用这种消除相位不匹配方法处理后的结果,和图10相比,已经没有相位不匹配的问题。
如图13所示,丢失帧可能处在浊音和清音的过渡段,此时丢帧隐藏的一种方法是,用丢失帧前后帧的浊音和清音各填充一部分。但浊音和清音各填充多长并不能做出准确的判断。提供判断准确性的一种方法是:
在编码端计算上一帧的能量和过零率,并作为当前帧的PLC边信息。在解码段,根据上一帧(丢失帧)的能量和过零率判断浊音的成分多一些还是清音的多一些,如果浊音成分多一些,则浊音填充的更长一些,否则清音填充的长一些。
Claims (18)
1.一种丢帧隐藏的设备,其特征在于,该设备包括:
丢失帧检测器,用于检测语音帧是否丢失,并记录丢失状态,及输出帧丢失信息至低带信号恢复模块;
解码模块,用于接收所述丢失帧检测器输入的当前语音帧,解码所述当前语音帧,生成当前帧低带信号和当前帧高带解码信号;
低带延迟模块,用于对所述的当前帧低带信号延迟设定时间,生成前帧低带信号;
所述低带信号恢复模块,用于前帧丢失时,采用低带的丢帧隐藏算法恢复丢失的前帧低带信号;
高带丢帧隐藏模块,用于接收所述的当前帧高带解码信号以及丢失帧检测器输出的帧丢失信息,生成前帧高带信号;
正交镜像滤波器QMF综合滤波器,用于接收低带延迟模块生成的前帧低带信号和高带丢帧隐藏模块生成的前帧高带信号,进行综合滤波,输出前帧语音信号;或者,接收低带信号恢复模块恢复的前帧低带信号和高带丢帧隐藏模块生成的前帧高带信号,进行综合滤波,输出前帧语音信号。
2.如权利要求1所述的设备,其特征在于,解码模块生成丢帧隐藏边信息,所述的丢帧隐藏边信息包括能量和过零率。
3.如权利要求2所述的设备,其特征在于,低带信号恢复模块接收丢帧隐藏边信息,根据所述的丢帧隐藏边信息中的能量和过零率判断浊音成分和清音成分,并根据浊音和清音成分对丢失帧进行恢复。
4.如权利要求1所述的设备,其特征在于,所述的设定时间为一帧时间,所述的前帧为当前帧的上一帧。
5.一种丢帧隐藏的方法,其特征在于,该方法包括:
检测语音帧是否丢失,并记录丢失状态;
若当前帧没有丢失,解码当前语音帧,生成当前帧低带信号和当前帧高带解码信号;
对所述的当前帧低带信号延迟设定时间,生成前帧低带信号,或者,若前帧丢失时,采用低带的丢帧隐藏算法恢复丢失的前帧低带信号;
根据帧丢失信息对所述的当前帧高带解码信号进行处理,生成前帧高带信号;
对所述的前帧低带信号和所述的前帧高带信号进行综合滤波,生成前帧语音信号。
6.如权利要求5所述的方法,其特征在于,所述的设定时间为一帧时间,所述的前帧为当前帧的上一帧。
7.如权利要求6所述的方法,其特征在于,所述的生成上一帧高带信号的过程为:
71)根据帧丢失信息判断当前帧高带解码信号是否收到,如果收到则进入步骤73),否则进入步骤72);
72)恢复当前帧高带解码信号;
73)延迟当前帧高带解码信号的后半窗信号,叠加当前帧高带解码信号的前半窗信号和上一帧高带解码信号的后半窗信号,生成上一帧高带信号。
8.如权利要求7所述的方法,其特征在于,所述的恢复当前帧高带解码信号具体为:复制上一帧的高带解码信号作为当前帧高带解码信号。
9.如权利要求6所述的方法,其特征在于,所述的生成上一帧高带信号的过程为:
91)根据帧丢失信息判断当前帧高带解码信号是否收到,如果收到则进入步骤95),否则进入步骤92);
92)判断上一帧高带解码信号是否收到,如果收到则进入步骤94),否则进入步骤93);
93)恢复上一帧高带信号,进入步骤99);
94)恢复当前帧高带解码信号的前半窗信号,进入步骤98);
95)延迟当前帧高带解码信号的后半窗信号,进入步骤96);
96)判断上一帧高带解码信号是否收到,如果收到则进入步骤98),否则进入步骤97);
97)恢复上一帧高带解码信号的后半窗信号,进入步骤98);
98)叠加当前帧高带解码信号的前半窗信号和上一帧高带解码信号的后半窗信号,产生上一帧高带信号;
99)输出上一帧高带信号。
10.如权利要求6所述的方法,其特征在于,所述的生成上一帧高带信号的过程为:
101)根据帧丢失信息判断上一帧高带解码信号是否收到,如果收到则进入步骤106),否则进入步骤102);
102)判断当前帧高带解码信号是否收到,如果收到则进入步骤104),否则进入步骤103);
103)恢复上一帧高带信号,进入步骤1010);
104)延迟当前帧高带解码信号的后半窗信号,进入步骤105);
105)恢复上一帧高带解码信号的后半窗信号,进入步骤109);
106)判断当前帧高带解码信号是否收到,如果收到则进入步骤108),否则进入步骤107);
107)恢复当前帧高带解码信号的前半窗信号,进入步骤109);
108)延迟当前帧高带解码信号的后半窗信号,进入步骤109);
109)叠加当前帧高带解码信号的前半窗信号和上一帧高带解码信号的后半窗信号,产生上一帧高带信号;
1010)输出上一帧高带信号。
11.如权利要求9或10所述的方法,其特征在于,所述的恢复当前帧高带解码信号的前半窗信号的方法为:
将当前帧高带解码信号的前半窗信号设为零。
12.如权利要求9或10所述的方法,其特征在于,所述的恢复当前帧高带解码信号的前半窗信号的方法为:
复制上一帧高带解码信号的前半窗信号作为当前帧高带解码信号的前半窗信号。
13.如权利要求9或10所述的方法,其特征在于,所述的恢复上一帧高带解码信号的后半窗信号的方法为:
将上一帧高带解码信号的后半窗信号设为零。
14.如权利要求9或10所述的方法,其特征在于,所述的恢复上一帧高带解码信号的后半窗信号的方法为:
复制上一帧的上一帧高带解码信号的后半窗信号作为上一帧高带解码信号的后半窗信号。
15.如权利要求9或10所述的方法,其特征在于,所述的恢复上一帧高带解码信号的后半窗信号的方法为:
复制当前帧高带解码信号的后半窗信号作为上一帧高带解码信号的后半窗信号。
16.如权利要求9或10所述的方法,其特征在于,所述的恢复上一帧高带解码信号的后半窗信号的方法为:
对上一帧的上一帧高带解码信号的后半窗信号乘以第一叠加窗,产生第一信号;
对当前帧高带解码信号的后半窗信号乘以第二叠加窗,产生第二信号;
对所述的第一信号和第二信号进行叠加,生成的信号作为上一帧高带解码信号的后半窗信号。
17.如权利要求9或10所述的方法,其特征在于,所述的恢复上一帧高带信号的方法为:
恢复上一帧高带解码信号的后半窗信号,产生第一信号;
恢复当前帧高带解码信号的前半窗信号,产生第二信号;
对所述的第一信号和第二信号进行叠加,生成的信号作为上一帧高带信号。
18.如权利要求9或10所述的设备,其特征在于,所述的恢复上一帧高带信号的方法为:
复制上一帧的上一帧高带信号作为上一帧的高带信号。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007100749890A CN101325537B (zh) | 2007-06-15 | 2007-06-15 | 一种丢帧隐藏的方法和设备 |
EP08757725A EP2159789A4 (en) | 2007-06-15 | 2008-06-13 | METHOD AND DEVICE FOR MASKING LOST FRAMES |
PCT/CN2008/071314 WO2008154852A1 (en) | 2007-06-15 | 2008-06-13 | A method and device for lost frame concealment |
US12/637,295 US8355911B2 (en) | 2007-06-15 | 2009-12-14 | Method of lost frame concealment and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007100749890A CN101325537B (zh) | 2007-06-15 | 2007-06-15 | 一种丢帧隐藏的方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101325537A CN101325537A (zh) | 2008-12-17 |
CN101325537B true CN101325537B (zh) | 2012-04-04 |
Family
ID=40155909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007100749890A Active CN101325537B (zh) | 2007-06-15 | 2007-06-15 | 一种丢帧隐藏的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8355911B2 (zh) |
EP (1) | EP2159789A4 (zh) |
CN (1) | CN101325537B (zh) |
WO (1) | WO2008154852A1 (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101622950B1 (ko) * | 2009-01-28 | 2016-05-23 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 그 장치 |
CN103229234B (zh) | 2010-11-22 | 2015-07-08 | 株式会社Ntt都科摩 | 音频编码装置、方法以及音频解码装置、方法 |
KR101398189B1 (ko) * | 2012-03-27 | 2014-05-22 | 광주과학기술원 | 음성수신장치 및 음성수신방법 |
CN103886863A (zh) | 2012-12-20 | 2014-06-25 | 杜比实验室特许公司 | 音频处理设备及音频处理方法 |
ES2603266T3 (es) | 2013-02-13 | 2017-02-24 | Telefonaktiebolaget L M Ericsson (Publ) | Ocultación de errores de trama |
KR102148407B1 (ko) * | 2013-02-27 | 2020-08-27 | 한국전자통신연구원 | 소스 필터를 이용한 주파수 스펙트럼 처리 장치 및 방법 |
CA2916150C (en) * | 2013-06-21 | 2019-06-18 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method realizing improved concepts for tcx ltp |
CN104282309A (zh) | 2013-07-05 | 2015-01-14 | 杜比实验室特许公司 | 丢包掩蔽装置和方法以及音频处理系统 |
CN104301064B (zh) | 2013-07-16 | 2018-05-04 | 华为技术有限公司 | 处理丢失帧的方法和解码器 |
KR102329309B1 (ko) | 2013-09-12 | 2021-11-19 | 돌비 인터네셔널 에이비 | Qmf 기반 처리 데이터의 시간 정렬 |
CN107369454B (zh) * | 2014-03-21 | 2020-10-27 | 华为技术有限公司 | 语音频码流的解码方法及装置 |
CN106683681B (zh) * | 2014-06-25 | 2020-09-25 | 华为技术有限公司 | 处理丢失帧的方法和装置 |
FR3024582A1 (fr) * | 2014-07-29 | 2016-02-05 | Orange | Gestion de la perte de trame dans un contexte de transition fd/lpd |
US9602140B1 (en) * | 2014-11-24 | 2017-03-21 | Seagate Technology Llc | Data recovery using frame matching and erasure windowing |
US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
WO2017000117A1 (zh) * | 2015-06-29 | 2017-01-05 | 华为技术有限公司 | 数据处理的方法及接收设备 |
EP3483883A1 (en) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
EP3553777B1 (en) * | 2018-04-09 | 2022-07-20 | Dolby Laboratories Licensing Corporation | Low-complexity packet loss concealment for transcoded audio signals |
JP7422685B2 (ja) | 2018-05-31 | 2024-01-26 | シュアー アクイジッション ホールディングス インコーポレイテッド | 自動ミキシング用のインテリジェント音声起動のためのシステムおよび方法 |
WO2019231632A1 (en) | 2018-06-01 | 2019-12-05 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
WO2020061353A1 (en) | 2018-09-20 | 2020-03-26 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
US11303981B2 (en) | 2019-03-21 | 2022-04-12 | Shure Acquisition Holdings, Inc. | Housings and associated design features for ceiling array microphones |
US11438691B2 (en) | 2019-03-21 | 2022-09-06 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality |
US11445294B2 (en) | 2019-05-23 | 2022-09-13 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system, and method for the same |
TW202105369A (zh) | 2019-05-31 | 2021-02-01 | 美商舒爾獲得控股公司 | 整合語音及雜訊活動偵測之低延時自動混波器 |
US11297426B2 (en) | 2019-08-23 | 2022-04-05 | Shure Acquisition Holdings, Inc. | One-dimensional array microphone with improved directivity |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
WO2021243368A2 (en) | 2020-05-29 | 2021-12-02 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
US11785380B2 (en) | 2021-01-28 | 2023-10-10 | Shure Acquisition Holdings, Inc. | Hybrid audio beamforming system |
CN115512709A (zh) * | 2021-06-07 | 2022-12-23 | 炬芯科技股份有限公司 | 一种音频数据的处理方法、对应装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1445941A (zh) * | 2000-09-30 | 2003-10-01 | 华为技术有限公司 | 一种在网络上传输ip语音包的丢包恢复方法 |
EP1684267A2 (en) * | 2005-01-20 | 2006-07-26 | STMicroelectronics Asia Pacific Pte Ltd. | Method and system for lost packet concealment in audio streaming transmission |
WO2007051124A1 (en) * | 2005-10-26 | 2007-05-03 | Qualcomm Incorporated | Encoder-assisted frame loss concealment techniques for audio coding |
KR20070055943A (ko) * | 2005-11-28 | 2007-05-31 | 한국전자통신연구원 | 음성의 특징을 이용한 패킷 손실 은닉 방법 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5615298A (en) * | 1994-03-14 | 1997-03-25 | Lucent Technologies Inc. | Excitation signal synthesis during frame erasure or packet loss |
US5907822A (en) * | 1997-04-04 | 1999-05-25 | Lincom Corporation | Loss tolerant speech decoder for telecommunications |
US6952668B1 (en) * | 1999-04-19 | 2005-10-04 | At&T Corp. | Method and apparatus for performing packet loss or frame erasure concealment |
WO2002058052A1 (en) * | 2001-01-19 | 2002-07-25 | Koninklijke Philips Electronics N.V. | Wideband signal transmission system |
US7711563B2 (en) * | 2001-08-17 | 2010-05-04 | Broadcom Corporation | Method and system for frame erasure concealment for predictive speech coding based on extrapolation of speech waveform |
JP2004361731A (ja) * | 2003-06-05 | 2004-12-24 | Nec Corp | オーディオ復号装置及びオーディオ復号方法 |
US7324937B2 (en) * | 2003-10-24 | 2008-01-29 | Broadcom Corporation | Method for packet loss and/or frame erasure concealment in a voice communication system |
JP4744438B2 (ja) * | 2004-03-05 | 2011-08-10 | パナソニック株式会社 | エラー隠蔽装置およびエラー隠蔽方法 |
FI119533B (fi) * | 2004-04-15 | 2008-12-15 | Nokia Corp | Audiosignaalien koodaus |
US7359409B2 (en) * | 2005-02-02 | 2008-04-15 | Texas Instruments Incorporated | Packet loss concealment for voice over packet networks |
US7627467B2 (en) * | 2005-03-01 | 2009-12-01 | Microsoft Corporation | Packet loss concealment for overlapped transform codecs |
US7930176B2 (en) * | 2005-05-20 | 2011-04-19 | Broadcom Corporation | Packet loss concealment for block-independent speech codecs |
US7707034B2 (en) * | 2005-05-31 | 2010-04-27 | Microsoft Corporation | Audio codec post-filter |
US8255207B2 (en) * | 2005-12-28 | 2012-08-28 | Voiceage Corporation | Method and device for efficient frame erasure concealment in speech codecs |
US8135047B2 (en) * | 2006-07-31 | 2012-03-13 | Qualcomm Incorporated | Systems and methods for including an identifier with a packet associated with a speech signal |
WO2008022181A2 (en) * | 2006-08-15 | 2008-02-21 | Broadcom Corporation | Updating of decoder states after packet loss concealment |
-
2007
- 2007-06-15 CN CN2007100749890A patent/CN101325537B/zh active Active
-
2008
- 2008-06-13 EP EP08757725A patent/EP2159789A4/en not_active Ceased
- 2008-06-13 WO PCT/CN2008/071314 patent/WO2008154852A1/zh active Application Filing
-
2009
- 2009-12-14 US US12/637,295 patent/US8355911B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1445941A (zh) * | 2000-09-30 | 2003-10-01 | 华为技术有限公司 | 一种在网络上传输ip语音包的丢包恢复方法 |
EP1684267A2 (en) * | 2005-01-20 | 2006-07-26 | STMicroelectronics Asia Pacific Pte Ltd. | Method and system for lost packet concealment in audio streaming transmission |
WO2007051124A1 (en) * | 2005-10-26 | 2007-05-03 | Qualcomm Incorporated | Encoder-assisted frame loss concealment techniques for audio coding |
KR20070055943A (ko) * | 2005-11-28 | 2007-05-31 | 한국전자통신연구원 | 음성의 특징을 이용한 패킷 손실 은닉 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP2159789A1 (en) | 2010-03-03 |
US20100094642A1 (en) | 2010-04-15 |
CN101325537A (zh) | 2008-12-17 |
EP2159789A4 (en) | 2010-06-16 |
WO2008154852A1 (en) | 2008-12-24 |
US8355911B2 (en) | 2013-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101325537B (zh) | 一种丢帧隐藏的方法和设备 | |
CN100550712C (zh) | 一种信号处理方法和处理装置 | |
CN101067931B (zh) | 一种高效可配置的频域参数立体声及多声道编解码方法与系统 | |
KR101237546B1 (ko) | 통신 시스템에서 프레임들을 연결하는 방법 | |
KR101513184B1 (ko) | 계층적 디코딩 구조에서의 디지털 오디오 신호의 송신 에러에 대한 은닉 | |
CN101336451B (zh) | 音频信号编码的方法和装置 | |
CN101437009B (zh) | 丢包隐藏的方法及其系统 | |
CN101939782B (zh) | 噪声填充与带宽扩展之间的自适应过渡频率 | |
CN102682777B (zh) | 一种衰减因子的获取方法和获取装置 | |
CN101261833B (zh) | 一种使用正弦模型进行音频错误隐藏处理的方法 | |
MX2015004018A (es) | Codificador, decodificador y metodos para la adaptacion dinamica inversa compatible de la resolucion en tiempo/frecuencia en la codificacion espacial de objetos de audio. | |
CN104347076A (zh) | 网络音频丢包掩蔽方法和装置 | |
CN101588341A (zh) | 一种丢帧隐藏的方法及装置 | |
CN103559884A (zh) | 多声道信号的编码/解码装置及方法 | |
EP3855431A1 (en) | Encoding of multiple audio signals | |
CN101616059B (zh) | 一种丢包隐藏的方法和装置 | |
CN104718570A (zh) | 帧丢失恢复方法,和音频解码方法以及使用其的设备 | |
GB2508811A (en) | Packet loss concealment in decoded signals | |
CN1132327C (zh) | 产生舒适噪声的设备和包括其部件的语音编解码器 | |
CN101981616A (zh) | 立体声信号变换装置、立体声信号逆变换装置及其方法 | |
CN101185117A (zh) | 解码音频信号的方法和装置 | |
AU714555B2 (en) | Coding/decoding a sampled speech signal | |
EP3899929A1 (en) | Method and apparatus for controlling multichannel audio frame loss concealment | |
Rashidi et al. | A harmonic approach to data transmission over GSM voice channel | |
EP3928312A1 (en) | Methods for phase ecu f0 interpolation split and related controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |