CN103065636A - 语音频信号的丢帧补偿方法和装置 - Google Patents

语音频信号的丢帧补偿方法和装置 Download PDF

Info

Publication number
CN103065636A
CN103065636A CN201110325869XA CN201110325869A CN103065636A CN 103065636 A CN103065636 A CN 103065636A CN 201110325869X A CN201110325869X A CN 201110325869XA CN 201110325869 A CN201110325869 A CN 201110325869A CN 103065636 A CN103065636 A CN 103065636A
Authority
CN
China
Prior art keywords
lost frames
frame
pitch period
time
domain signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110325869XA
Other languages
English (en)
Other versions
CN103065636B (zh
Inventor
关旭
袁浩
彭科
黎家力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201110325869.XA priority Critical patent/CN103065636B/zh
Priority claimed from CN201110325869.XA external-priority patent/CN103065636B/zh
Priority to US14/353,695 priority patent/US9330672B2/en
Priority to EP12844200.1A priority patent/EP2772910B1/en
Priority to PCT/CN2012/082456 priority patent/WO2013060223A1/zh
Priority to EP19169974.3A priority patent/EP3537436B1/en
Publication of CN103065636A publication Critical patent/CN103065636A/zh
Application granted granted Critical
Publication of CN103065636B publication Critical patent/CN103065636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种语音频信号的丢帧补偿方法和装置，以获得更好的补偿效果，同时保证无延时和低复杂度。所述方法包括：当正确接收帧后紧随的第一帧丢失时，判断该第一丢失帧的帧类型，当第一丢失帧为非多谐波帧时，使用第一丢失帧的前一个或若干个帧的MDCT系数计算得到该第一丢失帧的MDCT系数；根据第一丢失帧的MDCT系数得到第一丢失帧的初始补偿信号；对第一丢失帧的初始补偿信号进行第一类波形调整，将调整后得到的时域信号作为该第一丢失帧的时域信号。所述装置包括帧类型判断模块、MDCT系数获取模块、初始补偿信号获取模块和调整模块。相对于现有技术，本发明具有无延迟、计算量存储量小、易于实现，补偿效果好等优点。

Description

语音频信号的丢帧补偿方法和装置
技术领域
本发明涉及语音频编解码领域，具体涉及一种MDCT(Modified DiscreteCosine Transform，改进的离散余弦变换)域语音频信号的丢帧补偿方法和装置。
背景技术
在网络通信中，分组技术应用十分广泛，各种形式的信息如语音或者音频等数据通过编码后采用分组技术在网络上传输，如VoIP(网络电话)等。由于信息发送端发送容量的限制，或在指定延迟时间内分组信息帧没有到达接收端缓冲区，或是网络拥挤堵塞等造成帧信息的丢失，引起解码端合成音质的急剧下降，因此需要采用补偿技术对丢失帧的数据进行补偿。丢帧补偿技术就是一种减轻这种由于丢帧导致的音质下降的技术。
现有的变换域语音频丢帧补偿方法最为简单的是采用重复前一帧的变换域信号或者使用静音替代的方法。该方法虽然实现简单且没有延迟，但是补偿效果一般；其他的补偿方式如GAPES(缺口数据幅值相位估计技术)需要先将MDCT系数转化成DSTFT(离散短时傅里叶变换)系数再进行补偿，该方法运算复杂度高，消耗内存多；另一种方法采用整形噪声插入技术进行语音频丢帧补偿，该方法对类噪声信号的补偿效果较好，对多谐波音频信号的补偿效果甚差。
综上所述，已公开的变换域丢帧补偿技术多数效果不明显，运算复杂度高和延迟时间过长，或是对某些信号补偿效果较差。
发明内容
本发明要解决的技术问题是提供一种语音频信号的丢帧补偿方法和装置，以获得更好的补偿效果，同时保证无延时和低复杂度。
为了解决上述问题，本发明提供了一种语音频信号的丢帧补偿方法，包括：
当正确接收帧后紧随的第一帧丢失时，判断该第一丢失帧的帧类型，当第一丢失帧为非多谐波帧时，使用第一丢失帧的前一个或若干个帧的MDCT系数计算得到该第一丢失帧的MDCT系数；
根据第一丢失帧的MDCT系数得到第一丢失帧的初始补偿信号；
对第一丢失帧的初始补偿信号进行第一类波形调整，将调整后得到的时域信号作为该第一丢失帧的时域信号。
优选地，所述判断第一丢失帧的帧类型，包括：根据码流中由编码端设置的帧类型标识位判断该第一丢失帧的帧类型。
优选地，所述编码端采用以下方式设置帧类型标识位，包括：对编码后有剩余比特的帧，计算该帧的谱平坦度，判断谱平坦度的值是否小于第一阈值K，如果小于K则认为该帧为多谐波信号帧，设置帧类型标识位为多谐波类型，如果不小于K则认为该帧为非多谐波信号帧，设置帧类型标识位为非多谐波类型，将该帧类型标识位放入码流发送到解码端；对编码后无剩余比特的帧，不设置帧类型标识位。
优选地，所述根据码流中由编码端设置的帧类型标识位判断该第一丢失帧的帧类型，包括：获取该第一丢失帧的前n帧中每一帧的帧类型标识，如果前n帧中多谐波信号帧的数目大于第二阈值n0，0≤n0≤n，n≥1，则认为该第一丢失帧为多谐波帧，设置帧类型标识为多谐波类型；如果不大于第二阈值，则认为该第一丢失帧为非多谐波帧，设置帧类型标识为非多谐波类型。
优选地，所述第一丢失帧的前n帧中每一帧的帧类型标识采用以下方式设置：
对于未丢失帧，判断解码后码流中是否有剩余比特，如果有剩余比特，则从码流中读取帧类型标识位中的帧类型标识作为该帧的帧类型标识，如果没有剩余比特，则复制前一帧的帧类型标识位中的帧类型标识作为该帧的帧类型标识；
对于丢失帧，获取当前丢失帧的前n帧中每一帧的帧类型标识，如果前n帧中多谐波信号帧的数目大于第二阈值n0，0≤n0≤n，n≥1，则认为当前丢失帧为多谐波帧，设置帧类型标识为多谐波类型；如果不大于第二阈值，则认为当前丢失帧为非多谐波帧，设置帧类型标识为非多谐波类型。
优选地，所述对第一丢失帧的初始补偿信号进行第一类波形调整，包括：对第一丢失帧进行基音周期估计，以及短基音检测，对有可用基音周期且不存在短基音周期的第一丢失帧的初始补偿信号进行波形调整：以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形对第一丢失帧前一帧时域信号进行有交叠的周期性延拓，得到大于一帧长度的时域信号，延拓时从前一帧时域信号的最后一个基音周期的波形逐渐向第一丢失帧初始补偿信号的第一个基音周期的波形收敛，将延拓得到的大于一帧长度的时域信号中前一帧长度的时域信号作为补偿得到的第一丢失帧的时域信号，超出一帧长度的部分用于与下一帧时域信号的平滑。
优选地，所述对第一丢失帧进行基音周期估计，包括：使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，得到前一帧时域信号的基音周期和最大归一化自相关系数，将得到的基音周期作为该第一丢失帧的基音周期估计值；采用以下条件判断该第一丢失帧的基音周期估计值是否可用：满足以下条件中任意一个则认为该第一丢失帧的基音周期估计值不可用：
第一丢失帧的初始补偿信号的过零率大于第三阈值Z1，其中Z1＞0；
第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第四阈值R1或者第一丢失帧的前一帧时域信号第一个基音周期内的最大幅值大于最后一个基音周期内的最大幅值的λ倍，其中0＜R1＜1，λ≥1
第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第五阈值R2并且第一丢失帧的前一帧时域信号的过零率大于第六阈值Z2，其中0＜R2＜1，Z2＞0。
优选地，所述对第一丢失帧进行短基音检测，包括：检测第一丢失帧的前一帧是否存在短基音周期，如果存在，则认为该第一丢失帧也存在短基音周期，如果存在，则认为该第一丢失帧也不存在短基音周期；其中，所述检测第一丢失帧的前一帧是否存在短基音周期，包括：检测第一丢失帧前一帧是否存在T′min到T′max之间的基音周期，所述T′min和T′max满足条件：T′min＜T′max≤基音搜索时的基音周期下限Tmin，检测时使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，当最大归一化自相关系数超过第七阈值R3时则认为存在短基音周期，其中0＜R3＜1。
优选地，在对有可用基音周期且不存在短基音周期的第一丢失帧的初始补偿信号进行波形调整之前，所述方法还包括：如果第一丢失帧的前一帧时域信号不为正确解码得到的时域信号，则对基音周期估计得到的基音周期估计值进行调整。
优选地，所述对基音周期估计值进行调整，包括：分别搜索得到第一丢失帧的初始补偿信号在时间区间[0，T-1]和[T，2T-1]内的最大幅值位置i1和i2，其中T为估计得到的基音周期估计值，如果满足以下条件：q1T＜i2-i1＜q2T并且i2-i1小于帧长的一半，其中0≤q1≤1≤q2，则修改基音周期估计值为i2-i1，如果不满足上述条件，则不对基音周期估计值作修改。
优选地，所述以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形进行有交叠的周期性延拓，包括：对第一丢失帧前一帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的后方做周期性的复制，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生交叠区，对交叠区中的信号进行加窗相加处理。
优选地，在对第一丢失帧进行基音周期估计的过程中，在使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索之前，所述方法还包括：先对第一丢失帧的初始补偿信号和第一丢失帧的前一帧时域信号做低通滤波或降采样处理，使用低通滤波或降采样后的初始补偿信号和第一丢失帧的前一帧时域信号代替原有的初始补偿信号和第一丢失帧的前一帧时域信号进行所述基音周期估计。
优选地，所述方法还包括：对于第一丢失帧之后紧随的第二个丢失帧，判断该第二丢失帧的帧类型，当第二丢失帧为非多谐波帧时，使用第二丢失帧的前一个或若干个帧的MDCT系数计算得到该第二丢失帧的MDCT系数；根据第二丢失帧的MDCT系数得到第二丢失帧的初始补偿信号；对该第二丢失帧的初始补偿信号进行第二类波形调整，将调整后的时域信号作为所述第二丢失帧的时域信号。
优选地，所述对第二丢失帧的初始补偿信号进行第二类波形调整，包括：将补偿第一丢失帧时得到的时域信号超出一帧长度的部分M1与第二丢失帧的初始补偿信号交叠相加得到第二丢失帧的时域信号，其中交叠区长度为M1，在交叠区内，补偿第一丢失帧时得到的时域信号超出一帧长度的部分采用下降窗，第二丢失帧的初始补偿信号的前M1点的数据采用与下降窗等长的上升窗，将加窗后相加得到的数据作为第二丢失帧时域信号的前M1个样点的数据，其余各样点数据使用交叠区以外的第二丢失帧初始补偿信号的样点数据补充。
优选地，所述方法还包括：对于第二丢失帧之后紧随的第三个丢失帧及第三个丢失帧以后的丢失帧，判断该丢失帧的帧类型，当该丢失帧为非多谐波帧时，使用该丢失帧的前一个或若干个帧的MDCT系数计算得到该丢失帧的MDCT系数；根据该丢失帧的MDCT系数得到该丢失帧的初始补偿信号；将该丢失帧的初始补偿信号作为该丢失帧的时域信号。
优选地，所述方法包括：当正确接收帧后紧随的第一帧丢失，且该第一丢失帧为非多谐波帧，对第一丢失帧之后紧随的正确接收帧进行以下的处理：
解码得到该正确接收帧的时域信号；对补偿第一丢失帧时使用的基音周期估计值做调整；以及，以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号；对补偿第一丢失帧时得到的时域信号超出一帧长度的部分与延拓得到的时域信号交叠相加，将得到的信号作为该正确接收帧的时域信号。
优选地，所述对补偿第一丢失帧时使用的基音周期估计值做调整，包括：分别搜索得到该正确接收帧时域信号在时间区间[L-2T-1，L-T-1]和[L-T，L-1]内的最大幅值位置i3和i4，其中T为补偿第一丢失帧时使用的基音周期估计值，L为帧长，如果满足以下条件：q1T＜i4-i3＜q2T并且i4-i3小于L/2，其中0≤q1≤1≤q2，则修改基音周期估计值为i4-i3，如果不满足上述条件，则不对基音周期估计值作修改。
优选地，所述以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号，包括：对该正确接收帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的前方做周期性的复制，直至得到一帧长的时域信号，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生信号交叠区，在交叠区中的信号进行加窗相加处理。
为了解决上述问题，本发明还提供了一种语音频信号的丢帧补偿方法，包括：
当正确接收帧后紧随的第一帧丢失，且该第一丢失帧为非多谐波帧，对第一丢失帧之后紧随的正确接收帧进行以下的处理：
解码得到该正确接收帧的时域信号；对补偿第一丢失帧时使用的基音周期估计值做调整；以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号；对补偿第一丢失帧时得到的时域信号超出一帧长度的部分与延拓得到的时域信号交叠相加，将得到的信号作为该正确接收帧的时域信号。
优选地，所述对补偿第一丢失帧时使用的基音周期估计值做调整，包括：分别搜索得到该正确接收帧时域信号在时间区间[L-2T-1，L-T-1]和[L-T，L-1]内的最大幅值位置i3和i4，其中T为补偿第一丢失帧时使用的基音周期估计值，L为帧长，如果满足以下条件：q1T＜i4-i3＜q2T并且i4-i3小于L/2，其中0≤q1≤1≤q2，则修改基音周期估计值为i4-i3，如果不满足上述条件，则不对基音周期估计值作修改。
优选地，所述以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号，包括：对该正确接收帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的前方做周期性的复制，直至得到一帧长的时域信号，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生信号交叠区，在交叠区中的信号进行加窗相加处理。
为了解决上述问题，本发明还提供了一种语音频信号的丢帧补偿装置，所述装置包括帧类型判断模块、MDCT系数获取模块、初始补偿信号获取模块和调整模块，其中：
所述帧类型判断模块，用于在正确接收帧后紧随的第一帧丢失时，判断该第一丢失帧的帧类型；
所述MDCT系数获取模块，用于在所述判断模块判断第一丢失帧为非多谐波帧时，使用第一丢失帧的前一个或若干个帧的MDCT系数计算得到该第一丢失帧的MDCT系数；
所述初始补偿信号获取模块，用于根据第一丢失帧的MDCT系数得到第一丢失帧的初始补偿信号；
所述调整模块，用于对第一丢失帧的初始补偿信号进行第一类波形调整，将调整后得到的时域信号作为该第一丢失帧的时域信号。
优选地，所述帧类型判断模块是用于采用以下方式判断第一丢失帧的帧类型：根据码流中由编码装置设置的帧类型标识位判断该第一丢失帧的帧类型。
优选地，所述帧类型判断模块是用于采用以下方式根据码流中由编码端设置的帧类型标识位判断该第一丢失帧的帧类型：所述帧类型判断模块获取该第一丢失帧的前n帧中每一帧的帧类型标识，如果前n帧中多谐波信号帧的数目大于第二阈值n0，0≤n0≤n，n≥1，则认为该第一丢失帧为多谐波帧，设置帧类型标识为多谐波类型；如果不大于第二阈值，则认为该第一丢失帧为非多谐波帧，设置帧类型标识为非多谐波类型。
优选地，所述调整模块包括第一类波形调整单元，其中包括基音周期估计单元、短基音检测单元、波形延拓单元，其中：
所述基音周期估计单元，用于对第一丢失帧进行基音周期估计；
所述短基音检测单元，用于对第一丢失帧进行短基音检测；
所述波形延拓单元，用于对有可用基音周期且不存在短基音周期的第一丢失帧的初始补偿信号进行波形调整：以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形对第一丢失帧前一帧时域信号进行有交叠的周期性延拓，得到大于一帧长度的时域信号，延拓时，从前一帧时域信号的最后一个基音周期的波形逐渐向第一丢失帧初始补偿信号的第一个基音周期的波形收敛，将延拓得到的大于一帧长度的时域信号中前一帧长度的时域信号作为补偿得到的第一丢失帧的时域信号，超出一帧长度的部分用于与下一帧时域信号的平滑。
优选地，所述基音周期估计单元是用于采用以下方式对第一丢失帧进行基音周期估计：所述基音周期估计单元使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，得到前一帧时域信号的基音周期和最大归一化自相关系数，将得到的基音周期作为该第一丢失帧的基音周期估计值；所述基音周期估计单元采用以下条件判断该第一丢失帧的基音周期估计值是否可用：满足以下条件中任意一个则认为该第一丢失帧的基音周期估计值不可用：
第一丢失帧的初始补偿信号的过零率大于第三阈值Z1，其中Z1＞0；
第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第四阈值R1或者第一丢失帧的前一帧时域信号第一个基音周期内的最大幅值大于最后一个基音周期内的最大幅值的λ倍，其中0＜R1＜1，λ≥1；
第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第五阈值R2并且第一丢失帧的前一帧时域信号的过零率大于第六阈值Z2，其中0＜R2＜1，Z2＞0。
优选地，所述短基音检测单元是用于采用以下方式对第一丢失帧进行短基音检测：所述短基音检测单元检测第一丢失帧的前一帧是否存在短基音周期，如果存在，则认为该第一丢失帧也存在短基音周期，如果不存在，则认为该第一丢失帧也不存在短基音周期；其中，所述短基音检测单元采用以下方式检测第一丢失帧的前一帧是否存在短基音周期：检测第一丢失帧前一帧是否存在T′min到T′max之间的基音周期，所述T′min和T′max满足条件：T′min＜T′max≤基音搜索时的基音周期下限Tmin，检测时使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，当最大归一化自相关系数超过第七阈值R3时则认为存在短基音周期，其中0＜R3＜1。
优选地，所述第一类波形调整单元还包括基音周期调整单元，其用于判断第一丢失帧的前一帧时域信号不为正确解码得到的时域信号时，对所述基音周期估计单元估计得到的基音周期估计值进行调整，将调整后的基音周期估计值送至所述波形延拓单元。
优选地，所述基音周期调整单元是用于采用以下方式对基音周期估计值进行调整：所述基音周期调整单元分别搜索得到第一丢失帧的初始补偿信号在时间区间[0，T-1]和[T，2T-1]内的最大幅值位置i1和i2，其中T为估计得到的基音周期估计值，如果满足以下条件：q1T＜i2-i1＜q2T并且i2-i1小于帧长的一半，其中0≤q1≤1≤q2，则修改基音周期估计值为i2-i1，如果不满足上述条件，则不对基音周期估计值作修改。
优选地，所述波形延拓单元是用于采用以下方式以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形进行有交叠的周期性延拓：对第一丢失帧前一帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的后方做周期性的复制，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生交叠区，对交叠区中的信号进行加窗相加处理。
优选地，所述基音周期估计单元还用于在使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索之前，先对第一丢失帧的初始补偿信号和第一丢失帧的前一帧时域信号做低通滤波或降采样处理，使用低通滤波或降采样后的初始补偿信号和第一丢失帧的前一帧时域信号代替原有的初始补偿信号和第一丢失帧的前一帧时域信号进行所述基音周期估计。
优选地，所述帧类型判断模块，还用于在第一丢失帧之后紧随的第二个丢失帧丢失时，判断该第二丢失帧的帧类型；
所述MDCT系数获取模块，还用于在所述帧类型判断模块判断该第二丢失帧为非多谐波帧时，使用第二丢失帧的前一个或若干个帧的MDCT系数计算得到该第二丢失帧的MDCT系数；
所述初始补偿信号获取模块，还用于根据第二丢失帧的MDCT系数得到第二丢失帧的初始补偿信号；
所述调整模块，还用于对该第二丢失帧的初始补偿信号进行第二类波形调整，将调整后的时域信号作为所述第二丢失帧的时域信号。
优选地，所述调整模块还包括第二类波形调整单元，其用于采用以下方式对第二丢失帧的初始补偿信号进行第二类波形调整：将补偿第一丢失帧时得到的时域信号超出一帧长度的部分M1与第二丢失帧的初始补偿信号交叠相加得到第二丢失帧的时域信号，其中交叠区长度为M1，在交叠区内，补偿第一丢失帧时得到的时域信号超出一帧长度的部分采用下降窗，第二丢失帧的初始补偿信号的前M1点的数据采用与下降窗等长的上升窗，将加窗后相加得到的数据作为第二丢失帧时域信号的前M1个样点的数据，其余各样点数据使用交叠区以外的第二丢失帧初始补偿信号的样点数据补充。
优选地，所述帧类型判断模块，还用于在第二丢失帧之后紧随的第三个丢失帧及第三个丢失帧以后的帧丢失时，判断该丢失帧的帧类型；
所述MDCT系数获取模块，还用于在所述帧类型判断模块判断当前丢失帧为非多谐波帧时，使用该当前丢失帧的前一个或若干个帧的MDCT系数计算得到该当前丢失帧的MDCT系数；
所述初始补偿信号获取模块，还用于根据该当前丢失帧的MDCT系数得到该当前丢失帧的初始补偿信号；
所述调整模块，还用于将该当前丢失帧的初始补偿信号作为该丢失帧的时域信号。
优选地，所述装置还包括正常帧补偿模块，其用于在正确接收帧后紧随的第一帧丢失，且该第一丢失帧为非多谐波帧，对第一丢失帧之后紧随的正确接收帧进行处理，包括解码单元、时域信号调整单元，其中：
所述解码单元，用于解码得到该正确接收帧的时域信号；
所述时域信号调整单元，用于对补偿第一丢失帧时使用的基音周期估计值做调整；以及，以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号；以及，对补偿第一丢失帧时得到的时域信号超出一帧长度的部分与延拓得到的时域信号交叠相加，将得到的信号作为该正确接收帧的时域信号。
优选地，所述时域信号调整单元是用于采用以下方式对补偿第一丢失帧时使用的基音周期估计值做调整：分别搜索得到该正确接收帧时域信号在时间区间[L-2T-1，L-T-1]和[L-T，L-1]内的最大幅值位置i3和i4，其中T为补偿第一丢失帧时使用的基音周期估计值，L为帧长，如果满足以下条件：q1T＜i4-i3＜q2T并且i4-i3小于L/2，其中0≤q1≤1≤q2，则修改基音周期估计值为i4-i3，如果不满足上述条件，则不对基音周期估计值作修改。
优选地，所述时域信号调整单元是用于采用以下方式以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号：以该正确接收帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的前方做周期性的复制，直至得到一帧长的时域信号，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生信号交叠区，在交叠区中的信号进行加窗相加处理。
本发明提出的语音频信号的丢帧补偿方法和装置，首先判断丢失帧类型，然后对于多谐波信号丢失帧，将MDCT域信号转换成MDCT-MDST域信号后采用相位外推，幅值复制的技术进行补偿；对于非多谐波信号丢失帧，首先进行初始补偿得到初始补偿信号，再对初始补偿信号进行波形调整得到当前丢失帧的时域信号。该补偿方法不仅保证了音乐等多谐波信号的补偿质量，还大大提高了语音等非多谐波信号的补偿质量。相对于现有技术，本发明具有无延迟、计算量存储量小、易于实现，补偿效果好等优点。
附图说明
图1是本发明实施例1的流程图；
图2是本发明实施例1帧类型判断流程图；
图3是本发明实施例1第一类波形调整的方法流程图；
图4a-d是本发明实施例1交叠的周期性延拓的示意图；
图5是本发明实施例1多谐波丢帧补偿方法流程图；
图6是本发明实施例2流程图；
图7是本发明实施例3流程图；
图8是本发明实施例4丢帧补偿装置的结构示意图；
图9是本发明实施例4丢帧补偿装置中第一类调整单元的结构示意图；
图10是本发明实施例4丢帧补偿装置中正常帧补偿模块结构示意图。
具体实施方式
首先，由编码端对原始信号帧做类型判断，将判断结果传输给解码端时不额外占用编码比特(即使用编码后的剩余比特传输判断结果，无剩余比特时不传输判断结果)，在解码端获取当前丢失帧的前n帧的类型判断结果后推断当前丢失帧的类型，根据丢失帧为多谐波信号帧或非多谐波信号帧，分别采用多谐波丢帧补偿方法或非多谐波丢帧补偿方法对其进行补偿。对于多谐波丢失帧，将MDCT域信号转换成MDCT-MDST(改进的离散余弦变换-改进的离散正弦变换)域信号后采用相位外推，幅值复制的技术进行补偿；对非多谐波丢失帧进行补偿时首先使用当前丢失帧的前若干帧的MDCT系数计算得到当前丢失帧的MDCT系数值(比如，采用衰减后的前一帧的MDCT系数值作为当前丢失帧的MDCT系数值)，然后根据当前丢失帧的MDCT系数得到当前丢失帧的初始补偿信号，再对初始补偿信号进行波形调整得到当前丢失帧的时域信号。采用该非多谐波补偿方法，提高了对语音帧等非多谐波帧的补偿质量。
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
实施例1
本实施例描述紧随正确接收帧的第一帧丢失时的补偿方法，如图1所示，包括以下步骤：
步骤101：判断第一丢失帧类型，当第一丢失帧为非多谐波帧时执行步骤102，否则执行步骤104；
步骤102：当第一丢失帧为非多谐波帧时，使用第一丢失帧的前一个或若干个帧的MDCT系数计算得到该第一丢失帧的MDCT系数，根据第一丢失帧的MDCT系数得到第一丢失帧的时域信号，将该时域信号作为第一丢失帧的初始补偿信号；
计算第一丢失帧的MDCT系数值可以采用以下方法：比如，可以使用前若干帧MDCT系数的加权平均并做适当衰减后的值作为该第一丢失帧的MDCT系数；或者，也可以复制上一帧的MDCT系数并做适当衰减后的值作为第一丢失帧的MDCT系数。
根据MDCT系数得到时域信号的方法可采用现有技术实现，本文不再赘述。
具体MDCT系数的衰减方式为：
当前丢失帧为第p帧时，
cp(m)＝α*cp-1(m)，m＝0，...，M-1；
其中cp(m)表示第p帧在频点m处的MDCT系数，α为衰减系数，0≤α≤1。
步骤103：对第一丢失帧的初始补偿信号进行第一类波形调整，将调整后的时域信号作为第一丢失帧的时域信号，结束；
步骤104：当第一丢失帧为多谐波帧时使用多谐波帧丢帧补偿方法补偿该帧，结束。
下面结合图2，图3，图4和图5分别对步骤101，步骤103和步骤104进行具体说明。
如图2所示，步骤101a-101c由编码端设备完成，步骤101d由解码端设备完成。判断丢失帧类型的具体方法包括：
101a：在编码端，对每一帧正常编码后判断该帧有无剩余比特，即判断该帧编码后是否使用完一帧的所有可用比特，如果有剩余比特则执行步骤101b；否则执行步骤101c1；
101b：计算该帧的谱平坦度，判断谱平坦度的值是否小于第一阈值K，如果小于K则认为该帧为多谐波信号帧，设置帧类型标识位为多谐波类型(例如为1)；如果不小于K，则认为该帧为非多谐波信号帧，设置帧类型标识位为非多谐波类型(例如为0)，其中0≤K≤1，执行步骤101c2；
具体谱平坦度的计算方法如下：
任意第i帧的谱平坦度SFMi定义为第i帧信号的变换域下信号幅值的几何平均值与算术平均值之比：
SFM i = G i A i
其中
Figure BDA0000101633930000142
为第i帧信号幅值的几何平均，
Figure BDA0000101633930000143
为第i帧信号幅值的算术平均，ci(m)为第i帧在频率点m的MDCT系数，M为MDCT域信号频点个数。
优选地，可以使用MDCT域全部频点中的一部分计算谱平坦度。
101c1：将编码码流发送至解码端；
101c2：如果该帧编码后有剩余比特，将101b中设置的标识位连同编码码流一起发送到解码端；
101d：在解码端，对于每个未丢失帧，判断解码后码流中是否有剩余比特，如果有剩余比特，从码流中读取该帧类型标识位中的帧类型标识作为该帧的帧类型标识并放入缓存中，否则复制前一帧的帧类型标识位中的帧类型标识作为该帧的帧类型标识并放入缓存中；对于每个丢失帧，获取缓存中当前丢失帧的前n帧中的每一帧的帧类型标识，如果前n帧中多谐波信号帧的数目大于第二阈值n0(0≤n0≤n)，则认为当前丢失帧为多谐波帧，设置帧类型标识位为多谐波类型(例如为1)并将其放入缓存；否则认为当前丢失帧为非多谐波帧，设置帧类型标识位为非多谐波类型(例如为0)并将其放入缓存，其中n≥1。
本发明不限于使用谱平坦度这个特征量来判断帧类型，也可以使用其他特征量进行判断，比如使用过零率或几种特征量相结合的方式进行判断，本发明对此不作限定。
图3针对步骤103具体描述对第一丢失帧的初始补偿信号进行第一类波形调整的方法，该方法包括：
103a：对第一丢失帧进行基音周期估计，具体基音周期估计的方法如下：
首先，使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，得到前一帧时域信号的基音周期和最大归一化自相关系数，将得到的基音周期作为该第一丢失帧的基音周期估计值；
即寻找t∈[Tmin，Tmax]，0＜Tmin＜Tmax＜M使得
Figure BDA0000101633930000151
达到最大值，该最大值即为最大归一化自相关系数，此时的t即为基音周期，其中Tmin，Tmax分别为基音搜索的下限和上限，M为帧长，s(i)，i＝1，...，M为待基音搜索的时域信号；
虽然估计出该第一丢失帧的基音周期估计值，但该估计值未必可用，采用以下条件判断该第一丢失帧的基音周期估计值是否可用：
满足下面三个条件中的任意一个则认为该第一丢失帧的基音周期估计值不可用：
●第一丢失帧的初始补偿信号的过零率大于第三阈值Z1，其中Z1＞0；
●第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第四阈值R1或者第一丢失帧的前一帧时域信号第一个基音周期内的最大幅值大于最后一个基音周期内的最大幅值的λ倍，其中0＜R1＜1，λ≥1；
●第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第五阈值R2并且第一丢失帧的前一帧时域信号的过零率大于第六阈值Z2，其中0＜R2＜1，Z2＞0；
特别地，在进行基音周期估计的过程中，在对第一丢失帧的前一帧时域信号进行基音搜索之前，还可以先进行以下处理：先对第一丢失帧的前一帧时域信号和第一丢失帧的初始补偿信号做低通滤波或降采样处理，然后使用低通滤波或降采样后的第一丢失帧的前一帧时域信号和第一丢失帧的初始补偿信号代替原有的第一丢失帧的前一帧时域信号和初始补偿信号进行所述基音周期估计。低通滤波或降采样处理可以减小信号高频分量对基音搜索的影响或降低基音搜索的复杂度。
103b：如果第一丢失帧的基音周期不可用则不对该帧的初始补偿信号进行波形调整，结束；否则执行103c；
103c：对第一丢失帧进行短基音检测，若存在短基音周期则不对该丢失帧初始补偿信号进行波形调整，结束；否则执行103d；
对第一丢失帧进行短基音检测，包括：检测第一丢失帧的前一帧是否存在短基音周期，如果存在，则认为该第一丢失帧也存在短基音周期，如果不存在，则认为该第一丢失帧也不存在短基音周期，即将该第一丢失帧前一帧的短基音周期检测结果作为该第一丢失帧的短基音周期检测结果。
采用以下方法检测第一丢失帧的前一帧是否存在短基音周期：
检测第一丢失帧的前一帧是否存在T′min到T′max之间的短小的基音周期，这里T′min和T′max满足条件：T′min＜T′max≤基音搜索时的基音周期下限Tmin，检测时使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，当最大归一化自相关系数超过第七阈值R3时则认为存在短基音周期，其中0＜R3＜1。
103d：如果第一丢失帧的前一帧时域信号不为解码端正确解码得到的时域信号，则先对估计得到的基音周期估计值进行调整，然后执行103e，否则直接执行103e；
这里第一丢失帧的前一帧时域信号不为解码端正确解码得到的时域信号是指：设第一丢失帧为第p帧，即使解码端能够正确接收到第p-1帧的数据包但由于第p-2帧丢失或其他原因，造成不能正确解码得到第p-1帧的时域信号。
具体对基音周期的调整方法包括：记估计得到的基音周期为T，分别搜索得到第一丢失帧初始补偿信号在时间区间[0，T-1]和[T，2T-1]内的最大幅值位置i1和i2，如果q1T＜i2-i1＜q2T并且i2-i1小于帧长的一半，则修改基音周期估计值为i2-i1，否则不对基音周期估计值作修改，其中0≤q1≤1≤q2。
103e：使用第一丢失帧的前一帧时域信号的最后一个基音周期的波形和第一丢失帧初始补偿信号的第一个基音周期的波形对初始补偿信号进行第一类波形调整，调整的方法包括：以前一帧时域信号的最后一个基音周期为基准波形，对第一丢失帧前一帧时域信号进行有交叠的周期性延拓，得到大于一帧长度的时域信号，比如得到长度为M+M1点的时域信号。延拓时从前一帧时域信号的最后一个基音周期的波形逐渐向第一丢失帧初始补偿信号的第一个基音周期的波形收敛。延拓得到的M+M1点的时域信号中的前M长作为补偿得到的第一丢失帧的时域信号，超出一帧长度的部分用于与下一帧时域信号的平滑，其中M为帧长，M1为超出帧长的点数，1≤M1≤M；
其中，有交叠的周期性延拓是指以基音周期为长度向时间上的后方做周期性的复制，复制时，为保证信号平滑需要复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生交叠区，在交叠区中的信号需要进行加窗相加处理。具体使用有交叠的周期性延拓方式得到大于一帧长度的时域语音信号的方法包括：
103ea：在长度为M+M1的缓存区a的前l个单元中放入初始补偿信号的前l个点的数据，并设置缓存区a的有效数据长度n1＝0，其中l＞0，为交叠区长度；如图4a所示；
103eb：将当前丢失帧的前一帧时域信号的最后一个基音周期的数据连同当前帧的初始补偿信号的前l个点的数据放入缓存区b中，缓存区b的长度n2＝基音周期+l；如图4b所示；
103ec：将缓存区b中的数据复制到缓存区a的指定区域，并将缓存区a的有效数据长度增加一个基音周期的长度。所述指定区域指缓存区a中从第n1+1个单元起依次向后的区域，区域的长度等于缓存b中数据的长度n2。在复制时会与缓存区a中第n1+1个单元到第n1+l个单元中的原有的数据形成一个长度为l的交叠区，交叠区中的数据需要做如下特别处理：
将交叠区中原有的l个点的数据乘以一个长度为l的下降窗，将从缓存区b中复制到交叠区中的数据乘以一个长度为l的上升窗，然后将两部分数据相加形成该交叠区中的数据；
其中，长度为l的下降窗和上升窗可以选取为下降的线性窗和上升的线性窗，即1-i/l和i/l，i＝0，1，...，l-1，也可以选用下降和上升的正弦窗或者余弦窗等。
特别地，在将缓存区b中的数据复制到缓存区a的指定区域时，如果缓存区a中的剩余空间(M+M1-n1)小于缓存区b中的数据长度n2，则实际复制到缓存区a中的数据仅为缓存区b中的前M+M1-n1个点的数据。
图4c所示为第一次复制时的情形，图中以l小于基音周期长度为例，其他实施例中l可以等于基音周期长度，也可以大于基音周期长度。图4d所示为第二次复制时的情形。
103ed：更新缓存区b，更新方式为将缓存区b中的原有数据与初始补偿信号的前n2个点的数据逐点加权平均；
103ee：重复103ec到103ed直到缓存区a的有效数据长度大于等于M+M1，缓存区a中的数据即为大于一帧长度的时域信号。
图5针对步骤104具体描述多谐波帧丢帧补偿方法，该方法包括：
当第p帧丢失时，
104a：根据当前丢失帧之前若干帧解码得到的MDCT系数，采用FMDST(快速的改进的离散正弦变换)算法得到第p-2帧和第p-3帧的MDST系数Sp-2(m)和Sp-3(m)，把得到的第p-2帧和第p-3帧的MDST系数和第p-2帧和第p-3帧的MDCT系数cp-2(m)和cp-3(m)组成MDCT-MDST域的复数信号：
vp-2(m)＝cp-2(m)+jsp-2(m)(1)
vp-3(m)＝cp-3(m)+jsp-3(m)(2)
其中j为虚数符号。
计算第p-2帧和第p-3帧中各频率点的功率|vp-2(m)|2，|vp-3(m)|2，分别取第p-2帧和第p-3帧中功率最大的前r个峰值频率点(如果任何一帧中的峰值频率点少于r个，则取该帧中的所有峰值频率点)组成频率点集合mp-2，mp-3，其中，峰值频点是指频点功率大于相邻频点的频点，1＜r＜M。
根据第p-1帧的MDCT系数估计第p-1帧中各频率点的功率：
| v ^ p - 1 ( m ) | 2 = [ c p - 1 ( m ) ] 2 + [ c p - 1 ( m + 1 ) - c p - 1 ( m - 1 ) ] 2 - - - ( 3 )
其中，
Figure BDA0000101633930000192
是第p-1帧在频率点m的功率，cp-1(m)是第p-1帧在频率点m处的MDCT系数，其余类似。
求得第p-1帧中功率最大的前r个峰值频率点
Figure BDA0000101633930000193
如果该帧中的峰值频率点数/Np-1小于r，则取该帧中的所有峰值频率点
对每个
Figure BDA0000101633930000195
判断
Figure BDA0000101633930000196
(峰值频率点附近的频率点其功率也可能比较大，因此将其加入第p-1帧的峰值频率点的集合中)中是否存在同时属于集合mp-2，mp-3的频率点。如果同时属于集合mp-2，mp-3，根据下面式(4)-(9)求得第p帧在频率点
Figure BDA0000101633930000197
(
Figure BDA0000101633930000198
中只要有一个点同时属于mp-2和mp-3，对
Figure BDA0000101633930000199
这三个频率点都作下述计算)的MDCT-MDST域复数信号的相位和幅值：
Figure BDA00001016339300001910
Figure BDA00001016339300001911
Ap-2(m)＝|vp-2(m)|(6)
Ap-3(m)＝|vp-3(m)|(7)
Figure BDA00001016339300001912
Figure BDA00001016339300001913
其中
Figure BDA00001016339300001914
A分别表示相位和幅值。例如，
Figure BDA00001016339300001915
为第p帧在频率点m的相位的估计值，
Figure BDA00001016339300001916
为第p-2帧在频率点m的相位，为第p-3帧在频率点m的相位，
Figure BDA0000101633930000201
是第p帧在频率点m的幅值的估计值，Ap-2(m)为第p-2帧在频率点m的幅值，其余类似。
因此补偿得到的第p帧在频率点m的MDCT系数为：
Figure BDA0000101633930000202
如果在所有
Figure BDA0000101633930000203
中没有同时属于集合mp-2，mp-3的频率点，就对当前丢失帧内所有频率点根据式(4)-(10)估计MDCT系数。
也可不求需要做预测的频率点，直接对当前丢失帧内所有频率点根据式(4)-(10)估计MDCT系数。
用SC表示上述所有根据式(4)-(10)进行补偿的频率点组成的集合。
104b：对一帧内SC之外的频率点，采用第p-1帧在该频率点的MDCT系数值作为第p帧在该频率点的MDCT系数值；
104c：对当前丢失帧在所有频率点的MDCT系数进行IMDCT变换，得到当前丢失帧的时域信号。
实施例2
本实施例描述紧随正确接收帧的连续2个以上的帧丢失时的补偿方法，与如图6所示，包括以下步骤：
步骤201：判断丢失帧类型，当丢失帧为非多谐波帧时执行步骤202，否则执行步骤204；
步骤202：当丢失帧为非多谐波帧时，使用当前丢失帧的前一个或若干帧的MDCT系数计算得到当前丢失帧的MDCT系数值，然后根据当前丢失帧的MDCT系数得到当前丢失帧的时域信号，将该时域信号作为初始补偿信号；
优选地，可以使用前若干帧MDCT系数的加权平均并做适当衰减后的值作为当前丢失帧的MDCT系数，或者，可以复制上一帧的MDCT系数并做适当衰减后的值作为当前丢失帧的MDCT系数；
步骤203：若当前丢失帧为正确接收帧后的第一个丢失帧时，使用步骤103中的方法补偿得到第一个丢失帧的时域信号；若当前丢失帧为正确接收帧后的第二个丢失帧时，对当前丢失帧的初始补偿信号进行第二类波形调整，将调整后的时域信号作为当前帧的时域信号；若当前丢失帧为正确接收帧后的第三个或以后的丢失帧时，直接将该当前丢失帧的初始补偿信号作为当前帧的时域信号，结束；
具体第二类波形调整的方法包括：
将补偿第一个丢失帧时得到的时域信号超出一帧长度的部分(长度记M1)与当前丢失帧(即第二丢失帧)的初始补偿信号交叠相加得到第二丢失帧的时域信号。其中交叠区长度为M1，在交叠区内，补偿第一丢失帧时得到的时域信号超出一帧长度的部分采用下降窗，第二丢失帧的初始补偿信号的前M1点的数据采用与下降窗等长的上升窗，将加窗后相加得到的数据作为第二丢失帧时域信号的前M1个样点的数据，其余各样点数据使用第二丢失帧初始补偿信号在交叠区以外的样点数据补充。
其中，下降窗和上升窗可以选取为下降的线性窗和上升的线性窗，也可以选用下降和上升的正弦窗或者余弦窗等。
步骤204：当丢失帧为多谐波帧时使用多谐波帧丢帧补偿方法补偿该帧，结束。
实施例3
本实施例描述丢帧过程中只丢一帧非多谐波帧情况下的丢帧后的恢复处理流程，丢多帧情况下或丢帧类型为多谐波帧时不需要进行本流程操作，如图7所示，在本实施例中第一丢失帧即正确接收帧后紧随的第一个丢失帧，且该第一丢失帧为非多谐波帧，正确接收帧为第一丢失帧后紧随的一个正确接收的帧，包括以下步骤：
步骤301：解码得到该正确接收帧的时域信号；
步骤302：对补偿第一丢失帧时使用的基音周期估计值做调整，具体的调整方法包括：
记补偿第一丢失帧时使用的基音周期估计值为T，分别搜索得到该正确接收帧时域信号在时间区间[L-2T-1，L-T-1]和[L-T，L-1]内的最大幅值位置i3和i4，如果q1T＜i4-i3＜q2T并且i4-i3小于L/2，则修改基音周期估计值为i4-i3，否则不对基音周期估计值作修改，其中L为帧长，0≤q1≤1≤q2。
步骤303：以该正确接收帧的时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号；
具体使用有交叠的周期性延拓方式得到一帧长的时域信号的方法如103e中的方法，不同之处在于延拓方向相反，并且无波形逐渐收敛的过程。即对该正确接收帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的前方做周期性的复制，直至得到一帧长的时域信号。复制时，为保证信号平滑需要复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生信号交叠区，在交叠区中的信号需要进行加窗相加处理。
步骤304：对补偿第一丢失帧时得到的时域信号超出一帧长度的部分(长度记M1)与延拓得到的时域信号交叠相加，将得到的信号作为该正确接收帧的时域信号。
其中交叠区长度为M1，在交叠区内，补偿第一丢失帧时得到的时域信号超出一帧长度的部分采用下降窗，延拓得到的该正确接收帧时域信号的前M1点的数据采用与下降窗等长的上升窗，将加窗后相加得到的数据作为该正确接收帧时域信号的前M1个样点的数据，其余各样点数据采用延拓得到的该正确接收帧时域信号在交叠区以外的样点数据补充。
其中，下降窗和上升窗可以选取为下降的线性窗和上升的线性窗，也可以选用下降和上升的正弦窗或者余弦窗等。
实施例4
本实施例为实现上述实施例方法的装置，如图8所示，包括帧类型判断模块、MDCT系数获取模块、初始补偿信号获取模块和调整模块，其中：
所述帧类型判断模块，用于在正确接收帧后紧随的第一帧丢失时，判断该第一丢失帧的帧类型；
所述MDCT系数获取模块，用于在所述判断模块判断第一丢失帧为非多谐波帧时，使用第一丢失帧的前一个或若干个帧的MDCT系数计算得到该第一丢失帧的MDCT系数；
所述初始补偿信号获取模块，用于根据第一丢失帧的MDCT系数得到第一丢失帧的初始补偿信号；
所述调整模块，用于对第一丢失帧的初始补偿信号进行第一类波形调整，将调整后得到的时域信号作为该第一丢失帧的时域信号。
优选地，该帧类型判断模块是用于采用以下方式判断第一丢失帧的帧类型：根据码流中由编码装置设置的帧类型标识位判断该第一丢失帧的帧类型。具体地：该帧类型判断模块获取该第一丢失帧的前n帧中每一帧的帧类型标识，如果前n帧中多谐波信号帧的数目大于第二阈值n0，0≤n0≤n，n≥1，则认为该第一丢失帧为多谐波帧，设置帧类型标识为多谐波类型；如果不大于第二阈值，则认为该第一丢失帧为非多谐波帧，设置帧类型标识为非多谐波类型。
优选地，该调整模块包括第一类波形调整单元，如图9所示，其中包括基音周期估计单元、短基音检测单元、波形延拓单元，其中：
所述基音周期估计单元，用于对第一丢失帧进行基音周期估计；
所述短基音检测单元，用于对第一丢失帧进行短基音检测；
所述波形延拓单元，用于对有可用基音周期且不存在短基音周期的第一丢失帧的初始补偿信号进行波形调整：以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形对第一丢失帧前一帧时域信号进行有交叠的周期性延拓，得到大于一帧长度的时域信号，延拓时，从前一帧时域信号的最后一个基音周期的波形逐渐向第一丢失帧初始补偿信号的第一个基音周期的波形收敛，将延拓得到的大于一帧长度的时域信号中前一帧长度的时域信号作为补偿得到的第一丢失帧的时域信号，超出一帧长度的部分用于与下一帧时域信号的平滑。
优选地，该基音周期估计单元是用于采用以下方式对第一丢失帧进行基音周期估计：使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，得到前一帧时域信号的基音周期和最大归一化自相关系数，将得到的基音周期作为该第一丢失帧的基音周期估计值；并且，该基音周期估计单元采用以下条件判断该第一丢失帧的基音周期估计值是否可用：满足以下条件中任意一个则认为该第一丢失帧的基音周期估计值不可用：
●第一丢失帧的初始补偿信号的过零率大于第三阈值Z1，其中Z1＞0；
●第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第四阈值R1或者第一丢失帧的前一帧时域信号第一个基音周期内的最大幅值大于最后一个基音周期内的最大幅值的λ倍，其中0＜R1＜1，λ≥1；
●第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第五阈值R2并且第一丢失帧的前一帧时域信号的过零率大于第六阈值Z2，其中0＜R2＜1，Z2＞0。
优选地，所述短基音检测单元是用于采用以下方式对第一丢失帧进行短基音检测：检测第一丢失帧的前一帧是否存在短基音周期，如果存在，则认为该第一丢失帧也存在短基音周期，如果不存在，则认为该第一丢失帧也不存在短基音周期；其中，该短基音检测单元采用以下方式检测第一丢失帧的前一帧是否存在短基音周期：检测第一丢失帧前一帧是否存在T′min到T′max之间的基音周期，所述T′min和T′max满足条件：T′min＜T′max≤基音搜索时的基音周期下限Tmin，检测时使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，当最大归一化自相关系数超过第七阈值R3时则认为存在短基音周期，其中0＜R3＜1。
优选地，所述第一类波形调整单元还包括基音周期调整单元，其用于判断第一丢失帧的前一帧时域信号不为正确解码得到的时域信号时，对所述基音周期估计单元估计得到的基音周期估计值进行调整，将调整后的基音周期估计值送至该波形延拓单元。
优选地，所述基音周期调整单元是用于采用以下方式对基音周期估计值进行调整：分别搜索得到第一丢失帧的初始补偿信号在时间区间[0，T-1]和[T，2T-1]内的最大幅值位置i1和i2，其中T为估计得到的基音周期估计值，如果满足以下条件：q1T＜i2-i1＜q2T并且i2-i1小于帧长的一半，其中0≤q1≤1≤q2，则修改基音周期估计值为i2-i1，如果不满足上述条件，则不对基音周期估计值作修改。
优选地，该波形延拓单元是用于采用以下方式以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形进行有交叠的周期性延拓：对第一丢失帧前一帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的后方做周期性的复制，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生交叠区，对交叠区中的信号进行加窗相加处理。
优选地，所述基音周期估计单元还用于在使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索之前，先对第一丢失帧的初始补偿信号和第一丢失帧的前一帧时域信号做低通滤波或降采样处理，使用低通滤波或降采样后的初始补偿信号和第一丢失帧的前一帧时域信号代替原有的初始补偿信号和第一丢失帧的前一帧时域信号进行所述基音周期估计。
优选地，上述帧类型判断模块、MDCT系数获取模块、初始补偿信号获取模块和调整模块还可具有以下功能：
该帧类型判断模块，还用于在第一丢失帧之后紧随的第二个丢失帧丢失时，判断该第二丢失帧的帧类型；
该MDCT系数获取模块，还用于在所述帧类型判断模块判断该第二丢失帧为非多谐波帧时，使用第二丢失帧的前一个或若干个帧的MDCT系数计算得到该第二丢失帧的MDCT系数；
该初始补偿信号获取模块，还用于根据第二丢失帧的MDCT系数得到第二丢失帧的初始补偿信号；
该调整模块，还用于对该第二丢失帧的初始补偿信号进行第二类波形调整，将调整后的时域信号作为所述第二丢失帧的时域信号。
优选地，所述调整模块还包括第二类波形调整单元，其用于采用以下方式对第二丢失帧的初始补偿信号进行第二类波形调整：
将补偿第一丢失帧时得到的时域信号超出一帧长度的部分M1与第二丢失帧的初始补偿信号交叠相加得到第二丢失帧的时域信号，其中交叠区长度为M1，在交叠区内，补偿第一丢失帧时得到的时域信号超出一帧长度的部分采用下降窗，第二丢失帧的初始补偿信号的前M1点的数据采用与下降窗等长的上升窗，将加窗后相加得到的数据作为第二丢失帧时域信号的前M1个样点的数据，其余各样点数据使用交叠区以外的第二丢失帧初始补偿信号的样点数据补充。
优选地，上述帧类型判断模块、MDCT系数获取模块、初始补偿信号获取模块和调整模块还可具有以下功能：
该帧类型判断模块，还用于在第二丢失帧之后紧随的第三个丢失帧及第三个丢失帧以后的帧丢失时，判断该丢失帧的帧类型；
该MDCT系数获取模块，还用于在所述帧类型判断模块判断当前丢失帧为非多谐波帧时，使用该当前丢失帧的前一个或若干个帧的MDCT系数计算得到该当前丢失帧的MDCT系数；
该初始补偿信号获取模块，还用于根据该当前丢失帧的MDCT系数得到该当前丢失帧的初始补偿信号；
该调整模块，还用于将该当前丢失帧的初始补偿信号作为该丢失帧的时域信号。
优选地，该装置还包括正常帧补偿模块，其用于在正确接收帧后紧随的第一帧丢失，且该第一丢失帧为非多谐波帧，对第一丢失帧之后紧随的正确接收帧进行处理，如图10所示，包括解码单元、时域信号调整单元，其中：
所述解码单元，用于解码得到该正确接收帧的时域信号；
所述时域信号调整单元，用于对补偿第一丢失帧时使用的基音周期估计值做调整；以及，以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号；以及，对补偿第一丢失帧时得到的时域信号超出一帧长度的部分与延拓得到的时域信号交叠相加，将得到的信号作为该正确接收帧的时域信号。
优选地，所述时域信号调整单元是用于采用以下方式对补偿第一丢失帧时使用的基音周期估计值做调整：
分别搜索得到该正确接收帧时域信号在时间区间[L-2T-1，L-T-1]和[L-T，L-1]内的最大幅值位置i3和i4，其中T为补偿第一丢失帧时使用的基音周期估计值，L为帧长，如果满足以下条件：q1T＜i4-i3＜q2T并且i4-i3小于L/2，其中0≤q1≤1≤q2，则修改基音周期估计值为i4-i3，如果不满足上述条件，则不对基音周期估计值作修改。
优选地，所述时域信号调整单元是用于采用以下方式以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号：
对该正确接收帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的前方做周期性的复制，直至得到一帧长的时域信号，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生信号交叠区，在交叠区中的信号进行加窗相加处理。
本文实施例中所使用阈值为经验值，可通过仿真得到。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (37)

1.一种语音频信号的丢帧补偿方法，其特征在于，所述方法包括：
当正确接收帧后紧随的第一帧丢失时，判断该第一丢失帧的帧类型，当第一丢失帧为非多谐波帧时，使用第一丢失帧的前一个或若干个帧的MDCT系数计算得到该第一丢失帧的MDCT系数；
根据第一丢失帧的MDCT系数得到第一丢失帧的初始补偿信号；
对第一丢失帧的初始补偿信号进行第一类波形调整，将调整后得到的时域信号作为该第一丢失帧的时域信号。
2.如权利要求1所述的方法，其特征在于，
所述判断第一丢失帧的帧类型，包括：
根据码流中由编码端设置的帧类型标识位判断该第一丢失帧的帧类型。
3.如权利要求2所述的方法，其特征在于，
所述编码端采用以下方式设置帧类型标识位，包括：
对编码后有剩余比特的帧，计算该帧的谱平坦度，判断谱平坦度的值是否小于第一阈值K，如果小于K则认为该帧为多谐波信号帧，设置帧类型标识位为多谐波类型，如果不小于K则认为该帧为非多谐波信号帧，设置帧类型标识位为非多谐波类型，将该帧类型标识位放入码流发送到解码端；
对编码后无剩余比特的帧，不设置帧类型标识位。
4.如权利要求2所述的方法，其特征在于，
所述根据码流中由编码端设置的帧类型标识位判断该第一丢失帧的帧类型，包括：
获取该第一丢失帧的前n帧中每一帧的帧类型标识，如果前n帧中多谐波信号帧的数目大于第二阈值n0，0≤n0≤n，n≥1，则认为该第一丢失帧为多谐波帧，设置帧类型标识为多谐波类型；如果不大于第二阈值，则认为该第一丢失帧为非多谐波帧，设置帧类型标识为非多谐波类型。
5.如权利要求4所述的方法，其特征在于，
所述第一丢失帧的前n帧中每一帧的帧类型标识采用以下方式设置：
对于未丢失帧，判断解码后码流中是否有剩余比特，如果有剩余比特，则从码流中读取帧类型标识位中的帧类型标识作为该帧的帧类型标识，如果没有剩余比特，则复制前一帧的帧类型标识位中的帧类型标识作为该帧的帧类型标识；
对于丢失帧，获取当前丢失帧的前n帧中每一帧的帧类型标识，如果前n帧中多谐波信号帧的数目大于第二阈值n0，0≤n0≤n，n≥1，则认为当前丢失帧为多谐波帧，设置帧类型标识为多谐波类型；如果不大于第二阈值，则认为当前丢失帧为非多谐波帧，设置帧类型标识为非多谐波类型。
6.如权利要求1所述的方法，其特征在于，
所述对第一丢失帧的初始补偿信号进行第一类波形调整，包括：
对第一丢失帧进行基音周期估计，以及短基音检测，对有可用基音周期且不存在短基音周期的第一丢失帧的初始补偿信号进行波形调整：以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形对第一丢失帧前一帧时域信号进行有交叠的周期性延拓，得到大于一帧长度的时域信号，延拓时从前一帧时域信号的最后一个基音周期的波形逐渐向第一丢失帧初始补偿信号的第一个基音周期的波形收敛，将延拓得到的大于一帧长度的时域信号中前一帧长度的时域信号作为补偿得到的第一丢失帧的时域信号，超出一帧长度的部分用于与下一帧时域信号的平滑。
7.如权利要求6所述的方法，其特征在于，
所述对第一丢失帧进行基音周期估计，包括：
使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，得到前一帧时域信号的基音周期和最大归一化自相关系数，将得到的基音周期作为该第一丢失帧的基音周期估计值；
采用以下条件判断该第一丢失帧的基音周期估计值是否可用：满足以下条件中任意一个则认为该第一丢失帧的基音周期估计值不可用：
●第一丢失帧的初始补偿信号的过零率大于第三阈值Z1，其中Z1＞0；
●第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第四阈值R1或者第一丢失帧的前一帧时域信号第一个基音周期内的最大幅值大于最后一个基音周期内的最大幅值的λ倍，其中0＜R1＜1，λ≥1
●第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第五阈值R2并且第一丢失帧的前一帧时域信号的过零率大于第六阈值Z2，其中0＜R2＜1，Z2＞0。
8.如权利要求6所述的方法，其特征在于，
所述对第一丢失帧进行短基音检测，包括：检测第一丢失帧的前一帧是否存在短基音周期，如果存在，则认为该第一丢失帧也存在短基音周期，如果存在，则认为该第一丢失帧也不存在短基音周期；
其中，所述检测第一丢失帧的前一帧是否存在短基音周期，包括：
检测第一丢失帧前一帧是否存在T′min到T′max之间的基音周期，所述T′min和T′max满足条件：T′min＜T′max≤基音搜索时的基音周期下限Tmin，检测时使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，当最大归一化自相关系数超过第七阈值R3时则认为存在短基音周期，其中0＜R3＜1。
9.如权利要求6所述的方法，其特征在于，
在对有可用基音周期且不存在短基音周期的第一丢失帧的初始补偿信号进行波形调整之前，所述方法还包括：
如果第一丢失帧的前一帧时域信号不为正确解码得到的时域信号，则对基音周期估计得到的基音周期估计值进行调整。
10.如权利要求9所述的方法，其特征在于，
所述对基音周期估计值进行调整，包括：
分别搜索得到第一丢失帧的初始补偿信号在时间区间[0，T-1]和[T，2T-1]内的最大幅值位置i1和i2，其中T为估计得到的基音周期估计值，如果满足以下条件：q1T＜i2-i1＜q2T并且i2-i1小于帧长的一半，其中0≤q1≤1≤q2，则修改基音周期估计值为i2-i1，如果不满足上述条件，则不对基音周期估计值作修改。
11.如权利要求6所述的方法，其特征在于，
所述以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形进行有交叠的周期性延拓，包括：
对第一丢失帧前一帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的后方做周期性的复制，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生交叠区，对交叠区中的信号进行加窗相加处理。
12.如权利要求7所述的方法，其特征在于，
在对第一丢失帧进行基音周期估计的过程中，在使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索之前，所述方法还包括：
先对第一丢失帧的初始补偿信号和第一丢失帧的前一帧时域信号做低通滤波或降采样处理，使用低通滤波或降采样后的初始补偿信号和第一丢失帧的前一帧时域信号代替原有的初始补偿信号和第一丢失帧的前一帧时域信号进行所述基音周期估计。
13.如权利要求1-12中任一权利要求所述的方法，其特征在于，所述方法还包括：
对于第一丢失帧之后紧随的第二个丢失帧，判断该第二丢失帧的帧类型，当第二丢失帧为非多谐波帧时，使用第二丢失帧的前一个或若干个帧的MDCT系数计算得到该第二丢失帧的MDCT系数；
根据第二丢失帧的MDCT系数得到第二丢失帧的初始补偿信号；
对该第二丢失帧的初始补偿信号进行第二类波形调整，将调整后的时域信号作为所述第二丢失帧的时域信号。
14.如权利要求13所述的方法，其特征在于，
所述对第二丢失帧的初始补偿信号进行第二类波形调整，包括：
将补偿第一丢失帧时得到的时域信号超出一帧长度的部分M1与第二丢失帧的初始补偿信号交叠相加得到第二丢失帧的时域信号，其中交叠区长度为M1，在交叠区内，补偿第一丢失帧时得到的时域信号超出一帧长度的部分采用下降窗，第二丢失帧的初始补偿信号的前M1点的数据采用与下降窗等长的上升窗，将加窗后相加得到的数据作为第二丢失帧时域信号的前M1个样点的数据，其余各样点数据使用交叠区以外的第二丢失帧初始补偿信号的样点数据补充。
15.如权利要求13所述的方法，其特征在于，所述方法还包括：
对于第二丢失帧之后紧随的第三个丢失帧及第三个丢失帧以后的丢失帧，判断该丢失帧的帧类型，当该丢失帧为非多谐波帧时，使用该丢失帧的前一个或若干个帧的MDCT系数计算得到该丢失帧的MDCT系数；
根据该丢失帧的MDCT系数得到该丢失帧的初始补偿信号；
将该丢失帧的初始补偿信号作为该丢失帧的时域信号。
16.如权利要求1-12中任一权利要求所述的方法，其特征在于，所述方法包括：
当正确接收帧后紧随的第一帧丢失，且该第一丢失帧为非多谐波帧，对第一丢失帧之后紧随的正确接收帧进行以下的处理：
解码得到该正确接收帧的时域信号；对补偿第一丢失帧时使用的基音周期估计值做调整；以及，以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号；对补偿第一丢失帧时得到的时域信号超出一帧长度的部分与延拓得到的时域信号交叠相加，将得到的信号作为该正确接收帧的时域信号。
17.如权利要求16所述的方法，其特征在于，所述对补偿第一丢失帧时使用的基音周期估计值做调整，包括：
分别搜索得到该正确接收帧时域信号在时间区间[L-2T-1，L-T-1]和[L-T，-L-1]内的最大幅值位置i3和i4，其中T为补偿第一丢失帧时使用的基音周期估计值，L为帧长，如果满足以下条件：q1T＜i4-i3＜q2T并且i4-i3小于L/2，其中0≤q1≤1≤q2，则修改基音周期估计值为i4-i3，如果不满足上述条件，则不对基音周期估计值作修改。
18.如权利要求16所述的方法，其特征在于，
所述以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号，包括：
对该正确接收帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的前方做周期性的复制，直至得到一帧长的时域信号，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生信号交叠区，在交叠区中的信号进行加窗相加处理。
19.一种语音频信号的丢帧补偿方法，其特征在于，所述方法包括：
当正确接收帧后紧随的第一帧丢失，且该第一丢失帧为非多谐波帧，对第一丢失帧之后紧随的正确接收帧进行以下的处理：
解码得到该正确接收帧的时域信号；对补偿第一丢失帧时使用的基音周期估计值做调整；以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号；对补偿第一丢失帧时得到的时域信号超出一帧长度的部分与延拓得到的时域信号交叠相加，将得到的信号作为该正确接收帧的时域信号。
20.如权利要求19所述的方法，其特征在于，所述对补偿第一丢失帧时使用的基音周期估计值做调整，包括：
分别搜索得到该正确接收帧时域信号在时间区间[L-2T-1，L-T-1]和[L-T，L-1]内的最大幅值位置i3和i4，其中T为补偿第一丢失帧时使用的基音周期估计值，L为帧长，如果满足以下条件：q1T＜i4-i3＜q2T并且i4-i3小于L/2，其中0≤q1≤1≤q2，则修改基音周期估计值为i4-i3，如果不满足上述条件，则不对基音周期估计值作修改。
21.如权利要求19所述的方法，其特征在于，
所述以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号，包括：
对该正确接收帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的前方做周期性的复制，直至得到一帧长的时域信号，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生信号交叠区，在交叠区中的信号进行加窗相加处理。
22.一种语音频信号的丢帧补偿装置，其特征在于，所述装置包括帧类型判断模块、MDCT系数获取模块、初始补偿信号获取模块和调整模块，其中：
所述帧类型判断模块，用于在正确接收帧后紧随的第一帧丢失时，判断该第一丢失帧的帧类型；
所述MDCT系数获取模块，用于在所述判断模块判断第一丢失帧为非多谐波帧时，使用第一丢失帧的前一个或若干个帧的MDCT系数计算得到该第一丢失帧的MDCT系数；
所述初始补偿信号获取模块，用于根据第一丢失帧的MDCT系数得到第一丢失帧的初始补偿信号；
所述调整模块，用于对第一丢失帧的初始补偿信号进行第一类波形调整，将调整后得到的时域信号作为该第一丢失帧的时域信号。
23.如权利要求22所述的装置，其特征在于，
所述帧类型判断模块是用于采用以下方式判断第一丢失帧的帧类型：根据码流中由编码装置设置的帧类型标识位判断该第一丢失帧的帧类型。
24.如权利要求23所述的装置，其特征在于，
所述帧类型判断模块是用于采用以下方式根据码流中由编码端设置的帧类型标识位判断该第一丢失帧的帧类型：
所述帧类型判断模块获取该第一丢失帧的前n帧中每一帧的帧类型标识，如果前n帧中多谐波信号帧的数目大于第二阈值n0，0≤n0≤n，n≥1，则认为该第一丢失帧为多谐波帧，设置帧类型标识为多谐波类型；如果不大于第二阈值，则认为该第一丢失帧为非多谐波帧，设置帧类型标识为非多谐波类型。
25.如权利要求22所述的装置，其特征在于，
所述调整模块包括第一类波形调整单元，其中包括基音周期估计单元、短基音检测单元、波形延拓单元，其中：
所述基音周期估计单元，用于对第一丢失帧进行基音周期估计；
所述短基音检测单元，用于对第一丢失帧进行短基音检测；
所述波形延拓单元，用于对有可用基音周期且不存在短基音周期的第一丢失帧的初始补偿信号进行波形调整：以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形对第一丢失帧前一帧时域信号进行有交叠的周期性延拓，得到大于一帧长度的时域信号，延拓时，从前一帧时域信号的最后一个基音周期的波形逐渐向第一丢失帧初始补偿信号的第一个基音周期的波形收敛，将延拓得到的大于一帧长度的时域信号中前一帧长度的时域信号作为补偿得到的第一丢失帧的时域信号，超出一帧长度的部分用于与下一帧时域信号的平滑。
26.如权利要求25所述的装置，其特征在于，
所述基音周期估计单元是用于采用以下方式对第一丢失帧进行基音周期估计：
所述基音周期估计单元使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，得到前一帧时域信号的基音周期和最大归一化自相关系数，将得到的基音周期作为该第一丢失帧的基音周期估计值；
所述基音周期估计单元采用以下条件判断该第一丢失帧的基音周期估计值是否可用：满足以下条件中任意一个则认为该第一丢失帧的基音周期估计值不可用：
●第一丢失帧的初始补偿信号的过零率大于第三阈值Z1，其中Z1＞0；
●第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第四阈值R1或者第一丢失帧的前一帧时域信号第一个基音周期内的最大幅值大于最后一个基音周期内的最大幅值的λ倍，其中0＜R1＜1，λ≥1；
●第一丢失帧的前一帧时域信号的最大归一化自相关系数小于第五阈值R2并且第一丢失帧的前一帧时域信号的过零率大于第六阈值Z2，其中0＜R2＜1，Z2＞0。
27.如权利要求25所述的装置，其特征在于，
所述短基音检测单元是用于采用以下方式对第一丢失帧进行短基音检测：
所述短基音检测单元检测第一丢失帧的前一帧是否存在短基音周期，如果存在，则认为该第一丢失帧也存在短基音周期，如果不存在，则认为该第一丢失帧也不存在短基音周期；
其中，所述短基音检测单元采用以下方式检测第一丢失帧的前一帧是否存在短基音周期：
检测第一丢失帧前一帧是否存在T′min到T′max之间的基音周期，所述T′min和T′max满足条件：T′min＜T′max≤基音搜索时的基音周期下限Tmin，检测时使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索，当最大归一化自相关系数超过第七阈值R3时则认为存在短基音周期，其中0＜R3＜1。
28.如权利要求25所述的装置，其特征在于，
所述第一类波形调整单元还包括基音周期调整单元，其用于判断第一丢失帧的前一帧时域信号不为正确解码得到的时域信号时，对所述基音周期估计单元估计得到的基音周期估计值进行调整，将调整后的基音周期估计值送至所述波形延拓单元。
29.如权利要求28所述的装置，其特征在于，
所述基音周期调整单元是用于采用以下方式对基音周期估计值进行调整：
所述基音周期调整单元分别搜索得到第一丢失帧的初始补偿信号在时间区间[0，T-1]和[T，2T-1]内的最大幅值位置i1和i2，其中T为估计得到的基音周期估计值，如果满足以下条件：q1T＜i2-i1＜q2T并且i2-i1小于帧长的一半，其中0≤q1≤1≤q2，则修改基音周期估计值为i2-i1，如果不满足上述条件，则不对基音周期估计值作修改。
30.如权利要求25所述的装置，其特征在于，
所述波形延拓单元是用于采用以下方式以第一丢失帧前一帧时域信号的最后一个基音周期为基准波形进行有交叠的周期性延拓：
对第一丢失帧前一帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的后方做周期性的复制，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生交叠区，对交叠区中的信号进行加窗相加处理。
31.如权利要求26所述的装置，其特征在于，
所述基音周期估计单元还用于在使用自相关方法对第一丢失帧的前一帧时域信号进行基音搜索之前，先对第一丢失帧的初始补偿信号和第一丢失帧的前一帧时域信号做低通滤波或降采样处理，使用低通滤波或降采样后的初始补偿信号和第一丢失帧的前一帧时域信号代替原有的初始补偿信号和第一丢失帧的前一帧时域信号进行所述基音周期估计。
32.如权利要求22-31中任一权利要求所述的装置，其特征在于，
所述帧类型判断模块，还用于在第一丢失帧之后紧随的第二个丢失帧丢失时，判断该第二丢失帧的帧类型；
所述MDCT系数获取模块，还用于在所述帧类型判断模块判断该第二丢失帧为非多谐波帧时，使用第二丢失帧的前一个或若干个帧的MDCT系数计算得到该第二丢失帧的MDCT系数；
所述初始补偿信号获取模块，还用于根据第二丢失帧的MDCT系数得到第二丢失帧的初始补偿信号；
所述调整模块，还用于对该第二丢失帧的初始补偿信号进行第二类波形调整，将调整后的时域信号作为所述第二丢失帧的时域信号。
33.如权利要求32所述的装置，其特征在于，
所述调整模块还包括第二类波形调整单元，其用于采用以下方式对第二丢失帧的初始补偿信号进行第二类波形调整：
将补偿第一丢失帧时得到的时域信号超出一帧长度的部分M1与第二丢失帧的初始补偿信号交叠相加得到第二丢失帧的时域信号，其中交叠区长度为M1，在交叠区内，补偿第一丢失帧时得到的时域信号超出一帧长度的部分采用下降窗，第二丢失帧的初始补偿信号的前M1点的数据采用与下降窗等长的上升窗，将加窗后相加得到的数据作为第二丢失帧时域信号的前M1个样点的数据，其余各样点数据使用交叠区以外的第二丢失帧初始补偿信号的样点数据补充。
34.如权利要求32所述的装置，其特征在于，
所述帧类型判断模块，还用于在第二丢失帧之后紧随的第三个丢失帧及第三个丢失帧以后的帧丢失时，判断该丢失帧的帧类型；
所述MDCT系数获取模块，还用于在所述帧类型判断模块判断当前丢失帧为非多谐波帧时，使用该当前丢失帧的前一个或若干个帧的MDCT系数计算得到该当前丢失帧的MDCT系数；
所述初始补偿信号获取模块，还用于根据该当前丢失帧的MDCT系数得到该当前丢失帧的初始补偿信号；
所述调整模块，还用于将该当前丢失帧的初始补偿信号作为该丢失帧的时域信号。
35.如权利要求22-31中任一权利要求所述的装置，其特征在于，
所述装置还包括正常帧补偿模块，其用于在正确接收帧后紧随的第一帧丢失，且该第一丢失帧为非多谐波帧，对第一丢失帧之后紧随的正确接收帧进行处理，包括解码单元、时域信号调整单元，其中：
所述解码单元，用于解码得到该正确接收帧的时域信号；
所述时域信号调整单元，用于对补偿第一丢失帧时使用的基音周期估计值做调整；以及，以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号；以及，对补偿第一丢失帧时得到的时域信号超出一帧长度的部分与延拓得到的时域信号交叠相加，将得到的信号作为该正确接收帧的时域信号。
36.如权利要求35所述的装置，其特征在于，
所述时域信号调整单元是用于采用以下方式对补偿第一丢失帧时使用的基音周期估计值做调整：
分别搜索得到该正确接收帧时域信号在时间区间[L-2T-1，L-T-1]和[L-T，L-1]内的最大幅值位置i3和i4，其中T为补偿第一丢失帧时使用的基音周期估计值，L为帧长，如果满足以下条件：q1T＜i4-i3＜q2T并且i4-i3小于L/2，其中0≤q1≤1≤q2，则修改基音周期估计值为i4-i3，如果不满足上述条件，则不对基音周期估计值作修改。
37.如权利要求35所述的装置，其特征在于，
所述时域信号调整单元是用于采用以下方式以该正确接收帧时域信号的最后一个基音周期为基准波形进行向前的有交叠的周期性延拓得到一帧长的时域信号：
以该正确接收帧时域信号的最后一个基音周期的波形以基音周期为长度向时间上的前方做周期性的复制，直至得到一帧长的时域信号，复制时，每次复制超过一个基音周期长度的信号，每次复制的信号与前一次复制的信号产生信号交叠区，在交叠区中的信号进行加窗相加处理。
CN201110325869.XA 2011-10-24 2011-10-24 语音频信号的丢帧补偿方法和装置 Active CN103065636B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201110325869.XA CN103065636B (zh) 2011-10-24 语音频信号的丢帧补偿方法和装置
US14/353,695 US9330672B2 (en) 2011-10-24 2012-09-29 Frame loss compensation method and apparatus for voice frame signal
EP12844200.1A EP2772910B1 (en) 2011-10-24 2012-09-29 Frame loss compensation method and apparatus for voice frame signal
PCT/CN2012/082456 WO2013060223A1 (zh) 2011-10-24 2012-09-29 语音频信号的丢帧补偿方法和装置
EP19169974.3A EP3537436B1 (en) 2011-10-24 2012-09-29 Frame loss compensation method and apparatus for voice frame signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110325869.XA CN103065636B (zh) 2011-10-24 语音频信号的丢帧补偿方法和装置

Publications (2)

Publication Number Publication Date
CN103065636A true CN103065636A (zh) 2013-04-24
CN103065636B CN103065636B (zh) 2016-12-14

Family

ID=

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
CN104751851A (zh) * 2013-12-30 2015-07-01 联芯科技有限公司 一种基于前后向联合估计的丢帧差错隐藏方法及系统
CN105741843A (zh) * 2014-12-10 2016-07-06 联芯科技有限公司 一种基于延时抖动的丢包补偿方法及系统
CN106575505A (zh) * 2014-07-29 2017-04-19 奥兰吉公司 Fd/lpd转换环境中的帧丢失管理
CN106898356A (zh) * 2017-03-14 2017-06-27 建荣半导体（深圳）有限公司 一种适用于蓝牙语音通话的丢包隐藏方法、装置及蓝牙语音处理芯片
CN107742521A (zh) * 2016-08-10 2018-02-27 华为技术有限公司 多声道信号的编码方法和编码器
US9978400B2 (en) 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
CN108111702A (zh) * 2017-12-07 2018-06-01 瑟达智家科技（杭州）有限公司 一种对voip系统语音包丢失自动补偿的方法
CN110636543A (zh) * 2018-06-22 2019-12-31 大唐移动通信设备有限公司 一种语音数据处理方法及装置
WO2020135610A1 (zh) * 2018-12-28 2020-07-02 南京中感微电子有限公司 音频数据恢复方法、装置及蓝牙设备
CN111627451A (zh) * 2013-06-21 2020-09-04 弗朗霍夫应用科学研究促进协会 用于获取音频信号的替换帧的频谱系数的方法及相关产品
CN113488068A (zh) * 2021-07-19 2021-10-08 歌尔光学科技有限公司 音频异常检测方法、装置及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033718A1 (en) * 2006-08-03 2008-02-07 Broadcom Corporation Classification-Based Frame Loss Concealment for Audio Signals
WO2008066265A1 (en) * 2006-11-30 2008-06-05 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus and error concealment scheme construction method and apparatus
CN101207665A (zh) * 2007-11-05 2008-06-25 华为技术有限公司 一种衰减因子的获取方法和获取装置
CN101542594A (zh) * 2007-09-15 2009-09-23 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
CN101588341A (zh) * 2008-05-22 2009-11-25 华为技术有限公司 一种丢帧隐藏的方法及装置
CN101833954A (zh) * 2007-06-14 2010-09-15 华为终端有限公司 一种实现丢包隐藏的方法和装置
US20100286805A1 (en) * 2009-05-05 2010-11-11 Huawei Technologies Co., Ltd. System and Method for Correcting for Lost Data in a Digital Audio Signal
CN101894558A (zh) * 2010-08-04 2010-11-24 华为技术有限公司 丢帧恢复方法、设备以及语音增强方法、设备和系统
CN101958119A (zh) * 2009-07-16 2011-01-26 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033718A1 (en) * 2006-08-03 2008-02-07 Broadcom Corporation Classification-Based Frame Loss Concealment for Audio Signals
WO2008066265A1 (en) * 2006-11-30 2008-06-05 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus and error concealment scheme construction method and apparatus
CN101833954A (zh) * 2007-06-14 2010-09-15 华为终端有限公司 一种实现丢包隐藏的方法和装置
CN101542594A (zh) * 2007-09-15 2009-09-23 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
CN101207665A (zh) * 2007-11-05 2008-06-25 华为技术有限公司 一种衰减因子的获取方法和获取装置
CN101588341A (zh) * 2008-05-22 2009-11-25 华为技术有限公司 一种丢帧隐藏的方法及装置
US20100286805A1 (en) * 2009-05-05 2010-11-11 Huawei Technologies Co., Ltd. System and Method for Correcting for Lost Data in a Digital Audio Signal
CN101958119A (zh) * 2009-07-16 2011-01-26 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
CN101894558A (zh) * 2010-08-04 2010-11-24 华为技术有限公司 丢帧恢复方法、设备以及语音增强方法、设备和系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
CN103854649B (zh) * 2012-11-29 2018-08-28 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
CN111627451B (zh) * 2013-06-21 2023-11-03 弗朗霍夫应用科学研究促进协会 用于获取音频信号的替换帧的频谱系数的方法及相关产品
CN111627451A (zh) * 2013-06-21 2020-09-04 弗朗霍夫应用科学研究促进协会 用于获取音频信号的替换帧的频谱系数的方法及相关产品
CN104751851A (zh) * 2013-12-30 2015-07-01 联芯科技有限公司 一种基于前后向联合估计的丢帧差错隐藏方法及系统
CN104751851B (zh) * 2013-12-30 2018-04-27 联芯科技有限公司 一种基于前后向联合估计的丢帧差错隐藏方法及系统
CN106575505A (zh) * 2014-07-29 2017-04-19 奥兰吉公司 Fd/lpd转换环境中的帧丢失管理
CN105741843B (zh) * 2014-12-10 2019-09-20 辰芯科技有限公司 一种基于延时抖动的丢包补偿方法及系统
CN105741843A (zh) * 2014-12-10 2016-07-06 联芯科技有限公司 一种基于延时抖动的丢包补偿方法及系统
US9978400B2 (en) 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
US10360927B2 (en) 2015-06-11 2019-07-23 Zte Corporation Method and apparatus for frame loss concealment in transform domain
CN107742521A (zh) * 2016-08-10 2018-02-27 华为技术有限公司 多声道信号的编码方法和编码器
CN107742521B (zh) * 2016-08-10 2021-08-13 华为技术有限公司 多声道信号的编码方法和编码器
US11217257B2 (en) 2016-08-10 2022-01-04 Huawei Technologies Co., Ltd. Method for encoding multi-channel signal and encoder
US11756557B2 (en) 2016-08-10 2023-09-12 Huawei Technologies Co., Ltd. Method for encoding multi-channel signal and encoder
CN106898356B (zh) * 2017-03-14 2020-04-14 建荣半导体（深圳）有限公司 一种适用于蓝牙语音通话的丢包隐藏方法、装置及蓝牙语音处理芯片
CN106898356A (zh) * 2017-03-14 2017-06-27 建荣半导体（深圳）有限公司 一种适用于蓝牙语音通话的丢包隐藏方法、装置及蓝牙语音处理芯片
CN108111702B (zh) * 2017-12-07 2020-07-07 杭州闪目科技有限公司 一种对voip系统语音包丢失自动补偿的方法
CN108111702A (zh) * 2017-12-07 2018-06-01 瑟达智家科技（杭州）有限公司 一种对voip系统语音包丢失自动补偿的方法
CN110636543A (zh) * 2018-06-22 2019-12-31 大唐移动通信设备有限公司 一种语音数据处理方法及装置
WO2020135610A1 (zh) * 2018-12-28 2020-07-02 南京中感微电子有限公司 音频数据恢复方法、装置及蓝牙设备
CN113488068A (zh) * 2021-07-19 2021-10-08 歌尔光学科技有限公司 音频异常检测方法、装置及计算机可读存储介质
CN113488068B (zh) * 2021-07-19 2024-03-08 歌尔科技有限公司 音频异常检测方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
EP3537436A1 (en) 2019-09-11
US20140337039A1 (en) 2014-11-13
WO2013060223A1 (zh) 2013-05-02
EP2772910A4 (en) 2015-04-15
US9330672B2 (en) 2016-05-03
EP2772910B1 (en) 2019-06-19
EP2772910A1 (en) 2014-09-03
EP3537436B1 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
US9330672B2 (en) Frame loss compensation method and apparatus for voice frame signal
CN101958119B (zh) 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
US20190096430A1 (en) Method and Apparatus for Frame Loss Concealment in Transform Domain
CN103854649A (zh) 一种变换域的丢帧补偿方法及装置
CN100573667C (zh) 用于语音编码和语音识别的噪音抑制器
CN101325537B (zh) 一种丢帧隐藏的方法和设备
EP1921610B1 (en) Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
US8612218B2 (en) Method for error concealment in the transmission of speech data with errors
CN101437009B (zh) 丢包隐藏的方法及其系统
US9130526B2 (en) Signal processing apparatus
EP2346032B1 (en) Noise suppressor and voice decoder
KR20080001708A (ko) 통신 시스템에서 은닉 프레임들을 발생시키는 방법
CN109087665A (zh) 一种非线性回声抑制方法
CN110265065B (zh) 一种构建语音端点检测模型的方法及语音端点检测系统
CN101261833A (zh) 一种使用正弦模型进行音频错误隐藏处理的方法
CN104981870A (zh) 声音增强装置
CN101616059B (zh) 一种丢包隐藏的方法和装置
CN110931032B (zh) 一种动态回声消除方法及装置
CN103905656A (zh) 残留回声的检测方法及装置
CN103456307B (zh) 音频解码器中帧差错隐藏的谱代替方法及系统
CN104751853A (zh) 双麦克风噪声抑制方法及系统
CN103187068B (zh) 基于Kalman的先验信噪比估计方法、装置及噪声抑制方法
CN115065578A (zh) 一种基于改进自适应阈值的dft信道估计方法
CN103065636B (zh) 语音频信号的丢帧补偿方法和装置
Rodbro et al. Time-scaling of sinusoids for intelligent jitter buffer in packet based telephony

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161012

Address after: 210012 Nanjing, Yuhuatai District, South Street, Bauhinia Road, No. 68

Applicant after: Nanjing Zhongxing Software Co., Ltd.

Address before: 518057 Nanshan District Guangdong high tech Industrial Park, South Road, science and technology, ZTE building, Ministry of Justice

Applicant before: ZTE Corporation

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180424

Address after: 518057, A building, Zhongxing building, Nanshan District science and Technology Park, Shenzhen, Guangdong, five

Patentee after: ZTE Corporation

Address before: No. 68, Zijing flower road, Ningnan street, Yuhuatai District, Nanjing

Patentee before: Nanjing Zhongxing Software Co., Ltd.