CN105431898B - 具有带有能量调整模块的频宽扩展模块的音频解码器 - Google Patents
具有带有能量调整模块的频宽扩展模块的音频解码器 Download PDFInfo
- Publication number
- CN105431898B CN105431898B CN201480035519.1A CN201480035519A CN105431898B CN 105431898 B CN105431898 B CN 105431898B CN 201480035519 A CN201480035519 A CN 201480035519A CN 105431898 B CN105431898 B CN 105431898B
- Authority
- CN
- China
- Prior art keywords
- audio
- audio frame
- signal
- current
- gain factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 71
- 238000001228 spectrum Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 5
- 238000010183 spectrum analysis Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000005284 excitation Effects 0.000 description 10
- 239000002131 composite material Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 230000001934 delay Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000009432 framing Methods 0.000 description 5
- 238000005086 pumping Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000000454 anti-cipatory effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
提供一种用于从包含音频帧的比特流产生音频信号的音频解码器，该音频解码器包括：核心频带解码模块，用于从比特流得到直接解码的核心频带音频信号；频宽扩展模块，用于从核心频带音频信号以及从比特流得到参数式解码的频宽扩展音频信号，其中频宽扩展音频信号基于具有至少一个频带的频域信号；以及组合器，用于组合核心频带音频信号与频宽扩展音频信号以产生音频信号；其中频宽扩展模块包括能量调整模块，以此种方式配置能量调整模块：在发生音频帧丢失的当前音频帧中，基于用于当前音频帧的当前增益因子以及基于用于至少一个频带的估计的信号能量，设定用于至少一个频带的当前音频帧的调整的信号能量，其中从来自在先音频帧或来自比特流的增益因子得到当前增益因子，从核心频带音频信号的当前音频帧的频谱得到估计的信号能量。
Description
背景技术
类似于其他频宽扩展技术的谱带复制(Spectral Band Replication，SBR)意在核心编码器级之上对音频信号的频谱高频带部分进行编码和解码。SBR在[ISO09]中标准化，并与MPEG-4档次HE-AAC中的AAC联合使用，AAC用于各种应用标准中，如3GPP[3GP12a]、DAB+[EBU10]和DRM[EBU12]。
在[ISO09,4.6.18节]中描述了结合AAC解码的现有技术水平的SBR。
图1说明包括分析和合成滤波器组、SBR数据解码、HF生成器以及HF调整器的现有技术水平的SBR解码器：
·在现有技术水平的SBR解码中，核心编码器的输出为原始信号的低通滤波表示。其为SBR解码器的QMF分析滤波器组的输入Xpcm_in。
·此滤波器组的输出XQMF_ana被传递至HF生成器，在该HF生成器处发生修补。修补基本上是低频带频谱向上至高频带的复制。
·现在，将修补的频谱XHF_patched与从SBR数据解码中获得的高频带(包络)的频谱信息一起提供至HF调整器。对包络信息进行哈夫曼(Huffman)解码，然后进行差分解码且最终进行解量化以获得包络数据(参见图2)。获得的包络数据为覆盖特定时间量(如，全帧或其部分)的比例因子的集合。HF调整器适当地调整修补的高频带的能量以在编码器侧针对每个频带k尽可能好地与原始高频带能量相匹配。方程式1和图2阐明此：
gsbr[k]＝ERef[k]/EEstAvg[l]
EAdj[k]＝EEst[k]×gsbr[k] (1)
其中
ERef[k]表示在SBR比特流中以编码的形式传输的针对一个频带k的能量；
EEst[k]表示由HF生成器修补的来自一个高频带k的能量；
EEstAvg[l]表示被定义为开始频带和停止频带之间的频带范围的一个比例因子频带l内部的平均高频带能量：
表示由HF调整器使用增益sbr调整的来自一个高频带k的能量；
表示从方程式(1)中所示出的除法产生的一个增益因子。
·合成QMF滤波器组将处理的QMF样本解码为PCM音频
如果重建的频谱缺少噪声(该噪声存在于原始高频带中而未由HF生成器修补)，则存在针对每个频带k添加具有特定噪声底限Q的某个额外噪声的可能性。
此外，现有技术水平的SBR允许在每个帧的特定限制和多个包络内移动SBR帧边界。
在[EBU12，5.6.2.2节]中描述了结合CELP/HVXC的SBR解码。DRM中的CELP/HVXC+SBR解码器与1.1.1节中所描述的HEAAC中的现有技术水平的SBR解码紧密相关。基本上，图1适用。
包络信息的解码适于类语音信号的频谱特性，如[EBU12，5.6.2.2.4节]中所描述。
在规则的AMR-WB解码中，通过生成白噪声uHB1(n)获得高频带激励。设定高频带激励的功率等于低频带激励u2(n)的功率，
意味着
最后由下式发现高频带激励
其中为增益因子。
在23.85kbit/s的模式中，从接收的增益索引(旁侧信息)中解码
在6.60、8.85、12.65、14.25、15.85、18.25、19.85和23.05kbit/s的模式中，使用边界为[0.1,1.0]的声音信息估计gHB。首先，发现合成的倾斜etilt
其中为高通滤波低频带语音合成截止频率为400Hz。然后发现gHB
gHB＝ωSP·gSP+(1-ωSP)·gBG (7)
其中gSP＝1-etilt为用于语音信号的增益，gBG＝1.25gSP为用于背景噪声信号的增益，wSP为加权函数，其在声音活动检测(VAD)为ON时被设定为1，在VAD为OFF时被设定为0。gHB边界在[0.1,1.0]之间。在较少能量存在于高频处的有声区段的情况下，etilt近似1，致使较低增益gHB。此减少了在有声区段的情况下所生成的噪声的能量。
然后，从加权的低频带LP合成滤波器得到高频带LP合成滤波器AHB(Z)
其中为内插LP合成滤波器。已经通过以12.8KHz的取样速率(但现在其用于16KHz信号)分析信号而计算这意味着12.8KHz域中的频带5.1-5.6KHz将被映射至16KHz域中的6.4-7.0KHz。
然后通过AHB(z)对uHB(n)进行滤波。通过带通FIR滤波器HHB(z)对此高频带合成的输出sHB(n)进行滤波，该带通FIR滤波器HHB(z)具有从6至7KHz的通带。最终，sHB被添加至合成的语音以产生合成的输出语音信号。
在AMR-WB+中，HF信号由输入信号的(fs/4)以上的频率分量构成。为了以低速率表示HF信号，应用频宽扩展(BWE)方法。在BWE中，以频谱包络和帧能量的形式将能量信息发送至解码器，但在解码器处从LF信号中所接收(解码)的激励信号对信号的精细结构外插。
可将减少取样的信号的频谱sHF视作在减少取样之前的高频带的折叠版本(foldedversion)。对sHF(n)执行LP分析以获得系数集合，该系数集合对此信号的频谱包络进行模型化。通常，需要比在LF信号中较少的参数。此处，使用8阶滤波器。然后将LP系数变换至ISP表示并对其量化以进行传输。
HF信号的合成实施一种频宽扩展(BWE)机制，并使用来自LF解码器的某些数据。它是在AMR-WB语音解码器(参见上文)中使用的BWE机制的演进。图3中详细地描述HF解码器。
在以下两个步骤中合成HF信号：
1.HF激励的计算；
2.来自HF激励的HF信号的计算。
通过基于64样本子帧利用比例因子(或增益)在时域中成形LF激励信号而获得HF激励。对此HF激励进行后处理以减少输出的“嗡嗡声(buzziness)”，然后通过HF线性预测性合成滤波器1/AHF(z)进行滤波。进一步对结果进行后处理以平滑能量变化。对进一步的信息，请参考[3GP09]。
结合AAC的SBR中的封包丢失隐藏在3GPP TS 26.402[3GP12a,5.2节]中被指定，并随后在DRM[EBU12,5.6.3.1节]和DAB[EBU10,A2节]中被重新使用。
在帧丢失的情况下，设定每个帧的包络的数目为1，并重新使用最后有效接收的包络数据，并针对每个隐藏帧以恒定的比降低其能量。
然后将得到的包络数据提供至正常解码过程，在该过程中HF调整器使用这些包络数据以计算增益，该增益用于调整出自HF生成器的修补的高频带。剩余的SBR解码照常发生。
此外，编码的噪声底限差量值被设定为0，其使得差量解码的噪声底限保持稳定。在解码过程的末尾，这意味着噪声底限的能量跟随HF信号的能量。
此外，将用于添加正弦的旗标清零。
现有技术水平的SBR隐藏还处理恢复。其预期在可由失配的帧边界引起的能量间隙方面从隐藏的信号平滑过渡至正确解码的信号。
[EBU12,5.6.3.2节]中描述了结合CELP/HVXC的现有技术水平的SBR隐藏，并在下文中间要概述：
每当检测到损毁的帧时，将数据值的预定集合应用至SBR解码器。此产生“在低的相对重放水平处的静态高频带频谱包络，呈现朝向较高频率的滚降”[EBU12,5.6.3.2节]。此处，SBR隐藏插入某种舒缓噪声，其在SBR域中没有专用衰落。此防止听者的耳朵受到潜在的大声音突发的影响并保持恒定频宽的印象。
在[ITU08,7.11.1.7.1]中描述了现有技术水平的G.718的BWE的隐藏，并简要概述如下：
在低延迟模式中，其仅仅在层1和2中可用，正好以与未发生帧擦除时的相同方式执行高频带6000-7000Hz的隐藏。对于层1、2和3，干净频道解码器操作如下：应用盲频道扩展。在6400-7000Hz的范围中的频谱填满在激励域(高频带的能量必须与低频带能量相匹配)中适当地按比例调整的白噪声信号。然后，与通过自和在12.8kHz域中使用的相同的LP合成滤波器的加权得到的滤波器合成。对于层4和5，不执行频宽扩展，因为这些层覆盖高达8kHz的全频带。
在默认操作中，执行低复杂性处理以在16kHz采样频率处重建合成的信号的高频带。首先，按比例调整的高频带激励u″HB(n)在整个帧中线性地衰减如：
其中帧长度为320个样本，gatt(n)为衰减因子，由下式给定
在以上方程式中，为平均音高增益(pitch gain)，其是与在自适应码本的隐藏期间使用的相同增益。然后，使用如在方程式10中得到的gatt(n)对频率范围6000-7000Hz中的带通滤波器的存储器进行衰减，以防止任何不连续性。最终，通过合成滤波器对高频激励信号u″′(n)进行滤波。然后，将合成的信号添加至在16kHz取样频率处的隐藏的合成。
在[3GP12b,6.2.4]中概述了现有技术水平的AMR-WB中的盲频宽扩展的隐藏，并在此简要总结：
当帧丢失或部分丢失时，未接收到高频带增益参数且替代使用用于高频带增益的估计。这意味着在不良/丢失语音帧的情况下，针对所有不同模式，以相同的方式操作高频带重建。
在帧丢失的情况下，如往常一样从来自核心频带的LPC系数得到高频带LP合成滤波器。唯一的例外是，LPC系数尚未从比特流中解码，但使用规则的AMR-WB隐藏方法外插LPC系数。
在[3GP09,6.2]中概述了现有技术水平的AMR-WB+中的频宽扩展的隐藏，并在此简要总结：
在封包丢失的情况下，从不良帧指示符向量BFI＝(bfi0，bfi1，bfi2，bfi3)生成HF解码器内部的控制数据。这些数据为BFIGAIN以及用于ISF内插的子帧的数目。在下文中更详细地定义这些数据的性质：
为指示ISF参数的丢失的二进制旗标。由于用于HF信号的ISF参数总是在HF20、40或80中任一个的第一封包(包含第一子帧)中传输，丢失旗标总是被设定为第一子帧的bfi指示符(bfi0)。对于丢失HF增益的指示同样成立。如果当前模式的第一封包/子帧(HF20、40或80)丢失，则增益丢失并需要被隐藏。
HF ISF向量的隐藏非常类似于用于核心ISF的ISF隐藏。主要思想是，重新使用最后良好的ISF向量，但朝向平均ISF向量(其中离线训练该平均ISF向量)将其移位：
isfq[i]＝0.9·isfq[i]+0.1·mean_isf_hf[i] (11)
根据以下源代码估计BWE增益(在代码中：2.807458位解码器常量)。
为了得到“与在fs/4处的幅度相匹配的增益”，执行与在干净频道解码中相同的算法，但不同在于，用于HF和/或LF部分的ISF可能已被隐藏。所有以下步骤如linear！dB内插、求和以及增益的应用均与在干净频道的情况下相同。
为得到激励，应用与正确接收的帧中相同的过程，其中在下述步骤之后使用较低频带激励：
·被随机化
·在时域中利用子帧增益而被放大
·在频域中利用LP滤波器而被成形
·随时间平滑能量
然后，根据图3执行合成。
AES会议论文6789：Schneider、Krauss和Ehret[SKE06]描述重新使用最后有效SBR包络数据的隐藏技术。如果一个以上的SBR帧丢失，应用衰落。“基本原理在于仅仅锁定最后已知有效的SBR包络值直至可利用新传输的数据继续SBR处理为止。此外，如果一个以上的SBR帧不可解码，则执行衰落”。
AES会议论文6962：Sang-Uk Ryu和Kenneth Rose[RR06]描述利用来自在先帧和下一个帧的SBR数据来估计参数信息的隐藏技术。从周围帧中的能量演变自适应地估计高频带包络。
封包丢失隐藏概念可在封包丢失期间产生感观上降级的音频信号。
发明内容
本发明的目的在于提供一种音频解码器和一种具有改良的封包丢失隐藏概念的方法。
通过用于从包含音频帧的比特流产生音频信号的音频解码器可实现此目的，该音频解码器包括：
核心频带解码模块，用于从比特流得到直接解码的核心频带音频信号；
频宽扩展模块，用于从核心频带音频信号以及从比特流得到参数式解码的频宽扩展音频信号，其中频宽扩展音频信号基于具有至少一个频带的频域信号；以及
组合器，用于组合核心频带音频信号与频宽扩展音频信号以产生音频信号；
其中频宽扩展模块包括能量调整模块，以此种方式配置能量调整模块：在发生音频帧丢失的当前音频帧中，基于用于当前音频帧的当前增益因子以及基于用于至少一个频带的估计的信号能量，设定用于至少一个频带的当前音频帧的调整的信号能量，其中从来自在先音频帧或来自比特流的增益因子得到当前增益因子，从核心频带音频信号的当前音频帧的频谱得到估计的信号能量。
根据本发明的音频解码器在能量方面将频宽扩展模块链接至核心频带解码模块，或换言之，确保频宽扩展模块在隐藏期间以能量节约的方式跟随核心频带解码模块，而不管核心频带解码模块做什么。
此方法的创新在于，在隐藏的情况下，高频带生成不再严格地适于包络能量。利用增益锁定的技术，在隐藏期间高频带能量适于低频带能量，且因此不再仅依赖于在最后良好的帧中传输的数据。此进程采用使用低频带信息用于高频带重建的想法。
利用此方法，不需要将额外数据(如，衰落因子)从核心编码器发送至频宽扩展编码器。这使得该技术可简单地应用至具有频宽扩展的任何编码器(尤其是SBR)，在该编码器处已经固有地执行增益计算(方程式1)。
本发明音频解码器的隐藏考虑核心频带解码模块的衰落斜率。这整体地导致衰落的预期行为：
避免了以下情形：其中核心频带解码模块的频带的能量相比于频宽扩展模块的频带的能量衰落地较慢，其将变成可感知的且造成频带有限信号的不可爱的印象。
此外，还避免了以下情形：其中核心频带解码模块的频带的能量相比于频宽扩展模块的频带的能量衰落地较快，其将由于频宽扩展模块的频带相对于核心频带解码模块的频带被过于放大而引入伪讯(artifact)。
与具有带有预定义能量水平的频宽扩展的非衰落解码器(例如，CELP/HVXC+SBR解码器)(其仅保留特定信号类型的频谱倾斜)相比，本发明音频解码器与信号的频谱特征相独立地工作，以便避免音频信号的感观上解码的降级。
所提出的技术可供除核心频带解码模块(下文中核心编码器)之外的任何频宽扩展(BWE)方法使用。大多数频宽扩展技术基于原始能量水平与在复制核心频谱之后获得的能量水平之间的每频带增益。所提出的技术并不像现有技术水平一样对在先音频帧的能量起作用，而对在先音频帧的增益起作用。
当音频帧丢失或不可读(或换言之，如果发生音频帧丢失)时，来自最后良好帧的增益被提供至核心频带解码模块的正常解码过程，其调整频宽扩展模块的频带的能量(参见方程式1)。这形成隐藏。通过核心频带解码模块隐藏而应用在核心频带解码模块上的任何衰落，将通过锁定低频带与高频带之间的能量比率而自动地应用至频宽扩展模块的频带的能量。
具有至少一个频带的频域信号可以(例如)是代数码激励线性预测激励信号(ACELP激励信号)。
在一些实施例中，频宽扩展模块包括：增益因子提供模块，用于将至少在发生音频帧丢失的当前音频帧中的当前增益因子转发至能量调整模块。
在优选的实施例中，增益因子提供模块以此种方式配置：在发生音频帧丢失的当前音频帧中，当前增益因子为在先音频帧的增益因子。此实施例通过锁定针对最后良好帧中的最后包络而得到的增益，完全地停止频宽扩展解码模块中包含的衰落：
EAdj[k]＝EEst[k]*gbwe[k] (12)
其中EAdj[k]表示来自频宽扩展模块的一个频带k的能量，可被调整以尽可能好地表达原始的能量分布；表示当前帧的增益因子；以及表示在先帧的增益因子。
在其他优选实施例中，增益因子提供模块以此种方式配置：在发生帧丢失的当前音频帧中，从在先音频帧的增益因子和从在先音频帧的信号类别计算当前增益因子。
此实施例使用信号分类器以基于过去的增益以及还自适应地基于先前接收的帧的信号类别来计算增益：
EAdj[k]＝EEst[k]*gbwe[k] (13)
其中表示取决于在先音频帧的增益因子和在先音频帧的信号类别的函数。信号类别可以指语音声的类别，如：阻塞音(具有子类别：塞音、塞擦音、擦音)、响音(此子类别：鼻音、闪音、近音、元音)、边音、颤音。
在优选的实施例中，增益因子提供模块用于计算发生音频帧丢失的随后音频帧的数目，且用于在发生音频帧丢失的随后音频帧的数目超出预定义数目的情况下，执行增益因子降低过程。
如果擦音直接发生在突发帧丢失(随后音频帧中的多个帧丢失)之前，则核心频带解码模块的固有默认衰落可能太慢而不能结合增益锁定以确保令人愉快且自然的声音。此问题的感知结果可以是在频宽扩展模块的频带中具有太多能量的延长的擦音。为此，对多个帧丢失执行检查。如果此检查为肯定的，则执行增益因子降低过程。
在优选的实施例中，增益因子降低过程包括：在当前增益因子超出第一阈值的情况下，通过将当前增益因子除以第一数字而降低当前增益因子的步骤。通过这些特征，超出第一阈值(可根据经验确定)的增益被降低。
在优选的实施例中，增益因子降低过程包括：在当前增益因子超出大于第一阈值的第二阈值的情况下，通过将当前增益因子除以大于第一数字的第二数字而降低当前增益因子的步骤。这些特征保证极高的增益降低地甚至更快。所有超出第二阈值的增益将降低地更快。
在一些实施例中，增益因子降低过程包括：在降低后的当前阈值低于第一阈值的情况下，将当前增益因子设定为第一阈值的步骤。通过这些特征，防止降低的增益降至第一阈值之下。
在伪代码1内可看见示例：
其中previousFrameErrorFlag为旗标，指示是否存在多个帧丢失，BWE_GAINDEC表示第一阈值，50*BWE_GAINDEC表示第二阈值，以及gain[k]表示用于频带k的当前增益因子。
在一些实施例中，频宽扩展模块包括：噪声生成器模块，用于将噪声添加至至少一个频带，其中在发生音频帧丢失的当前音频帧中，使用信号能量对在先音频帧的至少一个频带的噪声能量的比率来计算当前音频帧的噪声能量。
在存在实施于频宽扩展的噪声底限特征(即，用于保留原始信号的噪度的额外噪声分量)的情况下，有必要采用也朝向噪声底限的增益锁定的想法。为实现此，考虑频宽扩展模块的频带的能量，将非隐藏帧的噪声底限能量水平转换为噪声比率。该比率被保存至缓冲器且将作为用于隐藏情况下的噪声水平的基数。主要优点在于，归因于比率prev_noise[k]的计算，较佳地将噪声底限耦合至核心编码器能量。
伪代码2示出此：
其中frameErrorFlag为指示是否存在帧丢失的旗标，以及prev_noise[k]为频带k的能量nrgHighband[k]与频带k的噪声水平noiseLevel[k]之间的比率。
在优选的实施例中，音频解码器包括：频谱分析模块，用于建立核心频带音频信号的当前音频帧的频谱，并从核心频带音频信号的当前音频帧的频谱得到用于至少一个频带的当前帧的估计的信号能量。
在一些实施例中，增益因子提供模块以此种方式配置：在未发生音频帧丢失的当前音频帧随后地紧跟着发生音频帧丢失的在先音频帧的情况下，如果频宽扩展模块的音频帧相对于核心频带解码模块的音频帧之间的延迟小于延迟阈值，则针对当前音频帧接收的增益因子用于当前帧；而如果频宽扩展模块的音频帧相对于核心频带解码模块的音频帧之间的延迟大于延迟阈值，则来自在先音频帧的增益因子用于当前帧。
除了隐藏之外，在频宽扩展模块中，需要特别关注成帧。频宽扩展模块的音频帧和核心频带解码模块的音频帧常常未能准确地对准，而具有特定延迟。因此，可能发生以下情形：一个丢失封包包含有相对于同一封包中包含的核心信号延迟的频宽扩展数据。
此情况下的结果为，丢失之后的第一良好封包可包含扩展数据以创建在先核心频带解码模块音频帧的频宽扩展模块的频带的部分，该部分已在解码器中隐藏。
为此，在恢复期间需要取决于核心和解码模块以及频宽扩展模块的各个属性考虑成帧。这可以意味着，将频宽扩展模块中的第一音频帧或其部分视为错误的，且对于一个额外帧不立刻应用最新增益而是保持来自第一音频帧的锁定增益。
是否保持用于第一良好帧的锁定增益取决于延迟。对于具有不同延迟的编解码器的实验应用示出针对具有不同延迟的编解码器的不同益处。对于具有相当小延迟(如，1ms)的编解码器，较佳使用用于第一良好音频帧的最新增益。
在优选的实施例中，频宽扩展模块包括：信号生成器模块，用于基于核心频带音频信号和比特流创建具有至少一个频带的未经加工的频域信号，该信号被转发至能量调整模块。
在优选的实施例中，频宽扩展模块包括：信号合成模块，用于从频域信号产生频宽扩展音频信号。
可以通过用于从包含音频帧的比特流产生音频信号的方法实现本发明的目的。该方法包括步骤：
从比特流得到直接解码的核心频带音频信号；
从核心频带音频信号以及从比特流得到参数式解码的频宽扩展音频信号，其中频宽扩展音频信号基于具有至少一个频带的频域信号；以及
组合核心频带音频信号和频宽扩展音频信号以产生音频信号；
其中在发生音频帧丢失的当前音频帧中，基于用于当前音频帧的当前增益因子以及基于用于至少一个频带的估计的信号能量，设定用于至少一个频带的当前音频帧的调整的信号能量，其中从来自在先音频帧或来自比特流的增益因子得到当前增益因子，从核心频带音频信号的当前音频帧的频谱得到估计的信号能量。
可通过计算机程序进一步实现本发明的目的，该计算机程序，当其在计算机或处理器上运行时，用于执行上述的方法。
附图说明
随后，关于附图论述本发明的优选实施例，其中：
图4在示意图中说明根据本发明的音频解码器的实施例；以及
图5说明根据本发明的音频解码器的实施例的成帧。
具体实施方式
图4在示意图中说明根据本发明的音频解码器1的实施例。音频解码器1用于从包含音频帧AF的比特流BS产生音频信号AS。音频解码器1包括：
核心频带解码模块，用于从比特流BS得到直接解码的核心频带音频信号CBS；
频宽扩展模块2，用于从核心频带音频信号CBS以及从比特流BS得到参数式解码的频宽扩展音频信号BES，其中频宽扩展音频信号BES基于具有至少一个频带FB的频域信号FDS；以及
组合器4，用于组合核心频带音频信号CBS与频宽扩展音频信号BES以产生音频信号AS；
其中频宽扩展模块3包括能量调整模块5，以此种方式配置能量调整模块5：在发生音频帧丢失AFL的当前音频帧AF2中，基于用于当前音频帧AF2的当前增益因子CGF以及基于用于至少一个频带FB的估计的信号能量EE，设定用于至少一个频带FB的当前音频帧AF2的调整的信号能量，其中从来自在先音频帧AF1或来自比特流BS的增益因子得到当前增益因子CGF，从核心频带音频信号CBS的当前音频帧AF2的频谱得到估计的信号能量EE。
根据本发明的音频解码器1在能量方面将频宽扩展模块3链接至核心频带解码模块，或换言之，确保频宽扩展模块3在隐藏期间以能量节约的方式跟随核心频带解码模块2，而不管核心频带解码模块2做什么。
此方法的创新在于，在隐藏的情况下，高频带生成不再严格地适于包络能量。利用增益锁定的技术，在隐藏期间高频带能量适于低频带能量，且因此不再仅依赖于在最后良好的帧AF1中传输的数据。此进程采用使用低频带信息用于高频带重建的想法。
利用此方法，不需要将额外数据(如，衰落因子)从核心编码器2发送至频宽扩展编码器3。这使得该技术可简单地应用至具有频宽扩展3的任何编码器1(尤其是SBR)，在该编码器处已经固有地执行增益计算(方程式1)。
本发明音频解码器1的隐藏考虑核心频带解码模块2的衰落斜率。这整体地导致衰落的预期行为：
避免了以下情形：其中核心频带解码模块2的频带FB的能量相比于频宽扩展模块3的频带FB的能量衰落地较慢，其将变成可感知的且造成频带有限信号的不可爱的印象。
此外，还避免了以下情形：其中核心频带解码模块2的频带FB的能量相比于频宽扩展模块3的频带FB的能量衰落地较快，其将由于频宽扩展模块3的频带FB相对于核心频带解码模块2的频带FB被过于放大而引入伪讯。
与具有带有预定义能量水平的频宽扩展的非衰落解码器(例如，CELP/HVXC+SBR解码器)(其仅保留特定信号类型的频谱倾斜)相比，本发明音频解码器1与信号的频谱特征相独立地工作，以便避免音频信号AS的感观上解码的降级。
所提出的技术可供除核心频带解码模块2(下文中核心编码器)之外的任何频宽扩展(BWE)方法使用。大多数频宽扩展技术基于原始的能量水平与在复制核心频谱之后获得的能量水平之间的每频带增益。所提出的技术并不像现有技术水平一样对在先音频帧的能量起作用，而对在先音频帧AF1的增益起作用。
当音频帧AF2丢失或不可读(或换言之，如果发生音频帧丢失AFL)时，来自最后良好的帧的增益被提供至核心频带解码模块2的正常解码过程，其调整频宽扩展模块3的频带FB的能量(参见方程式1)。这形成隐藏。通过核心频带解码模块隐藏而应用在核心频带解码模块2上的任何衰落，将通过锁定低频带与高频带之间的能量比率而自动地应用至频宽扩展模块3的频带FB的能量。
在一些实施例中，频宽扩展模块3包括：增益因子提供模块6，用于将至少在发生音频帧丢失AFL的当前音频帧AF2中的当前增益因子CGF转发至能量调整模块5。
在优选的实施例中，增益因子提供模块6以此种方式配置：在发生音频帧丢失AFL的当前音频帧AF2中，当前增益因子CGF为在先音频帧AF1的增益因子。
此实施例通过锁定针对最后良好的帧中的最后包络而得到的增益，完全地停止频宽扩展解码模块3中包含的衰落。
在其他优选实施例中，增益因子提供模块6以此种方式配置：在发生帧丢失AFL的当前音频帧AF2中，从在先音频帧的增益因子和从在先音频帧的信号类别计算当前增益因子CGF。
此实施例使用信号分类器以基于过去的增益以及还自适应地基于先前接收的帧AF1的信号类别来计算增益GCS。信号类别可以指语音声的类别，如：阻塞音(具有子类别：塞音、塞擦音、擦音)、响音(此子类别：鼻音、闪音、近音、元音)、边音、颤音。
在优选的实施例中，增益因子提供模块6用于计算发生音频帧丢失AFL的随后音频帧的数目，且用于在发生音频帧丢失AFL的随后音频帧的数目超出预定义数目的情况下，执行增益因子降低过程。
如果擦音直接发生在突发帧丢失(随后音频帧AF中的多个帧丢失AFL)之前，则核心频带解码模块2的固有默认衰落可能太慢而不能结合增益锁定以确保令人愉快且自然的声音。此问题的感知结果可以是在频宽扩展模块3的频带FB中具有太多能量的延长的擦音。为此，对多个帧丢失AFL执行检查。如果此检查为肯定的，则执行增益因子降低过程。
在优选的实施例中，增益因子降低过程包括：在当前增益因子超出第一阈值的情况下，通过将当前增益因子除以第一数字而降低当前增益因子的步骤。通过这些特征，超出第一阈值(可根据经验确定)的增益被降低。
在优选的实施例中，增益因子降低过程包括：在当前增益因子超出大于第一阈值的第二阈值的情况下，通过将当前增益因子除以大于第一数字的第二数字而降低当前增益因子的步骤。这些特征保证极高的增益降低地甚至更快。所有超出第二阈值的增益将降低地更快。
在一些实施例中，增益因子降低过程包括：在降低后的当前阈值低于第一阈值的情况下，将当前增益因子设定为第一阈值的步骤。通过这些特征，防止降低的增益降至第一阈值之下。
在一些实施例中，频宽扩展模块3包括：噪声生成器模块7，用于将噪声NOI添加至至少一个频带FB，其中在发生音频帧丢失AFL的当前音频帧AF2中，使用信号能量对在先音频帧AF1的至少一个频带FB的噪声能量的比率来计算当前音频帧AF2的噪声能量。
在存在实施于频宽扩展3的噪声底限特征(即，用于保留原始信号的噪度的额外噪声分量)的情况下，有必要采用也朝向噪声底限的增益锁定的想法。为实现此，考虑频宽扩展模块的频带的能量，将非隐藏帧的噪声底限能量水平转换为噪声比率。该比率被保存至缓冲器且将作为用于隐藏情况下的噪声水平的基数。主要优点在于，归因于比率的计算，较佳地将噪声底限耦合至核心编码器能量。
在优选的实施例中，音频解码器1包括：频谱分析模块8，用于建立核心频带音频信号CBS的当前音频帧AF2的频谱，并从核心频带音频信号CBS的当前音频帧AF2的频谱得到用于至少一个频带FB的当前帧AF2的估计的信号能量EE。
在优选的实施例中，频宽扩展模块3包括：信号生成器模块9，用于基于核心频带音频信号CBS和比特流BS，创建具有至少一个频带FB的未经加工的频域信号RFS，该信号被转发至能量调整模块5。
在优选的实施例中，频宽扩展模块3包括：信号合成模块10，用于从频域信号FDS产生频宽扩展音频信号BES。
图5说明根据本发明的音频解码器1的实施例的成帧。
在一些实施例中，增益因子提供模块6以此种方式配置：在未发生音频帧丢失AFL的当前音频帧AF2随后地紧跟着发生音频帧丢失AFL的在先音频帧AF1的情况下，如果频宽扩展模块3的音频帧AF相对于核心频带解码模块2的音频帧AF’之间的延迟DEL小于延迟阈值，则针对当前音频帧AF2接收的增益因子用于当前帧AF2；而如果频宽扩展模块3的音频帧AF相对于核心频带解码模块3的音频帧AF’之间的延迟DEL大于延迟阈值，则来自在先音频帧AF1的增益因子用于当前帧AF2。
除了隐藏之外，在频宽扩展模块3中，需要特别关注成帧。频宽扩展模块的音频帧AF和核心频带解码模块3的音频帧AF’常常未能准确地对准，而具有特定延迟DEL。因此，可能发生以下情形：一个丢失封包包含有相对于同一封包中包含的核心信号延迟的频宽扩展数据。
此情况下的结果为，丢失之后的第一良好封包可包含扩展数据以创建在先核心频带解码模块音频帧AF’的频宽扩展模块3的频带FB的部分，该部分已在解码器2中隐藏。
为此，在恢复期间需要取决于核心解码模块以及频宽扩展模块的各个属性考虑成帧。这可以意味着，将频宽扩展模块3中的第一音频帧或其部分视为错误的，且对于一个额外帧不立刻应用最新增益因子而是保持来自第一音频帧的锁定增益。
是否保持用于第一良好帧的锁定增益取决于延迟。对于具有不同延迟的编解码器的实验应用示出针对具有不同延迟的编解码器的不同益处。对于具有相当小延迟(如，1ms)的编解码器，较佳使用用于第一良好音频帧的最新增益因子。
尽管已在装置的上下文中描述一些方面，但显然，这些方面亦表示对应方法的描述，其中区块或器件对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中所描述的方面亦表示对应装置的对应区块或项目或特征的描述。一些或所有方法步骤可通过(或使用)硬件装置(例如，微处理器、可编程计算机或电子电路)来执行。在一些实施例中，可通过此种装置执行最重要方法步骤的某个或更多。
取决于某些实施要求，本发明的实施例可以硬件或软件实施。可使用具有存储于其上的电子可读控制信号的诸如数字存储介质的非暂时性存储介质，例如软性磁盘、DVD、蓝光光碟、CD、ROM、PROM、EPROM、EEPROM或闪存，执行实施方案，这些电子可读控制信号与可编程计算机系统协作(或能够协作)以使得执行各个方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包含具有电子可读控制信号的数据载体，这些电子可读控制信号能够与可编程计算机系统协作，使得执行本文中所描述的方法中的一个。
大体而言，本发明的实施例可实施为具有程序代码的计算机程序产品，当计算机程序产品执行于计算机上时，程序代码操作性地用于执行这些方法中的一个。程序代码可(例如)储存于机器可读载体上。
其他实施例包含储存于机器可读载体上的用于执行本文中所描述的方法中的一个的计算机程序。
换言之，因此，本发明方法的实施例为具有程序代码的计算机程序，当计算机程序执行于计算机上时，该程序代码用于执行本文中所描述的方法中的一个。
因此，本发明方法的另一实施例为包含记录于其上的，用于执行本文中所描述的方法中的一个的计算机程序的数据载体(或数字存储介质，或计算机可读介质)。数据载体、数字存储介质或记录介质为通常有形的和/或非变迁的。
因此，本发明方法的另一实施例为表示用于执行本文中所描述的方法中的一个的计算机程序的数据流或信号序列。数据流或信号序列可例如用于经由数据通信连接(例如，经由因特网)而传送。
另一实施例包含用于或经调适以执行本文中所描述的方法中的一个的处理构件，例如，计算机或可编程逻辑器件。
另一实施例包含安装有用于执行本文中所描述的方法中的一个的计算机程序的计算机。
根据本发明的另一实施例包括用于将用于执行本文中所描述的方法中的一个的计算机程序发送(如，电子或光)至接收器的装置或系统。接收器可以是，例如，计算机、移动装置、存储器装置或类似。装置或系统可以是，例如，包括用于将计算机程序发送至接收器的文件服务器。
在一些实施例中，可编程逻辑器件(例如，场可编程门阵列)可用于执行本文中所描述的方法的功能性中的一些或所有。在一些实施例中，场可编程门阵列可与微处理器协作，以便执行本文中所描述的方法中的一个。大体而言，较佳地由任何硬件装置执行这些方法。
上文所描述的实施例仅仅说明本发明的原理。应理解，对本文中所描述的配置及细节的修改及变型对本领域技术人员而言将是显而易见。因此，仅意欲由待决专利的权利要求的范围限制，而不由通过本文的实施例的描述及解释而提出的特定细节限制。
附图标记：
1 音频解码器
2 核心频带解码模块
3 频宽扩展模块
4 组合器
5 能量调整模块
6 增益因子提供模块
7 噪声生成器模块
8 频谱分析模块
9 信号生成器模块
10 信号合成模块
AS 音频信号
BS 比特流
AF 音频帧
CBS 核心频带音频信号
BES 频宽扩展音频信号
FDS 频域信号
FB 频带
AFL 音频帧丢失
CGF 当前增益因子
EE 估计的信号能量
NOI 噪声
DEL 延迟
RFS 未经加工的频域信号
参考文献
[3GP09] 3GPP；Technical Specification Group Services and SystemAspects，Extended adaptive multi-rate-wideband(AMR-WB+)codec，3GPP TS 26.290，3rd Generation Partnership Project，2009.
[3GP12a] General audio codec audio processing functions；EnhancedaacPlus general audio codec；additional decoder tools(release 11)，3GPP TS26.402，3rd Generation Partnership Project，Sep 2012.
[3GP12b] Speech codec speech processing functions；adaptive multi-rate-wideband (AMRWB)speech codec；error concealment of erroneous or lostframes，3GPP TS 26.191，3rd Generation Partnership Project，Sep 2012.
[EBU10] EBU/ETSI JTC Broadcast，Digital audio broadcasting(DAB)；transport of advanced audio coding(AAC)audio，ETSI TS 102 563，EuropeanBroadcasting Union，May 2010.
[EBU12] Digital radio mondiale(DRM)；system specification，ETSI ES 201980，ETSI，Jun 2012.
[ISO09] ISO/IEC JTC1/SC29/WG11，Information technology-coding ofaudio-visual objects-part 3：Audio，ISO/IEC IS 14496-3，InternationalOrganization for Standardization，2009.
[ITU08] ITU-T，G.718：Frame error robust narrow-band and widebandembedded variable bit-rate coding of speech and audio from 8-32 kbit/s，Recommendation ITU-T G.718，Telecommunication Standardization Sector of ITU，Jun 2008.
[RR06] Sang-Uk Ryu and Kenneth Rose，Frame loss concealment for audiodecorders employing spectral band replication，Convention Paper 6962，Electrical and Computer Engineering，University of California，Oct 2006，AES.
[SKE06] Andreas Schneider，Kurt Krauss，and Andreas Enret，Evaluation ofreal-time transport protocol configurations using aacplus，Convention paper6789，AES，May 2006，Presented at the 120th Convention 2006 May 20-23.
Claims (15)
1.一种用于从包含音频帧(AF)的比特流(BS)产生音频信号(AS)的音频解码器，所述音频解码器(1)包括：
核心频带解码模块(2)，用于从所述比特流(BS)得到直接解码的核心频带音频信号(CBS)；
频宽扩展模块(3)，用于从所述核心频带音频信号(CBS)以及从所述比特流(BS)得到参数式解码的频宽扩展音频信号(BES)，其中所述频宽扩展音频信号(BES)基于具有至少一个频带(FB)的频域信号(FDS)；以及
组合器(4)，用于组合所述核心频带音频信号(CBS)与所述频宽扩展音频信号(BES)以产生所述音频信号(AS)；
其中所述频宽扩展模块(3)包括能量调整模块(5)，以此种方式配置所述能量调整模块(5)：在发生音频帧丢失(AFL)的当前音频帧(AF2)中，基于用于所述当前音频帧(AF2)的当前增益因子(CGF)以及基于用于所述至少一个频带的估计的信号能量(EE)，设定用于所述至少一个频带(FB)的所述当前音频帧(AF2)的调整的信号能量，其中从来自在先音频帧(AF1)或来自所述比特流(BS)的增益因子得到所述当前增益因子(CGF)，从所述核心频带音频信号(CBS)的当前音频帧(AF2’)的频谱得到所述估计的信号能量(EE)。
2.如权利要求1所述的音频解码器，其中频宽扩展模块(3)包括：
增益因子提供模块(6)，用于将至少在发生所述音频帧丢失(AFL)的所述当前音频帧(AF2)中的所述当前增益因子(CGF)转发至所述能量调整模块(5)。
3.如权利要求2所述的音频解码器，其中所述增益因子提供模块(6)以此种方式配置：在发生所述音频帧丢失(AFL)的所述当前音频帧(AF2)中，所述当前增益因子(CGF)为所述在先音频帧(AF1)的增益因子。
4.如权利要求2所述的音频解码器，其中所述增益因子提供模块(6)以此种方式配置：在发生所述音频帧丢失(AFL)的所述当前音频帧(AF2)中，从所述在先音频帧(AF1)的所述增益因子和从所述在先音频帧(AF1)的信号类别计算所述当前增益因子(CGF)。
5.如权利要求2所述的音频解码器，其中所述增益因子提供模块(6)用于计算发生音频帧丢失(AFL)的随后音频帧的数目，且用于在发生音频帧(AFL)丢失的所述随后音频帧的数目超出预定义数目的情况下，执行增益因子降低过程。
6.如权利要求5所述的音频解码器，其中所述增益因子降低过程包括在所述当前增益因子超出第一阈值的情况下，通过将所述当前增益因子除以第一数字而降低所述当前增益因子的步骤。
7.如权利要求6所述的音频解码器，其中所述增益因子降低过程包括在所述当前增益因子超出大于所述第一阈值的第二阈值的情况下，通过将所述当前增益因子除以大于所述第一数字的第二数字而降低所述当前增益因子的步骤。
8.如权利要求6所述的音频解码器，其中所述增益因子降低过程包括在降低后的当前阈值低于所述第一阈值的情况下，将所述当前增益因子设定为所述第一阈值的步骤。
9.如权利要求1所述的音频解码器，其中所述频宽扩展模块(3)包括：
噪声生成器模块(7)，用于将噪声(NOI)添加至所述至少一个频带(FB)，其中在发生所述音频帧丢失(AFL)的所述当前音频帧(AF2)中，使用所述信号能量对所述在先音频帧(AF1)的至少一个频带(FB)的噪声能量的比率来计算所述当前音频帧(AF2)的噪声能量。
10.如权利要求1所述的音频解码器，其中所述音频解码器(1)包括：
频谱分析模块(8)，用于建立所述核心频带音频信号(CBS)的所述当前音频帧(AF2’)的所述频谱，并从所述核心频带音频信号(CBS)的所述当前音频帧(AF2’)的所述频谱得到用于所述至少一个频带(FB)的所述当前音频帧(AF2)的所述估计的信号能量。
11.如权利要求2所述的音频解码器，其中所述增益因子提供模块(6)以此种方式配置：在未发生音频帧丢失的当前音频帧随后地紧跟着发生音频帧丢失的在先音频帧的情况下，如果所述频宽扩展模块(3)的音频帧(AF1，AF2)相对于所述核心频带解码模块(2)的音频帧(AF1’，AF2’)之间的延迟(DEL)小于延迟阈值，则针对所述当前音频帧接收的增益因子用于所述当前音频帧；而如果所述频宽扩展模块的所述音频帧相对于所述核心频带解码模块的所述音频帧之间的所述延迟(DEL)大于所述延迟阈值，则来自所述在先音频帧的增益因子用于所述当前音频帧。
12.如权利要求1所述的音频解码器，其中所述频宽扩展模块(3)包括：
信号生成器模块(9)，用于基于所述核心频带音频信号(CBS)和所述比特流(BS)创建具有至少一个频带(FB)的未经加工的频域信号(RFS)，所述未经加工的频域信号(RFS)被转发至所述能量调整模块(5)。
13.如权利要求1所述的音频解码器，其中所述频宽扩展模块(3)包括：
信号合成模块(10)，用于从所述频域信号(FDS)产生所述频宽扩展音频信号(BES)。
14.一种用于从包含音频帧(AF)的比特流(BS)产生音频信号(AS)的方法，所述方法包括步骤：
从所述比特流(BS)得到直接解码的核心频带音频信号(CBS)；
从所述核心频带音频信号(CBS)以及从所述比特流(BS)得到参数式解码的频宽扩展音频信号(BES)，其中频宽扩展音频信号(BES)基于具有至少一个频带(FB)的频域信号(FDS)；以及
组合所述核心频带音频信号(CBS)和所述频宽扩展音频信号(BES)以产生所述音频信号(AS)；
其中在发生音频帧丢失(AFL)的当前音频帧(AF2)中，基于用于所述当前音频帧(AF2)的当前增益因子(CGF)以及基于用于所述至少一个频带(FB)的估计的信号能量，设定用于所述至少一个频带(FB)的所述当前音频帧(AF2)的调整的信号能量，其中从来自在先音频帧(AF1)或来自所述比特流(BS)的增益因子得到所述当前增益因子(CGF)，从所述核心频带音频信号(CBS)的当前音频帧(AF2’)的频谱得到所述估计的信号能量。
15.一种计算机可读存储介质，包括计算机程序，用于在执行于计算机或处理器上时执行如权利要求14所述的方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13173152.3 | 2013-06-21 | ||
| EP13173152 | 2013-06-21 | ||
| EP14167050 | 2014-05-05 | ||
| EP14167050.5 | 2014-05-05 | ||
| PCT/EP2014/062902 WO2014202701A1 (en) | 2013-06-21 | 2014-06-18 | Audio decoder having a bandwidth extension module with an energy adjusting module |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105431898A CN105431898A (zh) | 2016-03-23 |
| CN105431898B true CN105431898B (zh) | 2019-09-06 |
Family
ID=51022308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480035519.1A Active CN105431898B (zh) | 2013-06-21 | 2014-06-18 | 具有带有能量调整模块的频宽扩展模块的音频解码器 |
Country Status (18)
| Country | Link |
|---|---|
| US (2) | US10096322B2 (zh) |
| EP (1) | EP3011560B1 (zh) |
| JP (1) | JP6228298B2 (zh) |
| KR (2) | KR101991421B1 (zh) |
| CN (1) | CN105431898B (zh) |
| AU (1) | AU2014283285B2 (zh) |
| BR (1) | BR112015031605B1 (zh) |
| CA (1) | CA2915001C (zh) |
| ES (1) | ES2697474T3 (zh) |
| HK (1) | HK1224368A1 (zh) |
| MX (1) | MX358362B (zh) |
| MY (1) | MY169410A (zh) |
| PL (1) | PL3011560T3 (zh) |
| PT (1) | PT3011560T (zh) |
| RU (1) | RU2642894C2 (zh) |
| SG (1) | SG11201510458UA (zh) |
| TW (1) | TWI564883B (zh) |
| WO (1) | WO2014202701A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3011560B1 (en) * | 2013-06-21 | 2018-08-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder having a bandwidth extension module with an energy adjusting module |
| JP6576934B2 (ja) * | 2014-01-07 | 2019-09-18 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | 圧縮済みオーディオ信号の信号品質ベース強調及び補償 |
| WO2019081070A1 (en) * | 2017-10-27 | 2019-05-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | APPARATUS, METHOD, OR COMPUTER PROGRAM PRODUCT FOR GENERATING ENHANCED BANDWIDTH AUDIO SIGNAL USING NEURAL NETWORK PROCESSOR |
| CN109668917B (zh) * | 2018-09-29 | 2020-06-19 | 中国科学院高能物理研究所 | 一种利用单色器获得不同能量带宽x射线的方法 |
| CN113324546B (zh) * | 2021-05-24 | 2022-12-13 | 哈尔滨工程大学 | 罗经失效下的多潜航器协同定位自适应调节鲁棒滤波方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6009117A (en) * | 1996-09-17 | 1999-12-28 | Kabushiki Kaisha Toyoda Jidoshokki Seisakusho | Spread spectrum communication system |
| CN102449690A (zh) * | 2009-06-04 | 2012-05-09 | 高通股份有限公司 | 用于重建被擦除语音帧的系统与方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999050828A1 (en) | 1998-03-30 | 1999-10-07 | Voxware, Inc. | Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment |
| US6763142B2 (en) * | 2001-09-07 | 2004-07-13 | Nline Corporation | System and method for correlated noise removal in complex imaging systems |
| CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
| US6985856B2 (en) * | 2002-12-31 | 2006-01-10 | Nokia Corporation | Method and device for compressed-domain packet loss concealment |
| CA2603255C (en) | 2005-04-01 | 2015-06-23 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband speech coding |
| CN101213590B (zh) * | 2005-06-29 | 2011-09-21 | 松下电器产业株式会社 | 可扩展解码装置及丢失数据插值方法 |
| US8374857B2 (en) * | 2006-08-08 | 2013-02-12 | Stmicroelectronics Asia Pacific Pte, Ltd. | Estimating rate controlling parameters in perceptual audio encoders |
| US8433582B2 (en) * | 2008-02-01 | 2013-04-30 | Motorola Mobility Llc | Method and apparatus for estimating high-band energy in a bandwidth extension system |
| MX2011000361A (es) * | 2008-07-11 | 2011-02-25 | Ten Forschung Ev Fraunhofer | Un aparato y un metodo para generar datos de salida por ampliacion de ancho de banda. |
| WO2010051857A1 (en) * | 2008-11-10 | 2010-05-14 | Oticon A/S | N band fm demodulation to aid cochlear hearing impaired persons |
| US8718804B2 (en) * | 2009-05-05 | 2014-05-06 | Huawei Technologies Co., Ltd. | System and method for correcting for lost data in a digital audio signal |
| US9047875B2 (en) * | 2010-07-19 | 2015-06-02 | Futurewei Technologies, Inc. | Spectrum flatness control for bandwidth extension |
| CA2792011C (en) * | 2010-07-19 | 2016-04-26 | Dolby International Ab | Processing of audio signals during high frequency reconstruction |
| KR101826331B1 (ko) * | 2010-09-15 | 2018-03-22 | 삼성전자주식회사 | 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법 |
| WO2012131438A1 (en) * | 2011-03-31 | 2012-10-04 | Nokia Corporation | A low band bandwidth extender |
| US8909539B2 (en) * | 2011-12-07 | 2014-12-09 | Gwangju Institute Of Science And Technology | Method and device for extending bandwidth of speech signal |
| EP2950308B1 (en) * | 2013-01-22 | 2020-02-19 | Panasonic Corporation | Bandwidth expansion parameter-generator, encoder, decoder, bandwidth expansion parameter-generating method, encoding method, and decoding method |
| EP3011560B1 (en) * | 2013-06-21 | 2018-08-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder having a bandwidth extension module with an energy adjusting module |
-
2014
- 2014-06-18 EP EP14733125.0A patent/EP3011560B1/en active Active
- 2014-06-18 JP JP2016520479A patent/JP6228298B2/ja active Active
- 2014-06-18 MX MX2015017846A patent/MX358362B/es active IP Right Grant
- 2014-06-18 RU RU2016101607A patent/RU2642894C2/ru active
- 2014-06-18 PL PL14733125T patent/PL3011560T3/pl unknown
- 2014-06-18 BR BR112015031605-0A patent/BR112015031605B1/pt active IP Right Grant
- 2014-06-18 SG SG11201510458UA patent/SG11201510458UA/en unknown
- 2014-06-18 KR KR1020167001236A patent/KR101991421B1/ko active IP Right Grant
- 2014-06-18 AU AU2014283285A patent/AU2014283285B2/en active Active
- 2014-06-18 CN CN201480035519.1A patent/CN105431898B/zh active Active
- 2014-06-18 MY MYPI2015002997A patent/MY169410A/en unknown
- 2014-06-18 ES ES14733125T patent/ES2697474T3/es active Active
- 2014-06-18 KR KR1020177028465A patent/KR20170124590A/ko not_active Application Discontinuation
- 2014-06-18 PT PT14733125T patent/PT3011560T/pt unknown
- 2014-06-18 WO PCT/EP2014/062902 patent/WO2014202701A1/en active Application Filing
- 2014-06-18 CA CA2915001A patent/CA2915001C/en active Active
- 2014-06-20 TW TW103121378A patent/TWI564883B/zh active
-
2015
- 2015-12-18 US US14/974,253 patent/US10096322B2/en active Active
-
2016
- 2016-10-27 HK HK16112361.8A patent/HK1224368A1/zh unknown
-
2018
- 2018-09-27 US US16/144,517 patent/US20190027153A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6009117A (en) * | 1996-09-17 | 1999-12-28 | Kabushiki Kaisha Toyoda Jidoshokki Seisakusho | Spread spectrum communication system |
| CN102449690A (zh) * | 2009-06-04 | 2012-05-09 | 高通股份有限公司 | 用于重建被擦除语音帧的系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2915001A1 (en) | 2014-12-24 |
| RU2016101607A (ru) | 2017-07-26 |
| JP2016530548A (ja) | 2016-09-29 |
| MX2015017846A (es) | 2016-04-18 |
| CA2915001C (en) | 2019-04-02 |
| EP3011560B1 (en) | 2018-08-01 |
| AU2014283285A1 (en) | 2016-02-11 |
| KR20170124590A (ko) | 2017-11-10 |
| KR101991421B1 (ko) | 2019-06-21 |
| TW201513097A (zh) | 2015-04-01 |
| WO2014202701A1 (en) | 2014-12-24 |
| PL3011560T3 (pl) | 2019-01-31 |
| SG11201510458UA (en) | 2016-01-28 |
| JP6228298B2 (ja) | 2017-11-08 |
| TWI564883B (zh) | 2017-01-01 |
| ES2697474T3 (es) | 2019-01-24 |
| US10096322B2 (en) | 2018-10-09 |
| US20160180854A1 (en) | 2016-06-23 |
| CN105431898A (zh) | 2016-03-23 |
| KR20160024920A (ko) | 2016-03-07 |
| EP3011560A1 (en) | 2016-04-27 |
| BR112015031605A2 (pt) | 2017-07-25 |
| MY169410A (en) | 2019-04-01 |
| US20190027153A1 (en) | 2019-01-24 |
| PT3011560T (pt) | 2018-11-09 |
| AU2014283285B2 (en) | 2017-09-21 |
| RU2642894C2 (ru) | 2018-01-29 |
| MX358362B (es) | 2018-08-15 |
| HK1224368A1 (zh) | 2017-08-18 |
| BR112015031605B1 (pt) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110289005B (zh) | 用于产生舒缓噪声的自适应频谱形状的装置及方法 | |
| JP5969513B2 (ja) | 不活性相の間のノイズ合成を用いるオーディオコーデック | |
| CN105765651B (zh) | 使用错误隐藏提供经解码的音频信息的音频解码器及方法 | |
| KR100915733B1 (ko) | 음성 신호들의 대역폭의 인공 확장을 위한 방법 및 장치 | |
| CN105431898B (zh) | 具有带有能量调整模块的频宽扩展模块的音频解码器 | |
| JP6513769B2 (ja) | 時間領域デコーダによって復号化された時間領域励振の受動的な音声または無声合成物を修正するための方法および装置 | |
| CN107492385B (zh) | 用于在音频信号解码器中进行频带扩展的优化缩放因子 | |
| CN105960675B (zh) | 音频信号解码器中改进的频带扩展 | |
| EP3427256B1 (en) | Hybrid concealment techniques: combination of frequency and time domain packet loss concealment in audio codecs | |
| AU2014211529B2 (en) | Apparatus and method for generating a frequency enhancement signal using an energy limitation operation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |