CN104813395A - 从带宽有限音频信号生成带宽扩展信号的设备和方法 - Google Patents

从带宽有限音频信号生成带宽扩展信号的设备和方法 Download PDF

Info

Publication number
CN104813395A
CN104813395A CN201380058323.XA CN201380058323A CN104813395A CN 104813395 A CN104813395 A CN 104813395A CN 201380058323 A CN201380058323 A CN 201380058323A CN 104813395 A CN104813395 A CN 104813395A
Authority
CN
China
Prior art keywords
bandwidth
time
time block
signal
maker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380058323.XA
Other languages
English (en)
Other versions
CN104813395B (zh
Inventor
弗雷德里克·纳格尔
斯特凡·维尔登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN104813395A publication Critical patent/CN104813395A/zh
Application granted granted Critical
Publication of CN104813395B publication Critical patent/CN104813395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Amplifiers (AREA)

Abstract

一种用于从带宽有限音频信号(105)生成带宽扩展信号(135)的设备(100)，带宽有限音频信号(105)包括多个连续带宽有限时间块(511)，设备(100)包括修补生成器(110)、信号操纵器(120)以及合并器(130)。修补生成器(110)被配置为执行谐波修补算法(515)，以得到修补信号(115)。修补生成器(110)被配置为：使用带宽有限音频信号(105)的多个连续带宽有限时间块(511)中的时间在先的带宽有限时间块(m-1)来执行针对多个连续带宽扩展时间块(513)中的当前带宽扩展时间块(m’)的谐波修补算法(515)。

Description

从带宽有限音频信号生成带宽扩展信号的设备和方法
技术领域
本发明涉及音频信号处理，具体涉及用于从带宽有限音频信号生成带宽扩展信号的设备和方法。
背景技术
音频信号的存储或传输常常受到严格的比特率约束的影响。过去，当仅极低的比特率可用时，编码者被迫大幅度地减少要传送的音频带宽。现在，现代音频编解码器可以通过使用带宽扩展(BWE)方法来对宽带信号进行编码，这些带宽扩展方法如下所述：M.Dietz,L.Liljeryd,K.and O.Kunz,“Spectral Band Replication,a novel approach inaudio coding,”in 112th AES Convention,Munich,May 2002；S.Meltzer,R.and F.Henn,“SBR enhanced audio codecs for digitalbroadcasting such as“Digital Radio Mondiale”(DRM),”in 112th AESConvention,Munich,May 2002；T.Ziegler,A.Ehret,P.Ekstrand and M.Lutzky,“Enhancing mp3with SBR:Features and Capabilities of the newmp3PRO Algorithm,”in 112th AES Convention,Munich,May 2002；International Standard ISO/IEC 14496-3:2001/FPDAM 1,“BandwidthExtension,”ISO/IEC,2002.Speech bandwidth extension method andapparatus,Vasu Iyengar et al；E.Larsen,R.M.Aarts,and M.Danessis.Efficient high-frequency bandwidth extension of music and speech.InAES 112th Convention,Munich,Germany,May 2002；R.M.Aarts,E.Larsen,and O.Ouweltjes.A unified approach to low-and high frequencybandwidth extension.In AES 115th Convention,New York,USA,October2003；K.A Robust Wideband Enhancement for NarrowbandSpeech Signal.Research Report,Helsinki University of Technology,Laboratory of Acoustics and Audio Signal Processing,2001；E.Larsenand R.M.Aarts.Audio Bandwidth Extension-Application topsychoacoustics,Signal Processing and Loudspeaker Design.John Wiley&Sons,Ltd,2004；E.Larsen,R.M.Aarts,and M.Danessis.Efficienthigh-frequency bandwidth extension of music and speech.In AES 112thConvention,Munich,Germany,May 2002；J.Makhoul.Spectral Analysisof Speech by Linear Prediction.IEEE Transactions on Audio andElectroacoustics,AU-21(3),June 1973；United States Patent Application08/951,029,Ohmori,et al.,Audio band width extending system andmethod；and United States Patent 6895375,Malah,D&Cox,R.V.:System for bandwidth extension of Narrow-band speech.这些算法依赖于高频成分(HF)的参数表现，该高频内容借助于移项进入高频频谱区(“修补”)和参数驱动的后处理的应用而从解码信号的低频部分(LF)生成。该低频部分使用任何音频或语音编码器来编码。例如，带宽扩展方法如下所述：M.Dietz,L.Liljeryd,K.and O.Kunz,“Spectral BandReplication,a novel approach in audio coding,”in 112th AES Convention,Munich,May 2002；S.Meltzer,R.and F.Henn,“SBR enhancedaudio codecs for digital broadcasting such as“Digital Radio Mondiale”(DRM),”in 112th AES Convention,Munich,May 2002；T.Ziegler,A.Ehret,P.Ekstrand and M.Lutzky,“Enhancing mp3with SBR:Featuresand Capabilities of the new mp3PRO Algorithm,”in 112th AESConvention,Munich,May 2002；and International Standard ISO/IEC14496-3:2001/FPDAM 1,“Bandwidth Extension,”ISO/IEC,2002。由VasuIyengar等人所提出的语音带宽扩展方法和设备依赖于单边带调制(SSB)，其也常被称为“复制”方法，用于生成多重HF修补。
近来，一种新的算法，其使用一组相位声码器(a bank of phasevocoders)，如下所述：M.Puckette.Phase-locked Vocoder.IEEE ASSPConference on Applications of Signal Processing to Audio and Acoustics,Mohonk 1995.",A.:Transient detection and preservation in thephase vocoder；citeseer.ist.psu.edu/679246.html；Laroche L.,Dolson M.:“Improved phase vocoder timescale modification of audio",IEEE Trans.Speech and Audio Processing,vol.7,no.3,pp.323—332；United StatesPatent 6549884,Laroche,J.&Dolson,M.:Phase-vocoder pitch-shifting,for the generation of the different patches,has been presented asdescribed in Frederik Nagel,Sascha Disch,“A harmonic bandwidthextension method for audio codecs,”ICASSP International Conference onAcoustics,Speech and Signal Processing,IEEE CNF,Taipei,Taiwan,April2009。此方法已被开发以避免听觉粗糙度，其常常在处于SSB带宽扩展中的信号中被观察到。虽然此方法有助于许多音调信号，但这个被称为“谐波带宽扩展”(HBE)的方法容易使包含在音频信号中的瞬态生成质量上的下降，如下所述：Frederik Nagel,Sascha Disch,Nikolaus Rettelbach,“Aphase vocoder driven bandwidth extension method with novel transienthandling for audio codecs,”126th AES Convention,Munich,Germany,May 2009。这是因为无法保证子带上的垂直相干被保存在标准相位声码器算法中，此外，相位的重新计算必需被执行于转变或替代的滤波器组的时间块上。因此，针对包括瞬态的信号部分需要有特别的处理。此外，应用于HBE算法中的基于相位声码器的重叠相加造成额外的延迟，该额外的延迟太高以至于无法被针对通讯目的而设计的应用所接受。
如上所述，现有的带宽扩展方案可以一次在给定的信号块上应用一种修补方法，如基于修补的SSB或基于相位声码器技术的SSB，修补如下所述：M.Dietz,L.Liljeryd,K.and O.Kunz,“Spectral BandReplication,a novel approach in audio coding,”in 112th AES Convention,Munich,May 2002；S.Meltzer,R.and F.Henn,“SBR enhancedaudio codecs for digital broadcasting such as“Digital Radio Mondiale”(DRM),”in 112th AES Convention,Munich,May 2002；T.Ziegler,A.Ehret,P.Ekstrand and M.Lutzky,“Enhancing mp3with SBR:Featuresand Capabilities of the new mp3PRO Algorithm,”in 112th AESConvention,Munich,May 2002；and International Standard ISO/IEC14496-3:2001/FPDAM 1,“Bandwidth Extension,”ISO/IEC,2002.Speechbandwidth extension method and apparatus,Vasu Iyengar et al.,or HBEvocoder based patching explained in Frederik Nagel,Sascha Disch,“Aharmonic bandwidth extension method for audio codecs,”in ICASSPInternational Conference on Acoustics,Speech and Signal Processing,IEEE CNF,Taipei,Taiwan,April 2009.相位声码器技术如下所述：M.Puckette.Phase-locked Vocoder.IEEE ASSP Conference on Applicationsof Signal Processing to Audio and Acoustics,Mohonk 1995.",A.:Transient detection and preservation in the phase vocoder；citeseer.ist.psu.edu/679246.html；Laroche L.,Dolson M.:“Improved phasevocoder timescale modification of audio",IEEE Trans.Speech and AudioProcessing,vol.7,no.3,pp.323—332；United States Patent 6549884,Laroche,J.&Dolson,M.:Phase-vocoder pitch-shifting。
替代地，可以使用HBE与基于修补的SSB的结合，如下所述：USProvisional 61/312,127.Additionally,modern audio coders as described inNeuendorf,Max；Gournay,Philippe；Multrus,Markus；Lecomte,Jérémie；Bessette,Bruno；Geiger,Ralf；Bayer,Stefan；Fuchs,Guillaume；Hilpert,Johannes；Rettelbach,Nikolaus；Salami,Redwan；Schuller,Gerald；Lefebvre,Roch；Grill,Bernhard:Unified Speech and Audio CodingScheme for High Quality at Lowbitrates,ICASSP 2009,April 19-24,2009,Taipei,Taiwan；Bayer,Stefan；Bessette,Bruno；Fuchs,Guillaume；Geiger,Ralf；Gournay,Philippe；Grill,Bernhard；Hilpert,Johannes；Lecomte,Jérémie；Lefebvre,Roch；Multrus,Markus；Nagel,Frederik；Neuendorf,Max；Rettelbach,Nikolaus；Robilliard,Julien；Salami,Redwan；Schuller,Gerald:A Novel Scheme for Low Bitrate Unified Speech and AudioCoding,126th AES Convention,May 7,2009,Munich。这些提供了在可选的修补方案之间基于时间块来全局地切换修补方案的可能性。
传统的SSB复制修补具有的缺点在于，把不需要的粗糙度引入音频信号中。然而，它在计算方面简单并且保留了瞬态的时间包络。
在使用HBE修补的音频编解码器中，缺点在于，瞬态再生质量常常不是最理想的。此外，相比于计算上非常简单的SSB复制方法，计算上的复杂度大幅度地增加。另外，HBE修补引入了额外的算法的延迟，该算法延迟超过了通讯场景中应用的可接受范围。
最新技术处理的另一缺点在于，HBE与SSB(其基于在一个时间块内的修补)的结合不能消除由HBE引起的额外延迟。
本发明的目的是提供一种概念，用于从有限带宽的音频信号中生成带宽扩展信号，从而允许改善的感知质量，进而避免这样的缺点。
发明内容
通过根据权利要求1的设备以及根据权利要求15的方法来达到本目的。
根据本发明的实施例，用于从带宽有限音频信号生成带宽扩展信号的设备包括：修补生成器、信号操纵器以及合并器。带宽有限音频信号包括多个连续带宽有限时间块，各带宽有限时间块具有至少一个关联频带复制参数，其包括核心频带。带宽扩展信号包括多个连续带宽扩展时间块。修补生成器被配置用于使用带宽有限音频信号的带宽有限时间块来生成修补信号，其包括上频带。修补生成器被配置为执行谐波修补算法，以得到修补信号。修补生成器被配置为：使用带宽有限音频信号的多个连续带宽有限时间块中的时间在先的带宽有限时间块来执行多个连续带宽扩展时间块中的当前带宽扩展时间块的谐波修补算法。信号操纵器被配置用于以下：使用与当前带宽有限时间块关联的频带复制参数来操纵修补前的信号，或操纵使用时间在先的带宽有限时间块而生成的修补信号，以得到包括上频带的操纵修补信号。时间在先的带宽有限时间块在时间上先于在带宽有限音频信号的多个连续带宽有限时间块中的当前带宽有限时间块。合并器被配置用于以下：将包括核心频带的带宽有限音频信号与包括上频带的操纵修补信号进行合并，以得到带宽扩展信号。
本发明所依据的基本思想为在以下情况下可以实现刚才所述的改善的感知质量：如果使用带宽有限音频信号的带宽有限时间块而生成包括上频带的修补信号，执行谐波修补算法以得到修补信号，针对多个连续带宽扩展时间块中的当前带宽扩展时间块，使用该带宽有限音频信号的多个连续带宽有限时间块中的时间在先的带宽有限时间块来执行谐波修补算法；以及如果使用与当前带宽有限时间块关联的频带复制参数来操纵修补前的信号或修补信号，以得到包括上频带的操纵修补信号，其中时间在先的带宽有限时间块在时间上先于在带宽有限音频信号的多个连续带宽有限时间块中的当前带宽有限时间块。以这种方式，可以避免由HBE算法引起的额外延迟对带宽扩展信号的负面影响。因此，带宽扩展信号的感知质量可以显著得到改进。
根据实施例，修补生成器被配置用于使用在至少两个带宽有限时间块之间的重叠相加处理来执行谐波修补算法。通过使用重叠重叠相加处理，额外的延迟被引入谐波修补算法中。
根据实施例，一种用于从带宽有限音频信号生成带宽扩展信号的方法，其中，该带宽有限音频信号包括多个连续带宽有限时间块，各带宽有限时间块具有至少一个关联频带复制参数，其包括核心频带，并且该带宽扩展信号包括多个连续带宽扩展时间块，所述方法包括：生成包括上频带的修补信号；执行谐波修补算法，以得到该修补信号；操纵修补前的信号或修补信号，以得到包括上频带的操纵修补信号；以及将包括核心频带的带宽有限音频信号与包括上频带的操纵修补信号进行合并，以得到带宽扩展信号。生成步骤包括：使用带宽有限音频信号的带宽有限时间块来生成包括上频带的修补信号。执行步骤包括：使用带宽有限音频信号的多个连续带宽有限时间块中的时间在先的带宽有限时间块来执行针对多个连续带宽扩展时间块中的当前带宽扩展时间块的谐波修补算法。操纵步骤包括：使用与当前带宽有限时间块关联的频带复制参数来操纵修补前的信号或者修补信号，以得到包括上频带的操纵修补信号。这里，时间在先的带宽有限时间块在时间上先于在带宽有限音频信号的多个连续带宽有限时间块中的当前带宽有限时间块。
此外，本发明的实施例涉及用于改进音频信号的稳定部分的感知质量而不影响瞬态的构思。为了达到这两个要求，可以引入应用了由谐波修补与复制修补组成的混合修补的方案。
根据本发明的一些实施例提供了比传统的HBE更好的感知质量，与SSB相比，传统的HBE引入了额外的算法延迟。这在本发明中可以通过以下得到补偿：利用信号的平稳性来生成针对谐波信号的高频成分，该信号使用来自过去的帧。
附图说明
在下文中，将参考附图对本发明的实施例进行说明，在附图中：
图1示出了用于从带宽有限音频信号中生成带宽扩展信号的设备的实施例的方框图；
图2示出了用于在滤波器组域(filterbank domain)中执行谐波修补算法的修补生成器的实施例的方框图；
图3示出了根据图2的修补生成器的实施例的非线性处理块的示例性实施的方框图；
图4示出了用于在滤波器组域中执行复制修补算法(copy-uppatching algorithm)的修补生成器的实施例的方框图；
图5a示出了使用谐波修补算法和复制修补算法的示例性带宽扩展方案的示意图；
图5b示出了从图5a的带宽扩展方案中得到的示例性频谱；
图6a示出了使用谐波修补算法和复制修补算法的示例性带宽扩展方案的另一个示意图；
图6b示出了从图6a的带宽扩展方案得到的示例性频谱；
图7a示出了仅使用复制修补算法的示例性带宽扩展方案的示意图；
图7b示出了从图7a的带宽扩展方案得到的示例性频谱；
图8a示出了仅使用谐波修补算法的示例性带宽扩展方案的示意图；
图8b示出了从图8a的带宽扩展方案得到的示例性频谱；
图9示出了根据图1的设备的实施例的修补生成器的实施例的方框图；
图10示出了根据图1的设备的实施例的修补生成器的另一个实施例的方框图；
图11示出了示例性修补方案的示意图；
图12示出了在不同的带宽扩展时间块之间的相位连续/交叉淡化操作(phase continuation/cross-fade operation)的示例性实现；以及
图13示出了用于从带宽有限音频信号中生成带宽扩展信号的设备的另一个实施例的方框图。
具体实施方式
图1示出了设备100的实施例的方框图，设备100用于从带宽有限音频信号105中生成带宽扩展信号135。这里，带宽有限音频信号105包括多个连续的带宽有限时间块，各带宽有限时间块具有至少一个关联的频带复制参数121，其包括核心频带。此外，带宽扩展信号135包括多个连续的带宽扩展时间块。如图1所示，设备100包括修补生成器110、信号操纵器120以及合并器130。修补生成器110被配置为：使用带宽有限音频信号105的带宽有限时间块来生成包括上频带的修补信号115。在图1的实施例中，修补生成器110被配置为执行谐波修补算法，以得到修补信号115。例如，修补生成器110被配置用于以下：针对多个连续带宽扩展时间块中的当前带宽扩展时间块(m’)，使用带宽有限音频信号105的多个连续带宽有限时间块中的时间在先的带宽有限时间块(m-1)来执行谐波修补算法。如图1中示例性地所描述的，信号操纵器120被配置用于以下：使用与当前带宽有限时间块(m)关联的频带复制(SBR)参数121来操纵修补前信号105(可选)，或操纵使用时间在先的带宽有限时间块(m-1)生成的修补信号115，以得到包括上频带的操纵修补信号125。在图1的实施例中，在带宽有限音频信号105的多个连续带宽有限时间块中，时间在先的带宽有限时间块(m-1)在时间上先于当前带宽有限时间块(m)。合并器合并器130被配置用于以下：将包括核心频带的带宽有限音频信号105与包括上频带的操纵修补信号125进行合并，以得到带宽扩展信号135。
参考图1的实施例，标记m可对应于带宽有限音频信号105的多个连续的带宽有限时间块的单独带宽有限时间块，而标记m’可对应于从修补生成器110得到的多个连续带宽扩展时间块的单独带宽扩展时间块。
例如，在图1的实施例中示出的修补生成器110使用基于离散傅利叶转换(DFT)的谐波转换器或基于正交镜像滤波(QMF)的谐波转换器，例如分别在MPEG audio standard ISO/IEC FDIS 23003-3,2011的段落7.5.3和7.5.4中所述。
在实施例中，信号操纵器120可以包括包络调整器，用于调整依据SBR参数121的修补信号115的包络，以得到经包络调整的或经操纵的修补信号125。
图2示出了根据图1的设备100的实施例的修补生成器110的实施例的方框图，用于在滤波器组域中执行谐波修补算法。参考图2，设备100可以包括QMF分析滤波器组210、修补生成器110的实施例以及QMF合成滤波器组220。
例如，QMF分析滤波器组210被配置成用于以下：将解码低频信号205转换为多个频率子带信号215。图2中所示的多个频率子带信号215可以表示图1中所示的带宽有限音频信号105的核心频带。
在图2的实施例中，修补生成器110被配制为：对由QMF分析滤波器组210提供的多个频率子带信号215进行操作，并且输出多个修补频率子带信号217，用于QMF合成滤波器组220。图2中所示的多个修补频率子带信号217可以表示图1中所示的修补信号115。
例如，QMF合成滤波器组220被配置用于将多个修补频率子带信号217转换成带宽扩展信号135。
参考图2的实施例，由QMF合成滤波器组220接收的修补频率子带信号217由“1”、“2”、“3”…表示，以代表不同的修补频率子带信号，其特征在于频率越来越高。
如图2中示例性地所描述的，修补生成器110被配置用于以下：从多个频率子带信号215得到第一组修补频率子带信号219-1、第二组修补频率子带信号219-2和第三组修补频率子带信号219-3。例如，修补生成器110被配置为：将第一组修补频率子带信号219-1从QMF分析滤波器组210中直接馈送至QMF合成滤波器组220。在图2中还示例性地描述了修补生成器110包括多个非线性处理块250。
多个非线性处理块250可以包括第一组非线性处理块252和第二组非线性处理块254。例如，修补生成器110的第一组非线性处理块252被配置成用于执行非线性处理，以得到第二组修补频率子带信号219-2。此外，修补生成器110的第二组非线性处理块254可以被配置成用于执行非线性处理，以得到第三组修补频率子带信号219-3。在图2的实施例中，第一组非线性处理块252包括第一非线性处理块253-1和第二非线性处理块253-2，而第二组非线性处理块254包括第一非线性处理块255-1和第二非线性处理块255-2。
例如，第一组非线性处理块252的第一非线性处理块253-1和第二非线性处理块253-2被配置为执行以下非线性处理：第一高频率子带信号261和第二高频率子带信号263的相位分别乘以值为2的带宽扩展因子(σ)，以得到对应的非线性处理输出信号271-1和271-2。另外，第二组非线性处理块254的第一非线性处理块255-1和第二非线性处理块255-2可以被配置为执行以下非线性处理：第一高频率子带信号261和第二高频率子带信号263的相位分别乘以值为3的带宽扩展因子(σ)，以得到对应的非线性处理输出信号273-1和273-2。
由第一非线性处理块253-1和第二非线性处理块253-2输出的非线性处理输出信号271-1、271-2可以分别由信号操纵器120的对应的信号操纵块122-1、122-2来操纵。如图2中示例性地所描述的，信号操纵器120被配置用于以下：使用图1的频带复制参数121来操纵非线性处理输出信号271-1、271-2。在图2中示例性地所描述的是，在信号操纵器120的输出端将得到第二组修补频率子带信号219-2。具体地，第二组修补频率子带信号219-2可以对应于从核心频带生成的第一目标频带(或第一高修补)，其中，第一高修补基于值为2的带宽扩展因子(σ)。
此外，由第一非线性处理块255-1和第二非线性处理块255-2输出的非线性处理输出信号273-1、273-2可以构成第三组修补频率子带信号219-3，其被QMF合成滤波器组220接收。具体地，第三组修补频率子带信号219-3可以对应于由核心频带生成的第二目标频带(或第二高修补)，其中，第二目标频带基于值为3的带宽扩展因子(σ)。
参考图2的实施例，如图2中通过虚线211所示，针对高修补的非线性处理输出信号(例如非线性处理输出信号271-2)与针对另一高修补的非线性处理输出信号(例如非线性处理输出信号273-1)可以进行叠加或者合并。
具体地，通过提供图2中所示的修补生成器110，可以使用对应于核心频带的第一组修补频率子带信号219-1、对应于第一高修补的第二组修补频率子带信号219-2以及对应于第二高修补的第三组修补频率子带信号219-3来生成带宽扩展信号135。
图3示出了根据图2的修补生成器110的实施例的非线性处理块300的示例性实现的方框图。在图3中示出的非线性处理块300可以对应于在图2中示出的非线性处理块250中的一个。在图3的示例性实现中，非线性处理块300包括窗口块309、相位相乘块310、抽取器320以及时间延伸单元330(例如使用重叠相加(OLA)阶段)。例如，相位相乘块310被配置用于使频率子带信号305的相位与带宽扩展因子(σ)相乘，以得到相位相乘频率子带信号315。此外，抽取器320可以被配置用于抽取相位相乘频率子带信号315，以得到抽取的频率子带信号325。此外，时间延伸单元330可以被配置用于使抽取频率子带信号325时间延伸，以得到时间延伸输出信号335，其暂时地在时间上扩展。优选地，块330执行重叠相加处理以得到时间延伸操作，其中该重叠相加处理的跳跃尺寸(hopsize)比在块309窗口中使用的跳跃尺寸更大。输入至图3中所示的相位相乘块310的频率子带信号305可以对应于输入到图2中所示的修补生成器110的频率子带信号215中的一个，而图3中示出的由时间延伸单元330提供的时间延伸输出信号335可以对应于由图2中所示的修补生成器110的非线性处理块250中的一个提供的非线性处理输出信号。具体地，时间延伸输出信号335可以通过使用信号操纵而被操纵，以使得将得到带宽扩展信号135。
在图3的示例性实现中，相位相乘块310可以实施为使用带宽扩展因子(σ)来对频率子带信号305进行操作。例如，如参考图2所描述的，带宽扩展因子σ＝2与σ＝3可以分别用于提供针对带宽扩展信号135的第一高修补和第二高修补。此外，在图3中所示的非线性处理块300的抽取器320可以通过以下来实现：依据带宽扩展因子(σ)通过取样率转换器来转换相位相乘频率子带信号315的取样率。例如，如果带宽扩展因子σ＝2被用于抽取器320，则相位相乘频率子带信号315的每第二取样将从同样的取样中被移除。这导致的情况是，基本上由抽取器320输出的抽取信号325的特征在于，具有相位相乘频率子带信号315的一半的持续时间并且具有扩展带宽。
此外，时间延伸单元330可以被配置为通过值为2的时间延伸因子(例如使用OLA阶段的重叠相加处理)来执行抽取频率子带信号325的时间延伸，以使得由时间延伸单元330输出的时间延伸输出信号335将再次具有输入至相位相乘块310的频率子带信号305的原有持续时间。
在图3的示例性实现中，抽取器320和时间延伸单元330也可以被布置成相对于信号处理方向的相反顺序。这由图3中的双箭头线311来表示。假使时间延伸单元330设置于抽取器320之前，则相位相乘频率子带信号315将先在时间上被延伸以得到时间延伸信号，并且随后被抽取以提供针对带宽扩展信号的抽取输出信号。例如，如果相位相乘频率子带信号315先通过值为2的时间延伸因子在时间上被延伸，则时间延伸信号的特征将是具有相位相乘频率子带信号315的二倍的持续时间。例如，随后的通过值为2的对应的抽取因子的抽取导致的情况是，抽取输出信号将再次具有输入至相位相乘块310的频率子带信号305的原有持续时间并且具有扩展带宽。
参考图3，此处指出的是在任何情况下，通过使用重叠相加处理的由时间延伸单元330执行的时间延伸操作导致如在修补生成器110内的谐波修补算法的额外延迟。由于在谐波修补算法内的时间延伸操作的额外延迟的影响通过图3中的箭头线350来表示。然而，如参考图1所述，本发明的实施例提供的优点在于，此额外延迟可以通过将谐波修补算法应用于时间在先的带宽有限时间块(m-1)以得到当前带宽扩展时间块(m’)而有效地得到补偿。
在参考图3的实施例中，修补生成器110可以被配置用于在至少两个带宽有限时间块之间使用重叠相加处理来执行谐波修补算法。
图4示出了修补生成器110的实施例的方框图，修补生成器110用于执行在滤波器组域中的复制修补算法。在图4中所示的修补生成器110可以在图1中所示的设备100中实现。这意味着在图1的设备100中，修补生成器110可以被配置为除执行参考图2所描述的谐波修补算法以外，也执行参考图4所描述的复制修补算法。
参考图4的实施例，设备100可以包括QMF分析滤波器组410、处理链中通过“修补”来表示的修补生成器110、处理链中通过“信号操纵”来表示的信号操纵器120以及QMF合成滤波器组420。例如，QMF分析滤波器组410被配置用于将解码低频信号205转换为多个频率子带信号415。此外，通过修补生成器110与信号操纵器120的合作，多个修补频率子带信号417可以被提供给QMF合成滤波器组420。进而，QMF合成滤波器组420可以被配置为将多个修补频率子带信号417转换为带宽扩展信号135。
在图4中，由QMF合成滤波器组420接收的修补频率子带信号417由“1”、“2”、…、“6”示例性表示，并且可以代表不同的修补频率子带信号，其具有越来越高的频率。
参照图4的实施例，修补生成器110被配置用于将针对第一组修补频率子带信号419-1的多个频率子带信号415直接地从QMF分析滤波器组410转发至QMF合成滤波器组420。要注意的是，目标频带不必非要成为低频区的第一频带。在典型的情况下，源区更常在较高频带数字处开始。这特别适用于在图4中的1项和4项。
另外，修补生成器110可以被配置用于使由QMF分析滤波器组410提供的频率子带信号415分支，并且将它们转发用于由QMF合成滤波器组420接收的第二组修补频率子带信号419-2。在图4中也示例性地所描述的是，信号操纵器120包括多个信号操纵块122-1、122-2、122-3，并且依据频带复制参数121而进行操作。例如，信号操纵块122-1、122-2、122-3被配置用于操纵修补频率子带信号以得到由QMF合成滤波器组420接收的第二组修补频率子带信号419-2，其中该修补频率子带信号从由QMF分析滤波器组410提供的多个频率子带信号415分支而来。在图4的实施例中，从修补生成器110得到的第一组修补频率子带信号419-1可以对应于解码低频信号205的核心频带或带宽扩展信号135，而从修补生成器110得到的第二组修补频率子带信号419-2可以对应于带宽扩展信号135的第一高目标频带(或第一高修补)。采用与实施第一高目标频带类似的方式，第二高目标频带(或第二高修补)可以通过在图4的实施例中所示的信号操纵器120与修补生成器110的合作而生成。
例如，如在图4的实施例中所示的滤波器组域中与修补生成器110一同执行的复制修补算法可以代表非谐波修补算法例如使用单边带调制(SSB)。
参考图4的实施例，QMF分析滤波器组410可以是32-频带分析滤波器组，其被配置用于例如提供32个频率子带信号415。此外，QMF合成滤波器组420可以是64-频带合成滤波器组，其被配置用于例如接收64个修补频率子带信号417。
具体地，在图4中所示的修补生成器110的实施例本质上可以用于实现例如在MPEG-4音频标准中定义的高效进阶音频编码(HE-AAC)方案。
图5a示出了使用谐波修补算法515和复制修补算法525的示例性带宽扩展方案的示意图510。在图5a的示意图510中，垂直轴(纵坐标)表示频率504，而水平轴(横坐标)表示时间502。在图5a中，多个连续带宽有限时间块511被示例性地描述。连续带宽有限时间块511在图5a中由“帧n”、“帧n+1”、“帧n+2”和“帧n+3”示例性地表示。连续带宽有限时间块511的频率成分本质上代表了核心频带或LF(核)505。此外，图5a示例性地描述了多个连续带宽扩展时间块513。带宽扩展时间块513的频率成分本质上对应于第一高目标频带(修补Ⅰ507)或第二高目标频带(修补Ⅱ509)。对应于修补Ⅰ507的连续带宽扩展时间块513在图5a中由“f(帧n-1)”、“f(帧n)”、“f(帧n+1)”和“f(帧n+2)”示例性地表示。此外，对应于修补Ⅱ509的连续带宽扩展时间块在图5a中由“f(帧n-1)”、“g(f(帧n))”、“g(f(帧n+1))”和“g(f(帧n+2))”示例性地表示。这里，函数相关f(…)可以表示谐波修补算法的应用，而函数相关g(…)可以表示复制修补算法的应用。在图5a的示意图510中，LF(核)505可以被包括在带宽有限音频信号105内，并且修补Ⅰ507和修补Ⅱ509可以被包括在例如图1的设备100中所示出的带宽扩展信号135内。信号135还包括LF(核)，因为在图中它被表示为在合并器的输出端处。参考图1已经进行了描述，各带宽有限时间块具有至少一个关联的频带复制参数。
图5b示出了从图5a的带宽扩展方案得到的示例性频谱550。在图5b中，垂直轴(纵坐标)对应于振幅553，而水平轴(横坐标)对应于频谱550的频率551。在图5b中示例性地所描述的是，频谱550包括核心频带或LF(核)505、第一高目标频带或修补Ⅰ507以及第二高目标频带或修补Ⅱ509。此外，在频谱550的频率轴上示例性地描述了交叉频率(fx)、二倍交叉频率(2·fx)以及三倍交叉频率(3·fx)。
在参考图1、图5a和图5b的实施例中，修补生成器110可以被配置用于使用值为2的带宽扩展因子(σ1)将谐波修补算法515应用于时间在先的带宽有限时间块(m-1)。此外，修补生成器110可以被配置用于从时间在先的带宽有限时间块(m-1)的核心频带505生成当前带宽扩展时间块(m’)的第一目标频带507。此外，修补生成器110可以被配置用于应用复制修补算法525，以将从时间在先的带宽有限时间块(m-1)的核心频带505生成的当前带宽扩展时间块(m’)的第一目标频带507复制到当前带宽扩展时间块(m’)的第二目标频带509。在图5a中，谐波修补算法515由斜箭头表示，而复制修补算法525由非斜箭头表示。
如图5b的频谱550中示例性地所描述的，核心频带505可以包括到交叉频率(fx)的频率范围。此外，通过应用使用示例性带宽扩展因子σ1＝2的谐波修补算法515，将得到包括从交叉频率(fx)到二倍交叉频率(2·fx)的频率范围的第一目标频带507。此外，通过应用复制修补算法525，将得到包括从二倍交叉频率(2·fx)到三倍交叉频率(3·fx)的频率范围的第二目标频带509。
图6a示出了使用谐波修补算法515和复制修补算法625的示例性带宽扩展方案的另一个示意图。图6b示出了从图6a的带宽扩展方案得到的示例性频谱650。在图6a的示意图610中的要素504、502、511、513、505、507、509和515以及在图6b的示例性频谱650中的要素553、551、505、507、509和515可以对应于在图5a的示意图510和图5b的示例性频谱550中带有相同标记的要素。因此，略去对这些要素的重复描述。
参考图1、图6a和图6b，修补生成器110可以被配置用于使用值为2的带宽扩展因子(σ1)将谐波修补算法515应用于时间在先的带宽有限时间块(m-1)。此外，修补生成器110可以被配置用于从时间在先的带宽有限时间块(m-1)的核心频带505生成当前带宽扩展时间块(m’)的第一目标频带507。此外，修补生成器110可以被配置用于应用复制修补算法625，以将当前的带宽有限时间块(m)的核心频带505复制到当前带宽扩展时间块(m’)的第二目标频带509。
如图6b的频谱650中示例性地所描述的，核心频带505可以包括到交叉频率(fx)的频率范围，从应用使用示例性带宽扩展因子σ1＝2的谐波修补算法515得到的第一目标频带507可以包括从交叉频率(fx)到二倍交叉频率(2·fx)的频率范围，而从应用复制修补算法625得到的第二目标频带509可以包括从二倍交叉频率(2·fx)到三倍交叉频率(3·fx)的频率范围。
图7a示出了仅使用复制修补算法715、625的示例性带宽扩展方案的示意图710。图7b示出了从图7a的带宽扩展方案得到的示例性频谱750。在图7a的示意图710中的要素504、502、511、513、505、507、509以及在图7b的示例性频谱750中的要素553、551、505、507、509可以分别对应于在图5a的示意图510和图5b的示例性频谱550中的带有相同标记的要素。因此，略去对这些要素的重复描述。
参考图1、图7a和图7b，修补生成器110可以被配置用于应用复制修补算法715，以将当前的带宽有限时间块(m)的核心频带505复制到当前带宽扩展时间块(m’)的第一目标频带507。此外，修补生成器110可以被配置用于应用复制修补算法625，以将当前的带宽有限时间块(m)的核心频带505复制到当前带宽扩展时间块(m’)的第二目标频带509。采用类似的方式，这样的复制修补算法也可以应用于时间在先的带宽有限时间块(m-1)(例如参见图7a)。
如图7b的频谱750中示例性地所描述的，核心频带505可以包括到交叉频率(fx)的频率范围，从应用复制修补算法715得到的第一目标频带507可以包括从交叉频率(fx)到二倍交叉频率(2·fx)的频率范围，而从应用复制修补算法625得到的第二目标频带509可以包括从二倍交叉频率(2·fx)到三倍交叉频率(3·fx)的频率范围。
图8a示出了仅使用谐波修补算法515、825的示例性带宽扩展方案的示意图810。图8b示出了从图8a的带宽扩展方案得到的示例性频谱850。在图8a的示意图810中的要素504、502、511、513、505、507和509以及在图8b的示例性频谱850中的要素553、551、505、507、509可以分别对应于在图5a的示意图510和图5b的示例性频谱550中的带有相同标记的要素。因此，略去对这些要素的重复描述。
参考图1、图8a和图8b，修补生成器110可以被配置用于使用值为2的带宽扩展因子(σ1)将谐波修补算法825应用于时间在先的带宽有限时间块(m-1)。此外，修补生成器110可以被配置用于从时间在先的带宽有限时间块(m-1)的核心频带505生成当前带宽扩展时间块(m’)的第一目标频带507。此外，修补生成器110可以被配置用于使用值为3的带宽扩展因子(σ2)将谐波修补算法515应用于时间在先的带宽有限时间块(m-1)。此外，修补生成器110可以被配置用于从时间在先的带宽有限时间块(m-1)的核心频带505生成当前带宽扩展时间块(m’)的第二目标频带509。
如在图8b的频谱850中示例性地所描述的，核心频带505可以包括到交叉频率(fx)的频率范围，从应用使用示例性带宽扩展因子σ1＝2的谐波修补算法515得到的第一目标频带507可以包括从交叉频率(fx)到二倍交叉频率(2·fx)的频率范围，而从应用使用示例性带宽扩展因子σ2＝3的谐波修补算法825得到的第二目标频带509可以包括从二倍交叉频率(2·fx)到三倍交叉频率(3·fx)的频率范围。
图9示出了根据图1的设备100的实施例的修补生成器110的实施例的方框图。如图9所示，设备100可以进一步包括提供器910，用于提供修补算法信息911。在图9的实施例中，修补生成器110可以被配置用于除执行使用时间在先的带宽有限时间块(m-1)的谐波修补算法515以外，还针对相应的在先或在后的块来执行使用时间在先的带宽有限时间块(m-1)或时间在后的带宽有限时间块(m+1)的复制修补算法925。特别地，时间在后的带宽有限时间块(m+1)在时间上后于当前的带宽有限时间块(m)。在图9的实施例中，响应于修补算法信息911，修补生成器110可以另外被配置用于使用由谐波修补算法515得到的当前带宽扩展时间块(m’)的修补信号115。
具体地，通过提供在图9中所示的修补生成器110的实施例，针对带宽扩展信号135可以分块使用不同的连续带宽扩展时间块。这里，不同的连续带宽扩展时间块的分块使用基本上响应于修补算法信息911。
在实施例中，提供器910可以(可选地)被配置用于通过使用在带宽有限音频信号105内编码的侧边信息111来提供修补算法信息911。例如，带宽有限音频信号105可以由编码音频信号(比特流)来表示。例如由提供器910接收的侧边信息111可以通过使用比特流解析器来从比特流中提取。
替代地，提供器910可以被配置用于依据带宽有限音频信号105的信号分析来提供修补算法信息911。例如，设备100可以另外包括信号分析器912，其被配置为依据带宽有限音频信号105的信号分析来得到用于提供器910的分析结果信号913。
例如，提供器910可以被配置用于从带宽有限音频信号105的各带宽有限时间块中确定瞬态旗标915。在这种的情况下，信号分析器912可以被包括在提供器910中。参考图9的实施例，当瞬态旗标915指示带宽有限音频信号105的平稳性时，修补生成器110被配置用于针对由谐波修补算法515生成的当前带宽扩展时间块(m’)来使用修补信号115。此外，当瞬态旗标915指示带宽有限音频信号105的非平稳性时，修补生成器110被配置用于使用由复制修补算法925生成的修补信号115。
例如，带宽有限音频信号105的平稳性(或者带宽有限音频信号中不存在瞬态事件)可以对应于由“0”表示的瞬态旗标915，而带宽有限音频信号105的非平稳性(或者带宽有限音频信号中存在瞬态事件)可以对应于由“1”表示的瞬态旗标915。
图10示出了根据图1的设备100的实施例的修补生成器110的另一个实施例的方框图。根据图10的实施例，修补生成器110被配置用于执行包括第一时间延迟1010的谐波修补算法515，第一时间延迟1010在时间在先的带宽有限时间块(m-1)与当前带宽扩展时间块(m’)之间。此外，修补生成器110可以被配置用于使用当前带宽有限时间块(m)来执行复制修补算法925。特别地，复制修补算法925包括第二时间延迟1020。参考图10的实施例，谐波修补算法515的第一时间延迟1010大于复制修补算法925的第二时间延迟1020。
例如，在图10中所示的修补生成器110可以包括相位声码器，用于执行包括第一时间延迟1010的谐波修补算法515。特别地，相位声码器可以被配置用于在至少两个带宽有限时间块之间使用重叠相加处理。
图11示出了示例性修补方案1100的示意图。例如，图11的修补方案1100用在图1的设备100中所示的修补生成器110来实现。在图11中，示出了带宽有限音频信号105的示例性曲线图1101。如在曲线图1101中示例性地所描述的，带宽有限音频信号105包括多个连续带宽有限时间块511，其包括例如在图5a的示意图510中所示的核心频带。此外，带宽有限音频信号105的垂直轴(纵坐标)对应于振幅1110，而曲线图1101的水平轴(横坐标)对应于时间1120。
在图11中，连续带宽有限时间块511分别由对应的帧数字1102(“0”、“1”、“2”,…)表示。此外，连续带宽有限时间块511可以分别由对应的(例如由“1”或“0”表示的)瞬态旗标915表示，瞬态旗标915可以从带宽有限音频信号105的各带宽有限时间块例如通过使用在图9中所示的提供器910来确定。在图11中还示例性地描述了带宽有限音频信号105可以包括在瞬态区1107中的瞬态事件1105。例如，示例性瞬态事件1105由瞬态检测器来检测。
参考图11的示意图1100，修补生成器110可以被配置用于连续地将谐波修补算法515应用于带宽有限音频信号105的各带宽有限时间块，这通过在图11中的由“HBE总是在后台中运行”表示的箭头1130示例性地进行了描述。
根据另一个实施例，上述的瞬态检测器被配置用于检测带宽有限音频信号105中的瞬态事件1105。例如，当在带宽有限音频信号105中检测到瞬态事件1105时，修补生成器110被配置用于执行复制修补算法1025。此外，当在带宽有限音频信号105中检测到瞬态事件1105时，修补生成器110可以被配置用于不执行谐波修补算法515，其在至少两个带宽有限时间块之间使用重叠相加处理。这本质上对应于另一种情况，在该情况下，在带宽有限音频信号105的瞬态区1107中，执行复制修补算法1025，而谐波修补算法不在后台中运行。
此外，图11示意性示出了针对带宽扩展信号135的多个连续带宽扩展时间块执行的各个修补算法的修补结果1111。修补结果1111由在图11中的“修补(源帧)”表示。特别地，修补结果1111表示从各个修补算法(即由“HBE”表示的谐波修补算法或由“复制”表示的复制修补算法)生成的修补信号，各个修补算法应用于对应的带有帧数字1102(即源帧)的带宽有限时间块。如将在图12的情境中所描述的，对应于修补结果1111的不同带宽扩展时间块可以进一步被处理，以增加带宽扩展信号135的感知质量。
图12示出了在从诸如图11所示的不同修补算法得到的不同带宽扩展时间块1202、1204之间的相位连续/交叉淡化操作1210的示例性实现。参考图11和图12，修补生成器110可以被配置用于执行谐波修补算法515和复制修补算法1025。特别地，在图12中所示的(从在图11中所示的谐波修补算法515得到的)块1202可以对应于当前带宽扩展时间块(m’)，而在图12中所示的(从在图11中所示的复制修补算法1025得到的)块1204可以对应于时间在先的带宽扩展时间块(m’-1)或时间在后的带宽扩展时间块(m’+1)。这里，时间在先的带宽扩展时间块(m’-1)在时间上先于当前带宽扩展时间块(m’)，而时间在后的带宽扩展时间块(m’+1)在时间上后于当前带宽扩展时间块(m’)。
根据图12，修补生成器110可以被配置用于在由谐波修补算法515生成的当前带宽扩展时间块(m’)与由复制修补算法1025生成的时间在先的带宽扩展时间块(m’-1)或者时间在后的带宽扩展时间块(m’+1)1204之间执行相位连续1210。相位连续1210的结果是将得到相位连续信号1215。在图12中，描述了在相位连续后得到的示例性信号1212。例如，执行相位连续1210，以使得当前带宽扩展时间块(m’)1202与时间在先的带宽扩展时间块(m’-1)或时间在后的带宽扩展时间块(m’+1)1204在相同的边界区域1213中包括平滑且连续的相位转变。例如，执行相位连续1210，使得块1204的示例性正弦曲线信号在其开始点处包括与以下相同的相位：在边界区域1213中，前块1202的示例性正弦曲线信号在其结束点处的相位。通过执行相位连续1210，可以避免相位连续信号1215中的相位不连续或的断差。
此外，修补生成器110可以被配置用于执行交叉淡化操作1210以得到交叉淡化信号1215，其中，交叉淡化操作1210执行于当前带宽扩展时间块(m’)1202与时间在先的带宽扩展时间块(m’-1)之间，或者当前带宽扩展时间块(m’)1202与时间在后的带宽扩展时间块(m’+1)1204之间，当前带宽扩展时间块(m’)由谐波修补算法515生成，而时间在先的带宽扩展时间块(m’-1)或时间在后的带宽扩展时间块(m’+1)由复制修补算法1025生成。交叉淡化操作1210的结果是，当前带宽扩展时间块(m’)1202与时间在先的带宽扩展时间块(m’-1)或时间在后的带宽扩展时间块(m’+1)将在同样的转变区1217中至少部分地重叠。在图12中，描述了在交叉淡化操作后得到的示例性信号1214。例如，交叉淡化操作1210按照以下执行：连续块1202、1204中的每一个的开始区由示例性的权重因子(范围从0至1)进行加权，连续块1202、1204中的每一个的结束区由示例性的权重因子(范围从1至0)进行加权，并且两个连续块1202、1204在相同的转变区1217中暂时地重叠。例如在转变区1217中的交叉淡化区可以对应于连续块1202、1204的50％的重叠。通过执行交叉淡化操作1210，可以避免在块边界处产生的假象，并且因此感知质量退化。
在图11的示意图1100中，参考图12所描述的相位连续/交叉淡化操作1210通过由“交叉淡化与相位对准区”表示的箭头1132示例性地进行了描述。特别地，箭头1132表示优选地执行相位连续/交叉淡化操作1210的时间为：当从由谐波修补算法515生成的修补信号到由复制修补算法1025生成的修补信号的转变对应于在带宽有限音频信号105中从非瞬态区到瞬态区1107的转变(反之亦然)发生时。在此方式中，可以避免带宽扩展信号135的感知质量的退化，例如由于相位不连续或在块边界处产生的假象。
在图11中还示意性描述了在由同样类型的复制修补算法得到的带宽扩展时间块之间的转变期间，在没有相位连续/交叉淡化操作1210的情况下连续地执行复制修补算法。这在图11中通过由“复制(没有交叉淡化)”表示的箭头1134示例性地进行了描述。这本质上对应于以下情况：没有针对与带宽有限音频信号105的瞬态区1107相对应的带宽扩展时间块而执行交叉淡化操作。
此外，在图11中示例性地描述了由“带有交叉淡化与相位对准的复制”表示的箭头1136。这个箭头1136表示没有相位连续/交叉淡化操作1210针对对应于瞬态区1107的带宽扩展时间块而被执行(例如由箭头1134表示)，而在由谐波修补算法得到的修补信号与由复制修补算法得到的修补信号之间的转变区域(即当使用不同类型的修补算法时)中，执行相位连续/交叉淡化操作1210(例如由箭头1132表示)。
图13示出了用于从带宽有限音频信号生成带宽扩展信号的设备100的另一个实施例的方框图。根据图13的实施例，带宽扩展信号可以由时间域输出135表示，而带宽有限音频信号可以由例如参考图2及图4所描述的多个频率子带信号215、415表示。在图13的实施例中，设备100包括核心解码器1310、图2和图4的QMF分析滤波器组210与410、修补生成器110、包络调整单元1320以及图2和图4的QMF合成滤波器组220与420。此外，在图13中所示的修补生成器110包括用于执行谐波修补算法515的第一修补单元、用于执行复制修补算法525的第二修补单元以及用于执行例如参考图12所描述的相位连续/交叉淡化操作1210的合并器。
特别地，核心解码器1310可以被配置用于从表示带宽有限音频信号的比特流1305提供解码低频信号205。QMF分析滤波器组210、410可以被配置用于将解码低频信号205转换为多个频率子带信号215、415。由“HBE修补(帧n-1)”表示的第一修补单元可以被配置为对多个频率子带信号215、415进行操作，以得到使用时间在先的带宽有限时间块(这里由帧n-1表示)的第一修补信号1307。此外，修补生成器110的第二修补单元可以被配置为对多个频率子带信号215、415进行操作，以得到使用当前带宽有限时间块(这里由帧n表示)的第二修补信号1309。此外，由“带有相位连续及交叉淡化的合并器”表示的修补生成器110的合并器可以被配置为：使用相位连续/交叉淡化操作1210将第一修补信号1307与第二修补信号1309进行合并，以得到表示修补信号115的相位连续/交叉淡化信号1215。这里，要注意的是，在图13中所示的修补生成器110可以被配置为接收对应于如在图9中所描述的修补算法信息911的切换信息(例如瞬态旗标)。例如，修补生成器110被配置为：当瞬态旗标指示带宽有限音频信号的平稳性时，通过第一修补单元执行谐波修补算法515；以及当瞬态旗标指示带宽有限音频信号的非平稳性时，执行复制修补算法525。包络调整单元1320可以被配置用于调整由依据SBR参数121的修补生成器110提供的相位连续/交叉淡化信号1215的包络，以得到包络调整信号1325。此外，QMF合成滤波器组220、420可以被配置用于将由包络调整单元1320提供的包络调整信号1325与由QMF分析滤波器组210、410提供的多个频率子带信号215、415进行合并，以得到表示带宽扩展信号的时间域输出135。
虽然本发明已在方框图的背景下进行了描述，在方框图中块表示实际上或逻辑上的硬件组件，但是本发明也可以由计算机实现方法来实现。在后者的情况中，块表示对应的方法步骤，其中这些步骤代表通过对应的逻辑上或物理上的硬件块所执行的功能。
所述的实施例仅为说明本发明的原则。应了解的是，本文描述的布置和细节的修改和变化对本领域的其他技术人员来说将是明显的。因此，本发明旨在仅被所附专利权利要求的范围所限制，而非被通过本文实施例的描述和说明的方式所呈现的具体细节所限制。
虽然一些方面已在设备的背景下进行了描述，但清楚的是，这些方面也代表对应方法的描述，其中块或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也代表对应块或项或对应设备的特征的描述。部分或全部的方法步骤可以通过(或使用)硬件设备来执行，如同例如微处理器、可编程计算机或电子电路。在一些实施例中，最重要的方法步骤的某个或更多个可通过这样的设备来执行。
取决于某种实施需求，本发明的实施例可以在硬件或软件中实现。该实现可以使用数字存储介质例如软盘、DVD、蓝光光盘、CD、ROM、PROM、以及EPROM、EEPROM或快闪存储器来执行，数字存储介质具有在其上存储的电子可读控制信号，并与可编程计算机系统合作(或者能够合作)，使得执行各自的方法。因此，计算机可以读取数字存储介质。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统合作，使得本文描述的方法中的一个被执行。
一般而言，本发明的实施例可以被实现为带有程序代码的计算机程序产品，程序代码用于当计算机程序产品在计算机上运行时进行操作，以执行所述方法中的一个。程序代码可以例如存储在机器可读载体上。
其它实施例包括存储在机器可读载体上的计算机程序，用于执行本文描述的方法中的一个。
换言之，本发明方法的实施例因此为具有程序代码的计算机程序，用于当计算机程序在计算机上运行时执行本发明描述的方法中的一个。
因此，本发明方法的另一个实施例为包括记录于其上的计算机程序的数据载体(或数字存储介质、或计算机可读介质)，计算机程序用于执行本文描述的方法中的一个。数据载体、数字存储介质或记录介质通常为有形的和/或非过渡的。
因此，本发明方法的另一个实施例为数据流或信号序列，其表示用于执行本文描述的方法中的一个的计算机程序。数据流或信号序列可以例如被配置为经由数据通信连接(例如经由互联网)来进行传输。
另一个实施例包括处理装置，例如计算机或可编程逻辑装置，其被配置成或者适应于执行本文描述的方法中的一个。
另一个实施例包括计算机，其具有安装在其上的计算机程序，计算机程序用于执行本文描述的方法中的一个。
根据本发明的另一个实施例包括设备或系统，设备或系统被配置成将用于执行本文描述的方法中的一个的计算机程序(例如电子地或光学地)传输至接收器。接收器例如可以为计算机、移动装置、存储器装置等。设备或系统例如可以包括文件服务器，用于将计算机程序传输至接收器。
在一些实施例中，可编程逻辑装置(例如现场可编程门阵列)可以被用于执行本文描述的方法的部分或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器合作，以便执行本文描述的方法中的一个。一般而言，该方法优选地由任何硬件设备来执行。
上述实施例仅为说明本发明的原则。理解的是，本发明所描述的布置和细节的修改和变化对本领域其他技术人员将是明显的。因此，本发明旨在仅被随后的专利权利要求的范围所限制，而非被通过本文实施例的描述和说明的方式所呈现的具体细节所限制。
本发明的实施例提供了针对关于音频信号的低延迟谐波带宽扩展方案的构思。
总的来说，根据本发明的实施例使用混合修补方案，其包含：当没有补偿基于HBE的相位声码器的算法延迟(即HBE修补与核心编码LF部分相比较是延迟的)时，对基于修补的SSB与基于修补的HBE进行结合。根据本发明的一些实施例在时间块基础上提供了混合修补方法的应用。根据一些实施例，基于修补的SSB应被应用于瞬态区中，在瞬态区中重要的是确保频率子带上的垂直相干，并且基于修补的HBE应被用于稳定部分，在稳定部分中重要的是保持信号的谐波结构。本发明的实施例提供以下优点：由于信号的音调区域的稳定性，基于修补的HBE的延迟对带宽扩展信号没有负面影响，因为在两种修补算法之间的切换应该借助于可靠的依赖于信号的分类来进行控制。例如，针对给定时间块的修补算法可以经由比特流来进行传送。对于HF频谱的不同区域的全覆盖来说，BWE(带宽扩展)例如包括若干修补。对于SSB复制操作来说，可以使用低频信息。在HBE中，高修补可以通过多个相位声码器生成，或者占据较高频谱区的高阶修补可以通过计算上有效SSB复制修补来生成，并且对于覆盖中间频谱区的低阶修补来说，谐波结构的保留优选地通过HBE修补来要求。修补方法的单独混合可以随着时间静止，或优选地在比特流中被发送。
在图7a及图8a中示出了针对两种修补所例证的新型修补的一些算法。然而，SSB和HBE可以如参照图5a(或图6a)中描述的进行结合。HBE的应用表示为f(帧x)。值得注意的是，HBE处理可以与其它带宽扩展技术交换，诸如其它重叠相加方法的其它带宽扩展技术利用信号的平稳性。
本发明的实施例提供了以下优点：稳定信号部分的改进的感知质量和与常规HBE修补相比更低的算法延迟。
本发明处理有助于增强依据带宽扩展方案的音频编解码器。该处理特别有助于下述情况：如果以给定的比特率的最佳感知质量是高度重要的，并且同时要求低的整体系统延迟。
最突出的应用为用于通信情况下的音频解码器，其要求相当小的时间延迟。

Claims (16)

1.一种用于从带宽有限音频信号(105)生成带宽扩展信号(135)的设备(100)，所述带宽有限音频信号(105)包括多个连续带宽有限时间块(511)，各带宽有限时间块具有至少一个包括核心频带的关联频带复制参数(121)，并且所述带宽扩展信号(135)包括多个连续带宽扩展时间块(513)，所述设备(100)包括：
修补生成器(110)，用于使用所述带宽有限音频信号(105)的带宽有限时间块来生成包括上频带的修补信号(115)；
其中，所述修补生成器(110)被配置为执行谐波修补算法(515)，以得到所述修补信号(115)；
其中，所述修补生成器(110)被配置为：使用所述带宽有限音频信号(105)的多个连续带宽有限时间块(511)中的时间在先的带宽有限时间块(m-1)来执行针对所述多个连续带宽扩展时间块(513)中的当前带宽扩展时间块(m’)的所述谐波修补算法(515)；
信号操纵器(120)，用于使用与当前带宽有限时间块(m)关联的频带复制参数(121)来操纵修补前的信号(105)，或操纵使用所述时间在先的带宽有限时间块(m-1)生成的所述修补信号(115)，以得到包括所述上频带的操纵修补信号(125)；
其中，所述时间在先的带宽有限时间块(m-1)在时间上先于所述带宽有限音频信号(105)的多个连续带宽有限时间块(511)中的当前带宽有限时间块(m)；以及
合并器(130)，用于将包括所述核心频带的带宽有限音频信号(105)与包括所述上频带的所述操纵修补信号(125)进行合并，以得到所述带宽扩展信号(135)。
2.根据权利要求1所述的设备(100)，
其中，所述修补生成器(110)被配置用于使用至少两个带宽有限时间块之间的重叠相加处理来执行所述谐波修补算法(515)。
3.根据权利要求1或2所述的设备(100)，
其中，所述修补生成器(110)被配置用于使用值为2的带宽扩展因子(σ1)来将所述谐波修补算法(515)应用于所述时间在先的带宽有限时间块(m-1)；
其中，所述修补生成器(110)被配置用于从所述时间在先的带宽有限时间块(m-1)的核心频带(505)生成当前带宽扩展时间块(m’)的第一目标频带(507)；以及
其中，所述修补生成器(110)被配置用于应用复制修补算法(525)，以将从所述时间在先的带宽有限时间块(m-1)的核心频带(505)生成的当前带宽扩展时间块(m’)的第一目标频带(507)复制到当前带宽扩展时间块(m’)的第二目标频带(509)。
4.根据权利要求1至3中的一项所述的设备(100)，
其中，所述修补生成器(110)被配置用于使用值为2的带宽扩展因子(σ1)来将所述谐波修补算法(515)应用于所述时间在先的带宽有限时间块(m-1)；
其中，所述修补生成器(110)被配置用于从所述时间在先的带宽有限时间块(m-1)的核心频带(505)生成当前带宽扩展时间块(m’)的第一目标频带(507)；
其中，所述修补生成器(110)被配置用于使用值为3的带宽扩展因子(σ2)来将所述谐波修补算法(825)应用于所述时间在先的带宽有限时间块(m-1)；以及
其中，所述修补生成器(110)被配置用于从所述时间在先的带宽有限时间块(m-1)的核心频带(505)生成当前带宽扩展时间块(m’)的第二目标频带(509)。
5.根据权利要求1至4中的一项所述的设备(100)，
其中，所述修补生成器(110)被配置用于连续地将所述谐波修补算法(515)应用于所述带宽有限音频信号(105)的各带宽有限时间块。
6.根据权利要求1至5中的一项所述的设备(100)，进一步包括：
提供器(910)，用于提供修补算法信息(911)；
其中，所述修补生成器(110)被配置用于针对时间在先的带宽扩展时间块使用所述时间在先的带宽有限时间块(m-1)来执行复制修补算法(925)，或者针对时间在后的带宽扩展时间块使用时间在后的带宽有限时间块(m+1)来执行复制修补算法(925)，所述时间在后的带宽有限时间块(m+1)在时间上后于当前带宽有限时间块(m)；
其中，所述修补生成器(110)被配置用于：响应于所述修补算法信息(911)，使用针对由所述谐波修补算法(515)生成的当前带宽扩展时间块(m’)的修补信号(115)。
7.根据权利要求6所述的设备(100)，
其中，所述提供器(910)被配置用于使用所述带宽有限音频信号(105)内编码的侧边信息(111)来提供所述修补算法信息(911)。
8.根据权利要求6所述的设备(100)，
其中，所述提供器(910)被配置用于依据所述带宽有限音频信号(105)的信号分析来提供所述修补算法信息(911)。
9.根据权利要求7或8所述的设备(100)，
其中，所述提供器(910)被配置用于针对所述带宽有限音频信号(105)的各带宽有限时间块来确定瞬态旗标(915)；
其中，所述修补生成器(110)被配置用于当所述瞬态旗标(915)指示所述带宽有限音频信号(105)的平稳性时，使用针对由所述谐波修补算法(515)生成的当前带宽扩展时间块(m’)的修补信号(115)；以及
其中，所述修补生成器(110)被配置用于当所述瞬态旗标(915)指示所述带宽有限音频信号(105)的非平稳性时，使用由所述复制修补算法(925)生成的修补信号(115)。
10.根据权利要求1至9中的一项所述的设备(100)，
其中，所述修补生成器(110)被配置用于执行包括所述时间在先的带宽有限时间块(m-1)与当前带宽扩展时间块(m’)之间的第一时间延迟(1010)的所述谐波修补算法(515)；
其中，所述修补生成器(110)被配置用于使用当前带宽有限时间块(m)来执行复制修补算法(925)，所述复制修补算法(925)包括第二时间延迟(1020)；
其中，所述谐波修补算法(515)的第一时间延迟(1010)大于所述复制修补算法(925)的第二时间延迟(1020)。
11.根据权利要求10所述的设备(100)，
其中，所述修补生成器(110)包括相位声码器，用于执行包括所述第一时间延迟(1010)的所述谐波修补算法(515)；以及
其中，所述相位声码器被配置用于在至少两个带宽有限时间块之间使用重叠相加处理。
12.根据权利要求1至11中的一项所述的设备(100)，进一步包括：
瞬态检测器，用于检测所述带宽有限音频信号(105)中的瞬态事件(1105)；
其中，所述修补生成器(110)被配置用于当在所述带宽有限音频信号(105)中检测到所述瞬态事件(1105)时，执行复制修补算法(1025)；以及
其中，所述修补生成器(110)被配置用于当在所述带宽有限音频信号(105)中检测到所述瞬态事件(1105)时，不执行所述谐波修补算法(515)，所述谐波修补算法(515)在至少两个带宽有限时间块之间使用重叠相加处理。
13.根据权利要求1至12中的一项所述的设备(100)，
其中，所述修补生成器(110)被配置用于执行复制修补算法(1025)；以及
其中，所述修补生成器(110)被配置用于在由所述谐波修补算法(515)生成的当前带宽扩展时间块(m’)与由所述复制修补算法(1025)生成的时间在先的带宽扩展时间块(m’-1)或者时间在后的带宽扩展时间块(m’+1)之间执行相位连续(1210)，所述时间在先的带宽扩展时间块(m’-1)在时间上先于当前带宽扩展时间块(m’)，而所述时间在后的带宽扩展时间块(m’+1)在时间上后于当前带宽扩展时间块(m’)。
14.根据权利要求1至13中的一项所述的设备(100)，
其中，所述修补生成器(110)被配置用于执行复制修补算法(1025)；
其中，所述修补生成器(110)被配置用于在由所述谐波修补算法(515)生成的当前带宽扩展时间块(m’)与由所述复制修补算法(1025)生成的时间在先的带宽扩展时间块(m’-1)或者时间在后的带宽扩展时间块(m’+1)之间执行交叉淡化操作(1210)，所述时间在先的带宽扩展时间块(m’-1)在时间上先于当前带宽扩展时间块(m’)，而所述时间在后的带宽扩展时间块(m’+1)在时间上后于当前带宽扩展时间块(m’)，以及
其中，当前带宽扩展时间块(m’)与所述时间在先的带宽扩展时间块(m’-1)或者所述时间在后的带宽扩展时间块(m’+1)至少部分地重叠于相同的转变区(1217)中。
15.一种用于从带宽有限音频信号(105)生成带宽扩展信号(135)的方法(100)，所述带宽有限音频信号(105)包括多个连续带宽有限时间块(511)，各带宽有限时间块具有至少一个包括核心频带的关联频带复制参数，并且所述带宽扩展信号(135)包括多个连续带宽扩展时间块(513)，所述方法(100)包括：
使用所述带宽有限音频信号(105)的带宽有限时间块来生成(110)包括上频带的修补信号(115)；
执行(110)谐波修补算法，以得到所述修补信号(115)；
使用所述带宽有限音频信号(105)的多个连续带宽有限时间块(511)中的时间在先的带宽有限时间块(m-1)来执行(110)针对所述多个连续带宽扩展时间块(513)中的当前带宽扩展时间块(m’)的所述谐波修补算法；
使用与当前带宽有限时间块(m)关联的频带复制参数(121)来操纵(120)修补前的信号(105)，或操纵(120)使用所述时间在先的带宽有限时间块(m-1)生成的所述修补信号(115)，以得到包括所述上频带的操纵修补信号(125)；
其中，所述时间在先的带宽有限时间块(m-1)在时间上先于所述带宽有限音频信号(105)的多个连续带宽有限时间块(511)中的当前带宽有限时间块(m)；以及
将包括所述核心频带的所述带宽有限音频信号(105)与包括所述上频带的所述操纵修补信号(125)进行合并(130)，以得到所述带宽扩展信号(135)。
16.一种计算机程序，当其在计算机上执行时，所述计算机程序具有用于执行根据权利要求16所述的方法(100)的程序代码。
CN201380058323.XA 2012-09-17 2013-09-11 从带宽有限音频信号生成带宽扩展信号的设备和方法 Active CN104813395B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12184706.5A EP2709106A1 (en) 2012-09-17 2012-09-17 Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal
EP12184706.5 2012-09-17
PCT/EP2013/068808 WO2014041020A1 (en) 2012-09-17 2013-09-11 Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal

Publications (2)

Publication Number Publication Date
CN104813395A true CN104813395A (zh) 2015-07-29
CN104813395B CN104813395B (zh) 2017-11-24

Family

ID=47002644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380058323.XA Active CN104813395B (zh) 2012-09-17 2013-09-11 从带宽有限音频信号生成带宽扩展信号的设备和方法

Country Status (20)

Country Link
US (2) US9997162B2 (zh)
EP (2) EP2709106A1 (zh)
JP (1) JP6130507B2 (zh)
KR (1) KR101712477B1 (zh)
CN (1) CN104813395B (zh)
AR (1) AR092599A1 (zh)
AU (1) AU2013314401B2 (zh)
BR (1) BR112015005893B1 (zh)
CA (1) CA2884420C (zh)
ES (1) ES2611347T3 (zh)
HK (1) HK1212089A1 (zh)
MX (1) MX348503B (zh)
MY (1) MY169402A (zh)
PL (1) PL2896042T3 (zh)
PT (1) PT2896042T (zh)
RU (1) RU2611974C2 (zh)
SG (1) SG11201502075XA (zh)
TW (1) TWI546800B (zh)
WO (1) WO2014041020A1 (zh)
ZA (1) ZA201502559B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2709106A1 (en) * 2012-09-17 2014-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal
EP2980792A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
US10847170B2 (en) * 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックＩｐマネジメント株式会社 音声信号復号装置及び音声信号復号方法
EP3382702A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a predetermined characteristic related to an artificial bandwidth limitation processing of an audio signal
TWI834582B (zh) 2018-01-26 2024-03-01 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
WO2024208420A1 (en) 2023-04-05 2024-10-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor, audio processing system, audio decoder, method for providing a processed audio signal representation and computer program using a time scale modification

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5940429A (en) * 1997-02-25 1999-08-17 Solana Technology Development Corporation Cross-term compensation power adjustment of embedded auxiliary data in a primary data signal
CN1504993A (zh) * 2002-11-29 2004-06-16 ���ǵ�����ʽ���� 用较少的计算量重构高频分量的声频解码方法和装置
CN1629937A (zh) * 1997-06-10 2005-06-22 编码技术股份公司 采用频带复现增强源编码
US20090226010A1 (en) * 2008-03-04 2009-09-10 Markus Schnell Mixing of Input Data Streams and Generation of an Output Data Stream Thereform
AU2009267433A1 (en) * 2008-07-11 2010-01-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Providing a time warp activation signal and encoding an audio signal therewith
WO2010069885A1 (en) * 2008-12-15 2010-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and bandwidth extension decoder
EP2234103A1 (en) * 2009-03-26 2010-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device and method for manipulating an audio signal
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
CN102105931A (zh) * 2008-07-11 2011-06-22 弗朗霍夫应用科学研究促进协会 用于生成带宽扩展信号的装置与方法
WO2011110500A1 (en) * 2010-03-09 2011-09-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an input audio signal using cascaded filterbanks
CN102473414A (zh) * 2009-06-29 2012-05-23 弗兰霍菲尔运输应用研究公司 带宽扩展编码器、带宽扩展解码器和相位声码器
US20120136670A1 (en) * 2010-06-09 2012-05-31 Tomokazu Ishikawa Bandwidth extension method, bandwidth extension apparatus, program, integrated circuit, and audio decoding apparatus
CN102598123A (zh) * 2009-10-23 2012-07-18 松下电器产业株式会社 编码装置、解码装置及其方法
CN102648495A (zh) * 2009-10-21 2012-08-22 杜比Ab国际公司 用于利用适应性过取样产生高频音频信号的装置及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455888A (en) 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
US5796842A (en) * 1996-06-07 1998-08-18 That Corporation BTSC encoder
US6549884B1 (en) 1999-09-21 2003-04-15 Creative Technology Ltd. Phase-vocoder pitch-shifting
JP4063670B2 (ja) * 2001-01-19 2008-03-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 広帯域信号伝送システム
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
JP4939424B2 (ja) * 2004-11-02 2012-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複素値のフィルタ・バンクを用いたオーディオ信号の符号化及び復号化
WO2009029033A1 (en) * 2007-08-27 2009-03-05 Telefonaktiebolaget Lm Ericsson (Publ) Transient detector and method for supporting encoding of an audio signal
KR100970446B1 (ko) * 2007-11-21 2010-07-16 한국전자통신연구원 주파수 확장을 위한 가변 잡음레벨 결정 장치 및 그 방법
DE102008015702B4 (de) * 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
JP5551694B2 (ja) * 2008-07-11 2014-07-16 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 多くのスペクトルエンベロープを計算するための装置および方法
EP2176862B1 (en) * 2008-07-11 2011-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for calculating bandwidth extension data using a spectral tilt controlling framing
US8498874B2 (en) * 2009-09-11 2013-07-30 Sling Media Pvt Ltd Audio signal encoding employing interchannel and temporal redundancy reduction
WO2011110494A1 (en) * 2010-03-09 2011-09-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Improved magnitude response and temporal alignment in phase vocoder based bandwidth extension for audio signals
EP2709106A1 (en) * 2012-09-17 2014-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5940429A (en) * 1997-02-25 1999-08-17 Solana Technology Development Corporation Cross-term compensation power adjustment of embedded auxiliary data in a primary data signal
CN1629937A (zh) * 1997-06-10 2005-06-22 编码技术股份公司 采用频带复现增强源编码
CN1504993A (zh) * 2002-11-29 2004-06-16 ���ǵ�����ʽ���� 用较少的计算量重构高频分量的声频解码方法和装置
US20090226010A1 (en) * 2008-03-04 2009-09-10 Markus Schnell Mixing of Input Data Streams and Generation of an Output Data Stream Thereform
CN102105931A (zh) * 2008-07-11 2011-06-22 弗朗霍夫应用科学研究促进协会 用于生成带宽扩展信号的装置与方法
AU2009267433A1 (en) * 2008-07-11 2010-01-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Providing a time warp activation signal and encoding an audio signal therewith
WO2010069885A1 (en) * 2008-12-15 2010-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and bandwidth extension decoder
EP2234103A1 (en) * 2009-03-26 2010-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device and method for manipulating an audio signal
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
CN102177545A (zh) * 2009-04-09 2011-09-07 弗兰霍菲尔运输应用研究公司 用以产生合成音频信号及将音频信号编码的装置与方法
CN102473414A (zh) * 2009-06-29 2012-05-23 弗兰霍菲尔运输应用研究公司 带宽扩展编码器、带宽扩展解码器和相位声码器
CN102648495A (zh) * 2009-10-21 2012-08-22 杜比Ab国际公司 用于利用适应性过取样产生高频音频信号的装置及方法
CN102598123A (zh) * 2009-10-23 2012-07-18 松下电器产业株式会社 编码装置、解码装置及其方法
WO2011110500A1 (en) * 2010-03-09 2011-09-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an input audio signal using cascaded filterbanks
US20120136670A1 (en) * 2010-06-09 2012-05-31 Tomokazu Ishikawa Bandwidth extension method, bandwidth extension apparatus, program, integrated circuit, and audio decoding apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FREDERIK NAGEL ET AL: ""A harmonic bandwidth extension method for audio codecs"", 《IEEE INTERNATIONAL CONFERENCE ON，IEEE，PISCATAWAY》 *

Also Published As

Publication number Publication date
AU2013314401B2 (en) 2016-04-28
PT2896042T (pt) 2016-12-30
MX348503B (es) 2017-06-14
BR112015005893B1 (pt) 2021-06-15
JP6130507B2 (ja) 2017-05-17
SG11201502075XA (en) 2015-05-28
US10580415B2 (en) 2020-03-03
EP2896042B1 (en) 2016-10-19
KR20150066537A (ko) 2015-06-16
RU2611974C2 (ru) 2017-03-01
TW201423731A (zh) 2014-06-16
AU2013314401A1 (en) 2015-04-02
BR112015005893A2 (pt) 2017-08-22
ES2611347T3 (es) 2017-05-08
CA2884420A1 (en) 2014-03-20
US20180261229A1 (en) 2018-09-13
CA2884420C (en) 2017-10-17
EP2896042A1 (en) 2015-07-22
TWI546800B (zh) 2016-08-21
MY169402A (en) 2019-03-27
JP2015534112A (ja) 2015-11-26
CN104813395B (zh) 2017-11-24
KR101712477B1 (ko) 2017-03-06
EP2709106A1 (en) 2014-03-19
AR092599A1 (es) 2015-04-29
WO2014041020A1 (en) 2014-03-20
RU2015113983A (ru) 2016-11-10
PL2896042T3 (pl) 2017-05-31
US9997162B2 (en) 2018-06-12
MX2015003282A (es) 2015-07-06
HK1212089A1 (zh) 2016-06-03
US20150187360A1 (en) 2015-07-02
ZA201502559B (en) 2016-04-28

Similar Documents

Publication Publication Date Title
CN102177545B (zh) 用以产生合成音频信号及将音频信号编码的装置与方法
CN104813395A (zh) 从带宽有限音频信号生成带宽扩展信号的设备和方法
CN102473414B (zh) 带宽扩展编码器、带宽扩展解码器和相位声码器
CN104603872B (zh) 用以再现音频信号的装置及方法、用以产生编码的音频信号的装置及方法
EP3471094B1 (en) Apparatus and method for generating an enhanced signal using independent noise-filling
AU2014201331B2 (en) Bandwidth extension encoder, bandwidth extension decoder and phase vocoder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Munich, Germany

Applicant after: Fraunhofer Application and Research Promotion Association

Address before: Munich, Germany

Applicant before: Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant