CN102246231A - 音频编码器和带宽扩展解码器 - Google Patents
音频编码器和带宽扩展解码器 Download PDFInfo
- Publication number
- CN102246231A CN102246231A CN2009801504421A CN200980150442A CN102246231A CN 102246231 A CN102246231 A CN 102246231A CN 2009801504421 A CN2009801504421 A CN 2009801504421A CN 200980150442 A CN200980150442 A CN 200980150442A CN 102246231 A CN102246231 A CN 102246231A
- Authority
- CN
- China
- Prior art keywords
- high frequency
- signal
- bandwidth extended
- audio signal
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
- G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
Abstract
一种用于使用输入音频信号来提供输出信号的音频编码器,包括:插入码生成器、比较器以及输出接口。插入码生成器被配置为生成至少一个带宽扩展高频信号,其中,带宽扩展高频信号包括高频带。带宽扩展高频信号的高频带基于输入音频信号的低频带。比较器计算多个比较参数。基于输入音频信号与所生成的带宽扩展高频信号的比较来计算比较参数。基于输入音频信号与所生成的带宽扩展高频信号之间的不同偏移频率来计算多个比较参数中的每一个比较参数。此外,比较器从多个比较参数中确定一个比较参数,其中,所确定的比较参数满足预定的标准。
Description
技术领域
根据本发明的实施方式涉及音频信号处理,更具体地,涉及音频编码器、用来提供输出信号的方法、带宽扩展解码器以及用于提供带宽扩展音频信号的方法。
背景技术
对音频信号进行听觉适应编码以减少数据从而有效地存储和传输这些信号,在很多领域中已经得到了认可。已知的编码算法有,例如,MPEG1/2层3“MP3”或MPEG 4 AAC。用于此(特别是当达到最低比特速率时)的编码算法导致了音频质量的降低,这通常主要由将被传输的音频信号带宽的编码器侧局限性而导致。使用所谓的核心编码器(core coder)来编码低通滤波信号并参数化具有较高频率的区域,使得它们能够根据低通滤波信号而被近似地重构。
从WO 9857436可知,将音频信号在这样的情况下在编码器侧进行频带限制(band limiting)并通过高质量音频编码器仅对音频信号的较低频带进行编码。然而,较高频带例如仅通过一组参数(这些参数允许较高频带的原始频谱包络(spectral envelope)再现)来非常粗略地表征。在解码器侧,然后将较高频带进行合成。为此,提出了谐波变换(harmonictransposition),其中,将解码的音频信号的较低频带提供至滤波器组(filterbank),将较低频带的滤波器组信道(channel)连接至较高频带的滤波器组信道,或“暂时地连接(patched)”,并且每个暂时连接的带通信号受到包络调节。这里,属于特定分析滤波组的合成滤波组接收到较低频带的音频信号的带通信号和较低频带的包络调节的带通信号(它们被协调地暂时连接至较高频带)。合成滤波器组的输出信号为相对于其音频带宽被扩展的音频信号,其中,该音频信号以非常低的数据速率从编码器侧传输到解码器侧。特别地,在滤波器组域中的滤波器组计算和暂时连接(patching)可以变为高的计算工作量(computational effort)。
用于频带受限音频信号(band-limited audio signal)的带宽扩展的复杂性降低的方法替代地将低频信号部分(LF)的复制功能用在高频范围内(HF),以近似由于频带限制而丢失的信息。在M.Dietz,L.Liljeryd,K.and 0.Kunz,“Spectral Band Replication,a novel approach in audiocoding,”in 112th AES Convention,Munich,May 2002;S.Meltzer,R.and F.Henn,“SBR enhanced audio codecs for digital broadcasting such as“Digital Radio Mondiale”(DRM),”112th AE S Convention,Munich,May2002;T.Ziegler,A.Ehret,P.Ekstrand and M.Lutzky,“Enhancing mp3 withSBR:Features and Capabilities of the new mp3PRO Algorithm,”in 112th AESConvention,Munich,May 2002;International Standard ISO/IEC14496-3:2001/FPDAM l,“Bandwidth Extension,”ISO/IEC,2002,或“Speechbandwidth extension method and apparatus”,Vasu Iyengar et al.US Patent Nr.5,455,888中描述了这样的方法。
在这些方法中,没有执行谐波变换,但较低频带的相邻带通滤波器组信道被人工地引入到较高频带的相邻滤波器组信道。这导致了音频信号的较高频带的大致近似。这种信号的大致近似然后在进一步的步骤中通过定义从原始信号推导的附加控制参数被精修。作为一个实例,MPEG-4标准使用用于调节频谱包络的比例因子(scale factor)、用于改写音调的噪音基底(noise floor)的附加物和反转过滤的组合以及用于音调分量的补充的正弦信号部分的插入。
除此之外,还存在其他的方法,诸如在E.Larsen,R.M.Aarts,and M.Danessis,“Efficient high-frequency bandwidth extension of music and speech”,In AES 112th Convention,Munich,Germany,May 2002中描述的所谓的“盲带宽扩展(blind bandwidth extension)”,其中,没有使用关于原始HF范围的信息。此外,还存在在K.A Robust Wideband Enhancement forNarrowband Speech Signal;Research Report,Helsinki University ofTechnology,Laboratory of Acoustics and Audio signal Processing,2001中描述的所谓的“人工带宽扩展(Artificial bandwidth extension)”的方法。
在J.Makinen等中:描述了AMR-WB+:一种用于第3代移动音频服务广播的新的音频编码标准、IEEE、ICASSP’05、用于带宽扩展的方法,其中,通过由例如向上采样低通滤波信号而获得的镜象操作来执行将低频分量复制到高频带中的操作。
作为选择,可以采用基本上等同于滤波器组域中的复制操作的信号侧频带调制。能够使得谐波带宽扩展的方法通常采用间距确定步骤(间距跟踪)、非线性畸变(non-linear distortion)步骤(参见,例如“U.Kornagel,Spectral widening of the excitation signal for telephone-band speechenhancement,in:Proceedings of the IWAENC,Darmstadt,Germany,September 2001,pp.215-218”)或者使用相位音码器(例如,如申请号为US 61/025129的美国临时专利申请“F.Nagel,S.Disch:“Apparatus andmethod of harmonic bandwidth extension in audio signals””所示)。
例如,WO 02/41302A1披露了一种用来提高使用高频重构方法的编码系统的性能的方法。其披露了如何通过由核心编码器编码的低频带和由高频率重构系统编码的高频带之间的交叉频率的时间上的调整来提高这种系统的整体特性。对于这种方法,核心编码器必须能够以不同的交叉频率在编码器侧和解码器侧进行工作。从而,增加了核心编码器的复杂性。
例如,在“R.M.Aarts,E.Larsen,and O.Ouweltjes,A unified approachto low-and high-frequency bandwidth extension.In AES 115th Convention,New York,USA,October 2003”,“E.Larsen and R. M.Aarts:AudioBandwidth Extension-Application to psychoacoustics,Signal Processing andLoudspeaker Design.John Wiley&Sons,Ltd,2004”,“E.Larsen,R.M.Aarts,and M.Danessis:Efficient high-frequency bandwidth extension ofmusic and speech.In AES 112th Convention,Munich,Germany,May 2002”,“J.Makhoul:Spectral Analysis of Speech by Linear Prediction.IEEETransactions on Audio and Electroacoustics,AU-21(3),June 1973”,“UnitedStates Patent Application 08/951,029,Ohmori et al.:Audio band widthextending system and method”和“United States Patent 6895375,Malah,D&Cox,R.VS.:System for bandwidth extension of Narrow-band speech”中描述了其他的用于带宽扩展的技术。
谐波带宽扩展方法通常表现出很高的复杂性,而复杂性降低的带宽扩展方法表现出质量降低。在将低比特速率与低频带的小带宽结合的具体情况下,则会产生诸如糙涩和令人不舒服的音色的人工产物。其原因在于,近似的HF部分基于不能保持音调信号部分之间的谐波关系的复制操作。这适用于LF和HF之间的谐波关系,还适用于HF部分自身中的连续的插入码(patch)之间的谐波关系。例如,在SBR中,在低频带和高频带之间的边界处出现的编码分量和复制分量的毗邻可能导致粗糙的声音印象。在图18中示出了原因,其中,从LF范围复制到HF范围内的音调部分在频谱上很密地与LF范围的音调部分相邻。
图18a示出了由三个音调构成的信号的原始声谱图1800a。图18b示出了对应于图18a的原始信号的带宽扩展信号的示图1800b。横坐标表示时间,纵坐标表示频率。具体地,在最后一个音调处,可以观察到潜在的问题1810(模糊的线1810)。
如果通过已知方法来考虑谐波关系,这总是基于F0-评估来进行。在这种情况下,这些方法的成功主要依赖于该评估的可靠性。
发明内容
通常,已知的带宽扩展方法以低比特速率提供音频信号,但具有差的音频质量或者以高比特速率而具有好的音频质量。
本发明的目标在于提供一种用于音频信号的改善的编码方案。
该目标通过根据权利要求1的音频编码器,根据权利要求3和权利要求8的带宽扩展解码器,以及根据权利要求12、13和14的方法而实现。本发明的实施方式提供了一种用来使用输入音频信号提供输出信号的音频编码器。该音频编码器包括插入码生成器(patch generator)、比较器和输出接口。
插入码生成器被配置为生成至少一个带宽扩展高频信号。带宽扩展高频信号包括高频带,其中,带宽扩展高频信号的高频带基于输入音频信号的低频带。如果生成了不同的带宽扩展高频信号,则不同的带宽扩展高频信号在它们的高频带内包括不同的频率。
比较器被配置为计算多个比较参数。基于输入音频信号和生成的带宽扩展高频信号的比较来计算比较参数。基于输入音频信号和生成的带宽扩展高频信号之间的不同的偏移频率(offset frequency)来计算多个比较参数的每个比较参数。此外,比较器被配置为根据多个比较参数来确定一个比较参数,其中,所述确定的比较参数满足预定标准。
换句话说,例如,比较器可以被配置为在多个比较参数中确定能够最好地满足预定标准的比较参数。
输出接口被配置为提供用于传输或存储的输出信号。该输出信号包括与确定的比较参数对应的基于偏移频率的参数标识(parameter indication)。
换句话说,该输出信号可以包括所选择的表示最佳偏移频率的比较参数。
本发明的另一个实施方式提供了一种带宽扩展解码器,该带宽扩展解码器用来基于输入音频信号和参数信号提供带宽扩展音频信号。参数信号包括偏移频率的标识和功率密度(power density)参数的标识。带宽扩展解码器包括插入码生成器、组合器和输出接口。
插入码生成器被配置为生成包括高频带的带宽扩展高频信号。基于输入音频信号的频带的一个或多个频移(frequency shift)来生成带宽扩展高频信号的高频带。频移基于偏移频率(offset frequency)。
此外,插入码生成器被配置为能够通过等于功率密度参数的值的因子或等于功率密度参数的倒数值的因子来分别放大或衰减带宽扩展高频信号的高频带。
组合器被配置为组合带宽扩展高频信号和输入音频信号以得到带宽扩展音频信号。
输出接口被配置为提供带宽扩展音频信号。
本发明的再一个实施方式提供了一种带宽扩展解码器,该带宽扩展解码器用来基于输入音频信号提供带宽扩展音频信号。该带宽扩展解码器包括插入码生成器、比较器、组合器和输出接口。
插入码生成器被配置为基于输入音频信号生成至少一个包括高频带的带宽扩展高频信号,其中,生成的带宽扩展高频信号的高频带的下限截止频率(cutoff frequency)低于输入音频信号的上限截止频率。如果生成了不同的带宽扩展高频信号,则不同的生成的带宽扩展高频信号在它们的高频带中包括不同的频率。
比较器被配置为计算多个比较参数。基于输入音频信号和生成的带宽扩展高频信号的比较来计算比较参数。基于输入音频信号和生成的带宽扩展高频信号之间的不同的偏移频率来计算多个比较参数中的各个比较参数。此外,比较器被配置为从多个比较参数中确定一个比较参数,其中,所述确定的比较参数满足预定标准。
换句话说,例如,比较器被配置为在多个比较参数中确定能够最好地满足预定标准的比较参数。
组合器被配置为组合输入音频信号和带宽扩展高频信号以得到带宽扩展音频信号,其中,用来得到带宽扩展音频信号的带宽扩展高频信号是基于对应于确定的比较参数的偏移频率的。
输出接口被配置为提供带宽扩展音频信号。
根据本发明的实施方式基于这样的中心思想,即,带宽扩展高频信号(也被称为插入码)可以被生成并与原始的输入音频信号相比较。通过使用带宽扩展高频信号的不同的偏移频率或具有不同的偏移频率的几个频带扩展高频信号,可以计算与不同的偏移频率对应的多个比较参数。这些比较参数可以与和音频质量相关联的质量相关。因此,可确定一比较参数,确保带宽扩展高频信号和输入音频信号的兼容性,从而使音频质量提高。
通过使用基于偏移频率(其对应于用于原始的输入音频信号的高频带的重构的确定的比较参数)的参数标识,可以降低用于编码的音频信号的传输或存储的比特速率。以这种方式,只需要存储或传输输入音频信号的低频部分和参数标识。
随后将定义术语比较参数、交叉频率和参数标识。
根据本发明的一些实施方式涉及一种使用交叉关系(crosscorrelation)来比较输入音频信号和生成的带宽扩展高频信号以计算比较参数的比较器。
根据本发明的另外的实施方式涉及一种插入码生成器,基于信号侧频带调制来在时域中生成带宽扩展高频信号。
本发明的优选实施方式的优点在于,提供了一种允许提高音频质量和/或降低用于传输或存储的比特速率的用于音频信号的编码方案。
附图说明
随后将参照附图详细描述根据本发明的实施方式,其中:
图1是音频编码器的框图;
图2是带宽扩展高频信号生成、输入音频信号和生成的带宽扩展高频信号的比较以及带宽扩展高频信号的功率自适应(power adaptation)的示意图;
图3是带宽扩展高频信号生成、输入音频信号和带宽扩展高频信号的比较以及带宽扩展高频信号的功率自适应(power adaptation)的示意图;
图4是带宽扩展编码器的框图;
图5是带宽扩展解码器的框图;
图6是带宽扩展解码器的框图;
图7是用来基于输入音频信号提供输出信号的方法的流程图;
图8是用来提供带宽扩展音频信号的方法的流程图;
图9是用来基于输入音频信号提供输出信号的方法的流程图;
图10是用来计算比较参数的方法的流程图;
图11是偏移频率的内插的示意图;
图12是带宽扩展解码器的框图;
图13是用来提供带宽扩展音频信号的方法的流程图;
图14是用来提供带宽扩展音频信号的方法的框图;
图15是带宽扩展编码器的框图;
图16a是使用可变的交叉频率的三个音调的声谱图;
图16b是三个音调的原始音频信号的声谱图;
图17是原始音频信号、使用恒定交叉频率的带宽扩展音频信号和使用可变的交叉频率的带宽扩展音频信号的能谱图;
图18a是使用已知的带宽扩展方法的三个音调的声谱图;以及
图18b是三个音调的原始音频信号的声谱图。
具体实施方式
下面,相同的参考标号局部地用于具有相同或相似功能特性的对象和功能单元,并且参照附图对其的描述还应当适用于其他附图,以减少实施方式说明的赘述。
图1示出了根据本发明实施方式的使用输入音频信号102提供输出信号132的音频编码器100的框图。输出信号适于解码器处的带宽扩展。因此,音频编码器还称为带宽扩展编码器。带宽扩展编码器100包括插入码生成器110、比较器120以及输出接口130。插入码生成器110连接至比较器120,而比较器120连接至输出接口130。
插入码生成器110生成至少一个带宽扩展高频信号112。带宽扩展高频信号112包括高频带,其中,带宽扩展高频信号112的高频带基于输入音频信号102的低频带。如果生成不同的带宽扩展高频信号112,则不同带宽扩展高频信号112在其高频带内包括不同的频率。
比较器120计算多个比较参数。基于对输入音频信号102和所生成的带宽扩展高频信号112的比较来计算比较参数。基于输入音频信号102和所生成的带宽扩展高频信号112之间的不同偏移频率来计算多个比较参数中的每个比较参数。此外,比较器120从多个比较参数中确定一个比较参数,其中,所确定的比较参数满足预定标准。
输出接口130提供用于传输或者存储的输出信号132。输出信号132包括基于对应于所确定的比较参数的偏移频率的参数标识。
通过计算用于不同偏移频率的多个比较参数,可以找出很好地符合原始输入音频信号102的带宽扩展高频信号112。这可以通过产生均具有不同偏移频率的多个带宽扩展高频信号112或者通过生成一个带宽扩展高频信号并将带宽扩展高频信号112的高频带移动不同的偏移频率来实现。同样,产生具有不同偏移频率的多个带宽扩展高频信号112与将它们的高频带移动其它不同的偏移频率的结合也是可以的。例如,生成五个不同带宽扩展高频信号112,并且它们中的每个都以恒定偏移频率被移动了五次。
图2示出了在仅有一个带宽扩展高频信号产生并且被移动不同偏移频率的情况下带宽扩展高频信号生成、带宽扩展高频信号和输入音频信号的比较以及带宽扩展高频信号的可选的功率自适应的示意图200。
第一示意图“功率-频率”示图210示意性示出了输入音频信号102。基于该输入音频信号102,例如,通过将输入音频信号102的低频带移动222至较高频(如参考标号所示),插入码生成器100可以生成带宽扩展高频信号112。例如,将低频带移动等于核心编码器(图1中未示出,其可以是带宽扩展编码器100的一部分)的交叉频率的频率或另一预定频率。
然后可以将所生成的带宽扩展高频信号112移动不同的偏移频率232,并且对于各偏移频率232(如参考标号230所示),可以通过比较器120来计算比较参数。例如,偏移频率232可以相对于核心编码器的交叉频率或相对于另一特定频率来定义,或者可以定义为绝对频率值。
接下来,比较器120确定满足预定标准的比较参数值。这样,可以确定具有对应于预定比较参数的偏移频率242的带宽扩展高频信号112(如参考标号240所示)。
此外,还可以确定功率密度参数252(如参考标号250所示)。功率密度参数252可以表示具有对应于所确定的比较参数的偏移频率的带宽扩展高频信号的高频带与输入音频信号的对应频带的比率。例如,比率可以涉及功率密度比率、功率比率或者与频带的功率密度相关的量的另一比率。
可选地,图3示出了在生成具有不同偏移频率的多个带宽扩展高频信号的情况下,带宽扩展高频信号生成、所生成的带宽扩展高频信号与输入音频信号的比较以及带宽扩展高频信号的可选的功率自适应的示意图330。
与图2所示的顺序不同,插入码生成器110生成了具有不同偏移频率232的多个带宽扩展高频信号112(如参考标号320所示)。这同样可以通过输入音频信号102的低频带频移222到较高的频率来实现。可以通过恒定频率加上各带宽扩展高频信号112的各偏移频率232来移动输入音频信号102的低频带。恒定频率可以等于核心编码器的交叉频率或者另一特定频率。
然后可以计算每个所生成的带宽扩展高频信号112的比较参数,并且可以通过比较器120来确定240满足预定标准的比较参数。
功率密度参数可以如上所述地确定250。
图2和图3所示的概念也可以结合。
可以通过两个信号交叉相关来进行输入音频信号102与所生成的带宽扩展高频信号112的比较。在这种情况下,比较参数可以是例如输入音频信号102与所生成的带宽扩展高频信号112之间的特定偏移频率的交叉相关的结果。
输出信号132的参数标识可以是偏移频率本身、量化的偏移频率或者是基于偏移频率的另一量。
通过仅传输或者存储参数标识,而不是输入音频信号102的高频带,可以降低传输或存储的比特速率。通过基于对应于满足预定标准的比较参数的偏移频率来选择参数,这可以比仅解码频带受限音频信号产生更好的音频质量。
预定标准可以确定多个比较参数的,例如,表明具有对应偏移频率的带宽扩展高频信号112比具有其他偏移频率的带宽扩展高频信号112与输入音频信号102的匹配好于70%的一个比较参数,表明具有对应偏移频率的带宽扩展信号112是对输入音频信号102的最佳的三个匹配之一的一个比较参数,或者表明具有对应偏移频率的最佳匹配的带宽扩展信号112的一个比较参数。这涉及到生成具有不同偏移频率的多个带宽扩展高频信号112的情况,以及仅有一个带宽扩展高频信号112生成并被移动不同偏移频率的情况,或者两种情况的结合。
比较参数可以是交叉相关的结果或者表明具有特定偏移频率的带宽扩展高频信号112与输入音频信号102匹配得有多好的另一量。
带宽扩展编码器100可以包括用于对输入音频信号102的低频带进行编码的核心编码器。该核心编码器可以包括对应于输入音频信号102的编码的低频带的上限截止频率(upper cutoff frequency)的交叉频率。核心编码器的交叉频率可以是恒定的或随时间变化的。实施变化的交叉频率会增加核心编码器的复杂性,但也可以提高编码的灵活性。
对于较高频带或插入码,可以重复图2和/或图3所示的处理。例如,输入音频信号102的低频带包括4kHz的上限截止频率。因此,如果将输入音频信号102的低频带移动低频带的上限截止频率,以生成带宽扩展高频信号112,则带宽扩展高频信号112包括具有4kHz的下限截止频率以及8kHz的上限截止频率的高频带。可以通过将输入音频信号102的低频带移动低频带的上限截止频率的两倍来重复该处理。因此,新生成的带宽扩展高频信号112包括具有8kHz的下限截止频率和12kHz的上限截止频率的高频带。这可以重复,直至达到期望的最高频率。可选地,这还可以通过生成具有多个不同高频带的一个带宽扩展高频信号来实现。
如在该实例中所示,输入音频信号的低频带的带宽和带宽扩展高频信号的高频带的带宽可以是相同的。可选地,输入音频信号的低频带可以展开并且移动,以生成带宽扩展高频信号。
确定具有对应于所确定的比较参数的偏移频率232的带宽扩展高频信号112会在输入音频信号102的低频带与带宽扩展高频信号112的高频带之间留下依赖于偏移频率242的间隙。该间隙可以通过生成包含例如频带限制噪声的适合该间隙的频率部分来填充。可选地,可以将间隙保留为空的,这是因为音频质量不会受到显著的影响。
图4示出了根据本发明实施方式的使用输入信号102提供输出信号132的带宽扩展编码器400的框图。带宽扩展编码器400包括插入码生成器100、比较器120、输出接口130、核心编码器410、带通滤波器420以及参数提取单元430。核心编码器410连接至输出接口130以及插入码生成器110,插入码生成器110连接至比较器120,比较器120连接至参数提取单元430,参数提取单元430连接至输出接口130,并且带通滤波器420连接至比较器120。
插入码生成器110可以被实现为基于输入音频信号102来生成带宽扩展高频信号112的调制器。比较器120可以通过由带通滤波器420滤波的输入音频信号102与所生成的带宽扩展高频信号112的交叉相关来执行它们的比较。满足预定标准的比较参数的确定还可以被称为滞后评估(lagestimation)。
输出接口130还可以包括比特流格式器的功能,并且可以包括用于组合由核心编码器410提供的低频信号与由参数提取单元430提供的包括基于偏移频率的参数标识的参数信号432的组合器。此外,输出接口可以包括熵编码器或差分编码器,以降低输出信号132的比特速率。组合器和熵或差分编码器可以是如该实例所示的输出接口130的一部分,或者可以是独立的单元。
音频信号102可以被划分为低频部分和高频部分。这可以通过核心编码器410的低通滤波器和带通滤波器420来完成。低通滤波器可以是核心编码器410的一部分或者是连接至核心编码器410的独立的低通滤波器。
低频部分通过核心编码器410(其可以是例如与MPEG1/2层3“MP3”或MPEG 4AAC标准一致的音频编码器或语音编码器)来处理。
低频部分可以被移动一固定值,例如,通过频域内的边带调制或快速傅里叶变换(FFT)来移动,从而其位于对应插入码的目标区域中的原始低频区域以上。可选地,可以直接从输入信号102获得低频部分。这可以通过连接至插入码生成器110的独立的低通滤波器来完成。
以规则的时间间隔,可以计算(输入音频信号的)原始高频部分和所得的高频部分(带宽扩展高频信号)之间窗口化信号部分的振幅谱之间的交叉相关。这样,可以确定最大相关的滞后(偏移频率)。该滞后在原始单侧频带调制(single side band modulation)方面可以具有相关因子(correction factor)的意义,即,单侧频带调制可以另外通过滞后来校正,以使交叉相关最大化。换言之,可以确定对应于满足预定标准的比较参数的偏移频率(也称为滞后),其中,比较参数对应于交叉相关,而预定标准可以是寻找最大相关。
此外,可以确定振幅谱的绝对值的比率。通过这样做,可以推导出所获得的高频信号应当通过哪个因子被衰减或者放大。换言之,可以确定表示带宽扩展高频信号112的高频带和原始输入音频信号102的对应频带之间的功率比率、功率密度、振幅谱的绝对值或与功率密度比率相关的另外的值的功率密度参数。这可以通过功率密度比较器(其可以是如实例所示的参数提取单元430的一部分或者是独立的单元)来完成。为了确定功率密度参数,例如,可以使用通过将输入音频信号102的低频带移动恒定频率而生成的带宽扩展高频信号112、或者对应于确定的比较参数的带宽扩展高频信号112或者另一个所生成的带宽扩展高频信号112。在这种情况下,对应频带意味着,例如,具有相同频率范围的频带。例如,如果带宽扩展高频信号的高频带包括从4kHz到8kHz的频率,则输入音频信号的对应频带也包括从4kHz到8kHz的范围。
所获得的对应于滞后以及对应于振幅的绝对值的校正因子(偏移频率、功率密度参数)可以随时间进行内插。换言之,为窗口化的信号部分(为时间帧)所确定的参数可以针对信号部分的每个时间步长进行内插。
该调制(控制)信号(参数信号)或其参数化的表示可以存储或者传输至解码器。换言之,参数信号432可以与由核心编码器410处理的输入音频信号102的低频带进行组合,以得到可以存储或传输至解码器的输出信号132。
此外,可以确定用于调节例如噪声电平和/或音调的其他参数。这可以通过参数提取单元430来完成。可以将其他的参数添加至参数信号432。
图4所示的实例示出了时变调制(time variable modulation)的编码器侧的计算。在这种情况下时变调制涉及具有不同偏移频率的带宽扩展高频信号112。对应于满足预定标准的确定的比较参数的偏移频率可以随时间变化。
图5示出了根据本发明实施方式的用来基于输入音频信号502和参数信号504提供带宽扩展音频信号532的带宽扩展解码器500的框图。参数信号504包括偏移频率的标识(indication)以及功率密度参数的标识。带宽扩展解码器500包括插入码生成器510、组合器520以及输出接口530。插入码生成器510连接至组合器520,而组合器520连接至输出接口530。
插入码生成器510基于输入音频信号502产生包括高频带的带宽扩展高频信号512。带宽扩展高频信号512的高频带基于输入音频信号502的频带的频移而产生,其中,频移基于偏移频率。
此外,插入码生成器510通过等于功率密度参数的值或等于功率密度参数的倒数值的因子对带宽扩展高频信号512的高频带进行放大或衰减。
组合器520结合带宽扩展高频信号512和输入音频信号502,以获得带宽扩展音频信号532,输出接口530提供带宽扩展音频信号532。
例如,如果如上所述地确定偏移频率,则生成基于偏移频率的带宽扩展高频信号512可以允许高频区域中的输入音频信号的频率范围的改善的连续性。
此外,通过用功率密度参数对带宽扩展高频信号512的高频带进行放大或衰减,输入音频信号502的高频连续(high-frequency continuation)的功率密度可以用非常高效的方式完成。这样,可以不需要归一化。
插入码生成器510通过以恒定频率加上偏移频率来移动输入音频信号512的频带可以生成带宽扩展高频信号512。如果偏移频率表明频移向低频进行,则组合器可以忽略包括比输入音频信号502的上限截止频率低的频率的带宽扩展高频信号512的高频带的一部分。
插入码生成器510可以在时域或频域中产生带宽扩展高频信号512。在时域中,插入码生成器510可以基于单侧频带调制生成带宽扩展高频信号512。
此外,输出接口在提供输出信号之前可以放大输出信号。
图6示出了根据本发明实施方式的基于输入音频信号502和参数信号504提供带宽扩展音频信号532的带宽扩展解码器600的框图。带宽扩展解码器600包括插入码生成器510、组合器520、输出接口530、核心解码器610以及参数提取单元620。核心解码器610连接至插入码生成器510和组合器520,参数提取单元620连接至插入码生成器510和输出接口530,插入码生成器510连接至组合器520,组合器520连接至输出接口530。
核心解码器610可以对所接收的比特流602进行解码,并且将输入音频信号502提供至插入码生成器501和组合器520。输入音频信号502可以包括等于核心解码器610的交叉频率的上限截止频率。该交叉频率可以是恒定的或者随时间变换的。随时间变换意味着,例如,对于不同时间间隔或时间帧是变化的,但是对于一个时间间隔或时间帧是恒定的。
参数提取单元620可以将参数信号504从所接收的比特流602中分离,并且将其提供至插入码生成器510。此外,可以将参数信号504或所提取的噪声和/或音调参数提供至输出接口530。
插入码生成器510可以基于偏移频率调制输入音频信号502,以获得带宽扩展高频信号512,并且可以基于包含在参数信号504中的功率密度参数放大或衰减带宽扩展高频信号512。将该带宽扩展高频信号512提供至组合器520。换言之,插入码生成器510可以基于偏移频率和功率密度参数调制输入音频信号502,以获得高频信号。这可以通过例如在时域中利用内插和/或滤波632对每个时间步长进行单侧频带调制634来完成。
组合器520组合输入音频信号502和所生成的带宽扩展高频信号512,以获得带宽扩展音频信号532。
输出接口530提供带宽扩展音频信号532并且可以另外包括校正单元。校正单元可以基于由参数提取单元620提供的参数执行音调校正和/或噪声校正。校正单元可以是如图6所示输出接口530的一部分,或者可以是独立的单元。校正单元还可以设置在插入码生成器与组合器520之间。这样,校正单元可以仅校正所生成的带宽扩展高频信号512的音调和/或噪声。因为输入音频信号502对应于原始音频信号,所以输入音频信号512的音调和噪声校正不是必需的。
总之,带宽扩展解码器600通过传输调制功能,可以从音频解码器或核心解码器的输出信号(输入音频信号)合成并频谱地形成高频信号。传输调制功能(Transmitted modulation function),例如,意味着基于偏移频率并且基于功率密度参数的调制功能。然后可以组合高频信号和低频信号,并且可以施加调节噪声电平和音调的其他参数。
图7示出了根据本发明实施方式的基于输入音频信号提供输出信号的方法700的流程图。该方法包括:生成至少一个带宽扩展高频信号(710)、计算多个比较参数(720)、从多个比较参数确定一个比较参数(730)以及提供用于传输或存储的输出信号(740)。
所生成的带宽扩展高频信号包括高频带。带宽扩展高频信号的高频带基于输入音频信号的低频带。如果生成不同的带宽扩展高频信号,则不同的带宽扩展高频信号在其高频带内包括不同的频率。
基于输入音频信号与所生成的带宽扩展高频信号的比较来计算比较参数。基于输入音频信号与所生成的带宽扩展高频信号之间的不同偏移频率来计算多个比较参数的每个比较参数。
所确定的比较参数满足预定标准。
输出信号包括基于对应于所确定的比较参数的偏移频率的参数标识。
图8示出了根据本发明实施方式的基于输入音频信号和参数信号提供带宽扩展音频信号的方法800的流程图。参数信号包括偏移频率的标识和功率密度参数的标识。该方法包括:生成带宽扩展高频信号(810)、放大或衰减带宽扩展高频信号的高频带(820)、组合带宽扩展高频信号和输入音频信号以获得带宽扩展音频信号(830)以及提供带宽扩展音频信号(840)。
带宽扩展高频信号包括高频带。基于输入音频信号的频带的频移生成带宽扩展高频信号的高频带(810)。频移基于偏移频率。
通过等于功率密度参数的值或者等于功率密度参数的倒数值的因子来放大或衰减带宽扩展高频信号的高频带(820)。
图9示出了根据本发明实施方式的基于输入音频信号提供输出信号的方法900的流程图。该附图示出了编码器中的算法的顺序的一种可能性。这也可以是下述的数学形式。实时信号可以通过拉丁小写体字母来表示,希尔伯特变换后的信号用对应的希腊字母表示,傅里叶变换后的信号用拉丁大写字母或者可选地用希腊字母表示。
输入信号可以被称为f(n),输出信号1<k<kmax表示变换后的傅里叶,j表示虚数,通常将希尔伯特变换H(.)定义为:
其中
交叉可以是核心编码器的截止频率,可以表示时间。可以表示第k个扩展或插入码。αk描述涉及交叉的感知频带的频带边缘,例如,根据巴克(Bark)或ERP等级。可选地,αk例如可以线性增大,即,αk+1-αk≡常数。通过用调制的低通滤波器对信号进行滤波,还可以用计算机高效地计算希尔伯特变换。
如果γk独立于n,则总和可以仅用n来替换。
可以将输入音频信号102或实际的音频信号f带通滤波为αk+1-αk的带宽,其可以通过下式表达:
fLF=f*filtLF
在这种情况下,每个插入码包括相同的带宽。可选地,可以将输入音频信号f102带通滤波为具有不同带宽的αk的带宽,其可以通过下式来描述:
然后,可以确定应当由该方法重构的原始信号的区域。这些频带受限区域可以表示为
且位于间隔(αk,αk+1)中。
低通滤波后的输入信号904的调制可以在频域或时域中完成。
在频域中,输入信号可以首先被窗口化,其可以通过下式来描述:
其中,NFFT是快速傅里叶变换频率库(fast Fourier transformationbins)的数字(例如512二进制数),ξ是窗口数,而win(.)是窗口函数。窗口或时间帧可以包括临时地重叠。例如,上面给出的公式描述了半个窗口的时间重叠。因此,块来自原始信号,并且其与变换后的傅里叶的绝对值一样多的振幅谱Fξ(ω)(其中ξ≤N)相关
描述了变换后的傅里叶中的频带边缘k的指数。
然后,通过移动FFT-频率库(快速傅里叶变换频率库),在频域中调制信号。隐含的希尔伯特变换(implicit Hilbert transformation)在这里不是必需的,但是它使得下面步骤的相等形式描述变得可能:
对于ω≥0以及
在时域中,首先进行用来生成分析信号908的输入音频信号f 102的希尔伯特变换906。
以及
或者
这样,可以生成带宽扩展高频信号(也称为调制的信号910)。
接下来,执行输入信号的窗口化(也可能具有重叠)(912)和扩展信号的窗口化(914)以及傅里叶变换(916):
以及
其中,NFFT同样是快速傅里叶变换频率库的数字(例如256、512、1024二进制数或者24与232之间的另一数字),ξ是窗口数,win(.)是窗口函数。因此,块914从原始信号中产生,并且与变换后的傅里叶的绝对值916一样多的振幅谱Φξ(ω)、Ψξ(ω)(其中ξ≤N)相关。
可以描述变换后的傅里叶中的频带边缘k的指数。
时域中的处理在图9中示出。
下一步骤为扩展信号和原始信号的部分振幅谱的交叉相关Rξ,k的计算(720)(比较参数可以等于交叉相关的结果),其可以通过下式来数学地表达:
其中
δ可以表示(为其计算交叉相关的)最大滞后(最大偏移频率)。如果应该用偏差来计算交叉相关,即小的滞后,因此应当优选大重叠,所以应当选择β=0。相反,如果应当补偿的是,对于大滞后相比于小滞后,更少的FFT-频率库(快速傅里叶变换频率库)发生重叠,则应当选择β=1。总体上,可以任意选择可选地或另外地,对于选择比插入码稍大的交叉相关的区域,可以选择利用该式,由交叉相关考虑的区域可以在特定插入码的两个频谱端扩展
基于交叉相关的这些结果,可以确定交叉相关的最大值(730)
以及最大相关的滞后dξ,k
Rξ,k(dξ,k)=mξ,k
此外,可以通过功率密度谱来确定插入码中的能量或功率比率920:
如果没有明确的最大值可被确定(924),则使滞后返回至0(如参考标号922所示)。否则,评估的滞后可以是对应于最大交叉相关的滞后(918)。对此,可以确定合适的阈值标准,dξ,k>τ(其中,将选择τ)。可选地,可以观察交叉相关dξ,k的曲率或谱平坦性(SFN),例如:
或者
其中
可以对滞后dξ,k以及功率密度参数ζξ,k进行内插(926),以获得用于每个时间步长的值:
ζk(n):=interp(cξ,k);λk(n)=interp(dξ,k)
然后,可以生成修改的、幅度调制的以及频移的总体调制函数:
该总体调制函数或总体调制函数的参数可以提供有用于存储或传输的输出信号(740)。
此外,可以确定用于噪声校正和/或音调校正的其他参数。
解码器处的调制可以通过下式:
以及k部分调制的添加(如果存在多于一个插入码)来进行。为此,例如,通过量化,可以适当地编码总体调制函数μk(n)或者μ(n)或者总体调制函数的参数ζk(n)和λk(n)或者cξ,k和dξ,k。可选地,可以降低采样率并且可以引入滞后现象。
例如,如果在寂静、瞬态或噪声中不存在音调信号,则滞后计算可以省略。在这些情况下,可以将滞后设定为零。
图10更详细地示出了用于确定滞后(lag)的实例1000。
对于时间帧或窗口ξ=i(1010),将滞后v设定为负λ来作为开始值。然后,计算交叉相关(cross correlation)Rξ,k(ν)(720)。如果v小于Λ(1030),则增加v(1032),并且根据交叉相关计算下一个比较参数(720)。如果v等于或大于Λ(1030),则可以确定对应于计算的最大交叉相关的滞后(730)。如果最大值是明确可确认的(924),则所确定的滞后用作参数dξ,k(918)。否则,滞后被设定为0并用作参数dξ,k=0(922)。
然后对于下一时间帧ξ=ξ+1(1050),重复整个处理(1040)。可以将所确定的滞后内插以获得每个时间步长N的参数(926)。
如果使用多个比较器,也可以并行地进行多个比较参数(例如,交叉相关的结果)的计算。此外,如果必要的硬件可被多次使用,则可以并行地进行不同时间帧的处理。计算交叉相关的循环也可以起始于+Λ并在每个循环减小直至v≤Λ。
图11示出了不同时间帧、时间间隔或窗口的偏移频率的内插926的示意图。图11a示出了时间帧不重叠时的内插1100。对于整个时间帧1110确定滞后dξ,k。为每个时间步长1120内插参数的最简单的方法可以通过将时间帧1110所有的时间步长1120的参数设定为等于对应的滞后dξ,k来实现。在时间帧的边缘,可以选择前一时间帧的滞后或后一时间帧的滞后。例如,参数λk(n)至λk(n+3)等于dξ,k,而参数λk(n+4)至λk(n+7)等于dξ+1,k。
可选地,时间帧1110的滞后可以线性内插在时间帧之间。例如:
λk(n+2)=dξ,k
适当地,图11B示出了用于时间帧1110重叠的实例1150。在这种情况下,一个时间步长1120与一个以上时间帧1110相关联。因此,一个以上所确定的滞后与一个时间步长1120相关联。这样,可将所确定的滞后内插以获得每个时间步长1120的一个参数(926)。例如,将对应于一个时间步长1120的确定的滞后线性内插。例如,可能的内插可以是:
λk(n)=dξ-1,k
λk(n+2)=dξ,k
可选地,还可以通过例如中值滤波进行内插。
可以通过内插装置来进行内插。内插装置可以是参数提取单元或输出接口的一部分,或可以是单独的单元。
在解码器侧,可以通过如下来进行带宽扩展:
根据以下两个公式之一来进行解码器处的总体调制函数的计算:
以及
可以忽略信号的虚部:
o(n)=Re(ψ(n))
然后,如前所述,接下来可以通过例如反转滤波进行音调校正。
图12示出了根据本发明实施方式的带宽扩展解码器1200的框图,该带宽扩展解码器用于基于输入音频信号502来提供带宽扩展音频信号532。带宽扩展解码器1200包括插入码生成器1210、比较器1220、组合器1230以及输出接口1240。插入码生成器1210连接至比较器1220,比较器1220连接至组合器1230并且组合器1230连接至输出接口1240。
插入码生成器1210基于输入音频信号502生成至少一个包括高频带的带宽扩展高频信号1212,其中,带宽扩展高频信号1212的高频带的下限截止频率低于输入音频信号502的上限截止频率。如果生成不同的带宽扩展高频信号,则不同的带宽扩展高频信号1212在它们高频带内包括不同的频率。
比较器1220计算多个比较参数。基于输入音频信号502和所生成的带宽扩展高频信号1212的比较来计算比较参数。基于输入音频信号502和所生成的带宽扩展高频信号1212之间的不同偏移频率来计算多个比较参数中的每一个比较参数。进一步地,比较器从多个比较参数中确定一个比较参数,其中所确定的比较参数满足预定的标准。
组合器1230组合输入音频信号502和带宽扩展高频信号1212,以获得带宽扩展音频信号532,其中,带宽扩展高频信号1212基于对应于所确定的比较参数的偏移频率。
输出接口1240提供带宽扩展音频信号532。
与图5所示的解码器相比,所述的解码器1200通过自身来确定偏移频率。因此,不需要用输入音频信号502来接收该参数。这样,可以进一步降低用于音频信号的传输或存储的比特速率。
如图1中所描述的,插入码生成器1210可以生成具有不同偏移频率的多个带宽扩展高频信号,或仅生成一个通过不同的偏移频率来移动的带宽扩展高频信号。同样,也可使用这两种可能性的组合。
图13示出了根据本发明实施方式的用于提供带宽扩展音频信号的方法1300的流程图。方法1300包括生成至少一个带宽扩展高频信号(1310)、计算多个比较参数(1320)、从多个比较参数中确定一个比较参数(1330)、组合输入音频信号和带宽扩展高频信号(1340)以及提供带宽扩展音频信号(1350)。
带宽扩展高频信号包括基于输入音频信号的高频带。带宽扩展高频信号的高频带的下限截止频率低于输入音频信号的上限截止频率。如果生成不同的带宽扩展高频信号,则不同的带宽扩展高频信号在它们的高频带内具有不同的频率。
基于输入音频信号和所生成的带宽扩展高频信号的比较来计算比较参数。基于输入音频信号和所生成的带宽扩展高频信号之间的不同的偏移频率来计算多个比较参数中的每一个比较参数。
所确定的比较参数满足预定的标准。
与输入音频信号组合以获得带宽音频信号的带宽扩展高频信号基于与所确定的比较参数对应的偏移频率。
图14示出了根据本发明实施方式的用于提供带宽扩展音频信号的方法1400的流程图。
在接收到包括输入音频信号的比特流(1402)之后,核心解码器对输入音频信号进行解码(1410)。基于输入音频信号,生成带宽扩展高频信号(1310),并且根据输入音频信号与具有不同偏移频率的所生成的带宽扩展高频信号之间的交叉相关,计算多个比较参数(1320)。然后,确定满足预定标准的比较参数(其还被称为滞后评估)(1330)。
基于与所确定的比较参数对应的偏移频率,调制器可以对输入音频信号进行调制(1420)。此外,可以从接收到的比特流(1402)中提取参数来适应例如调制信号的功率密度。然后将调制的信号与输入音频信号组合(1340)。此外,可以对带宽扩展音频信号的音调和噪声进行校正(1440)。这也可以在与输入音频信号组合之前来完成。然后,提供根据带宽扩展音频信号的音频数据(1350),例如,用来进行声音再生。
这样,在解码器侧进行了时变调制(time variable modulation)的计算。
可选地,调制器对输入音频信号进行调制以生成插入码(1420),例如可以使用之前已经生成的带宽扩展高频信号,或插入码生成器可以生成基于对应于所确定的比较参数的偏移频率的带宽扩展高频信号(插入码)。
换言之,如果低的数据率比解码侧的低复杂性更重要,则在解码器侧还可以进行调制器的频率调制的确定。为此,可以在解码器执行如图9所示的算法而只需作一些改变。因为对于在解码器侧的交叉相关的计算,原始信号不是现有的,所以在重叠范围内的原始信号(输入音频信号)与移动的原始信号(输入音频信号)之间计算交叉相关。例如,信号可以在0与αk之间移动,例如,αk由2相除,αk由3相除或αk由4相除。αk再次表示一第k频带边缘,例如,α1表示核心编码器的交叉频率。
例如,这可以在编码器处以与解码器处相同的方式发生。在编码器处,用于频谱形成的参数、噪声校正和/或音调校正可以被提取并被传输至解码器。
适当地,图15示出了根据本发明实施方式的用于使用输入音频信号来提供输出信号的带宽扩展编码器1500的框图。编码器1500对应于图4中所示的编码器,然而,编码器1500并不提供具有基于偏移频率自身的参数标识的输出信号。其可仅确定功率密度参数和用于音调校正和噪声校正的可选参数,并且将这些参数的参数标识包含至输出信号132。然而,功率密度参数(如确定其他参数,还包括其他参数)基于与所确定的比较参数对应的偏移频率来确定。
例如,功率密度参数可以表示输入音频信号102与具有与所确定的比较参数相对应的偏移频率的带宽扩展高频信号之间的比率。因此,与功率密度参数相关以及可选地与用于音调校正和/或噪声校正参数相关的参数标识基于对应于所确定的比较参数的偏移频率。
编码器1500与图4所示的编码器的其他的差别之处在于,插入码生成器110以与解码器1400的插入码生成器相同的方式来生成带宽扩展高频信号。以这种方式,编码器1500和解码器可以获得相同的偏移频率,因此由编码器1500提取的参数对于由解码器所生成的插入码是有效的。
根据本发明的一些实施方式涉及使用时变调制器在时域中进行音频信号的带宽扩展的装置和方法。换言之,例如,对于每个时间步长、每个时间帧、时间帧的一部分或对于时间帧的组,都可以使用变化的截止频率来生成插入码。
用于音频信号的带宽扩展的上述方法可以用在编码器侧和解码器侧以及只用在解码器侧。与已知的方法相比,上述新方法可以执行所谓的带宽的谐波扩展而不需要关于音频信号的基频的提取信息。进一步地,与所谓的谐波带宽扩展(例如,如申请号为US 61/025129的美国临时专利申请“F.Nagel,S.Disch:“Apparatus and method of harmonic bandwidthextension in audio signals”所示,其利用相位声码器来完成)相比,可以不展开频谱,并且也可以不改变密度。为了确保谐调,利用了扩展频带与基带之间的相关。该相关可以在编码器侧计算也可以在解码器侧计算,这取决于计算和存储器复杂性以及数据速率的需要。
例如,借助于具有多个慢、单一适应的、时间可变载波的单侧频带调制(SSB)通过使用调幅(AM)和频移来进行自身的带宽扩展。以下根据另外的参数进行的后续处理试图近似原始信号的频谱包络和噪声电平以及其他性质。
用于信号变换的新方法可以避免通过借助于低频(LF)与高频(HF)区之间以及之后的高频区(所谓的插入码)之间的时变截止频率交叉对频谱进行连续的谐波校正所生成的简单复制或镜像操作所引起的问题。选择这些截止频率使得所生成的插入码尽可能好地像在原始中存在的那样适合现有的谐波光栅。
图16示出了具有3个时变振幅和截止频率的调制器,通过该调制器可以通过基带的单侧频带调制来生成3个插入码。图16a示出了使用时变截止频率1610的带宽扩展信号的频谱的示图1600a。图16b示出了3个音调的音频信号的频谱的示图1600b。与图18B所绘的声谱图相比,线1620显著地被更少地拖影。
图17通过周期的示图1700示出了效果。音频信号的三个音调的功率密度频谱被示为原始的1710、具有恒定截止频率的1720以及具有可变截止频率的1730。与使用恒定的截止频率1720相比,通过使用可变的截止频率1730保持了谐波的结构。
通过频谱的谐波连续,可以避免在基带(核心编码器)与扩展带之间以及连续(succeeding)的插入码之间两者的转变点处的问题。无须像用于系统的函数所需求的那样的F0-评估,可以以谐波方式使任意信号连续,而不存在由干扰谐波或瞬时的声音现象而引起的可听见的人工产物。
根据本发明的一些实施方式涉及一种适于应用于所有音频应用的方法,其中全频带不是可用的。例如,对于使用数字无线电通信对音频内容的广播、互联网流或音频通信应用,可以使用上述方法。
根据本发明的其他实施方式涉及用于基于输入音频信号和参数信号,来提供带宽扩展音频信号的带宽扩展解码器,其中,参数信号包括偏移频率的标识和功率密度参数的标识。带宽扩展解码器包括插入码生成器、组合器以及输出接口。插入码生成器被配置为生成包括高频带的带宽扩展高频信号,其中,带宽扩展高频信号的高频带是基于输入音频信号的频带的频移来生成的,其中,频移基于偏移频率,并且其中插入码生成器被配置为通过等于功率密度参数的值或等于功率密度参数的倒数值的因子放大或衰减带宽扩展高频信号的高频带。组合器被配置为组合带宽扩展高频信号和输入音频信号以获得带宽扩展音频信号。输出接口配置为提供带宽扩展音频信号。
根据本发明的一些其他实施方式涉及如前所述的带宽扩展解码器,其中,插入码生成器被配置为通过等于功率密度参数的值或等于功率密度参数的倒数值的因子放大或衰减带宽扩展高频信号的高频带,其中,功率密度参数的标识包含在输入音频信号中。
尽管已经根据几个实施方式描述了本发明,但存在落在本发明的范围内的变形、置换以及等同替换。还应当注意的是,存在实施本发明的方法和构成的多种替换方式。因此,以下所附权利要求意在被解释为包括所有的这样的变形、置换以及等同替换,只要它们落在本发明的实质的精神和范围内。
具体地,需要指出的是,根据条件,本发明方案还可以在软件中实施。可以在具有能够与可编程计算机系统协作而使得对应方法被执行的电子可读控制信号的数字存储介质(具体地,软驱或CD)上实施。一般地,因而,当在计算机上执行该计算机程序产品时,本发明还存在于计算机程序产品中,该计算机程序产品具有存储在用于当在计算机上执行计算机产品时执行本发明方法的机器可读载体上的程序代码。换而言之,因而,本发明因此可以作为具有用来当在计算机上执行计算机程序时执行该方法的程序代码的计算机程序来实现。
Claims (15)
1.一种音频编码器(100)、(400)、(1500),所述音频解码器用于使用输入音频信号(102)来提供输出信号(132),包括:
插入码生成器(110),被配置为生成至少一个带宽扩展高频信号(112),其中,带宽扩展高频信号(112)包括高频带,其中,带宽扩展高频信号(112)的所述高频带基于所述输入音频信号(102)的低频带,以及其中,如果生成不同的带宽扩展高频信号(112),则不同的带宽扩展高频信号(112)在它们的高频带内包括不同频率;
比较器(120),被配置为计算多个比较参数,其中,基于所述输入音频信号(102)与所生成的带宽扩展高频信号(112)的比较来计算比较参数,其中,基于所述输入音频信号(102)与所生成的带宽扩展高频信号(112)之间的不同偏移频率来计算多个比较参数中的每一个比较参数,并且其中,所述比较器(120)被配置为从所述多个比较参数中确定一比较参数,其中,所确定的比较参数满足预定的标准;以及
输出接口(130),被配置为提供用于传输或存储的输出信号(132),其中,所述输出信号(132)包括基于与所确定的比较参数对应的偏移频率的参数标识。
2.根据权利要求1所述的音频解码器,包括功率密度比较器(430),被配置为基于所生成的带宽扩展高频信号(112)的高频带和所述输入音频信号(102)的对应的频带的功率密度来比较参数,以获得功率密度参数,其中,功率密度参数表示基于所生成的带宽扩展高频信号(112)的高频带和所述输入音频信号(102)的对应的频带的功率密度的比率,并且其中,输出信号(132)的参数标识基于所述功率密度参数。
3.一种带宽扩展解码器(500)、(600),其用于基于输入音频信号(502)和参数信号(504)提供带宽扩展音频信号,其中,参数信号(504)包括偏移频率的标识和功率密度参数的标识,所述带宽扩展解码器包括:
插入码生成器(510),被配置为生成包括高频带的带宽扩展高频信号(512),其中,基于所述输入音频信号(502)的频带的频移来生成所述带宽扩展高频信号(512)的所述高频带,其中,所述频移基于所述偏移频率,以及其中,所述插入码生成器(510)被配置为通过等于所述功率密度参数值或等于所述功率密度参数的倒数值的因子分别放大或衰减所述带宽扩展高频带信号(512)的所述高频带;
组合器(529),被配置为组合所述带宽扩展高频信号(512)和所述输入音频信号(502)以获得带宽扩展音频信号(532);以及
输出接口(530),被配置为提供所述带宽扩展音频信号(532)。
4.根据权利要求3所述的带宽扩展解码器,其中,所述组合器(520)被配置为忽略所述带宽扩展高频信号(512)的所述高频带的一部分,其中,所述带宽扩展高频信号(512)的所述高频带的被忽略部分包括低于所述输入音频信号(502)的上限截止频率的频率。
5.根据权利要求3或4所述的带宽扩展解码器,包括核心解码器(610),被配置为基于编码的输入音频信号(602)生成所述输入音频信号(502),其中,所述核心解码器(610)生成具有恒定的上限截止频率的所述输入音频信号(502),其中,所述插入码生成器(510)被配置为通过将所述输入音频信号(502)的所述频带移动与所述输入音频信号(502)的所述上限截止频率加上所述偏移频率相等的频率,来生成所述带宽扩展高频信号(512)的所述高频带(510)。
6.根据权利要求3~5中的任一项所述的带宽扩展解码器,其中,所述插入码生成器(510)被配置为在时域中生成所述带宽扩展高频信号(512)。
7.根据权利要求6所述的带宽扩展解码器,其中,所述插入码生成器(510)被配置为基于单侧频带调制来生成所述带宽扩展高频信号(512)。
8.一种带宽扩展解码器(1200),其用于基于输入音频信号(502)提供带宽扩展音频信号,包括:
插入码生成器(1210),被配置为基于所述输入音频信号(502)生成至少一个包括高频带的带宽扩展高频信号(1212),其中,带宽扩展高频信号(1212)的所述高频带的下限截止频率低于所述输入音频信号(502)的上限截止频率,并且其中,如果生成不同的带宽扩展高频信号(1212),则不同的带宽扩展高频信号在它们的高频带内包括不同的频率;
比较器(1220),被配置为计算多个比较参数,其中基于所述输入音频信号(502)和所生成的带宽扩展高频信号(1212)来计算比较参数,其中,基于所述输入音频信号(502)和所生成的带宽扩展高频信号(1212)之间的不同偏移频率来计算多个比较参数中的每个比较参数,并且其中,所述比较器(1220)被配置为从所述多个比较参数中确定一个比较参数,其中,所确定的比较参数满足预定的标准;
组合器(1230),被配置为组合输入音频信号(512)和带宽扩展高频信号以获得带宽扩展音频信号(532),其中,用于获得所述带宽扩展音频信号(532)的所述带宽扩展高频信号基于与所确定的比较参数对应的偏移频率;以及
输出接口(1240),被配置为提供所述带宽扩展音频信号(532)。
9.根据权利要求8所述的带宽扩展解码器,其中,所述插入码生成器(1210)被配置为通过等于所述功率密度参数值或等于所述功率密度参数的倒数值的因子分别放大或衰减所述带宽扩展高频信号(1212)的高频带;其中,所述功率密度参数的标识包含在所述输入音频信号(502)中。
10.根据权利要求3~9中的任一项所述的带宽扩展解码器,包括内插装置,其中,时间帧包括多个时间步长,其中,每个时间帧包括对应的偏移频率,其中,所述内插装置被配置为对于每个时间帧的时间步长,内插时间帧的偏移频率或不同时间帧的多个偏移频率,以获得每个时间步长的内插偏移频率。
11.根据权利要求1、2、8或9所述的音频编码器或带宽扩展解码器,其中,所述比较器被配置为通过对所述输入音频信号和所生成的带宽扩展高频信号的交叉相关的结果进行计算,来执行所述输入音频信号和所生成的带宽扩展高频信号的比较,其中,被计算的所述比较参数基于交叉相关的结果,其中,所述交叉相关的参数是所述带宽扩展高频信号的偏移频率,并因此与所计算的比较参数相关联。
12.一种用于使用输入音频信号来提供输出信号的方法(700),所述方法包括:
生成至少一个带宽扩展高频信号(710),其中,带宽扩展高频信号包括高频带,其中,所述带宽扩展高频信号的高频带基于所述输入音频信号的低频带,以及其中,如果生成不同的带宽扩展高频信号,则不同的带宽扩展高频信号在它们高频带内包括不同的频率;
计算多个比较参数(720),其中,基于所述输入音频信号与所生成的带宽扩展高频信号的比较来计算比较参数,其中,基于所述输入音频信号与所生成的带宽扩展高频信号之间的不同的偏移频率来计算多个比较参数中的每一个比较参数;
从所述多个比较参数中确定一比较参数(730),其中,所确定的比较参数满足预定的标准;以及
提供用于传输或存储的输出信号(740),其中,所述输出信号包括基于与所确定的比较参数对应的偏移频率的参数标识。
13.一种用于基于输入音频信号和参数信号来提供带宽扩展音频信号的方法(800),其中,所述参数信号包括偏移频率的标识和功率密度参数的标识,所述方法包括:
生成包括高频带的带宽扩展高频信号(810),其中,基于所述输入音频信号的频带的频移来生成带宽扩展高频信号的高频带,其中,所述频移基于所述偏移频率;
通过等于所述功率密度参数值或等于所述功率密度参数的倒数值的因子来放大或衰减所述带宽扩展高频信号的所述高频带(820);
组合所述带宽扩展高频信号和输入音频信号以获得带宽扩展音频信号(830);以及
提供所述带宽扩展音频信号(840)。
14.一种用于基于输入音频信号提供带宽扩展音频信号的方法(1300),所述方法包括:
基于所述输入音频信号生成至少一个包括高频带的带宽扩展高频信号(1310),其中,所述带宽扩展高频信号的高频带的下限截止频率低于所述输入音频信号的上限截止频率,并且其中,如果生成不同的带宽扩展高频信号,则不同的带宽扩展高频信号在它们的高频带内包括不同的频率;
计算多个比较参数(1320),其中,基于所述输入音频信号和所生成的带宽扩展高频信号来计算比较参数,其中,基于所述输入音频信号和所生成的带宽扩展高频信号之间的不同偏移频率来计算所述多个比较参数中的每个比较参数,
从所述多个比较参数中确定一个比较参数(1330),其中,所确定的比较参数满足预定的标准;
组合所述输入音频信号和带宽扩展高频信号以获得带宽扩展音频信号(1340),其中,用于获得所述带宽扩展音频信号的所述带宽扩展高频信号基于与所确定的比较参数对应的偏移频率;以及提供所述带宽扩展音频信号(1350)。
15.一种计算机程序,所述计算机程序具有用来当在计算机或微控制器上运行所述计算机程序时执行根据权利要求12至14之一所述的方法的程序代码。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12255208P | 2008-12-15 | 2008-12-15 | |
US61/122,552 | 2008-12-15 | ||
PCT/EP2009/066980 WO2010069885A1 (en) | 2008-12-15 | 2009-12-11 | Audio encoder and bandwidth extension decoder |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102246231A true CN102246231A (zh) | 2011-11-16 |
CN102246231B CN102246231B (zh) | 2013-07-10 |
Family
ID=42104496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801504421A Active CN102246231B (zh) | 2008-12-15 | 2009-12-11 | 音频编码器和带宽扩展解码器 |
Country Status (16)
Country | Link |
---|---|
US (13) | US8401862B2 (zh) |
EP (12) | EP4231291B1 (zh) |
JP (3) | JP2012512437A (zh) |
KR (2) | KR101369267B1 (zh) |
CN (1) | CN102246231B (zh) |
AU (1) | AU2009328247B9 (zh) |
BR (2) | BRPI0917762B1 (zh) |
CA (5) | CA2908847C (zh) |
DK (1) | DK3364414T3 (zh) |
ES (4) | ES2613941T3 (zh) |
HK (2) | HK1217810A1 (zh) |
MX (1) | MX2011006163A (zh) |
PL (8) | PL4231290T3 (zh) |
PT (3) | PT2359366T (zh) |
TR (1) | TR201808500T4 (zh) |
WO (1) | WO2010069885A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105103224A (zh) * | 2013-04-05 | 2015-11-25 | 杜比国际公司 | 用于交错波形编码的音频编码器和解码器 |
CN105612578A (zh) * | 2013-10-11 | 2016-05-25 | 高通股份有限公司 | 用于产生高频带激励信号的混合因子的估计 |
CN106463135A (zh) * | 2014-06-26 | 2017-02-22 | 高通股份有限公司 | 使用失配频率范围的高频带信号译码 |
CN106663449A (zh) * | 2014-08-06 | 2017-05-10 | 索尼公司 | 编码装置和方法、解码装置和方法以及程序 |
CN107993667A (zh) * | 2014-02-07 | 2018-05-04 | 皇家飞利浦有限公司 | 音频信号解码器中改进的频带扩展 |
CN108701467A (zh) * | 2015-12-14 | 2018-10-23 | 弗劳恩霍夫应用研究促进协会 | 处理经编码音频信号的装置及方法 |
CN109247069A (zh) * | 2016-03-18 | 2019-01-18 | 弗劳恩霍夫应用研究促进协会 | 通过使用音频频谱图上的结构张量来重构相位信息的编码 |
CN110111801A (zh) * | 2013-01-29 | 2019-08-09 | 弗劳恩霍夫应用研究促进协会 | 音频编码器、音频解码器、方法、程序及编码音频表示 |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6992481B2 (en) | 2003-05-29 | 2006-01-31 | Timex Group B. V. | Method for compensating for predictable generated signals in an electronic device |
EP4231291B1 (en) * | 2008-12-15 | 2023-11-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio bandwidth extension decoder, corresponding method and computer program |
ES2805349T3 (es) * | 2009-10-21 | 2021-02-11 | Dolby Int Ab | Sobremuestreo en un banco de filtros de reemisor combinado |
JP5649084B2 (ja) | 2010-03-09 | 2015-01-07 | フラウンホーファーゲゼルシャフトツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. | 再生速度またはピッチを変更する際にオーディオ信号における過渡音声事象を処理するための装置および方法 |
KR101414736B1 (ko) * | 2010-03-09 | 2014-08-06 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 캐스케이드 필터뱅크들을 이용한 입력 오디오 신호를 처리하는 장치 및 방법 |
WO2011110494A1 (en) | 2010-03-09 | 2011-09-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Improved magnitude response and temporal alignment in phase vocoder based bandwidth extension for audio signals |
FR2961938B1 (fr) * | 2010-06-25 | 2013-03-01 | Inst Nat Rech Inf Automat | Synthetiseur numerique audio ameliore |
US8560330B2 (en) * | 2010-07-19 | 2013-10-15 | Futurewei Technologies, Inc. | Energy envelope perceptual correction for high band coding |
JP5714180B2 (ja) | 2011-05-19 | 2015-05-07 | ドルビー ラボラトリーズ ライセンシング コーポレイション | パラメトリックオーディオコーディング方式の鑑識検出 |
US20130006644A1 (en) * | 2011-06-30 | 2013-01-03 | Zte Corporation | Method and device for spectral band replication, and method and system for audio decoding |
US9173025B2 (en) | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
US20140046670A1 (en) * | 2012-06-04 | 2014-02-13 | Samsung Electronics Co., Ltd. | Audio encoding method and apparatus, audio decoding method and apparatus, and multimedia device employing the same |
KR101990884B1 (ko) * | 2012-09-04 | 2019-06-19 | 에스케이 텔레콤주식회사 | 이종망 간의 통신품질 향상 방법 및 장치 |
EP2709106A1 (en) | 2012-09-17 | 2014-03-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
US9258428B2 (en) * | 2012-12-18 | 2016-02-09 | Cisco Technology, Inc. | Audio bandwidth extension for conferencing |
EP2950308B1 (en) * | 2013-01-22 | 2020-02-19 | Panasonic Corporation | Bandwidth expansion parameter-generator, encoder, decoder, bandwidth expansion parameter-generating method, encoding method, and decoding method |
ES2899781T3 (es) | 2013-01-29 | 2022-03-14 | Fraunhofer Ges Forschung | Aparato y procedimiento para generar una señal de refuerzo de frecuencia mediante la configuración de la señal de refuerzo |
CN103971694B (zh) * | 2013-01-29 | 2016-12-28 | 华为技术有限公司 | 带宽扩展频带信号的预测方法、解码设备 |
CN104217727B (zh) * | 2013-05-31 | 2017-07-21 | 华为技术有限公司 | 信号解码方法及设备 |
EP2830056A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain |
EP2871641A1 (en) * | 2013-11-12 | 2015-05-13 | Dialog Semiconductor B.V. | Enhancement of narrowband audio signals using a single sideband AM modulation |
JP6593173B2 (ja) * | 2013-12-27 | 2019-10-23 | ソニー株式会社 | 復号化装置および方法、並びにプログラム |
JP6576934B2 (ja) * | 2014-01-07 | 2019-09-18 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | 圧縮済みオーディオ信号の信号品質ベース強調及び補償 |
EP3128513B1 (en) * | 2014-03-31 | 2019-05-15 | Fraunhofer Gesellschaft zur Förderung der Angewand | Encoder, decoder, encoding method, decoding method, and program |
EP2963645A1 (en) * | 2014-07-01 | 2016-01-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Calculator and method for determining phase correction data for an audio signal |
US9852744B2 (en) * | 2014-12-16 | 2017-12-26 | Psyx Research, Inc. | System and method for dynamic recovery of audio data |
US10847170B2 (en) | 2015-06-18 | 2020-11-24 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
KR101677137B1 (ko) * | 2015-07-17 | 2016-11-17 | 국방과학연구소 | 변조 스펙트로그램을 이용한 수중 방사체의 데몬 및 lofar 특징을 동시 추출하는 방법 및 장치 |
EP3182410A3 (en) * | 2015-12-18 | 2017-11-01 | Dolby International AB | Enhanced block switching and bit allocation for improved transform audio coding |
TW202341126A (zh) * | 2017-03-23 | 2023-10-16 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合 |
EP3382702A1 (en) * | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for determining a predetermined characteristic related to an artificial bandwidth limitation processing of an audio signal |
GB2562253B (en) * | 2017-05-09 | 2021-11-03 | Imagination Tech Ltd | Efficient detection of ranging code correlation function of a GNSS signal |
US10896684B2 (en) * | 2017-07-28 | 2021-01-19 | Fujitsu Limited | Audio encoding apparatus and audio encoding method |
CN109729585B (zh) * | 2017-10-27 | 2022-04-15 | 成都鼎桥通信技术有限公司 | 网络处理方法和装置 |
US11158297B2 (en) * | 2020-01-13 | 2021-10-26 | International Business Machines Corporation | Timbre creation system |
EP4211701A1 (en) * | 2020-09-09 | 2023-07-19 | Sparrow Acoustics Inc. | Method and system for performing time-domain processing of a waveform signal |
US20230110255A1 (en) * | 2021-10-12 | 2023-04-13 | Zoom Video Communications, Inc. | Audio super resolution |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2512908A (en) | 1947-10-16 | 1950-06-27 | Mina M Arndt | Telephone switchboard mounting plate with plug-in components |
US5455888A (en) | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
WO1997029549A1 (fr) | 1996-02-08 | 1997-08-14 | Matsushita Electric Industrial Co., Ltd. | Codeur, decodeur, codeur-decodeur et support d'enregistrement de signal audio large bande |
JPH10124088A (ja) | 1996-10-24 | 1998-05-15 | Sony Corp | 音声帯域幅拡張装置及び方法 |
SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
US6549884B1 (en) * | 1999-09-21 | 2003-04-15 | Creative Technology Ltd. | Phase-vocoder pitch-shifting |
US7742927B2 (en) * | 2000-04-18 | 2010-06-22 | France Telecom | Spectral enhancing method and device |
SE0001926D0 (sv) * | 2000-05-23 | 2000-05-23 | Lars Liljeryd | Improved spectral translation/folding in the subband domain |
SE0004187D0 (sv) * | 2000-11-15 | 2000-11-15 | Coding Technologies Sweden Ab | Enhancing the performance of coding systems that use high frequency reconstruction methods |
JP2003108197A (ja) * | 2001-07-13 | 2003-04-11 | Matsushita Electric Ind Co Ltd | オーディオ信号復号化装置およびオーディオ信号符号化装置 |
DE60230856D1 (de) * | 2001-07-13 | 2009-03-05 | Panasonic Corp | Audiosignaldecodierungseinrichtung und audiosignalcodierungseinrichtung |
US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
AU2002352182A1 (en) | 2001-11-29 | 2003-06-10 | Coding Technologies Ab | Methods for improving high frequency reconstruction |
US20040002844A1 (en) | 2002-06-27 | 2004-01-01 | Jess Jochen A.G. | System and method for statistical modeling and statistical timing analysis of integrated circuits |
US8090577B2 (en) | 2002-08-08 | 2012-01-03 | Qualcomm Incorported | Bandwidth-adaptive quantization |
JP3861770B2 (ja) | 2002-08-21 | 2006-12-20 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
DE10328777A1 (de) | 2003-06-25 | 2005-01-27 | Coding Technologies Ab | Vorrichtung und Verfahren zum Codieren eines Audiosignals und Vorrichtung und Verfahren zum Decodieren eines codierten Audiosignals |
CN101800049B (zh) * | 2003-09-16 | 2012-05-23 | 松下电器产业株式会社 | 编码装置和译码装置 |
DE10345996A1 (de) | 2003-10-02 | 2005-04-28 | Fraunhofer Ges Forschung | Vorrichtung und Verfahren zum Verarbeiten von wenigstens zwei Eingangswerten |
DE10345995B4 (de) | 2003-10-02 | 2005-07-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines Signals mit einer Sequenz von diskreten Werten |
JP4254479B2 (ja) * | 2003-10-27 | 2009-04-15 | ヤマハ株式会社 | オーディオ帯域拡張再生装置 |
DE102004046746B4 (de) * | 2004-09-27 | 2007-03-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten |
WO2006049205A1 (ja) * | 2004-11-05 | 2006-05-11 | Matsushita Electric Industrial Co., Ltd. | スケーラブル復号化装置およびスケーラブル符号化装置 |
EP1686564B1 (en) * | 2005-01-31 | 2009-04-15 | Harman Becker Automotive Systems GmbH | Bandwidth extension of bandlimited acoustic signals |
JP4604864B2 (ja) | 2005-06-14 | 2011-01-05 | 沖電気工業株式会社 | 帯域拡張装置及び不足帯域信号生成器 |
US7953605B2 (en) * | 2005-10-07 | 2011-05-31 | Deepen Sinha | Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension |
US7953604B2 (en) * | 2006-01-20 | 2011-05-31 | Microsoft Corporation | Shape and scale parameters for extended-band frequency coding |
US20080004866A1 (en) * | 2006-06-30 | 2008-01-03 | Nokia Corporation | Artificial Bandwidth Expansion Method For A Multichannel Signal |
PL2109098T3 (pl) * | 2006-10-25 | 2021-03-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Urządzenie i sposób do generowania próbek audio w dziedzinie czasu |
JP2008158300A (ja) * | 2006-12-25 | 2008-07-10 | Sony Corp | 信号処理装置、信号処理方法、再生装置、再生方法、電子機器 |
US7912729B2 (en) * | 2007-02-23 | 2011-03-22 | Qnx Software Systems Co. | High-frequency bandwidth extension in the time domain |
DE102008015702B4 (de) | 2008-01-31 | 2010-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
MX2010009932A (es) * | 2008-03-10 | 2010-11-30 | Fraunhofer Ges Forschung | Metodo y dispositivo para manipular una señal de audio que tiene un evento transitorio. |
US7977562B2 (en) * | 2008-06-20 | 2011-07-12 | Microsoft Corporation | Synthesized singing voice waveform generator |
AU2009267525B2 (en) * | 2008-07-11 | 2012-12-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio signal synthesizer and audio signal encoder |
US8880410B2 (en) * | 2008-07-11 | 2014-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal |
WO2010036062A2 (en) * | 2008-09-25 | 2010-04-01 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
EP2224433B1 (en) * | 2008-09-25 | 2020-05-27 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
EP4231291B1 (en) * | 2008-12-15 | 2023-11-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio bandwidth extension decoder, corresponding method and computer program |
EP3246919B1 (en) * | 2009-01-28 | 2020-08-26 | Dolby International AB | Improved harmonic transposition |
ES2805349T3 (es) * | 2009-10-21 | 2021-02-11 | Dolby Int Ab | Sobremuestreo en un banco de filtros de reemisor combinado |
PL2581905T3 (pl) * | 2010-06-09 | 2016-06-30 | Panasonic Ip Corp America | Sposób rozszerzania pasma częstotliwości, urządzenie do rozszerzania pasma częstotliwości, program, układ scalony oraz urządzenie dekodujące audio |
WO2012113035A1 (en) | 2011-02-25 | 2012-08-30 | Polyline Piping Systems Pty Ltd | Mobile plastics extrusion plant |
CN103928029B (zh) * | 2013-01-11 | 2017-02-08 | 华为技术有限公司 | 音频信号编码和解码方法、音频信号编码和解码装置 |
US9666202B2 (en) * | 2013-09-10 | 2017-05-30 | Huawei Technologies Co., Ltd. | Adaptive bandwidth extension and apparatus for the same |
-
2009
- 2009-12-11 EP EP23180084.8A patent/EP4231291B1/en active Active
- 2009-12-11 PT PT97970032T patent/PT2359366T/pt unknown
- 2009-12-11 AU AU2009328247A patent/AU2009328247B9/en active Active
- 2009-12-11 PL PL23180061.6T patent/PL4231290T3/pl unknown
- 2009-12-11 MX MX2011006163A patent/MX2011006163A/es active IP Right Grant
- 2009-12-11 BR BRPI0917762-0A patent/BRPI0917762B1/pt active IP Right Grant
- 2009-12-11 EP EP09797003.2A patent/EP2359366B1/en active Active
- 2009-12-11 PT PT151671997T patent/PT2945159T/pt unknown
- 2009-12-11 PL PL23180085.5T patent/PL4231292T3/pl unknown
- 2009-12-11 CN CN2009801504421A patent/CN102246231B/zh active Active
- 2009-12-11 PL PL09797003T patent/PL2359366T3/pl unknown
- 2009-12-11 DK DK18151917.4T patent/DK3364414T3/da active
- 2009-12-11 CA CA2908847A patent/CA2908847C/en active Active
- 2009-12-11 KR KR1020117013743A patent/KR101369267B1/ko active IP Right Grant
- 2009-12-11 EP EP23180374.3A patent/EP4224475B1/en active Active
- 2009-12-11 CA CA2908576A patent/CA2908576C/en active Active
- 2009-12-11 EP EP23180369.3A patent/EP4231295B1/en active Active
- 2009-12-11 BR BR122015019030A patent/BR122015019030B1/pt active IP Right Grant
- 2009-12-11 EP EP15167199.7A patent/EP2945159B1/en active Active
- 2009-12-11 EP EP22166970.8A patent/EP4053838B1/en active Active
- 2009-12-11 ES ES09797003.2T patent/ES2613941T3/es active Active
- 2009-12-11 CA CA2989886A patent/CA2989886C/en active Active
- 2009-12-11 ES ES18151917T patent/ES2921059T3/es active Active
- 2009-12-11 PL PL23180374.3T patent/PL4224475T3/pl unknown
- 2009-12-11 ES ES15167199.7T patent/ES2674386T3/es active Active
- 2009-12-11 TR TR2018/08500T patent/TR201808500T4/tr unknown
- 2009-12-11 EP EP23180061.6A patent/EP4231290B1/en active Active
- 2009-12-11 PL PL23180373.5T patent/PL4224474T3/pl unknown
- 2009-12-11 EP EP23180373.5A patent/EP4224474B1/en active Active
- 2009-12-11 PL PL15167199T patent/PL2945159T3/pl unknown
- 2009-12-11 PT PT181519174T patent/PT3364414T/pt unknown
- 2009-12-11 ES ES22166970T patent/ES2951163T3/es active Active
- 2009-12-11 CA CA2746837A patent/CA2746837C/en active Active
- 2009-12-11 EP EP23180367.7A patent/EP4231294B1/en active Active
- 2009-12-11 CA CA2908550A patent/CA2908550C/en active Active
- 2009-12-11 EP EP18151917.4A patent/EP3364414B1/en active Active
- 2009-12-11 KR KR1020137031107A patent/KR101424944B1/ko active IP Right Grant
- 2009-12-11 JP JP2011541363A patent/JP2012512437A/ja active Pending
- 2009-12-11 EP EP23180365.1A patent/EP4231293B1/en active Active
- 2009-12-11 WO PCT/EP2009/066980 patent/WO2010069885A1/en active Application Filing
- 2009-12-11 PL PL18151917.4T patent/PL3364414T3/pl unknown
- 2009-12-11 EP EP23180085.5A patent/EP4231292B1/en active Active
- 2009-12-11 PL PL22166970.8T patent/PL4053838T3/pl unknown
-
2011
- 2011-06-13 US US13/158,547 patent/US8401862B2/en active Active
-
2012
- 2012-02-21 HK HK16105619.2A patent/HK1217810A1/zh unknown
- 2012-12-03 US US13/691,950 patent/US9058802B2/en active Active
-
2014
- 2014-03-12 JP JP2014048421A patent/JP5970014B2/ja active Active
-
2015
- 2015-05-12 US US14/709,804 patent/US10229696B2/en active Active
- 2015-06-18 JP JP2015123018A patent/JP6076407B2/ja active Active
-
2019
- 2019-01-29 HK HK19101512.6A patent/HK1259024A1/zh unknown
- 2019-01-29 US US16/260,487 patent/US10937437B2/en active Active
-
2021
- 2021-01-27 US US17/159,331 patent/US11594237B2/en active Active
-
2022
- 2022-10-14 US US17/965,826 patent/US11741978B2/en active Active
- 2022-10-14 US US17/965,823 patent/US11626124B2/en active Active
- 2022-10-14 US US17/965,829 patent/US11631418B2/en active Active
- 2022-10-14 US US17/965,830 patent/US11705146B2/en active Active
- 2022-10-14 US US17/965,827 patent/US11664039B2/en active Active
- 2022-10-14 US US17/965,825 patent/US11646043B2/en active Active
- 2022-10-14 US US17/965,824 patent/US11670316B2/en active Active
-
2023
- 2023-07-14 US US18/221,964 patent/US20230377590A1/en active Pending
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111801B (zh) * | 2013-01-29 | 2023-11-10 | 弗劳恩霍夫应用研究促进协会 | 音频编码器、音频解码器、方法及编码音频表示 |
CN110111801A (zh) * | 2013-01-29 | 2019-08-09 | 弗劳恩霍夫应用研究促进协会 | 音频编码器、音频解码器、方法、程序及编码音频表示 |
CN105103224B (zh) * | 2013-04-05 | 2019-08-02 | 杜比国际公司 | 用于交错波形编码的音频编码器和解码器 |
US11875805B2 (en) | 2013-04-05 | 2024-01-16 | Dolby International Ab | Audio encoder and decoder for interleaved waveform coding |
US11145318B2 (en) | 2013-04-05 | 2021-10-12 | Dolby International Ab | Audio encoder and decoder for interleaved waveform coding |
CN105103224A (zh) * | 2013-04-05 | 2015-11-25 | 杜比国际公司 | 用于交错波形编码的音频编码器和解码器 |
CN105612578A (zh) * | 2013-10-11 | 2016-05-25 | 高通股份有限公司 | 用于产生高频带激励信号的混合因子的估计 |
CN105612578B (zh) * | 2013-10-11 | 2019-10-11 | 高通股份有限公司 | 用于信号处理的方法和设备 |
US10410652B2 (en) | 2013-10-11 | 2019-09-10 | Qualcomm Incorporated | Estimation of mixing factors to generate high-band excitation signal |
CN108022599A (zh) * | 2014-02-07 | 2018-05-11 | 皇家飞利浦有限公司 | 音频信号解码器中改进的频带扩展 |
CN108109632A (zh) * | 2014-02-07 | 2018-06-01 | 皇家飞利浦有限公司 | 音频信号解码器中改进的频带扩展 |
CN107993667A (zh) * | 2014-02-07 | 2018-05-04 | 皇家飞利浦有限公司 | 音频信号解码器中改进的频带扩展 |
CN107993667B (zh) * | 2014-02-07 | 2021-12-07 | 皇家飞利浦有限公司 | 音频信号解码器中改进的频带扩展 |
CN108109632B (zh) * | 2014-02-07 | 2022-03-29 | 皇家飞利浦有限公司 | 用于扩展音频信号的频带的方法和装置以及音频信号解码器 |
CN106463135B (zh) * | 2014-06-26 | 2019-11-12 | 高通股份有限公司 | 使用失配频率范围的高频带信号译码 |
CN106463135A (zh) * | 2014-06-26 | 2017-02-22 | 高通股份有限公司 | 使用失配频率范围的高频带信号译码 |
CN106663449A (zh) * | 2014-08-06 | 2017-05-10 | 索尼公司 | 编码装置和方法、解码装置和方法以及程序 |
CN108701467A (zh) * | 2015-12-14 | 2018-10-23 | 弗劳恩霍夫应用研究促进协会 | 处理经编码音频信号的装置及方法 |
CN108701467B (zh) * | 2015-12-14 | 2023-12-08 | 弗劳恩霍夫应用研究促进协会 | 处理经编码音频信号的装置及方法 |
US11862184B2 (en) | 2015-12-14 | 2024-01-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for processing an encoded audio signal by upsampling a core audio signal to upsampled spectra with higher frequencies and spectral width |
CN109247069A (zh) * | 2016-03-18 | 2019-01-18 | 弗劳恩霍夫应用研究促进协会 | 通过使用音频频谱图上的结构张量来重构相位信息的编码 |
CN109247069B (zh) * | 2016-03-18 | 2021-12-21 | 弗劳恩霍夫应用研究促进协会 | 通过使用音频频谱图上的结构张量来重构相位信息的编码 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102246231B (zh) | 音频编码器和带宽扩展解码器 | |
AU2015203736C1 (en) | Audio encoder and bandwidth extension decoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C56 | Change in the name or address of the patentee | ||
CP01 | Change in the name or title of a patent holder |
Address after: Munich, Germany Patentee after: Fraunhofer Application and Research Promotion Association Address before: Munich, Germany Patentee before: Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. |