CN102939628A - 用以使用级联滤波器组处理输入音频信号的装置及方法 - Google Patents
用以使用级联滤波器组处理输入音频信号的装置及方法 Download PDFInfo
- Publication number
- CN102939628A CN102939628A CN2011800234437A CN201180023443A CN102939628A CN 102939628 A CN102939628 A CN 102939628A CN 2011800234437 A CN2011800234437 A CN 2011800234437A CN 201180023443 A CN201180023443 A CN 201180023443A CN 102939628 A CN102939628 A CN 102939628A
- Authority
- CN
- China
- Prior art keywords
- sub
- signal
- band
- synthesis filter
- filter banks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 68
- 230000005236 sound signal Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims description 103
- 238000004458 analytical method Methods 0.000 claims abstract description 130
- 238000005070 sampling Methods 0.000 claims abstract description 116
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 105
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 104
- 230000017105 transposition Effects 0.000 claims description 165
- 238000000605 extraction Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 abstract description 5
- 239000000523 sample Substances 0.000 description 62
- 230000003595 spectral effect Effects 0.000 description 30
- 230000008439 repair process Effects 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000001228 spectrum Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 238000012952 Resampling Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 102000001690 Factor VIII Human genes 0.000 description 1
- 108010054218 Factor VIII Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Networks Using Active Elements (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
一种依赖一级联的滤波器组处理输入音频信号(2300)的装置,该级联滤波器组包括一用来从输入音频信号(2300)合成一音频中间信号(2306)的合成滤波器组(2304),输入音频信号由一分析滤波器组(2302)产生的多个第一子频带信号(2303)表示,其中合成滤波器组(2304)的滤波器组通道数目小于分析滤波器组(2302)的通道数目。该装置进一步包含一另一分析滤波器组(2307),用于从该音频中间信号(2306)产生多个第二子频带信号(2308),其中该另一分析滤波器组具有的通道数目不同于合成滤波器组(2304)的通道数目,使得该多个第二子频带信号(2308)的一子频带信号的采样率不同于该多个第一子频带信号(2303)的一第一子频带信号的采样率。
Description
技术领域
本发明涉及音频源编码系统,该系统利用一用于高频重建(HFR)的谐波移调方法,且涉及数字效果处理器,例如所谓的激励器,其中谐波失真的产生增加了经处理的信号的亮度,并且涉及时间展宽器,其中信号的持续时间被延长同时维持原始的频谱内容。
背景技术
在PCT WO 98/57436中,移调的概念被建立作为一种从一音频信号的一低频带再产生一高频带的方法。通过在音频编码中使用该概念可以获得位率的大量节约。在一基于HFR的音频编码系统中,被一核心波形编码器处理一低带宽信号,且利用对描述解码器侧的目标频谱形状的极低位率进行移调及添加旁侧信息来再生较高频率。对于低位率,在核心编码信号的带宽窄的情况下,再生一具有感知愉悦特性的高频带变得越来越重要。在PCT WO 98/57436中定义的谐波移调在具有低交叉频率的情形中对复杂音乐材料执行得很好。谐波移调的原理是一具有频率ω的正弦曲线映射到一具有频率Tω的正弦曲线,其中T>1是一定义移调阶的整数。与此相比,基于单边带调制(SSB)为的HFR方法将一具有频率ω的正弦曲线映射到一具有频率ω+△ω的频率的正弦曲线,其中△ω是一固定频移。假设一核心信号具有低带宽,SSB移调可能导致产生一不协和的振铃伪差。
为了达到尽可能好的音频质量,最新的高质量谐波HFR方法使用复杂的调制滤波器组,例如短时间傅立叶变换(STFT),以高频分辨率以及一高度过采样来达到期望的音频质量。需要精细分辨率来避免因非线性处理正弦曲线总和所引起的不想要互调制失真。在足够高频分辨率的情况下,即窄的子频带,高质量方法目的在于使每一子频带中具有一正弦曲线极大点。需要时间上的高度过采样以避免混叠型失真,且需要频率上的一定程度过采样以避免瞬时信号的预回声。明显的不足在于计算的复杂度会变高。
基于子频带区块的谐波移调是用于抑制互调制产物的另一HFR方法,在此情况下,采用一具有较粗频率分辨率及一低程度过采样的滤波器组,例如一多通道QMF组。在该方法中,一复子频带样本的时间区块被一普通整相器处理而数个调整试样的叠加形成一输出子频带样本。这具有抑制互调制产物的净效应,否则在输入子频带信号由数个正弦曲线组成时该互调制产物将会出现。基于以区块为基础的子频带处理的移调在计算复杂度上比高质量移调器低很多且对许多信号取得几乎相同的质量。然而,复杂度仍然远高于普通基于SSB的HFR方法,这是因为在一典型的HFR应用中需要多个分析滤波器组,各个滤波器组处理不同移调阶T的信号,以合成需要的带宽。此外,一通常的方式是使输入信号的采样率适配一具有固定大小的分析滤波器组,尽管滤波器组处理不同移调阶的信号。同时,也属常见的是对输入信号使用带通滤波器以获得经由不同移调阶处理、具有非重叠功率谱密度的输出信号。
音频信号的存储或传输时常受到严格的位率限制。在过去,当只有一非常低的位率可利用时,编码器被迫大幅减少传输的音频带宽。现代音频编解码器现在能通过使用带宽扩展(BWE)方法[1-12]编码带宽信号。这些算法依赖高频成分(HF)的一参数表示,该高频成分是通过移调至HF频谱区域中(「修补」)且应用一参数驱动后处理从解码信号的低频部分(LF)生成。LF部分通过任何音频或语音编码器编码。举例而言,在[1-4]中描述的带宽扩展方法依赖单边带调制(SSB),通常也称为「复制」方法,以产生多个HF补丁。
近来,一种使用用于产生不同补丁的相位声码器组[15-17]的新算法已经被提出[13](参见图20)。此一方法已被开发用来避免听觉粗糙,听觉粗糙通常在经过SSB带宽扩展的信号上观察到。然而,因为BWE算法在一编解码器链的解码器侧执行,所以计算的复杂度是一严重问题。最先进的方法,尤其是基于相位声码器的HBE,与基于SSB方法相比,是以一大大增加的计算复杂度为代价之下得到的。
如同以上概略说明,现有的带宽扩展方案对一给定的信号区块仅应用一次修补方法,它是基于SSB的修补[1-4]或基于HBE声码器的修补[15-17]。另外,现代的音频编解码器[19-20]提供基于时间区块在可选择的修补方案之间全局切换修补方法的可能性。
SSB复制形成补丁将不必要的粗糙度引入音频信号,但是计算简单并且保留了瞬态的时间包络。此外,计算复杂度显著地增加而超过计算非常简单的SSB复制方法。
发明内容
在论及复杂度减少时,采样率具有特殊的重要性。这是由于一高采样率意味着高复杂度,且一低采样率由于所需要的操作数目减少而通常意味着具有低复杂度。然而,另一方面,在带宽扩展应用的情形尤其如此而使得核心编码器输出信号的采样率将典型地低到使得对一全带宽信号的采样率过低。以不同方式陈述,当解码器输出信号的采样率例如是2或者2.5乘以核心编码器输出信号的最大频率时,则一例如因子为2的带宽扩展意味着需要一上采样操作,使得带宽扩展采样信号的采样率高到使采样能「涵盖」另外产生的高频成分。
另外,诸如分析滤波器组和合成滤波器组的滤波器组,负责相当大量的处理操作。因此,滤波器组的大小,即滤波器组是一32通道滤波器组、一64通道滤波器组还是甚至更高数目的滤波器组将显著地影响音频处理算法的复杂度。通常可以说,一高数目的滤波器组通道需要较多的处理操作,且因而比数目较少的滤波器组通道复杂度高。有鉴于此,在带宽扩展应用以及还在不同的采样率是一关键的其它音频处理应用(诸如在类似声码器的应用或任何其它音频效果应用)中,在复杂度与采样率或音频带宽之间具有一特定的互相依存性,意指当为特定的操作选择错误的工具或者算法时,上采样或子频带滤波的操作能在正面意义上未特别影响音频质量之前大幅增加复杂度。
本发明的一目的是提供一改进的音频处理概念,该一音频处理概念一方面容许低复杂度处理,另一方面得到一良好音频质量。
此一目的通过根据权利要求1或18所述的一种处理一输入音频信号的装置,或通过根据权利要求20或21所述的一种处理一输入音频信号的方法,或根据权利要求22所述的一种计算机程序来实现。
本发明的实施方式依赖分析和/或合成滤波器组的特定级联布局来在不牺牲音频质量之下获得低复杂度重采样。在一实施方式中,处理一输入音频信号的装置包含一合成滤波器组,用以从输入音频信号合成一音频中间信号,其中该输入音频信号是以由一在处理方向上置于合成滤波器之前的分析滤波器组所产生的多个第一子频带信号表示,其中该合成滤波器组的滤波器组通道数目小于该分析滤波器组的通道数目。中间信号进一步由用于从该音频中间信号产生多个第二子频带信号的另一分析滤波器组处理,其中该另一分析滤波器组的通道数目不同于该合成滤波器组的通道数目,使得该多个子频带信号中的子频带信号的采样率不同于由该分析滤波器组所产生的多个第一子频带信号中第一子频带信号的采样率。
一合成滤波器组与一随后连接的另一分析滤波器组的级联提供一采样率转换,且另外提供已输入合成滤波器组的原始音频输入信号的带宽部分至基带的调制。现在提取自原始输入音频信号的该时间中间信号目前优选表示成调制至基带的一临界采样信号,该原始输入音频信号例如可为一带宽扩展方案的一核心解码器的输出信号,且已发现该表示(即,该重采样输出信号)当被另一分析滤波器组处理以获得一子频带表示时,容许进一步处理操作的低复杂度处理,该进一步处理操作可能会或可能不会发生,且该进一步处理操作例如是与带宽扩展相关的处理操作,诸如非线性子频带操作之后的高频率重建处理及在最后合成滤波器组中子频带的合并。
本申请提供在带宽扩展的背景下及在与带宽扩展无关的其它音频应用背景下处理音频信号的装置、方法或计算机程序的不同方面。接着描述的特征以及要求保护的各个方面可以部分或全部合并,但也能互相独立地使用,这是因为各个方面在一计算机系统或微处理器中被实施时已经提供有关感觉质量、计算复杂度以及处理器/存储器资源的优点。
实施方式提供一种方法,该方法用以通过对至HFR分析滤波器组分析级的输入信号进行高效的滤波及采样率转换来减少一基于子频带区块的谐波HFR方法的计算复杂度。此外,应用至输入信号的带通滤波器可以被示出为在一基于子频带区块的移调器中是无用的。
本实施方式通过在一单一分析与合成滤波器组对的架构中高效地实施基于子频带的移调的数个阶来促进减少基于子频带区块的谐波移调的计算复杂度。根据感觉质量与计算复杂度的此消彼长关系,在一滤波器组中可共同执行地仅移调的阶的适当子集或移调的所有阶。此外,一组合的移调方案中仅一些移调阶是被直接算出的而剩下的带宽是由可利用的(即,先前算出的移调阶(例如第二阶)和/或核心编码带宽的复制填充。在此情况下,可使用用于复制的可利用的源范围的每一可能组合来执行修补。
另外,实施方式提供一种方法,该方法通过HFR工具的频谱对准来改善高质量谐波HFR方法以及基于子频带区块的谐波HFR方法。具体地,通过将HFR产生信号的频谱边界与包络调整频率表的频谱边界对准来实现性能增强。此外,限制器工具的频谱边界是以同一原则被对准到HFR产生信号的频谱边界。
进一步的实施方式被配置为用来改进瞬时的感觉质量并同时例如通过应用一修补方案而减少计算复杂度,该修补方案应用由谐波修补与复制修补所组成的混合修补。
在特定的实施方式中,级联滤波器组结构的各个滤波器组是正交镜像滤波器组(QMF),所有皆依赖于使用定义滤波器组通道的中心频率的调制频率的集合调制的低通原型滤波器或窗。优选地,所有的窗函数或原型滤波器以具有不同尺寸(滤波器组通道)的滤波器组中的滤波器也彼此依赖的方式彼此依赖。优选地,滤波器组级联构造中的最大滤波器组在一实施方式中包含一第一分析滤波器组、一随后连接的滤波器组、一另一分析滤波器组以及稍后处理状态中的一最后合成滤波器组,该合成滤波器组包含具有特定数目窗函数或原型滤波器系数的窗函数或原型滤波器响应。较小尺寸的滤波器组皆为该窗函数的子采样版本,意指其他滤波器组的窗函数是「大」窗函数的子采样版本。举例而言,如果一滤波器组具有大滤波器组的一半大小,则窗函数具有一半数目的系数,而且尺寸较小的滤波器组的系数通过子采样得到。在该情形下,子采样意指例如每一第二滤波器系数被视为具有一半大小的较小滤波器组。然而,当非整数的滤波器组大小之间有其它关系时,则执行窗系数的一某种内插,使得最后,较小滤波器组的窗再次是较大滤波器组的窗的子采样版本。
本发明的实施方式在进一步处理需要输入音频信号的仅一部分的情形下特别有用,且此情形在谐波带宽扩展的场合下尤其发生。在此场合中,声码器之类的处理操作是特别优选的。
实施方式的一个优点在于实施方式通过高效的时域与频域操作提供一QMF移调器较低的复杂度,且利用频谱对准为基于QMF和DFT的谐波频谱带复制提供了改善的音频质量。
实施方式涉及一种音频源编码系统,该系统使用例如基于子频带区块的谐波移调方法用于高频重建(HFR),以及涉及数字效果处理器(例如所谓的激励器),其中谐波失真的产生增加了处理信号的亮度,及涉及时间展宽器,其中信号的持续时间被延长同时保持原始的频谱成分。实施方式提供了一种通过在HFR滤波器组分析级之前对输入信号进行高效滤波及采样率转换来减少基于子频带区块的谐波HFR方法的计算复杂度的方法。更进一步,实施方式示出了应用于输入信号的传统带通滤波器在一基于子频带区块的HFR系统中是无用的。另外地,实施方式提供了一种方法,该方法通过HFR工具的频谱对准来改善高质量谐波HFR方法和基于子频带区块的谐波HFR方法。具体地,实施方式教导了如何通过将HFR产生的信号的频谱边界与包络调整频率表的频谱边界对准来实现性能的增强。更进一步,限制器工具的频谱边界是以相同的原理对准至HFR产生信号的频谱边界的。
附图说明
现在,将参照附图以说明性示例的方式描述本发明,说明性示例不对本发明的范围和精神进行限制,附图中:
图1示出了在一HFR增强型解码器架构中使用2、3及4阶移调的一基于区块的移调器的操作;
图2示出了图1中的非线性子频带展宽单元的操作;
图3示出了图1的基于区块的移调器的高效实施,其中使用多速率时域重采样器及基于QMF的带通滤波器来实施HFR分析滤波器组之前的重采样器和带通滤波器;
图4示出了用于高效实施图3的多速率时域重采样器的一构建块的示例;
图5示出了对于2阶移调通过图4中的不同块处理的一信号示例的效果;
图6示出了图1的基于区块的移调器的高效实施,其中在HFR分析滤波器组之前的重采样器和带通滤波器被更换成对从一32-频带分析滤波器组中选出的子频带操作的小子采样合成滤波器组;
图7示出了对于2阶移调图6中的一子采样合成滤波器组处理的一示例信号的效果;
图8示出了一因子2的高效多速率时域下采样器的实施块;
图9示出了一因子3/2的高效多速率时域下采样器的实施块;
图10示出了在一HFR增强型编码器中HFR移调器信号的频谱边界与包络调整频带的边界的对准;
图11示出了由于未对准的HFR移调器信号频谱边界而出现伪差的情形;
图12示出了由于HFR移调器信号的对准频谱边界而避免图11的伪差的情形;
图13示出了限制器工具中的频谱边界至HFR移调器信号的频谱边界的调整;
图14示出了基于子频带区块的谐波移调的原理;
图15示出了在一HFR增强型音频编码器中使用移调的数个阶来应用基于子频带区块的移调的示例情形;
图16示出了对于每个移调阶应用一分离的分析滤波器组的基于多阶子频带区块的移调的操作的现有技术示例情形;
图17示出了应用一单个64频带QMF分析滤波器组进行一基于多阶子频带区块的移调的高效操作的一发明示例情形;
图18示出了用于形成子频带信号明智处理的另一示例;
图19示出了单边带调制(SSB)修补;
图20示出了一谐波带宽扩展(HBE)修补;
图21示出了一混合修补,第一修补是通过频率扩展而产生且第二修补是通过一低频部分的SSB拷贝而产生;
图22示出了对一SSB拷贝操作利用第一HBE修补以产生一第二修补的可选择的混合修补;
图23示出了分析与合成滤波器组的一优选级联结构;
图24a示出了图23的小合成滤波器组的一优选实施;
图24b示出了图23的另一分析滤波器组的一优选实施;
图25a示出了ISO/IEC 14496-3:2005(E)的某种分析与合成滤波器组的概况,且特别是一可为图23的分析滤波器组使用的一分析滤波器组的实施,以及可为图23的最后合成滤波器组使用的一合成滤波器组的实施;
图25b示出了作为图25a的分析滤波器组的流程图的实施;
图25c示出了图25a的合成滤波器组的一优选实施;
图26示出了在一带宽扩展处理背景下架构的概况;以及
图27示出了通过图23的另一分析滤波器组处理子频带信号输出的一优选实施。
具体实施方式
下述的实施方式仅为说明性的,且可通过高效的时域和频域操作来提供QMF移调器的一低复杂度,以及通过频谱对准提供基于QMF和DFT的谐波SBR的改善的音频质量。可理解的是,本文中所描述的修改以及配置变化及细节对于本领域中的普通技术人员是显而易见的。因此仅限制于权利要求的范围而不受限于由本文中实施方式的描述与说明提出的特定细节。
图23示出了用于处理一输入音频信号的装置的一优选实施,其中输入音频信号可以是例如一核心音频解码器2301在线2300上输出的一时域输入信号。输入音频信号被输入至一第一分析滤波器组2302,其例如为一具有M个通道的分析滤波器组。详言之,分析滤波器组2302因此输出M个子频带信号2303,其所具有的采样率为fS=fS/M。这意指分析滤波器组是一临界采样分析滤波器组。这意指对于线2300上的由M个输入样本组成的每一区块,分析滤波器组2302为单个样本提供每个子频带通道。优选地,分析滤波器组2302是一复调制的滤波器组,意指每一子频带样本具有振幅和相位或等同于一实部及一虚部。因此,线2300上的输入音频信号由分析滤波器组2302产生的多个第一子频带信号2303表示。
所有第一子频带信号的子集被输入至一合成滤波器组2304中。合成滤波器组2304具有Ms个通道,其中Ms小于M。因此,并非由滤波器组2302产生的所有子频带信号被输入合成滤波器组2304,而是只有一子集,即,由2305所指示的一特定较少数量的通道。在图23实施方式中,子集2305涵盖一个特定的中间带宽,但可选择地,子集还可涵盖始于滤波器组2302的滤波器组通道1直到一通道号小于M的通道的一带宽,或者可选择地,子集2305还可涵盖与最高通道M一致且被延伸到通道号高于通号1的低通道的一子频带信号组。可替换地,通道索引根据实际上使用的记数法可从0开始。然而,优选地,对于带宽扩展操作,由2305表示的子频带信号组表示的一特定中间带宽被输入至合成滤波器组2304中。
不属于组2305的其它通道不输入至合成滤波器组2304中。合成滤波器组2304产生一中间音频信号2306,其具有等于fS·MS/M的采样率。由于MS比M小,中间信号2306的采样率将小于线2300上的输入音频信号的采样率。因此,中间信号2306代表与子频带2305代表的带宽信号相对应的下采样且解调的信号,其中信号被解调到基带,这是因为组2305的最低通道被输入MS合成滤波器组的通道1,且块2305的最高通道被输入块2304的最高输入中,而与用于最低或最高通道的一些补零操作以避免子集2305的边界的混叠问题无关。此外,处理一输入音频信号的装置包含另一分析滤波器组2307,用于分析中间信号2306,且该另一分析滤波器组具有MA个通道,其中MA不同于MS且优选地大于MS。当MA大于MS时,则该另一分析滤波器组2307输出的以2308表示的子频带信号的采样率将低于一子频带信号2303的采样率。然而,当MA低于MS时,则一子频带信号2308的采样率将高于多个第一子频带信号2303的一子频带信号的采样率。
因此,滤波器组2304和2307(且优选地2302)的级联提供非常高效且高质量的上采样或下采样操作,或通常提供一种非常高效的重采样处理工具。多个第二子频带信号2308优选地在一处理器2309中被进一步处理,该处理器对被滤波器组2304、2307(且优选地2302)的级联重采样的数据执行处理。另外,优选地,块2309还执行用于带宽扩展处理操作的一上采样操作,使得最后块2309输出的子频带与块2302输出的子频带具有相同的采样率。然后,在一带宽扩展处理应用中,这些子频带是连同以2310表示的另外子频带一起被输入一合成波器组2311,该另外的子频带优选地例如是由分析滤波器组2302产生的低频带子频带,合成波器组2311最后提供一处理时域信号,例如一具有一采样率2fS的带宽扩展信号。块2311输出的该采样率在本实施方式中是线2300上的信号的采样率的两倍,且由块2311输出的采样率足够大而使得由块2309中的处理产生的额外带宽可以以具有高音频质量的处理时域信号表示。
根据级联滤波器组的本发明的特定应用,滤波器组2302可以在一单独设备中,且一用于处理输入音频信号的装置可仅包含合成滤波器组2304与另一分析滤波器组2307。换言之,分析滤波器组2302与一“后”处理器可以是分离分布的,该“后”处理器包含块2304、2307,且根据实施,还可包含块2309与2311。
在其它的实施方式中,实施级联滤波器组的本发明的应用的不同之处在于,一特定装置包含分析滤波器组2302和较小的合成滤波器组2304,且中间信号被提供至一由不同分配者分配的不同处理器或通过一不同分配通道提供。于是,分析滤波器组2302和较小的合成滤波器组2304的组合表示一种非常高效的下采样方式,且同时将由子集2305所代表的带宽信号解调到基带。此下采样和至基带的解调被执行,而无任何音频质量损失,且特别是没有任何音频信息损失,因此为一高质量处理。
图23中的表说明不同装置的特定示例性数目。优选地,分析滤波器组2302具有32个通道,合成滤波器组具有12个通道,另一分析滤波器组具有的通道数目为合成滤波器组的两倍,诸如24个通道,而最后合成滤波器组2311具有64个通道。一般而言,分析滤波器组2302的通道数目较大,合成滤波器组2304的通道数目较少,另一分析滤波器组2307的通道数目居中且合成滤波器组2311的通道数目非常大。分析滤波器组2302输出的子频带信号的采样率是fS/M。中间信号具有采样率fS·MS/M。以2308表示的另一分析滤波器组的子频带通道具有一采样率fS·MS/(M·MA),且当块2309中的处理使采样率加倍时,合成滤波器组2311提供采样率为2fS的输出信号。然而,当块2309中的处理未将采样率加倍时,则由合成滤波器组输出的采样率将相应地较低。随后,将讨论关于本发明的进一步优选实施方式。
图14示出了基于子频带区块的移调的原理。输入时域信号被馈给到提供大量复值子频带信号的分析滤波器组1401。这些复值子频带信号被馈给到子频带处理单元1402。该大量的复值输出子频带被馈给到合成滤波器组1403,其进而输出修改的时域信号。子频带处理单元1402执行基于非线性区块的子频带处理操作,以使得修改的时域信号是对应于移调阶T>1的输入信号的一移调版本。基于区块的子频带处理的观念通过包含一次对多于一个子频带样本的区块进行的非线性操作来定义,其中后续的区块被窗化且重叠相加以产生输出子频带信号。
滤波器组1401和1403可以是任何复指数调制型,诸如QMF或窗化DFT。他们在调制中可被偶数或奇数叠加,且可由一宽范围的原型滤波器或窗定义。重要的是知道以物理单位测量出的下列两个滤波器组参数的商数。
●ΔfS:分析滤波器组1401的子频带频率间距;
●ΔfA:合成滤波器组1403的子频带频率间距。
对于子频带处理1402的配置,需要找出源和目标子频带索引之间的对应关系。观察到,一物理频率Ω的输入正弦曲线将导致在具有指标m≈T·Ω/ΔfS的输入子频带出现主要贡献。需要移调的物理频率T·Ω的输出正弦曲线将通过馈给具有指标m≈T·Ω/ΔfS的合成子频带产生。因此,一特定目标子频带指标m的子频带处理的适当源子频带指标值必需遵守
图15示出了在一增强型HFR音频编解码器中使用数阶移调的基于子频带区块的移调的应用的一示例方案。一传输比特流被核心解码器1501接收,该核心解码器以采样频率fs提供一低带宽解码的核心信号。低频通过一64频带QMF合成组(反向QMF)1505之前的一复调制32频带QMF分析组1502重采样到输出采样频率2fS。此二滤波器组1502和1505具有相同的物理分辨率参数ΔfS=ΔfA,且HFR处理单元1504仅使对应于低带宽核心信号的未修改较低子频带通过。输出信号的高频成分通过向64频带QMF合成组1505的较高子频带馈给来自多重移调器单元1503的、由HFR处理单元1504执行了频谱成形和修改的输出频带来获得。多重移调器1503将解码的核心信号当做输入且输出表示若干移调信号成分的叠加或组合的64QMF频带分析的多个子频带信号。目的是如果HFR处理被略过,则每一成分相当于核心信号的一整数物理移调,(T=2,3…)。
图16示出了基于子频带区块的多阶移调1603的操作的现有技术示例方案,该操作每一移调阶应用一单独的分析滤波器组。此处,在以2fs采样率操作的64频带QMF的域中将产生三个移调阶T=2、3、4且三个移调阶T=2、3、4被输出。合并单元1604仅选择并将来自每一移调因子支路的相关子频带合并成为一将被馈给HFR处理单元的单个QMF子频带组。
首先考虑T=2的情形,具体地,目的是一64频带QMF分析1602-2、一子频带处理单元1603-2以及一64频带QMF合成1505的处理链产生一T=2的物理移调。图14中将这三个块标识为1401、1402和1403,发现ΔfS/ΔfA=2使得根据(1)导致1603-2的具体为源n与目标子频带m之间的对应关系被给出为n=m。
至于T=3的情形,示例性系统包括一采样率转换器1601-3,其将输入采样率下变频一因子3/2使得由fs变为2fs/3。具体地,目的是该64频带QMF分析1602-3、该子频带处理单元1603-3以及一64频带QMF合成1505的处理链造成T=3的物理移调。图14中将这三个块标识为1401、1402和1403,发现由于重采样ΔfS/ΔfA=3,使得(1)提供1603-3的具体为源n与目标子频带m之间的对应关系再次被给出为n=m。
对于T=4的情形,示例性系统包括一采样率转换器1601-4,其将输入采样率下变频一因子2,由fs变为fs/2。具体地,目的是该64频带QMF分析1602-4、该子频带处理单元1603-4以及一64频带QMF合成1505的处理链造成一T=4的物理移调。图14中将这三个块标识为1401、1402和1403,发现由于重采样ΔfS/ΔfA=4,使得(1)提供1603-4的具体为源n与目标子频带m之间的对应关系也被给出为n=m。
图17示出了应用一单个64频带QMF分析滤波器组的基于子频带区块的多阶移调的高效操作的发明示例方案。实际上,图16中使用三个单独的QMF分析组和两个采样率转换器造成一相当高的计算复杂度,以及由于采样率转换1601-3造成的基于帧(frame)处理造成一些实施上的缺点。目前的实施方式教导了分别以子频带处理1703-3和1703-4取代二支路1601-3→1602-3→1603-3和1601-4→1602-4→1603-4,然而支路1602-2→1603-2与图16相比保持不变。所有的三阶移调目前必需在一参照图14的滤波器组域中执行,其中ΔfS/ΔfA=2。就T=3的情形而言,由(1)给出的1703-3的具体是源n与目标子频带m之间的对应关系被给出为n≈2m/3。就T=4的情形而言,由(1)给出的1703-4的具体是源n与目标子频带m之间的对应关系被给出为n≈2m。为了更进一步减少复杂度,一些移调阶可通过复制已算出的移调阶或核心解码器的输出来产生。
图1示出了在一HFR增强型解码器架构(诸如SBR[ISO/IEC 14496-3:2009,信息技术-音视对象的编码-第三部分:音频])中,使用2、3及4移调阶的基于子频带区块的移调器的操作。比特流被核心解码器101解码至时域且被传送到HFR模块103,其由基带核心信号产生一高频信号。在产生后,HFR产生的信号通过传送的侧信息被动态地调整为尽可能接近地匹配原始信号。由HFR处理器105对从一个或数个分析QMF组所获得的子频带信号执行该调整。一个典型的方案是其中核心解码器对以一输入和输出信号的一半频率采样的一时域信号进行操作,即,HFR解码器模块将高效地重采样核心信号达两倍采样频率。此样本率转换通常是通过一32频带分析QMF组102对核心编码器信号进行滤波的第一步骤102获得。所谓的交叉频率以下的子频带(即,含有全部核心编码器信号能量的32个子频带的较低子集)与携带HFR产生信号的子频带的集合组合。通常,如此组合的子频带数目是64,在经由合成QMF组106滤波后产生一与来自HFR模块的输出组合的采样率转换的核心编码器信号。
在HFR模块103的基于子频带区块的移调器中,三个移调阶T=2、3和4将在以输出采样率2fs操作的64频带QMF的域中产生并被传送。输入时域信号在块103-12、103-13和103-14中被带通滤波。进行此动作以使被不同移调阶处理的输出信号具有非重叠的频谱成分。信号被进一步下采样(103-23、103-24),以将输入信号的采样率调整为适合一固定大小(本情况下为64)的分析滤波器组。注意,从fs到2fs的采样率的增加可由采样率转换器使用下采样因子T/2而非T的事实来解释,其中后者将产生具有与输入信号相等的采样率的移调子频带信号。下采样信号被馈给分离的HFR分析滤波器组(103-32、103-33和103-34),一个用于一个移调阶,该滤波器组提供多个复值子频带信号。这些信号被馈给非线性子频带展宽单元(103-42、103-43和103-44)。多个复值输出子频带与子采样分析组102的输出一起被馈给合并/组合模块104。合并/组合单元仅将来自核心分析滤波器组102的子频带和每一展宽因子支路合并成一将被馈给至HFR处理单元105内的一的单个QMF子频带组。
当来自不同的移调阶的信号频谱被设定成不重叠时,亦即,第T个移调阶信号的频谱应起始于T-1阶信号的频谱终止处,移调的信号需要具有带通特性。图1中的传统带通滤波器103-12-103-14由此而来。然而,经由合并/组合单元104在可利用子频带中的一简单排除选择,单独的带通滤波器是多余的且可被撤除。替代地,由QMF组所提供的固有带通特性通过将移调器支路的不同贡献独立地馈给104中的不同子频带而被利用。仅对在104中被组合的频带应用时间展宽也满足需求。
图2示出了一非线性子频带展宽单元的操作。区块提取器201从复值输入信号采样一样本的一有限帧。帧是由一输入指针位置定义。此一帧在202中接受非线性处理且接着在203中被有限长度窗窗化。产生的样本在重叠及加法单元204中被加入先前输出样本,其中输出帧位置由一输出指针位置定义。输入指针以一固定量增加且输出指针以该子频带展宽因子乘上相同量增加。此一操作链的重复将造成一持续时间为子频带展宽因子乘上输入子频带信号时间的输出信号,输出信号的持续时间高达合成窗的长度。
虽然SBR[ISO/IEC 14496-3:2009,信息技术-音视对象的编码-第三部分:音频]使用的SSB移调器典型地利用第一子频带除外的整个基带来产生高频带信号,但谐波移调器通常使用核心编码器频谱的一较小部分。所使用的量(所谓源范围)取决于移调阶、带宽扩展因子以及适用于组合结果的规则,例如是否允许由不同移调阶产生的信号频谱重叠。因此,谐波移调器就一特定移调阶的输出频谱的仅一有限部分将实际上被HFR处理模块105使用。
图18示出了用于处理单个子频带信号的示例性处理实施的另一个实施方式。单个子频带信号在被一未示于图18中的分析滤波器组滤波之前或之后,接收任何类型的抽取。因此,单个子频带信号的时间长度比形成抽取之前的时间长度短。单个子频带信号被输入至一区块提取器1800中,该提取器可与区块抽取器201相同,但亦能以不同方式实施。图18中的区块提取器1800使用一示例性地称为e的样本/区块预先值操作。该样本/区块预先值可以是变量或者可以是固定设定的,且在图18中示出为一指向区块提取器块1800内的箭头。在区块提取器1800的输出,存在多个提取区块。这些区块是高度地重叠,这是因为样本/区块预先值e显著地小于区块提取器的区块长度。一示例是区块提取器提取12个样本的区块。第一区块包含样本0-11,第二区块包含样本1-12,第三个区块包含样本2-13,等等。在此实施方式中,样本/区块预先值e等于1,且有一11重的重叠。
各个区块被输入窗口器1802,以针对每一区块使用一窗函数使区块窗化。另外,设置相位计算器1804,其计算每一区块的一相位。相位计算器1804可在窗化之前或窗化之后使用各个区块。然后,相位调整值pxk被计算且被输入一相位调整器1806内。相位调整器将调整值应用至区块中的每个样本。此外,因子k等于带宽扩展因子。举例而言,当获得一因子为2的带宽扩展时,则针对区块提取器1800提取的一区块计算的相位p被乘以2且在相位调整器1806中应用至区块的每一样本的调整值是p乘以2。此为一示例值/规则。或者,合成的修正相位是k*p,p+(k-1)*p。因此在此一示例中,如果被乘算,校正因子是2,如果被加算,则是1*p。其它值/规则可被适用于计算相位校正值。
在一实施方式中,单一子频带信号是一复子频带信号,而一区块的相位可以以多种不同方法计算。一种方法是采用区块中间或区块中间周围的样本,且计算该多个样本的相位。还可以针对每一样本计算相位。
虽然在图18中示出了一相位调整器在窗口器之后操作,此二块也能互换,使得对区块提取器所提取的区块执行相位调整,且接着执行窗化操作。由于二操作,即窗化和相位调整是实值或复值乘算法,这两个操作能通过使用一复乘算法因子归纳成一单个操作,该复乘算法因子本身是相位调整乘算法因子与一窗化因子的乘积。
相位调整区块被输入一重叠/相加及振幅校正块1808,其中该窗化及调整相位的区块被重叠相加。然而,更重要的是,块1808中的样本/区块预先值不同于区块提取器1800中使用的值。特别地,块1808中的样本/区块预先值大于块1800中使用的值e,所以获得块1808输出的信号的时间展宽。因此,块1808输出的已处理子频带信号的长度比输入至块1800中的子频带信号的长度长。当要获得一为二的带宽扩展时,则使用样本/区块预先值,该预先值是块1800中的对应值的两倍。此导致一因子为二的时间展宽。然而,当需要其它时间展宽因子时,则可使用其它的样本/区块预先值,以使块1808的输出具有所需要的时间长度。
为了解决重叠问题,优选地执行振幅校正,以解决块1800和1808中的不同重叠的问题。然而,此振幅校正也可以引入窗口器/相位调整器乘算法因子中,但振幅校正也能在重叠/处理之后执行。
在上述一区块长度为12且块提取器中的样本/区块预先值为一的示例中,当执行因子为2的带宽扩展时,重叠/相加块1808的样本/区块预先值将等于二。此仍将造成五个区块的重叠。当将执行因子为3的带宽扩展时,则块1808使用的样本/区块预先值将等于三,且重叠将会下降至3个重叠。当将执行四倍带宽扩展时,则重叠/相加块1808必需使用为四的样本/区块预先值,其仍将造成多于二个区块的重叠。
通过将至移调器支路的输入信号限制成只包含源范围可实现大量计算节约,且此在一采样率之下适应于每一移调阶。这种系统的用于一基于子频带区块的HFR产生器的基本块设计在图3中示出。输入核心编码信号由在HFR分析滤波器组之前的专用下采样器处理。
各下采样器的实质作用是滤除源范围信号,且将其以可能最低的采样率传送至分析滤波器组。此处,“可能最低”指的是仍适于下游处理的最低采样率,不必是避免抽取后的混叠的最低采样率。采样率转换可以以各种方式获得。在不限制本发明范围的前提下,将提供两个示例:第一示例给出由多速率时域处理进行的重采样,且第二示例示出通过QMF子频带处理所实现的重采样。
图4示出了一移调阶为二的多速率时域下采样器中的块的一示例。具有带宽B赫兹且采样频率为fs的输入信号被一复指数(401)调制,以使源范围的开始频移到DC频率,如下:
调制后的一输入信号与频谱的示例在图5(a)及(b)中示出。调制信号被插值(402)且被一复值低通滤波器以带通限制0和B/2赫兹滤波(403)。各个步骤后的频谱示出于图5(c)和(d)中。滤波信号接着被抽取(404),且信号的实部被计算(405)。这些步骤后的结果示出在图5(e)和(f)图中。在此特别的示例中,当T=2,B=0.6时(在一归一化标度上,也就是fs=2),为了安全涵盖源范围,P2被选择为24。下采样因子得到:
,其中分数已用公因子8化简,因此,插值因子是3(如图5(c)可见),且抽取因子是8。通过使用Noble恒等式[“Multirate Systems And FilterBanks,”P.P.Vaidyanathan,1993,Prentice Hall,Englewood Cliffs],在图4中抽取器能被一直移动到左方,且插值器能被一直移动到右方。如此,以可能最低的采样率进行调制和滤波,且计算复杂度被进一步降低。
另一途径是使用在SBR HFR方法中已存在的子采样32频带分析QMF组102的子频带输出。涵盖不同移调器支路的源范围的子频带被HFR分析滤波器组之前的小子采样的QMF组合成至时域。这种HFR系统在图6中示出。小QMF组由子采样原始的64频带QMF组来得到,其中原型滤波器系数通过原始原型滤波器的线性插值法被找出。注意图6中的符号,在第二阶移调器支路前的合成QMF组具有Q2=12个频带(在32频带QMF中具有零基索引8至19的子频带)。为了避免合成处理中的混叠,第一(索引8)和最后(索引19)频带被设为零。产生的频谱输出在图7示出。注意,基于区块的移调器分析滤波器组具有2Q2=24个频带,即,与以多速率时域下采样器为基础的示例(图3)中的频带的数目相同。
当比较图6和图23时,明显的是,图6的元件601对应于图23的分析滤波器组2302。此外,图23的合成滤波器组2304对应于元件602-2,且图23的另一分析滤波器组2307对应于元件603-2。块604-2对应于块2309,且组合器605可对应于合成滤波器组2311,但是在其它的实施方式中,组合器能被配置成输出子频带信号,且然后,可使用连接到组合器的另一合成滤波器组。然而,根据实施,稍后在图26的背景中所讨论的一特定的高频重建可在合成滤波器组2311进行合成滤波或组合器205前执行,或能在图23的滤波器组2311合成滤波之后或图6的块605中的组合器之后执行。
从602-3延伸到604-3或从602-T延伸到604-T的其它支路在图23中未示出,但能以相似的方法实施,但具有的滤波器组的大小不同,其中图6中的T相当于一移调因子。然而,如在图27的背景中所讨论的,移调因子为3的移调与移调因子为4的移调可被引入至由元件602-2至604-2所组成的处理支路中,因此块604-2不仅提供一因子为2的移调,且与在图26和27的背景中讨论的一使用的特定合成滤波器组一起提供一因子为3及一因子为4的移调。
在图6实施方式中,Q2对应于Ms,并且Ms等于例如12。此外,另一分析滤波器组603-2的大小对应于元件2307,等于2Ms,例如在本实施方式中为24。
此外,如前概述,合成滤波器组2304的最低子频带通道和最高子频带通道可以以零馈给,以避免混叠问题。
在图1中概略说明的系统可被视为图3与图4中概述的重采样的一简化特例。为了简化配置,省略调制器。更进一步,使用64频带的分析滤波器组获得所有的HFR分析滤波。因此,图3的P2=P3=P4=64,且第二、第三和第4阶移调器支路的下采样因子分别是1、1.5和2。
本发明的一项优点是在发明的临界采样处理环境下,来自对应于图23中的块2302或如在MPEG-4(ISO/IEC14496-3)中所定义的图6中的601的32频带分析QMF组的子频带信号可被使用。MPEG-4中的该分析滤波器组的定义示出在图25a的上部,且被示出为图25b的一流程图,其亦采取MPEG-4标准。此标准的SBR(频谱带宽复制)部分通过引证结合于本文中。具体地,图23的分析滤波器组2302或图6的32频带QMF 601可实施为图25a上部、图25b的流程图。
此外,图23的块2311中示出的合成滤波器组还可被实施为如图25a的下部所示以及如图25c的流程图所示。然而,可应用任何其它的滤波器组定义,但是至少就分析滤波器组2302而言,图25a与25b中所说明的实施为优选的,这是因为至少在带宽扩展应用的环境(诸如频谱带宽复制,或通常而言,重建处理应用)中,具有32通道的MPEG-4分析滤波器组提供鲁棒性、稳定性和高质量。
合成滤波器组2304被配置成将涵盖移调器的源范围的子频带的子集合成。进行该合成是为了以时域合成中间信号2306。优选地,合成滤波器组2304为一小子采样实值QMF组。
此滤波器组的时域输出2306接着被馈给到滤波器组两倍大小的复值分析QMF组。此QMF组由图23的块2307示出。此能够在仅有相关的源范围被转换到具有双倍频率分辨率的QMF子频带域时实现计算复杂度的大幅节省。通过原始64频带的QMF组的子采样来获得小QMF组,其中原型滤波器系数通过原始原型滤波器的线性插值获得。优选地,与具有640个样本的MPEG-4合成滤波器组关联的原型滤波器被使用,其中MPEG-4分析滤波器组具有一具有320个窗样本的窗。
在示出流程图的图24a和图24b中描述子采样滤波器组的处理。下列的变量首先被决定:
MS=4·floor{(fTableLow(0)+4)/8+1}
kL=startSubband2kL(fTableLow(0))
其中,MS是子采样合成滤波器组的大小,且kL表示32频带QMF组的第一通道的索引以进入子采样合成滤波器组。数组startSubband2kL列于表1中。函数floor{x}四舍五入自变量x为朝负无限大方向的最接近整数。
表1-y=startSubband 2kL(x)
x | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 |
y | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2 | 2 | 2 | 4 | 4 | 4 | 4 | 4 | 6 | 6 | 6 | 8 | 8 | 8 | 8 | 8 | 10 | 10 | 10 | 12 | 12 | 12 | 12 | 12 | 12 |
因此,值MS定义图23的合成滤波器组2304的大小,且KL是图23中表示的子集2305的第一通道。明确地,在方程式ftableLow中的值定义于ISO/IEC 14496-3,部分4.6.18.3.2中,通过引证将该部分结合于本文中。注意,值MS是以4递增的,意指合成滤波器组2304的大小可为4,8,12,16,20,24,28或32。
优选地,合成滤波器组2304是一实值合成滤波器组。为此,根据图24a的第一步骤从MS新复值子频带样本计算MS实值子频带样本的集合。为此,使用下列的方程式:
在方程式中,exp()指示复指数函数,i是虚数单位,且kL如前所定义。
·使数组v中的样本移动2MS位置。最旧的2MS个样本被丢弃。
·MS实值子频带样本与矩阵N相乘,亦即,矩阵-向量乘积N·V被计算,其中
此运算的输出被存储在数组v的位置0至2MS-1。
·根据图24a中的流程图从v提取样本以产生10MS个元素的数组g。
·数组g的样本乘以窗ci以产生数组w。窗系数ci通过系数c的线性插值(即通过以下方程序)获得:
ci(n)=ρ(n)c(μ(n)+1)+(1-ρ(n))c(μ(n)),0≤n<10MS
其中μ(n)和ρ(n)分别被定义成64·n/MS的整数与分数部分。窗系数c可在ISO/IEC 14496-3:2009的表4.A87中找到。
因此,合成滤波器组具有一原型窗函数计算器,用于通过使用用于具有不同大小的滤波器组的存储窗函数进行子采样或插值来计算一原型窗函数。
·根据图24a中的流程图的最后步骤通过对数组w的样本求和计算MS的新输出样本。
接着,图23中的另一分析滤波器组2307的优选实施与流程图一起示于图24b中。
·根据图24b的第一步骤使数组x中的样本移动2MS个位置。最旧的2MS个样本被丢弃,且2MS个新样本存储在位置0至2MS-1中。
·将数组x的样本乘以窗系数c2i。窗系数c2i由系数c的线性插值,亦即通过以下方程序获得:
c2i(n)=ρ(n)c(μ(n)+1)+(1-ρ(n))c(μ(n)),0≤n<20MS
其中μ(n)和ρ(n)分别被定义成32·n/MS的整数与分数部分。窗系数c可在ISO/IEC 14496-3:2009的表4.A87中找到。
因此,另一分析滤波器组2307具有一原型窗函数计算器,用于通过使用一用于具有不同大小的滤波器组的存储窗函数进行子采样或插值来计算一原型窗函数。
·根据图24b中的流程图的公式对样本求和,以产生4MS个元素的数组u。
·通过矩阵-向量相乘M·u计算2MS个新的复值子频带样本,其中
在方程式中,exp()表示复指数函数,且i为虚数单位。
在图8(a)中示出了因子为2的下采样器的块图。新的实值低通滤波器可被写成H(z)=B(z)/A(z),其中B(z)是非递归部分(FIR)且A(z)是递归部分(IIR)。然而,为了高效实施,使用Noble恒等式以降低计算复杂度,设计其中所有极点具有重数2(双极点)(如A(z2))的滤波器是有益的。因此滤波器可以被分解成图8(b)所示。使用Noble恒等式1,递归部分可被移动经过抽取器,如图8(c)中。非递归滤波器B(z)可使用标准的2成分多相分解被实施为:
因此,下采样器可被构造成如图8(d)所示。在使用Noble恒等式1之后,以可能最低采样率计算FIR部分,如图8(e)所示。从图8(e)可以容易看出,FIR操作(延迟、抽取及多相成分)可被视为一使用二样本输入步长的窗-相加操作。对于二输入样本,一个新输出样本将被生成,以高效地实现因子2的下采样。
因子1.5=3/2下采样器的一块图示出在图9(a)中。实值低通滤波器可以再度被写成H(z)=B(z)/A(z),其中B(z)是非递归部分(FIR)且A(z)是递归部分(IIR)。如同前述,为了高效实施,使用Noble恒等式以减少计算复杂度,设计其中所有极点或具有重数2(双极点)或重数3(三极点)(如A(z2)或A(z3))的一滤波器是有益的。此处,双极点被选择作为低通滤波器的设计算法是更加高效的,但三极点方式相比,递归部分实际上在实施上具有1.5倍复杂度。因此滤波器可被分解成如图9(b)所示。使用Noble恒等式2,递归部分可以移动在插值器之前,如图9(c)所示。非递归滤波器B(z)可使用标准2·3=6成分多相分解被实施为:
因此,下采样器可被构造成如图9(d)中所示。在使用Noble恒等式1和2之后,以可能最低采样率计算FIR部分,如图9(e)中所示。从图9(e)容易看出,使用较低组的三个多相滤波器E0(z),E2(z),E4(z)计算偶数索引输出样本,而较高组E1(z),E3(z),E5(z)计算奇数索引样本。每组(延迟链,抽取器和多相元件)的操作可被视为使用三样本的输入步长的窗-相加操作。上方组使用的窗系数是奇数索引系数,而下方组使用来自原始滤波器B(z)的奇数索引系数。因此,对于一三个输入样本的组,将产生两个新输出样本将被生成,高效地造成因子1.5的下采样。
来自核心解码器(图1中的101)的时域信号还通过在核心解码器中使用一较小的子采样合成变换被子采样。使用一较小的合成变换提供更进一步计算复杂度的降低。根据交叉频率(即核心编码器信号的带宽),合成变换尺度与标称尺度Q(Q<1)的比将导致产生一具有采样率Qfs的核心编码器输出信号。在本应用中概述的示例中,为了处理子采样核心编码器信号,图1中的所有分析滤波器组1(102,103-32,103-33和103-34),连同图3的下采样器(301-2,301-3和301-T)、图4的抽取器404以及图6的分析滤波器组601需要以因子Q比例缩放。显然地,Q必须被选择成所有滤波器组大小是整数。
图10示出了HFR移调信号的频谱边界与一HFR增强型解码器(诸如SBR[ISO/IEC 14496-3:2009,信息技术-音视对象的编码-第三部分:音频])中的包络调整频率表的对准。图10(a)示出了包含包络调整表的频带的格式图,所称的比例因子频带涵盖从交叉频率kx到终止频率ks的频率范围。比例因子频带构成在一HFR增强型编码器中调整再生高频带频率的能量水平时所使用的频率格网(即频率包络)。为了调整包络,对一受比例因子频带边界与所选时间边界限制的时间/频率区块内的信号能量进行平均。如果由不同移调阶产生的信号不对准比例因子频带,如图10(b)中所示,由于包络调整处理将保持比例因子频带中的频谱结构,所以若频谱能量在移调频带边界附近急剧变化,则会引起伪差。因此,所提出的解决方案是使移调信号的频率边界适应图10(c)中所示的比例因子频带的边界。在此图中,由移调阶2与3(T=2,3)产生的信号的上边界与图10(b)相比低于一小量,以使移调频带的频率边界对准现有的比例因子频带边界。
图11中示出了当使用非对准边界时表现出潜在伪差的实际情形。图11(a)还示出了比例因子频带边界。图11(b)示出了移调阶T=2,3和4的未调整HFR产生的信号以及核心解码基带信号。图11(c)示出了当采用一平坦目标包络时的包络调整信号。具有网纹区域的区块表示具有高频带内能量变化的比例因子频带,其可引起输出信号的异常。
图12示出了图11的情形,但此次使用对准的边界。图12(a)示出了比例因子频带边界,图12(b)示出了移调阶T=2,3和4的未调整HFR产生的信号以及核心解码基带信号,且与图11(c)一致,图12(c)示出了当采用一平坦目标包络时的包络调整信号。从该图中可见,因移调信号频带与比例因子频带的未对准,导致不存在具有高频带内能量的比例因子频带,且因此潜在伪差被减少。
图13示出了HFR限制器频带边界(如,例如在[SBR[ISO/IEC 14496-3:2009,信息技术-音视对象的编码-第三部分:音频]中描述]对一HFR增强型编码器中的谐波修补的适应。限制器对具有远粗于比例因子频带的分辨率的频带操作,但操作原理非常相同。在限制器中,每个限制器频带的平均增益值被计算。各个增益值(即,针对每一比例因子频带计算出的包络增益值)不允许超过限制器平均增益值的一特定乘算因子以上。限制器的目的是抑制每一限制器频带内的比例因子频带增益的大变化。虽然移调器产生频带对比例因子频带的适应确保一比例因子频带内的频带内能量变化小,但根据本发明,限制器频带边界对移调器频带边界的适应解决了经移调器处理的频带间的较大尺度能量差。图13(a)示出了移调阶T=2,3和4的HFR产生信号的频率限制。不同移调信号的能量水平差可以实质上不同。图13(b)示出了限制器的频带,该限制器典型地是关于一对数频标具有固定宽度。移调器频带边界被相加作为固定的限制器边界,且剩下的限制器边界被重新计算以将对数关系保持尽可能接近,如在图13(c)的示例中所示出的。虽然已经在装置的背景下描述一些方面,但显然,这些方面还表示对应方法的描述,其中一块或装置对应于一方法步骤或一方法步骤的特征。类似地,在方法步骤的背景下描述的方面也表示对应装置的对应块或项或特征的描述。
其他的实施方式使用图21中示出的一混合修补系统,其中执行一时间块内的混合修补方法。为了完全涵盖HF频谱的不同区域,BWE包含数个修补。在HBE中,较高的修补需要相位声码器内的高移调因子,此特别地降低瞬时的感觉质量。
因此,实施方式优选地通过计算上高效的SSB复制修补产生占据上方频谱区域的较高阶修补,并优选地通过HBE修补产生涵盖中间频谱区域的较低阶修补,其中对于中间频谱区域,期望保持谐波结构。修补方法的个别混合可以随时间经过是静态的,或优选地是在比特流中获得信号。
关于复制操作,可使用低频信息,如图21所示。或者,来自使用HBE方法产生的修补的数据可如同图21所示被使用。后者导致对于较高修补的较不密集音调结构。除这两个示例之外,复制和HBE的每种组合都是可想象的。
所提出概念的优点是
·改进瞬时感觉质量
·减少计算复杂度
图26示出了用于带宽扩展的一优选处理链,其中在块1020a、1020b表示的非线性子频带处理中可以执行不同的处理操作。在图26中,级联滤波器组2302、2304、2307以块1010表示。此外,块2309可对应于元件1020a、1020b,且包络调整器1030可设置在图23的块2309与块2311之间,或可设置在块2311的处理之后。在此实施中,处理的时域信号(诸如带宽扩展信号)的频带选择性处理是在时域而非子频带域中执行的,该子频带域存在于合成滤波器组2311之前。
图26示出了根据另一实施方式的从一低频带信号1000产生带宽扩展音频信号的装置。装置包含一分析滤波器组1010、一子频带明智非线性子频带处理器1020a,1020b、一随后连接的包络调整器1030或,就一般而言,对高频重建参数(例如,输入在参数线1040上的)进行操作的高频重建处理器。包络调整器,或就一般而言,高频重建处理器处理每一子频带的各个子频带信号,且将用于每一子频带通道的处理子频带信号输入合成滤波器组1050中。合成滤波器组1050在其较低通道接收输入信号,低频带核心解码器信号的子频带表示。根据实施,低频带还可以从图26中的分析滤波器组1010的输出导出。移调子频带信号被馈给至合成滤波器组的较高滤波器组通道,以执行高频重建。
滤波器组1050最后输出一移调器输出信号,其包含移调因子2,3和4的带宽扩展,且块1050输出的信号不再被带宽限制于交叉频率,即不再被限制于相当于SBR或HFR产生的信号成分的最低频率的核心编码器信号的最高频率。
在图26实施方式中,分析滤波器组执行两次以上采样,且具有一特定的分析子频带间距1060。合成滤波器组1050具有一合成子频带间距1070,在本实施方式,此使分析子频带间距大小加倍,这将导致稍后将在图27的背景中讨论的移调贡献。
图27示出了图26中的非线性子频带处理器1020a的优选实施方式的详细实施。图27示出的电路接收单个子频带信号108作为一输入,该单个子频带信号108将在三个“支路”中被处理:上支路110a是用来以一移调因子2移调。位于图27中间以110b表示的支路用来以一移调因子3移调,且图27中以参考标号110c表示的下支路用于以一移调因子4移调。然而,由图27中的每个处理元件所获得的实际移调对支路110a仅是1(即没有移调)。由图27中示出的处理元件对于中间支路110b所获得的实际移调等于1.5且对下支路110c所获得的实际移调等于2。这以位于图27左边括号中的数字表示,其中表示移调因子T。1.5和2移调表示通过在支路110b,110c中进行抽取操作及通过重叠与相加处理器进行时间展宽所获得的第一移调贡献。第二贡献(即移调的加倍)是通过合成滤波器组105获得的,该合成滤波器组105具有一两倍于分析滤波器组子频带间距的合成子频带间距107。因此,因为合成滤波器组具有两倍分析子频带间距,所以在支路110a中不发生任何抽取功能。
然而,支路110b具有一抽取功能以获得一1.5的移调。由于合成滤波器组具有两倍于分析滤波器组的物理子频带间距,一获得移调因子3,如标示在图27中第二支路110b的区块提取器的左方。
类似地,第三支路有一对应于移调因子2的抽取功能,且分析滤波器组与合成滤波器组中的不同子频带间距的最终贡献对应于第三支路110c的移调因子4。
特别地,每个支路具有一区块提取器120a、120b、120c,且这些区块提取器中的每一个可与图18的区块提取器1800类似。此外,每一支路具有一相位计算器122a、122b和122c,且相位计算器可与图18的相位计算器1804类似。再者,每一支路具有一相位调整器124a、124b、124c,且相位调整器可与图18的相位调整器1806类似。此外,每一支路具有一窗口器126a、126b、126c,其中这些窗口器的每一个可与图18的窗口器1802类似。然而,窗口器126a、126b、126c还可被配置成连同一些“补零”一起应用于一矩形窗。在图27的实施方式中,每一支路110a、110b、110c中的移调或修补信号被输入加法器128,加法器128将来自每一支路的贡献加到当前子频带信号,以最终在加法器128的输出得到所谓的移调区块。然后,在重叠-加法器130中执行一重叠-相加处理,且重叠-加法器130可与图18的重叠/相加块1808相似。重叠-加法器应用一重叠相加预先值2·e,其中e是区块提取器120a、120b、120c的重叠-预先值或“步长值”,且重叠加法器130输出移调的信号,其在图27的实施方式中是一通道k(即,当前观察到的子频带通道)的单个子频带输出。对于每一分析子频带或对于一特定分析子频带组执行图27中示出的处理,且如图26中示出,移调的子频带信号在由块1030处理之后被输入到合成滤波器组1050,而最后在块1050的输出获得移调器输出信号,如图26中所述。
在实施方式中,第一移调器支路110a的区块提取器120a提取10个子频带样本,且随后,执行这10个QMF子频带样本至极坐标的转换。由相位调整器124a产生的该输出接着被发送到窗口器126a,窗口器126a对于区块的第一值与最后值以零扩展输出,其中,该操作等同于一长度10的矩形窗的(合成)窗化。在支路110a中的区块提取器120a不执行抽取。因此,由区块提取器提取的样本以他们被提取的相同样本间距被映射至所提取的区块。
然而,对于支路110b和110c这是不同的。区块提取器120b优选地提取一8个子频带样本的区块,且将提取区块中的这8个子频带样本以不同的子频带样本间距分布。通过插值法获得提取区块的非整数子频带样本项,且如此得到的QMF样本连同插值的样本一起被转换到极坐标并被相位调整器处理。然后,再度执行窗口器126b中的窗化,以对于最初的两个样本及最后的两个样本将相位调整器124b输出的区块扩展零,此操作等同于一长度8的矩形窗的(合成)窗化。
区块提取器120c被配置成用于提取一具有6子频带样本的时间宽度且执行一抽取因子为2的抽取,执行QMF样本至极坐标的转换,且再度执行相位调整器124b中的操作,且输出再次以零扩展,然而目前是针对最初三个子频带样本与最后三个子频带样本。此一操作等价于一长度6的矩形窗的(合成)窗化。
每一支路的移调输出接着被进行相加,以形成由加法器128输出的组合QMF,且组合QMF输出最后在块130中使用重叠加法器被叠加,其中该重叠相加预先值或步长值为前文所述的区块提取器120a、120b、120c的步长值的两倍。
实施方式包含通过使用基于子频带区块的谐波移调解码音频信号的方法,该方法包含通过一M-频带分析滤波器组对一核心解码信号进行滤波,以获得子频带信号的集合;通过具有一减少子频带数目的子采样合成滤波器对所述子频带信号的一子集进行合成,以获得子采样源范围信号。
一实施方式涉及一种用于将HFR产生信号的频谱带边界与参数处理中所利用的频谱边界对准的方法。
一实施方式涉及一种用于将HFR产生信号的频谱带边界与包络调整频率表的频谱边界对准的方法,该方法包含:在包络调整频率表中搜索不超过移调因子T的HFR产生信号的基本带宽限制的最高边界;且使用所找到的最高边界作为移调因子T的HFR产生信号的频率限制。
一实施方式涉及一种用于将限制器工具的频谱边界与HFR产生信号的频谱边界对准的方法,该方法包含:将HFR产生信号的频率边界相加到创建限制器工具所使用的频带边界时所使用的边界表;且迫使限制器使用相加后的频率边界作为恒定边界并相应地调整剩余的边界。
一实施方式涉及一音频信号的组合移调,包含在一低分辨率滤波器组域中的一些整数移调阶,其中对子频带信号的时间区块执行该移调操作。
一另一实施方式涉及组合移调,其中大于2的移调阶被嵌入一2阶移调环境中。
一另一实施方式涉及组合移调,其中大于3的移调阶被嵌入一3阶移调环境中,而低于4的移调阶被分离地执行。
一另一实施方式涉及组合移调,其中移调阶(例如移调阶大于2)通过复制包含核心编码带宽的先前算出的移调阶(即,尤其是较低阶)来创建。可利用的移调阶与核心带宽阶的每一可想到的组合皆可行,而不是限制性的。
一实施方式设计由于移调所需要的分析滤波器组数目减少所导致的计算复杂度减少。
一实施方式涉及从一输入音频信号产生一带宽扩展信号的装置,该装置包括一修补器,用于修补一输入音频信号以获得一第一修补信号和一第二修补信号,该第二修补信号具有与第一修补信号不同的一修补频率,其中该第一修补信号使用一第一修补算法产生,且该第二修补信号使用一第二修补算法产生;以及一组合器,用于组合第一修补信号和第二修补信号,以获得带宽扩展信号。
另一实施方式涉及根据前述的装置,其中第一修补算法是一谐波修补算法,且第二修补算法是一非谐波的修补算法。
另一实施方式涉及前述装置,其中,第一修补频率低于第二修补频率或反之亦然。
又一实施方式涉及前述装置,其中输入信号包含一修补信息;且其中修补器被配置成由从输入信号提取的修补信息控制,以根据修补信息改变第一修补算法或第二修补算法。
另一实施方式涉及前述装置,其中,修补器用于修补音频信号样本的随后区块,且其中修补器被配置成将第一修补算法和第二修补算法应用至音频样本的相同区块。
另一实施方式涉及前述装置,其中,修补器以任意顺序包含一由带宽扩展因子控制的抽取器、一滤波器组和一用于滤波器组子频带信号的展宽器。
又一实施方式涉及前述装置,展宽器包含区块提取器,用于根据一提取预先值提取一些重叠区块;相位调整器或窗口器,用于基于一窗函数或一相位校正调整每一区块中的子频带样本值;以及重叠/加法器,用于使用一大于提取预先值的重叠预先值执行窗化及相位调整区块的一重叠相加处理。
另一实施方式涉及用于对音频信号进行带宽扩展的装置包含:滤波器组,用于滤波音频信号以获得下采样子频带信号;多个不同子频带处理器,用于以不同方式处理不同子频带信号,该子频带处理器使用不同的展宽因子执行不同的子频带信号时间展宽操作;以及合并器,用于将多个不同的子频带处理器输出的处理子频带合并以获得一带宽扩展音频信号。
另一实施方式涉及一种用于对音频信号进行下采样的装置包含一调制器;使用一插值因子的一插值器;一复低通滤波器;以及一使用一抽取因子的抽取器,其中该抽取因子高于插值因子。
一实施方式涉及一种用于对音频信号进行下采样的装置,包含:第一滤波器组,用于从音频信号产生多个子频带信号,其中该子频带信号的采样率小于音频信号的采样率;至少一个合成滤波器组,位于分析滤波器组之后,并用于执行样本率转换,该合成滤波器组具有的通道数目不同于分析滤波器组的通道数目;时间展宽处理器,用于处理样本率转换信号;以及组合器,用于将时间展宽信号和一低频带信号或一不同时间展宽信号组合。
另一实施方式设计用于通过一非整数下采样因子下采样一音频信号的装置,包含:一数字滤波器;一具有一插值因子的插值器;一具有奇数与偶数抽头的多相元件;及一具有大于插值因子的一抽取因子的抽取器,该抽取因子与插值因子被选择成使得插值因子与抽取因子的比是非整数。
一实施方式涉及一种用于处理一音频信号的装置,包含:核心解码器,该核心解码器的一合成变换大小比标称变换大小小一因子,使得由一采样率小于对应于标称变换大小的标称采样率的核心解码器产生一输出信号;以及一具有一个或多个滤波器组、一个或多个时间展宽器及一合并器的后处理器,其中该一个或多个滤波器组的滤波器组通道数目相比于由标称变换大小确定的数目少。
另一实施方式涉及一种用于处理一低频带信号的装置,包含:一修补产生器,用于利用低频带音频信号产生多个修补;包络调整器,用于使用对于具有比例因子频带边界的邻接比例因子频带所给定的比例因子调整信号的包络,其中该修补产生器被配置成用于执行多次修补,使得相邻修补之间的边界与频标中相邻比例因子频带间的边界一致。
一实施方式涉及一种用来处理一低频带音频信号的装置,包含:修补产生器,用以使用低频带音频信号产生多个修补;及包络调整限制器,用于通过在具有限制器频带边界的相邻限制器频带中进行限制来限制一信号的包络调整值,其中该修补产生器被配置成执行多次修补,以使得相邻修补之间的边界与一频标中的相邻限制器频带间的边界一致。
本发明的处理对于增强依赖于带宽扩展方案的音频编解码器是有用的,尤其是,若在给定的位率下一最佳的感觉质量是高度重要的,且同时处理电力为一受限制资源。
最突出的应用是音频解码器,通常被实施在手持装置上且因而以一电池电源操作。
本发明的编码音频信号可被存储在一数字存储媒体上,或可在诸如一无线传输媒体或一有线传输媒体的一传输媒体(诸如因特网)上被传输。
根据特定的实施需求,本发明的实施方式可以以硬件或软件中实施。实施可利用一数字存储媒体执行,举例而言,一软盘、一DVD、一CD、ROM、一PROM、一EPROM、EEPROM或者闪存,其上存储有电可读控制信号,其与一可编程计算机系统协作(或能够协作),以使得能够执行各个方法。
根据本发明的一些实施方式包含一具有电可读控制信号的数据载体,该控制信号能够与一可编程计算机系统协作,使得能够执行本文中所描述的诸方法之一。
通常,本发明的实施方式可被实施成一具有程序代码的计算机程序产品,该程序代码用于在计算机程序产品在一计算机上运行时来执行诸方法中之一者。程序代码例如可存储在一机器可读载体上。
其它实施方式包含用于执行本文所描述的方法的、存储在一机器可读载体上的计算机程序。
换句话说,本发明方法的一实施方式因此是一具有程序代码的计算机程序,当计算机程序在一计算机上运行时该程序代码用来执行本文所述的诸方式中之一。
本发明方法的又一实施方式因此是一数据载体(或一数字存储媒体,或一计算机可读媒体),包含记录于其上用于执行本文所描述的诸方法之一的计算机程序。
本发明方法的另一实施方式因此是一表示用于执行本文中所描述的方法之一的计算机程序的数据流或一信号序列。数据流或信号序列例如可被配置成经由一数据通信连接(例如经由因特网)被传送。
另一实施方式包含一处理设备,例如一计算机、或一可编程的逻辑器件,该逻辑器件被配置或用于执行本文所描述的诸方法中之一。
又一实施方式包含其上安装有用于执行本文描述的诸方法之一的计算机程序的计算机。
在一些实施方式中,一可编程逻辑器件(例如现场可编程逻辑门阵列)可用来执行本文描述的方法中的一些或全部功能。在一些实施方式中,一现场可编程逻辑门阵列可与一微处理器协作以执行本文所描述的诸方法之一。通常,方法优选由任一硬件装置执行。
上述的实施方式仅用于说明本发明的原理,应当理解,本文所描述的配置以及细节的修改和变型对于本领域的技术人员是显而易见的。因此,意指仅由随后的专利权利要求限定,而不是由以本文中的实施方式的描述和说明的方式给出的具体细节限定。
文献:
[1]M.Dietz,L.Liljeryd,K.and O.Kunz,“Spectral Band Replication,anovel approach in audio coding,”in 112th AES Convention,Munich,May 2002.
[2]S.Meltzer,R.and F.Henn,“SBR enhanced audio codecs for digitalbroadcasting such as“Digital Radio Mondiale”(DRM),”in 112th AESConvention,Munich,May 2002.
[3]T.Ziegler,A.Ehret,P.Ekstrand and M.Lutzky,“Enhancing mp3 with SBR:Features and Capabilities of the new mp3PRO Algorithm,”in 112th AESConvention,Munich,May 2002.
[4]International Standard ISO/IEC 14496-3:2001/FPDAM 1,“BandwidthExtension,”ISO/IEC,2002.Speech bandwidth extension method andapparatus Vasu Iyengar et al
[5]E.Larsen,R.M.Aarts,and M.Danessis.Efficient high-frequencybandwidth extension of music and speech.In AES 112th Convention,Munich,Germany,May 2002.
[6]R.M.Aarts,E.Larsen,and O.Ouweltjes.A unified approach to low-andhigh frequency bandwidth extension.In AES 115th Convention,New York,USA,October 2003.
[7]K.A Robust Wideband Enhancement for Narrowband SpeechSignal.Research Report,Helsinki University of Technology,Laboratory ofAcoustics and Audio Signal Processing,2001.
[8]E.Larsen and R.M.Aarts.Audio Bandwidth Extension-Application topsychoacoustics,Signal Processing and Loudspeaker Design.John Wiley&Sons,Ltd,2004.
[9]E.Larsen,R.M.Aarts,and M.Danessis.Efficient high-frequencybandwidth extension of music and speech.In AES 112th Convention,Munich,Germany,May 2002.
[10]J.Makhoul.Spectral Analysis of Speech by Linear Prediction.IEEETransactions on Audio and Electroacoustics,AU-21(3),June 1973.
[11]United States Patent Application 08/951,029,Ohmori,et al.Audioband width extending system and method
[12]United States Patent 6895375,Malah,D&Cox,R.V.:System forbandwidth extension of Narrow-band speech
[13]Frederik Nagel,Sascha Disch,″A harmonic bandwidth extensionmethod for audio codecs,″ICASSP International Conference on Acoustics,Speech and Signal Processing,IEEE CNF,Taipei,Taiwan,April 2009
[14]Frederik Nagel,Sascha Disch,Nikolaus Rettelbach,″A phase vocoderdriven bandwidth extension method with novel transient handling for audiocodecs,″126th AES Convention,Munich,Germany,May 2009
[15]M.Puckette.Phase-Iocked Vocoder.IEEE ASSP Conference onApplications of Signal Processing to Audio and Acoustics,Mohonk 1995.″,A.:Transient detection and preservation in the phase vocoder;citeseer.ist.psu.edu/679246.html
[16]Laroche L.,Dolson M.:“Improved phase vocoder timescalemodification of audio″,IEEE Trans.Speech and Audio Processing,vol.7,no.3,pp.323--332,
[17]United States Patent 6549884 Laroche,J.&Dolson,M.:Phase-vocoder pitch-shifting
[18]Herre,J.;Faller,C.;Ertel,C.;Hilpert,J.;A.;Spenger,C,″MP3Surround:Efficient and Compatible Coding of Multi-Channel Audio,″116thConv.Aud.Eng.Soc.,May 2004
[19]Neuendorf,Max;Gournay,Philippe;Multrus,Markus;Lecomte,Jérémie;Bessette,Bruno;Geiger,Ralf;Bayer,Stefan;Fuchs,Guillaume;Hilpert,Johannes;Rettelbach,Nikolaus;Salami,Redwan;Schuller,Gerald;Lefebvre,Roch;Grill,Bernhard:Unified Speech and Audio Coding Scheme for HighQuality at Lowbitrates,ICASSP 2009,April 19-24,2009,Taipei,Taiwan
[20]Bayer,Stefan;Bessette,Bruno;Fuchs,Guillaume;Geiger,Ralf;Gournay,Philippe;Grill,Bernhard;Hilpert,Johannes;Lecomte,Jérémie;Lefebvre,Roch;Multrus,Markus;Nagel,Frederik;Neuendorf,Max;Rettelbach,Nikolaus;Robilliard,Julien;Salami,Redwan;Schuller,Gerald:A Novel Scheme for LowBitrate Unified Speech and Audio Coding,126th AES Convention,May 7,2009,München
Claims (22)
1.一种用于处理一输入音频信号(2300)的装置,包含:
一合成滤波器组(2304),用以从所述输入音频信号(2300)合成一音频中间信号(2306),所述输入音频信号(2300)由一分析滤波器组(2302)产生的多个第一子频带信号(2303)表示,其中所述合成滤波器组(2304)的滤波器组通道数目(Ms)小于所述分析滤波器组(2302)的通道数目(M);以及
一另一分析滤波器组(2307),用以从所述音频中间信号(2306)产生多个第二子频带信号(2308),其中所述另一分析滤波器组(2307)具有的通道数目(MA)与所述合成滤波器组(2304)的通道数目不同,使得所述多个第二子频带信号(2308)中的一子频带信号的采样率与所述多个第一子频带信号(2303)中的一第一子频带信号的采样率不同。
2.根据权利要求1所述的装置,其中,所述合成滤波器组(2304)是一实值滤波器组。
3.根据权利要求1所述的装置,其中,所述多个第一子频带信号(2302)中的第一子频带信号的数目大于或等于24,且
其中,所述合成滤波器组(2304)的滤波器组通道数目小于或等于22。
4.根据前述权利要求中任一项所述的装置,其中,所述合成滤波器组(2304)被配置成用于仅处理表示全带宽输入音频信号(2300)的所述多个第一子频带信号中的所有第一子频带信号(2303)的一子组(2305),且其中,所述合成滤波器组(2304)被配置成用于产生所述音频中间信号(2306)作为所述全带宽输入音频信号(2300)中调制到基带的一频带段。
5.根据前述权利要求中任一项所述的装置,进一步包含:
所述分析滤波器组(2302)用于接收所述输入音频信号(2300)的一时域表示并用于分析所述时域表示以获得所述多个第一子频带信号(2303),其中,所述多个第一子频带信号(2303)的一子组(2305)被输入至所述合成滤波器组(2304)内,且其中,所述多个第一子频带信号中的剩余子频带信号不被输入至所述合成滤波器组(2304)中。
6.根据前述权利要求中任一项所述的装置,其中,所述分析滤波器组(2302)是一复值滤波器组,其中,所述合成滤波器组(2304)包含一用于从所述第一子频带信号计算实值子频带信号的实值计算器,其中,由所述实值计算器算出的所述实值子频带信号进一步由所述合成滤波器组(2304)处理以获得所述音频中间信号(2306)。
7.根据前述权利要求中任一项所述的装置,其中,所述另一分析滤波器组(2307)是一复值滤波器组并且被配置成产生所述多个第二子频带信号(2308)作为复子频带信号。
8.根据前述权利要求中任一项所述的装置,其中,所述合成滤波器组(2304)、所述另一分析滤波器组(2307)或所述分析滤波器组(2302)被配置成使用同一滤波器组窗的子采样版本。
9.根据前述权利要求中任一项所述的装置,进一步包含:
一子频带信号处理器(2309),用于处理所述多个第二子频带(2308);及
一另一合成滤波器组(2311),用于对多个已处理的子频带进行滤波,其中,所述另一合成滤波器组(2311)、所述合成滤波器组(2304)、所述分析滤波器组(2302)或所述另一分析滤波器组(2307)被配置成使用同一滤波器组窗的子采样版本,或其中所述另一合成滤波器组(2311)被配置成应用一合成窗,并且其中所述另一分析滤波器组(2307)、所述合成滤波器组(2304)或所述分析滤波器组(2302)被配置成应用所述另一合成滤波器组(2311)所使用的所述合成窗的子采样版本。
10.根据前述权利要求中任一项所述的装置,进一步包含用于每子频带执行非线性处理操作以获得多个已处理的子频带的子频带处理器(2309);
一高频重建处理器(1030),用以根据传输的参数(1040)调整一输入信号;以及
一另一合成滤波器组(2311,1050),用以组合所述输入音频信号(2300)与所述多个已处理的子频带信号;
其中,所述高频重建处理器(1030)被配置为处理所述另一合成滤波器组(1050,2311)的一输出,或在所述多个已处理的子频带被输入至所述另一合成滤波器组(1030)之前处理所述多个已处理的子频带。
11.根据前述权利要求中任一项所述的装置,其中,所述另一分析滤波器组(2307)或所述合成滤波器组(2304)具有一原型窗函数计算器,所述原型窗函数计算器通过利用关于所述另一分析滤波器组(2307)或所述合成波器组(2304)的通道数目的信息,使用具有一不同大小的滤波器组的存储窗函数进行子采样或插值,来计算一原型窗函数。
12.根据前述权利要求中任一项所述的装置,其中,所述合成滤波器组(2304)被配置为将至所述合成滤波器组(2304)的一最低滤波器组通道与一最高滤波器组通道的输入设成零。
13.根据前述权利要求中任一项所述的装置,被配置成执行一基于区块的谐波移调,其中所述合成滤波器组(2304)是一子采样滤波器组。
14.根据前述权利要求中任一项所述的装置,进一步包含用于处理所述多个第二子频带(2308)的一子频带处理器(2309),
其中,所述子频带处理器(2309,1020a,1020b)以任意顺序包含一由带宽扩展因子控制的抽取器;及用于一子频带信号的展宽器,其中所述展宽器包含一区块提取器,用以根据一提取预先值来提取多个重叠区块;一相位调整器(1806,124a,124b,124c)或窗口器(1802,126a,126b,126c),用以基于一窗函数或一相位校正调整每一区块中的子频带采样;以及一重叠加法器(1804,130),用以使用一大于所述提取预先值的一重叠预先值执行窗化及相位调整区块的一重叠相加处理。
15.根据前述权利要求中任一项所述的装置,进一步包含一子频带处理器(2309),其中所述子频带处理器(2309,1020a,1020b)包含:
用于不同移调因子的多个不同处理支路(110a,110b,110c),用于获得一移调信号,其中,每一处理支路被配置成提取(120a,120b,120c)子频带样本的区块;
一加法器(128),用于将所述移调信号相加以获得移调区块;及
一重叠加法器(130),用以使用比在所述多个不同处理支路(110a,110b,110c)中提取(120a,120b,120c)区块所使用的区块预先值大的一区块预先值,重叠相加时间连续的移调区块。
16.根据前述权利要求中任一项所述的装置,进一步包含:
所述分析滤波器组(2302),其中所述合成滤波器组(2304)及所述另一分析滤波器组(2307)被配置成执行一样本率转换,一时间展宽处理器(100a,100b,100c),用以处理样本率转换的信号;及
一组合器(2311,605),用以组合由所述时间展宽处理器产生的经处理的子频带信号,以获得一经处理的时域信号。
17.根据前述权利要求中任一项所述的装置,其中,所述另一分析滤波器组(2307)的通道数目大于所述合成滤波器组(2304)的通道数目。
18.一种处理一输入音频信号(2300)的装置,包含:
一分析滤波器组(2302),具有多个(M)分析滤波器组通道,其中,所述分析滤波器组(2302)被配置成对所述输入音频信号(2300)进行滤波,以获得多个第一子频带信号(2303);及
一合成滤波器组(2304),用于使用第一子频带信号(2303)的组(2305)合成一音频中间信号(2306),其中,所述组(2305)包含一数目少于所述分析滤波器组(2302)的滤波器组通道数目的子频带信号,其中所述中间音频信号(2306)是所述输入音频信号(2300)的一带宽部分的子采样表示。
19.根据权利要求18所述的装置,其中,所述分析滤波器组(2302)是临界采样的复QMF滤波器组,及
其中,所述合成滤波器组(2304)是一临界采样的实值QMF滤波器组。
20.一种处理一输入音频信号(2300)的方法,包含:
使用用于从所述输入音频信号(2300)合成一音频中间信号(2306)的一合成滤波器组(2304)对由一分析滤波器组(2302)产生的多个第一子频带信号(2303)表示的所述输入音频信号(2300)进行合成滤波,其中,所述合成滤波器组(2304)的滤波器组的通道数目(Ms)小于所述分析滤波器组(2302)的通道数目(M);及
使用用于从所述音频中间信号(2306)产生多个第二子频带信号(2308)的一另一分析滤波器组(2307)进行分析滤波,其中所述另一分析滤波器组(2307)具有的通道数目(MA)不同于所述合成滤波器组(2304)的通道数目,使得所述多个第二子频带信号(2308)的一子频带信号的采样率不同于所述多个第一子频带信号(2303)的一第一子频带信号的采样率。
21.一种用于处理一输入音频信号(2300)的方法,包含:
使用一具有多个(M)分析滤波器组通道的分析滤波器组(2302)进行分析滤波,其中所述分析滤波器组(2302)被配置成滤波所述输入音频信号(2300)以获得多个第一子频带信号(2303);及
使用用于利用第一子频带信号(2303)的组(2305)合成一音频中间信号(2306)的一合成滤波器组(2304)进行合成滤波,其中,所述组包含的子频带信号的数目小于所述分析滤波器组(2302)的滤波器组通道数目,其中,所述中间音频信号(2306)是所述输入音频信号(2300)的一带宽部分的子采样表示。
22.一种计算机程序,具有当在一计算机上运行时执行根据权利要求20或根据权利要求21的方法的程序代码。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US31212710P | 2010-03-09 | 2010-03-09 | |
US61/312,127 | 2010-03-09 | ||
PCT/EP2011/053315 WO2011110500A1 (en) | 2010-03-09 | 2011-03-04 | Apparatus and method for processing an input audio signal using cascaded filterbanks |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102939628A true CN102939628A (zh) | 2013-02-20 |
CN102939628B CN102939628B (zh) | 2015-05-13 |
Family
ID=43987731
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180023443.7A Active CN102939628B (zh) | 2010-03-09 | 2011-03-04 | 用以使用级联滤波器组处理输入音频信号的装置及方法 |
CN201180023444.1A Active CN103038819B (zh) | 2010-03-09 | 2011-03-04 | 用以使用补丁边界对准处理输入音频信号的装置及方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180023444.1A Active CN103038819B (zh) | 2010-03-09 | 2011-03-04 | 用以使用补丁边界对准处理输入音频信号的装置及方法 |
Country Status (18)
Country | Link |
---|---|
US (7) | US9792915B2 (zh) |
EP (4) | EP2545548A1 (zh) |
JP (2) | JP5588025B2 (zh) |
KR (2) | KR101414736B1 (zh) |
CN (2) | CN102939628B (zh) |
AR (2) | AR080476A1 (zh) |
AU (2) | AU2011226211B2 (zh) |
BR (5) | BR112012022740B1 (zh) |
CA (2) | CA2792452C (zh) |
ES (2) | ES2522171T3 (zh) |
HK (1) | HK1181180A1 (zh) |
MX (2) | MX2012010416A (zh) |
MY (1) | MY154204A (zh) |
PL (2) | PL3570278T3 (zh) |
RU (1) | RU2586846C2 (zh) |
SG (1) | SG183967A1 (zh) |
TW (2) | TWI446337B (zh) |
WO (2) | WO2011110500A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106340300A (zh) * | 2015-07-08 | 2017-01-18 | 大陆汽车系统公司 | 针对电话时钟的计算高效数据率失配补偿 |
CN111386665A (zh) * | 2017-11-09 | 2020-07-07 | 高通股份有限公司 | 用于混合参数设计的频分复用的方法和设备 |
CN111670473A (zh) * | 2017-12-19 | 2020-09-15 | 杜比国际公司 | 用于统一语音及音频解码基于qmf的谐波移调器改进的方法及设备 |
CN111970630A (zh) * | 2015-08-25 | 2020-11-20 | 杜比实验室特许公司 | 音频解码器和解码方法 |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011048792A1 (ja) * | 2009-10-21 | 2011-04-28 | パナソニック株式会社 | 音響信号処理装置、音響符号化装置および音響復号装置 |
EP2362375A1 (en) * | 2010-02-26 | 2011-08-31 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for modifying an audio signal using harmonic locking |
EP2545548A1 (en) * | 2010-03-09 | 2013-01-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an input audio signal using cascaded filterbanks |
JP5850216B2 (ja) * | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
CN102473417B (zh) | 2010-06-09 | 2015-04-08 | 松下电器(美国)知识产权公司 | 频带扩展方法、频带扩展装置、集成电路及音频解码装置 |
US8958510B1 (en) * | 2010-06-10 | 2015-02-17 | Fredric J. Harris | Selectable bandwidth filter |
JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
KR102564590B1 (ko) * | 2010-09-16 | 2023-08-09 | 돌비 인터네셔널 에이비 | 교차 곱 강화된 서브밴드 블록 기반 고조파 전위 |
US8620646B2 (en) * | 2011-08-08 | 2013-12-31 | The Intellisis Corporation | System and method for tracking sound pitch across an audio signal using harmonic envelope |
CN103918029B (zh) * | 2011-11-11 | 2016-01-20 | 杜比国际公司 | 使用过采样谱带复制的上采样 |
TWI478548B (zh) * | 2012-05-09 | 2015-03-21 | Univ Nat Pingtung Sci & Tech | 對等網路串流傳輸方法 |
EP2709106A1 (en) | 2012-09-17 | 2014-03-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
CN103915104B (zh) * | 2012-12-31 | 2017-07-21 | 华为技术有限公司 | 信号带宽扩展方法和用户设备 |
US9530430B2 (en) * | 2013-02-22 | 2016-12-27 | Mitsubishi Electric Corporation | Voice emphasis device |
EP2975890A4 (en) * | 2013-03-14 | 2017-01-04 | LG Electronics Inc. | Method for receiving signal by using device-to-device communication in wireless communication system |
JP6510487B2 (ja) * | 2013-03-26 | 2019-05-08 | バラット, ラックラン, ポールBARRATT, Lachlan, Paul | 正弦関数を利用する音声フィルタ |
US9305031B2 (en) | 2013-04-17 | 2016-04-05 | International Business Machines Corporation | Exiting windowing early for stream computing |
JP6305694B2 (ja) * | 2013-05-31 | 2018-04-04 | クラリオン株式会社 | 信号処理装置及び信号処理方法 |
US9454970B2 (en) * | 2013-07-03 | 2016-09-27 | Bose Corporation | Processing multichannel audio signals |
EP2830061A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
TWI584567B (zh) * | 2013-08-12 | 2017-05-21 | Idt歐洲有限公司 | 功率轉換器及用於功率轉換器的控制方法 |
EP3039674B1 (en) * | 2013-08-28 | 2019-04-17 | Landr Audio Inc. | System and method for performing automatic audio production using semantic data |
TWI557726B (zh) * | 2013-08-29 | 2016-11-11 | 杜比國際公司 | 用於決定音頻信號的高頻帶信號的主比例因子頻帶表之系統和方法 |
EP3767970B1 (en) | 2013-09-17 | 2022-09-28 | Wilus Institute of Standards and Technology Inc. | Method and apparatus for processing multimedia signals |
US10083708B2 (en) | 2013-10-11 | 2018-09-25 | Qualcomm Incorporated | Estimation of mixing factors to generate high-band excitation signal |
WO2015060654A1 (ko) | 2013-10-22 | 2015-04-30 | 한국전자통신연구원 | 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치 |
CN104681034A (zh) * | 2013-11-27 | 2015-06-03 | 杜比实验室特许公司 | 音频信号处理 |
CN105745706B (zh) * | 2013-11-29 | 2019-09-24 | 索尼公司 | 用于扩展频带的装置、方法和程序 |
WO2015099429A1 (ko) | 2013-12-23 | 2015-07-02 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치 |
AU2014371411A1 (en) | 2013-12-27 | 2016-06-23 | Sony Corporation | Decoding device, method, and program |
EP3122073B1 (en) | 2014-03-19 | 2023-12-20 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and apparatus |
KR101856540B1 (ko) | 2014-04-02 | 2018-05-11 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
US9306606B2 (en) * | 2014-06-10 | 2016-04-05 | The Boeing Company | Nonlinear filtering using polyphase filter banks |
EP2963646A1 (en) | 2014-07-01 | 2016-01-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal |
EP2980795A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
EP2980794A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
KR101523559B1 (ko) * | 2014-11-24 | 2015-05-28 | 가락전자 주식회사 | 토폴로지를 이용한 오디오 스트림 형성 장치 및 방법 |
WO2016142002A1 (en) | 2015-03-09 | 2016-09-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal |
TWI758146B (zh) * | 2015-03-13 | 2022-03-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
TWI693595B (zh) * | 2015-03-13 | 2020-05-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
US10129659B2 (en) | 2015-05-08 | 2018-11-13 | Doly International AB | Dialog enhancement complemented with frequency transposition |
KR101661713B1 (ko) * | 2015-05-28 | 2016-10-04 | 제주대학교 산학협력단 | 파라메트릭 어레이 응용을 위한 변조 방법 및 장치 |
CN108140396B (zh) * | 2015-09-22 | 2022-11-25 | 皇家飞利浦有限公司 | 音频信号处理 |
CN109074813B (zh) | 2015-09-25 | 2020-04-03 | 杜比实验室特许公司 | 处理高清晰度音频数据 |
EP3171362B1 (en) * | 2015-11-19 | 2019-08-28 | Harman Becker Automotive Systems GmbH | Bass enhancement and separation of an audio signal into a harmonic and transient signal component |
EP3182411A1 (en) | 2015-12-14 | 2017-06-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an encoded audio signal |
US10157621B2 (en) * | 2016-03-18 | 2018-12-18 | Qualcomm Incorporated | Audio signal decoding |
US10825467B2 (en) * | 2017-04-21 | 2020-11-03 | Qualcomm Incorporated | Non-harmonic speech detection and bandwidth extension in a multi-source environment |
TWI834582B (zh) | 2018-01-26 | 2024-03-01 | 瑞典商都比國際公司 | 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體 |
CA3152262A1 (en) * | 2018-04-25 | 2019-10-31 | Dolby International Ab | Integration of high frequency reconstruction techniques with reduced post-processing delay |
US11527256B2 (en) * | 2018-04-25 | 2022-12-13 | Dolby International Ab | Integration of high frequency audio reconstruction techniques |
WO2021154211A1 (en) * | 2020-01-28 | 2021-08-05 | Hewlett-Packard Development Company, L.P. | Multi-channel decomposition and harmonic synthesis |
CN111768793B (zh) * | 2020-07-11 | 2023-09-01 | 北京百瑞互联技术有限公司 | 一种lc3音频编码器编码优化方法、系统、存储介质 |
TWI834408B (zh) * | 2022-12-02 | 2024-03-01 | 元智大學 | 兩階濾波器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040246994A1 (en) * | 2003-06-09 | 2004-12-09 | Munoz Michael Steven | Efficient and flexible oversampled filterbank with near perfect reconstruction constraint |
US20050018796A1 (en) * | 2003-07-07 | 2005-01-27 | Sande Ravindra Kumar | Method of combining an analysis filter bank following a synthesis filter bank and structure therefor |
CN1668058A (zh) * | 2005-02-21 | 2005-09-14 | 南望信息产业集团有限公司 | 基于递归最小平方差的子带回声抵消器 |
EP1940023A2 (fr) * | 2006-12-22 | 2008-07-02 | Thales | Banque de filtres numériques cascadable et circuit de réception comportant une telle banque de filtre en cascade |
CN101443843A (zh) * | 2006-03-28 | 2009-05-27 | 诺基亚公司 | 在级联滤波器组情况下的低复杂性子带域滤波 |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS55107313A (en) | 1979-02-08 | 1980-08-18 | Pioneer Electronic Corp | Adjuster for audio quality |
US5455888A (en) | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
US6766300B1 (en) | 1996-11-07 | 2004-07-20 | Creative Technology Ltd. | Method and apparatus for transient detection and non-distortion time scaling |
SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
US6549884B1 (en) | 1999-09-21 | 2003-04-15 | Creative Technology Ltd. | Phase-vocoder pitch-shifting |
SE0001926D0 (sv) * | 2000-05-23 | 2000-05-23 | Lars Liljeryd | Improved spectral translation/folding in the subband domain |
MXPA03009357A (es) | 2001-04-13 | 2004-02-18 | Dolby Lab Licensing Corp | Escalamiento en el tiempo y escalamiento en el tono de alta calidad de senales de audio. |
MXPA03002115A (es) | 2001-07-13 | 2003-08-26 | Matsushita Electric Ind Co Ltd | DISPOSITIVO DE DECODIFICACION Y CODIFICACION DE SEnAL DE AUDIO. |
US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
US20030187663A1 (en) * | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
JP4313993B2 (ja) | 2002-07-19 | 2009-08-12 | パナソニック株式会社 | オーディオ復号化装置およびオーディオ復号化方法 |
JP4227772B2 (ja) | 2002-07-19 | 2009-02-18 | 日本電気株式会社 | オーディオ復号装置と復号方法およびプログラム |
SE0202770D0 (sv) | 2002-09-18 | 2002-09-18 | Coding Technologies Sweden Ab | Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks |
KR100524065B1 (ko) * | 2002-12-23 | 2005-10-26 | 삼성전자주식회사 | 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치 |
US7337108B2 (en) | 2003-09-10 | 2008-02-26 | Microsoft Corporation | System and method for providing high-quality stretching and compression of a digital audio signal |
BRPI0415464B1 (pt) * | 2003-10-23 | 2019-04-24 | Panasonic Intellectual Property Management Co., Ltd. | Aparelho e método de codificação de espectro. |
JP4254479B2 (ja) * | 2003-10-27 | 2009-04-15 | ヤマハ株式会社 | オーディオ帯域拡張再生装置 |
DE102004046746B4 (de) | 2004-09-27 | 2007-03-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten |
JP4939424B2 (ja) | 2004-11-02 | 2012-05-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複素値のフィルタ・バンクを用いたオーディオ信号の符号化及び復号化 |
WO2006108543A1 (en) | 2005-04-15 | 2006-10-19 | Coding Technologies Ab | Temporal envelope shaping of decorrelated signal |
JP2007017628A (ja) | 2005-07-06 | 2007-01-25 | Matsushita Electric Ind Co Ltd | 復号化装置 |
US7565289B2 (en) | 2005-09-30 | 2009-07-21 | Apple Inc. | Echo avoidance in audio time stretching |
JP4760278B2 (ja) | 2005-10-04 | 2011-08-31 | 株式会社ケンウッド | 補間装置、オーディオ再生装置、補間方法および補間プログラム |
DE602006012370D1 (de) | 2005-12-13 | 2010-04-01 | Nxp Bv | Einrichtung und verfahren zum verarbeiten eines audio-datenstroms |
US9275648B2 (en) * | 2007-12-18 | 2016-03-01 | Lg Electronics Inc. | Method and apparatus for processing audio signal using spectral data of audio signal |
CN101471072B (zh) * | 2007-12-27 | 2012-01-25 | 华为技术有限公司 | 高频重建方法、编码装置和解码装置 |
DE102008015702B4 (de) | 2008-01-31 | 2010-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
ES2739667T3 (es) | 2008-03-10 | 2020-02-03 | Fraunhofer Ges Forschung | Dispositivo y método para manipular una señal de audio que tiene un evento transitorio |
US9147902B2 (en) | 2008-07-04 | 2015-09-29 | Guangdong Institute of Eco-Environmental and Soil Sciences | Microbial fuel cell stack |
EP2176862B1 (en) | 2008-07-11 | 2011-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for calculating bandwidth extension data using a spectral tilt controlling framing |
JP5551694B2 (ja) | 2008-07-11 | 2014-07-16 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 多くのスペクトルエンベロープを計算するための装置および方法 |
ES2461141T3 (es) * | 2008-07-11 | 2014-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y procedimiento para generar una señal de ancho de banda ampliado |
EP2169665B1 (en) | 2008-09-25 | 2018-05-02 | LG Electronics Inc. | A method and an apparatus for processing a signal |
WO2010036061A2 (en) | 2008-09-25 | 2010-04-01 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
EP2359366B1 (en) * | 2008-12-15 | 2016-11-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and bandwidth extension decoder |
PL3246919T3 (pl) | 2009-01-28 | 2021-03-08 | Dolby International Ab | Ulepszona transpozycja harmonicznych |
EP2214165A3 (en) | 2009-01-30 | 2010-09-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for manipulating an audio signal comprising a transient event |
ES2936307T3 (es) * | 2009-10-21 | 2023-03-16 | Dolby Int Ab | Sobremuestreo en un banco de filtros de reemisor combinado |
US8321216B2 (en) | 2010-02-23 | 2012-11-27 | Broadcom Corporation | Time-warping of audio signals for packet loss concealment avoiding audible artifacts |
WO2011110494A1 (en) | 2010-03-09 | 2011-09-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Improved magnitude response and temporal alignment in phase vocoder based bandwidth extension for audio signals |
EP2545548A1 (en) * | 2010-03-09 | 2013-01-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an input audio signal using cascaded filterbanks |
-
2011
- 2011-03-04 EP EP11707400A patent/EP2545548A1/en not_active Ceased
- 2011-03-04 ES ES11715452.6T patent/ES2522171T3/es active Active
- 2011-03-04 EP EP19179788.5A patent/EP3570278B1/en active Active
- 2011-03-04 CN CN201180023443.7A patent/CN102939628B/zh active Active
- 2011-03-04 BR BR112012022740-8A patent/BR112012022740B1/pt active IP Right Grant
- 2011-03-04 PL PL19179788.5T patent/PL3570278T3/pl unknown
- 2011-03-04 BR BR112012022574-0A patent/BR112012022574B1/pt active IP Right Grant
- 2011-03-04 CA CA2792452A patent/CA2792452C/en active Active
- 2011-03-04 ES ES19179788T patent/ES2935637T3/es active Active
- 2011-03-04 EP EP11715452.6A patent/EP2545553B1/en active Active
- 2011-03-04 AU AU2011226211A patent/AU2011226211B2/en active Active
- 2011-03-04 WO PCT/EP2011/053315 patent/WO2011110500A1/en active Application Filing
- 2011-03-04 KR KR1020127026332A patent/KR101414736B1/ko active IP Right Grant
- 2011-03-04 SG SG2012066544A patent/SG183967A1/en unknown
- 2011-03-04 RU RU2012142732/08A patent/RU2586846C2/ru active
- 2011-03-04 WO PCT/EP2011/053313 patent/WO2011110499A1/en active Application Filing
- 2011-03-04 BR BR122021014305-6A patent/BR122021014305B1/pt active IP Right Grant
- 2011-03-04 CA CA2792450A patent/CA2792450C/en active Active
- 2011-03-04 MY MYPI2012004003A patent/MY154204A/en unknown
- 2011-03-04 MX MX2012010416A patent/MX2012010416A/es active IP Right Grant
- 2011-03-04 PL PL11715452T patent/PL2545553T3/pl unknown
- 2011-03-04 EP EP22203358.1A patent/EP4148729A1/en active Pending
- 2011-03-04 BR BR122021014312-9A patent/BR122021014312B1/pt active IP Right Grant
- 2011-03-04 JP JP2012556463A patent/JP5588025B2/ja active Active
- 2011-03-04 CN CN201180023444.1A patent/CN103038819B/zh active Active
- 2011-03-04 BR BR122021019082-8A patent/BR122021019082B1/pt active IP Right Grant
- 2011-03-04 AU AU2011226212A patent/AU2011226212B2/en active Active
- 2011-03-04 KR KR1020127026267A patent/KR101425154B1/ko active IP Right Grant
- 2011-03-04 JP JP2012556464A patent/JP5523589B2/ja active Active
- 2011-03-04 MX MX2012010415A patent/MX2012010415A/es active IP Right Grant
- 2011-03-08 TW TW100107724A patent/TWI446337B/zh active
- 2011-03-08 TW TW100107715A patent/TWI444991B/zh active
- 2011-03-09 AR ARP110100723A patent/AR080476A1/es active IP Right Grant
- 2011-03-09 AR ARP110100724A patent/AR080477A1/es active IP Right Grant
-
2012
- 2012-09-05 US US13/604,364 patent/US9792915B2/en active Active
- 2012-09-05 US US13/604,336 patent/US9305557B2/en active Active
-
2013
- 2013-07-16 HK HK13108340.5A patent/HK1181180A1/zh unknown
-
2017
- 2017-03-15 US US15/459,520 patent/US10032458B2/en active Active
-
2018
- 2018-06-22 US US16/016,284 patent/US10770079B2/en active Active
-
2020
- 2020-05-19 US US16/878,313 patent/US11495236B2/en active Active
-
2022
- 2022-10-21 US US18/048,810 patent/US11894002B2/en active Active
-
2023
- 2023-12-27 US US18/397,158 patent/US20240135939A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040246994A1 (en) * | 2003-06-09 | 2004-12-09 | Munoz Michael Steven | Efficient and flexible oversampled filterbank with near perfect reconstruction constraint |
US20050018796A1 (en) * | 2003-07-07 | 2005-01-27 | Sande Ravindra Kumar | Method of combining an analysis filter bank following a synthesis filter bank and structure therefor |
CN1668058A (zh) * | 2005-02-21 | 2005-09-14 | 南望信息产业集团有限公司 | 基于递归最小平方差的子带回声抵消器 |
CN101443843A (zh) * | 2006-03-28 | 2009-05-27 | 诺基亚公司 | 在级联滤波器组情况下的低复杂性子带域滤波 |
EP1940023A2 (fr) * | 2006-12-22 | 2008-07-02 | Thales | Banque de filtres numériques cascadable et circuit de réception comportant une telle banque de filtre en cascade |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106340300A (zh) * | 2015-07-08 | 2017-01-18 | 大陆汽车系统公司 | 针对电话时钟的计算高效数据率失配补偿 |
CN106340300B (zh) * | 2015-07-08 | 2021-12-31 | 大陆汽车系统公司 | 针对电话时钟的计算高效数据率失配补偿 |
CN111970630A (zh) * | 2015-08-25 | 2020-11-20 | 杜比实验室特许公司 | 音频解码器和解码方法 |
CN111970630B (zh) * | 2015-08-25 | 2021-11-02 | 杜比实验室特许公司 | 音频解码器和解码方法 |
US11423917B2 (en) | 2015-08-25 | 2022-08-23 | Dolby International Ab | Audio decoder and decoding method |
US11705143B2 (en) | 2015-08-25 | 2023-07-18 | Dolby Laboratories Licensing Corporation | Audio decoder and decoding method |
US12002480B2 (en) | 2015-08-25 | 2024-06-04 | Dolby Laboratories Licensing Corporation | Audio decoder and decoding method |
CN111386665A (zh) * | 2017-11-09 | 2020-07-07 | 高通股份有限公司 | 用于混合参数设计的频分复用的方法和设备 |
US11398941B2 (en) | 2017-11-09 | 2022-07-26 | Qualcomm Incorporated | Frequency division multiplexing for mixed numerology |
CN111386665B (zh) * | 2017-11-09 | 2022-08-02 | 高通股份有限公司 | 用于混合参数设计的频分复用的方法和设备 |
CN111670473A (zh) * | 2017-12-19 | 2020-09-15 | 杜比国际公司 | 用于统一语音及音频解码基于qmf的谐波移调器改进的方法及设备 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102939628B (zh) | 用以使用级联滤波器组处理输入音频信号的装置及方法 | |
CN101933087B (zh) | 用于音频信号带宽扩展的设备和方法 | |
CN102027537B (zh) | 利用谐波带宽扩充及非谐波带宽扩充的组合、基于输入信号表示型态产生扩充带宽信号的表示型态的装置、方法 | |
CN103155033B (zh) | 高频重建期间的音频信号处理 | |
US20040131203A1 (en) | Spectral translation/ folding in the subband domain | |
MX2010009932A (es) | Metodo y dispositivo para manipular una señal de audio que tiene un evento transitorio. | |
CN101540171A (zh) | 音频信号编码或解码 | |
CN104318928A (zh) | 子带处理单元以及生成合成子带信号的方法 | |
CN103155034A (zh) | 基于celp的语音编码器中的音频信号带宽扩展 | |
RU2452044C1 (ru) | Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот | |
CN103155035B (zh) | 基于celp的语音编码器中的音频信号带宽扩展 | |
Neukam et al. | A MDCT based harmonic spectral bandwidth extension method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C56 | Change in the name or address of the patentee | ||
CP01 | Change in the name or title of a patent holder |
Address after: Munich, Germany Patentee after: Fraunhofer Application and Research Promotion Association Patentee after: Dolby Int AB Address before: Munich, Germany Patentee before: Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Patentee before: Dolby Int AB |