CN102105931A - 用于生成带宽扩展信号的装置与方法 - Google Patents
用于生成带宽扩展信号的装置与方法 Download PDFInfo
- Publication number
- CN102105931A CN102105931A CN2009801270931A CN200980127093A CN102105931A CN 102105931 A CN102105931 A CN 102105931A CN 2009801270931 A CN2009801270931 A CN 2009801270931A CN 200980127093 A CN200980127093 A CN 200980127093A CN 102105931 A CN102105931 A CN 102105931A
- Authority
- CN
- China
- Prior art keywords
- patch
- convergent
- input signal
- divergent
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000003595 spectral effect Effects 0.000 claims abstract description 49
- 238000001228 spectrum Methods 0.000 claims description 119
- 230000005236 sound signal Effects 0.000 claims description 57
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000010076 replication Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 108010003272 Hyaluronate lyase Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000010189 synthetic method Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
Abstract
一种用于从输入信号生成带宽扩展信号的装置，包括补丁生成器和组合器。该输入信号的第一频带由第一分辨率数据表示，第二频带由第二分辨率数据表示，其中第二分辨率比第一分辨率更低。该补丁生成器根据第一补丁算法从输入信号的第一频带生成第一补丁，并且根据第二补丁算法从输入信号的第一频带生成第二补丁。根据第二补丁算法生成的第二补丁的频谱密度比根据第一补丁算法生成的第一补丁的频谱密度更高。该组合器组合第一补丁、第二补丁和输入信号的第一频带，以获得带宽扩展信号。用于生成带宽扩展信号的装置根据第一补丁算法和根据第二补丁算法缩放输入信号，或缩放第一补丁及第二补丁，从而使带宽扩展信号满足频谱包络准则。
Description
技术领域
根据本发明的实施例涉及音频信号处理，且特别地涉及一种用于从输入信号生成带宽扩展信号的装置与方法、一种用于基于输入信号和音频信号提供带宽减小信号的装置与方法。
背景技术
音频信号的自适应感知编码提供了实际数据速率的减小用于有效储存与传输，在许多领域自适应感知编码已获得广泛的接受。已知许多编码算法，例如MPEG 1/2第3层(“MP3”)或MPEG 4 AAC(高级音频编码)。然而，为此使用的编码，特别是当以最低比特率操作时，可导致主观音频质量降低，而这通常主要由编码器侧引起的要被传送的音频信号带宽限制导致。
从WO 98 57436可知道：在这种情况下，音频信号在编码器侧受到频带限制，并且利用高质量音频编码器(“核心编码器”)只能对音频信号的较低频带进行编码。然而，较高频带仅被非常粗糙地表示，即由再现较高频带的频谱包络的一组参数表示。接着在解码器侧，合成较高频带。为此目的，提出了谐波变换，其中，将已解码的音频信号的较低频带提供给滤波器组。将较低频带的滤波器组通道连接到较高频带的滤波器组通道，或者将较低频带的滤波器组通道“修补”，并每个修补的带通信号接受包络调节。属于特定分析滤波器组的合成滤波器组接收较低频带中的音频信号的带通信号和经调谐地修补成较高频带的较低频带的包络调整带通信号。合成滤波器组的输出信号是相对于其原始带宽的被扩展的音频信号，由运行在非常低数据速率操作的核心编码器将该音频信号从编码器侧传送到解码器侧。特别地，滤波器组域中的滤波器组计算与修补可带来高计算的好处。
由用于带宽受限音频信号的带宽扩展的复杂性减小方法替代使用使低频信号部分(LF)成为高频范围(HF)的复制功能，以接近由频带限制产生的信息丢失。这些方法在下面进行了描述：2002年5月在慕尼黑召开的第112届AES会议(112th AES convention，Munich)发表的M.Dietz，L.Liljeryd，K.及O.Kunz的“Spectral Band Replication，a novel approach in audio coding”；2002年5月在慕尼黑召开的第112届AES会议发表的S.Mel tzer，R.
及F.Henn的“SBR enhanced audio codecs for digital broadcasting such as“Digital Radio Mondiale”(DRM)”；2002年5月在慕尼黑召开的第112届AES会议发表的T.Ziegler，A.Ehret，P.Ekstrand及M.Lutzky的“Enhancing mp3 with SBR：Features and Capabilities of the new mp3PRO Algorithm”；国际标准ISO/IEC 14496-3：2001/FPDAM 1、“Bandwidth Extension”，ISO/IEC 2002或Vasu Iyengar等人的美国专利Nr.5,455,888“Speech bandwidth extension method and apparatus”。
在这些方法中，均未执行谐波变换，但是较低频带的连续带通信号被引入到较高频带的连续滤波器组通道中。通过这种方法，实现了音频信号的较高频带的粗略近似。在另一步骤中，通过使用从原始信号获得的控制信息进行后处理，这种信号的粗略近似则与原始的相似。在这里，例如缩放因子用于调节频谱包络、反向滤波和噪声基准的增加，该噪声基准用于调节音调和丢失谐波的正弦信号部分的补充，如同样在MPEG-4高效高级音频编码(HE-AAC)标准中所描述的。
除此之外，其它方法使用用于带宽扩展的相位声码器。当将相位声码器用于频谱扩展时，频率线彼此进一步远离。若例如通过量化使频谱中存在间隙，则同样甚至通过扩展会增加间隙。在能量调节中，与原始信号中的各条线相比较，频谱中的剩余线接收过多的能量。
图13显示使用相位声码器的带宽扩展1300的示意说明。在这个例子中，两个补丁1312、1314被加入到信号的低频带1302中。该信号的上截止频率1320也被称为分频器(Xover)频率(交越频率)，是邻近补丁1312的低端频率，而Xover频率的两倍是邻近补丁1312的上截止频率和下一补丁1314的下截止频率。相位声码器使信号的低频带1302中的频率线的频率加倍，以获得邻近补丁1312，并使信号的低频带1302中的频率线的频率增至三倍，以获得下一补丁1314。因此，邻近补丁1312的频谱密度只是信号的低频带1302的频谱密度的一半，且下一补丁1314的频谱密度只是信号的低频带1302的频谱密度的三分之一。
通过使频带(补丁)中的能量只集中到少数几条频率线，导致其不同原始的音色的实质改变。以前较多频带(频率线)中的能量被总计到较少的剩余频带。
下面提出了相位声码器的一些例子及其应用：ICASSP’09的Frederik Nagel和Sascha Disch的“A Harmonic Bandwidth Extension Method for Audio Codecs”与1995的Mohonk的M.Puckette的锁相声音合成机，IEEE ASSP音频和声音的信号处理应用会议，
A.的相位声音合成机中的瞬态检测和保存；网址为citeseer.ist.psu.edu/679246.html、Laroche L.的Dolson M.的改进的相位声音合成机的音频的时标调整，IEEE Trans.语音及音频处理，第7卷，第3号，第323-332页及美国专利6549884。
在WO 00/45379中显示了一种用于填充间隙的方法。其包含一种用于使用高频重构的源编码系统增强的方法与装置。该申请旨在通过自适应噪声基准相加来解决所重建的高频带中的不足的噪声成分的问题。加入的噪声可填充间隙，但是可能不能充分地增加音频质量或主观质量。
发明内容
本发明的目的在于提供音频信号带宽扩展的概念，这增加了带宽扩展信号的主观质量。这个目的由通过根据权利要求1和11所述的装置、根据权利要求14所述的音频信号和权利要求15和16所述的方法实现。
本发明的实施例提供了一种用于从输入信号生成带宽扩展信号的装置。该输入信号的第一频带由第一分辨率数据表示，第二频带由第二分辨率数据表示，该第二分辨率低于第一分辨率。该装置包含补丁生成器及组合器。该补丁生成器被配置为根据第一补丁算法从输入信号的第一频带生成第一补丁，并被配置为根据第二补丁算法从输入信号的第一频带生成第二补丁。根据第二补丁算法生成的第二补丁的频谱密度比根据第一补丁算法生成的第一补丁的频谱密度更高。该组合器被配置为组合该第一补丁、第二补丁和输入信号的第一频带，以获得带宽扩展信号。用于生成带宽扩展信号的装置被配置为根据第一补丁算法和根据第二补丁算法缩放输入信号，或缩放第一补丁及第二补丁，以便带宽扩展信号满足频谱包络准则。
根据本发明的实施例基于这样的中心思想，该中心思想是指将具有低频谱密度的补丁(这是指，例如与输入信号的低频带相比较，该补丁包含间隙)与具有高频谱密度的补丁(这是指，例如与输入信号的低频带相比较，该补丁只包含较少或不包含间隙)组合，用于扩展输入信号的频带。由于两个补丁是基于输入信号生成，因此输入信号的低频带的高频率带宽扩展可提供原始音频信号的良好近似。此外，由于原始音频信号的频谱包络应被认为用于重建输入信号的高频带，因此第一与第二补丁可在生成之前(通过缩放输入信号)或之后被缩放，以满足频谱包络准则。以此方式，可显著地增加带宽扩展信号的主观质量或音频质量。
在根据本发明的一些实施例中，第一补丁算法是谐波补丁算法。换言之，第一补丁被生成，以便第一补丁包含为输入信号的第一频带的频率的整数倍的频率。此外，第二补丁算法可以是混合补丁算法。这意味着例如可生成第二补丁，以便第二补丁包含为输入信号的第一频带的频率的整数倍的频率，和不为输入信号的第一频带的频率的整数倍的频率。因此，第二补丁的频谱密度比第一补丁的频谱密度更高。通过组合第一补丁与第二补丁，第一补丁的丢失频率线可由第二补丁的频率线填充。以此方式，根据第一补丁算法的谐波带宽扩展中的间隙可由第二补丁填充，并且可显著提高带宽扩展信号的音频质量。
根据本发明的一些实施例涉及用于基于输入信号提供带宽减小信号的装置。该装置包含频谱包络数据确定器、补丁缩放控制数据生成器和输出接口。该频谱包络数据确定器被配置为基于输入信号的高频带确定频谱包络数据。该补丁缩放控制数据生成器被配置为生成补丁缩放控制数据，用于在解码器侧缩放带宽减小信号或者用于通过解码器缩放第一补丁及第二补丁，以便由该解码器生成的带宽扩展信号满足频谱包络准则。该频谱包络准则系基于频谱包络数据。第一补丁根据第一补丁算法从带宽减小信号的低频带生成，并且第二补丁根据第二补丁算法从带宽减小信号的低频带生成。根据第二补丁算法生成的第二补丁的频谱密度比根据第一补丁算法生成的第一补丁的频谱密度更高。输出接口被配置为组合输入信号的低频带、频谱包络数据和补丁缩放控制数据，以获得带宽减小信号。此外，输出接口被配置为提供用于传输或储存的带宽减小信号。
根据本发明的一些其它实施例涉及包含第一频带及第二频带的音频信号。第一频带由第一分辨率数据表示，第二频带由第二分辨率数据表示。第二分辨率低于第一分辨率。第二分辨率数据为基于第二频带的频谱包络数据和第二频带的补丁缩放控制数据，该补丁缩放控制数据用于在解码器侧缩放音频信号或通过解码器缩放第一补丁和第二补丁，以便由该解码器生成的带宽扩展信号满足频谱包络准则。该频谱包络准则是基于频谱包络数据。第一补丁根据第一补丁算法由音频信号的第一频带生成，并且第二补丁根据第二补丁算法由音频信号的第一频带生成。根据第二补丁算法生成的第二补丁的频谱密度比根据第一补丁算法生成的第一补丁的频谱密度更高。
附图说明
根据本发明的实施例随后将参考附图详细说明，其中：
图1是用于从输入信号生成带宽扩展信号的装置的框图；
图2a是生成的第一补丁的示意图；
图2b是生成的第一和第二补丁的示意图；
图3a是用于从输入信号生成带宽扩展信号的装置的框图；
图3b是限幅正弦输入信号的示意图；
图3c是经半波整流的正弦输入信号的示意图；
图3d是经限幅和全波整流正弦输入信号的示意图；
图4是用于从输入信号生成带宽扩展信号的装置的框图；
图5a是相位声码器的滤波器组实现的示意图；
图5b是图5a的滤波器的详细说明；
图5c是用于处理图5a的滤波器声道中的幅度信号与频率信号的示意图；
图6是相位声码器的转换实现的示意图；
图7是用于从输入信号生成带宽扩展信号的装置的框图；
图8是用于从输入信号生成带宽扩展信号的装置的框图；
图9是用于从输入信号生成带宽扩展信号的装置的框图；
图10是用于基于输入信号提供带宽减小信号的装置的框图；
图11是用于从输入信号生成带宽扩展信号的方法的流程图；
图12是用于基于输入信号提供带宽减小信号的方法的流程图；和
图13是已知的带宽扩展算法的示意图。
具体实施方式
在下文中，相同标号被部分用于具有相同或类似功能特性的物体和功能单元，并且关于附图的描述也将应用到其它附图，以减小实施例的重复描述。
图1显示了根据本发明实施例的用于从输入信号102生成带宽扩展信号122的装置100的框图。输入信号102的第一频带由第一分辨率数据表示，并且第二频带由第二分辨率数据表示，第二分辨率低于第一分辨率。该装置100包含连接到组合器120的补丁生成器110。该补丁生成器120根据第一补丁算法从输入信号102的第一频带生成第一补丁112，和根据第二补丁算法从输入信号102的第一频带生成第二补丁114。根据第二补丁算法生成的第二补丁114的频谱密度比根据第一补丁算法生成的第一补丁112的频谱密度更高。该组合器120组合第一补丁112、第二补丁114和输入信号102的第一频带，以获得带宽扩展信号122。此外，用于生成带宽扩展信号122的装置100根据第一补丁算法和根据第二补丁算法缩放输入信号102或缩放第一补丁112和第二补丁114，以便带宽扩展信号122满足频谱包络准则。
频谱密度是指例如频带中的不同频率或频率线的密度。例如，从0Hz到10kHz的频带(包含具有频率4kHz及8kHz的频率部分)比包含具有频率2kHz、4kHz、6kHz、8kHz及10kHz的频率部分的相同频带具有较低频谱密度。因为第一补丁112的频谱密度比第二补丁114的频谱密度更低，因此与第二补丁114相比较，第一补丁112包含间隙。因此，第二补丁114可用来填充这些间隙。因为两个补丁是基于输入信号102的第一频带，因此两个补丁都与对应于输入信号102的原始信号的特性有关。因此，带宽扩展信号122可以是原始信号的良好近似，且通过使用所描述的思想，可显著地提高带宽扩展信号122的主观质量或音频质量。以此方式，较多的能量可分布在其余的线之间，并例如可避免不自然的声音。
例如，第一补丁算法可以是谐波补丁算法。因此，补丁生成器110可生成第一补丁112，该第一补丁112只包含是输入信号102的第一频带中的频率的整数倍的频率。谐波带宽扩展可提供原始信号的音调结构的良好近似，但是这一补丁算法将在谐波频率之间留下间隙。这些间隙可由第二补丁填充。例如，第二补丁算法可以是混合补丁算法，这意味着补丁生成器110可生成第二补丁114，该第二补丁114包含是输入信号102的第一频带中的频率的整数倍的频率(谐波频率)和不是输入信号102的第一频带中的频率的整数倍的频率(非谐波频率)。非谐波频率可用于填充第一补丁112中的间隙。组合全部的第二补丁114(包括谐波频率)与第一补丁112也是可能的。在这个例子中，通过合适地缩放第一补丁112与/或第二补丁114，由于组合第一补丁112与第二补丁114的谐波频率部分生成的谐波频率的放大是可以考虑的。
第一补丁112和第二补丁114包含至少部分相同的频率范围。例如，第一补丁112包含从4kHz到8kHz的频带，并且第二补丁114包含从6kHz到10kHz的频带。在根据本发明的一些实施例中，第一补丁的下截止频率等于第二补丁的下截止频率，且第一补丁112的上截止频率等于第二补丁114的上截止频率。例如，两个补丁都包含从4kHz到8kHz的频带。
图2a和图2b显示根据第一补丁算法212的第一补丁112和根据第二补丁算法214的第二补丁114的例子。为了更好的显示，图2a只显示了第一补丁112，和图2b显示了第一补丁112和相应的第二补丁114。图2a显示了输入信号102的第一频带202和根据第一补丁算法212生成的两个第一补丁112的例子200。在这个例子中，补丁包含与输入信号102的第一频带202相同的带宽。带宽也可以是不同的。输入信号102的第一频带202的上截止频率220由“Xover”频率(交越频率)表示。在图2a中所示的例子中，补丁在等于交越频率Xover 220的多倍的频率处开始。第一补丁112中的频率线是输入信号102的第一频带202中的频率线的整数倍，并且可例如由相位声码器生成。与输入信号102的第一频带202相比较，这些第一补丁112包含关于丢失频率线的间隙。
图2b另外显示了两个相对应第二补丁114的例子250。这些补丁根据第二补丁算法214生成，且包含谐波及非谐波频率。非谐波频率线可用来填充第一补丁112中的间隙。第二补丁114中的频率线可例如由非线性失真生成。
以此方式，间隙可不能被任意地填充，例如用噪声填充所述间隙。基于输入信号的第一频带中的第一分辨率数据，并且因此基于原始信号来填充间隙。
例如，该输入信号102的第一频带可代表以高分辨率编码的原始音频信号的低频带。例如，输入信号102的第二频带可代表原始音频信号的高频带，并且可由如同例如频谱包络数据、噪声数据与/或具有低分辨率的丢失谐波数据的一个或多个参数来对其进行量化。原始音频信号可以是例如音频信号，该音频信号在处理或编码之前由麦克风记录。
根据第一补丁算法和根据第二补丁算法缩放输入信号是指：例如将输入信号在第一补丁被生成之前根据第一补丁算法缩放一次，然后基于所缩放的输入信号生成该第一补丁，并且将输入信号在第二补丁被生成之前根据第二补丁算法缩放一次，然后基于该所缩放的输入信号生成该第二补丁，以便在将第一补丁、第二补丁与输入信号的第一频带组合之后，带宽扩展信号满足频谱包络准则。可选择地，第一补丁与第二补丁在其生成以后被缩放，以便带宽扩展信号也满足频谱包络准则。同样地与第一补丁和第二补丁的缩放相结合，根据第一补丁算法和根据第二补丁算法缩放输入信号是可能的。
组合器120可以例如是加法器，且带宽扩展信号122可以是第一补丁112、第二补丁114与输入信号102的第一频带的加权和。
满足频谱包络准则意味着例如带宽扩展信号的频谱包络是基于输入信号所包含的频谱包络数据。可由编码器生成频谱包络数据且频谱包络数据可代表原始信号的第二频带。以此方式，带宽扩展信号的频谱包络可以是原始信号的频谱包络的良好近似。
装置100还可包含用于解码输入信号102的第一频带的核心解码器。
补丁生成器110与组合器120可以是例如专门设计的硬件或处理器或微控制器的一部分，或可以是被配置为在计算机或微控制器上执行的计算机程序。装置100可以是解码器或音频解码器的一部分。
图3a显示根据本发明的实施例的用于从输入信号102生成带宽扩展信号122的装置300的框图。在这个例子中，补丁生成器110包含用于生成第一补丁的相位声码器310和用于生成第二补丁114的限幅器320。相位声码器310与限幅器320连接到组合器120。相位声码器310可扩展输入音频信号102的第一频带，以生成包含谐波频率的第一补丁112。在非线性处理步骤中，限幅器320可限幅输入信号102，以生成包含谐波与非谐波频率的第二补丁114。作为限幅器320的替代，还可以使用半波整流器、全波整流器、混频器或在特性曲线的二次区域中的二极管由非线性处理步骤生成基于输入信号102的非谐波频率。
图3b、图3c及图3d显示了用以生成非谐波频率的限幅和/或整流输入信号102的实例。图3b显示了限幅正弦输入信号102的示意图350。通过限制信号的幅度，导致采用信号斜率的突变形式的不连续点380，并生成具有较高频率的谐波与非谐波部分。
可选地，图3c显示也生成不连续点380的经半波整流的正弦输入信号102的示意图360。
此外，限幅与整流的组合是可能的。图3d显示了生成不同不连续点380的经限幅及全波整流正弦输入信号102的示意说明370。
通过限幅与/或整流或应用生成不连续点380的非线性处理的其它方法，可生成具有不同频率的宽带谱。因此，根据这种补丁算法生成的补丁可包含高频谱密度。
图4显示了根据本发明的实施例的用于从输入信号102生成带宽扩展信号122的装置400的框图。该装置400类似于图3a所示的装置，但是额外地包含频谱线选择器410。将该相位声码器310与限幅器320连接到频谱线选择器410，并且间将该频谱线选择器410连接到组合器120。该频谱线选择器410可选择第二补丁114中的多个频率线，以获得可与第一补丁互补的经修改的第二补丁414。如果第一补丁112中的相对应频率线丢失，则可以选择第二补丁114中的频率线。换言之，频谱线选择器410选择第二补丁114中的频率线，用于填充第一补丁112中的间隙，且可忽视已由第一补丁112包含的第二补丁114中的频率。以此方式，经修改的第二补丁414可在已由第一补丁112包含的频率处包含间隙。
在这个例子中，组合器120包含第一补丁112、经修改的第二补丁414和输入信号102的第一频带。
频谱线选择器410可以是例如补丁生成器110的一部分(如在图4中所示)或独立单元。
在下文中，参考图5和图6，根据本发明显示了相位声码器310的可能实现方式。图5a显示了相位声码器的滤波器组实现方式，其中，音频信号被馈送给输入端500并在输出端510获得。特别地，在图5a中所示的示例滤波器组的每一通道包括带通滤波器501和下游振荡器502。来自每个通道的所有振荡器的输出信号通过组合器来组合，该组合器例如实现为加法器，并在503指示，以获得输出信号。每个滤波器501被实施，以便一方面提供幅度信号，另一方面提供频率信号。该幅度信号与频率信号是说明滤波器501中的幅度随着时间发展的时间信号，而频率信号代表由滤波器501中滤波的信号频率的发展。在第5b图中显示了滤波器501的示意设置。图5a中的每个滤波器501可如图5b所示设置，然而，其中只有提供给两个输入混频器551和加法器552的频率fi在声道之间不同。混频器551的混频器输出信号都由低通滤波器553进行低通滤波，其中：低通信号是不同的，因为它们由失相90°的本地振荡器频率(L0频率)生成。较高的低通滤波器553提供了正交信号554，而较低的滤波器553提供同相的信号555。这两个信号(即Q及I)被提供给从直角表示生成幅度相位表示的坐标转换器556。随时间的逝去分别在输出端557输出图5a的幅度信号或幅度信号。将相位信号提供给相位解开器(unwrapper)558。在元件558的输出处，不再存在通常在0与360°之间的相位值，而存在线性增加的相位值。将这种“解开的”相位值提供给相位/频率转换器559，该相位/频率转换器559可实现为例如简单的相位差计算器，该相位差计算器从在目前时间点的相位减去先前时间点的相位，以获得目前时间点的频率值，或该相位/频率转换器559可实现为用于获得相位变异量的近似的任何其它装置。这个频率值被加到滤波器通道i中的恒定频率值fi，以在输出端560处获得时变频率。在输出端560处的频率值具有直流分量＝fi及交流分量＝滤波器声道中的信号的目前频率偏移平均频率fi的频率偏移。
因此，如在图5a和图5b所示，相位声码器实现频谱信息与时间信息的分离。频谱信息包含在特定声道或频率fi中，其提供用于每个声道的频率的直流部分，而时间信息分别包含在随着时间流逝的在频率偏移或幅度变化。
图5c显示根据本发明的处理，该处理被执行用于生成第一补丁，特别地使用相位声码器310来生成第一补丁，且较详细地将第一补丁插入在第5a图中所示电路的虚线位置。
对于时间缩放，例如每个声道中的幅度信号A(t)或每个声道中的信号f(t)的频率可被降频或内插。为了转换的目的，因为其对本发明有用，执行内插(即信号A(t)与f(t)的时间延伸或扩展)，以获得扩展信号A′(t)及f′(t)，其中该内插受扩展因子598控制。例如，可选择扩展因子，以便相位声码器生成谐波频率。通过相位变化的内插，即由加法器552加入恒定频率之前的值，第5a图中的每个振荡器502的频率没有被改变。然而，将总的音频信号的时间改变减慢，即通过因子2。结果是具有原始补丁的时间扩展音调，即具有其谐波的原始基本波。
通过执行在图5c所示的信号处理，可将音频信号缩小回到其原始期间，例如通过以因子2的降频，而所有频率同时被加倍。这导致因子2音调转置，然而，其中获得音频信号，该音频信号与原始音频信号具有相同的长度(即相同的样本数目)。
作为在图5a中所示滤波器组实施的替换，相位声码器的转换实现也可如在图6所描述那样使用。在这里，音频信号698被馈给FFT处理器，或更普遍地，将其作为时间样本序列反馈给短时傅利叶转换(STFT)处理器600。FFT处理器600被实施以执行音频信号的时间窗口，用以然后通过后续的FFT计算幅度频谱和相位频谱，其中，为连续频谱执行这种计算，这涉及强烈重迭的音频信号块。
在极端情况下，针对每个新音频信号样本，可计算新频谱，其中，也可只针对每个第二十个新样本计算新频谱。优选地由控制器602给出在两个频谱之间的样本的距离‘a’。控制器602还被执行以馈给IFFT处理器604，该IFFT处理器604被实施以在重迭-相加操作中操作。特别地，执行IFFT处理器604，以便通过基于幅度频谱与相位频谱对每个频谱执行一次IFFT，它执行逆向短时傅立叶转换以获得生成的时间信号。重迭相加操作被配置以消除由分析窗口引起的阻塞效应。
通过两个频谱之间的距离‘b’实现时间信号的时间扩展，如它们由IFFT处理器604处理，其比用于FFT频谱生成的频谱之间的距离‘a’更大。基本思想是通过比分析FFT间隔更远的逆FFT采样来扩展音频信号。因此，所合成音频信号中的频谱改变较原始音频信号中的较缓慢地发生。
然而，若在方框606中没有相位重新缩放，这将导致频率假象(artifact)。例如当考虑其中45°的连续相位值被实施的一个单频率窗口时，这意味着这个滤波器频带中的信号的相位以1/8周期的速率增加，即每个时间区间45°，其中该时间间隙是连续FFT之间的时间间隔。如果现在该逆FFT彼此间隔得更远，这意味着在更长时间间隔出现45°相位增加。这意味着：这个信号部分的频率被无意修改。为了消除这种假象，相位由完全相同的因子重新缩放，其中音频信号通过该因子在时间上被扩展。每个FFT频谱值的相位因此被增加因子b/a倍，以便消除无意频率修改。
尽管在图5c中所示的实施例中，对于在图5a的滤波器组实现的一个信号振荡器而言，实现了通过振幅/频率控制信号的内插扩展，但是通过大于两个FFT频谱之间距离的两个IFFT频谱之间的距离(即‘b’大于‘a’)来实现图6中的扩展，然而，其中为了预防假象，根据比例‘b/a’执行相位重新缩放。例如距离‘b’可被选择，以便相位声码器生成谐波频率。
图7显示了根据本发明实施例的用于从输入信号102生成带宽扩展信号122的装置700的框图。装置700类似于在图1中所示的装置，但是包含功率控制器710、第一功率调整装置720和第二功率调整装置730。将该功率控制器710连接到第一功率调整装置720和第二功率调整装置730。将第一功率调整装置720和第二功率调整装置730连接到补丁生成器110。该功率控制器710可基于输入信号所包含的频谱包络数据并基于输入信号所包含的补丁缩放，控制根据第一与第二补丁算法的输入信号的缩放。可选地，代替输入信号中包含的补丁缩放控制数据，可使用至少一个所储存的补丁缩放控制参数。补丁缩放控制参数可被补丁缩放控制参数存储器储存，该补丁缩放控制参数存储器可以是功率控制器710的一部分或一个独立单元。第一功率调整装置720可根据第一补丁算法缩放输入信号102，而第二功率调整装置730可根据第二补丁算法缩放输入信号102。换言之，可预处理输入信号102，以便可生成第一与第二补丁，以便带宽扩展信号满足频谱包络准则。为此，频谱包络数据可定义带宽扩展信号122的频谱包络，且补丁缩放控制数据或补丁缩放控制参数可设定第一补丁112与第二补丁114之间的比例，或可设定第一补丁112和/或第二补丁114的绝对值。如图7所示，第一功率调整装置720与第二功率调整装置730可以是功率控制器710的一部分或者一个独立单元。亦如在第7图中所示，功率控制器710可以是补丁生成器110的一部分或者一个独立单元。功率调整装置720、730可以是例如受功率控制器710控制的放大器或滤波器。
可选地，在补丁生成以后完成缩放。合适地，图8显示了根据本发明的实施例的用于从输入信号102生成带宽扩展信号122的装置800的框图。该装置800类似于在图7中所示的装置，但是功率调整装置720、730被布置在补丁生成器110与组合器120之间。在这个例子中，将补丁生成器110连接到第一功率调整装置720，并且连接到第二功率调整装置730。将第一功率调整装置720与第二功率调整装置730连接到组合器120。以此方式，可根据第一补丁算法由第一功率调整装置720来缩放第一补丁112，而可根据第二补丁算法由第二功率调整装置730来缩放第二补丁114。功率控制器710基于如前所述的频谱包络数据和补丁缩放控制数据或补丁缩放控制参数，再次控制该功率调整装置。
可选地，同样地只缩放或功率调整两个补丁中的一个，接着在组合所组合补丁与输入信号102的第一频带之前通过组合器120组合补丁和缩放所组合补丁是可能的。换言之，第一个补丁可被缩放，以在两个补丁之间实现预定义比率(例如基于补丁缩放控制数据)，然后将所组合补丁缩放(例如基于频谱包络数据)，以满足频谱包络准则。
补丁缩放控制数据可包含例如用于功率分布缩放的简单因子或多个参数。补丁缩放控制数据可指示例如在全部第二频带或全部高频带上的第一补丁与第二补丁之间的功率比率，或在全部第二频带或全部高频带上的第一补丁和/或第二补丁的功率的绝对值，并且可由至少一个参数表示。可选地，针对共同构成第二频带或高频带的多个子频带中的每一子频带，补丁缩放数据包含因子，例如类似于频谱带宽复制应用中的每个子频带的频谱包络数据。可选地，补丁缩放数据也可指示滤波器的转换函数。例如，用于缩放第一补丁的滤波器的转换函数中的参数和/或用于缩放第二补丁的滤波器的转换函数中的参数可包含在输入信号中。以此方式，该参数可代表频率函数。另一可选方案可以是代表第一补丁和第二补丁的微分函数的补丁缩放控制参数。根据这个实施例，输入信号的缩放或第一补丁与第二补丁的缩放可基于包含至少一个参数的补丁缩放控制数据。
图9显示了根据本发明实施例的用于从输入信号102生成带宽扩展信号122的装置900的框图。该装置900类似于在第8图中所示的装置，但是另外地包含噪声加法器910、丢失谐波加法器920、噪声功率调整装置940和丢失谐波功率调整装置950。将噪声加法器910连接到噪声功率调整装置940，将噪声功率调整装置940连接到组合器120。将丢失谐波加法器920连接到丢失谐波功率调整装置950，将丢失谐波功率调整装置950连接到组合器120。此外，将功率控制器710连接到噪声功率调整装置940和丢失谐波功率调整装置950。噪声加法器910可基于输入信号102所包含的噪声数据生成噪声补丁912。
噪声补丁912可通过噪声功率调整装置940来缩放。功率控制器710可基于输入信号102所包含的频谱包络数据和/或噪声缩放数据控制噪声功率调整装置940。以此方式，可近似原始信号的噪声，以提高带宽扩展信号的音频质量。
丢失谐波加法器920可基于输入信号所包含的丢失谐波数据生成丢失谐波补丁922。该丢失谐波补丁922可包含谐波频率，该谐波频率可只在原始信号的高频带中发生，因此如果只是关于输入信号102的第一频带的原始信号的低频带的信息是可用的，则不能被再现。丢失谐波数据可提供有关这些丢失谐波的信息。可通过丢失谐波功率调整装置950来缩放丢失谐波补丁922。功率控制器710可基于频谱包络数据或基于输入信号102所包含的丢失谐波缩放数据，控制丢失谐波功率调整装置950。
组合器120可组合第一补丁112、第二补丁114、输入信号102的第一频带、噪声补丁912和丢失谐波补丁922，以获得带宽扩展信号122。功率控制器710与功率调整装置组合，可基于频谱包络数据缩放第一补丁112、第二补丁114、噪声补丁912和丢失谐波补丁922，以便满足频谱包络准则。
图10显示根据本发明的实施例的用于基于输入信号1002提供带宽减小信号1032的装置1000的框图。该装置1000包含频谱包络数据确定器1010、补丁缩放控制数据生成器1020和输出接口1030。将频谱包络数据确定器1010和补丁缩放控制数据生成器1020连接到输出接口1030。频谱包络数据确定器1010可基于输入信号1002的高频带确定频谱包络数据1012。补丁缩放控制数据生成器1020可生成补丁缩放控制数据1022，该补丁缩放控制数据1022用于在解码器侧缩放带宽减小信号1032或用于通过解码器缩放第一补丁和第二补丁，以便由该解码器生成的带宽扩展信号满足频谱包络准则。该频谱包络准则基于频谱包络数据。根据第一补丁算法从带宽减小信号1032的第一频带生成第一补丁，而根据第二补丁算法从带宽减小信号1032的第一频带生成第二补丁。与根据第一补丁算法生成的第一补丁的频谱密度相比，根据第二补丁算法生成的第二补丁的频谱密度更高。输出接口1030组合输入信号1002的低频带、频谱包络数据1012和补丁缩放控制数据1022，以获得带宽减小信号1032。此外，输出接口1030提供带宽减小信号1032，用于传输或储存。
装置1000也可包含用于编码输入信号的低频带的核心编码器。核心编码器可以是例如微分编码器、熵编码器或感知音频编码器。
装置1000可以是被配置为为上述解码器提供信号的编码器的一部分。补丁缩放控制数据1022可包含例如用于功率分布缩放的简单因子或多个参数。补丁缩放控制数据可指示例如在全部高频带上的第一补丁与第二补丁之间的功率比，或在全部高频带上的第一补丁和/或第二补丁的功率的绝对值，并且可由至少一个参数表示。可选地，补丁缩放数据包含针对一起构成该高频带的多个子频带中的每个子频带所确定的因子，例如类似于频谱带宽复制应用中的每个子频带的频谱包络数据。可选地，补丁缩放数据也可指示滤波器的转换函数。例如，可确定用于缩放第一补丁的滤波器的转换函数中的参数和/或用于缩放第二补丁的滤波器的转换函数中的参数，用于生成补丁缩放控制数据。以此方式，可基于频率函数生成该参数。另一备选方案可以是生成代表第一补丁与第二补丁的微分函数的补丁缩放控制参数。
可通过分析输入信号1002和基于对输入信号1002的分析选择储存在补丁缩放控制参数内存中的补丁缩放控制参数来生成补丁缩放控制数据1022，以获得补丁缩放控制数据1022。
可选地，通过分析合成方法可实现补丁缩放控制数据1022的生成。为此，补丁缩放控制数据生成器1020可额外地包含补丁生成器(如针对解码器的描述)和比较器。该补丁生成器可根据第一补丁算法从输入信号1002的低频带生成第一补丁，并且根据第二补丁算法从输入信号1002的低频带生成第二补丁。根据第二补丁算法生成的第二补丁的频谱密度比根据第一补丁算法生成的第一补丁的频谱密度更高。该比较器可比较第一补丁、第二补丁和输入信号的高频带，以获得补丁缩放控制数据1022。换言之，前述概念也被应用到装置1000。以此方式，装置1000可通过比较补丁或组合补丁与输入信号来提取补丁缩放控制数据1022，其中该输入信号可以是例如原始音频信号。此外，装置1000也可包含如前所述的频谱线选择器、功率控制器、噪声加法器和/或丢失谐波加法器。以此方式，噪声数据、噪声补丁缩放控制数据、丢失谐波数据与/或丢失谐波补丁缩放控制数据也可通过分析合成方法来提取。
根据本发明的一些实施例与包含第一频带和第二频带的音频信号有关。第一频带由第一分辨率数据表示，并且第二频带由第二分辨率数据表示，其中第二分辨率低于第一分辨率。第二分辨率数据基于第二频带的频谱包络数据和第二频带的补丁缩放控制数据，该补丁缩放控制数据用于在解码器端缩放音频信号或用于通过解码器缩放第一补丁和第二补丁，以便通过该解码器生成的带宽扩展信号满足频谱包络准则。该频谱包络准则基于频谱包络数据。根据第一补丁算法从音频信号的第一频带生成第一补丁，和根据第二补丁算法从音频信号的第一频带生成第二补丁。根据第二补丁算法生成的第二补丁的频谱密度比根据第一补丁算法生成的第一补丁的频谱密度更高。
音频信号例如可以是基于原始音频信号的带宽减小信号。音频信号的第一频带可表示在高分辨率下编码的原始音频信号的低频带。音频信号的第二频带可表示原始音频信号的高频带，且可通过至少两个参数来量化：由频谱包络数据表示的频谱包络参数和由补丁缩放控制数据表示的补丁缩放控制参数。基于这种音频信号，根据上述概念的解码器可生成带宽扩展信号，该带宽扩展信号提供原始音频信号的良好近似且与已知概念相比较具有改进的音频质量。
图11显示根据本发明的实施例的用于从输入信号生成带宽扩展信号的方法1100的流程图。该输入信号的第一频带由第一分辨率数据表示，并且第二频带由第二分辨率数据表示，该第二分辨率低于该第一分辨率。该方法1100包含以下步骤：生成1110第一补丁、生成1120第二补丁、缩放1130输入信号或缩放1130第一补丁及第二补丁，和组合1140第一补丁、第二补丁与输入信号的第一频带，以获得带宽扩展信号。根据第一补丁算法从输入信号的第一频带生成1110第一补丁，并且根据第二补丁算法从输入信号的第一频带生成1120第二补丁。根据第二补丁算法生成1120的第二补丁的频谱密度比根据第一补丁算法生成1110的第一补丁的频谱密度更高。可根据第一补丁算法和根据第二补丁算法来缩放1130输入信号，或可缩放1130第一补丁及第二补丁，以便带宽扩展信号满足频谱包络准则。
此外，方法1100可通过根据上述概念的步骤来扩展。例如，方法1100可实现为用于在计算机或微控制器上执行的计算机程序。
图12显示根据本发明的实施例的用于基于输入信号提供带宽减小信号的方法1200的流程图。该方法1200包含以下步骤：基于输入信号的高频带确定1210频谱包络数据、生成1220补丁缩放控制数据、组合1230输入信号的低频带、频谱包络数据与补丁缩放控制数据，以获得带宽减小信号，并提供1240带宽减小信号用于传输或储存。生成1220补丁缩放控制数据，其用于在解码器侧缩放带宽减小信号或用于通过解码器缩放第一补丁及第二补丁，以便通过该解码器生成的带宽扩展信号满足频谱包络准则。该频谱包络准则基于该频谱包络数据。根据第一补丁算法从带宽减小信号的低频带生成第一补丁，及根据第二补丁算法从带宽减小信号的低频带生成第二补丁。根据第二补丁算法生成的第二补丁的频谱密度比根据第一补丁算法生成的第一补丁的频谱密度更高。
此外，方法1200可通过根据上述概念的步骤来扩展。方法1200可例如被实现为用于在计算机或微控制器上执行的计算机程序。
根据本发明的一些实施例涉及装置，该装置用于使用用于带宽扩展的相位声码器与用于更密集的频谱的非线性失真或噪声填充相组合来生成带宽扩展信号。当应用带宽扩展的相位声码器时，频率线彼此更加远离。若例如通过量化使频谱中存在间隙，则通过扩展均匀增加间隙。在能量调节中，频谱中的剩余线接收太多的能量。这通过用噪声或另外的谐波填充间隙来避免，该噪声或另外的谐波可能由信号的非线性失真获得。这样，可将更多的能量分布在剩余线之间。由于使频带中的能量只集中到少数几条频率线，可生成非自然或金属般的声音。以前较多频带中的能量被加到剩余的频带。
如果频谱中不存在间隙，但是至少存在噪声，则一部分能量保持在噪声基准中。通过应用非线性失真，一方面利用失真所生成的噪声可再次增加频谱密度，另一方面利用由合适选择将失真的信号部分所引入的另外的谐波部分可再次增加频谱密度，。
带宽扩展信号则可以是例如经滤波的失真信号与在相位声码器帮助下生成的信号的加权和。换言之，带宽扩展信号可以是第一补丁、第二补丁与输入信号的第一频带的加权和。
根据本发明的一些实施例涉及适用于不利用全频段的所有音频应用的概念。例如，对于使用数字无线电服务、因特网流或其它音频通信应用的音频内容的广播而言，可以使用所描述的概念。
虽然本发明已依据一些实施例进行了描述，但是存在落入本发明范围内的改变、变更和等效物。也应注意的是：存在实施本发明的方法与组成的许多备选方法。因此，期望的是：下述所附权利要求被理解为包括落入本发明的精神与范围内的所有这些改变、变更和等效物。
特别地，应指出的是：依据情况，本发明方案也可采用软件实现。实施可以是在数字储存媒体上，特别地是具有电子可读控制信号的软式磁盘或CD，其中该电子可读控制信号可与可编程的计算机系统协同工作，从而执行相应的方法。一般而言，本发明因此也存在于计算机程序产品中，该计算机程序产品具有储存在机器可读载体上的程序代码，当该计算机程序产品在计算机上执行时，该程序代码用于执行本发明方法。换言之，本发明因此也可被实现为具有程序代码的计算机程序，当该计算机程序产品在计算机上被执行时，该程序代码用于执行本方法。
Claims (17)
1.一种用于从输入信号(102)生成带宽扩展信号(122)的装置(100；300；400；700；800；900)，其中，所述输入信号的第一频带由第一分辨率数据表示，且所述输入信号的第二频带由第二分辨率数据表示，所述第二分辨率低于所述第一分辨率，所述装置包括：
补丁生成器(110)，所述补丁生成器(110)被配置为根据第一补丁算法从所述输入信号(102)的所述第一频带生成第一补丁(112)，并被配置为根据第二补丁算法从所述输入信号(102)的所述第一频带生成第二补丁(114)，其中，根据所述第二补丁算法生成的所述第二补丁(114)的频谱密度比根据所述第一补丁算法生成的所述第一补丁(112)的频谱密度高；和
组合器(120)，所述组合器(120)被配置为组合所述第一补丁(112)、所述第二补丁(114)和所述输入信号(102)的所述第一频带，以获得所述带宽扩展信号(122)，其中，用于生成带宽扩展信号的所述装置被配置为根据所述第一补丁算法且根据所述第二补丁算法缩放所述输入信号(102)，或缩放所述第一补丁(112)和所述第二补丁(114)，以便所述带宽扩展信号满足(122)频谱包络准则。
2.根据权利要求1所述的装置，其中，所述第一补丁算法为谐波补丁算法，并且所述补丁生成器(110)被配置为生成所述第一补丁(112)，以便只有所述输入信号(102)的所述第一频带的频率的整数倍的频率由所述第一补丁(112)包含。
3.根据权利要求1或2所述的装置，其中，所述第二补丁算法为混合补丁算法，并且所述补丁生成器(110)被配置为生成所述第二补丁(114)，以便所述第二补丁(114)包含所述输入信号(102)的所述第一频带的频率的整数倍的频率，并且包含不是所述输入信号(102)的所述第一频带的频率的整数倍的频率。
4.根据权利要求1至3任一项所述的装置，其中，所述第一补丁(112)的下截止频率等于所述第二补丁(114)的下截止频率，并且其中所述第一补丁(112)的上截止频率等于所述第二补丁(114)的上截止频率。
5.根据权利要求1至4任一项所述的装置，包括相位声码器(310)，所述相位声码器(310)被配置为根据所述第一补丁算法生成所述第一补丁(112)。
6.根据权利要求1至5任一项所述的装置，包括限幅器(320)，所述限幅器(320)被配置为根据所述第二补丁算法通过限幅所述输入信号(102)的所述第一频带生成所述第二补丁(114)。
7.根据权利要求1至6任一项所述的装置，包括频谱线选择器(410)，所述频谱线选择器(410)被配置为选择所述第二补丁(114)的多个频率线，以获得经修改的第二补丁(414)，其中如果所述第一补丁(112)的对应频率线丢失，则选择频率线，其中所述组合器(120)被配置为组合所述第一补丁(112)、所述经修改的第二补丁(414)和所述输入信号(102)的所述第一频带。
8.根据权利要求1至7任一项所述的装置，包括功率控制器(710)，所述功率控制器(710)被配置为根据所述第一和第二补丁算法控制所述输入信号(102)的所述缩放，或被配置为控制所述第一补丁(112)和所述第二补丁(114)的所述缩放，其中，所述功率控制器(710)基于所述输入信号(102)所包含的频谱包络数据和基于至少一个所储存的补丁缩放控制参数或所述输入信号(102)所包含的补丁缩放控制数据来控制所述缩放。
9.根据权利要求8所述的装置，包括第一功率调整装置(720)，所述第一功率调整装置(720)被配置为根据所述第一补丁算法缩放所述输入信号(102)，或被配置为缩放所述第一补丁(112)，还包括第二功率调整装置(730)，所述第二功率调整装置(730)被配置为根据所述第二补丁算法缩放所述输入信号(102)，或被配置为缩放所述第二补丁(114)，其中所述功率控制器(710)被配置为控制所述第一功率调整装置(720)和所述第二功率调整装置(730)。
10.根据权利要求8或9所述的装置，包括噪声加法器(910)和丢失谐波加法器(920)，其中所述噪声加法器(910)被配置为基于所述输入信号所包含的噪声数据生成噪声补丁(912)，其中所述丢失谐波加法器(920)被配置为基于所述输入信号(102)所包含的丢失谐波数据生成丢失谐波补丁(922)，其中所述功率控制器(710)被配置为基于所述频谱包络数据控制所述噪声补丁(912)和所述丢失谐波补丁(922)的缩放，且其中所述组合器(120)被配置为组合所述第一补丁(112)、所述第二补丁(114)、所述输入信号(102)的所述第一频带、所述噪声补丁(912)和所述丢失谐波补丁(922)，以获得所述带宽扩展信号(122)，其中所述功率控制器(710)基于所述频谱包络数据控制所述第一补丁(112)、所述第二补丁(114)、所述噪声补丁(912)及所述丢失谐波补丁(922)的所述缩放，以便所述频谱包络准则得到满足。
11.一种用于基于输入信号(1002)提供带宽减小信号(1032)的装置(1000)，包括：
频谱包络数据确定器(1010)，所述频谱包络数据确定器(1010)被配置为基于所述输入信号(1002)的高频带确定频谱包络数据(1012)；
补丁缩放控制数据生成器(1020)，所述补丁缩放控制数据生成器(1020)被配置为生成补丁缩放控制数据(1022)，所述补丁缩放控制数据(1022)用于在解码器侧缩放所述带宽减小信号(1032)或用于通过所述解码器缩放第一补丁和第二补丁，以便由所述解码器生成的带宽扩展信号满足频谱包络准则，其中所述频谱包络准则基于所述频谱包络数据(1012)，其中所述第一补丁根据第一补丁算法从所述带宽减小信号(1032)的第一频带生成，并且所述第二补丁根据第二补丁算法从所述带宽减小信号(1032)的所述第一频带生成，其中根据所述第二补丁算法生成的所述第二补丁的频谱密度比根据所述第一补丁算法生成的所述第一补丁的频谱密度更高；
输出接口(1030)，所述输出接口(1030)被配置为组合所述输入信号(1002)的低频带、所述频谱包络数据(1012)与所述补丁缩放控制数据(1022)，以获得所述带宽减小信号(1032)，并且所述输出接口(1030)被配置为提供用于传输或储存的所述带宽减小信号(1032)。
12.根据权利要求11所述的装置，其中所述补丁缩放控制数据生成器包括：
所述补丁生成器，所述补丁生成器被配置为根据第一补丁算法从所述输入信号(1002)的所述低频带生成第一补丁，且被配置为根据第二补丁算法从所述输入信号(1002)的所述低频带生成第二补丁，其中根据所述第二补丁算法生成的所述第二补丁的频谱密度比根据所述第一补丁算法生成的所述第一补丁的所述频谱密度更高；和
比较器，所述比较器被配置为比较所述第一补丁、所述第二补丁与所述输入信号(1002)的所述高频带，以获得所述补丁缩放控制数据(1022)。
13.根据权利要求11所述的装置，包括补丁缩放控制参数存储器，所述补丁缩放控制参数存储器被配置为储存和提供多个补丁缩放控制参数，其中所述补丁缩放控制数据生成器(1020)被配置为分析所述输入信号(1002)且被配置为基于以对所述输入信号(1002)的所述分析为基础选择的所储存的补丁缩放控制参数生成所述补丁缩放控制数据(1022)。
14.一种音频信号，包括：
由第一分辨率数据表示的第一频带；和
由第二分辨率数据表示的第二频带，其中所述第二分辨率低于所述第一分辨率，其中所述第二分辨率数据基于所述第二频带的频谱包络数据，并且基于所述第二频带的补丁缩放控制数据，所述补丁缩放控制数据用于在解码器侧缩放所述音频信号或用于通过所述解码器缩放第一补丁和第二补丁，以便由所述解码器所生成的带宽扩展信号满足频谱包络准则，其中所述频谱包络准则基于所述频谱包络数据，其中所述第一补丁根据第一补丁算法从所述音频信号的所述第一频带生成，且所述第二补丁根据第二补丁算法从所述音频信号的所述第一频带生成，其中根据所述第二补丁算法生成的所述第二补丁的频谱密度比根据所述第一补丁算法生成的所述第一补丁的频谱密度更高。
15.一种用于从输入信号生成带宽扩展信号的方法(1100)，其中所述输入信号的第一频带由第一分辨率数据表示，及第二频带由第二分辨率数据表示，所述第二分辨率低于所述第一分辨率，所述方法包括：
根据第一补丁算法从所述输入信号的所述第一频带生成(1110)第一补丁；
根据第二补丁算法从所述输入信号的所述第一频带生成(1120)第二补丁，其中根据所述第二补丁算法生成的所述第二补丁的频谱密度比根据所述第一补丁算法生成的所述第一补丁的频谱密度更高；
根据所述第一补丁算法及根据所述第二补丁算法缩放(1130)所述输入信号，或缩放(1130)所述第一补丁及所述第二补丁，以便所述带宽扩展信号满足所述频谱包络准则；和
组合(1140)所述第一补丁、所述第二补丁与所述输入信号的所述第一频带，以获得所述带宽扩展信号。
16.一种用于基于输入信号提供带宽减小信号的方法(1200)，包括：
基于所述输入信号的高频带确定(1210)频谱包络数据；
生成(1220)补丁缩放控制数据，所述补丁缩放控制数据用于在解码器侧缩放所述带宽减小信号或用于通过所述解码器缩放第一补丁及第二补丁，以便由所述解码器所生成的带宽扩展信号满足频谱包络准则，其中所述频谱包络准则基于所述频谱包络数据，其中所述第一补丁根据第一补丁算法从所述带宽减小信号的第一频带生成，和第二补丁根据第二补丁算法从所述带宽减小信号的所述第一频带生成，其中根据所述第二补丁算法生成的所述第二补丁的频谱密度较根据所述第一补丁算法生成的所述第一补丁的频谱密度更高；
组合(1230)所述输入信号的低频带、所述频谱包络数据与所述补丁缩放控制数据，以获得所述带宽减小信号；和
提供(1240)所述带宽减小信号用于传输或储存。
17.一种具有程序代码的计算机程序，当所述计算机程序在计算机或微控制器上执行时，所述程序代码用于执行根据权利要求15或16所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US7984908P | 2008-07-11 | 2008-07-11 | |
| US61/079,849 | 2008-07-11 | ||
| PCT/EP2009/004603 WO2010003557A1 (en) | 2008-07-11 | 2009-06-25 | Apparatus and method for generating a bandwidth extended signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102105931A true CN102105931A (zh) | 2011-06-22 |
| CN102105931B CN102105931B (zh) | 2013-04-10 |
Family
ID=41162740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801270931A Active CN102105931B (zh) | 2008-07-11 | 2009-06-25 | 用于生成带宽扩展信号的装置与方法 |
Country Status (18)
| Country | Link |
|---|---|
| EP (1) | EP2291842B1 (zh) |
| JP (1) | JP5255699B2 (zh) |
| KR (1) | KR101239812B1 (zh) |
| CN (1) | CN102105931B (zh) |
| AR (1) | AR072483A1 (zh) |
| AU (1) | AU2009267460B2 (zh) |
| BR (2) | BR122017003818B1 (zh) |
| CA (1) | CA2729474C (zh) |
| CO (1) | CO6541514A2 (zh) |
| ES (1) | ES2461141T3 (zh) |
| HK (1) | HK1154112A1 (zh) |
| MX (1) | MX2011000365A (zh) |
| MY (1) | MY163454A (zh) |
| PL (1) | PL2291842T3 (zh) |
| RU (1) | RU2512090C2 (zh) |
| TW (1) | TWI415116B (zh) |
| WO (1) | WO2010003557A1 (zh) |
| ZA (1) | ZA201009164B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102543086A (zh) * | 2011-12-16 | 2012-07-04 | 大连理工大学 | 一种基于音频水印的语音带宽扩展的装置和方法 |
| CN104813395A (zh) * | 2012-09-17 | 2015-07-29 | 弗兰霍菲尔运输应用研究公司 | 从带宽有限音频信号生成带宽扩展信号的设备和方法 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2836756T3 (es) | 2010-01-19 | 2021-06-28 | Dolby Int Ab | Transposición armónica basada en bloque de sub bandas mejorada |
| CA2792449C (en) | 2010-03-09 | 2017-12-05 | Dolby International Ab | Device and method for improved magnitude response and temporal alignment in a phase vocoder based bandwidth extension method for audio signals |
| EP2532002B1 (en) | 2010-03-09 | 2014-01-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for processing an audio signal |
| MX2012010415A (es) | 2010-03-09 | 2012-10-03 | Fraunhofer Ges Forschung | Aparato y metodo para procesar una señal de audio de entrada utilizando bancos de filtro en cascada. |
| EP2559032B1 (en) * | 2010-04-16 | 2019-01-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for generating a wideband signal using guided bandwidth extension and blind bandwidth extension |
| CA3203400C (en) * | 2010-07-19 | 2023-09-26 | Dolby International Ab | Processing of audio signals during high frequency reconstruction |
| EP3975177B1 (en) | 2010-09-16 | 2022-12-14 | Dolby International AB | Cross product enhanced subband block based harmonic transposition |
| US8490008B2 (en) * | 2011-11-10 | 2013-07-16 | Research In Motion Limited | Touchscreen keyboard predictive display and generation of a set of characters |
| EP2791937B1 (en) * | 2011-11-02 | 2016-06-08 | Telefonaktiebolaget LM Ericsson (publ) | Generation of a high band extension of a bandwidth extended audio signal |
| ES2549953T3 (es) * | 2012-08-27 | 2015-11-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y método para la reproducción de una señal de audio, aparato y método para la generación de una señal de audio codificada, programa de ordenador y señal de audio codificada |
| EP2830060A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Noise filling in multichannel audio coding |
| US9564141B2 (en) * | 2014-02-13 | 2017-02-07 | Qualcomm Incorporated | Harmonic bandwidth extension of audio signals |
| JP2016038435A (ja) * | 2014-08-06 | 2016-03-22 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| RU2589305C1 (ru) * | 2014-11-18 | 2016-07-10 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Способ генерации высокочастотных сигналов и устройство его реализации |
| WO2016149085A2 (en) * | 2015-03-13 | 2016-09-22 | Psyx Research, Inc. | System and method for dynamic recovery of audio data and compressed audio enhancement |
| EP3121814A1 (en) * | 2015-07-24 | 2017-01-25 | Sound object techology S.A. in organization | A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use |
| TW202341126A (zh) | 2017-03-23 | 2023-10-16 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US654988A (en) * | 1900-03-16 | 1900-07-31 | Leonhard Lederer | Process of making acetyl cellulose. |
| US5455888A (en) * | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
| RU2256293C2 (ru) * | 1997-06-10 | 2005-07-10 | Коудинг Технолоджиз Аб | Усовершенствование исходного кодирования с использованием дублирования спектральной полосы |
| SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| EP0945852A1 (en) * | 1998-03-25 | 1999-09-29 | BRITISH TELECOMMUNICATIONS public limited company | Speech synthesis |
| SE9903553D0 (sv) * | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
| SE0004163D0 (sv) * | 2000-11-14 | 2000-11-14 | Coding Technologies Sweden Ab | Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering |
| WO2003007480A1 (fr) | 2001-07-13 | 2003-01-23 | Matsushita Electric Industrial Co., Ltd. | Dispositif de decodage de signaux audio et dispositif de codage de signaux audio |
| KR20040035749A (ko) * | 2001-08-31 | 2004-04-29 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 사운드 신호의 대역폭 확장 방법 |
| JP4380174B2 (ja) * | 2003-02-27 | 2009-12-09 | 沖電気工業株式会社 | 帯域補正装置 |
| DE602004016325D1 (de) * | 2003-05-20 | 2008-10-16 | Matsushita Electric Ind Co Ltd | Diosignalbandes |
| JP2005010621A (ja) * | 2003-06-20 | 2005-01-13 | Matsushita Electric Ind Co Ltd | 音声帯域拡張装置及び帯域拡張方法 |
| ATE480851T1 (de) * | 2004-10-28 | 2010-09-15 | Panasonic Corp | Skalierbare codierungsvorrichtung, skalierbare decodierungsvorrichtung und verfahren dafür |
| KR100647336B1 (ko) * | 2005-11-08 | 2006-11-23 | 삼성전자주식회사 | 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법 |
| JP5141180B2 (ja) * | 2006-11-09 | 2013-02-13 | ソニー株式会社 | 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 |
-
2009
- 2009-06-25 KR KR1020117000441A patent/KR101239812B1/ko active IP Right Grant
- 2009-06-25 BR BR122017003818-4A patent/BR122017003818B1/pt active IP Right Grant
- 2009-06-25 BR BRPI0910528-0A patent/BRPI0910528B1/pt active IP Right Grant
- 2009-06-25 AU AU2009267460A patent/AU2009267460B2/en active Active
- 2009-06-25 EP EP09776840.2A patent/EP2291842B1/en active Active
- 2009-06-25 JP JP2011516992A patent/JP5255699B2/ja active Active
- 2009-06-25 CA CA2729474A patent/CA2729474C/en active Active
- 2009-06-25 ES ES09776840.2T patent/ES2461141T3/es active Active
- 2009-06-25 WO PCT/EP2009/004603 patent/WO2010003557A1/en active Application Filing
- 2009-06-25 CN CN2009801270931A patent/CN102105931B/zh active Active
- 2009-06-25 MY MYPI2011000040A patent/MY163454A/en unknown
- 2009-06-25 RU RU2011100134/08A patent/RU2512090C2/ru active
- 2009-06-25 MX MX2011000365A patent/MX2011000365A/es active IP Right Grant
- 2009-06-25 PL PL09776840T patent/PL2291842T3/pl unknown
- 2009-07-03 TW TW098122551A patent/TWI415116B/zh active
- 2009-07-07 AR ARP090102552A patent/AR072483A1/es active IP Right Grant
-
2010
- 2010-12-21 ZA ZA2010/09164A patent/ZA201009164B/en unknown
- 2010-12-29 CO CO10164070A patent/CO6541514A2/es active IP Right Grant
-
2011
- 2011-08-10 HK HK11108364.8A patent/HK1154112A1/xx unknown
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102543086A (zh) * | 2011-12-16 | 2012-07-04 | 大连理工大学 | 一种基于音频水印的语音带宽扩展的装置和方法 |
| CN102543086B (zh) * | 2011-12-16 | 2013-08-14 | 大连理工大学 | 一种基于音频水印的语音带宽扩展的装置和方法 |
| CN104813395A (zh) * | 2012-09-17 | 2015-07-29 | 弗兰霍菲尔运输应用研究公司 | 从带宽有限音频信号生成带宽扩展信号的设备和方法 |
| CN104813395B (zh) * | 2012-09-17 | 2017-11-24 | 弗劳恩霍夫应用研究促进协会 | 从带宽有限音频信号生成带宽扩展信号的设备和方法 |
| US9997162B2 (en) | 2012-09-17 | 2018-06-12 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
| US10580415B2 (en) | 2012-09-17 | 2020-03-03 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2461141T3 (es) | 2014-05-16 |
| AR072483A1 (es) | 2010-09-01 |
| EP2291842B1 (en) | 2014-03-12 |
| TW201007708A (en) | 2010-02-16 |
| MY163454A (en) | 2017-09-15 |
| TWI415116B (zh) | 2013-11-11 |
| CN102105931B (zh) | 2013-04-10 |
| JP2011527452A (ja) | 2011-10-27 |
| EP2291842A1 (en) | 2011-03-09 |
| HK1154112A1 (en) | 2012-04-20 |
| RU2512090C2 (ru) | 2014-04-10 |
| RU2011100134A (ru) | 2012-07-20 |
| KR20110033188A (ko) | 2011-03-30 |
| BRPI0910528A2 (pt) | 2018-05-22 |
| CA2729474C (en) | 2015-09-01 |
| AU2009267460B2 (en) | 2013-01-10 |
| AU2009267460A1 (en) | 2010-01-14 |
| BRPI0910528B1 (pt) | 2020-09-24 |
| KR101239812B1 (ko) | 2013-03-06 |
| BR122017003818A2 (pt) | 2019-09-03 |
| BR122017003818B1 (pt) | 2024-03-05 |
| PL2291842T3 (pl) | 2014-08-29 |
| ZA201009164B (en) | 2011-10-26 |
| CA2729474A1 (en) | 2010-01-14 |
| CO6541514A2 (es) | 2012-10-16 |
| JP5255699B2 (ja) | 2013-08-07 |
| MX2011000365A (es) | 2011-02-25 |
| WO2010003557A1 (en) | 2010-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102105931B (zh) | 用于生成带宽扩展信号的装置与方法 | |
| AU2009210303B2 (en) | Device and method for a bandwidth extension of an audio signal | |
| CN101263553B (zh) | 分级编码/解码设备 | |
| US8880410B2 (en) | Apparatus and method for generating a bandwidth extended signal | |
| CN105706166B (zh) | 对比特流进行解码的音频解码器设备和方法 | |
| JP2015526769A (ja) | 音声信号を再生するための装置および方法、符号化音声信号を生成するための装置および方法、コンピュータプログラム、および符号化音声信号 | |
| US20230343354A1 (en) | Apparatus and Method for Generating a Bandwidth Extended Signal | |
| Zhan et al. | Bandwidth extension for China AVS-M standard | |
| Purnhagen et al. | Speeding up HILN-MPEG-4 parametric audio encoding with reduced complexity | |
| Bartkowiak | Low bit rate coding of sparse audio spectra using frequency shift and interleaved MDCT | |
| Annadana et al. | A new low bit rate speech coding scheme for mixed content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |