CN105103228B - 用于使用增强信号成形技术产生频率增强信号的装置及方法 - Google Patents

用于使用增强信号成形技术产生频率增强信号的装置及方法 Download PDF

Info

Publication number
CN105103228B
CN105103228B CN201480006625.7A CN201480006625A CN105103228B CN 105103228 B CN105103228 B CN 105103228B CN 201480006625 A CN201480006625 A CN 201480006625A CN 105103228 B CN105103228 B CN 105103228B
Authority
CN
China
Prior art keywords
frequency
signal
enhancing
core
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480006625.7A
Other languages
English (en)
Other versions
CN105103228A (zh
Inventor
萨沙·迪施
拉尔夫·盖尔
克里斯蒂安·赫尔姆里希
马库斯·穆赖特鲁斯
康斯坦丁·施密特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN105103228A publication Critical patent/CN105103228A/zh
Application granted granted Critical
Publication of CN105103228B publication Critical patent/CN105103228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0012Smoothing of parameters of the decoder interpolation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0016Codebook for LPC parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388Details of processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Testing Relating To Insulation (AREA)
  • Picture Signal Circuits (AREA)
  • Superheterodyne Receivers (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Circuit Arrangements For Discharge Lamps (AREA)
  • Stereophonic System (AREA)
  • Plasma Technology (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Dc-Dc Converters (AREA)
  • Electrotherapy Devices (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明提供一种用于产生一频率增强信号(140)的装置,其包含:一计算器(500),其用于计算描述一核心信号(110,120)中的关于频率的一能量分布的一值;以及一信号发生器(200),其用于自该核心信号产生一增强信号(130),该增强信号包含不包括于该核心信号(502)中的一增强频率范围,其中该信号发生器(200)被配置为用于使该增强信号或该核心信号成形,使得该增强信号或该核心信号的一频谱包络取决于描述该核心信号中的关于频率的该能量分布的该值(501)。

Description

用于使用增强信号成形技术产生频率增强信号的装置及方法
技术领域
本发明基于音频编码,并且尤其基于如带宽扩展、频带复制编码或智能间隙填充的频率增强程序。
本发明尤其涉及非导引式频率增强(non-guided frequency enhancement)程序,如,其中译码器侧在不具有旁侧信息或仅具有最少量旁侧信息的情况下操作。
背景技术
感知性音频编码译码器常常仅量化及编码音频信号的整个可感知频率范围的低通部分,尤其在以(相对)低比特率操作时。尽管此方法保证了经编码低频信号的可接受质量,但大多数接听者感知到作为质量降级的高通部分的遗漏。为了克服此问题,可通过带宽扩展方案来合成遗漏的高频部分。
目前最先进的编码译码器常常使用波形保持编码器(如,AAC)或参数编码器(如,语音编码器)以编码低频信号。这些编码器操作直至某一终止频率。此频率被称作交越频率。低于该交越频率的频率部分被称作低频带。借助于带宽扩展方案合成的高于交越频率的信号被称作高频带。
带宽扩展通常借助于所传输信号(低频带)及额外旁侧信息来合成遗漏的带宽(高频带)。若应用于低比特率音频编码的领域中,则额外信息应尽可能少地消耗额外比特率。因此,通常为额外信息选择参数表示。以相对低的比特率自编码器传输此参数表示(导引式带宽扩展),或者在译码器处基于特定信号特性估计此参数表示(非导引式带宽扩展)。在后一情况下,这些参数完全不消耗比特率。
高频带的合成通常由以下两个部分组成:
1.高频内容的产生。可通过将低频内容(的部分)向上复制或翻转至高频带或者将白色或成形噪声或其他人工信号部分插入至高频带中来进行此产生。
2.根据参数信息对所产生高频内容的调整。此调整包括根据参数表示对形状、调性/噪声特性及能量的操作。
合成程序的目标通常为达到在感知上接近原始信号的信号。若此目标无法达到,则经合成部分应最小程度地扰乱接听者。
不同于导引式BWE方案,非导引式带宽扩展不可依赖于额外信息来合成高频带。实情为,非导引式带宽扩展通常使用经验规则以利用低频带与高频带之间的相关性。大多数音乐段及有声语音片段展现高频带与低频带之间的高度相关性,而对于无声或摩擦语音片段通常并非如此情况。摩擦音在较低频率范围中具有极少能量,而在高于某一频率的范围中具有高能量。若此频率接近交越频率,则产生高于交越频率的人工信号可成问题,这是因为在该情况下,低频带含有很少的相关信号部分。为了解决该问题,对这些声音的良好侦测为有帮助的。
HE-AAC为熟知编码译码器,其由用于低频带的波形保持编码译码器(AAC)及用于高频带的参数编码译码器(SBR)组成。在译码器侧,通过使用QMF滤波器组将经译码AAC信号变换至频域中来产生高频带信号。随后,将低频带信号的次频带向上复制至高频带(产生高频内容)。接着基于所传输的参数旁侧信息调整此高频带信号的频谱包络、调性及噪声底限(调整所产生的高频内容)。由于此方法使用导引式BWE方法,因此高频带与低频带的间的弱相关性大体上不成问题,且可通过传输适当参数集来克服。然而,此传输需要额外比特率,此情形对于给定应用情形可能为不可接受的。
ITU标准G.722.2为仅在时域中操作(如,不在频域中执行任何计算)的语音编码译码器。此译码器以12.8kHz的采样率输出时域信号,该采样率随后被增加取样至16kHz。高频内容(6.4至7.0kHz)的产生系基于插入带通噪声。在大多数操作模式下,在不使用任何旁侧信息的情况下进行噪声的频谱成形,仅在具有最高比特率的操作模式下,才在位串流中传输关于噪声能量的信息。出于简单性原因且由于并非所有应用情形皆可负担得起额外参数集的传输,在下文中仅描述不使用任何旁侧信息的高频带信号的产生。
为了产生高频带信号,按比例调整噪声信号以具有与核心激励信号相同的能量。为了将更多能量给予信号的无声部分,计算频谱倾斜量e:
其中s为具有400Hz的截止频率的经高通滤波的经译码的核心信号。n为样本索引。在较少能量存在于高频处的有声片段的情况下,e逼近1,而对于无声片段,e接近零。为了在高频带信号中具有更多能量,对于无声语音,将噪声的能量乘以(1-e)。最终,通过滤波器对经按比例调整的噪声信号进行滤波,该滤波器系通过在线频谱频率(LSF)域中外插而自核心线性预测编码(LPC)滤波器导出。
完全在时域中操作的来自G.722.2的非导引式带宽扩展具有以下缺点:
1.所产生的HF内容系基于噪声。此情形在HF信号与音调、谐波低频信号(例如,音乐)组合的情况下产生听得见的伪音。为了避免此等伪音,G.722.2竭力限制所产生的HF信号的能量,此亦限制带宽扩展的潜在益处。因此,不幸地是,亦限制了声音的亮度的最大可能改良或语音信号的可解度的最大可获得增加。
2.由于此非导引式带宽扩展在时域中操作,因此滤波器操作引起额外算法延迟。此额外延迟降低在双向通讯情形中的用户体验的质量,或给定通讯技术标准的要求条款可能不允许此额外延迟。
3.又,由于在时域中执行信号处理,因此滤波器操作倾向于具有不稳定性。此外,时域滤波器具有高计算复杂度。
4.由于仅将高频带信号的能量的总和调适至核心信号的能量(且进一步通过频谱倾斜量加权),因此在核心信号(恰好低于交越频率的信号)的较高频率范围与高频带信号的间的交越频率处可存在显著区域能量失配。举例而言,对于在极低频率范围中展现能量集中但在较高频率范围中含有很少能量的音调信号,将尤其为如此情况。
5.此外,估计在时域表示中的频谱斜率为计算上复杂的。在频域中,可极有效率地进行频谱斜率的外插。由于(例如)摩擦音的大多数能量集中于高频范围中,因此若应用如G.722.2中的守恒能量及频谱斜率估计策略(参见1.),则此等摩擦音可听起来沉闷。
为了进行概述,先前技术非导引式或盲带宽扩展方案可要求译码器侧上的显著计算复杂度,且尤其对于如摩擦音的有问题语音,仍导致有限的音频质量。此外,尽管导引式带宽扩展方案提供较好音频质量且有时需要译码器侧上的较低计算复杂度,但归因于关于高频带的额外参数信息可需要关于经编码核心音频信号的显著量的额外比特率的事实,导引式带宽扩展方案不可提供实质的比特率减少。
发明内容
因此,本发明的目标为提供用于在非导引式频率增强技术的背景中的音频处理的改良概念。
此目标通过以下各者达成:如本发明所述的用于产生频率增强信号的装置、如本发明所述的用于产生频率增强信号的方法、如本发明所述的包含编码器及用于产生频率增强信号的装置的系统、如本发明所述的相关方法,或如本发明所述的计算机程序。
本发明提供频率增强方案,如用于音频编码译码器的带宽扩展方案。此方案旨在扩展音频编码译码器的带宽,此扩展不需要额外旁侧信息或仅需要与如在导引式带宽扩展方案中的遗漏频带的全参数描述相比显著减少的最少量旁侧信息。
一种用于产生频率增强信号的装置包含:一计算器,其用于计算描述核心信号中的关于频率的能量分布的值。用于产生包含不包括于核心信号中的增强频率范围的频率增强信号的信号发生器使用核心信号来操作,且接着执行频率增强信号或核心信号的成形,使得频率增强信号的频谱包络取决于描述能量分布的值。
因此,基于描述能量分布的此值使频率增强信号的包络或频率增强信号成形。可易于计算此值,且此值接着界定频率增强信号的完整包络形状或完整形状。因此,译码器可以低复杂度操作,且同时获得良好音频质量。具体而言,当用于频率增强信号的频谱成形时,核心信号中的能量分布导致良好音频质量,即使计算关于能量分布(如,核心信号中的频谱矩心)的值及基于此频谱矩心调整频率增强信号的处理为直接的且可通过低计算资源执行的程序亦如此。
此外,此程序允许分别自核心信号的绝对能量及斜率(滚降)导出高频带信号的绝对能量及斜率(滚降)。较佳在频域中执行此等操作使得可以计算上有效率的方式执行这些操作,此系因为频谱包络的成形等效于简单地将频率表示与增益曲线相乘,且此增益曲线系自描述核心信号中的关于频率的能量分布的值导出。
此外,在时域中精确地估计及外插给定频谱形状为计算上复杂的。因此,较佳在频域中执行此等操作。摩擦音(例如)通常在低频处仅具有少量能量,且在高频处具有大量能量。该能量的升高取决于实际摩擦音,且可能在仅稍低于交越频率处开始。在时域中,难以侦测此情形且自其获得有效外插为计算上复杂的。对于非摩擦音,可确保人工产生的频谱的能量始终随频率上升而下降。
在另一方面,应用时间平滑程序。提供用于自核心信号产生频率增强信号的信号发生器。频率增强信号或核心信号的时间部分包含用于多个次频带的次频带信号。提供用于计算用于增强频率范围的多个次频带信号的相同平滑信息的控制器,且接着由信号发生器使用此平滑信息以用于使增强频率范围的多个次频带信号平滑,尤其使用相同平滑信息,或替代地,当在高频产生的前执行平滑时,则全部使用相同平滑信息来使核心信号的多个次频带信号平滑。此时间平滑避免了自低频带继承至高频带的较小快速能量波动的继续,且因此导致更令人愉悦的感知印象。低频带能量波动通常由会导致不稳定性的基础核心编码器的量化误差引起。由于平滑取决于信号的(长期)稳定性,因此平滑为信号自适应性的。此外,将同一平滑信息用于所有个别次频带确保时间平滑不会改变次频带的间的一致性。实情为,以相同方式使所有次频带平滑,且自所有次频带或仅自在增强频率范围中的次频带导出平滑信息。因此,与个别地对每一次频带信号进行个别平滑相比,获得显著较好的音频质量。
另一方面是关于执行能量限制,其较佳在用于产生频率增强信号的整个程序结尾处执行。提供用于自核心信号产生频率增强信号的信号发生器,其中频率增强信号包含不包括在核心信号中的增强频率范围,其中频率增强信号的时间部分包含用于一个或多个次频带的次频带信号。提供用于使用频率增强信号产生频率增强的信号的合成滤波器组,其中信号发生器被配置为用于执行能量限制,以便确保由合成滤波器组获得的频率增强的信号使得较高频带的能量至多等于较低频带中的能量或比较低频带中的能量大至多预定义临限值。此情形可适用于单一扩展频带。接着,使用最高核心频带的能量进行比较或能量限制。此情形亦可适用于多个扩展频带。接着,使用最高核心频带对最低扩展频带进行能量限制,且相对于次最高扩展频带对最高扩展频带进行能量限制。
此程序对非导引式带宽扩展方案尤其有用,但亦可有助于导引式带宽扩展方案,此系因为非导引式带宽扩展方案倾向于具有由不自然地伸出(尤其在具有负频谱倾斜量的片段处)的频谱分量引起的伪音。此等分量可能导致高频噪声丛发。为了避免此情形,较佳在处理结尾处应用能量限制,其限制随频率的能量增量。在一实施中,在QMF(正交镜像滤波)次频带k处的能量不得超过在QMF次频带k-1处的能量。可基于时隙执行此能量限制或为了减小复杂度仅每帧一次地执行此能量限制。因此,确保可避免在带宽扩展方案中的任何不自然情形,此系因为较高频带具有多于较低频带的能量或较高频带的能量比较低频带中的能量高预定义临限值(如,3dB的临限值)以上为极不自然的。通常,所有语音/音乐信号具有低通特性,如,具有随频率或多或少单调减小的能量内容。此情形可适用于单一扩展频带。接着,使用最高核心频带的能量进行比较或能量限制。此情形亦可适用于多个扩展频带。接着,使用最高核心频带对最低扩展频带进行能量限制,且相对于次最高扩展频带对最高扩展频带进行能量限制。
尽管可个别地且彼此分离地执行频率增强信号的成形、频率增强次频带信号的时间平滑及能量限制的技术,但亦可在较佳非导引式频率增强方案内一起执行此等程序。
此外,参考附属权利要求,其参考特定实施例。
附图说明
随后关于随附图式描述本发明的较佳实施例,其中:
图1说明包含使频率增强信号成形、使次频带信号平滑及能量限制的技术的实施例;
图2a至图2c说明图1的信号发生器的不同实施;
图3说明个别时间部分,其中帧具有长时间部分且时隙具有短时间部分,且每一帧包含多个时隙;
图4说明频谱图,其指示在带宽扩展应用的实施中的核心信号及频率增强信号的频谱位置;
图5说明用于基于描述核心信号的能量分布的值使用频谱成形来产生频率增强信号的装置;
图6说明成形技术的实施;
图7说明根据某一频谱矩心判定的不同滚降;
图8说明用于产生频率增强信号的装置,该频率增强信号包含用于使核心信号或频率增强信号的次频带信号平滑的相同平滑信息;
图9说明由图8的控制器及信号发生器应用的较佳程序;
图10说明由图8的控制器及信号发生器应用的另一程序;
图11说明用于产生频率增强信号的装置,其在频率增强信号中执行能量限制程序使得增强的信号的较高频带可至多具有邻近较低频带的相同能量或比邻近较低频带的能量高至多预定义临限值;
图12a说明频率增强信号在限制的前的频谱;
图12b说明在限制的后的图12a的频谱;
图13说明在一实施中由信号发生器执行的程序;
图14说明在滤波器组域内成形、平滑及能量限制的技术的同时应用;及
图15说明包含编码器及非导引式频率增强译码器的系统。
具体实施方式
较佳实施例的详细说明
图1说明在较佳实施中的用于产生频率增强信号140的装置,其中一起执行成形、时间平滑及能量限制的技术。然而,亦可个别地应用此等技术,如在图5至图7的背景下针对成形技术所论述、在图8至图10的背景下针对平滑技术所论述及在图11至图13的背景下针对能量限制技术所论述。
较佳地,图1的用于产生频率增强信号140的装置包含分析滤波器组或核心译码器100,或用于在核心译码器输出QMF次频带信号时在滤波器组域中(如,在QMF域中)提供核心信号的任何其他器件。或者,当核心信号为时域信号或在不同于频谱或次频带域中的任何其他域中加以提供时,分析滤波器组100可为QMF滤波器组或另一分析滤波器组。
接着将在120处可用的核心信号110的个别次频带信号输入至信号发生器200中,且信号发生器200的输出为频率增强信号130。频率增强信号130包含不包括在核心信号110中的增强频率范围,且信号发生器(例如)并非通过(仅)使噪声成形或因此而是使用核心信号110或较佳核心信号次频带120来产生此频率增强信号。合成滤波器组接着组合核心信号次频带120与频率增强信号130,且合成滤波器组300接着输出频率增强的信号140。
基本上,信号发生器200包含指示为「HF产生」的信号产生区块202,其中HF代表高频。然而,图1中的频率增强不限于产生高频的技术。实情为,亦可产生低频或中间频率,且甚至可在核心信号中再生频谱缺陷,如,当核心信号具有较高频带及较低频带且当存在遗漏中间频带的情况,如(例如)自智慧间隙填充(IGF)已知的。信号产生202可包含如自HE-AAC已知的向上复制程序,或镜像程序,如,其中为了产生高频范围或频率增强范围,将核心信号镜像而非向上复制。
此外,信号发生器包含成形功能性204,其由用于计算指示核心信号120中的关于频率的能量分布的值的计算来控制。此成形可为对由区块202产生的信号的成形,或在功能性202与204的间的次序反转(如在图2a至图2c的背景中所论述)时,替代地为对低频的成形。
另一功能性为时间平滑功能性206,其由平滑控制器800控制。较佳在程序结尾处执行能量限制208,但亦可将能量限制置于处理功能性202至208的链中的任何其他位置处,只要确保以下情形即可:由合成滤波器组300输出的组合信号满足能量限制准则,如较高频带不得具有比邻近较低频带多的能量,或与邻近较低频带相比,较高频带不得具有更多能量,其中将增量限制为至多预定义临限值(如,3dB)。
图2a说明不同次序,其中在执行HF产生202的前一起执行成形204与时间平滑206及能量限制208。因此,核心信号经成形/平滑/限制,且接着已完成的经成形/平滑/限制信号经向上复制或镜像至增强频率范围中。此外,重要地是理解到可以任何方式执行区块204、206、208的次序,如在将图2a与图1中的对应区块的次序相比时亦可见的。
图2b说明以下情形:对低频或核心信号运行时间平滑及成形,且接着在能量限制208之前执行HF产生202。此外,图2c说明以下情形:对低频信号执行信号的成形,且执行(如)通过向上复制或镜像进行的后续HF产生,以便获得增强频率范围的信号,且接着对此信号进行平滑206及能量限制208。
此外,将强调:成形、时间平滑及能量限制的功能性皆可通过将某些因子应用于次频带信号来执行(如(例如)图14中所说明)。对于个别频带i、i+1、i+2,通过乘法器1402a、1401a及1400a实施成形。
此外,通过乘法器1402b、1401b及1400b运行时间平滑。另外,对于个别频带i+2、i+1及i,通过限制因子1402c、1401c及1400c执行能量限制。归因于在此实施例中通过乘法因子实施所有此等功能性的事实,将注意到,亦可针对每一个别频带通过单一乘法因子1402、1401、1400将所有此等功能性应用于个别次频带信号,且对于频带i+2,此单一「主」乘法因子则将为个别因子1402a、1402b及1402c的乘积,且对于其他频带i+1及i,此情形将类似。因此,接着将次频带的实数/虚数次频带样本值乘以此单一「主」乘法因子,且在区块1402、1401或1400的输出处获得作为经相乘的实数/虚数次频带样本值的输出,接着将这些样本值引入至图1的合成滤波器组300中。因此,区块1400、1401或1402的输出对应于通常涵盖不包括于核心信号120中的增强频率范围的频率增强信号130。
图3说明指示用于信号产生程序中的不同时间分辨率的图表。基本上,逐帧处理信号。此意谓较佳地实施分析滤波器组100以产生次频带信号的时间后续帧320,其中次频带信号的每一帧320包含一个或多个时隙或滤波器组时隙340。尽管图3说明每帧四个时隙,但每帧亦可存在2个、3个或甚至多于四个时隙。如图14中所说明,将基于核心信号的能量分布的频率增强信号或核心信号的成形每帧执行一次。另一方面,以高时间分辨率来运行时间平滑,如,较佳为每时隙340一次,且在需要低复杂度时可再次将能量限制每帧执行一次,或在对于特定实施而言较高复杂度不成问题时每时隙执行一次。
图4说明在核心信号频率范围中具有五个次频带1、2、3、4、5的频谱的表示。此外,图4中的实例在增强信号范围中具有四个次频带信号或次频带6、7、8、9,且核心信号范围及增强信号范围由交越频率420分离。此外,说明了开始频带410,其用于为了达成成形204的目的计算描述关于频率的能量分布的值,如稍后将论述。此程序确保一或多个最低次频带不用于计算描述关于频率的能量分布的值,以便获得较好的增强信号调整。
随后,说明使用核心信号产生202不包括于核心信号中的增强频率范围的实施。
为了产生高于交越频率的人工信号,通常将来自低于交越频率的频率范围的QMF值向上复制(「贴补」)至高频带中。可通过仅将QMF样本自较低频率范围向上移位至高于交越频率的区域或通过另外镜像此等样本来进行此复制操作。镜像的优点在于:恰好低于交越频率的信号及人工产生的信号将在交越频率处具有极其类似的能量及谐波结构。镜像或向上复制可应用于核心信号的单一次频带或核心信号的多个次频带。
在该QMF滤波器组的情况下,经镜像的区带(patch)较佳由基频带的负复共轭组成,以便最小化转变区中的次频带映频混扰:
Qr(t,xover+f-1)=-Qr(t,xover-f);f=1..nBands
Qi(t,xover+f-1)=Qi(t,xover-f);f=1..nBands
此处,Qr(t,f)为QMF在时间索引t及次频带索引f处的实数值,且Qi(t,f)为虚数值,xover为参考交越频率的QMF次频带,nBands为待外插的整数个频带。实数部分中的负号表示负共轭复数运算。
较佳地,HF产生202或大体上增强频率范围的产生依赖于由区块100提供的次频带表示。较佳地,用于产生频率增强的信号140的本发明装置应为多带宽译码器,其能够对经译码信号110进行重新取样以使取样频率变化,从而支持(例如)窄频带、宽带带及超宽带带输出。因此,QMF滤波器组100将经译码时域信号取作输入。通过在频域中填补零,QMF滤波器组可用以对经译码信号进行重新取样,且相同QMF滤波器组较佳亦用以产生高频带信号。
较佳地,用于产生频率增强的信号140的装置可操作以执行频域中的所有操作。因此,通过将区块100指示为已提供(例如)QMF滤波器组域输出信号的「核心译码器」,在译码器侧处已具有内部频域表示的现有系统得到扩展,如图1中所说明。
此表示被简单地重新使用于额外任务,如采样率转换及较佳在频域中进行的其他信号操纵(例如,插入经成形的舒适噪声、高通/低通滤波)。因此,不需要计算额外时间-频率变换。
替代将噪声用于HF内容,在此实施例中仅基于低频带信号产生高频带信号。此产生可借助于频域中的向上复制或向上折迭(镜像)操作来进行。因此,确保了与低频带信号具有相同的谐波及时间精细结构的高频带信号。此情形避免对时域信号的计算成本高的折迭及额外延迟。
随后,在图5、图6及图7的背景中论述图1的成形204技术的功能性,其中可在图1、图2a至图2c的背景中执行成形或分离地且个别地与自其他导引式或非导引式频率增强技术已知的其他功能性一起执行成形。
图5说明用于产生频率增强的信号140的装置,其包含用于计算描述核心信号120中的关于频率的能量分布的值的计算器500。此外,信号发生器200被配置为用于自核心信号产生频率增强信号130(如由线502所说明),该频率增强信号包含不包括于核心信号中的增强频率范围。此外,信号发生器200被配置为用于使(如)在图1中的由区块202输出的频率增强信号或在图2a的背景中的核心信号120成形,使得增强信号的频率包络取决于描述能量分布的值。
较佳地,该装置另外包含组合器300,其用于组合由区块200输出的频率增强信号130与核心信号120以获得频率增强的信号140。较佳执行如时间平滑206或能量限制208的额外操作以进一步处理经成形信号,但此等操作在某些实施中未必为需要的。
信号发生器200被配置为使增强信号成形,使得对于描述能量分布的第一值,获得自增强频率范围中的第一频率至增强频率范围中的第二较高频率的第一频谱包络减小。此外,对于描述第二能量分布的第二值,获得自增强范围中的第一频率至增强范围中的第二频率的第二频谱包络减小。若第二频率大于第一频率且第二频谱包络减小大于第一频谱包络减小,则与描述核心信号的较低频率范围处的能量集中的第二值相比,第一值指示核心信号在核心信号的较高频率范围处具有能量集中。
较佳地,计算器500被配置为将当前帧的频谱矩心的测量计算为关于能量分布的信息值。接着,信号发生器200根据频谱矩心的此测量而进行成形,使得与较低频率处的频谱矩心相比,较高频率处的频谱矩心导致频谱包络的更浅斜率。
关于核心信号的在第一频率处开始且在高于第一频率的第二频率处结束的频率部分而计算由能量分布计算器500计算的关于能量分布的信息。第一频率低于核心信号中的最低频率,如(例如)图4中在410处所说明。较佳地,第二频率为交越频率420,但视情况亦可为低于交越频率420的频率。然而,将用于计算频谱分布的测量的第二频率尽可能地扩展至交越频率420为较佳的,且导致最好的音频质量。
在一实施例中,由能量分布计算器500及信号发生器200来应用图6的程序。在步骤602中,针对核心信号的每一频带计算以E(i)指示的能量值。接着,在区块604中,计算用于调整增强频率范围的所有频带的单一能量分布值,如sp。接着,在步骤606中,使用此单一值针对增强频率范围的所有频带计算加权因子,其中加权因子较佳为attf
接着,在由信号发生器208执行的步骤608中,将加权因子应用于次频带样本的实数及虚数部分。
通过在QMF域中计算当前帧的频谱矩心来侦测摩擦音。频谱矩心为具有0.0至1.0的范围的测量。高频谱矩心(接近一的值)意谓声音的频谱包络具有上升斜率。对于语音信号,此意谓当前帧很可能含有摩擦音。频谱矩心的值愈逼近一,则频谱包络的斜率愈陡,或愈多能量集中于较高频率范围中。
根据下式来计算频谱矩心:
其中E(i)为QMF次频带i的能量,且start为参考1kHz的QMF次频带索引。用因子attf来对经复制QMF次频带加权:
其中att=0.5*sp+0.5。大体上,可使用以下方程式计算att:
att=p(sp),
其中p为多项式。较佳地,该多项式具有次数1:
att=a*sp+b,
其中a、b或大体上这些多项式系数皆在0与1之间。
除以上方程序外,亦可应用具有相当效能的其他方程序。此等其他方程序如下:
尤其是,值ai应使得i较高则该值较高,且重要地,至少对于索引i>1,值bi低于值ai。因此,与以上方程序相比,通过不同方程式,但获得类似结果。大体上,ai、bi为随i单调增加或减小的值。
此外,参看图7。图7说明用于不同能量分布值sp的个别加权因子attf。当sp等于1时,则核心信号的全部能量集中于核心信号的最高频带处。接着,att等于1,且加权因子attf在频率上恒定,如700处所说明。另一方面,当核心信号中的全部能量集中于核心信号的最低频带处时,则sp等于0且att等于0.5,且调整因子在频率上的对应趋向(course)在706处说明。
在702及704处指示的成形因子在频率上的趋向用于相应地增加频谱分布值。因此,对于项目704,能量分布值大于0,但小于用于项目702的能量分布值,如由参数箭头708所指示。
图8说明用于使用时间平滑技术产生频率增强的信号140的装置。该装置包含用于自核心信号120、110产生频率增强信号130的信号发生器200,其中频率增强信号130包含不包括在核心信号中的增强频率范围。频率增强信号130或核心信号120的当前时间部分(如,帧320及较佳地,时隙340)包含用于多个次频带的次频带信号。
控制器800用于针对频率增强信号130的多个次频带信号计算相同平滑信息802,其中频率增强信号130包括增强频率范围或核心信号120。此外,信号发生器200被配置为用于使用相同平滑信息802使增强频率范围的多个次频带信号平滑,或用于使用相同平滑信息802使核心信号120的多个次频带信号平滑。在图8中,信号发生器200的输出为平滑频率增强信号,可接着将平滑增强信号输入至组合器300中。如在图2a至图2c的背景中所论述,可在图1的处理链中的任何处执行平滑206,或甚至可在任何其他频率增强方案的背景中个别地执行平滑206。
控制器800较佳被配置为使用频率增强信号130及核心信号120的多个次频带信号的组合能量或仅使用时间部分的频率增强信号来计算平滑信息。此外,使用核心信号120及频率增强信号130的多个次频带信号的平均能量或仅使用在当前时间部分之前的一或多个较早时间部分的核心信号120的平均能量。平滑信息为用于所有频带中的增强频率范围的多个次频带信号的单一校正因子,且因此信号发生器200被配置为将校正因子应用于增强频率范围的多个次频带信号。
如在图1的背景中所论述,该装置此外包含滤波器组100或用于提供用于多个时间后续滤波器组时隙的核心信号120的多个次频带信号的提供器。此外,信号发生器被配置为使用核心信号120的多个次频带信号导出用于多个时间后续滤波器组时隙的增强频率范围的多个次频带信号,且控制器800被配置为针对每一滤波器组时隙计算个别平滑信息802,且接着通过新的个别平滑信息针对每一滤波器组时隙执行平滑。
控制器800被配置为基于当前时间部分的核心信号120或频率增强信号130且基于一或多个先前时间部分来计算平滑强度控制值,且控制器800接着被配置为使用平滑控制值计算平滑信息,使得平滑强度取决于以下两者之间的差而变化:当前时间部分的核心信号120或频率增强信号130的能量,及一或多个先前时间部分的核心信号120或频率增强信号130的平均能量。
参看图9,其说明由控制器800及信号发生器200执行的程序。由控制器800执行的步骤900包含得出关于平滑强度的决策,其可(例如)基于当前时间部分中的能量与一或多个先前时间部分中的平均能量之间的差而得出,但亦可使用用于作出关于平滑强度的决策的任何其他程序。一种替代例为使用(替代性地或另外地)未来时隙。另一替代例为每帧仅进行单一变换且将接着在时间后续帧上进行平滑。然而,此两个替代例皆会引入延迟。此情形在延迟并非问题的应用(如,串流传输应用)中不成问题。对于延迟成问题的应用,如对于双向通讯(例如,使用移动电话),过去或先前的帧比未来帧更佳,此系因为使用过去的帧不会引入延迟。
接着,在步骤902中,基于步骤900的平滑强度的决策来计算平滑信息。此步骤902亦由控制器800执行。接着,信号发生器200执行904,其包含将平滑信息应用于若干频带,其中将同一平滑信息802应用于在核心信号或者增强频率范围中的此等若干频带。
图10说明实施图9的步骤序列的较佳程序。在步骤1000中,计算当前时隙的能量。接着,在步骤1020中,计算一个或多个先前时隙的平均能量。接着,在步骤1040中,基于由区块1000及1020获得的值之间的差来判定用于当前时隙的平滑系数。接着,步骤1060包含计算用于当前时隙的校正因子,且步骤1000至1060皆由控制器800执行。接着,在由信号发生器200执行的步骤1080中,执行实际平滑操作,如,将对应校正因子应用于一个时隙内的所有次频带信号。
在一实施例中,在两个步骤中运行时间平滑:
关于平滑强度的决策。为了得到关于平滑强度的决策,评估信号随时间的稳定性。执行此评估的可能方式为比较当前短期窗口或QMF时隙的能量与先前短期窗口或QMF时隙的平均能量值。为了减小复杂度,可仅针对高频带部分来评估此稳定性。所比较的能量值愈接近,则平滑强度应愈低。此情形反映于平滑系数a中,其中0<a≤1。a愈大,则平滑强度愈高。
将平滑应用于高频带。基于QMF时隙将平滑应用于高频带部分。因此,将当前时隙的高频带能量Ecurrt调适至一或多个先前QMF时隙的平均高频带能量Eavgt:
将Ecurr计算为一个时隙中的高频带QMF能量的总和:
Eavg为能量的随时间的移动平均值:
其中start及stop为用于计算移动平均值的间隔的边界。
将用于合成的实数及虚数QMF值乘以校正因子currFac:
currFac系自Ecurr及Eavg导出:
因子a可固定或取决于Ecurr及Eavg的能量差。
如图14中已论述,将用于时间平滑的时间分辨率设定为高于成形的时间分辨率或能量限制技术的时间分辨率。此情形确保获得次频带信号的时间平滑趋向,同时计算上更密集的成形将每帧仅执行一次。然而,不执行自一个次频带至另一次频带(如,在频率方向上)的任何平滑,此系因为已发现此平滑实质上降低主观接听质量。
较佳将相同平滑信息(如,校正因子)用于增强范围中的所有次频带。然而,亦可实施以下情形:并不将相同平滑信息应用于所有频带,而是应用于频带群组,其中此群组具有至少两个次频带。
图11说明针对图1中所说明的能量限制技术208的另一方面。具体而言,图11说明用于产生频率增强的信号140的装置,该装置包含用于产生频率增强信号130的信号发生器200,该增强信号包含不包括于核心信号120中的增强频率范围。此外,频率增强信号130的时间部分包含用于多个次频带的次频带信号。另外,该装置包含用于使用频率增强信号130产生频率增强的信号140的合成滤波器组300。
为了实施能量限制程序,信号发生器200被配置为用于执行能量限制,以便确保由合成滤波器组300获得的频率增强的信号140使得较高频带的能量至多等于较低频带中的能量或比较低频带中的能量大至多预定义临限值。
信号发生器可较佳经实施以确保较高QMF次频带k不得超过QMF次频带k-1处的能量。然而,信号发生器200亦可经实施以允许某一增量,其较佳可具有3dB的临限值,且临限值可较佳为2dB且甚至更佳为1dB或甚至更小。对于每一频带,预定临限值可为常数,或预定临限值可取决于先前计算的频谱矩心。较佳相依性为:当矩心逼近较低频率(如,变小)时,临限值变小,而矩心愈逼近较高频率或sp逼近1,则临限值可变大。
在另一实施中,信号发生器200被配置为检查第一次频带中的第一次频带信号且检查在频率上邻近于第一次频带且中心频率高于第一次频带的中心频率的第二次频带中的次频带信号,且当第二次频带信号的能量等于第一次频带信号的能量或当第二次频带信号的能量比第一次频带信号的能量大的量少于预定义临限值时,信号发生器将不限制第二次频带信号。
此外,信号发生器被配置为按序列形成多个处理操作,如(例如)图1或图2a至图2c中所说明。接着,信号发生器较佳在序列结尾处执行能量限制,以获得输入至合成滤波器组300中的频率增强信号130。因此,合成滤波器组300被配置为接收在序列结尾处由能量限制的最终程序产生的频率增强信号130作为输入。
此外,信号发生器被配置为在能量限制的前执行频谱成形204或时间平滑206。
在一较佳实施例中,信号发生器200被配置为通过镜像核心信号的多个次频带来产生增强信号的多个次频带信号。
对于镜像,较佳执行使实数部分或者虚数部分变负的程序,如较早所论述。
在另一实施例中,信号发生器被配置为用于计算校正因子limFac,且接着如下将此限制因子limFac应用于核心或增强频率范围的次频带信号:
令Ef为一个频带的在时间跨度stop-start上平均的能量:
若此能量超过先前频带的平均能量达某一位准,则将此频带的能量乘以校正/限制因子limFac:
若Ef>fac*Ef-1,则
且通过下式校正实数及虚数QMF值:
该因子或预定临限值fac可对于每一频带为常数,或该因子或预定临限值可取决于先前计算的频谱矩心。
为在由f指示的次频带处的次频带信号的经能量限制的实数部分。为在次频带f中的能量限制之后的次频带信号的对应虚数部分。Qrt,f及Qit,f为在能量限制之前的次频带信号(如,直接在不执行任何成形或时间平滑时的次频带信号,或经成形及时间平滑的次频带信号)的对应实数及虚数部分。
在另一实施中,使用以下方程式计算限制因子limFac:
在此方程式中,Elim为限制能量,其通常为较低频带的能量或递增某一临限值fac的较低频带的能量。Ef(i)为当前频带f或i的能量。
参看图12a及图12b,其说明在增强频率范围中存在七个频带的某一实例。在能量方面,频带1202大于频带1201。因此,如自图12b变得显而易见,频带1202经能量限制,如在图12b中对于此频带在1250处指示。此外,频带1205、1204及1206皆大于频带1203。因此,所有三个频带经能量限制,如图12b中说明为1250。剩余的仅有非限制频带为频带1201(此为重建构范围中的第一频带)以及频带1203及1207。
如所概括,图12a/图12b说明存在较高频带不得具有比较低频带多的能量的限制的情形。然而,若将允许某一增量,则该情形将看起来略有不同。
能量限制可适用于单一扩展频带。接着,使用最高核心频带的能量进行比较或能量限制。此情形亦可适用于多个扩展频带。接着,使用最高核心频带对最低扩展频带进行能量限制,且相对于次最高扩展频带对最高扩展频带进行能量限制。
图15说明传输系统,或大体上包含编码器1500及译码器1510的系统。该编码器较佳为用于产生经编码核心信号的编码器,该编码器执行带宽减少或大体上删除原始音频信号1501中的若干频率范围,这些频率范围未必必须为完整较高频率范围或较高频带,而是亦可为在核心频带的间的任何频带。接着,在无任何旁侧信息的情况下将经编码核心信号自编码器1500传输至译码器1510,且译码器1510接着执行非导引式频率增强以获得频率增强的信号140。因此,可如图1至图14中的任一者中所论述来实施译码器。
尽管已在区块表示实际或逻辑硬件组件的方块图的背景中描述本发明,但亦可通过计算机实施的方法来实施本发明。在后一情况下,区块表示对应方法步骤,其中此等步骤代表由对应逻辑或实体硬件区块执行的功能性。
尽管已在装置的背景中描述一些方面,但显而易见,此等方面亦表示对应方法的描述,其中区块或器件对应于方法步骤或方法步骤的特征。类似地,在方法步骤的背景中描述的方面亦表示对应装置的对应区块或项目或特征的描述。可通过(或使用)如(例如)微处理器、可规划计算机或电子电路的硬件装置来执行方法步骤中的一些或全部。在一些实施例中,可通过此装置来执行最重要方法步骤中的某一或多者。
本发明的所传输或经编码信号可储存于数字储存媒体上,或可在如无线传输媒体或有线传输媒体(如,因特网)的传输媒体上加以传输。
取决于某些实施要求,可以硬件或以软件来实施本发明的实施例。可使用例如以下各者的上面储存有电子可读控制信号的数字储存媒体来执行该实施:软盘、DVD、蓝光光盘、CD、ROM、PROM及EPROM、EEPROM或闪存,这些电子可读控制信号与可规划计算机系统合作(或能够与可规划计算机系统合作)使得执行各别方法。因此,数字储存媒体可为计算机可读的。
根据本发明的一些实施例包含具有电子可读控制信号的数据载体,这些电子可读控制信号能够与可规划计算机系统合作使得执行本文中所描述的方法中的一者。
大体而言,本发明的实施例可实施为具有程序代码的计算机程序产品,当该计算机程序产品在计算机上执行时,该程序代码可操作以用于执行方法中的一者。举例而言,该程序代码可储存于机器可读载体上。
其他实施例包含用于执行本文中所描述的方法中的一者、储存于机器可读载体上的计算机程序。
换句话说,本发明方法的实施例因此为具有程序代码的计算机程序,当该计算机程序在计算机上执行时,该程序代码用于执行本文中所描述的方法中的一者。
本发明方法的另一实施例因此为数据载体(或如数字储存媒体或计算机可读媒体的非暂时性储存媒体),其包含记录于其上的用于执行本文中所描述的方法中的一者的计算机程序。数据载体、数字储存媒体或记录媒体通常为有形及/或非暂时性的。
本发明的另一实施例因此为表示用于执行本文中所描述的方法中的一者的计算机程序的数据串流或信号序列。举例而言,该数据串流或信号序列可被配置为经由数据通讯连接(例如,经由因特网)而传送。
另一实施例包含被配置为或用以执行本文中所描述的方法中的一者的处理构件,例如,计算机或可规划逻辑器件。
另一实施例包含计算机,其具有安装于其上的用于执行本文中所描述的方法中的一者的计算机程序。
根据本发明的另一实施例包含被配置为将用于执行本文中所描述的方法中的一者的计算机程序传送(例如,以电子方式或光学方式)至接收器的装置或系统。举例而言,接收器可为计算机、行动器件、内存器件或其类似者。举例而言,装置或系统可包含用于将计算机程序传送至接收器的文件服务器。
在一些实施例中,可规划逻辑器件(例如,场可规划门阵列)可用以执行本文中所描述的方法的功能性中的一些或全部。在一些实施例中,场可规划门阵列可与微处理器合作以便执行本文中所描述的方法中的一者。大体而言,较佳通过任何硬件装置来执行方法。
上述实施例仅说明本发明的原理。据了解,本文中所描述的配置及细节的修改及变化对于熟习此项技术者而言将为显而易见的。因此,意欲仅由即将给出的申请专利范围的范畴来限制,而非由借助于本文中的实施例的描述及解释而呈现的特定细节来限制。

Claims (16)

1.一种用于产生一频率增强信号(130)的装置,包含:
一计算器(500),其用于计算描述一核心信号(110,120)中的关于频率的一能量分布的值;
一信号发生器(200),其用于自核心信号(502)产生所述频率增强信号(130),该增强信号包含不包括于该核心信号中的一增强频率范围,并且
其中该信号发生器(200)被配置为用于使该频率增强信号(130)或该核心信号成形(204),使得该频率增强信号(130)或该核心信号的一频谱包络取决于描述该核心信号中的关于频率的该能量分布的值(501);
其中该信号发生器(200)被配置为使该频率增强信号(130)或该核心信号成形,使得对于描述一第一能量分布的一第一值,获得自该增强频率范围中的一第一频率至该增强频率范围中的一第二频率的一第一频谱包络减小,且使得对于描述一第二能量分布的一第二值,获得自该增强频率范围中的该第一频率至该增强频率范围中的该第二频率的一第二频谱包络减小,
其中该第二频率大于该第一频率,
其中该第二频谱包络减小大于该第一频谱包络减小,且
其中与该第二值相比,该第一值指示该核心信号在该核心信号的一较高频率处具有一能量集中。
2.如权利要求1所述的装置,其进一步包含用于组合该频率增强信号(130)与该核心信号(120)以获得一频率增强的信号(140)的一组合器(300)。
3.如权利要求1所述的装置,
其中该计算器(500)被配置为将一当前帧的一频谱矩心的一测量计算为关于该能量分布的值,
其中该信号发生器(200)被配置为根据用于该频谱矩心的值而进行成形,使得与一较低频率处的一频谱矩心相比,一较高频率处的该频谱矩心导致该频谱包络的一更浅斜率。
4.如权利要求1所述的装置,其中该计算器(500)被配置为仅使用该核心信号(502)的一频率部分计算关于该能量分布的信息,该核心信号(502)的该频率部分在一第一频率(410)处开始且在高于该第一频率(410)的一第二频率处结束,其中该第一频率高于该核心信号(502)的一最低频率或该第二频率为该核心信号(502)的最高频率。
5.如权利要求1所述的装置,
其中使用以下方程式计算描述一能量分布的值:
其中sp为描述该能量分布的值,其中xover为一交越频率(420),其中E(i)为次频带i的能量,且其中start为参考高于该核心信号(502)的最低频率的一频率(410)的次频带索引,且其中i为一整数次频带索引。
6.如权利要求1所述的装置,
其中该信号发生器被配置为用于将一成形因子应用于一输入信号,其中基于以下方程式计算该成形因子:
att=p(sp);
其中att为影响一成形因子的值,且p为一多项式,且sp为由该计算器(500)计算的关于该能量分布的值。
7.如权利要求1所述的装置,其中该信号发生器(200)被配置为用于使用以下方程式执行该成形:
其中为经成形次频带样本的实数部分,t为一时间索引,xover为一交越频率(420),f为一频率索引,且att为从关于频谱分布的值导出的一常数,Qr为次频带样本在成形之前的实数部分,且Qi为次频带样本在成形之前的虚数部分。
8.如权利要求1所述的装置,
其中该核心信号(502)包含多个核心信号次频带,
其中该计算器(500)被配置为计算核心信号频带的个别能量,且使用这些个别能量(604)计算关于该能量分布的信息。
9.如权利要求1所述的装置,
其中该核心信号(502)包含多个核心信号频带,
其中该信号发生器(200)被配置为向上复制或镜像(202)一个或多个核心信号频带,以获得形成该增强频率范围的多个增强信号频带。
10.如权利要求1所述的装置,
其中该计算器(500)被配置为基于以下方程序来计算值:
其中ai为用于该核心信号(502)的一频带i的一值,其中E(i)为该频带i中的一能量,其中bi为用于该核心信号(502)的一频带i的一参数且bi的值小于ai的值,并且其中该参数使得用于具有一较高索引i的一频带的一参数大于用于具有一较低索引i的一频带的一参数。
11.如权利要求1所述的装置,
其中该信号发生器(200)被配置为在该频率增强信号(130)或该核心信号(502)的该成形(204)之后或同时执行一时间平滑操作(206),该时间平滑操作包含得出关于一平滑强度的一决策及基于该决策将该平滑操作(206)应用于该频率增强信号(130)或该核心信号(502)。
12.如权利要求1所述的装置,
其中该信号发生器(200)被配置为:
在该频率增强信号(130)或该核心信号(502)的成形(204)之后,应用一逐频带能量限制(208);或者
在一时间平滑操作(206)之后,应用一逐频带能量限制(208);或者
在该频率增强信号(130)或该核心信号(502)的成形(204)的同时,应用一逐频带能量限制(208);或者
在该时间平滑操作(206)的同时,应用一逐频带能量限制(208)。
13.一种产生一频率增强信号(130)的方法,包含:
计算(500)描述一核心信号(110,120)中的关于频率的一能量分布的一值;
自核心信号(502)产生(200)一频率增强信号(130),该频率增强信号包含不包括于该核心信号中的一增强频率范围,且
其中该产生(200)该频率增强信号(130)包含使该频率增强信号(130)或该核心信号(502)成形,使得该增强信号或该核心信号(502)的一频谱包络取决于描述该核心信号(502)中的关于频率的该能量分布的值(501),
其中产生(200)一频率增强信号(130)包括使该频率增强信号(130)或该核心信号502)成形,使得对于描述一第一能量分布的一第一值,获得自该增强频率范围中的一第一频率至该增强频率范围中的一第二频率的一第一频谱包络减小,且使得对于描述一第二能量分布的一第二值,获得自该增强频率范围中的该第一频率至该增强频率范围中的该第二频率的一第二频谱包络减小,
其中该第二频率大于该第一频率,
其中该第二频谱包络减小大于该第一频谱包络减小,且
其中与该第二值相比,该第一值指示该核心信号在该核心信号的一较高频率处具有一能量集中。
14.一种用于处理音频信号的系统,包含:
一编码器(1500),用于产生一经编码的核心信号(110);以及
如权利要求1至12中任一项所述的用于产生一频率增强信号(130)的装置。
15.一种用于处理音频信号的方法,包含:
产生(1500)一经编码的核心信号(110);以及
根据如权利要求13所述的方法产生一频率增强信号(130)。
16.一种计算机可读介质,存储有计算机程序,用于在执行于一计算机或一处理器上时执行如权利要求13或权利要求15所述的方法。
CN201480006625.7A 2013-01-29 2014-01-28 用于使用增强信号成形技术产生频率增强信号的装置及方法 Active CN105103228B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361758090P 2013-01-29 2013-01-29
US61/758,090 2013-01-29
PCT/EP2014/051599 WO2014118159A1 (en) 2013-01-29 2014-01-28 Apparatus and method for generating a frequency enhanced signal using shaping of the enhancement signal

Publications (2)

Publication Number Publication Date
CN105103228A CN105103228A (zh) 2015-11-25
CN105103228B true CN105103228B (zh) 2019-04-09

Family

ID=50029033

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480019085.6A Active CN105229738B (zh) 2013-01-29 2014-01-28 用于使用能量限制操作产生频率增强信号的装置及方法
CN201480019526.2A Active CN105264601B (zh) 2013-01-29 2014-01-28 用于使用次频带时间平滑技术产生频率增强信号的装置及方法
CN201480006625.7A Active CN105103228B (zh) 2013-01-29 2014-01-28 用于使用增强信号成形技术产生频率增强信号的装置及方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201480019085.6A Active CN105229738B (zh) 2013-01-29 2014-01-28 用于使用能量限制操作产生频率增强信号的装置及方法
CN201480019526.2A Active CN105264601B (zh) 2013-01-29 2014-01-28 用于使用次频带时间平滑技术产生频率增强信号的装置及方法

Country Status (20)

Country Link
US (4) US9640189B2 (zh)
EP (4) EP3136386B1 (zh)
JP (3) JP6289507B2 (zh)
KR (3) KR101757349B1 (zh)
CN (3) CN105229738B (zh)
AR (3) AR094670A1 (zh)
AU (3) AU2014211529B2 (zh)
BR (3) BR112015017632B1 (zh)
CA (3) CA2899080C (zh)
ES (3) ES2914614T3 (zh)
HK (2) HK1218019A1 (zh)
MX (3) MX351191B (zh)
MY (3) MY172710A (zh)
PL (1) PL2951825T3 (zh)
PT (1) PT2951825T (zh)
RU (3) RU2625945C2 (zh)
SG (3) SG11201505883WA (zh)
TW (2) TWI529701B (zh)
WO (3) WO2014118161A1 (zh)
ZA (2) ZA201506268B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015017632B1 (pt) 2013-01-29 2022-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Aparelho e método para gerar um sinal melhorado da frequência utilizando nivelamento temporal de sub-bandas
TWI557727B (zh) 2013-04-05 2016-11-11 杜比國際公司 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品
US9418671B2 (en) * 2013-08-15 2016-08-16 Huawei Technologies Co., Ltd. Adaptive high-pass post-filter
US10146500B2 (en) * 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
CN109841223B (zh) * 2019-03-06 2020-11-24 深圳大学 一种音频信号处理方法、智能终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669073A (zh) * 2002-07-19 2005-09-14 日本电气株式会社 音频解码设备以及解码方法和程序
CN1766993A (zh) * 2000-11-14 2006-05-03 编码技术股份公司 利用自适应滤波改善高频重建编码方法的感知性能
CN102436820A (zh) * 2010-09-29 2012-05-02 华为技术有限公司 高频带信号编码方法及装置、高频带信号解码方法及装置
CN102549658A (zh) * 2010-08-03 2012-07-04 索尼公司 信号处理设备、方法和程序
CN103026407A (zh) * 2010-05-25 2013-04-03 诺基亚公司 带宽扩展器

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2009A (en) * 1841-03-18 Improvement in machines for boring war-rockets
US5765127A (en) * 1992-03-18 1998-06-09 Sony Corp High efficiency encoding method
US5581653A (en) 1993-08-31 1996-12-03 Dolby Laboratories Licensing Corporation Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder
US20020002455A1 (en) 1998-01-09 2002-01-03 At&T Corporation Core estimator and adaptive gains from signal to noise ratio in a hybrid speech enhancement system
US7197458B2 (en) 2001-05-10 2007-03-27 Warner Music Group, Inc. Method and system for verifying derivative digital files automatically
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
CN1950883A (zh) 2004-04-30 2007-04-18 松下电器产业株式会社 可伸缩性解码装置及增强层丢失的隐藏方法
JP4168976B2 (ja) * 2004-05-28 2008-10-22 ソニー株式会社 オーディオ信号符号化装置及び方法
JP4771674B2 (ja) 2004-09-02 2011-09-14 パナソニック株式会社 音声符号化装置、音声復号化装置及びこれらの方法
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US8249861B2 (en) * 2005-04-20 2012-08-21 Qnx Software Systems Limited High frequency compression integration
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
WO2008062990A1 (en) 2006-11-21 2008-05-29 Samsung Electronics Co., Ltd. Method, medium, and system scalably encoding/decoding audio/speech
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
JP5618826B2 (ja) * 2007-06-14 2014-11-05 ヴォイスエイジ・コーポレーション Itu.t勧告g.711と相互運用可能なpcmコーデックにおいてフレーム消失を補償する装置および方法
US8209190B2 (en) 2007-10-25 2012-06-26 Motorola Mobility, Inc. Method and apparatus for generating an enhancement layer within an audio coding system
CA2705968C (en) * 2007-11-21 2016-01-26 Lg Electronics Inc. A method and an apparatus for processing a signal
US8554550B2 (en) 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context processing using multi resolution analysis
DE102008015702B4 (de) * 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
US20090201983A1 (en) * 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
CN101335000B (zh) * 2008-03-26 2010-04-21 华为技术有限公司 编码的方法及装置
CN101281748B (zh) * 2008-05-14 2011-06-15 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
RU2443028C2 (ru) * 2008-07-11 2012-02-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Устройство и способ расчета параметров расширения полосы пропускания посредством управления фреймами наклона спектра
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
MX2011000375A (es) * 2008-07-11 2011-05-19 Fraunhofer Ges Forschung Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada.
CA2730200C (en) * 2008-07-11 2016-09-27 Max Neuendorf An apparatus and a method for generating bandwidth extension output data
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
US8352279B2 (en) * 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
TWI413109B (zh) 2008-10-01 2013-10-21 Dolby Lab Licensing Corp 用於上混系統之解相關器
TWI419148B (zh) 2008-10-08 2013-12-11 Fraunhofer Ges Forschung 多解析度切換音訊編碼/解碼方案
FR2938688A1 (fr) 2008-11-18 2010-05-21 France Telecom Codage avec mise en forme du bruit dans un codeur hierarchique
RU2523035C2 (ru) * 2008-12-15 2014-07-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Аудио кодер и декодер, увеличивающий полосу частот
PL4231291T3 (pl) * 2008-12-15 2024-04-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy
US8153010B2 (en) 2009-01-12 2012-04-10 American Air Liquide, Inc. Method to inhibit scale formation in cooling circuits using carbon dioxide
EP2214161A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
CA3076203C (en) * 2009-01-28 2021-03-16 Dolby International Ab Improved harmonic transposition
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
JP4892021B2 (ja) * 2009-02-26 2012-03-07 株式会社東芝 信号帯域拡張装置
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
BRPI1004215B1 (pt) * 2009-04-08 2021-08-17 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Aparelho e método para upmixagem de sinal de áudio downmix utilizando uma atenuação de valor de fase
US8392200B2 (en) * 2009-04-14 2013-03-05 Qualcomm Incorporated Low complexity spectral band replication (SBR) filterbanks
ES2400661T3 (es) * 2009-06-29 2013-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificación y decodificación de extensión de ancho de banda
US9026236B2 (en) * 2009-10-21 2015-05-05 Panasonic Intellectual Property Corporation Of America Audio signal processing apparatus, audio coding apparatus, and audio decoding apparatus
CN102612712B (zh) 2009-11-19 2014-03-12 瑞典爱立信有限公司 低频带音频信号的带宽扩展
KR20140026229A (ko) 2010-04-22 2014-03-05 퀄컴 인코포레이티드 음성 액티비티 검출
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
CN103460286B (zh) * 2011-02-08 2015-07-15 Lg电子株式会社 带宽扩展的方法和设备
US8908377B2 (en) * 2011-07-25 2014-12-09 Ibiden Co., Ltd. Wiring board and method for manufacturing the same
US20130259254A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Systems, methods, and apparatus for producing a directional sound field
BR112015017632B1 (pt) 2013-01-29 2022-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Aparelho e método para gerar um sinal melhorado da frequência utilizando nivelamento temporal de sub-bandas

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766993A (zh) * 2000-11-14 2006-05-03 编码技术股份公司 利用自适应滤波改善高频重建编码方法的感知性能
CN1669073A (zh) * 2002-07-19 2005-09-14 日本电气株式会社 音频解码设备以及解码方法和程序
CN103026407A (zh) * 2010-05-25 2013-04-03 诺基亚公司 带宽扩展器
CN102549658A (zh) * 2010-08-03 2012-07-04 索尼公司 信号处理设备、方法和程序
CN102436820A (zh) * 2010-09-29 2012-05-02 华为技术有限公司 高频带信号编码方法及装置、高频带信号解码方法及装置

Also Published As

Publication number Publication date
SG11201505883WA (en) 2015-08-28
MY172710A (en) 2019-12-11
EP3136386A1 (en) 2017-03-01
AU2014211529A1 (en) 2015-09-17
CA2899080A1 (en) 2014-08-07
ES2905846T3 (es) 2022-04-12
HK1218020A1 (zh) 2017-01-27
AU2014211528B2 (en) 2016-10-20
KR20150108395A (ko) 2015-09-25
TW201443887A (zh) 2014-11-16
BR112015017632A2 (pt) 2018-05-02
US9640189B2 (en) 2017-05-02
CN105103228A (zh) 2015-11-25
PL2951825T3 (pl) 2022-03-14
BR112015017868B1 (pt) 2022-02-15
EP2951825A1 (en) 2015-12-09
HK1218019A1 (zh) 2017-01-27
BR112015017632B1 (pt) 2022-06-07
US20150332707A1 (en) 2015-11-19
CN105229738A (zh) 2016-01-06
US9552823B2 (en) 2017-01-24
CA2899072C (en) 2017-12-19
KR101762225B1 (ko) 2017-07-28
TWI524332B (zh) 2016-03-01
BR112015017866A2 (pt) 2018-05-08
BR112015017866B1 (pt) 2021-12-21
CN105264601A (zh) 2016-01-20
US20150332697A1 (en) 2015-11-19
ZA201506265B (en) 2016-07-27
CN105229738B (zh) 2019-07-26
AU2014211528A1 (en) 2015-09-03
MX2015009598A (es) 2015-11-25
PT2951825T (pt) 2022-02-02
TW201435860A (zh) 2014-09-16
AR094670A1 (es) 2015-08-19
JP6289507B2 (ja) 2018-03-07
WO2014118161A1 (en) 2014-08-07
SG11201505906RA (en) 2015-08-28
WO2014118159A1 (en) 2014-08-07
AR094671A1 (es) 2015-08-19
CN105264601B (zh) 2019-05-31
RU2608447C1 (ru) 2017-01-18
ES2914614T3 (es) 2022-06-14
RU2624104C2 (ru) 2017-06-30
CA2899080C (en) 2018-10-02
US20150332706A1 (en) 2015-11-19
KR20150109416A (ko) 2015-10-01
MX2015009597A (es) 2015-11-25
KR20150114483A (ko) 2015-10-12
RU2015136799A (ru) 2017-03-13
AU2014211529B2 (en) 2016-12-22
JP2016510429A (ja) 2016-04-07
ZA201506268B (en) 2016-11-30
MX2015009536A (es) 2015-10-30
RU2625945C2 (ru) 2017-07-19
WO2014118160A1 (en) 2014-08-07
CA2899072A1 (en) 2014-08-07
EP3136386B1 (en) 2021-10-20
EP2951826B1 (en) 2022-04-20
JP2016507080A (ja) 2016-03-07
MX346944B (es) 2017-04-06
MY185159A (en) 2021-04-30
ES2899781T3 (es) 2022-03-14
JP2016510428A (ja) 2016-04-07
AU2014211527A1 (en) 2015-08-06
KR101787497B1 (ko) 2017-10-18
AR094672A1 (es) 2015-08-19
MX346945B (es) 2017-04-06
KR101757349B1 (ko) 2017-07-14
BR112015017868A2 (zh) 2017-08-22
US10354665B2 (en) 2019-07-16
JP6321684B2 (ja) 2018-05-09
SG11201505908QA (en) 2015-09-29
JP6301368B2 (ja) 2018-03-28
CA2899078C (en) 2018-09-25
AU2014211527B2 (en) 2017-03-30
US9741353B2 (en) 2017-08-22
MY172161A (en) 2019-11-15
MX351191B (es) 2017-10-04
RU2015136768A (ru) 2017-03-10
EP2951826A1 (en) 2015-12-09
EP2951827A1 (en) 2015-12-09
TWI529701B (zh) 2016-04-11
EP2951825B1 (en) 2021-11-24
CA2899078A1 (en) 2014-08-07
US20170323651A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
CN105103228B (zh) 用于使用增强信号成形技术产生频率增强信号的装置及方法
TWI544482B (zh) 用於使用能量限制操作產生頻率增強信號之裝置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant