CN110634503A - 用于信号处理的方法和设备 - Google Patents

用于信号处理的方法和设备 Download PDF

Info

Publication number
CN110634503A
CN110634503A CN201910859726.3A CN201910859726A CN110634503A CN 110634503 A CN110634503 A CN 110634503A CN 201910859726 A CN201910859726 A CN 201910859726A CN 110634503 A CN110634503 A CN 110634503A
Authority
CN
China
Prior art keywords
signal
band
encoder
low
harmonically extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910859726.3A
Other languages
English (en)
Other versions
CN110634503B (zh
Inventor
文卡特拉曼·S·阿提
文卡特什·克里希南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201910859726.3A priority Critical patent/CN110634503B/zh
Publication of CN110634503A publication Critical patent/CN110634503A/zh
Application granted granted Critical
Publication of CN110634503B publication Critical patent/CN110634503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Amplitude Modulation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请涉及用于信号处理的方法和设备。一种方法包含基于音频信号的高频带部分产生高频带残余信号。所述方法还包含至少部分基于所述音频信号的低频带部分产生经谐波扩展信号。所述方法进一步包含基于所述高频带残余信号、所述经谐波扩展信号和经调制噪声确定混合因子。所述经调制噪声至少部分基于所述经谐波扩展信号和白噪声。

Description

用于信号处理的方法和设备
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2014年10月09日、申请号为201480055318.8、发明名称为“用于信号处理的方法和设备”的发明专利申请案。
主张优先权
本申请案主张2013年10月11日递交的标题为“用于产生高频带激励信号的混合因子的估计”的第61/889,727号美国临时专利申请案以及2014年10月8日递交的标题为“用于产生高频带激励信号的混合因子的估计”的第14/509,676号美国非临时专利申请案的优先权，所述申请案的内容以引用的方式全文并入。
技术领域
本发明大体上涉及信号处理。
背景技术
技术的进步已经产生了更小且更强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线计算装置，例如便携式无线电话、个人数字助理(PDA)和寻呼装置，其体积小、重量轻且易于由用户携带。更具体来说，例如蜂窝电话和因特网协议(IP)电话等便携式无线电话可经由无线网路传达语音和数据包。另外，许多此类无线电话包含并入其中的其它类型的装置。举例来说，无线电话还可包含数字静态相机、数码摄像机、数字记录器和音频文件播放器。
在传统电话系统(例如，公共交换电话网路(PSTN))中，信号频宽限于300赫兹(Hz)至3.4千赫兹(kHz)的频率范围。在例如蜂窝式电话和因特网语音协议(VoIP)等宽带(WB)应用中，信号带宽可横跨50Hz到7kHz的频率范围。超宽带(SWB)译码技术支持扩展到16kHz左右的带宽。将信号带宽从3.4kHz的窄带电话扩展到16kHz的SWB电话可改进信号重构的质量、可懂度和自然度。
SWB译码技术通常涉及编码和发射信号的较低频率部分(例如，50Hz到7kHz，也被称为“低频带”)。举例来说，可使用滤波器参数和/或低频带激励信号表示低频带。然而，为了改进译码效率，信号的较高频率部分(例如，7kHz到16kHz，也被称为“高频带”)可不完全经编码和发射。实际上，接收器可利用信号建模以预测高频带。在一些实施方案中，可将与高频带相关联的数据提供到接收器以辅助预测。此类数据可被称为“辅助信息”并且可以包含到子帧、增益信息、线谱频率(LSF，也被称作线谱对(LSP))等之间的平稳演变的混合因子。当低频带信号与高频带信号充分相关时，使用信号模型的高频带预测可在可接受范围内是精确的。然而，在存在噪声的情况下，低频带与高频带之间的相关性可能较弱，且信号模型可能不再能够精确地表示高频带。此情形可导致接收器处的伪声(例如，失真话音)。
发明内容
揭示了使用闭环分析估计混合因子的系统和方法。高频带编码可涉及从使用低频带分析(例如，低频带线性预测(LP)分析)产生的低频带激励信号中产生高频带激励信号。高频带激励信号可通过将经谐波扩展信号与经调制噪声(例如，白噪声)混合而产生。经谐波扩展信号和经调制噪声混合的比率可影响信号重构质量。在背景噪声的存在下，低频带与高频带之间的相关性可能受损并且经谐波扩展信号可能不适合用于高频带合成。举例来说，高频带激励信号可能引入由独立于高频带的帧内的低频带波动引起的听觉伪声。根据所描述的技术，可基于高频带的信号表示(例如，高频带残余信号)调整经谐波扩展信号与经调制噪声混合的比率。举例来说，本文中描述的技术可允许用于确定经谐波扩展信号与经调制噪声混合的比率的混合因子的闭环估计。闭环估计可减少(例如，降到最小)高频带激励信号与高频带残余信号之间的差值，因此产生不太易受低频带中的波动的影响且更多的表示高频带的高频带激励信号。
在特定实施例中，方法包含在话音编码器处基于音频信号的高频带部分产生高频带残余信号。所述方法还包含至少部分基于音频信号的低频带部分产生经谐波扩展信号。所述方法进一步包含基于高频带残余信号、经谐波扩展信号和经调制噪声确定混合因子。经调制噪声至少部分基于经谐波扩展信号和白噪声。
在另一个特定实施例中，设备包含线性预测分析滤波器以基于音频信号的高频带部分产生高频带残余信号。所述设备还包含非线性变换产生器以至少部分基于音频信号的低频带部分产生经谐波扩展信号。所述设备进一步包含混合因子计算器以基于高频带残余信号、经谐波扩展信号和经调制噪声确定混合因子。经调制噪声至少部分基于经谐波扩展信号和白噪声。
在另一个特定实施例中，非暂时性计算机可读媒体包含指令，在由处理器执行时所述指令使所述处理器基于音频信号的高频带部分产生高频带残余信号。所述指令还可执行以使所述处理器至少部分基于音频信号的低频带部分产生经谐波扩展信号。所述指令还可执行以使所述处理器基于高频带残余信号、经谐波扩展信号和经调制噪声确定混合因子。经调制噪声至少部分基于经谐波扩展信号和白噪声。
在另一特定实施例中，设备包含用于基于音频信号的高频带部分产生高频带残余信号的装置。所述设备还可含用于至少部分基于音频信号的低频带部分产生经谐波扩展信号的装置。所述设备进一步包含用于基于高频带残余信号、经谐波扩展信号和经调制噪声确定混合因子的装置。经调制噪声至少部分基于经谐波扩展信号和白噪声。
在另一特定实施例中，方法包含在话音解码器处接收包含低频带激励信号和高频带旁侧信息的经编码的信号。高频带旁侧信息包含基于高频带残余信号、经谐波扩展信号和经调制噪声确定的混合因子。所述方法还包含基于高频带旁侧信息和低频带激励信号产生高频带激励信号。
在另一特定实施例中，设备包含话音解码器，其经配置以接收包含低频带激励信号和高频带旁侧信息的经编码的信号。高频带旁侧信息包含基于高频带残余信号、经谐波扩展信号和经调制噪声确定的混合因子。话音解码器进一步经配置以基于高频带旁侧信息和低频带激励信号产生高频带激励信号。
在另一特定实施例中，方法包含用于接收经编码的信号的装置，所述经编码的信号包含低频带激励信号和高频带旁侧信息。高频带旁侧信息包含基于高频带残余信号、经谐波扩展信号和经调制噪声确定的混合因子。所述设备还包含用于基于高频带旁侧信息和低频带激励信号产生高频带激励信号的装置。
在另一特定实施例中，非暂时性计算机可读媒体包含指令，在由处理器执行时所述指令使所述处理器接收包含低频带激励信号和高频带旁侧信息的经编码的信号。高频带旁侧信息包含基于高频带残余信号、经谐波扩展信号和经调制噪声确定的混合因子。所述指令还可执行以使所述处理器基于高频带旁侧信息和低频带激励信号产生高频带激励信号。
由所揭示的实施例中的至少一个提供的特定优势包含基于来自高频带的特征动态地调整在高频带合成期间使用的混合因子的能力。举例来说，可使用闭环分析确定混合因子以减少在高频带合成期间使用的高频带残余信号与高频带激励信号之间的误差。本发明的其它方面、优势和特征将在审阅全部申请案之后变得显而易见，所述全部申请案包含以下章节：附图说明、具体实施方式和权利要求书。
附图说明
图1是为了说明可操作以估计混合因子的系统的特定实施例的图式；
图2是为了说明可操作以估计混合因子以产生高频带激励信号的系统的特定实施例的图式；
图3是为了说明可操作以使用闭环分析估计混合因子以产生高频带激励信号的系统的另一特定实施例的图式；
图4是为了说明可操作以使用混合因子再现音频信号的系统的特定实施例的图式；
图5包含为了说明用于使用混合因子再现高频带信号的方法的特定实施例的流程图；以及
图6是可操作以执行根据图1-5的系统和方法的信号处理操作的无线装置的框图。
具体实施方式
参考图1，示出了可操作以估计混合因子(例如，使用闭环分析)的系统的特定实施例且一般指示为100。在特定实施例中，系统100可集成到编码系统或设备中(例如，无线电话或译码器/解码器(CODEC)中)。在其它特定实施例中，系统100可以集成到机顶盒、音乐播放器、视频播放器、娱乐单元、导航装置、通信装置、PDA、固定位置数据单元或计算机中。
应注意，在以下描述中，将由图1的系统100执行的各种功能描述为由特定组件或模块执行。然而，组件和模块的此划分仅为了说明。在替代实施例中，由特定组件或模块执行的功能可实际上划分为多个组件或模块。此外，在替代实施例中，图1的两个或两个以上组件或模块可集成到单个组件或模块中。可使用硬件(例如，现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、数字信号处理器(DSP)、控制器等)、软件(例如，可由处理器执行的指令)或其任何组合实施图1中所说明的每一组件或模块。
系统100包含经配置以接收输入音频信号102的分析滤波器组110。举例来说，输入音频信号102可由麦克风或其它输入装置提供。在特定实施例中，输入音频信号102可包含话音。输入音频信号102可以是包含在从近似50Hz到近似16kHz的频率范围中的数据的SWB信号。分析滤波器组110可基于频率将输入音频信号102滤波成多个部分。举例来说，分析滤波器组110可产生低频带信号122和高频带信号124。低频带信号122和高频带信号124可具有相等或不相等带宽，且可重叠或不重叠。在替代实施例中，分析滤波器组110可产生两个以上输出。
在图1的实例中，低频带信号122和高频带信号124占据非重叠频带。举例来说，低频带信号122和高频带信号124可占据50Hz-7kHz和7kHz-16kHz的非重叠频带。在替代实施例中，低频带信号122和高频带信号124可分别占据50Hz-8kHz和8kHz-16kHz的非重叠频带。在另一替代实施例中，低频带信号122与高频带信号124重叠(例如，50Hz-8kHz和7kHz-16kHz)，其可使分析滤波器组110的低通滤波器和高通滤波器具有平滑滚边，这可简化设计且降低低通滤波器和高通滤波器的成本。重叠低频带信号122和高频带信号124还可允许接收器处低频带和高频带信号的平滑掺合，此情形可导致较少可听见伪声。
应注意，尽管图1的实例说明SWB信号的处理，但这仅为了说明。在替代实施例中，输入音频信号102可为具有近似50Hz到约8kHz的频率范围的WB信号。在此实施例中，低频带信号122可对应于近似50Hz到近似6.4kHz的频率范围且高频带信号124可对应于近似6.4kHz到近似8kHz的频率范围。
系统100可包含经配置以接收低频带信号122的低频带分析模块130。在特定实施例中，低频带分析模块130可表示码激励线性预测(CELP)编码器的实施例。低频带分析模块130可以包含LP分析和译码模块132、线性预测系数(LPC)到LSP变换模块134以及量化器136。LSP也可被称作LSF，且所述两个术语(LSP和LSF)在本文可以可互换地使用。LP分析和译码模块132可将低频带信号122的频谱包络编码成LPC的集合。可针对音频的每一帧(例如，在16kHz的取样速率下对应于320个样本的20毫秒(ms)的音频)、音频的每一子帧(例如，5ms的音频)或其任何组合产生LPC。可由所执行的LP分析的“阶数”确定针对每一帧或子帧所产生的LPC的数目。在特定实施例中，LP分析和译码模块132可产生对应于第十阶LP分析的十一个LPC的集合。
LPC到LSP变换模块134可将由LP分析和译码模块132所产生的LPC的集合变换成对应LSP集合(例如，使用一对一变换)。替代地，LPC的集合可经一对一变换成部分自相关系数、对数面积比率值、导谱对(ISP)或导谱频(ISF)的对应集合。LPC集合与LSP集合之间的变换可为可逆的而不存在误差。
量化器136可量化由变换模块134所产生的LSP集合。举例来说，量化器136可包含或耦合到包含多个条目(例如，向量)的多个码簿。为了量化LSP集合，量化器136可识别“最接近”(例如，基于例如最小平方或均方误差等失真量度)LSP集合的码簿的条目。量化器136可输出对应于码簿中所识别条目的位置的索引值或一系列索引值。因此，量化器136的输出可表示包含于低频带位流142中的低频带滤波器参数。
低频带分析模块130还可产生低频带激励信号144。举例来说，低频带激励信号144可为通过量化在由低频带分析模块130所执行的LP过程期间所产生的LP残余信号而产生的经编码信号。LP残余信号可表示预测误差。
系统100可进一步包含高频带分析模块150，其经配置以从分析滤波器组110接收高频带信号124，且从低频带分析模块130接收低频带激励信号144。高频带分析模块150可基于高频带信号124和低频带激励信号144产生高频带旁侧信息172。举例来说，高频带旁侧信息172可以包含高频带LSP、增益信息和混合因子(α)，如本文进一步描述。
高频带分析模块150可包含高频带激励产生器160。高频带激励产生器160可通过将低频带激励信号144的频谱扩展到高频带频率范围(例如，7kHz-16kHz)中而产生高频带激励信号161。为了说明，高频带激励产生器160可对低频带激励信号144应用变换(例如，非线性变换，比如绝对值或平方运算)，且可将经谐波扩展信号与噪声信号(例如，根据对应于低频带激励信号144的包络而调制的白噪声，其模拟低频带信号122的缓慢变化的时间特征)混合来产生高频带激励信号161。举例来说，所述混合可根据以下等式执行：
高频带激励＝(α*经谐波扩展的)+((1-α)*调制的噪声)
经谐波扩展信号与经调制噪声混合的比率可影响接收器处的高频带重构质量。对于有声话音信号，所述混合可朝向经谐波扩展的偏置(例如，混合因子α可在0.5到1.0的范围内)。对于无声信号，所述混合可朝向经调制噪声偏置(例如，混合因子α可在0.0到0.5的范围内)。
在一些情况下，经谐波扩展信号可能由于高频带信号124与有噪声低频带信号122之间的不充分相关而不适于用于高频带合成。举例来说，低频带信号122(以及因此经谐波扩展信号)可以包含在高频带信号124中可能无法被模仿的频繁波动。通常，可以基于模拟与有声声音相关联的特定帧的强度以及与无声声音相关联的特定帧的强度的低频带有声参数确定混合因子α。然而，在存在噪声的情况下，以此方式确定混合因子α可引起每子帧的宽波动。举例来说，由于噪声，针对四个连续子帧的混合因子α可为0.9、0.25、0.8和0.15，从而导致嗡嗡声或调制伪声。此外，可存在大量量化失真。
因此，高频带激励产生器160可以包含混合因子计算器162以估计混合因子α，如相对于图2-3所描述。举例来说，混合因子计算器162可以基于高频带信号124的特征产生混合因子(α)。举例来说，高频带信号124的残余可用于估计混合因子(α)。在特定实施例中，混合因子计算器162可以产生降低高频带信号124的残余与高频带激励信号161之间的差值的均方误差的混合因子(α)。高频带信号124的残余可以通过在高频带信号124上执行线性预测分析而产生(例如，通过对高频带信号124的频谱包络进行编码)以产生LPC的集合。举例来说，高频带分析模块150还可包含LP分析和译码模块152、LPC到LSP变换模块154和量化器156。LP分析和译码模块152可以产生LPC的集合。LPC的集合可以通过变换模块154变换到LSP并且基于码簿163通过量化器156来量化。
高频带激励信号161可用于确定包含于高频带旁侧信息172中的一或多个高频带增益参数。LP分析和译码模块152、变换模块154和量化器156中的每一者可如上文参考低频带分析模块130的对应组件所描述但以相对减小的分辨率(例如，对于每一系数使用较少位、LSP等)起作用。LP分析和译码模块152可产生由变换模块154变换到LSP并由量化器156基于码簿163量化的LPC的集合。举例来说，LP分析和译码模块152、变换模块154和量化器156可使用高频带信号124来确定包含于高频带旁侧信息172中的高频带滤波器信息(例如，高频带LSP)。在特定实施例中，高频带旁侧信息172可以包含高频带LSP、高频带增益参数和混合因子(α)。
低频带位流142和高频带旁侧信息172可由多路复用器(MUX)180进行多路复用以产生输出位流192。输出位流192可表示对应于输入音频信号102的经编码音频信号。举例来说，可发射(例如，经由有线、无线或光学信道)和/或存储输出位流192。在接收器处，反向操作可由多路分用器(DEMUX)、低频带解码器、高频带解码器和滤波器组执行以产生音频信号(例如，经提供到扬声器或其它输出装置的输入音频信号102的经重构版本)。用于表示低频带位流142的位数目可大体上大于用于表示高频带旁侧信息172的位数目。因此，输出位流192中的大部分位可表示低频带数据。高频带旁侧信息172可用于接收器处以根据信号模型从低频带数据重新产生高频带激励信号。举例来说，信号模型可表示低频带数据(例如，低频带信号122)与高频带数据(例如，高频带信号124)之间的关系或相关的预期集合。因此，不同信号模型可用于不同种类的音频数据(例如，话音、音乐等)，且在使用中的特定信号模型在传送经编码音频数据之前可由发射器和接收器协商(或由业界标准界定)。使用信号模型，发射器处的高频带分析模块150可能够产生高频带旁侧信息172，使得接收器处的对应高频带分析模块能够使用信号模型从输出位流192重构高频带信号124。
量化器156可经配置以量化例如变换模块154提供的LSP等频谱频率值的集合。在其它实施例中，量化器156可接收并量化除LSF或LSP外或替代LSF或LSP的一或多个其它类型的频谱频率值的集合。举例来说，量化器156可以接收和量化由LP分析和译码模块152产生的LPC的集合。其它实例包含可在量化器156处经接收并量化的部分自相关系数、对数面积比率值及ISF的集合。量化器156可包含向量量化器，其将输入向量(例如，呈向量格式的频谱频率值的集合)编码为到表或例如码簿163等码簿中的对应条目的索引。作为另一实例，量化器156可经配置以确定一或多个参数，可在解码器处例如在稀疏码簿实施例中从所述一或多个参数动态地产生输入向量，而非从存储装置检索。为了说明，稀疏码簿实例可根据业界标准例如3GPP2(第三代合作伙伴2)EVRC(增强型变化速率编码解码器)应用于例如CELP及编码解码器的译码方案中。在另一实施例中，高频带分析模块150可包含量化器156且可经配置以使用若干码簿向量来产生合成信号(例如，根据过滤器参数的集合)，且选择例如在感知加权域中与高频带信号124最佳匹配的与合成信号相关联的码簿向量中的一者。
系统100可以减少可能由于时间和增益参数的过度估计而出现的伪声。举例来说，混合因子计算器162可使用闭环分析来确定混合因子(α)以改进在高频带预测期间高频带估计的精确性。改进高频带估计的精确性可减少在增大的噪声降低低频带与高频带之间的相关性的情境中的伪声。高频带分析模块150可预测高频带的高频带使用特征(例如，高频带残余信号)并且估计混合因子(α)以产生对高频带残余信号进行建模的高频带激励信号161。高频带分析模块150可将混合因子(α)连同其它高频带旁侧信息172一起发射到接收器，这可允许接收器执行与重构输入音频信号102相反的操作。
参考图2，示出了系统200的特定说明性实施例，所述系统可操作以估计混合因子以产生高频带激励信号。系统200包含线性预测分析滤波器204、非线性变换产生器207、混合因子计算器212和混合器211。系统200可以使用图1的高频带分析模块150实施。在特定实施例中，混合因子计算器212可对应于图1的混合因子计算器162。
高频带信号124可以提供给线性预测分析滤波器204。线性预测分析滤波器204可经配置以基于高频带信号124(例如，输入音频信号102的高频带部分)产生高频带残余信号224。举例来说，线性预测分析滤波器204可对高频带信号124的频谱包络进行编码，作为用于预测高频带信号124的未来样本的LPC的集合。高频带残余信号224可用于预测高频带激励信号161的误差。高频带残余信号224可以提供给混合因子计算器212的第一输入。
低频带激励信号144可以提供给非线性变换产生器207。如相对于图1所描述，低频带激励信号144可以使用低频带分析模块130从低频带信号122(例如，输入音频信号102的低频带部分)中产生。非线性变换产生器207可经配置以基于低频带激励信号144产生经谐波扩展信号208。举例来说，非线性变换产生器207可在低频带激励信号144的帧上执行绝对值运算或平方运算以产生经谐波扩展信号208。
为了说明，非线性激励产生器207可对低频带激励信号144(例如，在近似0kHz到8kHz的范围内的8kHz信号)进行上取样以产生在近似0kHz到16kHz的范围内的16kHz信号(例如，具有近似低频带激励信号144的带宽的两倍的信号)。16kHz信号的低频带部分(例如，近似从0kHz到8kHz)可以具有大体上与低频带激励信号144类似的谐波，并且16kHz信号的高频带部分(例如，近似从8kHz到16kHz)可以基本上不含谐波。非线性变换产生器204可将16kHz信号的低频带部分中的“主要”谐波扩展到16kHz信号的高频带部分以产生经谐波扩展信号208。因此，经谐波扩展信号208可以是低频带激励信号144的经谐波扩展的版本，其使用非线性运算(例如，平方运算和/或绝对值运算)扩展成高频带。经谐波扩展信号208可以提供给包络追踪器202的输入，提供给混合因子计算器212的第二输入，以及提供给第一组合器254的第一输入。
包络追踪器202可经配置以接收经谐波扩展信号208并且计算对应于经谐波扩展信号208的低频带时域包络203。举例来说，包络追踪器202可经配置以计算经谐波扩展信号208的帧的每个样本的平方以产生平方值的序列。包络追踪器202可经配置以在平方值的序列上执行平滑化运算，例如，通过将第一阶无限脉冲响应(IIR)低通滤波器应用到平方值的序列。包络追踪器202可经配置以对经平滑序列的每一样本应用平方根函数以产生低频带时域包络203。低频带时域包络203可以提供给噪声组合器240的第一输入。
噪声组合器240可经配置以将低频带时域包络203与由白噪声产生器(未图示)产生的白噪声205组合以产生经调制噪声信号220。举例来说，组合器240可经配置以根据低频带时域包络203对白噪声205进行振幅调制。在特定实施例中，噪声组合器240可以实施为乘法器，其经配置以根据低频带时域包络203按比例调整白噪声205以产生经调制噪声信号220。经调制噪声信号220可以提供给混合计算器212的第三输入并且提供给第二组合器256的第一输入。
混合因子计算器212可经配置以基于高频带残余信号224、经谐波扩展信号208和经调制噪声信号220确定混合因子(α)。混合因子计算器212可确定混合因子(α)。举例来说，混合因子计算器212可基于高频带残余信号224与高频带激励信号161之间的差值的均方误差(E)确定混合因子(α)。高频带激励信号161可以根据以下等式表示：
其中
Figure BDA0002199356420000092
对应于高频带激励信号161，α对应于混合因子，
Figure BDA0002199356420000093
对应于经谐波扩展信号208，并且
Figure BDA0002199356420000094
对应于经调制噪声信号220。高频带残余信号224可以表示为RHB。
因此，误差(e)可对应于高频带残余信号224与高频带激励信号161之间的差值并且可以根据以下等式表示：
Figure BDA0002199356420000095
通过将等式1中所描述的高频带激励信号161的表达式代入到等式2中，误差(e)可以表示为高频带残余信号224与高频带激励信号161之间的差值，并且可以根据以下等式表示：
Figure BDA0002199356420000101
因此，高频带残余信号224与高频带激励信号161之间的差值的均方误差(E)可以根据以下等式表示：
Figure BDA0002199356420000102
通过减小均方误差(E)(例如，将均方误差(E)设置成零)，可以使高频带激励信号161近似等于高频带残余信号224。通过最小化等式4中的均方误差(E)，混合因子(α)可以根据以下等式表示：
Figure BDA0002199356420000103
在特定实施例中，在使用等式5计算混合因子(α)之前可以对高频带残余信号224和经谐波扩展信号208的能量进行正规化。混合因子(α)可以针对每个帧(或子帧)得到估计并且与输出位流192连同其它高频带旁侧信息172(例如，高频带LSP以及高频带增益参数)一起发射到接收器，如相对于图1所描述。
混合因子计算器212可以将估计的混合因子(α)提供给第一组合器254的第二输入并且提供给减法器252的输入。减法器252可以从一中减去混合因子(α)并且将差值(1-α)提供给第二组合器256的第二输入。第一组合器254可以实施为乘法器，其经配置以根据混合因子(α)按比例调整经谐波扩展信号208以产生第一按比例调整信号。第二组合器256可以实施为乘法器，其经配置以基于因子(1-α)按比例调整经调制噪声信号220以产生第二按比例调整信号。举例来说，第二组合器256可基于在减法器252处产生的差值(1-α)按比例调整经调制噪声信号220。第一按比例调整信号和第二按比例调整信号可以提供给混合器211。
混合器211可基于混合因子(α)、经谐波扩展信号208和经调制噪声信号220产生高频带激励信号161。举例来说，混合器211可组合(例如，添加)第一按比例调整信号和第二按比例调整信号以产生高频带激励信号161。
在特定实施例中，混合因子计算器212可经配置以产生混合因子(α)作为用于音频信号的每一帧的多个混合因子(α)。举例来说，可针对音频信号的帧产生四个混合因子α1、α2、α3、α4，且每一混合因子(α)可对应于帧的相应子帧。
图2的系统200可估计混合因子(α)以改进在高频带预测期间高频带估计的精确性。举例来说，混合因子计算器212可估计将产生近似相当于高频带残余信号224的高频带激励信号161的混合因子(α)。因此，在增大的噪声降低低频带与高频带之间的相关性的情境中，系统200可使用高频带的特征(例如，高频带残余信号224)预测高频带。将混合因子(α)连同其它高频带旁侧信息172一起发射到接收器可允许接收器执行相反操作以重构输入音频信号102。
参考图3，示出了系统300的另一特定说明性实施例，系统300可操作以使用闭环分析估计混合因子(α)以产生高频带激励信号。系统300包含包络追踪器202、线性预测分析滤波器204、非线性变换产生器207和噪声组合器240。
图3中的噪声组合器240的输出可以使用β乘法器304通过噪声按比例调整因子(β)按比例调整以产生经调制噪声信号220。β乘法器304是经调制白噪声与低频带激励的谐波扩展之间的幂标准化因子。经调制噪声信号220和经谐波扩展信号208可以提供给高频带激励产生器302。举例来说，经谐波扩展信号208可以提供给第一组合器254并且经调制噪声信号220可以提供给第二组合器220。
系统300可选择性地递增和/或递减混合因子(α)的值以找到降低(例如，最小化)高频带残余信号224与高频带激励信号161之间的差值的均方误差(E)的混合因子(α)，如相对于图2所描述。举例来说，线性预测分析滤波器204可将高频带残余信号224提供给误差检测电路306的第一输入。高频带激励产生器302可将高频带激励信号161提供给误差检测电路306的第二输入。误差检测电路306可根据等式3确定高频带残余信号224与高频带激励信号161之间的差值(e)。差值可以由误差信号368表示。误差信号368可以提供给误差最小化计算器308(例如，误差控制器)的输入。
误差最小化计算器308可根据等式4计算针对混合因子(α)的特定值的均方误差(E)。误差最小化计算器308可将信号370发送到高频带激励产生器302以选择性地递增或递减混合因子的特定值(α)以产生较小均方误差(E)。
在操作期间，误差最小化计算器308可基于第一混合因子(α1)计算第一均方误差(E1)。在特定实施例中，在计算第一均方误差(E1)之后，误差最小化计算器308可发送信号370到高频带激励产生器302以通过特定量递增第一混合因子(α1)以产生第二混合因子(α2)。误差最小化计算器308可基于第二混合因子(α2)计算第二均方误差(E2)，并且可以将信号370发送到高频带激励产生器302以通过特定量递增第二混合因子(α2)以产生第三混合因子(α3)。此过程可以重复以产生均方误差(E)的多个值。误差最小化计算器308可确定均方误差(E)的哪个值是最低值，并且混合因子(α)可对应于产生用于均方误差(E)的较低值的特定值。
在另一特定实施例中，在计算第一均方误差(E1)之后，误差最小化计算器308可发送信号370到高频带激励产生器302以通过特定量递减第一混合因子(α1)以产生第二混合因子(α2)。误差最小化计算器308可基于第二混合因子(α2)计算第二均方误差(E2)，并且可以将信号370发送到高频带激励产生器302以通过特定量递减第二混合因子(α2)以产生第三混合因子(α3)。此过程可以重复以产生均方误差(E)的多个值。误差最小化计算器308可确定均方误差(E)的哪个值是最低值，并且混合因子(α)可对应于产生用于均方误差(E)的较低值的特定值。
在特定实施例中，多个混合因子(α)可以用于音频信号的每一帧。举例来说，可针对音频信号的帧产生四个混合因子α1、α2、α3、α4，且每一混合因子(α)可对应于帧的相应子帧。混合因子(α)的值可以递增和/或递减以自适应地使单个帧内或跨越多个帧的混合因子(α)平滑以减少输出混合因子(α)的波动的发生和/或程度。为了说明，混合因子的第一值(α1)可对应于特定帧的第一子帧并且混合因子的第二值(α2)可对应于特定帧的第二子帧。混合因子的第三值(α3)可以至少部分基于混合因子的第一值(α1)和混合因子的第二值(α2)。
图3的系统300可使用闭环分析确定混合因子(α)以改进在高频带预测期间的高频带估计的精确性。举例来说，误差检测电路306和误差最小化计算器308可确定将产生小均方误差(E)的混合因子(α)的值(例如，产生紧密地模仿高频带残余信号224的高频带激励信号161)。因此，在增大的噪声降低低频带与高频带之间的相关性的情境中，系统300可使用高频带的特征(例如，高频带残余信号224)预测高频带。将混合因子(α)连同其它高频带旁侧信息172一起发射到接收器可允许接收器执行相反操作以重构输入音频信号102。
参考图4，示出了可操作以使用混合因子(α)再现音频信号的系统400的特定说明性实施例。系统400包含非线性变换产生器407、包络追踪器402、噪声组合器440、第一组合器454、第二组合器456、减法器452和混合器411。在特定实施例中，系统400可以集成到解码系统或设备中(例如，在无线电话或编码解码器中)。在其它特定实施例中，系统400可以集成到机顶盒、音乐播放器、视频播放器、娱乐单元、导航装置、通信装置、PDA、固定位置数据单元或计算机中。
非线性变换产生器407可经配置以接收图1的低频带激励信号144。举例来说，图1的低频带位流142可以包含低频带激励信号144，并且可以作为位流192发射到系统400。非线性变换产生器407可经配置以基于低频带激励信号144产生第二经谐波扩展信号408。举例来说，非线性变换产生器407可在低频带激励信号144的帧上执行绝对值运算或平方运算以产生第二经谐波扩展的信号408。在特定实施例中，非线性变换产生器407可以与图2的非线性变换产生器207大体上类似的方式操作。第二经谐波扩展信号408可以提供给包络追踪器402并且提供给第一组合器454。
包络追踪器402可经配置以接收第二经谐波扩展信号408并且计算对应于第二经谐波扩展信号408的第二低频带时域包络403。举例来说，包络追踪器402可经配置以计算第二经谐波扩展信号408的帧的每个样本的平方以产生平方值的序列。包络追踪器402可经配置以在平方值的序列上执行平滑化运算，例如，通过将第一阶IIR低通滤波器应用到平方值的序列。包络追踪器402可经配置以对经平滑序列的每一样本应用平方根函数以产生第二低频带时域包络403。在特定实施例中，包络追踪器402可以与图2的包络追踪器202大体上类似的方式操作。第二低频带时域包络403可以提供给噪声组合器440。
噪声组合器440可经配置以将第二低频带时域包络403与由白噪声产生器(未图示)产生的白噪声405组合以产生第二经调制噪声信号420。举例来说，噪声组合器440可经配置以根据第二低频带时域包络403对白噪声405进行振幅调制。在特定实施例中，噪声组合器440可以实施为乘法器，其经配置以根据第二低频带时域包络403按比例调整白噪声405的输出以产生第二经调制噪声信号420。在特定实施例中，噪声组合器440可以与图2的噪声组合器240大体上类似的方式操作。第二经调制噪声信号420可以提供给第二组合器456。
图2的混合因子(α)可以提供给第一组合器454并且提供给减法器452。举例来说，图1的高频带旁侧信息172可以包含混合因子(α)并且可以发射到系统400。减法器452可以从一中减去混合因子(α)并且将差值(1-α)提供给第二组合器256。第一组合器454可以实施为乘法器，其经配置以根据混合因子(α)按比例调整第二经谐波扩展的信号408以产生第一按比例调整信号。第二组合器454可以实施为乘法器，其经配置以基于因子(1-α)按比例调整经调制噪声信号420以产生第二按比例调整信号。举例来说，第二组合器454可基于在减法器452处产生的差值(1-α)按比例调整经调制噪声信号420。第一按比例调整信号和第二按比例调整信号可以提供给混合器411。
混合器411可基于混合因子(α)、第二经谐波扩展信号408和第二经调制噪声信号420产生第二高频带激励信号461。举例来说，混合器411可组合(例如，相加)第一按比例调整信号和第二按比例调整信号以产生第二高频带激励信号461。
图4的系统400可使用第二高频带激励信号461再现图1的高频带信号124。举例来说，系统400可通过经由高频带旁侧信息172接收混合因子(α)产生大体类似于图1-2的高频带激励信号161的第二高频带激励信号461。第二高频带激励信号461可经受线性预测系数合成操作以产生大体类似于高频带信号124的高频带信号。
参考图5，示出了用以说明用于使用混合因子(α)再现高频带信号的方法500、510的特定实施例的流程图。第一方法500可以通过图3的系统100-300执行。第二方法510可以通过图4的系统400执行。
第一方法500可以包含在502处基于音频信号的高频带部分产生高频带残余信号。举例来说，在图2中，线性预测分析滤波器204可基于高频带信号124(例如，输入音频信号102的高频带部分)产生高频带残余信号224。在特定实施例中，线性预测分析滤波器204可对高频带信号124的频谱包络进行编码作为用于预测高频带信号124的未来样本的LPC的集合。高频带残余信号224可用于预测高频带激励信号161的误差。
在504处，经谐波扩展信号可以至少基于音频信号的低频带部分产生。举例来说，图1的低频带激励信号144可以使用低频带分析模块130从低频带信号122(例如，输入音频信号102的低频带部分)中产生。图2的非线性变换产生器207可在低频带激励信号144上执行绝对值运算或平方运算以产生经谐波扩展信号208。
在506处，可以基于高频带残余信号、经谐波扩展信号和经调制噪声确定混合因子。举例来说，图2的混合因子计算器212可基于高频带残余信号224与高频带激励信号161之间的差值的均方误差(E)确定混合因子(α)。使用闭环分析，高频带激励信号161可以近似等于高频带残余信号224以有效地使均方误差(E)降到最小(例如，将均方误差(E)设置成零)。如相对于图2所解释，混合因子(α)可以表示为：
Figure BDA0002199356420000141
混合因子(α)可以发射到话音解码器。举例来说，图1的高频带旁侧信息172可以包含混合因子(α)。
第二方法510可以包含在512处在话音解码器处接收包含低频带激励信号和高频带旁侧信息的经编码的信号。举例来说，图4的非线性变换产生器407可接收图1的低频带激励信号144。图1的低频带位流142可以包含低频带激励信号144，并且可以作为位流192发射到系统400。第一组合器454和减法器452可接收高频带旁侧信息172。高频带旁侧信息172可以包含基于高频带残余信号224、经谐波扩展信号208和经调制噪声信号220确定的混合因子(α)。
在514处，高频带激励信号可以基于高频带旁侧信息和低频带激励信号产生。举例来说，图4的混合器411可基于混合因子(α)、第二经谐波扩展信号408和经调制噪声信号420产生第二高频带激励信号461。
图5的方法500、510可估计混合因子(α)(例如，使用闭环分析)以改进在高频带预测期间高频带估计的精确性并且可以使用混合因子(α)以重构高频带信号124。举例来说，混合因子计算器212可估计将产生近似相当于高频带残余信号224的高频带激励信号161的混合因子(α)。因此，在增大的噪声降低低频带与高频带之间的相关性的情境中，方法500可使用高频带的特征(例如，高频带残余信号224)预测高频带。将混合因子(α)连同其它高频带旁侧信息172一起发射到接收器可允许接收器执行相反操作以重构输入音频信号102。举例来说，第二高频带激励信号461可以大体类似于图1-2的高频带激励信号161产生。第二高频带激励信号461可经受线性预测系数合成操作以产生大体类似于高频带信号124的合成的高频带信号。
在特定实施例中，图5的方法500、510可以经由处理单元(例如，中央处理单元(CPU)、DSP或控制器)的硬件(例如，FPGA装置、ASIC等)实施、经由固件装置实施，或其任何组合。作为一个实例，可由执行指令的处理器来执行图5的方法500、510，如关于图6所描述。
参考图6，描绘无线通信装置的特定说明性实施例的框图，且将其一般指示为600。装置600包含耦接到存储器632的处理器610(例如，中央处理单元(CPU))。存储器632可包含可由处理器610和/或编码解码器634执行以执行本文中所揭示的方法和过程(例如，图5的方法500、510)的指令660。
在特定实施例中，根据所估计的混合因子编码解码器634可以包含混合因子估计系统682和解码系统684。在特定实施例中，混合因子估计系统682包含图1的混合因子计算器162的一或多个组件、图2的系统200的一或多个组件，和/或图3的系统300的一或多个组件。举例来说，混合因子估计系统682可执行与图1-3的系统100-300和图5的方法500相关联的编码操作。在特定实施例中，解码系统684可以包含图4的系统400的一或多个组件。举例来说，解码系统684可执行与图4的系统400和图5的方法510相关联的解码操作。混合因子估计系统682和/或解码系统684可以经由专用硬件(例如，电路)通过执行指令的处理器实施以执行一或多个任务，或其组合。
作为一个实例，存储器632或编码解码器634中的存储器690可为存储器装置，例如随机存取存储器(RAM)、磁阻随机存取存储器(MRAM)、自旋力矩转移MRAM(STT-MRAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘或压缩光盘只读存储器(CD-ROM)。存储器装置可以包含指令(例如，指令660或指令695)，当通过计算机(例如，编码解码器634中的处理器和/或处理器610)执行时所述指令可使计算机执行图5的方法500、510中的一个的至少一部分。作为一个实例，编码解码器634中的存储器632或存储器690可以是包含指令(例如，分别是指令660或指令695)的非暂时性计算机可读媒体，当通过计算机(例如，编码解码器634中的处理器和/或处理器610)执行时所述指令可使计算机执行图5的方法500、510中的一个的至少一部分。
装置600还可包含耦接到编码解码器634且耦接到处理器610的DSP 696。在特定实施例中，根据所估计的混合因子DSP 696可以包含混合因子估计系统697和解码系统698。在特定实施例中，混合因子估计系统697包含图1的混合因子计算器162的一或多个组件、图2的系统200的一或多个组件，和/或图3的系统300的一或多个组件。举例来说，混合因子估计系统697可执行与图1-3的系统100-300和图5的方法500相关联的编码操作。在特定实施例中，解码系统698可以包含图4的系统400的一或多个组件。举例来说，解码系统698可执行与图4的系统400和图5的方法510相关联的解码操作。混合因子估计系统697和/或解码系统698可以经由专用硬件(例如，电路)通过执行指令的处理器实施以执行一或多个任务，或其组合。
图6还示出了耦接到处理器610且耦接到显示器628的显示控制器626。编码解码器634可以耦接到处理器610，如图所示。扬声器636和麦克风638可以耦接到编解码器634。举例来说，麦克风638可产生图1的输入音频信号102，且编码解码器634可基于输入音频信号102产生输出位流192以供发射到接收器。作为另一实例，扬声器636可用于输出由编码解码器634从图1的输出位流192重构的信号，其中从发射器接收输出位流192。图6还指示无线控制器640可耦接到处理器610且耦接到无线天线642。
在特定实施例中，处理器610、显示器控制器626、存储器632、编码解码器634和无线控制器640包含于系统级封装或芯片上系统装置(例如，移动台调制解调器(MSM))622中。在特定实施例中，输入装置630(例如触摸屏和/或小键盘)和电源644耦接到芯片上系统装置622。此外，在特定实施例中，如图6中所说明，显示器628、输入装置630、扬声器636、麦克风638、无线天线642和电源644在芯片上系统装置622外部。然而，显示器628、输入装置630、扬声器636、麦克风638、无线天线642和电源644中的每一个可以耦接到芯片上系统装置622的组件，例如，接口或控制器。
结合所描述的实施例，揭示第一设备，其包含用于基于音频信号的高频带部分产生高频带残余信号的装置。举例来说，用于产生高频带残余信号的装置可以包含图1的分析滤波器组110、图1的LP分析和译码模块152、图2-3的线性预测分析滤波器204、图6的混合因子估计系统682、图6的编码解码器634、图6的混合因子估计系统697、图6的DSP 696、例如滤波器等经配置以产生高频带残余信号的一或多个装置(例如，在非暂时性计算机可读存储媒体处执行指令的处理器)，或其任何组合。
第一设备还可包含用于至少部分基于音频信号的低频带部分产生经谐波扩展信号的装置。举例来说，用于产生经谐波扩展信号的装置可以包含图1的分析滤波器组110、图1的低频带分析滤波器130及其组件、图2-3的非线性变换产生器207、图6的混合因子估计系统682、图6的混合因子估计系统697、图6的DSP 696、经配置以产生经谐波扩展信号的一或多个装置(例如，在非暂时性计算机可读存储媒体处执行指令的处理器)，或其任何组合。
第一设备还包含用于基于高频带残余信号、经谐波扩展信号和经调制噪声确定混合因子的装置。举例来说，用于确定混合因子的装置可以包含图1的高频带激励产生器160、图1的混合因子计算器162、图2的混合因子计算器212、图3的误差检测电路306、图3的误差最小化计算器308、图3的高频带激励产生器302、图6的混合因子估计系统682、图6的编码解码器634、图6的混合因子估计系统697、图6的DSP 696、经配置以确定混合因子的一或多个装置(例如，在非暂时性计算机可读存储媒体处执行指令的处理器)，或其任何组合。
结合所描述的实施例，第二设备包含用于接收包含低频带激励信号和高频带旁侧信息的经编码的信号的装置。高频带旁侧信息包含基于高频带残余信号、经谐波扩展信号和经调制噪声确定的混合因子。举例来说，用于接收经编码的信号的装置可以包含图4的非线性变换产生器407、图4的第一组合器454、图4的减法器452、图6的编码解码器634、图6的解码系统684、图6的解码系统698、图6的DSP 696、经配置以接收经编码的信号的一或多个装置(例如，在非暂时性计算机可读存储媒体处执行指令的处理器)，或其任何组合。
第二设备还可包含用于基于高频带旁侧信息和低频带激励信号产生高频带激励信号的装置。举例来说，用于产生高频带激励信号的装置可以包含图4的非线性变换产生器407、图4的包络追踪器402、图4的噪声组合器440、图4的第一组合器454、图4的第二组合器456、图4的减法器452、图4的混合器411、图6的编码解码器634、图6的解码系统684、图6的解码系统698、图6的DSP 696、经配置以产生高频带激励信号的一或多个装置(例如，在非暂时性计算机可读存储媒体处执行指令的处理器)，或其任何组合。
所属领域的技术人员将进一步了解，结合本文所揭示的实施例所描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、由例如硬件处理器等处理装置执行的计算机软件或两者的组合。上文已大体在其功能性方面描述各种说明性组件、块、配置、模块、电路及步骤。此类功能性是实施为硬件还是可执行软件取决于特定应用和施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解译为引起偏离本发明的范围。
结合本文中所揭示的实施例而描述的方法或算法的步骤可以直接实施于硬件、由处理器执行的软件模块或这两者的组合中。软件模块可驻留于存储器装置中，所述存储器装置例如随机存取存储器(RAM)、磁阻随机存取存储器(MRAM)、自旋力矩转移MRAM(STT-MRAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸式磁盘或压缩光盘只读存储器(CD-ROM)。示例性存储器装置耦合到处理器，使得处理器可从存储器装置读取信息并将信息写入到存储器装置。在替代方案中，存储器装置可与处理器集成。处理器及存储媒体可驻留在ASIC中。ASIC可以驻留在计算装置或用户终端中。在替代方案中，处理器与存储媒体可作为离散组件驻留在计算装置或用户终端中。
提供对所揭示实施例的先前描述以使得所属领域的技术人员能够制作或使用所揭示实施例。对于所属领域的技术人员，对这些实施例的各种修改将为显而易见的，并且可在不脱离本发明的范围的情况下将本文中定义的原理应用到其它实施例。因此，本发明并非意图限于本文中示出的实施例，而应被赋予与如通过所附权利要求书界定的原理及新颖特征一致的可能的最广范围。

Claims (17)

1.一种设备，其包括：
接收器，其经配置以接收经编码位流，所述经编码位流对应于音频信号的经编码版本且包含表示混合因子的数据，其中基于编码器旁侧高频带残余信号、编码器旁侧第一经谐波扩展信号和编码器旁侧第一经调制噪声确定所述混合因子，其中编码器旁侧高频带激励信号基于所述编码器旁侧第一经谐波扩展信号和所述编码器旁侧第一经调制噪声，其中所述编码器旁侧第一经调制噪声至少部分基于所述编码器旁侧第一经谐波扩展信号和编码器旁侧白噪声；以及
解码器，其耦合到所述接收器，所述解码器经配置以：
至少部分基于与所述经编码位流相关联的低频带激励信号产生第二经谐波扩展信号；
基于所述混合因子按比例调整所述第二经谐波扩展信号以产生第一按比例调整信号；
基于所述混合因子按比例调整第二经调制噪声以产生第二按比例调整信号；
组合所述第一按比例调整信号和所述第二按比例调整信号以产生高频带激励信号；以及
基于所述高频带激励信号重构所述音频信号，其中经重构音频信号经由扬声器输出。
2.根据权利要求1所述的设备，其中所述解码器进一步经配置以基于所述第二经谐波扩展信号估计低频带时域包络。
3.根据权利要求2所述的设备，其中所述解码器进一步经配置以将所述低频带时域包络与第二白噪声组合以产生所述第二经调制噪声。
4.根据权利要求1所述的设备，其中所述混合因子进一步基于与所述音频信号相关联的低频带有声参数。
5.根据权利要求1所述的设备，其中所述混合因子基于所述编码器旁侧高频带残余、所述编码器旁侧第一经谐波扩展信号和所述编码器旁侧第一经调制噪声之间的误差信号。
6.根据权利要求1所述的设备，其中所述接收器和所述解码器集成到移动装置中。
7.一种方法，其包括：
在话音解码器处接收经编码位流，所述经编码位流对应于音频信号的经编码版本且包含表示混合因子的数据，其中基于编码器旁侧高频带残余信号、编码器旁侧第一经谐波扩展信号和编码器旁侧第一经调制噪声确定所述混合因子，其中编码器旁侧高频带激励信号基于所述编码器旁侧第一经谐波扩展信号和所述编码器旁侧第一经调制噪声，其中所述编码器旁侧第一经调制噪声至少部分基于所述编码器旁侧第一经谐波扩展信号和编码器旁侧白噪声；以及
在所述话音解码器处至少部分基于与所述经编码位流相关联的低频带激励信号产生第二经谐波扩展信号；
在所述话音解码器处基于所述混合因子按比例调整所述第二经谐波扩展信号以产生第一按比例调整信号；
在所述话音解码器处基于所述混合因子按比例调整第二经调制噪声以产生第二按比例调整信号；
在所述话音解码器处组合所述第一按比例调整信号和所述第二按比例调整信号以产生高频带激励信号；以及
基于所述高频带激励信号重构所述音频信号，其中经重构音频信号经由扬声器输出。
8.根据权利要求7所述的方法，其进一步包括在所述话音解码器处基于所述第二经谐波扩展信号估计低频带时域包络。
9.根据权利要求8所述的方法，其进一步包括在所述话音解码器处将所述低频带时域包络与第二白噪声组合以产生所述第二经调制噪声。
10.根据权利要求7所述的方法，其中所述混合因子进一步基于与所述音频信号相关联的低频带有声参数。
11.根据权利要求7所述的方法，其中所述混合因子基于所述编码器旁侧高频带残余、所述编码器旁侧第一经谐波扩展信号和所述编码器旁侧第一经调制噪声之间的误差信号。
12.根据权利要求7所述的方法，其中所述话音解码器集成到移动装置中。
13.一种包括指令的非暂时性计算机可读介质，当由话音解码器内的处理器执行时所述指令使所述话音解码器执行以下操作，所述操作包括：
接收经编码位流，所述经编码位流对应于音频信号的经编码版本且包含表示混合因子的数据，其中基于编码器旁侧高频带残余信号、编码器旁侧第一经谐波扩展信号和编码器旁侧第一经调制噪声确定所述混合因子，其中编码器旁侧高频带激励信号基于所述编码器旁侧第一经谐波扩展信号和所述编码器旁侧第一经调制噪声，其中所述编码器旁侧第一经调制噪声至少部分基于所述编码器旁侧第一经谐波扩展信号和编码器旁侧白噪声；
至少部分基于与所述经编码位流相关联的低频带激励信号产生第二经谐波扩展信号；
基于所述混合因子按比例调整所述第二经谐波扩展信号以产生第一按比例调整信号；
基于所述混合因子按比例调整第二经调制噪声以产生第二按比例调整信号；
组合所述第一按比例调整信号和所述第二按比例调整信号以产生高频带激励信号；以及
基于所述高频带激励信号重构所述音频信号，其中经重构音频信号经由扬声器输出。
14.根据权利要求13所述的非暂时性计算机可读介质，其中所述操作进一步包括基于所述第二经谐波扩展信号估计低频带时域包络。
15.根据权利要求14所述的非暂时性计算机可读介质，其中所述操作进一步包括将所述低频带时域包络与第二白噪声组合以产生所述第二经调制噪声。
16.根据权利要求13所述的非暂时性计算机可读介质，其中所述混合因子进一步基于与所述音频信号相关联的低频带有声参数。
17.根据权利要求13所述的非暂时性计算机可读介质，其中所述混合因子基于所述编码器旁侧高频带残余、所述编码器旁侧第一经谐波扩展信号和所述编码器旁侧第一经调制噪声之间的误差信号。
CN201910859726.3A 2013-10-11 2014-10-09 用于信号处理的方法和设备 Active CN110634503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910859726.3A CN110634503B (zh) 2013-10-11 2014-10-09 用于信号处理的方法和设备

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361889727P 2013-10-11 2013-10-11
US61/889,727 2013-10-11
US14/509,676 2014-10-08
US14/509,676 US10083708B2 (en) 2013-10-11 2014-10-08 Estimation of mixing factors to generate high-band excitation signal
PCT/US2014/059901 WO2015054492A1 (en) 2013-10-11 2014-10-09 Estimation of mixing factors to generate high-band excitation signal
CN201910859726.3A CN110634503B (zh) 2013-10-11 2014-10-09 用于信号处理的方法和设备
CN201480055318.8A CN105612578B (zh) 2013-10-11 2014-10-09 用于信号处理的方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480055318.8A Division CN105612578B (zh) 2013-10-11 2014-10-09 用于信号处理的方法和设备

Publications (2)

Publication Number Publication Date
CN110634503A true CN110634503A (zh) 2019-12-31
CN110634503B CN110634503B (zh) 2023-07-14

Family

ID=52810390

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480055318.8A Active CN105612578B (zh) 2013-10-11 2014-10-09 用于信号处理的方法和设备
CN201910859726.3A Active CN110634503B (zh) 2013-10-11 2014-10-09 用于信号处理的方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480055318.8A Active CN105612578B (zh) 2013-10-11 2014-10-09 用于信号处理的方法和设备

Country Status (21)

Country Link
US (2) US10083708B2 (zh)
EP (1) EP3055861B1 (zh)
JP (1) JP6469664B2 (zh)
KR (1) KR101941755B1 (zh)
CN (2) CN105612578B (zh)
AU (2) AU2014331890B2 (zh)
CA (1) CA2925573C (zh)
CL (1) CL2016000818A1 (zh)
DK (1) DK3055861T3 (zh)
ES (1) ES2660605T3 (zh)
HK (1) HK1220033A1 (zh)
HU (1) HUE036838T2 (zh)
MX (1) MX354886B (zh)
MY (1) MY182788A (zh)
NZ (1) NZ717750A (zh)
PH (1) PH12016500506A1 (zh)
RU (1) RU2672179C2 (zh)
SA (1) SA516370877B1 (zh)
SG (1) SG11201601790QA (zh)
SI (1) SI3055861T1 (zh)
WO (1) WO2015054492A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3011408A1 (fr) * 2013-09-30 2015-04-03 Orange Re-echantillonnage d'un signal audio pour un codage/decodage a bas retard
US10083708B2 (en) 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal
US10163447B2 (en) * 2013-12-16 2018-12-25 Qualcomm Incorporated High-band signal modeling
US9984699B2 (en) 2014-06-26 2018-05-29 Qualcomm Incorporated High-band signal coding using mismatched frequency ranges
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
US10217468B2 (en) * 2017-01-19 2019-02-26 Qualcomm Incorporated Coding of multiple audio signals
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
WO2020157888A1 (ja) * 2019-01-31 2020-08-06 三菱電機株式会社 周波数帯域拡張装置、周波数帯域拡張方法、及び周波数帯域拡張プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101185124A (zh) * 2005-04-01 2008-05-21 高通股份有限公司 用于语音信号的分割频带编码的方法和设备
CN101336451A (zh) * 2006-01-31 2008-12-31 西门子企业通讯有限责任两合公司 音频信号编码的方法和装置
CN101506877A (zh) * 2006-08-22 2009-08-12 高通股份有限公司 对宽带声码器的帧进行时间弯曲
US20110257980A1 (en) * 2010-04-14 2011-10-20 Huawei Technologies Co., Ltd. Bandwidth Extension System and Approach

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141638A (en) 1998-05-28 2000-10-31 Motorola, Inc. Method and apparatus for coding an information signal
US7117146B2 (en) 1998-08-24 2006-10-03 Mindspeed Technologies, Inc. System for improved use of pitch enhancement with subcodebooks
US7272556B1 (en) 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
GB2342829B (en) 1998-10-13 2003-03-26 Nokia Mobile Phones Ltd Postfilter
CA2252170A1 (en) 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
US6449313B1 (en) 1999-04-28 2002-09-10 Lucent Technologies Inc. Shaped fixed codebook search for celp speech coding
US6704701B1 (en) 1999-07-02 2004-03-09 Mindspeed Technologies, Inc. Bi-directional pitch enhancement in speech coding systems
AU2001241475A1 (en) 2000-02-11 2001-08-20 Comsat Corporation Background noise reduction in sinusoidal based speech coding systems
AU2001287970A1 (en) 2000-09-15 2002-03-26 Conexant Systems, Inc. Short-term enhancement in celp speech coding
US6760698B2 (en) 2000-09-15 2004-07-06 Mindspeed Technologies Inc. System for coding speech information using an adaptive codebook with enhanced variable resolution scheme
US6766289B2 (en) 2001-06-04 2004-07-20 Qualcomm Incorporated Fast code-vector searching
JP3457293B2 (ja) 2001-06-06 2003-10-14 三菱電機株式会社 雑音抑圧装置及び雑音抑圧方法
US6993207B1 (en) 2001-10-05 2006-01-31 Micron Technology, Inc. Method and apparatus for electronic image processing
US7146313B2 (en) 2001-12-14 2006-12-05 Microsoft Corporation Techniques for measurement of perceptual audio quality
BR0315179A (pt) * 2002-10-11 2005-08-23 Nokia Corp Método e dispositivo para codificar um sinal de fala amostrado compreendendo quadros de fala
US7047188B2 (en) 2002-11-08 2006-05-16 Motorola, Inc. Method and apparatus for improvement coding of the subframe gain in a speech coding system
US7788091B2 (en) 2004-09-22 2010-08-31 Texas Instruments Incorporated Methods, devices and systems for improved pitch enhancement and autocorrelation in voice codecs
JP2006197391A (ja) 2005-01-14 2006-07-27 Toshiba Corp 音声ミクシング処理装置及び音声ミクシング処理方法
CA2603255C (en) 2005-04-01 2015-06-23 Qualcomm Incorporated Systems, methods, and apparatus for wideband speech coding
US8280730B2 (en) 2005-05-25 2012-10-02 Motorola Mobility Llc Method and apparatus of increasing speech intelligibility in noisy environments
DE102006022346B4 (de) 2006-05-12 2008-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalcodierung
US8682652B2 (en) 2006-06-30 2014-03-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
US9009032B2 (en) 2006-11-09 2015-04-14 Broadcom Corporation Method and system for performing sample rate conversion
US20100332223A1 (en) 2006-12-13 2010-12-30 Panasonic Corporation Audio decoding device and power adjusting method
US20080208575A1 (en) 2007-02-27 2008-08-28 Nokia Corporation Split-band encoding and decoding of an audio signal
PL2146344T3 (pl) * 2008-07-17 2017-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób kodowania/dekodowania sygnału audio obejmujący przełączalne obejście
PT2945159T (pt) * 2008-12-15 2018-06-26 Fraunhofer Ges Forschung Codificador de áudio e descodificador de extensão de largura de banda
US8463599B2 (en) * 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
US8484020B2 (en) 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
JP5812998B2 (ja) 2009-11-19 2015-11-17 テレフオンアクチーボラゲット エル エム エリクソン（パブル） オーディオコーデックにおけるラウドネスおよびシャープネスの補償のための方法および装置
AU2011226212B2 (en) 2010-03-09 2014-03-27 Dolby International Ab Apparatus and method for processing an input audio signal using cascaded filterbanks
US8600737B2 (en) 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
US8924200B2 (en) * 2010-10-15 2014-12-30 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
US8738385B2 (en) 2010-10-20 2014-05-27 Broadcom Corporation Pitch-based pre-filtering and post-filtering for compression of audio signals
RU2596584C2 (ru) * 2010-10-25 2016-09-10 Войсэйдж Корпорейшн Кодирование обобщенных аудиосигналов на низких скоростях передачи битов и с низкой задержкой
EP2710590B1 (en) 2011-05-16 2015-10-07 Google, Inc. Super-wideband noise supression
CN102802112B (zh) 2011-05-24 2014-08-13 鸿富锦精密工业（深圳）有限公司 具有音频文件格式转换功能的电子装置
US9070361B2 (en) 2011-06-10 2015-06-30 Google Technology Holdings LLC Method and apparatus for encoding a wideband speech signal utilizing downmixing of a highband component
EP2791937B1 (en) * 2011-11-02 2016-06-08 Telefonaktiebolaget LM Ericsson (publ) Generation of a high band extension of a bandwidth extended audio signal
CN104221082B (zh) * 2012-03-29 2017-03-08 瑞典爱立信有限公司 谐波音频信号的带宽扩展
US9601125B2 (en) 2013-02-08 2017-03-21 Qualcomm Incorporated Systems and methods of performing noise modulation and gain adjustment
US10083708B2 (en) 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101185124A (zh) * 2005-04-01 2008-05-21 高通股份有限公司 用于语音信号的分割频带编码的方法和设备
CN101336451A (zh) * 2006-01-31 2008-12-31 西门子企业通讯有限责任两合公司 音频信号编码的方法和装置
CN101506877A (zh) * 2006-08-22 2009-08-12 高通股份有限公司 对宽带声码器的帧进行时间弯曲
US20110257980A1 (en) * 2010-04-14 2011-10-20 Huawei Technologies Co., Ltd. Bandwidth Extension System and Approach

Also Published As

Publication number Publication date
WO2015054492A1 (en) 2015-04-16
RU2016116044A3 (zh) 2018-07-10
KR20160067210A (ko) 2016-06-13
MY182788A (en) 2021-02-05
EP3055861B1 (en) 2017-12-27
PH12016500506B1 (en) 2016-06-13
RU2016116044A (ru) 2017-11-16
SG11201601790QA (en) 2016-04-28
SA516370877B1 (ar) 2019-04-11
US10410652B2 (en) 2019-09-10
CA2925573C (en) 2019-04-23
MX354886B (es) 2018-03-23
ES2660605T3 (es) 2018-03-23
JP2016532886A (ja) 2016-10-20
EP3055861A1 (en) 2016-08-17
DK3055861T3 (en) 2018-03-26
KR101941755B1 (ko) 2019-01-23
SI3055861T1 (en) 2018-03-30
CN105612578A (zh) 2016-05-25
MX2016004535A (es) 2016-07-22
AU2014331890B2 (en) 2019-05-16
US20150106084A1 (en) 2015-04-16
JP6469664B2 (ja) 2019-02-13
AU2019203827B2 (en) 2020-07-16
CN110634503B (zh) 2023-07-14
CA2925573A1 (en) 2015-04-16
NZ754130A (en) 2020-09-25
HUE036838T2 (hu) 2018-08-28
CL2016000818A1 (es) 2016-10-14
AU2019203827A1 (en) 2019-06-20
RU2672179C2 (ru) 2018-11-12
PH12016500506A1 (en) 2016-06-13
HK1220033A1 (zh) 2017-04-21
US10083708B2 (en) 2018-09-25
AU2014331890A1 (en) 2016-03-31
US20180268839A1 (en) 2018-09-20
CN105612578B (zh) 2019-10-11
NZ717750A (en) 2019-07-26

Similar Documents

Publication Publication Date Title
US10410652B2 (en) Estimation of mixing factors to generate high-band excitation signal
CN105830153B (zh) 高频带信号建模
US9899032B2 (en) Systems and methods of performing gain adjustment
CA2925572C (en) Gain shape estimation for improved tracking of high-band temporal characteristics
KR20160087827A (ko) 고대역 코딩에서의 선택적 위상 보상
AU2014331903A1 (en) Gain shape estimation for improved tracking of high-band temporal characteristics
US20150149157A1 (en) Frequency domain gain shape estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant