CN107112027A - 增益形状电路的按比例缩放 - Google Patents

增益形状电路的按比例缩放 Download PDF

Info

Publication number
CN107112027A
CN107112027A CN201680005352.3A CN201680005352A CN107112027A CN 107112027 A CN107112027 A CN 107112027A CN 201680005352 A CN201680005352 A CN 201680005352A CN 107112027 A CN107112027 A CN 107112027A
Authority
CN
China
Prior art keywords
sample set
audio frame
window
scale factor
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680005352.3A
Other languages
English (en)
Other versions
CN107112027B (zh
Inventor
文卡塔·萨伯拉曼亚姆·强卓·赛克哈尔·奇比亚姆
芬卡特拉曼·S·阿提
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107112027A publication Critical patent/CN107112027A/zh
Application granted granted Critical
Publication of CN107112027B publication Critical patent/CN107112027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components

Abstract

一种操作装置的方法包含接收第一样本集合和第二样本集合。所述第一样本集合对应于第一音频帧的一部分,且所述第二样本集合对应于第二音频帧。所述方法进一步包含基于所述第一样本集合以及所述第二样本集合的第一子集产生目标样本集合,且至少部分地基于所述第二样本集合的第二子集产生参考样本集合。所述方法还包含按比例缩放所述目标样本集合以产生经按比例缩放的目标样本集合,且基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本产生第三样本集合。

Description

增益形状电路的按比例缩放
相关申请案的交叉参考
本申请案主张2015年11月12日申请的第14/939,436号美国专利申请案以及2015年1月19日申请的第62/105,071号临时专利申请案的权益,所述专利申请案两者的标题均为“增益形状电路的按比例缩放(SCALING FOR GAIN SHAPE CIRCUITRY),”其揭示内容以全文引用的方式并入本文中。
技术领域
本发明大体上涉及信号处理,例如结合无线音频通信和音频存储执行的信号处理。
背景技术
技术的进步已经产生了更小且更强大的计算装置。举例来说,当前存在各种便携式个人计算装置,包括无线计算装置,例如较小、轻重量且易于由用户携带的便携式无线电话、个人数字助理(PDA)和寻呼装置。更确切地说,例如蜂窝电话和因特网协议(IP)电话等便携式无线电话可经由无线网络传送语音和数据包。另外,许多此类无线电话包括并入其中的其它类型的装置。举例来说,无线电话还可包含数字静态相机、数码摄像机、数字记录器和音频文件播放器。
无线电话(或其它电子装置)可记录并再现语音和其它声音,例如音乐。举例来说,为了支持电话交谈,发射装置可执行操作来经由通信网络将音频信号的表示,例如所记录的语音(例如通过录音语音、使所述语音数字化,译码所述语音等),发射到接收装置。
为了进一步说明,一些译码技术包含编码和发射信号的较低频率部分(例如50Hz到7kHz,也被称为“低频带”)。举例来说,可使用滤波器参数及/或低频带激励信号表示低频带。为了改进译码效率,可不完全编码和发射信号的较高频率部分(例如7kHz到16kHz,也被称为“高频带”)。实情为,接收器可利用信号建模和/或与高频带相关联的数据(“辅助信息”)来预测所述高频带。
在一些情况下,能级的“失配”可在高频带的帧之间出现。然而,与由发射装置执行的帧的编码以及接收装置处的帧的合成相关联的一些处理操作可致使一个帧的能量与另一帧重叠(或“泄露”到另一帧中)。因此,由接收装置执行以产生(或预测)所述高频带的某些解码操作可导致所再现的音频信号中的假影,从而导致差音频质量。
发明内容
装置(例如在无线通信网络内通信的移动装置)可通过产生对应于帧间重叠的目标样本集合,来补偿与第一音频帧相关联的第一样本集合和与第二音频帧相关联的第二样本集合之间的帧间重叠(例如能量“泄露”)。所述装置还可产生与第二音频帧相关联的参考样本集合。所述装置可例如通过减小目标样本集合与参考样本集合之间的能量差,基于所述参考样本集合来按比例缩放目标样本集合。
在说明性实施方案中,所述装置在无线网络中基于使用增益形状电路来确定合成的高频带信号的增益形状的第三代合作伙伴计划(3GPP)增强型话音服务(EVS)协议来通信。所述装置可按比例缩放所述目标样本集合,且在将合成的高频带信号输入到增益形状电路之前,用经按比例缩放的目标样本集合来“替换”目标样本集合,这可减少或消除与帧间重叠相关联的某些假影。举例来说,按比例缩放所述目标样本集合可减少或消除与3GPPEVS协议相关联的种子值(被称作“bwe_seed”)的发射器/接收器失配所导致的假影。
在特定实例中,一种操作装置的方法包含接收第一样本集合和第二样本集合。所述第一样本集合对应于第一音频帧的一部分,且所述第二样本集合对应于第二音频帧。所述方法进一步包含基于所述第一样本集合以及所述第二样本集合的第一子集产生目标样本集合,且至少部分地基于所述第二样本集合的第二子集产生参考样本集合。所述方法包含:按比例缩放所述目标样本集合,以产生经按比例缩放的目标样本集合;以及基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本来产生第三样本集合。
在另一特定实例中,一种设备包含存储器,其经配置以接收第一样本集合和第二样本集合。所述第一样本集合对应于第一音频帧的一部分,且所述第二样本集合对应于第二音频帧。所述设备进一步包含开窗程序,其经配置以基于所述第一样本集合和所述第二样本集合的第一子集产生目标样本集合。所述开窗程序经配置以至少部分地基于所述第二样本集合的第二子集产生参考样本集合。所述设备进一步包含:按比例缩放器,其经配置以按比例缩放所述目标样本集合,以产生经按比例缩放的目标样本集合;以及组合器,其经配置以基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本,产生第三样本集合。
在另一特定实例中,一种计算机可读媒体存储可由处理器执行的指令来实施操作。所述操作包含接收第一样本集合和第二样本集合。所述第一样本集合对应于第一音频帧的一部分,且所述第二样本集合对应于第二音频帧。所述操作进一步包含基于所述第一样本集合以及所述第二样本集合的第一子集产生目标样本集合,且至少部分地基于所述第二样本集合的第二子集产生参考样本集合。所述操作进一步包含:按比例缩放所述目标样本集合,以产生经按比例缩放的目标样本集合;以及基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本,产生第三样本集合。
在另一特定实例中,一种设备包含用于接收第一样本集合和第二样本集合的装置。所述第一样本集合对应于第一音频帧的一部分,且所述第二样本集合对应于第二音频帧。所述设备进一步包含用于产生目标样本集合和参考样本集合的装置。所述目标样本集合是基于所述第一样本集合以及所述第二样本集合的第一子集,且所述参考样本集合至少部分地基于所述第二样本集合的第二子集。所述设备进一步包含:用于按比例缩放所述目标样本集合以产生经按比例缩放的目标样本集合的装置;以及用于基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本产生第三样本集合的装置。
所揭示的实施例中的至少一者所提供的一个特定优点是接收装置处再现的音频的改进的质量,所述接收装置例如为结合电话交谈接收对应于无线网络中所发射的音频的信息的无线通信装置。本发明的其它方面、优点和特征将在审阅全部申请案之后变得显而易见,所述全部申请案包含以下章节:附图说明、具体实施方式和所附权利要求书。
附图说明
图1是无线通信装置内的装置(例如解码器)的说明性实例的框图,其可补偿帧间重叠处的能量不连续。
图2描绘可与装置(例如图1的装置)的操作相关联的音频帧的说明性实例。
图3描绘与装置(例如图1的装置)相关联的操作的说明性方面。
图4是比例因子确定器(例如可包含于图1的装置中的比例因子确定器)的说明性实例的框图。
图5是说明装置(例如图1的装置)的操作方法的实例的流程图。
图6是电子装置的说明性实例的框图,所述电子装置例如为包含图1的装置且使用图1的装置来解码经由无线通信网络接收到的信息的电子装置。
图7是系统的说明性实例的框图,所述系统例如为可集成在图6的电子装置内且执行编码操作来编码将经由无线通信网络发射的信息的系统。
具体实施方式
图1描绘装置100的某些说明性方面。为了说明,装置100可集成在电子装置的编码器内或解码器内,所述电子装置例如为使用耦合到装置100的收发器在无线通信网络内发送和接收数据包的无线通信装置。在其它情况下,装置100可集成在另一电子装置内,所述电子装置例如为有线装置(例如调制解调器或机顶盒,作为说明性实例)。
在一些实施方案中,装置100按照由无线通信设备用来在无线通信网络内通信的3GPP标准,例如3GPP EVS标准来操作。3GPP EVS标准可将某些解码操作指定为由解码器执行,且所述解码操作可由装置100执行来解码经由无线通信网络接收到的信息。尽管参考解码器来描述图1的某些实例,但注意,参看图1(以及本文所述的其它实例)描述的方面还可在例如进一步参看图7描述的编码器来实施。另外,在一些实施方案中,本发明的方面可结合一或多个其它协议实施,例如用于数据编码、数据解码或这两者的移动图片专家组(MPEG)协议。
装置100可包含耦合到存储器120的电路112。作为说明性实例,电路112可包含激励产生器、线性预测合成器或后处理单元中的一或多者。作为说明性实例,存储器120可包含缓冲器。
装置100可进一步包含耦合到比例因子确定器140的开窗程序128。比例因子确定器140可耦合到按比例缩放器148。按比例缩放器148可耦合到开窗程序128且耦合到组合器156。组合器156可耦合到增益形状处理模块,例如增益形状电路164。增益形状电路164可包含增益形状调整器(例如结合装置100的解码器实施方案)或增益形状参数产生器,其产生增益形状信息(例如结合具有对应于装置100的一或多个特征的编码器)。
在操作中,电路112可响应于低频带激励信号104。电路112可经配置以基于使用低频带激励信号104和使用伪随机噪声108的高频带包络-经调制噪声所产生的高频带激励信号,而产生合成的高频带信号,例如合成的高频带信号116。合成的高频带信号116可对应于与音频信号(例如表示语音的信号)相关联的音频帧(例如由无线通信装置使用无线通信网络接收到的数据包)的样本集合。举例来说,电路112可经配置以产生第一样本集合124和第二样本集合126。第一样本集合124和第二样本集合126可对应于使用电路112的激励产生器、电路112的线性预测合成器以及电路112的后处理单元,基于低频带激励信号104所产生的合成高频带信号。在另一个实施方案中,第一样本集合124和第二样本集合126对应于使用电路112的激励产生器基于低频带激励信号(例如低频带激励信号104)所产生的高频带激励信号。电路112可经配置以将第一样本集合124和第二样本集合126提供到存储器120。存储器120可经配置以接收第一样本集合124和第二样本集合126。
第一样本集合124可与第一音频帧相关联,且第二样本集合126可与第二音频帧相关联。第一音频帧可与第一时间间隔相关联(例如在第一时间间隔期间,由装置100处理),且第二样本集合126可与在第一时间间隔之后发生的第二时间间隔相关联(例如在第二时间间隔期间,由装置100处理)。第一音频帧可被称为“先前音频帧”,且第二音频帧可被称为“当前音频帧”。然而,应理解,“先前”和“当前”是用来区分音频信号中的循序帧且不一定指示实时合成限制的标签。在一些情况下,如果第二样本集合126对应于将由装置100处理的信号的初始(或第一)音频帧,那么第一样本集合124可包含值零(例如在处理所述信号之前,装置100可使用补零技术来初始化存储器120)。
结合某些协议,音频帧之间的边界可导致从先前音频帧到当前音频帧的能量“泄漏”。作为非限制性实例,协议可指定将通过使先前音频帧的第一数目的样本(例如最后20个样本,作为说明性实例)与当前音频帧的第二数目的样本(例如320个样本,作为说明性实例)串接而产生到增益形状装置(例如增益形状电路164)的输入。在此实例中,所述第一数目的样本对应于第一样本集合124。作为另一实例,当前音频帧的特定数目的样本(例如前10个样本,作为说明性实例)可受先前音频帧影响(例如归因于电路112的操作,例如用于线性预测编码合成操作和/或后处理操作的滤波器存储器)。此类“泄漏”(或帧间重叠)可导致基于样本集合124、126产生的时域音频波形中的振幅差异(或“跳变”)。在这些非限制性、说明性实例中,存储器120可经配置以存储与当前音频帧的320个样本(例如第二样本集合126)串接的先前音频帧的最后20个样本(例如第一样本集合124)。
开窗程序128可经配置以存取存储在存储器120处的样本,且产生目标样本集合132和参考样本集合136。为了说明,开窗程序128可经配置以使用第一视窗产生目标样本集合132,且使用第二窗口产生参考样本集合136。在说明性实例中,开窗程序128经配置以选择第一样本集合124以及第二样本集合126的第一子集,以产生目标样本集合132;且选择第二样本集合126的第二子集,以产生参考样本集合136。在此实例中,开窗程序128可包含选择器(例如多路复用器),其经配置以存取存储器120。在此情况下,第一窗口和第二窗口不重叠(且目标样本集合132和参考样本集合136并不“共享”一或多个样本)。通过不“共享”一或多个样本,在一些情况下,装置100的实施方案可简化。举例来说,开窗程序128可包含选择逻辑,其经配置以选择目标样本集合132和参考样本集合136。在此实例中,由开窗程序128执行的“开窗”操作可包含选择目标样本集合132和参考样本集合136。
在另一说明性实施方案中,目标样本集合132和参考样本集合136各自包含第二样本集合126的第一子集的“经加权”样本(例如基于与使第一样本集合124与第二样本集合126分离的帧边界的接近性而加权的样本)。在此说明性实例中,开窗程序128经配置以基于第一样本集合124、第二样本集合126的第一子集,以及第二样本集合126的第二子集,产生目标样本集合132和参考样本集合136。另外,在此实例中,第一窗和第二窗重叠(且目标样本集合132和参考样本集合136“共享”一或多个样本)。可基于样本与音频帧边界的接近性来对“共享的”样本进行“加权”(这在一些情况下可改进装置100所执行的某些操作的准确性)。进一步参考图2和3来描述可与开窗程序128相关联的某些说明性方面。使用第一窗和第二窗的加权可由比例因子确定器140执行,例如进一步参考图4和5所描述。
比例因子确定器140可经配置以从开窗程序128接收目标样本集合136和参考样本集合132。比例因子确定器140可经配置以基于目标样本集合132和参考样本集合136来确定比例因子144。在特定说明性实例中,比例因子确定器140经配置以确定与目标样本集合132相关联的第一能量参数,确定与参考样本集合136相关联的第二能量参数,确定第二能量参数与第一能量参数的比率,且对所述比率执行平方根运算以产生比例因子144。参考图4和5进一步描述比例因子确定器140的某些说明性特征。
按比例缩放器148可经配置以接收目标样本集合132和比例因子144。按比例缩放器148可经配置以基于比例因子144来按比例缩放目标样本集合132,且产生经按比例缩放的目标样本集合152。
组合器156可经配置以接收经按比例缩放的目标样本集合152,且基于经按比例缩放的目标样本集合152并进一步基于第二样本集合126的一或多个样本130(在本文中也被称作第二样本集合126的“其余”样本),产生第三样本集合160。举例来说,一或多个样本130可包含第二样本集合126的“未按比例缩放的”样本,其未提供到按比例缩放器148,且未由按比例缩放器148经按比例缩放。
在图1的实例中,开窗程序128可经配置以将一或多个样本130提供到组合器156。或者或另外,组合器156可经配置以使用另一技术,例如通过使用存储器120与组合器156之间的连接存取存储器120,来接收一或多个样本130。因为装置100所执行的按比例缩放操作可基于样本集合124、126的能量比率,所以可使对应于所述样本集合124、126的音频帧之间的能级的不连续“平滑”。使能量不连续“平滑”可改进基于样本集合124、126所产生的音频信号的质量(例如通过减少或消除因能量不连续而产生的音频信号中的假影)。
增益形状电路164经配置以接收第三样本集合160。举例来说,增益形状电路164可经配置以基于第三样本集合160来估计增益形状(例如结合包含装置100的编码器所执行的编码过程)。或者或另外,增益形状电路164可经配置以基于第三样本集合160产生增益形状经调整的合成高频带信号168(例如通过结合在解码器处执行的解码过程或在包含装置100的编码器处执行的编码过程应用增益形状)。举例来说,增益形状电路164经配置以确定第三样本集合160的增益形状(例如根据3GPP EVS协议),以产生增益形状经调整的合成高频带信号168。作为说明性实例,增益形状电路164可经配置以使用3GPP技术规范编号26.445,部分6.1.5.1.12,版本12.4.0指定的一或多个操作,确定第三样本集合160的增益形状。或者或另外,增益形状电路164可经配置以使用一或多个其它操作来执行增益成形。
因为目标样本集合132包含直接受第一样本集合124的能级影响的第一样本集合124和第二样本集合126两者的一或多个样本,因此图1的装置100基于能量比率执行的按比例缩放可补偿归因于与第一样本集合124与第二样本集合126之间的帧间重叠(或“泄漏”)相关联的能量不连续效应的假影。补偿帧间重叠处的能量不连续可减少增益形状经调整的合成高频带信号168中的不连续(或“跳变”),从而改进基于包含装置100的电子装置处的样本集合124、126而产生的音频信号的质量。
图2描绘可与装置(例如图1的装置100)的操作相关联的音频帧200的说明性实例。音频帧200可包含第一音频帧204(例如参看图1描述的第一音频帧,其可对应于先前音频帧),以及第二音频帧212(例如参看图1描述的第二音频帧,其可对应于当前音频帧)。图2的说明性实例描绘第一音频帧204和第二音频帧212可通过帧边界(例如边界208)分隔开。
第一音频帧204可在第二音频帧212之前。举例来说,第一音频帧204可以第一音频帧204和第二音频帧212的处理次序(例如从图1的存储器120存取第一音频帧204和第二音频帧212的次序,作为说明性实例),循序地在第二音频帧212紧接之前。
第一音频帧204可包含第一部分,例如第一样本集合220(例如图1的第一样本集合124)。第二音频帧212可包含第二部分,例如第二样本集合224(例如图1的第二样本集合126)。
第二样本集合224可包含第一子集232(例如参看图1所描述的第一子集)和第二子集236(例如参看图1所描述的第二子集)。作为其中使用第十线性预测译码的说明性、非限制性实例,第一子集232可包含第二音频帧212的前10个样本,且第二子集236可包含第二音频帧212的接下来20个样本。在替代的说明性、非限制性实例中,第一子集232可包含第二音频帧212的前10个样本,且第二子集236可包含第二音频帧212的接下来30个样本。在其它实施方案中,第一子集232和/或第二子集236可包含第二音频帧212的不同样本。
图2进一步说明目标样本集合216(例如图1的目标样本集合132)和一或多个样本240(例如图1的一或多个样本130)的实例。一或多个样本240可包含未包含在第一子集232中的第二样本集合224的一或多个样本(在本文中也被称作第二样本集合224的一或多个“其余”样本)。在图2的实例中,目标样本集合216包含第一样本集合220和第一子集232。作为说明性、非限制性实例,目标样本集合216可包含第一音频帧204的最后20个样本以及第二音频帧212的前10个样本。在其它实施方案中,目标样本集合220可包含第一音频帧204和/或第二音频帧212的不同样本。
图2还描绘参考样本集合228(例如图1的参考样本集合136)的实例。在图2的实例中,参考样本集合228包含第一子集232和第二子集236。在此情况下,目标样本集合216和参考样本集合228可“共享”第一子集232。在其它实例中,目标样本集合216可包含与图2中所说明的样本不同的样本。举例来说,在另一个实施方案中,参考样本集合228包含第二子集236,且并不包含第一子集232(图2中指示为表示参考样本集合228的部分虚线)。在此实例中,目标样本集合216和参考样本集合228并不“共享”一或多个样本。在一些实施方案中,目标样本集合216中的样本的数目等于参考样本集合228中的样本的数目。
在一些实施方案中,存储在存储器120中的样本集合可包含来自先前样本集合的样本。举例来说,第一音频帧204的一部分(例如第一样本集合220)可与第二样本集合224串接。或者或另外,在一些情况下,电路112所执行的线性预测编码和/或后处理操作可致使第一子集232的样本值取决于第一音频帧204(或其一部分)的样本值。因此,目标样本集合216可对应于第一音频帧204与第二音频帧212之间的帧间“重叠”。所述帧间重叠可基于直接受第一音频帧204影响且在第二音频帧212的处理期间使用的边界208的任一侧上的样本的总数。
再次参看图1,开窗程序128可经配置以基于与第一音频帧204与第二音频帧212之间的帧间重叠的长度相关联的样本的数目,产生目标样本集合132和/或目标样本集合216。为了说明,所述长度可为30个样本,或另一数目的样本。在某些情况下,所述长度可在装置100的操作期间动态地改变(例如基于帧长度改变、线性预测编码次序改变和/或另一参数改变)。开窗程序128可响应于识别帧间重叠的长度(或所估计长度)(例如基于协议,例如3GPP EVS协议)且将所述长度的指示提供到开窗程序128的另一装置(例如处理器)或集成在所述装置内。开窗程序128可经配置以将帧间重叠的长度和/或位置的指示例如存储在存储器处和/或结合处理器对指令的执行。
通过基于帧间重叠的长度按比例缩放目标样本集合216,装置可补偿与边界208相关联的帧间重叠。举例来说,可使第一音频帧204与第二音频帧212之间的能量差“平滑”,这可减少或消除音频信号中在对应于边界208的位置处的振幅“跳变”。进一步参看图3来描述“经平滑的”信号的实例。
图3描绘曲线图310、曲线图320和曲线图330的说明性实例。曲线图310、320和330可与装置(例如图1的装置100)的操作相关联。在曲线图310、320和330中的每一者中,横坐标指示样本的数目“n”,其中“n”是大于或等于零的整数。在曲线图310和320中的每一者中,纵坐标指示窗值。在曲线图330中,纵坐标指示比例因子值。
曲线图310说明第一窗w1(n)和第二窗w2(n)的第一实例。再次参看图1和2,开窗程序128可经配置以基于第一窗w1(n)(例如通过使用第一窗w1(n)选择第一样本集合220和第一子集232)产生目标样本集合132。开窗程序128可经配置以基于第二窗口w2(n)产生参考样本集合136(例如通过使用第二窗w2(n)选择第二子集236)。应注意,在此说明性实例中,窗w1(n)和w2(n)具有值1.0。这些窗说明其中开窗并不修改信号(例如其中目标样本集合和参考样本集合由图1的开窗程序128和比例因子确定器140选定,而不由开窗程序128或由比例因子确定器140按比例缩放)。在此情况下,“经开窗的”目标集合将包含与目标样本集合132或目标样本集合216相同的值,且“经开窗的”参考样本集合将包含与参考样本集合136或参考样本集合228相同的值。
曲线图320说明第一窗w1(n)和第二窗口w2(n)的第二实例。开窗程序128可经配置以基于第一窗w1(n)(例如通过选择第一样本集合220和第一子集232来产生目标样本集合132,且通过根据第一窗w1(n)对第一样本集合220和第一子集232进行加权以便产生经加权的目标样本集合),产生目标样本集合132。开窗程序128可经配置以基于第二窗w2(n)(例如通过选择子集232、236来产生参考样本集合,且通过根据第二窗w2(n)对子集232、236进行加权,以便产生经加权的参考样本集合),产生参考样本集合136。
曲线图330说明可由按比例缩放器148执行的按比例缩放过程的方面。在曲线图330中,应用于目标样本集合(例如样本的窗选定目标集合132、216中的任一者)的比例因子(例如比例因子144)的值在边界208附近逐渐改变(曲线图330中表示为幅度差平滑334)。幅度差平滑334可实现从基于比例因子144的按比例缩放到比例因子一(或无按比例缩放)的增益转变或“渐缩”(例如平滑增益转变,例如平滑线性增益转变),这可避免边界208附近的按比例缩放的量的不连续(例如“跳变”)。在此实例中,可使用从比例因子的第一值(曲线图330的实例中的“比例因子”)到比例因子的第二值(曲线图330的实例中的“1”)的线性增益转变来经按比例缩放样本132、216的目标集合中的任一者。应注意,提供曲线图330来说明,且其它实例在本发明的范围内。举例来说,尽管曲线图330描绘比例因子的第一值可大于比例因子的第二值,但在其它说明性实例中,比例因子的第一值可小于或等于比例因子的第二值。为了进一步说明,再次参看图1,比例因子确定器140可经配置以使用从比例因子144的第一值到比例因子144的第二值的线性增益转变来按比例缩放目标样本集合132。
尽管曲线图330说明幅度差平滑334的特定持续时间(20个样本)和斜率,但应了解,幅度差平滑334的持续时间和/或斜率可变化。举例来说,幅度差平滑334的持续时间和/或斜率可取决于帧间重叠的量以及第一和第二按比例缩放因数的特定值。另外,在一些应用中,幅度差平滑334可为非线性的(例如指数平滑、对数平滑或多项式平滑,例如样条内插平滑,作为说明性实例)。
通过使用按比例缩放“渐缩”实现幅度差平滑334,可使与音频信号相关联的音频帧之间的振幅差“平滑”。平滑振幅差可改进电子装置处的音频信号的质量。
图4是比例因子确定器400的说明性实例的框图。比例因子确定器400可集成在图1的装置100内。举例来说,比例因子确定器400可对应于图1的比例因子确定器140。
比例因子确定器400可包含耦合到比率电路420的能量参数确定器412。比例因子确定器400可进一步包含耦合到比率电路420的平方根电路432。
在操作期间,能量参数确定器412可响应于经开窗或窗选定的目标样本集合404(例如样本的经开窗目标集合132、216)。能量参数确定器412还可响应于经开窗或窗选定的参考样本集合408(例如样本的参考集合136、228)。
能量参数确定器412可经配置以确定与经开窗或窗选定的目标样本集合404相关联的第一能量参数416。举例来说,能量参数确定器412可经配置以求所述经开窗的或窗选定的目标样本集合404的每一样本的平方,且求所述平方值的总和,以产生第一能量参数416。
能量参数确定器412可经配置以确定与经开窗或窗选定的参考样本集合408相关联的第二能量参数424。举例来说,能量参数确定器412可经配置以求所述经开窗的或窗选定的参考样本集合408的每一样本的平方,且求所述平方值的总和,以产生第二能量参数424。
比率电路420可经配置以接收能量参数416、424。比率电路420可经配置以例如通过使第二能量参数424除以第一能量参数416来确定比率428。
平方根电路432可经配置以接收比率428。平方根电路432可经配置以对比率428执行平方根运算,以产生比例因子440。比例因子440可对应于图1的比例因子144。
图4的实例说明可基于经开窗的目标样本集合和经开窗的参考样本集合确定比例因子。所述比例因子表示与当前音频帧中的样本相比,先前音频帧中或直接受先前音频帧影响的样本之间的能量比率。可将比例因子应用于目标样本集合以补偿帧间重叠,从而减少或消除目标样本集合与参考样本集合之间的能量不连续。
图5是说明装置的操作方法500的实例的流程图。举例来说,所述装置可对应于图1的装置100。
方法500包含在510处接收第一样本集合(例如第一样本集合124、220中的任一者)以及第二样本集合(例如第二样本集合126、224中的任一者)。第一样本集合对应于第一音频帧(例如第一音频帧204)的一部分,且第二样本集合对应于第二音频帧(例如第二音频帧212)。
方法500进一步包含在520处,基于第一样本集合以及第二样本集合的第一子集产生目标样本集合。举例来说,目标样本集合可对应于目标样本集合132、216和404中的任一者,且第一子集可对应于第一子集232。在一些实施方案中,基于第一窗产生目标样本集合,基于第二窗产生参考样本集合,且所述第一窗与所述第二窗重叠(例如如曲线图320中所示)。在其它实施方案中,基于第一窗产生目标样本集合,基于第二窗产生参考样本集合,且第一窗并不与第二窗重叠(例如如曲线图310中所示)。
方法500进一步包含在530处,至少部分地基于第二样本集合的第二子集产生参考样本集合。举例来说,参考样本集合可对应于参考样本集合136、228和408中的任一者,且第二子集可对应于第二子集236。在一些实施例中,参考样本集合包含第一子集(或对应于第一子集的经加权样本),例如图2中所描绘。在此情况下,可进一步基于第二样本集合的第一子集产生参考样本集合。在其它实施例中,参考样本集合并不包含第一子集,例如在对应于曲线图310的实施方案的情况下。
方法500进一步包含在540处按比例缩放目标样本集合,以产生经按比例缩放的目标样本集合。举例来说,经按比例缩放的目标样本集合可对应于经按比例缩放的目标样本集合152。
方法500进一步包含在550处,基于经按比例缩放的目标样本集合以及第二样本集合的一或多个样本,产生第三样本集合。举例来说,第三样本集合可对应于第三样本集合160,且一或多个样本可对应于一或多个样本130。所述一或多个样本可包含第二样本集合的一或多个其余样本。
方法500可进一步包含将第三样本集合提供到装置的增益形状电路。举例来说,增益形状电路可对应于增益形状电路164。在一些实施方案中,方法500可视情况包含通过增益形状电路对第三样本集合进行按比例缩放,以产生增益形状经调整的合成高频带信号(例如增益形状经调整的合成高频带信号168),例如结合解码器实施方案或编码器实施方案中的任一者。或者,方法500可包含例如结合编码器实施方案,通过增益形状电路基于第三样本集合来估计增益形状。
第一样本集合和第二样本集合可对应于使用装置的激励产生器、线性预测合成器和后处理单元(例如使用电路112),基于低频带激励信号产生的合成高频带信号。第一样本集合和第二样本集合可对应于使用装置的激励产生器基于低频带激励信号(例如低频带激励信号104)产生的高频带激励信号。
方法500可视情况包含将第一样本集合存储在装置的存储器处(例如存储器120处),其中通过耦合到存储器的选择器(例如通过包含于开窗程序128中的选择器)来选择第二样本集合的第一子集。可基于与第一音频帧与第二音频帧之间的帧间重叠的所估计长度相关联的样本的数目来选择目标样本集合。帧间重叠可基于第一音频帧与第二音频帧之间的边界(例如边界208)的任一侧上直接受第一音频帧影响且用于第二音频帧中的样本的总数。
方法500可包含:产生经开窗或窗选定的目标样本集合;产生经开窗或窗选定的参考样本集合;以及基于所述经开窗或窗选定的目标样本集合和所述经开窗或窗选定的参考样本集合来确定比例因子(例如比例因子144),且其中基于所述比例因子来经按比例缩放目标样本集合。可使用从比例因子的第一值到比例因子的第二值的平滑增益转变(例如基于幅度差平滑334)来经按比例缩放目标样本集合。在一些实施方案中,比例因子的第二值可采取值1.0,且第一值可采取所估计比例因子440或144的值。在一些实施方案中,确定比例因子包含:确定与经开窗或窗选定的目标样本集合相关联的第一能量参数(例如第一能量参数416);以及确定与经开窗或窗选定的参考样本集合相关联的第二能量参数(例如第二能量参数424)。确定比例因子还可包含:确定第二能量参数与第一能量参数的比率(例如比率428);以及对所述比率执行平方根运算以产生比例因子。
方法500说明目标样本集合可经按比例缩放以补偿音频帧之间的帧间重叠。举例来说,可执行方法500来补偿第一音频帧204与第二音频帧212之间在边界208处的帧间重叠。
为了进一步说明,实例1和2的说明对应于可由处理器执行以实施本文所述的一或多个操作(例如图5的方法500的一或多个操作)的指令的伪码。应了解,提供实例1和2的伪码是为了说明,且参数可不同于基于特定应用的实例1的那些参数。
在实例1中,“i”可对应于参看图3描述的整数“n”,“prev_energy”可对应于第一能量参数416,“curr_energy”可对应于第二能量参数424,“w1”可对应于参考曲线图310或曲线图320描述的第一窗w1(n),“w2”可对应于参考说明不重叠窗的曲线图310描述的第二窗w2(n),“synthesized_high_band”可对应于合成高频带信号116,“scale_factor”可对应于比例因子144,“shaped_shb_excitation”可对应于第三样本集合160,且“actual_scale”可对应于曲线图330的纵坐标(即,曲线图330中的“按比例缩放”)。应注意,在一些替代说明性、非限制性实例中,可将窗“w1”和“w2”定义为重叠,如曲线图320中所说明。
实例1
实例2说明可结合不重叠窗执行的替代伪码。举例来说,图3的曲线图310说明第一窗w1(n)和第二窗w2(n)可不重叠。参考实例2描述的一或多个按比例缩放操作可参考图3的曲线图330来描述。
实例2
在实例2中,功能“sum2_f”可用于将缓冲器输入的能量计算为函数调用的第一自变量,信号输入的长度作为函数调用的第二自变量。将常数L_SHB_LAHEAD定义为取得值20。此值20是说明性非限制性实例。缓冲器voice_factors保持每一子帧一个地计算帧的话音因子。话音因子是重复(音高)分量相对于低频带激励信号的其余部分的强度的指示符,且可在0到1的范围内变化。较高话音因子值指示信号较有声(表示较强音高分量)。
实例1和2说明本文所述的操作和功能可使用处理器所执行的指令来执行或实施。图6描述包含处理器的电子装置的实例,所述处理器可执行对应于实例1的伪码的指令,对应于实例2的伪码的指令,或其组合。
图6是电子装置600的说明性实例的框图。举例来说,电子装置600可对应于以下各项或集成在以下各项内:移动装置(例如蜂窝式电话)、计算机(例如膝上型计算机、平板计算机或桌上型计算机)、机顶盒、娱乐单元、导航装置、个人数字助理(PDA)、电视机、调谐器、无线电(例如卫星无线电)、音乐播放器(例如数字音乐播放器和/或便携式音乐播放器)、视频播放器(例如数字视频播放器,例如数字视频光盘(DVD)播放器和/或便携式数字视频播放器)、汽车系统控制台、家具、可佩戴装置(例如个人相机、头戴式显示器和/或表)、机器人、保健装置或另一电子装置,作为说明性实例。
电子装置600包含耦合到存储器632的处理器610(例如中央处理单元(CPU))。存储器632可为存储可由处理器610执行的指令660的非暂时性计算机可读媒体。非暂时性计算机可读媒体可包含存储器装置,例如随机存取存储器(RAM)、磁阻随机存取存储器(MRAM)、自旋扭矩转移MRAM(STT-MRAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸式磁盘或压缩光盘只读存储器(CD-ROM)。
电子装置600可进一步包含译码器/解码器(编解码器)634。编解码器634可耦合到处理器610。扬声器636可耦合到编解码器634,且麦克风638可耦合到编解码器634。编解码器634可包含存储器,例如存储器690。存储器690可存储指令695,其可由编解码器634的处理单元执行。
电子装置600还可包含数字信号处理器(DSP)696。DSP 696可耦合到处理器610,且耦合到编解码器634。DSP 696可执行帧间重叠补偿程序694。举例来说,帧间重叠补偿程序694可由DSP 696执行,来实施本文所述的操作,例如图5的方法500的一或多个操作。或者或另外,帧间重叠补偿程序694可包含对应于实例1的伪码的一或多个指令、对应于实例2的伪码的一或多个指令,或其组合。应注意,本文所述的一或多个操作可结合编码过程执行,例如执行来编码由麦克风638检测且将经由天线642发射的音频信息的编码过程。或者或另外,本文所述的一或多个操作可结合解码过程执行,例如执行来解码经由天线642接收到且用来在扬声器636处产生音频输出的音频信息的解码过程。
图6还示出了耦合到处理器610并耦合到显示器628的显示器控制器626。图6还指示无线控制器640可耦合到处理器610且耦合到天线642。
在一特定实例中,处理器610、显示器控制器626、存储器632、编解码器634、无线控制器640和DSP 696包含于封装内系统或芯片上系统装置622中。输入装置630(例如触摸屏和/或小键盘)和电力供应器644可耦合到芯片上系统装置622。此外,如图6中所示,显示器628、输入装置630、扬声器636、麦克风638、天线642和电力供应器644可在芯片上系统装置622外部。然而,显示器628、输入装置630、扬声器636、麦克风638、天线642和电力供应器644中的每一者可耦合到芯片上系统装置622的组件,例如接口或控制器。
计算机可读媒体(例如存储器632、690中的任一者)存储可由处理器(例如处理器610、编解码器634或DSP 696中的一或多者)执行以实施操作的指令(例如指令660、指令695或帧间重叠补偿程序694中的一或多者)。所述操作包含接收第一样本集合(例如第一样本集合124或第一样本集合220中的任一者)和第二样本集合(例如第二样本集合126或第二样本集合224中的任一者)。第一样本集合对应于第一音频帧(例如第一音频帧204)的一部分,且第二样本集合对应于第二音频帧(例如第二音频帧212)。所述操作进一步包含:基于第一样本集合和第二样本集合的第一子集(例如第一子集232),产生目标样本集合(例如目标样本集合132或目标样本集合216中的任一者);以及至少部分地基于第二样本集合的第二子集(例如第二子集236),产生参考样本集合(例如参考样本集合136或参考样本集合228中的任一者)。所述操作进一步包含:按比例缩放所述目标样本集合,以产生经按比例缩放的目标样本集合(例如经按比例缩放的目标样本集合152);以及基于所述经按比例缩放的目标样本集合以及第二样本集合的一或多个样本(例如一或多个样本130),产生第三样本集合(例如第三样本集合160)。
一种设备包含用于接收第一样本集合(例如第一样本集合124或第一样本集合220中的任一者)和第二样本集合(例如第二样本集合126或第二样本集合224中的任一者)的装置(例如,存储器120)。第一样本集合对应于第一音频帧(例如第一音频帧204)的一部分,且第二样本集合对应于第二音频帧(例如第二音频帧212)。所述设备进一步包含用于基于第一样本集合的第二样本集合的第一子集(例如第一子集232)产生目标样本集合(例如目标样本集合132或目标样本集合216中的任一者),且用于至少部分地基于第二样本集合的第二子集(例如第二子集236)产生参考样本集合(例如参考样本集合136或参考样本集合228中的任一者)的装置(例如开窗程序128)。所述设备进一步包含:用于按比例缩放所述目标样本集合以产生经按比例缩放的目标样本集合(例如经按比例缩放的目标样本集合152)的装置(例如按比例缩放器148);用于基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本(例如一或多个样本130)产生第三样本集合(例如第三样本集合160)的装置(例如组合器156)。
在一些实例中,所述设备进一步包含用于接收第三样本集合的装置(例如增益形状电路164)。所述用于接收所述第三样本集合的装置可经配置以基于所述第三样本集合产生增益形状经调整的合成高频带信号(例如增益形状经调整的合成高频带信号168),例如结合装置100的解码器实施方案或装置100的编码器实施方案。或者,所述用于接收所述第三样本集合的装置可经配置以基于第三样本集合估计增益形状,例如结合装置100的编码器实施方案。所述设备还可包含用于将第一样本集合和第二样本集合提供到所述用于接收第一样本集合和第二样本集合的装置的装置。在说明性实例中,所述用于提供的装置包含参考电路112描述的一或多个组件,例如激励产生器、线性预测合成器或后处理单元中的一或多者,作为说明性实例。
参考解码器来描述本文的某些实例。或者或另外,参考图1到6所述的一或多个方面可在编码器处实施,例如用3GPP协议(例如3GPP EVS协议)编译的编码器。举例来说,装置的在无线网络中发射信号的编码器以及装置的经由无线网络接收信号的解码器可“协作”以通过执行本文所述的操作来减少帧间重叠。参看图7进一步描述可由装置的编码器执行的编码操作的某些实例。
参看图7,示出系统的说明性实例,且大体表示为700。在特定实施例中,系统700可集成到编码系统或设备中(例如,无线电话、编解码器或DSP中)。为了进一步说明,系统700可集成在电子装置600内,例如编解码器634内或DSP 696内。
系统700包含配置成接收输入音频信号702的分析滤波器组710。举例来说,输入音频信号702可由麦克风或其它输入装置提供。在特定实施例中,输入音频信号702可表示语音。输入音频信号702可为超宽带(SWB)信号,其包含在大约0Hz到大约16kHz的频率范围内的数据。
分析滤波器组710可基于频率将输入音频信号702滤波成多个部分。举例来说,分析滤波器组710可产生低频带信号722和高频带信号724。低频带信号722和高频带信号724可具有相等或不相等的带宽,且可重叠或不重叠。在替代实施例中,分析滤波器组710可产生两个以上输出。
在图7的实例中,低频带信号722和高频带信号724占用不重叠频带。举例来说,低频带信号722和高频带信号724可分别占用0Hz到8kHz以及8kHz到16kHz的不重叠频带。在另一实例中,低频带信号722和高频带信号724可占用0Hz到6.4kHz以及6.4kHz到12.8kHz的不重叠频带。在另一替代实施例中,低频带信号722与高频带信号724重叠(例如,分别为50Hz到8kHz和7kHz到16kHz),其可使分析滤波器组710的低通滤波器和高通滤波器具有光滑滚降特性,这可简化设计且降低低通滤波器和高通滤波器的成本。重叠低频带信号722和高频带信号724还可允许接收器处低频带和高频带信号的平滑混合,此情形可导致较少可听见伪声。
尽管图7的实例说明SWB信号的处理,但在一些实施方案中,输入音频信号702可为具有大约50Hz到大约8kHz的频率范围的宽带(WB)信号。在此类实施例中,举例来说,低频带信号722可对应于大约50Hz到大约6.4kHz的频率范围,且高频带信号724可对应于大约6.4kHz到大约8kHz的频率范围。
系统700可包含经配置以接收低频带信号722的低频带分析模块730。在特定实施例中,低频带分析模块730可表示码激励线性预测(CELP)编码器的实施例。低频带分析模块730可包含线性预测(LP)分析和译码模块732、线性预测系数(LPC)到线谱频率(LSF)变换模块734,以及量化器736。LSP也可被称作线频谱对(LSP),且所述两个术语(LSP和LSF)在本文可互换使用。
LP分析和译码模块732可将低频带信号722的谱包络编码成一组LPC。可针对音频的每一帧(例如20毫秒(ms)的音频,对应于320个样本)、音频的每一子帧(例如5ms的音频)或其任何组合产生LPC。可由所执行的LP分析的“阶数”确定针对每一帧或子帧所产生的LPC的数目。在特定实施例中,LP分析和译码模块732可产生对应于第十阶LP分析的十一个LPC的集合。
LPC到LSP变换模块734可将由LP分析和译码模块732所产生的所述LPC集合变换成对应LSP集合(例如,使用一对一变换)。替代地,所述LPC集合可经一对一变换成部分自相关系数、对数面积比率值、导谱对(ISP)或导谱频(ISF)的对应集合。LPC集合与LSP集合之间的变换可为可逆的而不存在误差。
量化器736可量化由变换模块734产生的所述LSP集合。举例来说,量化器736可包含或耦合到包含多个条目(例如,向量)的多个码簿。为了量化LSP集合,量化器736可识别“最接近”(例如,基于例如最小平方或均方误差的失真量度)LSP集合的码簿的条目。量化器736可输出对应于所识别条目在码本中的位置的索引值或一系列索引值。因此,量化器736的输出可因此表示包括于低频带位流742中的低频带滤波器参数。
低频带分析模块730还可产生低频带激励信号744。举例来说,低频带激励信号744可为通过量化在低频带分析模块730所执行的LP过程期间所产生的LP残差信号而产生的经编码信号。LP残差信号可表示预测误差。
系统700可进一步包含高频带分析模块750,其经配置以从分析滤波器组710接收高频带信号724,且从低频带分析模块730接收低频带激励信号744。高频带分析模块750可基于高频带信号724和低频带激励信号744产生高频带旁侧信息772。举例来说,高频带旁侧信息772可包含高频带LSP和/或增益信息(例如基于高频带能量与低频带能量的至少一比率)。在特定实施例中,增益信息可包含增益形状模块(例如增益形状电路792(例如图1的增益形状电路164))基于经谐波扩展的信号和/或高频带残差信号而产生的增益形状参数。归因于高频带信号724与低频带信号722之间的不足相关,所述经谐波扩展的信号可能不足以用于高频带合成。举例来说,高频带信号724的子帧可包含能级波动,其在模型化的高频带激励信号767中未充分模拟。
高频带分析模块750可包含帧间重叠补偿器790。在说明性实施方案中,帧间重叠补偿器790包含图1的开窗程序128、比例因子确定器140、按比例缩放器148和组合器156。或者或另外,帧间重叠补偿器可对应图6的帧间重叠补偿程序694。
高频带分析模块750还可包含高频带激发产生器760。高频带激发产生器760可通过使低频带激励信号744的频谱扩展到高频带频率范围(例如7kHz到16kHz)内,来产生高频带激励信号767。为了说明,高频带激发产生器760可将经调整的谐波扩展低频带激励与噪声信号(例如根据对应于模拟低频带信号722的缓慢变化时间特性的低频带激励信号744的包络来调制的白噪声)混合,以产生高频带激励信号767。举例来说,所述混合可根据以下等式执行:
高频带激励=(α*经调整的谐波扩展低频带激励)+((1-α)*经调制噪声)
经调整的谐波扩展低频带激励与经调制噪声混合的比率可影响接收器处高频带重构质量。对于有声语音信号,所述混合可朝经调整的谐波扩展低频带激励偏置(例如混合因子α可处于0.5到1.0的范围内)。对于无声信号,所述混合可朝经调制噪声偏置(例如,混合因子α可在0.0到0.5的范围内)。
如所说明,高频带分析模块750还可包含LP分析和译码模块752、LPC到LSP变换模块754和量化器756。LP分析和译码模块752、变换模块754和量化器756中的每一者可如上文参考低频带分析模块730的对应组件所描述但以相对减小的分辨率(例如,针对每一系数、LSP等使用较少的位)起作用。LP分析和译码模块752可产生由变换模块754变换到LSP并由量化器756基于码簿763量化的LPC的集合。举例来说,LP分析和译码模块752、变换模块754和量化器756可使用高频带信号724来确定包含于高频带旁侧信息772中的高频带滤波器信息(例如,高频带LSP)。
量化器756还可经配置以量化例如由变换模块754提供的LSP等频谱频率值的集合。在其它实施例中,量化器756可接收并量化除LSF或LSP外或替代LSF或LSP的一或多个其它类型的频谱频率值的集合。举例来说,量化器756可接收并量化由LP分析和译码模块752产生的LPC的集合。其它实例包含可在量化器756处接收并量化的部分自相关系数、对数面积比率值和ISF的集合。量化器756可包含向量量化器,其将输入向量(例如处于向量格式的光谱频率值集合)编码为指向表或码簿(例如码簿763)中的对应条目的索引。作为另一实例,量化器756可经配置以确定一或多个参数,可在解码器处,例如在稀疏码簿实施例中,从所述一或多个参数动态地产生输入向量,而非从存储装置检索。为了说明,稀疏码簿实例可根据业界标准例如3GPP2(第三代合作伙伴2)EVRC(增强型变化速率编码解码器)应用于例如CELP和编码解码器的译码方案中。在另一实施例中,高频带分析模块750可包含量化器756,且可经配置以使用若干码簿向量来产生合成信号(例如,根据过滤器参数的集合),且选择例如在感知加权域中与高频带信号724最佳匹配的与合成信号相关联的码簿向量中的一者。
在特定实施例中,高频带旁侧信息772可包含高频带LSP以及高频带增益参数。举例来说,高频带激励信号767可用于确定包含于高频带旁侧信息772中的额外增益参数。
低频带位流742和高频带旁侧信息772可由多路复用器(MUX)780进行多路复用以产生输出位流799。输出位流799可表示对应于输入音频信号702的经编码音频信号。举例来说,可发射(例如经由有线、无线或光学信道)和/或存储输出位流799。
在接收器处,反向操作可由多路分用器(DEMUX)、低频带解码器、高频带解码器和滤波器组执行,以产生音频信号(例如提供到扬声器或其它输出装置的输入音频信号702的经重构版本)。用于表示低频带位流742的位数可大体上大于用于表示高频带边信息772的位数。因此,输出位流799中的大部分位可表示低频带数据。高频带旁侧信息772可在接收器处用于根据信号模型从低频带数据重新产生高频带激励信号。举例来说,信号模型可表示低频带数据(例如,低频带信号722)与高频带数据(例如,高频带信号724)之间的关系或相关的预期集合。因此,不同信号模型可用于不同类别的音频数据(例如,语音、音乐等),且在用的特定信号模型可在经编码音频数据的通信之前由发射器和接收器协商(或由工业标准界定)。使用信号模型,发射器处的高频带分析模块750可能够产生高频带旁侧信息772,使得接收器处的对应高频带分析模块能够使用信号模型从输出位流799重构高频带信号724。所述接收器可包含图1的装置100。
在前面的描述中,已将各种功能和操作描述为由某些组件或模块实施或执行。应注意,在一些实施方案中,描述为由特定组件或模块实施或执行的功能或操作可改为使用多个组件或模块来实施或执行。此外,在一些实施方案中,本文所述的两个或更多个组件或模块可集成到单个组件或模块中。本文所述的一或多个组件或模块可使用硬件(例如现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、DSP和/或控制器,作为说明性实例)、软件(例如可由处理器执行的指令)或其任何组合来实施。
所属领域的技术人员将进一步了解,各种说明性逻辑块、配置、模块、电路和结合本文中所揭示的方面所描述的算法步骤可实施为电子硬件、由例如硬件处理器等处理装置执行的计算机软件,或两者的组合。上文已大体在其功能性方面描述了各种说明性组件、块、配置、模块、电路和步骤。将此类功能性实施为硬件还是可执行软件取决于特定应用以及强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性,但此类实施决策不应被解释为引起偏离本发明的范围。
结合本文中所揭示的方面描述的方法或算法的步骤可直接用硬件、用由处理器执行的软件模块、或用这两者的组合来实施。软件模块可驻留于存储器装置中,所述存储器装置例如随机存取存储器(RAM)、磁阻随机存取存储器(MRAM)、自旋扭矩转移MRAM(STT-MRAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸式磁盘或压缩光盘只读存储器(CD-ROM)。示范性存储器装置耦合到处理器,使得处理器可从存储器装置读取信息并将信息写入到存储器装置。在替代方案中,存储器装置可与处理器成一体式。处理器和存储媒体可驻存于ASIC中。ASIC可驻存在计算装置或用户终端中。或者,处理器和存储媒体可作为离散组件驻留在计算装置或用户终端中。
提供对所揭示方面的先前描述是为了使所属领域的技术人员能够制作或使用所揭示的方面。本领域的技术人员将容易明白对这些方面的各种修改,且在不脱离本发明的范围的情况下,本文中所界定的原理可应用于其它方面。因此,本发明并不既定限于本文展示的实施例,而是应被赋予与如由所附权利要求书界定的原理和新颖特征一致的可能最宽范围。

Claims (65)

1.一种操作装置的方法,所述方法包括:
接收第一样本集合和第二样本集合,其中所述第一样本集合对应于第一音频帧的一部分,且所述第二样本集合对应于第二音频帧;
基于所述第一样本集合以及所述第二样本集合的第一子集产生目标样本集合;
至少部分地基于所述第二样本集合的第二子集,产生参考样本集合;
按比例缩放所述目标样本集合,以产生经按比例缩放的目标样本集合;以及
基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本,产生第三样本集合。
2.根据权利要求1所述的方法,其中在所述第一音频帧和所述第二音频帧的处理次序中,所述第一音频帧循序地在所述第二音频帧紧接之前。
3.根据权利要求1所述的方法,其中所述一或多个样本包含所述第二样本集合的一或多个其余样本。
4.根据权利要求1所述的方法,其进一步包括:通过所述装置的增益形状电路来按比例缩放所述第三样本集合,以产生增益形状经调整的合成高频带信号。
5.根据权利要求1所述的方法,其进一步包括:通过所述装置的增益形状电路,基于所述第三样本集合来估计增益形状。
6.根据权利要求1所述的方法,其中进一步基于所述第二样本集合的所述第一子集,产生所述参考样本集合。
7.根据权利要求1所述的方法,其中所述第一样本集合和所述第二样本集合对应于使用所述装置的激励产生器、线性预测合成器和后处理单元,基于低频带激励信号而产生的合成高频带信号。
8.根据权利要求1所述的方法,其中所述第一样本集合和所述第二样本集合对应于使用激励产生器基于低频带激励信号而产生的高频带激励信号。
9.根据权利要求1所述的方法,进一步包括:将所述第一样本集合存储在所述装置的存储器处,其中通过耦合到所述存储器的选择器来选择所述第二样本集合的所述第一子集。
10.根据权利要求1所述的方法,其中基于与所述第一音频帧与所述第二音频帧之间的帧间重叠的所估计长度相关联的样本数目来选择所述目标样本集合。
11.根据权利要求10所述的方法,其中所述帧间重叠是基于所述第一音频帧与所述第二音频帧之间的边界的任一侧上直接受所述第一音频帧影响且用于所述第二音频帧中的样本的总数。
12.根据权利要求1所述的方法,其进一步包括:基于所述目标样本集合和所述参考样本集合来确定比例因子,其中基于所述比例因子来按比例缩放所述目标样本集合。
13.根据权利要求12所述的方法,其中使用从所述比例因子的第一值到所述比例因子的第二值的平滑增益转变来按比例缩放所述目标样本集合。
14.根据权利要求13所述的方法,其中所述比例因子的所述第二值是1.0。
15.根据权利要求12所述的方法,其中确定所述比例因子包含:
基于第一窗产生经开窗的目标样本集合;
基于第二窗产生经开窗的参考样本集合;
确定与所述经开窗的目标样本集合相关联的第一能量参数;以及
确定与所述经开窗的参考样本集合相关联的第二能量参数。
16.根据权利要求15所述的方法,其进一步包括:
确定所述第二能量参数与所述第一能量参数的比率;以及
对所述比率执行平方根运算,以产生所述比例因子。
17.根据权利要求15所述的方法,其中所述第一窗与所述第二窗重叠。
18.根据权利要求15所述的方法,其中所述第一窗并不与所述第二窗重叠。
19.一种设备,其包括:
存储器,其经配置以接收第一样本集合和第二样本集合,其中所述第一样本集合对应于第一音频帧的一部分,且所述第二样本集合对应于第二音频帧;
开窗程序,其经配置以基于所述第一样本集合以及所述第二样本集合的第一子集产生目标样本集合,所述开窗程序进一步经配置以至少部分地基于所述第二样本集合的第二子集,产生参考样本集合;
按比例缩放器,其经配置以按比例缩放所述目标样本集合,以产生经按比例缩放的目标样本集合;以及
组合器,其经配置以基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本,产生第三样本集合。
20.根据权利要求19所述的设备,其进一步包括增益形状电路,其经配置以基于所述第三样本集合产生增益形状经调整的合成高频带信号。
21.根据权利要求19所述的设备,其进一步包括增益形状电路,所述增益形状电路经配置以基于所述第三样本集合来估计增益形状。
22.根据权利要求19所述的设备,其中所述按比例缩放器进一步经配置以基于所述目标样本集合和所述参考样本集合产生比例因子,且基于所述比例因子按比例缩放所述目标样本集合。
23.根据权利要求19所述的设备,其中所述开窗程序进一步经配置以进一步基于所述第二样本集合的所述第一子集,产生所述参考样本集合。
24.根据权利要求19所述的设备,其进一步包括耦合到所述存储器的电路,所述电路经配置以将所述第一样本集合和所述第二样本集合提供到所述存储器。
25.根据权利要求24所述的设备,其中所述电路包含激励产生器、线性预测合成器或后处理单元中的一或多者。
26.根据权利要求19所述的设备,其中所述开窗程序进一步经配置以基于与所述第一音频帧与所述第二音频帧之间的帧间重叠的所估计长度相关联的样本数目,产生所述目标样本集合。
27.根据权利要求26所述的设备,其中所述帧间重叠是基于所述第一音频帧与所述第二音频帧之间的边界的任一侧上直接受所述第一音频帧影响且用于所述第二音频帧中的样本的总数。
28.根据权利要求19所述的设备,其进一步包括比例因子确定器,其经配置以基于所述目标样本集合和所述参考样本集合来确定比例因子,其中基于所述比例因子来按比例缩放所述目标样本集合。
29.根据权利要求所述28的设备,其中所述比例因子确定器进一步经配置以使用从所述比例因子的第一值到所述比例因子的第二值的平滑增益转变来按比例缩放所述目标样本集合。
30.根据权利要求28所述的设备,其中所述比例因子确定器进一步经配置以确定与所述目标样本集合相关联的第一能量参数,且确定与所述参考样本集合相关联的第二能量参数。
31.根据权利要求30所述的设备,其中所述比例因子确定器进一步经配置以确定所述第二能量参数与所述第一能量参数的比率,且对所述比率执行平方根运算以产生所述比例因子。
32.根据权利要求19所述的设备,其中所述开窗程序进一步经配置以基于第一窗产生所述目标样本集合,且基于第二窗产生所述参考样本集合,且其中所述第一窗与所述第二窗重叠。
33.根据权利要求19所述的设备,其中所述开窗程序进一步经配置以基于第一窗产生所述目标样本集合,且基于第二窗产生所述参考样本集合,且其中所述第一窗并不与所述第二窗重叠。
34.一种存储可由处理器执行来实施操作的指令的计算机可读媒体,所述操作包括:
接收第一样本集合和第二样本集合,其中所述第一样本集合对应于第一音频帧的一部分,且所述第二样本集合对应于第二音频帧;
基于所述第一样本集合以及所述第二样本集合的第一子集产生目标样本集合;
至少部分地基于所述第二样本集合的第二子集,产生参考样本集合;
按比例缩放所述目标样本集合,以产生经按比例缩放的目标样本集合;以及
基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本,产生第三样本集合。
35.根据权利要求34所述的计算机可读媒体,其中所述操作进一步包括按比例缩放所述第三样本集合,以产生增益形状经调整的合成高频带信号。
36.根据权利要求34所述的计算机可读媒体,其中所述操作进一步包括基于所述第三样本集合估计增益形状。
37.根据权利要求34所述的计算机可读媒体,其中进一步基于所述第二样本集合的所述第一子集产生所述参考样本集合。
38.根据权利要求34所述的计算机可读媒体,其中所述第一样本集合和所述第二样本集合对应于使用激励产生器、线性预测合成器和后处理单元,基于低频带激励信号而产生的合成高频带信号。
39.根据权利要求34所述的计算机可读媒体,其中在存储器处接收所述第一样本集合和所述第二样本集合。
40.根据权利要求34所述的计算机可读媒体,其中所述目标样本集合和所述参考样本集合由开窗程序产生。
41.根据权利要求34所述的计算机可读媒体,其中基于与所述第一音频帧与所述第二音频帧之间的帧间重叠的所估计长度相关联的样本数目来选择所述目标样本集合。
42.根据权利要求41所述的计算机可读媒体,其中所述帧间重叠是基于所述第一音频帧与所述第二音频帧之间的边界的任一侧上直接受所述第一音频帧影响且用于所述第二音频帧中的样本的总数。
43.根据权利要求34所述的计算机可读媒体,其中所述操作进一步包括基于所述目标样本集合和所述参考样本集合来确定比例因子,其中基于所述比例因子来按比例缩放所述目标样本集合。
44.根据权利要求43所述的计算机可读媒体,其中所述操作进一步包括:
确定与所述目标样本集合相关联的第一能量参数;以及
确定与所述参考样本集合相关联的第二能量参数。
45.根据权利要求44所述的计算机可读媒体,其中所述操作进一步包括:
确定所述第二能量参数与所述第一能量参数的比率;以及
对所述比率执行平方根运算,以产生所述比例因子。
46.根据权利要求34所述的计算机可读媒体,其中基于第一窗产生所述目标样本集合,且其中基于第二窗产生所述参考样本集合。
47.根据权利要求46所述的计算机可读媒体,其中所述第一窗与所述第二窗重叠。
48.根据权利要求47所述的计算机可读媒体,其中所述第一窗并不与所述第二窗重叠。
49.根据权利要求34所述的计算机可读媒体,其中所述处理器包含数字信号处理器DSP,且其中所述指令包含于帧间重叠补偿程序中。
50.一种设备,其包括:
用于接收第一样本集合和第二样本集合的装置,其中所述第一样本集合对应于第一音频帧的一部分,且所述第二样本集合对应于第二音频帧;
用于产生目标样本集合和参考样本集合的装置,所述目标样本集合是基于所述第一样本集合以及所述第二样本集合的第一子集,且所述参考样本集合至少部分地基于所述第二样本集合的第二子集;
用于按比例缩放所述目标样本集合以产生经按比例缩放的目标样本集合的装置;以及
用于基于所述经按比例缩放的目标样本集合以及所述第二样本集合的一或多个样本产生第三样本集合的装置。
51.根据权利要求50所述的设备,其进一步包括用于接收所述第三样本集合且用于基于所述第三样本集合产生增益形状经调整的合成高频带信号的装置。
52.根据权利要求50所述的设备,其进一步包括用于接收所述第三样本集合且用于基于所述第三样本集合来估计增益形状的装置。
53.根据权利要求50所述的设备,其中所述用于按比例缩放的装置经配置以基于所述目标样本集合和所述参考样本集合来产生比例因子,且基于所述比例因子来按比例缩放所述目标样本集合。
54.根据权利要求50所述的设备,其中所述用于产生所述目标样本集合和所述参考样本集合的装置经配置以进一步基于所述第二样本集合的所述第一子集来产生所述参考样本集合。
55.根据权利要求50所述的设备,其进一步包括用于将所述第一样本集合和所述第二样本集合提供到所述用于接收的装置的装置。
56.根据权利要求55所述的设备,其中所述用于接收的装置包含存储器,且其中所述用于提供的装置包含激励产生器、线性预测合成器或后处理单元中的一或多者。
57.根据权利要求50所述的设备,其中所述用于产生所述目标样本集合和所述参考样本集合的装置经配置以基于与所述第一音频帧与所述第二音频帧之间的帧间重叠的所估计长度相关联的样本数目,产生所述目标样本集合。
58.根据权利要求57所述的设备,其中所述帧间重叠是基于所述第一音频帧与所述第二音频帧之间的边界的任一侧上直接受所述第一音频帧影响且用于所述第二音频帧中的样本的总数。
59.根据权利要求50所述的设备,其进一步包括用于基于所述目标样本集合和所述参考样本集合来确定比例因子的装置,其中基于所述比例因子来经按比例缩放所述目标样本集合。
60.根据权利要求59所述的设备,其中所述用于确定所述比例因子的装置包含比例因子确定器。
61.根据权利要求60所述的设备,其中所述用于确定所述比例因子的装置经配置以确定与所述目标样本集合相关联的第一能量参数,且确定与所述参考样本集合相关联的第二能量参数。
62.根据权利要求61所述的设备,其中所述用于确定所述比例因子的装置进一步经配置以确定所述第二能量参数与所述第一能量参数的比率,且对所述比率执行平方根运算以产生所述比例因子。
63.根据权利要求50所述的设备,其中所述用于产生所述目标样本集合和所述参考样本集合的装置经配置以基于第一窗产生所述目标样本集合,且基于第二窗产生所述参考样本集合。
64.根据权利要求63所述的设备,其中所述第一窗与所述第二窗重叠。
65.根据权利要求63所述的设备,其中所述第一窗并不与所述第二窗重叠。
CN201680005352.3A 2015-01-19 2016-01-08 增益形状电路的按比例缩放 Active CN107112027B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562105071P 2015-01-19 2015-01-19
US62/105,071 2015-01-19
US14/939,436 US9595269B2 (en) 2015-01-19 2015-11-12 Scaling for gain shape circuitry
US14/939,436 2015-11-12
PCT/US2016/012718 WO2016118343A1 (en) 2015-01-19 2016-01-08 Scaling for gain shape circuitry

Publications (2)

Publication Number Publication Date
CN107112027A true CN107112027A (zh) 2017-08-29
CN107112027B CN107112027B (zh) 2018-10-16

Family

ID=56408316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680005352.3A Active CN107112027B (zh) 2015-01-19 2016-01-08 增益形状电路的按比例缩放

Country Status (9)

Country Link
US (1) US9595269B2 (zh)
EP (1) EP3248192B1 (zh)
JP (1) JP6338783B2 (zh)
KR (1) KR101865010B1 (zh)
CN (1) CN107112027B (zh)
CA (1) CA2971600C (zh)
ES (1) ES2807258T3 (zh)
HU (1) HUE049631T2 (zh)
WO (1) WO2016118343A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172239B (zh) * 2013-09-26 2021-01-12 华为技术有限公司 频带扩展的方法及装置
US10157621B2 (en) * 2016-03-18 2018-12-18 Qualcomm Incorporated Audio signal decoding
CN107731238B (zh) * 2016-08-10 2021-07-16 华为技术有限公司 多声道信号的编码方法和编码器
US10255898B1 (en) * 2018-08-09 2019-04-09 Google Llc Audio noise reduction using synchronized recordings
US10536823B1 (en) * 2019-01-30 2020-01-14 Vamshi Guduguntla Determining device quality score
KR102291413B1 (ko) 2021-01-06 2021-08-20 주식회사 에스크컴퍼니 프로폴리스 추출물을 포함하는 생분해성 나노 입자 및 이의 제조방법
KR102246331B1 (ko) 2021-01-15 2021-04-29 주식회사 에스크컴퍼니 흰소나무 솔방울 추출물을 포함하는 나노 입자 및 이의 제조방법
WO2023224665A1 (en) * 2022-05-17 2023-11-23 Google Llc Asymmetric and adaptive strength for windowing at encoding and decoding time for audio compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
CN101185126A (zh) * 2005-04-01 2008-05-21 高通股份有限公司 用于高频带时间偏差的系统、方法和设备
US7526348B1 (en) * 2000-12-27 2009-04-28 John C. Gaddy Computer based automatic audio mixer
CN101496101A (zh) * 2006-07-31 2009-07-29 高通股份有限公司 用于增益因子限制的系统、方法及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ562188A (en) * 2005-04-01 2010-05-28 Qualcomm Inc Methods and apparatus for encoding and decoding an highband portion of a speech signal
CN101770776B (zh) * 2008-12-29 2011-06-08 华为技术有限公司 瞬态信号的编码方法和装置、解码方法和装置及处理系统
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
US9372925B2 (en) * 2013-09-19 2016-06-21 Microsoft Technology Licensing, Llc Combining audio samples by automatically adjusting sample characteristics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526348B1 (en) * 2000-12-27 2009-04-28 John C. Gaddy Computer based automatic audio mixer
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
CN101185126A (zh) * 2005-04-01 2008-05-21 高通股份有限公司 用于高频带时间偏差的系统、方法和设备
CN101496101A (zh) * 2006-07-31 2009-07-29 高通股份有限公司 用于增益因子限制的系统、方法及设备

Also Published As

Publication number Publication date
JP6338783B2 (ja) 2018-06-06
CN107112027B (zh) 2018-10-16
US20160210978A1 (en) 2016-07-21
KR20170092696A (ko) 2017-08-11
BR112017015461A2 (pt) 2018-01-23
CA2971600C (en) 2019-08-20
ES2807258T3 (es) 2021-02-22
EP3248192A1 (en) 2017-11-29
CA2971600A1 (en) 2016-07-28
US9595269B2 (en) 2017-03-14
WO2016118343A1 (en) 2016-07-28
KR101865010B1 (ko) 2018-06-05
HUE049631T2 (hu) 2020-09-28
EP3248192B1 (en) 2020-04-22
JP2018505443A (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
CN107112027B (zh) 增益形状电路的按比例缩放
CN107787510B (zh) 高频带信号产生
CN110827842B (zh) 高频带激励信号生成
CN105612578B (zh) 用于信号处理的方法和设备
CN107743644A (zh) 高频带信号产生
US10163447B2 (en) High-band signal modeling
CN104969291B (zh) 执行用于增益确定的滤波的系统及方法
CN104956438B (zh) 执行噪声调制和增益调节的系统和方法
CN105593933B (zh) 用于信号处理的方法和设备
CN106663440A (zh) 基于高频带信号特征的时间增益调整
CN104956437A (zh) 执行增益控制的系统及方法
CN105593935B (zh) 使用经缩放的高频带激励对音频信号进行带宽扩展的方法、设备、装置、计算机可读媒体
CN106165012A (zh) 使用多个子频带的高频带信号译码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant