CN110136742B - 执行噪声调制和增益调节的系统和方法 - Google Patents

执行噪声调制和增益调节的系统和方法 Download PDF

Info

Publication number
CN110136742B
CN110136742B CN201910418587.0A CN201910418587A CN110136742B CN 110136742 B CN110136742 B CN 110136742B CN 201910418587 A CN201910418587 A CN 201910418587A CN 110136742 B CN110136742 B CN 110136742B
Authority
CN
China
Prior art keywords
gain
band
values
spectral
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910418587.0A
Other languages
English (en)
Other versions
CN110136742A (zh
Inventor
芬卡特拉曼·斯里尼瓦沙·阿提
文卡特什·克里希南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201910418587.0A priority Critical patent/CN110136742B/zh
Publication of CN110136742A publication Critical patent/CN110136742A/zh
Application granted granted Critical
Publication of CN110136742B publication Critical patent/CN110136742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H03G3/301—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers the gain being continuously variable
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3089—Control of digital or coded signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0003—Backward prediction of gain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Circuits Of Receivers In General (AREA)
  • Amplifiers (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Noise Elimination (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及执行噪声调制和增益调节的系统和方法。一种方法包含接收混合因数的第一值。所述第一值对应于音频编码器处接收的音频信号的第一部分。所述方法包含接收所述混合因数的第二值。所述第二值对应于所述音频信号的第二部分。所述方法还包含至少部分基于所述第一值和所述第二值而产生所述混合因数的第三值，以及基于所述第三值将激励信号与经调制噪声混合。另一方法包含确定对应于音频信号的频谱频率值的第一集合，以及确定近似频谱频率值的所述第一集合的频谱频率值的第二集合。基于所述第一集合与所述第二集合之间的差异调节对应于所述音频信号的至少一部分的增益值。

Description

执行噪声调制和增益调节的系统和方法
分案申请的相关信息
本案是分案申请。该分案申请的母案是申请日为2013年8月29日、申请号为201380071698.X、发明名称为“执行噪声调制和增益调节的系统和方法”的发明专利申请案。
相关申请案的交叉参考
本申请案主张来自共同拥有的2013年2月8日申请的第61/762,810号美国临时专利申请案和2013年8月28日申请的第14/012,749号美国非临时专利申请案的优先权，所述申请案的内容全文以引用的方式明确地并入本文中。
技术领域
本发明大体涉及信号处理。
背景技术
技术的进步已产生较小且较强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线计算装置，例如便携式无线电话、个人数字助理(PDA)和寻呼装置，其体积小，重量轻且易于由用户携带。更确切地说，例如蜂窝电话和因特网协议(IP)电话等便携式无线电话可经由无线网络传送语音和数据包。此外，多个此类无线电话包含并入其中的其它类型的装置。举例来说，无线电话还可包含数字静态相机、数码摄像机、数字记录器，和音频文件播放器。
在传统电话系统(例如，公共交换电话网络(PSTN))中，信号带宽限于300赫兹(Hz)到3.4千赫兹(kHz)的频率范围。在例如蜂窝式电话和因特网话音协议(VoIP)等宽带(WB)应用中，信号带宽可横跨50Hz到7kHz的频率范围。超宽带(SWB)译码技术支持扩展到16kHz左右的带宽。将信号带宽从3.4kHz的窄带电话扩展到16kHz的SWB电话可改进信号重建的质量、可懂度和自然度。
SWB译码技术通常涉及编码和发射信号的较低频率部分(例如，50Hz到7kHz，也被称为“低频带”)。举例来说，可使用滤波器参数和/或低频带激励信号表示低频带。然而，为了改进译码效率，信号的较高频率部分(例如，7kHz到16kHz，也被称为“高频带”)可不完全经编码和发射。实际上，接收器可利用信号建模以预测高频带。在一些实施方案中，可将与高频带相关联的数据提供到接收器以辅助预测。此数据可被称为“旁侧信息”，且可包含增益信息、线谱频率(LSF，也被称为线谱对(LSP))等。当低频带信号与高频带信号充分相关时，使用信号模型的高频带预测可在可接受范围内是准确的。然而，在存在噪声的情况下，低频带与高频带之间的相关可为弱的，且信号模型可不再能够准确地表示高频带。此情形可导致接收器处的伪声(例如，失真语音)。
发明内容
本发明揭示执行噪声调制和增益调节的系统和方法。举例来说，高频带编码可涉及基于使用低频带分析(例如，低频带线性预测(LP)分析)产生的低频带激励信号产生高频带激励信号。高频带激励信号可通过将经变换低频带激励信号与经调制噪声(例如，白噪声)混合而产生。经变换低频带激励信号与经调制噪声混合的比率可影响信号重建质量。在存在减小低频带与高频带之间的相关的噪声的情况下，经变换低频带激励信号可对于高频带合成是不充分的。举例来说，合成的高频带激励信号可引入可听伪声。根据所描述的技术，可执行噪声调制和/或增益调节以减少此些伪声。执行噪声调制可包含自适应地使用于高频带合成的低频带激励与经调制噪声的比率平滑。执行增益调节可包含基于量化失真确定将包含在高频带旁侧信息中的增益参数。
在特定实施例中，一种方法包含接收混合因数的第一值。所述第一值对应于音频编码器处接收的音频信号的第一部分。所述方法包含接收混合因数的第二值。所述第二值对应于音频信号的第二部分。所述方法包含至少部分基于所述第一值和所述第二值产生混合因数的第三值。所述方法还包含基于混合因数的第三值将激励信号与经调制噪声混合。
在另一特定实施例中，所述方法包含确定对应于音频信号的频谱频率值的第一集合，和确定近似频谱频率值的所述第一集合的频谱频率值的第二集合。所述方法还包含基于所述第一集合与所述第二集合之间的差异调节对应于音频信号的至少一部分的增益值。
在另一特定实施例中，一种设备包含滤波器，其经配置以至少部分基于混合因数的第一值和混合因数的第二值产生混合因数的第三值。所述第一值对应于音频信号的第一部分，且所述第二值对应于音频信号的第二部分。所述设备还包含混频器，其经配置以接收所述第三值，且通过产生经调制噪声且将经调制噪声与低频带激励信号的经变换型式组合来产生对应于音频信号的高频带部分的高频带激励信号。所述低频带激励信号对应于音频信号的低频带部分。所述混频器经配置以基于所述第三值将经调制噪声与低频带激励信号的经变换型式组合。
在另一特定实施例中，一种设备包含分析滤波器，其经配置以确定对应于音频信号的频谱频率值的第一集合。所述设备包含量化器，其经配置以产生近似频谱频率值的第一集合的频谱频率值的第二集合。所述设备还包含增益电路，其经配置以基于第一集合与第二集合之间的差异调整对应于音频信号的至少一部分的增益值。
在另一特定实施例中，一种设备包含用于至少部分基于混合因数的第一值和混合因数的第二值产生混合因数的第三值的装置。所述第一值对应于音频编码器处接收的音频信号的第一部分，且所述第二值对应于音频信号的第二部分。所述设备包含用于通过将经调制噪声与低频带激励信号的经变换型式组合而产生对应于音频信号的高频带部分的高频带激励信号的装置。所述低频带激励信号对应于音频信号的低频带部分。所述用于产生的装置经配置以基于所述第三值将经调制噪声与低频带激励信号的经变换型式组合。
在另一特定实施例中，一种设备包含用于确定对应于音频信号的频谱频率值的第一集合的装置。所述设备还包含用于产生近似频谱频率值的第一集合的频谱频率值的第二集合的装置。所述设备还包含用于基于所述第一集合与所述第二集合之间的差异调节对应于音频信号的至少一部分的增益值的装置。
在另一特定实施例中，一种非暂时性计算机可读媒体包含指令，所述指令在由计算机执行时致使所述计算机接收混合因数的第一值。所述第一值对应于音频编码器处接收的音频信号的第一部分。所述指令还可执行以致使所述计算机接收混合因数的第二值。所述第二值对应于音频信号的第二部分。所述指令还可执行以致使所述计算机至少部分基于所述第一值和所述第二值产生混合因数的第三值。所述指令还可执行以致使所述计算机基于混合因数的第三值将激励信号与经调制噪声混合。
在另一特定实施例中，一种非暂时性计算机可读媒体包含指令，所述指令在由计算机执行时致使所述计算机确定对应于音频信号的频谱频率值的第一集合。所述指令还可执行以确定近似频谱频率值的第一集合的频谱频率值的第二集合。所述指令还可执行以基于所述第一集合与所述第二集合之间的差异调节对应于音频信号的至少一部分的增益值。
所揭示实施例中的至少一者提供的特定优点包含执行噪声调制和/或增益调节以补偿有噪声条件的能力。举例来说，噪声调制可抵消高频带合成期间使用的混合参数中的较大波动。作为另一实例，增益调节可补偿归因于量化误差的频谱失真。本发明的其它方面、优点和特征将在审阅整个申请案之后变得显而易见，所述整个申请案包含以下部分：附图说明、具体实施方式和权利要求书。
附图说明
图1为用以说明可操作以执行噪声调制和增益调节的系统的特定实施例的图；
图2为用以说明图1的系统的组件的特定实施例的图；
图3为用以说明增益因数与频谱失真之间的映射的特定实施例的曲线图；
图4为用以说明图1的高频带激励产生器的特定实施例的图；
图5为用以说明执行噪声调制的方法的特定实施例的流程图；
图6为用以说明执行增益调节的方法的特定实施例的流程图；以及
图7为根据图1-6的系统和方法的可操作以执行信号处理操作的无线装置的框图。
具体实施方式
参看图1，展示可操作以执行噪声调制和增益调节的系统的特定实施例且将其大体表示为100。在特定实施例中，系统100可集成到编码系统或设备中(例如，无线电话或译码器/解码器(CODEC)中)。
应注意，在以下描述中，将由图1的系统100执行的各种功能描述为由特定组件或模块执行。然而，组件和模块的此划分仅为了说明。在替代实施例中，由特定组件或模块执行的功能可改为划分为多个组件或模块。此外，在替代实施例中，图1的两个或两个以上组件或模块可集成到单个组件或模块中。可使用硬件(例如，现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、数字信号处理器(DSP)、控制器等)、软件(例如，可由处理器执行的指令)或其任何组合实施图1中所说明的每一组件或模块。
系统100包含经配置以接收输入音频信号102的分析滤波器组110。举例来说，输入音频信号102可由麦克风或其它输入装置提供。在特定实施例中，输入音频信号102可包含语音。输入音频信号可为超宽带(SWB)信号，其包含在近似50赫兹(Hz)到近似16千赫兹(kHz)的频率范围内的数据。分析滤波器组110可基于频率将输入音频信号102滤波成多个部分。举例来说，分析滤波器组110可产生低频带信号122和高频带信号124。低频带信号122和高频带信号124可具有相等或不相等带宽，且可重叠或不重叠。在替代实施例中，分析滤波器组110可产生两个以上输出。
在图1的实例中，低频带信号122和高频带信号124占据非重叠频带。举例来说，低频带信号122和高频带信号124可占据50Hz-7kHz和7kHz-16kHz的非重叠频带。在替代实施例中，低频带信号122和高频带信号124可占据50Hz-8kHz和8kHz-16kHz的非重叠频带。在另一替代实施例中，低频带信号122与高频带信号124重叠(例如，50Hz-8kHz和7kHz-16kHz)，其可使分析滤波器组110的低通滤波器和高通滤波器具有光滑滚边，这可简化设计且降低低通滤波器和高通滤波器的成本。重叠低频带信号122和高频带信号124还可实现接收器处低频带和高频带信号的平滑掺合，此情形可导致较少可听见伪声。
应注意，尽管图1的实例说明SWB信号的处理，但此仅为了说明。在替代实施例中，输入音频信号102可为具有约50Hz到约8kHz的频率范围的宽带(WB)信号。在此实施例中，低频带信号122可对应于近似50Hz到近似6.4kHz的频率范围且高频带信号124可对应于近似6.4kHz到近似8kHz的频率范围。还应注意，本文的各种系统和方法描述为检测高频带噪声和响应于高频带噪声执行各种操作。然而，此仅为举例。参看图1-7说明的技术还可在低频带噪声的上下文中执行。
系统100可包含经配置以接收低频带信号122的低频带分析模块130。在特定实施例中，低频带分析模块130可表示码激励线性预测(CELP)编码器的实施例。低频带分析模块130可包含线性预测(LP)分析和译码模块132、线性预测系数(LPC)到线谱对(LSP)变换模块134，以及量化器136。LSP也可被称作线谱频率(LSF)，且所述两个术语在本文可以可互换地使用。LP分析和译码模块132可将低频带信号122的频谱包络编码成LPC的集合。可针对音频的每一帧(例如，在16kHz的取样速率下对应于320个样本的20毫秒(ms)的音频)、音频的每一子帧(例如，5ms的音频)或其任何组合产生LPC。可由所执行的LP分析的“阶数”确定针对每一帧或子帧所产生的LPC的数目。在特定实施例中，LP分析和译码模块132可产生对应于第十阶LP分析的十一个LPC的集合。
LPC到LSP变换模块134可将由LP分析和译码模块132所产生的LPC的集合变换成对应LSP集合(例如，使用一对一变换)。或者，LPC的集合可经一对一变换成部分自相关系数、对数面积比率值、导谱对(ISP)或导谱频(ISF)的对应集合。LPC集合与LSP集合之间的变换可为可逆的而不存在误差。
量化器136可量化由变换模块134所产生的LSP集合。举例来说，量化器136可包含或耦合到包含多个条目(例如，向量)的多个码簿。为量化LSP集合，量化器136可识别“最接近”(例如，基于例如最小平方或均方误差等失真量度)LSP集合的码簿的条目。量化器136可输出对应于码簿中所识别条目的位置的索引值或一系列索引值。因此，量化器136的输出可表示包含于低频带位流142中的低频带滤波器参数。
低频带分析模块130还可产生低频带激励信号144。举例来说，低频带激励信号144可为通过量化由低频带分析模块130所执行的LP过程期间所产生的LP残余信号而产生的经编码信号。LP残余信号可表示预测误差。
系统100可进一步包含高频带分析模块150，其经配置以从分析滤波器组110接收高频带信号124，且从低频带分析模块130接收低频带激励信号144。高频带分析模块150可基于高频带信号124和低频带激励信号144产生高频带旁侧信息172。举例来说，高频带旁侧信息172可包含高频带LSP和/或增益信息(例如，基于高频带能量与低频带能量的至少一比率)，如本文进一步描述。
高频带分析模块150可包含高频带激励产生器160。高频带激励产生器160可通过将低频带激励信号144的频谱扩展到高频带频率范围(例如，7kHz-16kHz)中而产生高频带激励信号161。为了说明，高频带激励产生器160可对低频带激励信号应用变换(例如，非线性变换，比如绝对值或平方运算)，且可将经变换低频带激励信号与噪声信号(例如，根据对应于低频带激励信号144的包络而调制的白噪声，其模拟低频带信号122的缓慢变化的时间特性)混合来产生高频带激励信号161。举例来说，所述混合可根据以下等式执行：
高频带激励＝(α*经变换低频带激励)+((1-α)*经调制噪声)
经变换低频带激励信号与经调制噪声混合的比率可影响接收器处的高频带重建质量。对于有声语音信号，所述混合可朝向经变换低频带激励偏置(例如，混合因数α可在0.5到1.0范围内)。对于无声信号，所述混合可朝向经调制噪声偏置(例如，混合因数α可在0.0到0.5范围内)。相对于图4更详细地描述高频带激励产生器160的说明性实施例。
高频带激励信号161可用于确定包含于高频带旁侧信息172中的一或多个高频带增益参数。如所说明，高频带分析模块150还可包含LP分析和译码模块152、LPC到LSP变换模块154和量化器156。LP分析和译码模块152、变换模块154和量化器156中的每一者可如上文参考低频带分析模块130的对应组件所描述但以相对减小的分辨率(例如，对于每一系数使用较少位、LSP等)起作用。LP分析和译码模块152可产生由变换模块154变换到LSP并由量化器156基于码簿163量化的LPC的集合。举例来说，LP分析和译码模块152、变换模块154和量化器156可使用高频带信号124来确定包含于高频带旁侧信息172中的高频带滤波器信息(例如，高频带LSP)。在特定实施例中，高频带旁侧信息172可包含高频带LSP以及高频带增益参数。在存在特定类型的噪声的情况下，可由于增益调节模块162执行的增益调节而产生高频带增益参数，如本文进一步描述。
低频带位流142和高频带旁侧信息172可由多路复用器(MUX)180进行多路复用以产生输出位流192。输出位流192可表示对应于输入音频信号102的经编码音频信号。举例来说，可发射(例如，经由有线、无线或光学信道)和/或存储输出位流192。在接收器处，反向操作可由多路分用器(DEMUX)、低频带解码器、高频带解码器和滤波器组执行以产生音频信号(例如，经提供到扬声器或其它输出装置的输入音频信号102的经重建型式)。用于表示低频带位流142的位数目可实质上大于用于表示高频带旁侧信息172的位数目。因此，输出位流192中的大部分位可表示低频带数据。高频带旁侧信息172可用于接收器处以根据信号模型从低频带数据重新产生高频带激励信号。举例来说，信号模型可表示低频带数据(例如，低频带信号122)与高频带数据(例如，高频带信号124)之间的关系或相关的预期集合。因此，不同信号模型可用于不同种类的音频数据(例如，语音、音乐等)，且在使用中的特定信号模型在传送经编码音频数据之前可由发射器和接收器协商(或由业界标准界定)。使用信号模型，发射器处的高频带分析模块150可能够产生高频带旁侧信息172，使得接收器处的对应高频带分析模块能够使用信号模型从输出位流192重建高频带信号124。
经变换低频带激励可能归因于有噪声高频带信号124与有噪声低频带信号122之间的不充分相关而不适于用于高频带合成。举例来说，当输入音频信号102包含语音时，可在20毫秒(ms)帧中处理高频带信号124，且可以每帧为基础估计和量化LSF和增益参数。四个时间增益斜率参数可以每子帧为基础(例如，每隔5ms)来估计且可连同LSF和总体增益参数一起发射。因此，可针对每一子帧估计(例如，产生)高频带激励。通常，混合参数α可基于低频带发声参数确定。然而，在存在噪声的情况下，以此方式确定混合参数α可产生每子帧的宽波动。举例来说，归因于噪声，针对四个连续子帧的混合参数α可为0.9、0.25、0.8和0.15，从而导致嗡嗡声或调制伪声。此外，可存在大量量化失真。
LP分析和译码模块152可产生由变换模块154变换到LSP并由量化器156基于码簿163量化的LPC的集合。在存在噪声的情况下，高频带LSP中的量化失真可较大。
举例来说，量化器156可经配置以量化例如变换模块154提供的LSP等频谱频率值的集合。在其它实施例中，量化器156可接收并量化除LSF或LSP外或替代LSF或LSP的一或多个其它类型的频谱频率值的集合。举例来说，量化器156可接收和量化由LP分析和译码模块152产生的线性预测系数(LPC)的集合。其它实例包含可在量化器156处接收和量化的部分自相关系数、对数面积比率值和导谱频(ISF)的集合。量化器156可包含向量量化器，其将输入向量(例如，呈向量格式的频谱频率值的集合)编码为到表或例如码簿163等码簿中的对应条目的索引。作为另一实例，量化器156可经配置以确定一或多个参数，可在解码器处例如在稀疏码簿实施例中从所述一或多个参数动态地产生输入向量，而非从存储装置检索。为了说明，可在例如CELP和编解码器(例如，3GPP2(第三代合作伙伴2)EVRC(增强型可变速率编解码器))等译码方案中应用稀疏码簿实例。在另一实施例中，高频带分析模块150可包含量化器156且可经配置以使用若干码簿向量来产生合成信号(例如，根据过滤器参数的集合)，且选择例如在感知加权域中与高频带信号124最佳匹配的与合成信号相关联的码簿向量中的一者。
高频带量化离群值可不利地影响高频带合成和时间增益估计。举例来说，时间和增益参数的过分估计可产生伪声。为减少此些伪声，高频带分析模块150可包含增益调节器162。
增益调节器162可估计频谱值的第一集合(例如，由变换模块154产生的非量化LSF)与频谱值的第二集合(例如，由量化器156产生的经量化LSF)之间的频谱失真。增益调节器162可基于增益因数到频谱失真的映射而估计增益因数。图3说明将增益因数映射到频谱失真的曲线300的实例。在图3中，“SD1”和“SD2”分别表示8％和2％离群值，其可从概率分布函数计算。举例来说，在码簿163的训练期间，可处理大量语音数据(例如，10小时的语音数据)。在处理期间，可产生频谱失真的概率分布，且可确定SD1和SD2。
SD1和SD2可用于确定增益因数的值。在图3的实例映射300中，当确定频谱失真小于SD1(例如，比8％离群值少的失真)时，不执行增益调节(例如，增益因数设定成1)。当频谱失真确定为大于SD2(例如，比2％离群值多的失真)时，可通过将增益因数设定为小于1的值G2(例如G2＝0.5)而执行衰减。当频谱失真在SD1到SD2的范围内时，可使用线性关系确定增益因数。举例来说，可根据增益因数＝斜率*SD+截距＝SD*(G2-1)/(SD2-SD1)+K，使用具有(G2-1)/(SD2-SD1)斜率和截距K的行将频谱失真值SD映射到增益因数。
在一示范性实施例中，增益调节器162可根据以下伪码确定增益因数(例如，以调节待包含于高频带旁侧信息172中的增益帧)。
Figure BDA0002065230700000081
/>
Figure BDA0002065230700000091
如上文伪码中所说明，通过使用图3的映射，增益调节器162在确定增益因数时可限制归因于频谱失真(例如，LSF离群值)的伪声。
在上文伪码中，频谱失真确定为归因于量化的误差的平方和。归因于量化的误差识别为针对频谱频率值的集合的每一频谱频率值的频谱频率值的经量化型式与频谱频率值的非量化型式之间的差异。每一误差(例如，经量化与非量化值之间的每一差异)经平方，且频谱失真估计为平方误差的总和。在其它实施例中，可根据一或多个其它技术确定频谱失真估计值。举例来说，可根据均方误差(MSE)技术确定频谱失真。作为另一实例，可使用非量化频谱频率值的第一集合与经量化频谱频率值的第二集合的值之间的差的绝对值(例如，量值)确定频谱失真。
尽管以上伪码和图3的映射根据频谱失真估计值到增益因数值的逐段线性映射确定增益因数的值，但在其它实施例中可使用其它映射。举例来说，根据量化误差的量，其它映射可将相对较低频谱失真估计值映射到较大增益因数(例如，1)以减少衰减，且可将相对较高频谱失真估计值映射到较小增益因数以增加衰减。尽管在一些实施例中可分别根据8％和2％离群值确定SD1和SD2，但在其它实施例中可基于一或多个其它离群值确定SD1和/或SD2或可独立于离群值确定SD1和/或SD2。
图2说明经配置以基于频谱失真调节噪声调制且还调节帧增益的图1的系统100的组件的特定实施例。LP分析和译码模块152经配置以接收图1的高频带信号124且产生频谱频率值(例如，LSP信息)。量化器156经配置以接收频谱频率值且产生经量化频谱频率值，例如经量化LSP信息(LSP_Q)。
频谱失真计算器201经配置以接收频谱频率值的集合和经量化频谱频率值的集合且确定频谱失真202。举例来说，频谱失真计算器201可经配置以用与相对于图1的增益调节器162所描述类似的方式估计频谱失真202。所确定的频谱失真202可提供到映射模块206。
映射模块206可经配置以接收频谱失真202且基于频谱失真值到增益因数值的映射确定增益因数(g)204。举例来说，映射模块206可经配置以用与相对于图1的增益调节器162所描述类似的方式确定增益因数204。为了说明，映射模块206可应用图3的映射300基于频谱失真202的所接收值确定增益因数204的值。增益因数204可提供到增益调节器162。
高频带合成模块207可经配置以接收经量化频谱频率值且从高频带激励产生器160接收高频带激励信号161来产生合成高频带信号。举例来说，高频带合成模块207可经配置以对LPC值应用LSP值的变换且使用LPC值配置高频带LP合成滤波器。高频带合成模块207可将高频带激励信号161施加到合成滤波器来产生经合成高频带信号。
在特定实施例中，高频带激励产生器160包含混合模块411，其经配置以接收经变换低频带激励408、经调制噪声420和输出混合因数410，且通过应用输出混合因数410以计算经变换低频带激励408与经调制噪声420的加权和来产生高频带激励信号161。如相对于图4进一步详细描述，输出混合因数410可基于针对子帧计算的混合因数的加权和而展示图1的音频信号102的连续子帧之间的混合因数的平滑。
帧增益计算器208可经配置以基于图1的高频带信号124和由合成高频带模块207产生的合成高频带信号确定帧增益。举例来说，帧增益计算器208可基于高频带信号124与合成高频带信号的比较确定音频信号的特定帧的帧增益值。可由增益调节器162基于增益因数204调节帧增益值来产生经调节帧增益。
进一步参看图4描述高频带激励产生器160的实例。高频带激励产生器160包含组合器406，其具有耦合到包络计算器402且耦合到白噪声产生器404的输入。混合模块411耦合到组合器406的输出且耦合到非线性变换模块407的输出。混合因数调节器409耦合到混合因数产生器412且还耦合到混合模块411。混合因数调节器409经配置以基于所接收混合因数413产生输出混合因数410。输出混合因数410由混合模块411应用以实现混合平滑。
包络计算器402可接收低频带激励信号144且可计算对应于低频带激励信号144的低频带时域包络403。举例来说，包络计算器402可经配置以计算低频带激励信号144的帧的每一样本的平方(或低频带激励信号144的经滤波型式)以产生平方值序列。包络计算器402可经配置以例如通过对平方值的序列应用一阶IIR低通滤波器而对平方值的所述序列执行平滑操作。包络计算器402可经配置以对经平滑序列的每一样本应用平方根函数以产生低频带时域包络403。
组合器406可经配置以将低频带时域包络403与由白噪声产生器404产生的白噪声405组合以产生经调制噪声信号420。举例来说，组合器406可经配置以根据低频带时域包络403对白噪声405进行振幅调制。举例来说，组合器406可实施为乘法器，其经配置以根据由包络计算器402计算的时域包络按比例缩放噪声产生器404的输出以产生提供到混合模块411的经调制噪声信号420。
混合模块411可经配置以将来自组合器406的经调制噪声信号420与经变换低频带激励信号408混合。举例来说，经变换低频带激励信号408可由非线性变换模块407基于低频带激励信号144产生。在特定实施例中，非线性变换可为绝对值(“|x|”)变换或x-平方(“x2”)变换。
混合模块411可经配置以基于从混合因数调节器409接收的混合因数α410的值通过将来自组合器406的经调制噪声信号420与经变换低频带激励信号408混合而产生高频带激励信号161。举例来说，混合模块411可经配置以通过对经变换低频带激励信号408应用混合因数α410且通过对从组合器406接收的经调制噪声420应用因数(1-α)随后将经加权经变换低频带激励信号408与经加权经调制噪声求和而将高频带激励信号161计算为加权和。
混合因数产生器412可经配置以产生混合因数413，作为针对音频信号的每一帧的多个混合因数。举例来说，可针对音频信号的帧产生四个混合因数α1、α2、α3、α4，且每一混合因数可对应于帧的相应子帧。举例来说，混合因数产生器412可经配置以根据关于图1的低频带信号122或低频带激励信号144的周期性的一或多个参数(例如，音调增益和/或语音模式(例如，有声或无声))而计算混合因数。作为另一实例，混合因数产生器412可经配置以根据图1的高频带信号124的周期性的量度(例如，针对音频信号的帧或子帧的高频带信号124的自相关系数的最大所确定值)而计算混合因数。
混合因数调节器409可产生输出混合因数410，例如四个输出混合因数α1s、α2s、α3s、α4s。每一混合因数可对应于音频信号的帧的相应子帧。混合因数调节器409可以各种方式产生输出混合因数410以自适应地使单一帧内或跨越多个帧的混合因数平滑以减少输出混合因数410的波动的发生和/或程度。为了说明，混合因数调节器409可包含滤波器，其经配置以接收对应于特定帧的第一子帧的混合因数α的第一值(例如，α1)，且接收对应于特定帧的第二子帧的混合因数α的第二值(例如，α2)。混合因数调节器409可经配置以至少部分基于混合因数α的第一值(例如，α1)和混合因数的第二值(例如，α2s)产生混合因数的第三值(例如，α2s)。
举例来说，第一方法可包含基于对应于单一帧的部分(例如，子帧)的混合因数值产生混合因数α的值。以下伪码对应于第一方法。
Figure BDA0002065230700000121
在针对第一方法的以上伪码中，mix_factor[i]对应于由混合因数产生器412针对特定帧产生的第i混合因数413(例如，mix_factor[0]可对应于α1)，且mix_factor_new[i]对应于第i输出混合因数410(例如，mix_factor_new[0]可对应于α1s)。K1确定子帧之间的平滑量且说明为具有值0.8。然而，在其它实施例中，K1可根据待应用的平滑量设定成其它值。举例来说，当K1＝1时不应用平滑，且平滑随着K1值减小而增加。
例如译码类型(例如，帧对应于有声帧还是无声帧)等其它因数也可用于确定是否产生混合因数的平滑值。举例来说，混合因数调节器409可响应于译码类型的指示(coder_type)422来产生混合因数。为了说明，可当译码类型的指示对应于有声帧时启用混合因数平滑，且可当译码类型的指示对应于无声帧时停用混合因数平滑。作为另一实例，混合因数调节器409可响应于图2的频谱失真信息(SD)202来改变混合因数。作为一实例，当频谱失真相对高(例如，大于例如根据如相对于图3的频谱失真描述的8％离群值或2％离群值的阈值量)时，混合因数α的值可被约束到0到0.5的范围，具有朝向经调制噪声的较多偏置。另一方面，当频谱失真202相对低(例如，小于对应于如相对于图3的SD1描述的8％离群值的阈值量)时，可朝向经变换低频带激励偏置所述混合。
第二方法可包含基于对应于不同帧的部分(例如，子帧)的混合因数值产生混合因数α的值。以下伪码对应于第二方法。
Figure BDA0002065230700000122
Figure BDA0002065230700000131
在针对第二方法的以上伪码中，mix_factor[i]对应于由混合因数产生器412针对特定帧产生的第i混合因数413(例如，mix_factor[0]可对应于α1)，且mix_factor_new[i]对应于针对特定帧的第i输出混合因数410(例如，mix_factor_new[0]可对应于α1s)。经由mix_factor_old跨越帧执行平滑，这实现基于针对先前帧的上一子帧确定的混合因数对于当前帧的第一子帧的平滑。
第三方法可包含使用自适应值产生混合因数α。以下伪码对应于第三方法。
Figure BDA0002065230700000132
在针对第三方法的以上伪码中，以类似于第二方法的方式实现跨越帧的平滑。此外，基于音频信号的高频带能量波动确定K1的值。举例来说，基于图1的高频带信号124的能量波动确定应用于第一值的第一权重(例如，K1)和应用于第二值的第二权重(例如，1-K1)。第一高频带能量值hb_energy_prev对应于音频信号的第一部分(例如，先前帧)期间高频带信号的能量，且第二高频带能量值hb_energy_curr对应于音频信号的第二部分(例如，当前帧)期间高频带信号的能量。
当帧之间的高频带能量中的波动确定为相对大时，第一权重(例如，K1)和第二权重(例如，1-K1)确定为具有允许连续子帧的混合因数之间的较大改变速率和较少平滑的值。举例来说，在针对第三方法的伪码中，第一权重(例如，K1＝0.8)响应于第一高频带能量值超出第一阈值(例如，当hb_energy_prev大于2*hb_energy_curr时)或响应于第二高频带能量值超出第二阈值(例如，当hb_energy_curr大于2*hb_energy_prev时)而选择为大于第二权重(例如，(1-K1)＝0.2)。第一阈值对应于第二高频带能量值(hb_energy_curr)按比例缩放缩放因数(例如，以上伪码中，2)。第二阈值对应于第一高频带能量值(hb_energy_prev)按比例缩放所述缩放因数。
当帧之间的高频带能量中的波动确定为相对少时，第一权重(例如，K1)和第二权重(例如，1-K1)确定为具有允许连续子帧的混合因数之间的较小改变速率和较大平滑的值。举例来说，在针对第三方法的伪码中，第一权重(例如，K1＝0.3)响应于第一高频带能量值不超出第一阈值(例如，当hb_energy_prev小于或等于2*hb_energy_curr时)或响应于第二高频带能量值不超出第二阈值(例如，当hb_energy_curr小于或等于2*hb_energy_prev时)而选择为小于第二权重(例如，(1-K1)＝0.7)。
尽管针对第三方法的伪码提供基于高频带能量波动确定第一和第二权数的说明性实例，但在其它实施例中可作出多个帧当中高频带能量值的替代和/或额外比较以确定第一和第二权数的值且控制混合因数的平滑。
因此，如图4中所展示，高频带激励产生器160可产生经平滑混合因数410，且可基于帧之间高频带能量波动的量自适应地确定一或多个平滑参数(例如，K1)。
参看图5，展示执行增益控制的方法的特定实施例的流程图且将其大体表示为500。在说明性实施例中，方法500可由图1的系统100(例如由高频带激励产生器160)执行。
在502处接收混合因数的第一值。所述第一值对应于音频编码器处接收的音频信号的第一部分。在504处接收混合因数的第二值。所述第二值对应于音频信号的第二部分。可基于音频信号的第一子帧的低频带部分产生第一值，且可基于音频信号的第二子帧的低频带部分产生第二值。举例来说，图4的混合因数调节器409从混合因数产生器412接收混合因数413的值。为了说明，第一值可对应于α1、α2、α3或α4中的一者，且第二值可对应于α1、α2、α3或α4中的另一者。
在506处至少部分基于第一值和第二值产生混合因数的第三值。举例来说，混合因数调节器409基于混合因数413的多个所接收值的加权和产生输出混合因数410的值。
产生第三值可包含确定第一值和第二值的加权和。举例来说，在相对于图4的混合因数调节器409描述的第三方法中，可基于音频信号的高频带能量波动确定应用于第一值的第一权重(例如，K1)和应用于第二值的第二权重(例如，1-K1)。可基于对应于第一部分的第一高频带能量值且进一步基于对应于第二部分的第二高频带能量值(例如，如对应于第三方法的伪码中分别描述为hb_energy_prev和hb_energy_curr)确定第一权重和第二权重。第一权重可响应于第一高频带能量值超出第一阈值(例如，hb_energy_prev>第一阈值)或响应于第二高频带能量值超出第二阈值(例如，hb_energy_curr>第二阈值)而选择为大于第二权重。第一阈值可对应于第二高频带能量值按比例缩放一缩放因数(例如，第一阈值＝2*hb_energy_curr)，且第二阈值可对应于第一高频带能量值按比例缩放所述缩放因数(例如，第二阈值＝2*hb_energy_prev)。
第一部分可包含音频信号的第一子帧，且第二部分可包含音频信号的第二子帧。举例来说，第一子帧和第二子帧可在音频信号的单一帧中。为了说明，相对于图4的混合因数调节器409描述的第一方法、第二方法和第三方法中的每一者可基于对应于特定帧的一个子帧的混合因数的第一值和对应于所述特定帧的另一子帧的混合因数的第二值产生混合因数的第三值。
作为另一实例，第一子帧和第二子帧可在音频信号的不同帧中。举例来说，相对于图4的混合因数调节器409描述的第二方法和第三方法可基于对应于前一帧的最后子帧的混合因数的第一值且基于对应于特定帧的第一子帧的混合因数的第二值产生混合因数的第三值(例如，针对所述特定帧的第一子帧)。
在508处基于混合因数的第三值将激励信号与经调制噪声混合。举例来说，可产生对应于音频信号的高频带部分的高频带激励信号。可基于将经调制噪声与激励信号组合而产生高频带激励信号，其中激励信号对应于低频带激励信号的经变换型式。举例来说，图4的混合模块411可基于将来自组合器406的经调制420噪声与低频带激励信号144的经变换型式(对应于图1的音频信号102的低频带部分)组合而产生高频带激励信号161。混合因数可指示经调制噪声与低频带激励信号的经变换型式的比率。举例来说，高频带激励信号可产生为经调制噪声与低频带激励信号的经变换型式的加权和。
在特定实施例中，可经由处理单元(例如，中央处理单元(CPU)、数字信号处理器(DSP)或控制器)的硬件(例如，现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)等)、经由固件装置或其任何组合来实施图5的方法500。作为一实例，可由执行指令的处理器来执行图5的方法500，例如相对于图7所描述。
参看图6，展示执行增益控制的方法的特定实施例的流程图且将其大体表示为600。在说明性实施例中，方法600可由图1的系统100(例如由高频带分析模块160)执行。
在602处确定对应于音频信号的频谱频率值的第一集合。举例来说，可由图1的LP分析和译码模块152产生频谱频率值的第一集合。为了说明，可通过执行LPC分析以产生针对音频信号的高频带部分的每一帧的LP滤波器系数的集合而确定频谱频率值的第一集合，且所述第一集合可包含LP滤波器系数的变换。
在604处确定近似频谱频率值的第一集合的频谱频率值的第二集合。举例来说，可由图1的量化器156产生频谱值的第二集合。可通过搜索例如图1的码簿163等码簿基于频谱频率值的第一集合确定频谱频率值的第二集合。在特定实施例中，频谱频率值的第一集合包含线谱频率(LSF)值，且频谱频率值的第二集合包含经量化LSF值。在其它实施例中，频谱频率值的第一集合可为除LSF值外的值。举例来说，频谱频率值的第一集合可包含线性预测系数(LPC)值，且频谱频率值的第二集合可包含经量化LPC值。
在606处基于第一集合与第二集合之间的差异调节对应于音频信号的至少一部分的增益值。所述增益值可对应于音频信号的帧的帧增益。举例来说，可基于图1的音频信号102的高频带部分和通过将高频带激励信号161施加到合成滤波器(例如图2的合成滤波器207)而产生的合成高频带信号来产生帧增益值。在特定实施例中，可根据频谱频率值的第一集合或根据频谱频率值的第二集合配置合成滤波器(在变换第二集合以产生非量化值之后)。
调节增益值可包含在608处确定频谱频率值的第一集合与频谱频率值的第二集合之间的频谱失真。举例来说，频谱失真可为由图2的频谱失真模块201产生的SD 202。可根据各种技术估计对应于第一集合与第二集合之间的差异的频谱失真。举例来说，可根据频谱频率值的第二集合中的值与频谱频率值的第一集合中的值相比的均方误差确定频谱失真。作为另一实例，可根据频谱频率值的第二集合中的值与频谱频率值的第一集合中的值相比之间的绝对差确定频谱失真。
调节增益值还可包含在610处基于频谱失真确定增益因数。可根据频谱失真值到增益因数值的映射确定增益因数，例如相对于由图2的映射模块206根据图3的映射300产生的增益因数204所描述。为了说明，映射的一部分可界定频谱失真的增加对应于增益因数值的减小，例如由SD1与SD2之间的映射300的倾斜部分说明。所述映射可至少部分基于对应于概率分布函数的离群值的频谱失真值，例如相对于图3的SD1和SD2所描述。
调节增益值还可包含在612处通过将增益因数施加到帧增益而调节所述帧增益。为了说明，增益值可乘以增益因数以基于量化误差的量衰减高频带信号的部分。尽管相对于图1和4的高频带分量描述方法600，但可相对于图1的低频带信号122或相对于编码器处接收的音频信号102的任何其它部分应用方法600。
在特定实施例中，图6的方法600可经由处理单元(例如中央处理单元(CPU)、数字信号处理器(DSP)或控制器)的硬件(例如，现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)等)、经由固件装置或其任何组合来实施。作为一实例，可由执行指令的处理器执行图6方法600，如相对于图7所描述。
图1-6因此说明包含基于所估计频谱失真执行增益调节和/或执行混合因数平滑以减少归因于噪声的伪声的系统和方法的实例。
参看图7，描绘无线通信装置的特定说明性实施例的框图，且将其大体上指定为700。装置700包含耦合到存储器732的处理器710(例如，中央处理单元(CPU)、数字信号处理器(DSP)等)。存储器732可包含可由处理器710和/或译码器/解码器(CODEC)734执行以执行本文中所揭示的方法和过程(例如，图5-6的方法)的指令760。
CODEC 734可包含噪声调制系统776。在特定实施例中，噪声调制系统776包含图4的系统400的一或多个分量。噪声调制系统776可通过处理器执行指令以执行一或多个任务或其组合而经由专门硬件(例如，电路)实施。作为一实例，存储器732或CODEC 734中的存储器可为存储器装置，例如随机存取存储器(RAM)、磁阻随机存取存储器(MRAM)、自旋力矩转移MRAM(STT-MRAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸式磁盘或压缩光盘只读存储器(CD-ROM)。存储器装置可包含指令(例如，指令760)，其在由计算机(例如，CODEC 734和/或处理器710中的处理器)执行时可致使所述计算机接收对应于音频信号的第一部分的混合因数的第一值，接收对应于音频信号的第二部分的混合因数的第二值，且至少部分基于第一值和第二值来产生混合因数的第三值。作为一实例，存储器732或CODEC 734中的存储器可为非暂时性计算机可读媒体，其包含指令(例如，指令760)，所述指令在由计算机(例如，CODEC 734中的处理器和/或处理器710)执行时致使所述计算机执行图5的方法500的至少一部分。
CODEC 734可包含增益调节系统778。在特定实施例中，增益调节系统778包含图1的增益调节器162。可通过处理器执行指令以执行一或多个任务或其组合经由专门硬件(例如，电路)实施增益调节系统778。作为一实例，存储器732可为存储器装置，其包含指令(例如，指令760)，所述指令在由计算机(例如，CODEC 734中的处理器和/或处理器710)执行时致使所述计算机确定对应于音频信号的频谱频率值的第一集合，确定近似频谱频率值的第一集合的频谱频率值的第二集合，且基于第一集合与第二集合之间的差异调节对应于音频信号的至少一部分的增益值。作为一实例，存储器732或CODEC 734中的存储器可为非暂时性计算机可读媒体，其包含指令(例如，指令760)，所述指令在由计算机(例如，CODEC 734中的处理器和/或处理器710)执行时可致使所述计算机执行图6的方法600的至少一部分。
图7还展示耦合到处理器710且耦合到显示器728的显示控制器726。CODEC 734可耦合到处理器710，如所示。扬声器736和麦克风738可耦合到CODEC 734。举例来说，麦克风738可产生图1的输入音频信号102，且CODEC 734可基于输入音频信号102产生输出位流192以供发射到接收器。作为另一实例，扬声器736可用于输出由CODEC 734从图1的输出位流192重建的信号，其中从发射器接收输出位流192。图7还指示无线控制器740可耦合到处理器710且耦合到无线天线742。
在特定实施例中，处理器710、显示控制器726、存储器732、CODEC 734和无线控制器740包含于中封装中系统或芯片上系统装置(例如，移动台调制解调器(MSM))722中。在特定实施例中，输入装置730(例如触摸屏和/或小键盘)和电源744耦合到芯片上系统装置722。此外，在特定实施例中，如图7中所说明，显示器728、输入装置730、扬声器736、麦克风738、无线天线742和电源744在芯片上系统装置722外部。然而，显示器728、输入装置730、扬声器736、麦克风738、无线天线742和电源744中的每一者可耦合到芯片上系统装置722的组件，例如接口或控制器。
结合所描述实施例，揭示一种设备，其包含用于至少部分基于混合因数的第一值和混合因数的第二值产生混合因数的第三值的装置，其中所述第一值对应于音频编码器处接收的音频信号的第一部分，且所述第二值对应于音频信号的第二部分。举例来说，所述用于产生的装置可包含图1的高频带激励产生器160、图4的混合因数调节器409、图7的噪声调制系统776或其组件、经配置以基于第一值和第二值产生第三值(例如，处理器执行非暂时性计算机可读存储媒体处的指令)的一或多个装置(例如，滤波器)，或其任何组合。
所述设备还可包含用于通过将经调制噪声与低频带激励信号的经变换型式组合而产生对应于音频信号的高频带部分的高频带激励信号的装置。所述低频带激励信号对应于音频信号的低频带部分。所述用于产生的装置可经配置以基于所述第三值将经调制噪声与低频带激励信号的经变换型式组合。举例来说，所述用于产生高频带激励信号的装置可包含图1的高频带激励产生器160、图4的混频器411、图7的噪声调制系统776或其组件、经配置以产生激励信号(例如，处理器执行非暂时性计算机可读存储媒体处的指令)的一或多个装置，或其任何组合。
结合所描述实施例，揭示一种设备，其包含用于确定对应于音频信号的频谱频率值的第一集合的装置。举例来说，所述用于确定第一集合的装置可包含图1的LP分析和译码模块152、图7的增益调节系统778或其组件、经配置以产生对应于音频信号的频谱频率值(例如，处理器执行非暂时性计算机可读存储媒体处的指令)的一或多个装置，或其任何组合。
所述设备还可包含用于产生近似频谱频率值的第一集合的频谱频率值的第二集合的装置。举例来说，所述用于产生第二集合的装置可包含图1的量化器156、图7的增益调节系统778或其组件、经配置以产生近似频谱频率值的第一集合的频谱频率值的第二集合(例如，处理器执行非暂时性计算机可读存储媒体处的指令)的一或多个装置，或其任何组合。
所述设备还可包含用于基于所述第一集合与所述第二集合之间的差异调节对应于音频信号的至少一部分的增益值的装置。举例来说，所述用于调节的装置可包含图1的增益调节器162、图7的增益调节系统778或其组件、经配置以调节增益值(例如，处理器执行非暂时性计算机可读存储媒体处的指令)的一或多个装置，或其任何组合。
技术人员将进一步了解，结合本文所揭示的实施例所描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、由例如硬件处理器等处理装置执行的计算机软件或两者的组合。上文已大体在其功能性方面描述各种说明性组件、块、配置、模块、电路和步骤。此功能性是实施为硬件还是可执行软件取决于特定应用和强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为引起对本发明的范围的偏离。
结合本文中所揭示的实施例而描述的方法或算法的步骤可直接体现于硬件、由处理器执行的软件模块中或两者的组合中。软件模块可驻留于存储器装置中，所述存储器装置例如随机存取存储器(RAM)、磁阻随机存取存储器(MRAM)、自旋力矩转移MRAM(STT-MRAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸式磁盘或压缩光盘只读存储器(CD-ROM)。示范性存储器装置耦合到处理器，使得处理器可从存储器装置读取信息并将信息写入到存储器装置。在替代方案中，存储器装置可与处理器成一体式。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在计算装置或用户终端中。在替代方案中，处理器与存储媒体可作为离散组件驻留在计算装置或用户终端中。
提供对所揭示实施例的先前描述以使得所属领域的技术人员能够制作或使用所揭示的实施例。所属领域的技术人员将容易了解对这些实施例的各种修改，且可将本文定义的原理应用到其它实施例而不脱离本发明的范围。因此，本发明并不希望限于本文展示的实施例，而应符合与如由所附权利要求书界定的原理和新颖特征一致的可能最广范围。

Claims (30)

1.一种在电子装置中执行增益调节的方法，所述方法包括：
确定对应于在所述电子装置处接收的音频信号的高频带部分的频谱频率值的第一集合；
通过对频谱频率值的所述第一集合进行量化，确定近似所述第一集合的频谱频率值的第二集合；
估计对应于所述第一集合与所述第二集合之间的差异的频谱失真；
基于所述频谱失真调节对应于所述音频信号的至少一部分的增益值；以及
发射经编码的位流，所述经编码的位流包含对应于经调节的所述增益值和所述第二集合的信息。
2.根据权利要求1所述的方法，其中：
所述音频信号的所述至少一部分对应于所述音频信号的帧，且
基于增益因数调节所述增益值，所述增益因数是基于频谱失真值与增益因数值之间的映射而确定的。
3.根据权利要求1所述的方法，其中基于所述频谱失真而确定的增益因数调节所述增益值，所述增益因数应用于基于合成的高频带信号且基于所述音频信号的所述高频带部分而确定的帧增益。
4.根据权利要求1所述的方法，其进一步包括：
基于经调节的所述增益值确定高频带增益参数，经调节的所述增益值基于增益因数且基于帧增益；以及
产生包含所述高频带增益参数的高频带旁侧信息。
5.根据权利要求1所述的方法，其中：
所述音频信号的所述至少一部分对应于所述音频信号的帧，且
调节所述增益值对应于将增益因数应用于帧增益以减弱所述帧增益，基于所述频谱失真确定所述增益因数。
6.根据权利要求1所述的方法，其中所述第二集合包含量化的频谱频率值，且其中基于所述第二集合中的值与所述第一集合中的值之间的比较的绝对差来估计所述频谱失真。
7.根据权利要求1所述的方法，其中：
所述第一集合包含由所述电子装置的高频带分析模块产生的线谱频率LSF值；且
所述第二集合包含由经配置以存取在所述高频带分析模块处的码簿的多个条目的量化器产生的量化的LSF值。
8.根据权利要求1所述的方法，其中根据所述第二集合中的值与所述第一集合中的值之间的比较的均方差来确定所述频谱失真。
9.根据权利要求1所述的方法，其中基于增益因数调节所述增益值，其中基于频谱失真值与增益因数值之间的映射来确定所述增益因数，且其中所述映射至少部分基于对应于概率分布函数的离群值的频谱失真值。
10.根据权利要求1所述的方法，其中所述电子装置包括至少一个编码器或解码器，且其中在所述电子装置处基于所述第一集合的线谱频率LSF值与所述第二集合的近似LSF值之间的差来估计所述频谱失真。
11.根据权利要求1所述的方法，其中：
所述增益值基于帧增益，且基于所述频谱失真调节所述增益值，
基于所述音频信号的所述高频带部分且基于合成的高频带信号计算所述帧增益，且
基于传送的低频带激励信号与经调制的噪声的混合确定所述合成的高频带信号。
12.根据权利要求1所述的方法，其中基于所述音频信号的高频带部分与合成的高频带信号之间的比较确定所述增益值，基于低频带激励信号的型式、经调制的噪声以及混合因数产生所述合成的高频带信号。
13.根据权利要求1所述的方法，其中所述音频信号的所述至少一部分包含所述音频信号的帧，其中基于高频带激励信号确定所述增益值，且其中所述高频带增益信号对应于所述音频信号的高频带部分。
14.根据权利要求1所述的方法，其中所述电子装置包含移动通信装置，且其中在所述移动通信装置中执行所述第一集合和所述第二集合的所述确定，所述估计以及所述调节。
15.根据权利要求1所述的方法，其中所述电子装置包含媒体播放装置，且其中在所述媒体播放装置中执行所述第一集合和所述第二集合的所述确定，所述估计以及所述调节。
16.一种用于执行增益调节的设备，所述设备包括：
分析滤波器，其经配置以确定对应于接收到的音频信号的高频带部分的频谱频率值的第一集合；
量化器，其经配置以通过对频谱频率值的所述第一集合进行量化，产生近似所述第一集合的频谱频率值的第二集合；
频谱失真计算器，其经配置以估计对应于所述第一集合与所述第二集合之间的差异的频谱失真；
增益电路，其经配置以基于所述频谱失真调节对应于所述接收到的音频信号的至少一部分的增益值；以及
发射器，其经配置以发射经编码的位流，所述经编码的位流包含对应于经调节的所述增益值和所述第二集合的信息。
17.根据权利要求16所述的设备，其进一步包括帧增益计算器，其经配置以基于所述接收到的音频信号的所述高频带部分且基于合成的高频带信号计算帧增益，其中所述增益电路经配置以基于由所述帧增益计算器计算的所述帧增益调节所述增益值，且其中基于经变换的低频带激励信号、经调制的噪声以及混合因数产生所述合成的高频带信号。
18.根据权利要求16所述的设备，其进一步包括映射模块，其经配置以：接收所述频谱失真，将频谱失真值的映射应用于增益因数值，以及产生增益因数，其中所述增益电路经配置以基于所述增益因数减弱所述增益值，且其中所述映射的一部分界定频谱失真的增加对应于增益因数值的减少。
19.根据权利要求16所述的设备，其中所述第二集合包含量化的频谱频率值，其中所述频谱失真计算器经配置以根据所述第二集合中的值与所述第一集合中的值之间的比较的绝对差或根据所述第二集合中的值与所述第一集合中的值之间的比较的均方差来确定所述频谱失真。
20.根据权利要求16所述的设备，其进一步包括：
输入装置，其包含麦克风或天线；以及
接收器，其经配置以从所述输入装置接收对应于所述接收到的音频信号的信号。
21.根据权利要求20所述的设备，其中所述接收器、所述量化器、所述频谱失真计算器和所述增益电路集成于移动通信装置中。
22.根据权利要求20所述的设备，其中所述接收器、所述量化器、所述频谱失真计算器和所述增益电路集成于媒体播放装置中。
23.一种计算机可读媒体，其存储指令，所述指令在由经配置以执行增益调节的电子装置中的计算机执行时致使所述计算机发起以下操作：
确定对应于在所述电子装置处接收的音频信号的高频带部分的频谱频率值的第一集合；
通过对频谱频率值的所述第一集合进行量化，确定近似所述第一集合的频谱频率值的第二集合；
估计对应于所述第一集合与所述第二集合之间的差异的频谱失真；
基于所述频谱失真调节对应于所述音频信号的至少一部分的增益值；以及
发射经编码的位流，所述经编码的位流包含对应于经调节的所述增益值和所述第二集合的信息。
24.根据权利要求23所述的计算机可读媒体，其中所述增益值对应于所述音频信号的帧的帧增益，且其中所述增益值的所述调节包含：
基于所述频谱失真确定增益因数；以及
通过将所述增益因数应用于所述帧增益来减弱所述帧增益。
25.一种用于执行增益调节的设备，所述设备包括：
用于确定对应于接收到的音频信号的高频带部分的频谱频率值的第一集合的装置；
用于通过对频谱频率值的所述第一集合进行量化，产生近似所述第一集合的频谱频率值的第二集合的装置；
用于估计对应于所述第一集合与所述第二集合之间的差异的频谱失真的装置；
用于基于所述频谱失真调节对应于所述接收到的音频信号的至少一部分的增益值的装置；以及
用于发射经编码的位流的装置，所述经编码的位流包含对应于经调节的所述增益值和所述第二集合的信息。
26.根据权利要求25所述的设备，其中所述第一集合包括线谱频率LSF值，且其中所述第二集合包括经量化LSF值。
27.根据权利要求25所述的设备，其中所述第一集合包括线性预测系数LPC值，且其中所述第二集合包括经量化LPC值。
28.根据权利要求25所述的设备，其进一步包括用于通过基于所述第一集合搜索码簿确定所述第二集合的装置，其中用于调节的所述装置经配置以基于增益因数减弱所述增益值，且其中基于频谱失真值与增益因数值之间的映射确定所述增益因数。
29.根据权利要求25所述的设备，其中所述用于确定的装置、所述用于产生的装置、所述用于估计的装置以及所述用于调节的装置集成于移动通信装置中。
30.根据权利要求25所述的设备，其中所述用于确定的装置、所述用于产生的装置、所述用于估计的装置以及所述用于调节的装置集成于媒体播放装置中。
CN201910418587.0A 2013-02-08 2013-08-29 执行噪声调制和增益调节的系统和方法 Active CN110136742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910418587.0A CN110136742B (zh) 2013-02-08 2013-08-29 执行噪声调制和增益调节的系统和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361762810P 2013-02-08 2013-02-08
US61/762,810 2013-02-08
US14/012,749 2013-08-28
US14/012,749 US9601125B2 (en) 2013-02-08 2013-08-28 Systems and methods of performing noise modulation and gain adjustment
CN201380071698.XA CN104956438B (zh) 2013-02-08 2013-08-29 执行噪声调制和增益调节的系统和方法
PCT/US2013/057368 WO2014123585A1 (en) 2013-02-08 2013-08-29 Systems and methods of performing noise modulation and gain adjustment
CN201910418587.0A CN110136742B (zh) 2013-02-08 2013-08-29 执行噪声调制和增益调节的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380071698.XA Division CN104956438B (zh) 2013-02-08 2013-08-29 执行噪声调制和增益调节的系统和方法

Publications (2)

Publication Number Publication Date
CN110136742A CN110136742A (zh) 2019-08-16
CN110136742B true CN110136742B (zh) 2023-05-26

Family

ID=51298067

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910418587.0A Active CN110136742B (zh) 2013-02-08 2013-08-29 执行噪声调制和增益调节的系统和方法
CN201380071698.XA Active CN104956438B (zh) 2013-02-08 2013-08-29 执行噪声调制和增益调节的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380071698.XA Active CN104956438B (zh) 2013-02-08 2013-08-29 执行噪声调制和增益调节的系统和方法

Country Status (23)

Country Link
US (2) US9601125B2 (zh)
EP (2) EP3174051B1 (zh)
JP (3) JP2016507783A (zh)
KR (2) KR102232095B1 (zh)
CN (2) CN110136742B (zh)
AU (1) AU2013377891B2 (zh)
BR (1) BR112015019042B1 (zh)
CA (2) CA3058998C (zh)
DK (2) DK3174051T3 (zh)
ES (2) ES2625042T3 (zh)
HK (1) HK1211374A1 (zh)
HU (2) HUE041373T2 (zh)
IL (1) IL239749A (zh)
MX (1) MX2015010225A (zh)
MY (1) MY170595A (zh)
PH (1) PH12015501671B1 (zh)
PL (1) PL3174051T3 (zh)
PT (1) PT3174051T (zh)
RU (1) RU2647666C2 (zh)
SG (1) SG11201505147PA (zh)
SI (1) SI3174051T1 (zh)
UA (2) UA123364C2 (zh)
WO (1) WO2014123585A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9601125B2 (en) 2013-02-08 2017-03-21 Qualcomm Incorporated Systems and methods of performing noise modulation and gain adjustment
CN108172239B (zh) 2013-09-26 2021-01-12 华为技术有限公司 频带扩展的方法及装置
US10083708B2 (en) * 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal
US10210871B2 (en) * 2016-03-18 2019-02-19 Qualcomm Incorporated Audio processing for temporally mismatched signals
EP3382704A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a predetermined characteristic related to a spectral enhancement processing of an audio signal
US10586546B2 (en) 2018-04-26 2020-03-10 Qualcomm Incorporated Inversely enumerated pyramid vector quantizers for efficient rate adaptation in audio coding
US10573331B2 (en) * 2018-05-01 2020-02-25 Qualcomm Incorporated Cooperative pyramid vector quantizers for scalable audio coding
WO2022211375A1 (ko) * 2021-03-31 2022-10-06 현대자동차주식회사 인터 예측에 딥러닝 기반 인루프 필터를 이용하는 비디오 코딩방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1808684A1 (en) * 2004-11-05 2007-07-18 Matsushita Electric Industrial Co., Ltd. Scalable decoding apparatus and scalable encoding apparatus
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
CN101496101A (zh) * 2006-07-31 2009-07-29 高通股份有限公司 用于增益因子限制的系统、方法及设备
CN104956438B (zh) * 2013-02-08 2019-06-14 高通股份有限公司 执行噪声调制和增益调节的系统和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3457293B2 (ja) 2001-06-06 2003-10-14 三菱電機株式会社 雑音抑圧装置及び雑音抑圧方法
US7146313B2 (en) 2001-12-14 2006-12-05 Microsoft Corporation Techniques for measurement of perceptual audio quality
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
ES2249985B1 (es) 2004-06-25 2007-06-16 Universidad De Sevilla Molienda mecanica de polvos activada por radiacion ultravioleta.
JP2006197391A (ja) 2005-01-14 2006-07-27 Toshiba Corp 音声ミクシング処理装置及び音声ミクシング処理方法
MX2007012187A (es) 2005-04-01 2007-12-11 Qualcomm Inc Sistemas, metodos y aparatos para deformacion en tiempo de banda alta.
ES2358125T3 (es) * 2005-04-01 2011-05-05 Qualcomm Incorporated Procedimiento y aparato para un filtrado de antidispersión de una señal ensanchada de excitación de predicción de velocidad de ancho de banda.
US9009032B2 (en) 2006-11-09 2015-04-14 Broadcom Corporation Method and system for performing sample rate conversion
US8005671B2 (en) * 2006-12-04 2011-08-23 Qualcomm Incorporated Systems and methods for dynamic normalization to reduce loss in precision for low-level signals
US8688441B2 (en) * 2007-11-29 2014-04-01 Motorola Mobility Llc Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content
EP2259253B1 (en) * 2008-03-03 2017-11-15 LG Electronics Inc. Method and apparatus for processing audio signal
US8463599B2 (en) * 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
CN102802112B (zh) 2011-05-24 2014-08-13 鸿富锦精密工业（深圳）有限公司 具有音频文件格式转换功能的电子装置
US9129600B2 (en) * 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1808684A1 (en) * 2004-11-05 2007-07-18 Matsushita Electric Industrial Co., Ltd. Scalable decoding apparatus and scalable encoding apparatus
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
CN101496101A (zh) * 2006-07-31 2009-07-29 高通股份有限公司 用于增益因子限制的系统、方法及设备
CN104956438B (zh) * 2013-02-08 2019-06-14 高通股份有限公司 执行噪声调制和增益调节的系统和方法

Also Published As

Publication number Publication date
US9601125B2 (en) 2017-03-21
EP3174051A1 (en) 2017-05-31
PL3174051T3 (pl) 2019-05-31
PH12015501671A1 (en) 2015-10-19
KR20210034103A (ko) 2021-03-29
BR112015019042B1 (pt) 2022-03-15
CN110136742A (zh) 2019-08-16
PT3174051T (pt) 2019-03-25
UA123364C2 (uk) 2021-03-24
CN104956438A (zh) 2015-09-30
EP3174051B1 (en) 2018-12-12
ES2715476T3 (es) 2019-06-04
IL239749A (en) 2017-04-30
RU2015138115A (ru) 2017-03-15
AU2013377891A1 (en) 2015-07-23
CN104956438B (zh) 2019-06-14
PH12015501671B1 (en) 2015-10-19
SG11201505147PA (en) 2015-08-28
DK3174051T3 (en) 2019-03-18
ES2625042T3 (es) 2017-07-18
CA2896965C (en) 2020-11-10
DK2954525T3 (en) 2017-04-10
AU2013377891B2 (en) 2018-11-08
SI3174051T1 (sl) 2019-04-30
RU2647666C2 (ru) 2018-03-16
EP2954525A1 (en) 2015-12-16
MY170595A (en) 2019-08-19
HUE031761T2 (en) 2017-07-28
WO2014123585A1 (en) 2014-08-14
JP6752936B2 (ja) 2020-09-09
JP2016507783A (ja) 2016-03-10
US20140229172A1 (en) 2014-08-14
EP2954525B1 (en) 2017-02-08
BR112015019042A2 (pt) 2017-07-18
US20170148460A1 (en) 2017-05-25
IL239749A0 (en) 2015-08-31
US9899032B2 (en) 2018-02-20
CA3058998A1 (en) 2014-08-14
KR20150115843A (ko) 2015-10-14
KR102447846B1 (ko) 2022-09-26
CA2896965A1 (en) 2014-08-14
KR102232095B1 (ko) 2021-03-24
JP2019191597A (ja) 2019-10-31
UA117745C2 (uk) 2018-09-25
JP2018109770A (ja) 2018-07-12
MX2015010225A (es) 2015-11-25
HUE041373T2 (hu) 2019-05-28
JP6538209B2 (ja) 2019-07-03
CA3058998C (en) 2021-06-29
HK1211374A1 (zh) 2016-05-20

Similar Documents

Publication Publication Date Title
CN110136742B (zh) 执行噪声调制和增益调节的系统和方法
US10410652B2 (en) Estimation of mixing factors to generate high-band excitation signal
CN105830153B (zh) 高频带信号建模
US9620134B2 (en) Gain shape estimation for improved tracking of high-band temporal characteristics
AU2014331903A1 (en) Gain shape estimation for improved tracking of high-band temporal characteristics
WO2015077665A1 (en) Frequency domain gain shape estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant