CN101140759A - 语音或音频信号的带宽扩展方法及系统 - Google Patents

语音或音频信号的带宽扩展方法及系统 Download PDF

Info

Publication number
CN101140759A
CN101140759A CNA2006101287786A CN200610128778A CN101140759A CN 101140759 A CN101140759 A CN 101140759A CN A2006101287786 A CNA2006101287786 A CN A2006101287786A CN 200610128778 A CN200610128778 A CN 200610128778A CN 101140759 A CN101140759 A CN 101140759A
Authority
CN
China
Prior art keywords
frequency
frequency signal
signal component
energy
domain space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101287786A
Other languages
English (en)
Other versions
CN101140759B (zh
Inventor
胡瑞敏
张勇
张灵
王庭红
马付伟
张德军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Wuhan University WHU
Original Assignee
Huawei Technologies Co Ltd
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Wuhan University WHU filed Critical Huawei Technologies Co Ltd
Priority to CN200610128778A priority Critical patent/CN101140759B/zh
Publication of CN101140759A publication Critical patent/CN101140759A/zh
Application granted granted Critical
Publication of CN101140759B publication Critical patent/CN101140759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种语音或音频信号的带宽扩展方法及系统,本发明主要包括:A.模拟语音或音频信号中高频信号分量的频谱包络;B.在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,得到重建的高频信号分量。本发明还公开了一种实现上述带宽扩展方法的系统。本发明提供的技术方案能够体现编码比特数少,且编码比特数能够根据信号的类型特征做自适应的调整的优点。同时,本发明通过提取高频信号分量的频谱包络,并将该精细结构作用到频域空间对应的低频信号分量上,能够保证重建的高频信号频谱与编码过程中截去的高频信号频谱的调和相关。

Description

语音或音频信号的带宽扩展方法及系统
技术领域
本发明涉及语音或音频信号的编码解码技术,尤其涉及一种语音或音频信号的带宽扩展方法及系统。
背景技术
语音或音频信号处理的一个重要环节就是语音或音频编码。语音或音频编码技术通常需要在编码比特率、编码质量、编解码延时以及算法复杂程度这四者间寻求平衡,以获得最佳编解码方案。在编码比特率受限的条件下,尤其在移动环境下,考虑到人耳对语音或音频信号中的低频信号分量比对高频信号分量更加敏感的特点,通常分配较多比特数编码低频信号分量,相应地只分配少量比特数编码高频信号分量,有些情况下甚至不对高频信号分量进行编码。语音或音频信号中高频信号分量的丢失会导致解码音质的下降,并可能降低语音的可理解性。现有技术对语音或音频中低频信号分量的编解码技术相对成熟,而高频信号分量的编解码技术还有待进一步提高。
现有技术一AMR-WB+(宽带语音编解码器)是目前应用较广的一项编解码技术,该技术对来自同一激励源的低频信号分量与高频信号分量分别采用ACELP/TCX(代数码本激励线性预测/变换码激励)混合编码模式和带宽扩展(BWE,Bandwidth Extension)编码方式。所述的带宽扩展编码方式通过增加少量编码比特数与运算复杂度,能够较精确地重建高频信号分量,从而达到提升解码音质的目的。
AMR-WB+编码器带宽扩展方案的实现原理是从语音或音频的低频信号分量中提取时域空间的激励源特征,之后再将该激励源特征与高频信号分量在时域空间合成,得到重建的高频信号。
首先介绍AMR-WB+编解码技术的采样特点。
AMR-WB+编解码技术将输入信号的采样率转换为内部采样率,如,输入的语音或音频信号一帧为2048点,对一帧2048点的信号经过带通滤波将其分解为低频信号分量与高频信号分量,其中低频信号分量为1024点,高频信号分量为1024点,称后者为高频信号的一个超长帧。以下描述中,若无特殊说明,均取高频或低频信号分量的一个子帧序列(64点),文中符号n代表即第n个子帧序列。
另外,以下描述中提及的低频信号分量与高频信号存在对应关系,即均来自同一个激励源,为同一个语音或音频信号的两个分量,为便于描述,称该两个对应的分量为低频信号与高频信号。
然后,结合图1,并以对一个子帧序列的处理过程为例说明AMR-WB+的带宽扩展的编码方案。
步骤101、计算残差信号;
所述的残差信号即低频信号与对应的高频信号共有的激励源特征的信号表示。将低频信号分量通过低频分析滤波器,能够得到对应的残差信号。其中,所述的低频分析滤波器由对低频信号做16阶线性预测分析通过内插得到的量化LPC(线性预测系数)系数构成,限于篇幅,暂不对计算得到量化LPC系数的过程作详细说明。令低频分析滤波器为ALF(n),对应的系统函数为:
A ( Z ) = 1 + Σ i = 1 16 a ^ li z - i
其中,
Figure A20061012877800132
为16阶量化LPC系数,A(z)为ALF(n)的Z变换,z为复变量。
令S(n)为一个低频信号子帧序列,则残差信号R(n)=A(n)*S(n),其中,符号*表示卷积,得到的R(n)具有低频信号的谱精细结构。
步骤102、将残差信号通过高频合成滤波器,得到重建的高频信号;
所述的高频合成滤波器AHF(n)由对高频信号做8阶线性预测分析通过内插得到的量化LPC系数构成,其系统函数为:
A HF ( Z ) = 1 1 + Σ i = 1 8 a ^ hi z - i ,
Figure A20061012877800142
为8阶量化LPC系数。
令得到的一个重建的高频信号子帧序列为S′HF(n),
S′HF(n)=AHF(n)*R(n),
则S′HF(n)具有与原始高频信号一致的频谱包络。
步骤103、将重建的高频信号通过感知加权滤波器进行滤波处理;
所述感知加权滤波器W(n)的系统函数为:
W ( z ) = A HF ( z ) A HF ( z / γ HF ) ,
其中,γHF为加权系数,经验取值为0.3。
将重建的高频信号子帧序列S′HF(n)通过感知加权滤波器W(n)进行滤波处理,得到的序列为:
S′HF_W(n)=W(n)*S′HF(n)。
步骤104、计算经过步骤103滤波处理得到的重建的高频信号的能量;
令与S′HF_W(n)对应的重建的高频信号的能量为E′,则
E′=∑S′HF_W(n)×S′HF_W(n)。
步骤105、将原始高频信号通过感知加权滤波器进行滤波处理;
令一个原始高频信号子帧序列为SHF(n),将该子帧序列通过感知加权滤波器W(n)滤波后,得到的序列为:
SHF_W(n)=W(n)*SHF(n)。
步骤103与步骤105中,将原始高频信号与重建的高频信号经过所述的感知加权滤波器做滤波处理的作用是对输入信号进行噪声整形。
步骤106、计算经过步骤105滤波得到的原始高频信号的能量;
对SHF_W(n)对应的能量进行求和,得到原始高频信号的能量:
E=∑SHF_W(n)×SHF_W(n)。
步骤107、计算原始高频信号能量与重建的高频信号之间的能量增益因子;
所述的能量增益因子G为上述两种信号能量之间的实际差值,其在对数域的表示形式为:
G = 10 log 10 E ′ E
步骤108、计算原始高频信号能量与重建高频信号能量的增益匹配值;
所述的增益匹配值为上述两种信号能量之间差值的预测值,该值能够在解码端计算获得。所述的增益匹配值的计算过程如下:
将单位冲击函数通过单极点滤波器进行滤波后,得到输入信号;
将输入信号先后通过步骤101所述的低频分析滤波器与步骤102所述的高频合成滤波器后,对输出信号的子帧序列在对数域求和,即得到当前一子帧信号对应的增益匹配值gmatch_n
利用线性插值法,算出各子帧序列对应的增益匹配值,对增益匹配值做平滑处理,。
步骤109、计算所述的能量增益因子与增益匹配值之间的差值;
称该差值为增益因子,用Q表示,则Q=G-g。根据低频信号不同的编码模式,对应的Q个数也不同。
计算Q的目的是以较少的信息量表示重建的高频信号与原始高频信号的差异,减少从编码端向解码端传送的比特数。
步骤110、从量化表中找出与所述的增益因子对应的量化值,对所述的增益因子作量化处理,并将量化码字传送给解码端,AMR-WB+对高频信号的编码过程结束。
再结合图2说明与上述AMR-WB+带宽扩展方案中对高频信号的编码过程对应的解码端的解码过程。
步骤201、解码端接收到编码端传送的高频信号压缩比特流;
步骤202、计算能量增益因子;
该步骤包括以下过程:解码端根据接收到的所述量化码字,解码增益因子Q;计算增益匹配值g,这一计算过程与步骤108相同;根据G=Q+g计算能量增益因子G,并将G的表示形式从对数域转换到线性域。
步骤203、将解码所得低频的残差信号与所述的能量增益因子相乘得高频激励信号,并令高频激励信号的一个子帧序列为
Figure A20061012877800161
该步骤中的低频激励信号由相应的解码过程得出,由于本文所关注的是对高频信号的编解码过程,因此对低频信号的编解码过程不作详细说明,而只给出需要的编解码结果。
步骤204、对高频激励信号作幅度削减处理,消除重建的高频信号中的“毛刺”噪声;
步骤205、将经过幅度削减处理得到的最终的高频激励信号r′HF(n)通过高频合成滤波器得到重建的高频信号
Figure A20061012877800162
步骤206、对得到的重建的高频信号做能量平滑处理,得到最终重建的高频信号。
由上述内容可知,现有的AMR-WB+对高频信号采用的带宽扩展编解码技术编码比特数固定,不能根据信号的类型与特征进行自适应调整;并且,该技术方案在实现时运算复杂度较高。
现有技术二是公告号为1629937A,名称为:采用频带复现增强源编码的中国专利采用谐波冗余的方法,该方法基于低频信号和高频信号频谱成分之间的直接关系扩展出被截去的谐波序列的原则,通过在频域空间将低频信号与高频信号做合成,实现重建高频信号。该方案的运算复杂度相对较高,而且当信号的低频成分和高频成分相关性不强时,该方案只能提供很有限的性能增益。
发明内容
有鉴于此,本发明的第一个主要目的在于:提供一种语音或音频信号的带宽扩展方法,通过增加少量的高频信号编码比特数,有效提高解码音质。
本发明的第二个主要目的在于,提供一种语音或音频信号的带宽扩展系统,有效提升解码音质。
根据上述目的的第一个方面,本发明提供了一种语音或音频信号的带宽扩展方法,该方法包括以下步骤:
A、在频域空间模拟语音或音频信号中高频信号分量的频谱包络;
B、在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,得出频域空间重建的高频信号分量;
C、将频域空间重建的高频信号分量变换至时域空间,得到时域空间重建的高频信号分量。
在编码端执行步骤A、步骤B和步骤C;
在解码端执行步骤A、步骤B和步骤C。
所述步骤A具体为:
A1、对高频信号分量做线性预测分析,得到量化的线性预测系数LPC系数,由该LPC系数构成高频合成滤波器;
A2、将单位冲击函数通过所述的高频合成滤波器,得到高频合成滤波器的冲击响应,通过该冲击响应模拟语音或音频信号中高频信号分量的频谱包络。
所述的方法在编码端执行完步骤A1之后继续执行以下步骤:
A11、将对高频信号分量做线性预测分析得到的LPC系数转换为导谱频率ISF,并对ISF进行矢量量化,然后将ISF量化码字写入高频压缩比特流,传送到解码端。
所述的方法在执行完步骤A2之后,执行步骤B之前还包括:
B01、将步骤A2得到的高频合成滤波器的冲击响应从时域空间转换至频域空间,得到频域空间高频合成滤波器的冲击响应;
B02、对频域空间高频合成滤波器的冲击响应的能量做归一化,并得到归一化的合成滤波器。
所述步骤B具体为:
B1、将与高频信号分量对应的时域空间的低频信号分量转换至频域空间;
B2、利用由步骤B02得到的归一化的合成滤波器对频域空间的低频信号分量进行滤波,得到频域空间重建的高频信号分量。
在编码端执行完步骤B之后,所述的方法进一步包括以下步骤:
D、在时域空间计算原始高频信号分量与时域空间重建的高频信号分量间的能量增益因子,并对能量增益因子进行矢量量化,得到量化码字;
E、将所述的量化码字写入高频压缩比特流传送到解码端。
步骤D中计算所述的增益因子的方法包括:
根据计算式 Q = 10 log 10 E E ′ 计算能量增益因子,其中,Q即为要求的能量增益因子,E为原始高频信号分量能量,E′为时域空间重建的高频信号分量能量。
在解码端执行步骤A之前还包括:
A0、接收由编码端传送的高频压缩比特流。
在解码端执行完步骤C之后,所述的方法进一步包括以下步骤:
D′、对时域空间重建的高频信号分量做调幅处理;
在解码端执行完步骤C之后,执行步骤D′之前还包括以下步骤:
D′01、从步骤A0中接收到的高频压缩比特流中获取能量增益因子的量化码字,解码出能量增益因子;
D′02、计算高频信号分量与对应的低频信号分量在频谱衔接处的频谱匹配度,所述的频谱匹配度为高频信号分量与对应低频信号分量分别编码后在高频信号分量与低频信号分量频谱衔接处频谱不连续程度的量度;
D′03、根据解码得到的能量增益因子与计算得到的所述的频谱匹配度,计算增益匹配因子。
步骤D′02中计算所述的频谱匹配度的方法包括以下步骤:
D′021、获取低频信号分量中一个子帧信号的频谱特征;
D′022、获取与所述的低频信号分量中一个子帧信号对应高频信号分量中一个子帧信号的频谱特征;
D′023、计算频谱匹配度。
所述步骤D′021具体为:
由所述的低频信号分量中一个子帧信号对应的一组量化的LPC系数构成低频合成滤波器,并利用该低频合成滤波器对单位冲击函数滤波,得到所述的低频合成滤波器的时域空间的冲击响应;
将所述的时域空间的冲击响应变换到频域空间。
所述步骤D′022具体为:
由所述的高频信号分量中一个子帧信号对应的一组量化的LPC系数构成高频合成滤波器,并利用该高频合成滤波器对单位冲击函数滤波,得到所述的高频合成滤波器的时域空间的冲击响应;
将所述的时域空间的冲击响应变换到频域空间。
所述步骤D′023具体为:
令低频信号分量中一个子帧信号在频域空间的冲击响应对应的频带宽为ωl,则 5 32 ω l ~ ω l 的频带宽的范围内信号频谱的能量为El;令高频信号分量中一个子帧信号在频域空间的冲击响应对应的频带宽为ωh,则 0 ~ 5 13 ω h 的频带宽的范围内信号频谱的能量为Eh;再令 R = E h E l , 则根据计算式 r ~ = 0.68 × log 10 R 计算低频信号分量和高频信号分量的频谱匹配度为
Figure A20061012877800195
将频谱匹配度从对数域转换到线性域。
所述步骤D′03具体为:
令线性域的能量增益因子为Q,线性域的所述的频谱匹配度为γ,则根据计算式G=Q×γ计算增益匹配因子G。
所述的步骤D′具体为:
令时域空间重建的高频信号分量第n个子帧序列为re_hfn,根据计算式HFn=re_hfn×Gn对重建的高频信号分量的能量做调幅,其中HFn为经过调幅处理后得到的重建的高频信号分量,Gn为时域空间重建的高频信号分量第n个子帧序列的增益匹配因子。
在解码端执行完步骤D′后,所述的方法进一步包括:
E′、对经过调幅处理后得到的时域空间重建的高频信号分量做能量平滑处理。
F、将经过调幅处理后重建的高频信号分量输出。
步骤F具体为:
计算经过调幅处理后得到的时域空间重建的高频信号分量中每个子帧信号的能量;
对每个子帧的能量在一个自适应阀值基础上做不超过±1.5dB的修改;
根据计算式 scale current = t / E 求解当前子帧能量的修正因子,其中,scalecurrent为当前子帧能量的修正因子,t为自适应阀值,E为一个子帧信号的能量;
根据计算式scalen=μ×scalecurrent+(1-μ)×scalen-1,对当前第n子帧能量的修正因子做有限脉冲响应FIR滤波处理,其中,scalen-1为上一子帧的能量修正因子,μ为平滑因子,scalen为平滑处理后的当前子帧的能量修正因子;
根据计算式HF′n=HFn×scalen对时域空间重建的高频信号分量的每一帧能量做平滑处理,其中,HFn为未经能量平滑处理的时域空间重建的高频信号分量,HFn为经过能量平滑处理后时域空间重建的高频信号分量。
根据上述目的的第二个方面,本发明提供一种语音或音频信号的带宽扩展编码系统,包括语音或音频信号的带宽扩展编码装置和语音或音频信号的带宽扩展编码解码装置;
所述的语音或音频信号的带宽扩展编码装置在频域空间模拟语音或音频信号中高频信号分量的频谱包络;在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,得出频域空间重建的高频信号分量;将频域空间重建的高频信号分量变换至时域空间,得到时域空间重建的高频信号分量,并将编码结果发送到所述的语音或音频信号的带宽扩展解码装置;
所述的语音或音频信号的带宽扩展编码解码装置接收由所述的语音或音频信号的带宽扩展编码装置发送的编码结果,并根据所述的编码结果在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,得出频域空间重建的高频信号分量;将频域空间重建的高频信号分量变换至时域空间,得到时域空间重建的高频信号分量,并输出时域空间重建的高频信号分量。
所述的语音或音频信号的带宽扩展编码装置包括:频谱包络模拟模块、低频信号分量的频域转换模块、高频信号分量重建模块、编码结果发送模块;
所述的频谱包络模拟模块模拟高频信号分量的频谱包络,并将所述的频谱包络提供给所述的高频信号分量重建模块;
所述低频信号分量的频域转换模块将与高频信号分量对应的低频信号分量从时域空间转换至频域空间,并触发高频信号分量重建模块;
所述的高频信号分量重建模块将所述频谱包络模拟模块得到的高频信号分量的频谱包络与所述低频信号分量的频域转换模块得到的频域空间的低频信号分量进行合成,得到频域空间重建的高频信号分量,并将该重建的高频信号分量从频域空间转换至时域空间;
编码结果发送模块将编码结果写入高频压缩比特流,并将携带编码结果的高频压缩比特流发送到所述的语音或音频信号的带宽扩展解码装置。
所述的频谱包络模拟模块包括:高频合成滤波器生成单元、滤波单元、频域转换单元、归一化单元。
所述的高频合成滤波器生成单元通过内插得到量化LPC系数,由该系数构成高频合成滤波器,并将ISF量化码字信息这一编码结果提供给编码结果发送模块;
所述的滤波单元利用所述的高频合成滤波器对单位冲击函数做滤波处理,得出的输出结果为该高频合成滤波器的冲击响应,并将所述的冲击响应输入所述频域转换单元;
所述的频域转换单元将时域空间所述的冲击响应的信号转换为频域空间的冲击响应;
所述的归一化单元对频域空间的冲击响应的能量做归一化处理,生成归一化的合成滤波器,并将归一化的合成滤波器提供给高频信号分量重建模块。
所述的语音或音频信号的带宽扩展编码装置还包括:能量增益因子计算模块、能量增益因子量化模块;
所述的能量增益因子计算模块根据计算式 Q = 10 log 10 E / E ′ 计算能量增益因子,其中,Q即为要求的能量增益因子,E为原始高频信号分量能量,E′为时域空间重建的高频信号分量能量,计算出原始高频信号分量能量与重建的高频信号分量能量的增益;
所述的能量增益因子量化模块对能量增益因子进行量化,并将量化结果这一编码结果提供给编码结果发送模块。
所述的语音或音频信号的带宽扩展解码装置包括:编码结果接收模块、频谱包络模拟模块、低频信号分量的频域转换模块、高频信号分量重建模块、输出模块;
所述的编码结果接收模块接收由所述的语音或音频信号的带宽扩展编码装置传送的高频压缩比特流并保存;
所述的频谱包络模拟模块从所述编码结果接收模块接收到的高频压缩比特流中解码出需要的信息,根据该信息模拟高频信号分量的频谱包络;
所述低频信号分量的频域转换模块将与高频信号分量对应的低频信号分量从时域转换空间至频域空间;
所述的高频信号分量重建模块将所述频谱包络模拟模块得到的高频信号分量的频谱包络与所述低频信号分量的频域转换模块得到的频域空间的低频信号分量进行合成,得到频域空间重建的高频信号分量,并将该重建的高频信号分量从频域空间转换至时域空间;
所述的输出模块将时域空间重建的高频信号分量输出。
所述的频谱包络模拟模块包括:量化LPC系数信息提取单元、高频合成滤波器生成单元、滤波单元、频域转换单元、归一化单元;
所述的量化LPC系数信息提取单元从接收到的高频压缩比特流中解码出量化LPC系数,并将该系数提供给高频合成滤波器生成单元;
所述的高频合成滤波器生成单元通过内插得到量化LPC系数,并由该系数构成高频合成滤波器;
所述的滤波单元利用所述的高频合成滤波器对单位冲击函数做滤波处理,得出的输出结果为该高频合成滤波器的冲击响应,并将所述的冲击响应输入所述频域转换单元;
所述的频域转换单元将时域空间所述的冲击响应的信号转换为频域空间的冲击响应;
所述的归一化单元对频域空间的冲击响应的能量做归一化处理,并将归一化结果提供给高频信号分量重建模块。
所述的语音或音频信号的带宽扩展解码装置还包括:
能量增益因子解码模块,该模块从编码结果接收模块接收到的高频压缩比特流中提取量化能量增益因子得到的量化码字,解码出能量增益因子。
所述的语音或音频信号的带宽扩展解码装置还包括:
频谱匹配度计算模块,该模块具体包括:低频信号分量频谱特征获取单元、高频信号分量频谱特征获取单元、计算单元、频谱匹配度平滑处理单元;
所述的低频信号分量频谱特征获取单元获取低频信号分量的频谱特征,计算低频信号分量在频域空间的冲击响应;
所述的高频信号分量频谱特征获取单元获取高频信号分量的频谱特征,计算高频信号分量在频域空间的冲击响应;
所述的计算单元根据低频信号分量频谱特征获取单元得到的所述冲击响应与高频信号分量频谱特征获取单元得到的所述冲击响应两者的能量关系,计算频谱匹配度;
所述的频谱匹配度平滑处理单元根据计算单元计算出的帧序列对应的频谱匹配度,通过线性插值计算各子帧信号对应的频谱匹配度;
线性域转换单元将频谱匹配度平滑处理单元的计算结果从对数域转换到线性域。
所述的语音或音频信号的带宽扩展解码装置还包括:
增益匹配因子计算模块,该模块将能量增益因子解码模块与频谱匹配度计算模块的输出结果进行合成,根据计算式G=Q×γ,计算出增益匹配因子G,其中Q为能量增益因子,γ为频谱匹配度。
所述的语音或音频信号的带宽扩展解码装置还包括:
调幅模块,该模块利用增益匹配因子计算模块的输出结果对高频信号分量重建模块输出的重建的高频信号分量做调幅处理,令时域空间重建的高频信号分量第n个子帧序列为re_hfn,那么经过调幅处理后重建的高频信号分量HFn=re_hfn×Gn
所述的语音或音频信号的带宽扩展解码装置还包括:
能量平滑处理模块,该模块对调幅模块的输出结果做能量平滑处理,之后触发输出模块,能量平滑处理模块具体包括:子帧能量计算单元、自适应阀值计算单元、能量修正因子计算单元、有限脉冲响应FIR滤波处理单元、平滑处理单元;
所述的子帧能量计算单元根据计算一个子帧序列对应的能量,令该能量值为E;
所述的自适应阀值计算单元根据
t = min ( E * 1.445 , t ) E < t max ( E / 1.445 , t ) E &GreaterEqual; t
计算自适应阀值,令自适应阀值为t;
所述的能量修正因子计算单元根据 scale current = t / E 的关系,算出当前一个子帧序列对应的能量修正因子scalecurrent
所述的FIR滤波处理单元通过利用前一个子帧序列对应的能量修正因子scalen-1对当前的能量修正因子做进一步平滑滤波,得到当前子帧序列最终的能量修正因子,具体的平滑滤波为:
scalen=μ×scalecurrent+(1-μ)×scalen-1,其中,scalen为所述的当前子帧序列最终的能量修正因子;
所述的平滑处理单元根据FIR滤波处理单元输出结果,根据计算式HF′n=HFn×scalen对重建的高频信号分量的每一帧能量做平滑处理,其中,HFn为未经能量平滑处理的重建的高频信号分量,HF′n为经过能量平滑处理后重建的高频信号分量。
由上述技术方案可见,本发明提供的语音或音频信号的带宽扩展方法及系统通过增加少量的比特数和运算复杂度重建在语音或音频信号编码过程中丢失的高频信号分量,达到提升解码音质的目的。本发明提供的技术方案能够体现编码比特数少,且编码比特数能够根据信号的类型特征做自适应的调整的优点。同时,本发明通过提取高频信号分量的频谱包络,并将该精细结构作用到频域空间对应的低频信号分量上,能够保证重建的高频信号频谱与编码过程中截去的高频信号频谱调和相关,相对现有技术二而言,能够避免其中信号合成的不和谐的人为痕迹。并且,本发明通过低频信号与对应的高频信号在频谱衔接处的频谱匹配度,能够使语音或音频信号在低频与高频间平滑过渡,从而减小两者在频谱上的不连续性。另外,本发明通过在解码端对重建的高频信号做FIR(有限脉冲冲击响应)滤波处理,对重建的高频信号进行能量平滑,消除时域空间重建的高频信号的噪声。
附图说明
图1是现有技术对语音或音频信号中的高频信号分量的编码流程图;
图2是现有技术对语音或音频信号中的高频信号分量的解码流程图;
图3是本发明的带宽扩展方法中对语音或音频信号中高频信号分量进行编码的较佳实施例的处理流程图;
图4是求取高频合成滤波器的冲击响应示意图;
图5是本发明的带宽扩展方法中对语音或音频信号中高频信号分量进行编码的一个较佳实施例的处理流程图;
图6是本发明的语音或音频信号的带宽扩展编码装置的较佳实施例的结构示意图;
图7是图6所示频谱包络模拟模块的结构示意图;
图8是本发明的语音或音频信号的带宽扩展解码装置的较佳实施例的结构示意图;
图9是图8所示频谱匹配度计算模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,下面结合附图与具体实施例,对本发明作进一步详细说明。
本发明主要通过模拟语音或音频信号中高频信号分量的频谱包络,并在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,从而得出重建的高频信号。之后,还需要在解码端对重建的高频信号做幅度调整与能量平滑处理。
在讲述本发明的具体实施前还需要说明的是,本发明提供的技术方案是针对语音或音频信号中高频信号分量的编解码技术,因此,本发明假设对低频信号分量的编解码技术仍采用现有的AMR-WB+技术中对低频信号分量的ACELP/TCX混合编码模式,即ACELP或者TCX256或者TCX512或者TCXl024低频信号编码模式。因此,相应地,在对数字信号的采样中,仍取64样点为一子帧,文中符号n代表即第n个子帧序列。
另外,为沿用字母符号原本表示的物理含义,在该部分有关数学描述中可能出现与背景技术中相同的字母符号。在此说明,该部分的所有字母符号与背景技术中的字母符号无相关性。
来自同一个激励源的低频信号与高频信号存在对应关系,即为同一个语音或音频信号的两个分量,为便于描述,称该两个对应的分量为低频信号与高频信号。
由于本发明中用到的诸多滤波器都是运用线性预测分析方法得到的,因此,首先以高频合成滤波器为例,对构成该滤波器的量化LPC系数的由来做简要说明。
所述的高频合成滤波器由对高频信号做8阶线性预测分析通过内插得到的量化LPC系数构成。
令输入的高频信号经过采样为1024点超长帧序列,先对每256样点的一帧求取一组8阶的LPC系数;然后将该8阶LPC系数转换为8阶ISP(导谱对)系数;再将8阶ISP转换为8阶ISF(导谱频率)系数,之后将ISF系数利用多级分裂式矢量量化得到量化ISF系数,再将量化ISF系数转换为量化ISP系数,最后将量化ISP系数转换为要求的量化LPC系数。基于本发明需要用到线性预测分析方法计算参数,因此,对将量化ISP系数转换为量化LPC系数的过程中用到该方法的部分做进一步说明。
Figure A20061012877800271
为高频信号第n帧量化的ISP系数。为了得到每个子帧对应的一组LPC系数,用量化的ISP系数做线性插值。根据低频信号编码模式的不同,对每一子帧的插值方式也不同。当低频信号编码模式为ACELP/TCX256,一个对应的高频信号帧包括1个256点的样点帧,即包含4个64点子帧时,计算每个子帧对应的量化ISP系数,对应的插值公式为:
q ^ i ( n ) = ( 1 - i 4 ) q ^ ( n - 1 ) + i 4 q ^ n ,i=0,…,3;
当低频信号编码模式为TCX512,一个对应的高频信号帧包括2个256点的样点帧:n和n+2,即包含8个64点子帧时,对应的插值公式为:
q ^ i ( n , n + 1 ) = ( 1 - i 8 ) q ^ ( n - 1 ) + i 8 q ^ n + 1 , i=0,…,7;
当低频信号编码模式为TCX1024,一个对应的高频信号帧包括4个256点的样点帧:m,m+1,m+2,m+3,即包含16个64点子帧时,对应的插值公式为:
q ^ i ( n , n + 3 ) = ( 1 - i 16 ) q ^ ( n - 1 ) + i 16 q ^ n + 3 , i=0,…,15;
将插值得到的8阶量化ISP系数转换为8阶量化LPC系数,即每64个样点子帧对应一组8阶量化LPC系数1,2,…,8,则该高频合成滤波器是由上述8阶量化的LPC系数构成;对低频合成滤波器,将16阶每个量化的ISP系数转换为16阶个量化的LPC系数,则该低频合成滤波器是由上述对低频信号做16阶阶线性预测分析通过内插得到的量化LPC系数构成。
另外,编码端需要对ISF系数进行矢量量化并将量化码字写入高频压缩比特流,传送到解码端。
然后,结合图3,并以对一个子帧序列的处理过程为例,具体说明本发明的带宽扩展方法中对语音或音频信号中高频信号分量进行编码的一个较佳实施例的处理流程。
步骤301、求取高频信号在频域空间的频谱包络;
本实施例通过计算由高频信号帧序列对应的LPC系数组成的滤波器的冲击响应的方法来模拟高频信号的频谱包络,实际应用中,也可使用其它途径模拟高频信号的频谱包络。
该步骤包括以下过程:
先生成高频合成滤波器:
令该高频合成滤波器H(n)由对高频信号做8阶线性预测分析通过内插得到的量化LPC系数构成,其系统函数为:
H ( z ) = 1 1 + &Sigma; i = 1 8 a ^ i z - i ,
其中,是8阶量化LPC系数,z为复变量。
还需要做的是,将对高频信号分量做线性预测分析得到的LPC系数转换为ISF,并对ISF进行矢量量化,然后将ISF量化码字写入高频压缩比特流,传送到解码端。
然后,求高频合成滤波器的冲击响应:
由冲击响应的定义可知,所述的冲击响应为高频合成滤波器的系统函数与单位冲击函数的卷积。如图4所示,将单位冲击函数δ(n)输入高频合成滤波器401,输出结果即为所述的冲击响应h(n)。
之后,将冲击响应h(n)转换至频域空间:
对得到的冲击响应h(n)的每一子帧做FFT(快速傅立叶变换)变换,得到频域空间的冲击响应H(ejw)。
所述的频域空间的冲击响应H(ejw)能够近似模拟原始高频信号的频谱包络。
最后,对所述的H(ejw)的能量做归一化处理:
虽然所述的H(ejw)的频谱包络与原始高频信号的频谱包络比较相似,但两者的能量或幅度可能存在较大的偏差,为使接下来的运算值与原始高频信号能量或幅度更加接近,对所述的H(ejw)做归一化,得到归一化的合成滤波器H′(ejw)。
步骤302、求取频域空间的对应的低频信号;
令S(n)为低频信号一个子帧序列,对S(n)做FFT变换得到频域空间的低频信号子帧S(ejw)。
步骤303、重建时域空间的高频信号;
利用归一化的合成滤波器H′(ejw)对S(ejw)滤波,得到重建的高频信号子帧HF′(ejw),即,
HF′(ejw)=H′(ejw)×S(ejw);
由于高频信号与对应的低频信号来自于相同的激励源,因此两者之间具有相同的激励源特征。频域空间的低频信号正是体现这一激励源特征,因此,通过将高频信号的频谱包络作用到频域空间的低频信号上,能够得到频域空间重建的高频信号。
频域空间重建的高频信号具有与原始高频信号相似的频谱包络,但是,由于高频信号还包含自身的信号特性,因此,还需要将频域空间重建的高频信号HF′(ejw)进行64点的IFFT(快速傅立叶逆变换)变换,得到时域空间重建的高频信号子帧序列HF′(n),并对HF′(n)进行能量调整处理。
步骤304、计算时域空间原始高频信号与时域空间重建的高频信号间的能量增益因子;
令时域空间原始高频信号子帧序列HF(n)对应的能量为E,
E=∑HF(n)×HF(n);
时域空间重建的高频信号子帧序列HF′(n)对应的能量为E′,
E′=∑HF′(n)×HF′(n);
令能量增益因子为Q,则 Q = 10 log 10 E / E &prime; ; 所述的能量增益因子为一个矢量,即当低频信号编码模式为ACELP/TCX256时,该矢量可分解为4个分量Q1…Q4,即一个高频信号帧序列包括4个能量增益因子Q1…Q4;依次地,当低频信号编码模式为TCX512时,该矢量可分解为8个分量Q1…Q8;即一个高频信号帧序列包括8个能量增益因子Q1…Q8;当低频信号编码模式为TCX1024时,该矢量可分解为16个分量Q1…Q16;即一个高频帧包括16个能量增益因子Q1…Q16
步骤305、将能量增益因子量化,并将量化得到的量化码字写入高频压缩比特流,传送到解码端,编码过程结束。
以一个高频信号帧序列包括4个能量增益因子Q1…Q4为例,令这4个能量增益因子组成的一个4维矢量即,
Q &RightArrow; = ( Q 1 , Q 2 , Q 3 , Q 4 ) ;
进行量化。设 Q &RightArrow; = ( 0,0.51,0.01,0.49 ) ,则从对应的现有矢量量化表中找出与该
Figure A20061012877800315
对应的量化码字。该量化码字为量化结果的索引值。实验表明,可用一个包含256个4维码矢的码本对所述的4维矢量
Figure A20061012877800316
做矢量量化。
然后结合图5,并以对一个子帧序列的处理过程为例,具体说明本发明的带宽扩展方法中对语音或音频信号中高频信号分量进行编码的一个较佳实施例的处理流程。
步骤501、解码端接收到编码端传送的高频压缩比特流;
步骤502、解码能量增益因子;
从解码端接收到的编码端传送的高频压缩比特流中提取量化的能量增益因子对应的码字信息,解码能量增益因子。如根据接收到的量化码字,从矢量量化表中找出与所述的量化码字对应的矢量
Figure A20061012877800317
解码该4维的能量增益因子 Q &RightArrow; = ( Q 1 , Q 2 , Q 3 , Q 4 ) , 得到4个能量增益因子Q1、Q2、Q3、Q4。令 Q ~ i = 10 Q i / 10 , 将能量增益因子从对数域转换到线性域。
步骤503、计算频域空间高频信号与低频信号频谱衔接处的频谱匹配度;
高频信号与对应的低频信号的频谱是连续的,在高频信号和低频信号分别编码后,得到的高频信号与对应的低频信号两者频谱有可能不连续,因此,需要将两种信号在频谱上的衔接处做频谱匹配,以消除所述的不连续。所述的频谱匹配度为高频信号与对应低频信号分别编码后在高频信号分量与低频信号分量频谱衔接处频谱不连续程度量度。
该步骤包括:
生成低频合成滤波器与高频合成滤波器,即计算量化LPC系数:
解码端从所述的高频信号压缩比特流中获取量化ISP系数,每256个样点帧对应一组量化ISP系数。根据获取的量化ISP系数以及低频信号的编码模式,运用对应的插值公式,求取每一子帧对应的量化ISP系数,这一求解过程在之前已作说明。之后,再将求得的量化ISP系数转换为8阶的量化LPC系数,生成高频合成滤波器;
获取低频信号某一子帧信号的频谱特征:
令低频信号中某一子帧,如最后一帧对应的一组16阶量化LPC系数为
Figure A20061012877800321
,…,
Figure A20061012877800323
,对应的低频合成滤波器为Hl(z),且
H l ( z ) = 1 1 + &Sigma; i = 1 16 a ^ li z - i .
将单位冲击函数通过该滤波器,得到冲击响应hl(n)。对hl(n)做FFT变换后得到的Hl(ejw)反映该子帧信号的频谱特征。
获取对应的高频信号某一子帧信号的频谱特征:
令与上述低频信号对应的高频信号中最后一个子帧序列对应的一组8阶的LPC系数为
Figure A20061012877800325
Figure A20061012877800326
,…,
Figure A20061012877800327
,对应的高频合成滤波器为Hh(z),且
H h ( z ) = 1 1 + &Sigma; i = 1 8 a ^ hi z - i
单位冲击函数通过该滤波器后,得到冲击响应hh(n)。对hh(n)做FFT变换后得到的Hh(ejw)反映该子帧信号的频谱特征。
计算频谱匹配度:
令Hl(ejw)对应的频带宽为ωl,其中, 5 32 &omega; l ~ &omega; l 的频带宽的范围内信号频谱的能量为El;令Hh(ejw)对应的频带宽为ωh,其中, 0 ~ 5 13 &omega; h 的频带宽的范围内信号频谱的能量为Eh;再令 R = E h / E l , 则低频信号和高频信号的频谱匹配度为
Figure A20061012877800332
其中, &gamma; ~ = 0.68 &times; log 10 R .
从上述计算频谱匹配度的过程可见,在计算频谱匹配度时,只需计算高低频信号衔接处对应的一个低频子帧信号与一个高频子帧信号的频谱特性,并由两者的频谱特性得到所述的频谱匹配度,而无需计算出整个帧中各子帧对应的频谱匹配度。
对频谱匹配度做平滑处理:
为第n帧的频谱匹配度,
Figure A20061012877800335
为第n-1帧的频谱匹配度。根据低频信号编码模式的不同,计算每个子帧对应的频谱匹配度插值的方式也不同。当低频信号编码模式是ACELP/TCX256,对应的高频信号的一帧包括1个256点的样点帧n时,插值公式为
&gamma; ~ i = ( 1 - i 4 ) &gamma; ~ ( n - 1 ) + i 4 &gamma; ~ n ,i=0,...,3;
当低频模式为TCX512时,对应的高频信号的一帧包括2个256点的样点的帧n和n+1时,插值公式为:
&gamma; ~ i = ( 1 - i 8 ) &gamma; ~ ( n - 1 ) + i 8 &gamma; ~ n + 1 ,i=0,...,7
当低频模式为TCX1024,对应的高频信号的一帧包括4个256点的样点的帧n,n+1,n+2,n+3时,插值公式为:
&gamma; ~ i = ( 1 - i 16 ) &gamma; ~ ( n - 1 ) + i 16 &gamma; ~ n + 3 , i=0,...,15;
&gamma; i = 10 &gamma; ~ i , 将能量增益因子从对数域转换到线性域,便于下面对频谱匹配度做乘法运算。
步骤504、计算增益匹配因子;
令增益匹配因子为G,则,G=Q×γ。
与高频信号一个帧序列所包括的能量增益因子个数相对应,若包括4个能量增益因子,即 Q &RightArrow; = ( Q 1 , Q 2 , Q 3 , Q 4 ) , 则对应的增益匹配因子为:
Gi=Qi×γi-1,i=1,…,4;
若包括8个能量增益因子,则对应的增益匹配因子为:
Gi=Qi×γi-1,i=1,…,8;
若包括16个能量增益因子,则对应的增益匹配因子为:
Gi=Qi×γi-1,i=1,…,16。
步骤505、模拟高频信号的频谱包络;
本实施例通过计算由高频信号对应的LPC系数组成的滤波器的冲击响应的方法来模拟高频信号的频谱包络,实际应用中,也可使用其它途径模拟高频信号的频谱包络。
令高频信号的一个子帧序列的量化LPC系数组成的合成滤波器为H(z),其系统函数
H ( z ) = 1 1 + &Sigma; i = 1 8 a ^ hi z - i ;
计算H(z)的冲击响应,即采用如图6所示的方法,将单位冲击函数通过该滤波器,得到输出的冲击响应为h(n);对h(n)求64点的FFT变换得H(ejw)。所述的具有H(ejw)具有原始高频信号的频谱包络。继续对H(ejw)做归一化,得到归一化的合成滤波器H′(ejw)。
步骤506、将与高频信号对应的低频信号从时域空间变换到频域空间;
取高频信号子帧HF(n)相对应的低频信号子帧序列为Sl(n)。将所述的Sl(n)从时域空间变换到频域空间,即对Sl(n)做64点FFT变换得Sl(ejw)。
步骤507、重建时域空间的高频信号;
利用归一化的合成滤波器H′(ejw)对Sl(ejw)滤波,得频域空间重建的高频信号re_hf(ejw),
re_hf(ejw)=H′(ejw)×Sl(ejw);
将re_hf(ejw)变换到时域空间,即对re_hf(ejw)进行IFFT变换,得时域空间重建的高频信号re_hf(n)。
步骤508、对时域空间重建的高频信号做幅度调整处理;
利用第n个子帧的增益匹配因子Gn对第n个时域空间重建的时域高频子帧信号进行幅度调整:
HFn(i)=re_hfn(i)×Gn,i=0,…,63。
步骤509、对时域空间重建的高频信号的能量做平滑处理。
该平滑处理过程如下:
先计算一个子帧信号的能量:
E = 0.0001 + &Sigma; i = 0 64 H F n 2 ( i ) ;
然后,对每个子帧的能量在一个自适应阀值基础上做不超过±1.5dB的修改,自适应阀值t计算与现有技术采用的方法相同,具体如下:
t = min ( E * 1.445 , t ) E < t max ( E / 1.445 , t ) E &GreaterEqual; t ;
之后,求解当前子帧能量的修正因子:利用自适应阀值t和子帧信号能量E求解当前子帧能量的修正因子scalecurrent
scale current = t / E ,
并利用上一子帧的能量修正因子scalen-1和求得的scalecurrent做FIR滤波,求得当前帧的能量修正因子scalen
scalen=μ×scalecurrent+(1-μ)×scalen-1
其中μ为平滑因子,一个合理的取值为0.65。
再利用scalen对当前对重建的高频信号的每一帧能量做平滑处理:
HF′n(i)=HFn(i)×scalen,i=0,…,63。
最后,解码端将最终重建的高频信号输出。
下面对本发明提供的语音或音频信号的带宽扩展系统作详细说明。所述的带宽扩展系统包括两个装置,即语音或音频信号的带宽扩展编码装置,该装置根据如图3所示的方法设计;语音或音频信号的带宽扩展解码装置,该装置根据如图5所示的方法设计。
所述的语音或音频信号的带宽扩展编码装置在频域空间模拟语音或音频信号中高频信号分量的频谱包络;在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,得出频域空间重建的高频信号分量;将频域空间重建的高频信号分量变换至时域空间,得到时域空间重建的高频信号分量,并将编码结果发送到所述的语音或音频信号的带宽扩展解码装置;
所述的语音或音频信号的带宽扩展编码解码装置接收由所述的语音或音频信号的带宽扩展编码装置发送的编码结果,并根据所述的编码结果在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,得出频域空间重建的高频信号分量;将频域空间重建的高频信号分量变换至时域空间,得到时域空间重建的高频信号分量,并输出时域空间重建的高频信号分量。
语音或音频信号的带宽扩展编码装置的较佳实施例的结构示意如图6所示。该装置具体用于对语音或音频信号中的高频信号分量进行编码,主要包括以下模块:频谱包络模拟模块601、低频信号分量的频域转换模块602、高频信号分量重建模块603、编码结果发送模块604。
所述的频谱包络模拟模块601模拟高频信号分量的频谱包络,并将所述的频谱包络提供给所述的高频信号分量重建模块。本实施例采用高频合成滤波器对单位冲击函数进行滤波,得出该高频合成滤波器的冲击响应的方法来获得高频信号分量的频谱包络。因此,所述的频谱包络模拟模块的结构示意如图7所示,具体可包括以下单元:高频合成滤波器生成单元701、滤波单元702、频域转换单元703、归一化单元704。
所述的高频合成滤波器生成单元701通过内插得到量化LPC系数,并由该系数构成高频合成滤波器,将对高频信号分量做线性预测分析得到的LPC系数通过ISF量化,并将ISF量化码字信息提供给编码结果发送模块604。其中,具体计算过程为现有技术,可参见上述方法说明。
所述的高频合成滤波器提供高频信号分量对应特征信息,该特征信息的数学表示就是对高频信号分量做m阶线性预测分析通过内插得到的量化的LPC系数,即所述的高频信号分量合成滤波器由m阶量化LPC系数构成,其中,LPC系数的阶数的一个合理的值为8;
所述的滤波单元702利用所述的高频合成滤波器对单位冲击函数做滤波处理,得出的输出结果为该高频合成滤波器的冲击响应,并将所述的冲击响应输入所述频域转换单元;
所述的频域转换单元703将时域空间的信号转换到频域空间,本实施例中,该单元对高频信号分量做FFT变换,完成从时域到频域的转换。
如图7所示,以一个高频子帧序列为例,说明频谱包络模拟模块的工作过程为:将单位冲击函数δ(n)输入滤波单元702,得到的输出结果为该滤波单元用到的高频合成滤波器的冲击响应h(n);之后,将冲击响应h(n)输入频域转换单元703,将h(n)从时域转换至频域,得到频域空间的冲击响应H(ejw)。所述的H(ejw)体现高频信号分量的频谱包络。
为使重建高频信号的能量或幅度更加接近原始信号,需要对H(ejw)做归一化,因此,所述的频谱包络模拟模块还包括归一化单元704,该单元对高频信号分量在频域空间的冲击响应H(ejw)做归一化,并生成归一化的合成滤波器H′(ejw)。
所述低频信号分量的频域转换模块602将与高频信号分量对应的低频信号分量从时域空间变换到频域空间,并触发高频信号分量重建模块。以一个低频子帧序列S(n)为例,该模块用于对S(n)做FFT变换,得到频域空间的S(ejw)。
所述的高频信号分量重建模块603将频谱包络模拟模块601得到的高频信号分量的频谱包络与低频信号分量的频域转换模块602得到的频域空间的低频信号分量进行合成,得到频域空间重建的高频信号分量,并转换至时域空间。令重建的高频信号分量一个子帧序列为HF′(ejw),该模块的具体操作为:计算HF′(ejw)=H′(ejw)×S(ejw);之后对HF′(ejw)做IFFT变化,得到时域空间重建的高频信号分量子帧序列HF′(n)。
编码结果发送模块604将编码结果写入高频压缩比特流,并将携带编码结果的高频压缩比特流发送到所述的语音或音频信号的带宽扩展解码装置。所述的编码结果包括在模拟高频信号的频谱包络时用到的LPC系数和能量增益因子的量化码字信息。
重建的高频信号分量由于与原始高频信号分量存在幅度或能量上的差异,因此,在所述的编码装置需要给出该差异,并将这一差异信息传送给所述的解码装置。因此,所述的编码装置还包括能量增益因子计算模块605、能量增益因子量化模块606。
所述的能量增益因子计算模块605用于计算出原始高频信号分量能量与重建的高频信号分量能量的增益Q。该模块具体操作为:计算原始高频信号分量一帧能量E=∑HF(n)×HF(n);计算重建的高频信号分量的一帧能量E′=∑HF′(n)×HF′(n);计算能量增益因子 Q = 10 log 10 E / E &prime; . 所述的能量增益因子Q为一个矢量。根据低频信号分量编码的不同模式,高频信号分量一帧对应的子帧数可能不同,即Q可能为一个4维矢量,或一个8维矢量,或一个16维矢量。
所述的能量增益因子量化模块606用于对能量增益因子做矢量量化,并将量化结果提供给编码结果发送模块604。
所述的编码装置还包括编码结果发送模块604将高频压缩比特流传送到所述的解码装置,所述的高频压缩比特流中包含量化码字信息、关于量化ISF系数的码字信息等。
语音或音频信号的带宽扩展解码装置的较佳实施例的结构示意如图8所示。该装置具体用于接收所述的编码装置传送的编码比特流,并完成相应的解码操作,主要包括以下模块:高频压缩比特流接收模块801、频谱包络模拟模块802、低频信号分量的频域转换模块803、高频信号分量重建模块804。
所述的高频压缩比特流接收模块801接收所述的编码装置传送的编码比特流并保存。
所述的频谱包络模拟模块802、低频信号分量的频域转换模块803和高频信号分量重建模块804分别与所述的编码装置中所述的频谱包络模拟模块601、低频信号分量的频域转换模块602和高频信号分量重建模块603具有相同的功能与结构特征,不再赘述。其中,所述的频谱包络模拟模块802的结构除包含图7所示的所有单元,还包括量化LPC系数信息提取单元,该单元从接收到的高频压缩比特流中解码出量化LPC系数,并将该系数提供给高频合成滤波器生成单元。
所述的解码装置还包括能量增益因子解码模块805,从接收到的高频压缩比特流中提取量化能量增益因子得到的量化码字,并根据预先给定的量化表找出对应的能量增益因子。
为消除经过高频信号分量与低频信号分量分别编码后在频谱上可能出现的不连续,所述的解码装置还包括频谱匹配度计算模块806。该模块用于计算高频信号分量与对应低频信号分量在频谱衔接处的匹配度。
所述的频谱匹配度计算模块806具体包括如图9所示的各单元:低频信号分量频谱特征获取单元901、高频信号分量频谱特征获取单元902、计算单元903、频谱匹配度平滑处理单元904、线性域转换单元905。
其中,所述的低频信号分量频谱特征获取单元901用于获取低频信号分量的频谱特征,得出低频信号分量在频域空间的冲击响应。本实施例中,该单元只需计算低频信号分量某一子帧对应的频谱特性,该单元具体包括:低频合成滤波器生成单元、滤波单元、频域转换单元;
所述的低频合成滤波器生成单元计算低频信号分量某一子帧序列对应的量化LPC系数,由该系数构成低频合成滤波器;
所述的滤波单元利用所述的低频合成滤波器对输入的信号作滤波处理,本实施例中,所述的滤波单元利用所述的低频合成滤波器用于对输入的单位冲击函数做滤波,得到冲击响应hl(n);
所述的频域转换单元对低频合成滤波器输出的信号作从时域到频域的变化,即对hl(n)做FFT变换,得到低频信号分量在频域空间的冲击响应Hl(ejw)。
所述的高频信号分量频谱特征获取单元902用于获取高频信号分量的频谱特征,得出低频信号分量在频域空间的冲击响应。具体包括:高频合成滤波器生成单元、滤波单元、频域转换单元
所述的高频合成滤波器生成单元计算与上述低频合成滤波器生成单元中所计算的低频信号分量某子帧对应的高频信号分量中该子帧序列对应的量化LPC系数,由该系数构成高频合成滤波器;
所述的滤波单元利用所述的高频合成滤波器对输入的信号作滤波处理,本实施例中,所述的滤波单元利用所述的高频合成滤波器用于对输入的单位冲击函数做滤波,得到冲击响应hh(n);
频域转换单元对高频合成滤波器输出的信号作从时域到频域的变化,即对hh(n)做FFT变换,得到高频信号分量在频域空间的冲击响应Hh(ejw)。
所述的计算单元903根据低频信号分量频谱特征获取单元901得到的所述冲击响应与高频信号分量频谱特征获取单元902得到的所述冲击响应两者的能量关系计算频谱匹配度,该单元具体包括:低频信号分量能量提取单元、高频信号分量能量提取单元、计算频谱匹配度单元;
所述的低频信号分量能量提取单元从低频信号分量频谱特征获取单元901的计算结果中提取低频信号分量对应的能量值,本实施例中,令Hl(ejw)对应的频带宽为ωl,那么,该单元提取的即为 5 32 &omega; l ~ &omega; l 的频带宽的范围内低频信号分量频谱的能量值,令为El
所述的高频信号分量能量提取单元从高频信号分量频谱特征获取单元902的计算结果中提取高频信号分量对应的能量值,本实施例中,令Hh(ejw)对应的频带宽为ωh,那么,该单元提取的即为 0 ~ 5 13 &omega; h 的频带宽的范围内高频信号分量频谱的能量值,令为Eh
所述的计算频谱匹配度单元根据频谱匹配度与频谱能量的关系: &gamma; ~ = 0.68 &times; log 10 E h E l , 计算出频谱匹配度
Figure A20061012877800413
所述的频谱匹配度平滑处理单元904根据计算单元计算出的帧序列对应的频谱匹配度,通过线性插值计算各子帧的频谱匹配度。本实施例中,该单元根据低频信号分量不同的编码模式,利用相应的插值公式,计算子帧的频谱匹配度;
线性域转换单元905将频谱匹配度平滑处理单元904的计算结果从对数域转换到线性域,即将频谱匹配度输入该单元,该单元根据 &gamma; = 10 &gamma; ~ 得到线性域的频谱匹配度。
所述的解码装置还包括增益匹配因子计算模块807,该模块将能量增益因子解码模块805与频谱匹配度计算模块806的输出结果进行合成,根据计算式G=Q×γ,计算出增益匹配因子G。并且,根据低频信号分量编码模式的不同,对应的增益匹配因子的个数也不同,即每一高频信号分量子帧序列对应一个增益匹配因子Gn。具体可参见上述方法说明。
由所述的高频信号分量重建模块804输出的重建的高频信号分量由于与原始高频信号分量存在能量与幅度上的差异,因此,还需要多重建的高频信号分量进行调幅处理与能量平滑处理,因此,所述的解码装置还包括调幅模块808、能量平滑处理模块809和输出模块810。
所述的调幅模块808利用增益匹配因子计算模块807的输出结果对高频信号分量重建模块804输出的重建的高频信号分量做调幅处理,本实施例中,令重建的高频信号分量一个子帧序列为re_hf(n),那么调幅模块808根据HFn(i)=re_hfn(i)×Gn对re_hf(n)做幅度调整,HFn(i)即为调幅模块808的输出结果。
所述的能量平滑处理模块809对调幅模块808的输出结果做能量平滑处理,该模块具体包括:子帧能量计算单元、自适应阀值计算单元、能量修正因子计算单元、FIR滤波处理单元、平滑处理单元。
所述的子帧能量计算单元根据 E = 0.0001 + &Sigma; i = 0 64 H F n 2 ( i ) 计算一个子帧序列对应的能量;
令自适应阀值为t,所述的自适应阀值计算单元根据
t = min ( E * 1.445 , t ) E < t max ( E / 1.445 , t ) E &GreaterEqual; t
得出一个自适应阀值t;
所述的能量修正因子计算单元根据
Figure A20061012877800423
的关系,算出当前一个子帧序列对应的能量修正因子scalecurrent
为进一步修正当前子帧的能量修正因子,所述的能量平滑处理单元还包括FIR滤波处理单元,该单元通过利用前一个子帧序列对应的能量修正因子scalen-1对当前的能量修正因子做进一步平滑滤波处理,具体的平滑滤波为:
scalen=μ×scalecurrent+(1-μ)×scalen-1
其中,scalen为当前子帧序列最终的能量修正因子;
所述的平滑处理单元根据FIR滤波处理单元输出结果对当前子帧序列的能量做进一步调整,具体修正关系为:
HF′n(i)=HFn(i)×scalen,i=0,…,63
所述的输出模块810将经过能量平滑处理模块809处理的重建的高频信号分量输出。
至此,所述解码装置的解码过程结束。
由上述内容可知,本发明给出的语音或音频信号的带宽扩展系统中,语音或音频信号的带宽扩展编码装置通过完成系列编码操作,将编码结果通过压缩比特流传送到语音或音频信号的带宽扩展解码装置,所述的压缩比特流包含编码的ISF系数量化码字和能量增益量化码字信息;所述的解码装置在接收到所述的压缩比特流后,提取其中相关信息,并对应编码装置的编码操作完成相应的解码操作。
由上述实施例可见,本发明主要通过带宽扩展方法,即增加少量的编码比特数,以及运算复杂度重建原先语音或音频编码中可能丢失的高频信号分量。本发明提供的语音或音频信号的带宽扩展方法及系统通过将高频信号分量的频谱包络作用到低频信号分量上,得到重建的高频信号分量,保证重建的高频信号分量频谱与编码过程中截去的高频信号分量频谱的调和相关,从而达到提升解码音质的目的。

Claims (30)

1.一种语音或音频信号的带宽扩展方法,其特征在于,包括以下步骤:
A、在频域空间模拟语音或音频信号中高频信号分量的频谱包络;
B、在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,得出频域空间重建的高频信号分量;
C、将频域空间重建的高频信号分量变换至时域空间,得到时域空间重建的高频信号分量。
2.根据权利要求1所述的方法,其特征在于,
在编码端执行步骤A、步骤B和步骤C;
在解码端执行步骤A、步骤B和步骤C。
3.根据权利要求2所述的方法,其特征在于,所述步骤A具体为:
A1、对高频信号分量做线性预测分析,得到量化的线性预测系数LPC系数,由该LPC系数构成高频合成滤波器;
A2、将单位冲击函数通过所述的高频合成滤波器,得到高频合成滤波器的冲击响应,通过该冲击响应模拟语音或音频信号中高频信号分量的频谱包络。
4.根据权利要求3所述的方法,其特征在于,所述的方法在编码端执行完步骤A1之后继续执行以下步骤:
A11、将对高频信号分量做线性预测分析得到的LPC系数转换为导谱频率ISF,并对ISF进行矢量量化,然后将ISF量化码字写入高频压缩比特流,传送到解码端。
5.根据权利要求3所述的方法,其特征在于,所述的方法在执行完步骤A2之后,执行步骤B之前还包括:
B01、将步骤A2得到的高频合成滤波器的冲击响应从时域空间转换至频域空间,得到频域空间高频合成滤波器的冲击响应;
B02、对频域空间高频合成滤波器的冲击响应的能量做归一化,并得到归一化的合成滤波器。
6.根据权利要求5所述的方法,其特征在于,所述步骤B具体为:
B1、将与高频信号分量对应的时域空间的低频信号分量转换至频域空间;
B2、利用由步骤B02得到的归一化的合成滤波器对频域空间的低频信号分量进行滤波,得到频域空间重建的高频信号分量。
7.根据权利要求6所述的方法,其特征在于,在编码端执行完步骤B之后,所述的方法进一步包括以下步骤:
D、在时域空间计算原始高频信号分量与时域空间重建的高频信号分量间的能量增益因子,并对能量增益因子进行矢量量化,得到量化码字;
E、将所述的量化码字写入高频压缩比特流传送到解码端。
8.根据权利要求7所述的方法,其特征在于,步骤D中计算所述的增益因子的方法包括:
根据计算式 Q = 10 log 10 E E &prime; 计算能量增益因子,其中,Q即为要求的能量增益因子,E为原始高频信号分量能量,E′为时域空间重建的高频信号分量能量。
9.根据权利要求6所述的方法,其特征在于,在解码端执行步骤A之前还包括:
A0、接收由编码端传送的高频压缩比特流。
10.根据权利要求9所述的方法,其特征在于,在解码端执行完步骤C之后,所述的方法进一步包括以下步骤:
D′、对时域空间重建的高频信号分量做调幅处理。
11.根据权利要求10所述的方法,其特征在于,在解码端执行完步骤C之后,执行步骤D′之前所述的方法还包括以下步骤:
D′01、从步骤A0中接收到的高频压缩比特流中获取能量增益因子的量化码字,解码出能量增益因子;
D′02、计算高频信号分量与对应的低频信号分量在频谱衔接处的频谱匹配度,所述的频谱匹配度为高频信号分量与对应低频信号分量分别编码后在高频信号分量与低频信号分量频谱衔接处频谱不连续程度的量度;
D′03、根据解码得到的能量增益因子与计算得到的所述的频谱匹配度,计算增益匹配因子。
12.根据权利要求11所述的方法,其特征在于,步骤D′02中计算所述的频谱匹配度的方法包括以下步骤:
D′021、获取低频信号分量中一个子帧信号的频谱特征;
D′022、获取与所述的低频信号分量中一个子帧信号对应高频信号分量中一个子帧信号的频谱特征;
D′023、计算频谱匹配度。
13.根据权利要求12所述的方法,其特征在于,所述步骤D′021具体为:
由所述的低频信号分量中一个子帧信号对应的一组量化的LPC系数构成低频合成滤波器,并利用该低频合成滤波器对单位冲击函数滤波,得到所述的低频合成滤波器的时域空间的冲击响应;
将所述的时域空间的冲击响应变换到频域空间。
14.根据权利要求13所述的方法,其特征在于,所述步骤D′022具体为:
由所述的高频信号分量中一个子帧信号对应的一组量化的LPC系数构成高频合成滤波器,并利用该高频合成滤波器对单位冲击函数滤波,得到所述的高频合成滤波器的时域空间的冲击响应;
将所述的时域空间的冲击响应变换到频域空间。
15.根据权利要求14所述的方法,其特征在于,所述步骤D′023具体为:
令低频信号分量中一个子帧信号在频域空间的冲击响应对应的频带宽为ωl,则
Figure A2006101287780004C1
的频带宽的范围内信号频谱的能量为El;令高频信号分量中一个子帧信号在频域空间的冲击响应对应的频带宽为ωh,则
Figure A2006101287780005C1
的频带宽的范围内信号频谱的能量为Eh;再令 R = E h E l , 则根据计算式 &gamma; ~ = 0.68 &times; log 10 R计算低频信号分量和高频信号分量的频谱匹配度为
Figure A2006101287780005C4
将频谱匹配度从对数域转换到线性域。
16.根据权利要求11至15之一所述的方法,其特征在于,所述步骤D′03具体为:
令线性域的能量增益因子为Q,线性域的所述的频谱匹配度为γ,则根据计算式G=Q×γ计算增益匹配因子G。
17.根据权利要求16所述的方法,其特征在于,所述的步骤D′具体为:
令时域空间重建的高频信号分量第n个子帧序列为re_hfn,根据计算式HFn=re_hfn×Gn对重建的高频信号分量的能量做调幅,其中HFn为经过调幅处理后得到的重建的高频信号分量,Gn为时域空间重建的高频信号分量第n个子帧序列的增益匹配因子。
18.根据权利要求17所述的方法,其特征在于,在执行完步骤D′后,所述的方法在解码端进一步包括:
E′、对经过调幅处理后得到的时域空间重建的高频信号分量做能量平滑处理;
F、将经过能量平滑处理后时域空间重建的高频信号分量输出。
19.根据权利要求18所述的方法,其特征在于,步骤E′具体为:
计算经过调幅处理后得到的时域空间重建的高频信号分量中每个子帧信号的能量;
对每个子帧的能量在一个自适应阀值基础上做不超过±1.5dB的修改;
根据计算式 scale current = t / E 求解当前子帧能量的修正因子,其中,scalecurrent为当前子帧能量的修正因子,t为自适应阀值,E为一个子帧信号的能量;
根据计算式scalen=μ×scalecurrent+(1-μ)×scalen-1,对当前第n子帧能量的修正因子做有限脉冲响应FIR滤波处理,其中,scalen-1为上一子帧的能量修正因子,μ为平滑因子,scalen为平滑处理后的当前子帧的能量修正因子;
根据计算式HFn′=HFn×scalen对时域空间重建的高频信号分量的每一帧能量做平滑处理,其中,HFn为未经能量平滑处理的时域空间重建的高频信号分量,HFn′为经过能量平滑处理后时域空间重建的高频信号分量。
20.一种语音或音频信号的带宽扩展编码系统,其特征在于,包括语音或音频信号的带宽扩展编码装置和语音或音频信号的带宽扩展编码解码装置;
所述的语音或音频信号的带宽扩展编码装置在频域空间模拟语音或音频信号中高频信号分量的频谱包络;在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,得出频域空间重建的高频信号分量;将频域空间重建的高频信号分量变换至时域空间,得到时域空间重建的高频信号分量,并将编码结果发送到所述的语音或音频信号的带宽扩展解码装置;
所述的语音或音频信号的带宽扩展编码解码装置接收由所述的语音或音频信号的带宽扩展编码装置发送的编码结果,并根据所述的编码结果在频域空间将所述的频谱包络与高频信号分量对应的低频信号分量进行合成,得出频域空间重建的高频信号分量;将频域空间重建的高频信号分量变换至时域空间,得到时域空间重建的高频信号分量,并输出时域空间重建的高频信号分量。
21.根据权利要求20所述的系统,其特征在于,所述的语音或音频信号的带宽扩展编码装置包括:频谱包络模拟模块、低频信号分量的频域转换模块、高频信号分量重建模块、编码结果发送模块;
所述的频谱包络模拟模块模拟高频信号分量的频谱包络,并将所述的频谱包络提供给所述的高频信号分量重建模块;
所述低频信号分量的频域转换模块将与高频信号分量对应的低频信号分量从时域空间转换至频域空间,并触发高频信号分量重建模块;
所述的高频信号分量重建模块将所述频谱包络模拟模块得到的高频信号分量的频谱包络与所述低频信号分量的频域转换模块得到的频域空间的低频信号分量进行合成,得到频域空间重建的高频信号分量,并将该重建的高频信号分量从频域空间转换至时域空间;
编码结果发送模块将编码结果写入高频压缩比特流,并将携带编码结果的高频压缩比特流发送到所述的语音或音频信号的带宽扩展解码装置。
22.根据权利要求21所述的系统,其特征在于,所述的频谱包络模拟模块包括:高频合成滤波器生成单元、滤波单元、频域转换单元、归一化单元;
所述的高频合成滤波器生成单元通过内插得到量化LPC系数,由该系数构成高频合成滤波器,并将ISF量化码字信息这一编码结果提供给编码结果发送模块;
所述的滤波单元利用所述的高频合成滤波器对单位冲击函数做滤波处理,得出的输出结果为该高频合成滤波器的冲击响应,并将所述的冲击响应输入所述频域转换单元;
所述的频域转换单元将时域空间所述的冲击响应的信号转换为频域空间的冲击响应;
所述的归一化单元对频域空间的冲击响应的能量做归一化处理,生成归一化的合成滤波器,并将归一化的合成滤波器提供给高频信号分量重建模块。
23.根据权利要求22所述的系统,其特征在于,所述的语音或音频信号的带宽扩展编码装置还包括:能量增益因子计算模块、能量增益因子量化模块;
所述的能量增益因子计算模块根据计算式 Q = 10 log 10 E / E &prime; 计算能量增益因子,其中,Q即为要求的能量增益因子,E为原始高频信号分量能量,E′为时域空间重建的高频信号分量能量,计算出原始高频信号分量能量与重建的高频信号分量能量的增益;
能量增益因子量化模块对能量增益因子进行量化,并将量化结果这一编码结果提供给编码结果发送模块。
24.根据权利要求23所述的系统,其特征在于,所述的语音或音频信号的带宽扩展解码装置包括:编码结果接收模块、频谱包络模拟模块、低频信号分量的频域转换模块、高频信号分量重建模块、输出模块;
所述的编码结果接收模块接收由所述的语音或音频信号的带宽扩展编码装置传送的高频压缩比特流并保存;
所述的频谱包络模拟模块从所述编码结果接收模块接收到的高频压缩比特流中解码出需要的信息,根据该信息模拟高频信号分量的频谱包络;
所述低频信号分量的频域转换模块将与高频信号分量对应的低频信号分量从时域转换空间至频域空间;
所述的高频信号分量重建模块将所述频谱包络模拟模块得到的高频信号分量的频谱包络与所述低频信号分量的频域转换模块得到的频域空间的低频信号分量进行合成,得到频域空间重建的高频信号分量,并将该重建的高频信号分量从频域空间转换至时域空间;
所述的输出模块将时域空间重建的高频信号分量输出。
25.根据权利要求24所述的系统,其特征在于,所述的频谱包络模拟模块包括:量化LPC系数信息提取单元、高频合成滤波器生成单元、滤波单元、频域转换单元、归一化单元;
所述的量化LPC系数信息提取单元从接收到的高频压缩比特流中解码出量化LPC系数,并将该系数提供给高频合成滤波器生成单元;
所述的高频合成滤波器生成单元通过内插得到量化LPC系数,并由该系数构成高频合成滤波器;
所述的滤波单元利用所述的高频合成滤波器对单位冲击函数做滤波处理,得出的输出结果为该高频合成滤波器的冲击响应,并将所述的冲击响应输入所述频域转换单元;
所述的频域转换单元将时域空间所述的冲击响应的信号转换为频域空间的冲击响应;
所述的归一化单元对频域空间的冲击响应的能量做归一化处理,并将归一化结果提供给高频信号分量重建模块。
26.根据权利要求25所述的系统,其特征在于,所述的语音或音频信号的带宽扩展解码装置还包括:
能量增益因子解码模块,该模块从编码结果接收模块接收到的高频压缩比特流中提取量化能量增益因子得到的量化码字,解码出能量增益因子。
27.根据权利要求26所述的系统,其特征在于,所述的语音或音频信号的带宽扩展解码装置还包括:
频谱匹配度计算模块,该模块具体包括:低频信号分量频谱特征获取单元、高频信号分量频谱特征获取单元、计算单元、频谱匹配度平滑处理单元;
所述的低频信号分量频谱特征获取单元获取低频信号分量的频谱特征,计算低频信号分量在频域空间的冲击响应;
所述的高频信号分量频谱特征获取单元获取高频信号分量的频谱特征,计算高频信号分量在频域空间的冲击响应;
所述的计算单元根据低频信号分量频谱特征获取单元得到的所述冲击响应与高频信号分量频谱特征获取单元得到的所述冲击响应两者的能量关系,计算频谱匹配度;
所述的频谱匹配度平滑处理单元根据计算单元计算出的帧序列对应的频谱匹配度,通过线性插值计算各子帧信号对应的频谱匹配度;
线性域转换单元将将频谱匹配度平滑处理单元的计算结果从对数域转换到线性域。
28.根据权利要求27所述的系统,其特征在于,所述的语音或音频信号的带宽扩展解码装置还包括:
增益匹配因子计算模块,该模块将能量增益因子解码模块与频谱匹配度计算模块的输出结果进行合成,根据计算式G=Q×γ,计算出增益匹配因子G,其中Q为能量增益因子,γ为频谱匹配度。
29.根据权利要求28所述的系统,其特征在于,所述的语音或音频信号的带宽扩展解码装置还包括:
调幅模块,该模块利用增益匹配因子计算模块的输出结果对高频信号分量重建模块输出的重建的高频信号分量做调幅处理,令时域空间重建的高频信号分量第n个子帧序列为re_hfn,那么经过调幅处理后重建的高频信号分量HFn=re_hfn×Gn
30.根据权利要求29所述的系统,其特征在于,所述的语音或音频信号的带宽扩展解码装置还包括:
能量平滑处理模块,该模块对调幅模块的输出结果做能量平滑处理,具体包括:子帧能量计算单元、自适应阀值计算单元、能量修正因子计算单元、有限脉冲响应FIR滤波处理单元、平滑处理单元;
所述的子帧能量计算单元根据计算一个子帧序列对应的能量,令该能量值为E;
所述的自适应阀值计算单元根据
t = min ( E * 1.445 , t ) E < t max ( E / 1.445 , t ) E &GreaterEqual; t
计算自适应阀值,令自适应阀值为t;
所述的能量修正因子计算单元根据 scale current = t / E 的关系,算出当前一个子帧序列对应的能量修正因子scalecurrent
所述的FIR滤波处理单元通过利用前一个子帧序列对应的能量修正因子scalen-1对当前的能量修正因子做进一步平滑滤波,得到当前子帧序列最终的能量修正因子,具体的平滑滤波为:
scalen=μ×scalecurrent+(1-μ)×scalen-1,其中,scalen为所述的当前子帧序列最终的能量修正因子;
所述的平滑处理单元根据FIR滤波处理单元输出结果,根据计算式HFn′=HFn×scalen对重建的高频信号分量的每一帧能量做平滑处理,其中,HFn为未经能量平滑处理的重建的高频信号分量,HFn′为经过能量平滑处理后重建的高频信号分量。
CN200610128778A 2006-09-08 2006-09-08 语音或音频信号的带宽扩展方法及系统 Active CN101140759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200610128778A CN101140759B (zh) 2006-09-08 2006-09-08 语音或音频信号的带宽扩展方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200610128778A CN101140759B (zh) 2006-09-08 2006-09-08 语音或音频信号的带宽扩展方法及系统

Publications (2)

Publication Number Publication Date
CN101140759A true CN101140759A (zh) 2008-03-12
CN101140759B CN101140759B (zh) 2010-05-12

Family

ID=39192680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610128778A Active CN101140759B (zh) 2006-09-08 2006-09-08 语音或音频信号的带宽扩展方法及系统

Country Status (1)

Country Link
CN (1) CN101140759B (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010048827A1 (zh) * 2008-10-29 2010-05-06 华为技术有限公司 高频带信号的编解码方法及装置
WO2010072115A1 (zh) * 2008-12-23 2010-07-01 华为技术有限公司 信号分类处理方法、分类处理装置及编码系统
CN101521014B (zh) * 2009-04-08 2011-09-14 武汉大学 音频带宽扩展编解码装置
CN102543086A (zh) * 2011-12-16 2012-07-04 大连理工大学 一种基于音频水印的语音带宽扩展的装置和方法
CN102779522A (zh) * 2009-04-03 2012-11-14 株式会社Ntt都科摩 语音解码装置及语音解码方法
CN103155035A (zh) * 2010-10-15 2013-06-12 摩托罗拉移动有限责任公司 基于celp的语音编码器中的音频信号带宽扩展
CN103548077A (zh) * 2011-05-19 2014-01-29 杜比实验室特许公司 参数化音频编译码方案的取证检测
CN103928031A (zh) * 2013-01-15 2014-07-16 华为技术有限公司 编码方法、解码方法、编码装置和解码装置
CN104036781A (zh) * 2013-03-05 2014-09-10 深港产学研基地 语音信号带宽扩展装置及方法
CN104269176A (zh) * 2014-09-30 2015-01-07 武汉大学深圳研究院 一种isf系数矢量量化的方法与装置
CN104269173A (zh) * 2014-09-30 2015-01-07 武汉大学深圳研究院 切换模式的音频带宽扩展装置与方法
US9251798B2 (en) 2011-10-08 2016-02-02 Huawei Technologies Co., Ltd. Adaptive audio signal coding
CN105550694A (zh) * 2015-12-01 2016-05-04 厦门瑞为信息技术有限公司 一种度量人脸图像模糊程度的方法
US9361904B2 (en) 2013-01-29 2016-06-07 Huawei Technologies Co., Ltd. Method for predicting bandwidth extension frequency band signal, and decoding device
CN105706166A (zh) * 2013-10-31 2016-06-22 弗劳恩霍夫应用研究促进协会 通过在频域插入时间预整形噪声进行音频带宽扩展
CN105719655A (zh) * 2010-09-15 2016-06-29 三星电子株式会社 用于高频带宽扩展的对信号进行编码和解码的设备和方法
CN106716528A (zh) * 2014-07-28 2017-05-24 弗劳恩霍夫应用研究促进协会 用于对音频信号中的噪声进行估计的方法、噪声估计器、音频编码器、音频解码器、以及用于传输音频信号的系统
CN106847295A (zh) * 2011-09-09 2017-06-13 松下电器(美国)知识产权公司 编码装置和编码方法
CN106847303A (zh) * 2012-03-29 2017-06-13 瑞典爱立信有限公司 谐波音频信号的带宽扩展
CN106910509A (zh) * 2011-11-03 2017-06-30 沃伊斯亚吉公司 改善低速率码激励线性预测解码器的非语音内容
US9704500B2 (en) 2013-01-29 2017-07-11 Huawei Technologies Co., Ltd. Method for predicting high frequency band signal, encoding device, and decoding device
CN107004422A (zh) * 2014-11-27 2017-08-01 日本电信电话株式会社 编码装置、解码装置、它们的方法及程序
CN107039044A (zh) * 2017-03-08 2017-08-11 广东欧珀移动通信有限公司 一种语音信号处理方法及移动终端
CN107210042A (zh) * 2015-01-30 2017-09-26 日本电信电话株式会社 编码装置、解码装置、它们的方法、程序以及记录介质
CN107492385A (zh) * 2013-07-12 2017-12-19 皇家飞利浦有限公司 用于在音频信号解码器中进行频带扩展的优化缩放因子
CN107517593A (zh) * 2015-02-26 2017-12-26 弗劳恩霍夫应用研究促进协会 用于使用目标时域包络来处理音频信号以获得经处理的音频信号的装置和方法
CN108370306A (zh) * 2016-01-22 2018-08-03 微软技术许可有限责任公司 分层频谱协调
CN109509483A (zh) * 2013-01-29 2019-03-22 弗劳恩霍夫应用研究促进协会 产生频率增强音频信号的译码器和产生编码信号的编码器
CN111656444A (zh) * 2018-01-26 2020-09-11 杜比国际公司 用于音频信号的高频重建技术的回溯兼容集成
CN112189231A (zh) * 2018-04-25 2021-01-05 杜比国际公司 高频音频重建技术的集成
CN112567769A (zh) * 2018-08-21 2021-03-26 索尼公司 音频再现装置、音频再现方法和音频再现程序
CN112992164A (zh) * 2014-07-28 2021-06-18 日本电信电话株式会社 编码方法、装置、程序以及记录介质
CN113345406A (zh) * 2021-05-19 2021-09-03 苏州奇梦者网络科技有限公司 神经网络声码器语音合成的方法、装置、设备以及介质
US11127408B2 (en) 2017-11-10 2021-09-21 Fraunhofer—Gesellschaft zur F rderung der angewandten Forschung e.V. Temporal noise shaping
US11217261B2 (en) 2017-11-10 2022-01-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding audio signals
US11290509B2 (en) 2017-05-18 2022-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Network device for managing a call between user terminals
US11315583B2 (en) 2017-11-10 2022-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US11315580B2 (en) 2017-11-10 2022-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
CN114582361A (zh) * 2022-04-29 2022-06-03 北京百瑞互联技术有限公司 基于生成对抗网络的高解析度音频编解码方法及系统
US11380341B2 (en) 2017-11-10 2022-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
US11462226B2 (en) 2017-11-10 2022-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
US11545167B2 (en) 2017-11-10 2023-01-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
US11562754B2 (en) 2017-11-10 2023-01-24 Fraunhofer-Gesellschaft Zur F Rderung Der Angewandten Forschung E.V. Analysis/synthesis windowing function for modulated lapped transformation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP3582589B2 (ja) * 2001-03-07 2004-10-27 日本電気株式会社 音声符号化装置及び音声復号化装置
JP3861770B2 (ja) * 2002-08-21 2006-12-20 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
CN100349207C (zh) * 2003-01-14 2007-11-14 北京阜国数字技术有限公司 高频耦合的伪小波5声道音频编/解码方法

Cited By (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010048827A1 (zh) * 2008-10-29 2010-05-06 华为技术有限公司 高频带信号的编解码方法及装置
CN101727906B (zh) * 2008-10-29 2012-02-01 华为技术有限公司 高频带信号的编解码方法及装置
WO2010072115A1 (zh) * 2008-12-23 2010-07-01 华为技术有限公司 信号分类处理方法、分类处理装置及编码系统
CN101763856B (zh) * 2008-12-23 2011-11-02 华为技术有限公司 信号分类处理方法、分类处理装置及编码系统
US8103515B2 (en) 2008-12-23 2012-01-24 Huawei Technologies Co., Ltd. Signal classification processing method, classification processing device, and encoding system
CN102779522B (zh) * 2009-04-03 2015-06-03 株式会社Ntt都科摩 语音解码装置及语音解码方法
CN102779522A (zh) * 2009-04-03 2012-11-14 株式会社Ntt都科摩 语音解码装置及语音解码方法
CN101521014B (zh) * 2009-04-08 2011-09-14 武汉大学 音频带宽扩展编解码装置
CN105719655B (zh) * 2010-09-15 2020-03-27 三星电子株式会社 用于高频带宽扩展的对信号进行编码和解码的设备和方法
US10418043B2 (en) 2010-09-15 2019-09-17 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding signal for high frequency bandwidth extension
CN105719655A (zh) * 2010-09-15 2016-06-29 三星电子株式会社 用于高频带宽扩展的对信号进行编码和解码的设备和方法
US8868432B2 (en) 2010-10-15 2014-10-21 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
CN103155035A (zh) * 2010-10-15 2013-06-12 摩托罗拉移动有限责任公司 基于celp的语音编码器中的音频信号带宽扩展
CN103155035B (zh) * 2010-10-15 2015-05-13 摩托罗拉移动有限责任公司 基于celp的语音编码器中的音频信号带宽扩展
CN103548077A (zh) * 2011-05-19 2014-01-29 杜比实验室特许公司 参数化音频编译码方案的取证检测
US9117440B2 (en) 2011-05-19 2015-08-25 Dolby International Ab Method, apparatus, and medium for detecting frequency extension coding in the coding history of an audio signal
CN103548077B (zh) * 2011-05-19 2016-02-10 杜比实验室特许公司 参数化音频编译码方案的取证检测
CN106847295A (zh) * 2011-09-09 2017-06-13 松下电器(美国)知识产权公司 编码装置和编码方法
US9514762B2 (en) 2011-10-08 2016-12-06 Huawei Technologies Co., Ltd. Audio signal coding method and apparatus
US9251798B2 (en) 2011-10-08 2016-02-02 Huawei Technologies Co., Ltd. Adaptive audio signal coding
US9779749B2 (en) 2011-10-08 2017-10-03 Huawei Technologies Co., Ltd. Audio signal coding method and apparatus
CN106910509A (zh) * 2011-11-03 2017-06-30 沃伊斯亚吉公司 改善低速率码激励线性预测解码器的非语音内容
CN107068158B (zh) * 2011-11-03 2020-08-21 沃伊斯亚吉公司 用于改善低速率码激励线性预测解码器的非语音内容的方法及其设备
CN107068158A (zh) * 2011-11-03 2017-08-18 沃伊斯亚吉公司 改善低速率码激励线性预测解码器的非语音内容
CN102543086B (zh) * 2011-12-16 2013-08-14 大连理工大学 一种基于音频水印的语音带宽扩展的装置和方法
CN102543086A (zh) * 2011-12-16 2012-07-04 大连理工大学 一种基于音频水印的语音带宽扩展的装置和方法
CN106847303A (zh) * 2012-03-29 2017-06-13 瑞典爱立信有限公司 谐波音频信号的带宽扩展
US11869520B2 (en) 2013-01-15 2024-01-09 Huawei Technologies Co., Ltd. Encoding method, decoding method, encoding apparatus, and decoding apparatus
US9761235B2 (en) 2013-01-15 2017-09-12 Huawei Technologies Co., Ltd. Encoding method, decoding method, encoding apparatus, and decoding apparatus
CN103928031A (zh) * 2013-01-15 2014-07-16 华为技术有限公司 编码方法、解码方法、编码装置和解码装置
CN105551497A (zh) * 2013-01-15 2016-05-04 华为技术有限公司 编码方法、解码方法、编码装置和解码装置
CN103928031B (zh) * 2013-01-15 2016-03-30 华为技术有限公司 编码方法、解码方法、编码装置和解码装置
CN105551497B (zh) * 2013-01-15 2019-03-19 华为技术有限公司 编码方法、解码方法、编码装置和解码装置
US10210880B2 (en) 2013-01-15 2019-02-19 Huawei Technologies Co., Ltd. Encoding method, decoding method, encoding apparatus, and decoding apparatus
US10770085B2 (en) 2013-01-15 2020-09-08 Huawei Technologies Co., Ltd. Encoding method, decoding method, encoding apparatus, and decoding apparatus
US11430456B2 (en) 2013-01-15 2022-08-30 Huawei Technologies Co., Ltd. Encoding method, decoding method, encoding apparatus, and decoding apparatus
US9361904B2 (en) 2013-01-29 2016-06-07 Huawei Technologies Co., Ltd. Method for predicting bandwidth extension frequency band signal, and decoding device
US10388295B2 (en) 2013-01-29 2019-08-20 Huawei Technologies Co., Ltd. Method for predicting bandwidth extension frequency band signal, and decoding device
US9875749B2 (en) 2013-01-29 2018-01-23 Huawei Technologies Co., Ltd. Method for predicting bandwidth extension frequency band signal, and decoding device
US10636432B2 (en) 2013-01-29 2020-04-28 Huawei Technologies Co., Ltd. Method for predicting high frequency band signal, encoding device, and decoding device
CN109509483B (zh) * 2013-01-29 2023-11-14 弗劳恩霍夫应用研究促进协会 产生频率增强音频信号的译码器和产生编码信号的编码器
US10089997B2 (en) 2013-01-29 2018-10-02 Huawei Technologies Co.,Ltd. Method for predicting high frequency band signal, encoding device, and decoding device
US10607621B2 (en) 2013-01-29 2020-03-31 Huawei Technologies Co., Ltd. Method for predicting bandwidth extension frequency band signal, and decoding device
US9704500B2 (en) 2013-01-29 2017-07-11 Huawei Technologies Co., Ltd. Method for predicting high frequency band signal, encoding device, and decoding device
CN109509483A (zh) * 2013-01-29 2019-03-22 弗劳恩霍夫应用研究促进协会 产生频率增强音频信号的译码器和产生编码信号的编码器
CN104036781A (zh) * 2013-03-05 2014-09-10 深港产学研基地 语音信号带宽扩展装置及方法
CN107492385A (zh) * 2013-07-12 2017-12-19 皇家飞利浦有限公司 用于在音频信号解码器中进行频带扩展的优化缩放因子
CN107492385B (zh) * 2013-07-12 2022-02-11 皇家飞利浦有限公司 用于在音频信号解码器中进行频带扩展的优化缩放因子
CN107527629A (zh) * 2013-07-12 2017-12-29 皇家飞利浦有限公司 用于在音频信号解码器中进行频带扩展的优化缩放因子
CN105706166B (zh) * 2013-10-31 2020-07-14 弗劳恩霍夫应用研究促进协会 对比特流进行解码的音频解码器设备和方法
CN105706166A (zh) * 2013-10-31 2016-06-22 弗劳恩霍夫应用研究促进协会 通过在频域插入时间预整形噪声进行音频带宽扩展
US10762912B2 (en) 2014-07-28 2020-09-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Estimating noise in an audio signal in the LOG2-domain
CN112992164A (zh) * 2014-07-28 2021-06-18 日本电信电话株式会社 编码方法、装置、程序以及记录介质
CN106716528B (zh) * 2014-07-28 2020-11-17 弗劳恩霍夫应用研究促进协会 对音频信号中的噪声进行估计的方法和装置以及传输音频信号的装置和系统
US11335355B2 (en) 2014-07-28 2022-05-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Estimating noise of an audio signal in the log2-domain
CN106716528A (zh) * 2014-07-28 2017-05-24 弗劳恩霍夫应用研究促进协会 用于对音频信号中的噪声进行估计的方法、噪声估计器、音频编码器、音频解码器、以及用于传输音频信号的系统
CN104269173A (zh) * 2014-09-30 2015-01-07 武汉大学深圳研究院 切换模式的音频带宽扩展装置与方法
CN104269173B (zh) * 2014-09-30 2018-03-13 武汉大学深圳研究院 切换模式的音频带宽扩展装置与方法
CN104269176A (zh) * 2014-09-30 2015-01-07 武汉大学深圳研究院 一种isf系数矢量量化的方法与装置
CN107004422B (zh) * 2014-11-27 2020-08-25 日本电信电话株式会社 编码装置、解码装置、它们的方法及程序
CN107004422A (zh) * 2014-11-27 2017-08-01 日本电信电话株式会社 编码装置、解码装置、它们的方法及程序
CN107210042A (zh) * 2015-01-30 2017-09-26 日本电信电话株式会社 编码装置、解码装置、它们的方法、程序以及记录介质
CN107517593A (zh) * 2015-02-26 2017-12-26 弗劳恩霍夫应用研究促进协会 用于使用目标时域包络来处理音频信号以获得经处理的音频信号的装置和方法
CN105550694A (zh) * 2015-12-01 2016-05-04 厦门瑞为信息技术有限公司 一种度量人脸图像模糊程度的方法
CN108370306B (zh) * 2016-01-22 2021-04-27 微软技术许可有限责任公司 分层频谱协调
CN108370306A (zh) * 2016-01-22 2018-08-03 微软技术许可有限责任公司 分层频谱协调
CN107039044A (zh) * 2017-03-08 2017-08-11 广东欧珀移动通信有限公司 一种语音信号处理方法及移动终端
CN107039044B (zh) * 2017-03-08 2020-04-21 Oppo广东移动通信有限公司 一种语音信号处理方法及移动终端
US11290509B2 (en) 2017-05-18 2022-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Network device for managing a call between user terminals
US11545167B2 (en) 2017-11-10 2023-01-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
US11562754B2 (en) 2017-11-10 2023-01-24 Fraunhofer-Gesellschaft Zur F Rderung Der Angewandten Forschung E.V. Analysis/synthesis windowing function for modulated lapped transformation
US11386909B2 (en) 2017-11-10 2022-07-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US11217261B2 (en) 2017-11-10 2022-01-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding audio signals
US11315583B2 (en) 2017-11-10 2022-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US11315580B2 (en) 2017-11-10 2022-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
US11462226B2 (en) 2017-11-10 2022-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
US11127408B2 (en) 2017-11-10 2021-09-21 Fraunhofer—Gesellschaft zur F rderung der angewandten Forschung e.V. Temporal noise shaping
US11380341B2 (en) 2017-11-10 2022-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
US11380339B2 (en) 2017-11-10 2022-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US11626121B2 (en) 2018-01-26 2023-04-11 Dolby International Ab Backward-compatible integration of high frequency reconstruction techniques for audio signals
US11646041B2 (en) 2018-01-26 2023-05-09 Dolby International Ab Backward-compatible integration of high frequency reconstruction techniques for audio signals
CN111656444B (zh) * 2018-01-26 2021-10-26 杜比国际公司 用于音频信号的高频重建技术的回溯兼容集成
CN111656444A (zh) * 2018-01-26 2020-09-11 杜比国际公司 用于音频信号的高频重建技术的回溯兼容集成
US11756559B2 (en) 2018-01-26 2023-09-12 Dolby International Ab Backward-compatible integration of high frequency reconstruction techniques for audio signals
US11289106B2 (en) 2018-01-26 2022-03-29 Dolby International Ab Backward-compatible integration of high frequency reconstruction techniques for audio signals
US11646040B2 (en) 2018-01-26 2023-05-09 Dolby International Ab Backward-compatible integration of high frequency reconstruction techniques for audio signals
US11626120B2 (en) 2018-01-26 2023-04-11 Dolby International Ab Backward-compatible integration of high frequency reconstruction techniques for audio signals
CN112189231A (zh) * 2018-04-25 2021-01-05 杜比国际公司 高频音频重建技术的集成
CN112567769B (zh) * 2018-08-21 2022-11-04 索尼公司 音频再现装置、音频再现方法和存储介质
CN112567769A (zh) * 2018-08-21 2021-03-26 索尼公司 音频再现装置、音频再现方法和音频再现程序
CN113345406A (zh) * 2021-05-19 2021-09-03 苏州奇梦者网络科技有限公司 神经网络声码器语音合成的方法、装置、设备以及介质
CN113345406B (zh) * 2021-05-19 2024-01-09 苏州奇梦者网络科技有限公司 神经网络声码器语音合成的方法、装置、设备以及介质
CN114582361B (zh) * 2022-04-29 2022-07-08 北京百瑞互联技术有限公司 基于生成对抗网络的高解析度音频编解码方法及系统
CN114582361A (zh) * 2022-04-29 2022-06-03 北京百瑞互联技术有限公司 基于生成对抗网络的高解析度音频编解码方法及系统

Also Published As

Publication number Publication date
CN101140759B (zh) 2010-05-12

Similar Documents

Publication Publication Date Title
CN101140759A (zh) 语音或音频信号的带宽扩展方法及系统
JP5165559B2 (ja) オーディオコーデックポストフィルタ
RU2389085C2 (ru) Способы и устройства для введения низкочастотных предыскажений в ходе сжатия звука на основе acelp/tcx
US10026411B2 (en) Speech encoding utilizing independent manipulation of signal and noise spectrum
KR100348899B1 (ko) 캡스트럼 분석을 이용한 하모닉 노이즈 음성 부호화기 및부호화 방법
US8428957B2 (en) Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
US5732188A (en) Method for the modification of LPC coefficients of acoustic signals
EP2030199B1 (en) Linear predictive coding of an audio signal
EP1271472A2 (en) Frequency domain postfiltering for quality enhancement of coded speech
EP0878790A1 (en) Voice coding system and method
US20090198500A1 (en) Temporal masking in audio coding based on spectral dynamics in frequency sub-bands
US20230178087A1 (en) Audio Encoding/Decoding based on an Efficient Representation of Auto-Regressive Coefficients
KR101828193B1 (ko) 고대역 시간 특징들의 개선된 추적을 위한 이득 형상 추정
KR101988710B1 (ko) 미스매치된 주파수 범위들을 이용한 고-대역 신호 코딩
JP2645465B2 (ja) 低遅延低ビツトレート音声コーダ
CN115171709B (zh) 语音编码、解码方法、装置、计算机设备和存储介质
JP6400801B2 (ja) ベクトル量子化装置及びベクトル量子化方法
JPWO2007037359A1 (ja) 音声符号化装置および音声符号化方法
NO862602L (no) Vocoder innebygd i digitale signalbehandlingsenheter.
WO2011048810A1 (ja) ベクトル量子化装置及びベクトル量子化方法
JPH0876798A (ja) 広帯域音声信号復元方法
JP2013057792A (ja) 音声符号化装置及び音声符号化方法
JPH09127986A (ja) 符号化信号の多重化方法及び信号符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant