CN101527139A - 一种音频编码解码方法及其装置 - Google Patents

一种音频编码解码方法及其装置 Download PDF

Info

Publication number
CN101527139A
CN101527139A CN200910058339A CN200910058339A CN101527139A CN 101527139 A CN101527139 A CN 101527139A CN 200910058339 A CN200910058339 A CN 200910058339A CN 200910058339 A CN200910058339 A CN 200910058339A CN 101527139 A CN101527139 A CN 101527139A
Authority
CN
China
Prior art keywords
frame
crossover
sampled point
module
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910058339A
Other languages
English (en)
Other versions
CN101527139B (zh
Inventor
阮思恩
司国鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jiuzhou Electronic Information System Co Ltd
Original Assignee
Chengdu Jiuzhou Electronic Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jiuzhou Electronic Information System Co Ltd filed Critical Chengdu Jiuzhou Electronic Information System Co Ltd
Priority to CN2009100583396A priority Critical patent/CN101527139B/zh
Publication of CN101527139A publication Critical patent/CN101527139A/zh
Application granted granted Critical
Publication of CN101527139B publication Critical patent/CN101527139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种可以抑制音频信号预回声的编码解码方法及其装置。本发明的技术方案可以任意的减小音频帧在交迭区域的程度(从50%到0%),从而减少量化误差在交迭区域内的扩散,进而抑制预回声失真;而且该交迭程度是动态适应的,可以根据信号暂态的强弱而改变;最后减小交迭程度不会影响编码的完美重建性,即不会在量化噪声之外产生新的编码误差。

Description

一种音频编码解码方法及其装置
技术领域
本发明涉及一种音频编码解码的技术领域,尤其涉及一种可以抑制音频信号预回声的编码解码方法及其装置。
背景技术
现今的音频编码已进入了感知编码(perceptual coding)的时代,得到广泛运用的代表是MP3(MPEG-1LayerIII)和AAC(先进音频编码)。音频的感知编码,不仅采用传统的变换编码(将时间信号转换为频率信号再进行编码)以去除音频信号的时间统计冗余,而且使用心理声学模型计算感知域上允许的量化噪声以进一步去除那些与人听觉无关的信号部分。
一个标准的音频感知编码器是一个因果的编码器:即,一个声音文件被分段为若干交迭的时间块(帧),这些时间帧被变换为频域系数并量化。每一帧都是依次处理的,过去的n-1,n-2……会影响到第n帧的编码结果。解码器为了从频域系数重建原信号,反向变换时必须使用交迭相加(overlap add)的方式:即,交迭区域的反向量化样点必须通过相加来得到最终的时间信号。最主流应用的交迭变换(lapped transform)是MDCT(改进型离散余弦变换),它将2M个时间采样点变换为M个频域系数。MDCT变换是基于50%的交迭程度,每次变换更新M个样点并交迭M个样点。
预回声失真是感知编码系统中的一种音频假象(artefact)。当原始音频信号中存在暂态部分,即在低能量区域后出现能量突变区域,同时该能量突变区域正好位于编码块的后部,这时编码结果中将出现预回声失真。在基于交迭变换的音频编码系统中(如MP3和AAC),量化和比特分配是为了满足通过完整变换窗(transform window)下所有频率谱线计算而得到的量化噪声掩频阀值(masking thresholds);这种情况下,量化误差将会作为一种完整窗长度的误差信号而叠加在变换窗的频率谱线之上,量化产生的噪声也将遍布在整个变换窗内。同时,在解码端为实现信号完美重建(perfect reconstruction)而必须使用交迭相加方式,这意味着量化噪声除了遍布在本窗内,还将在交迭相加的过程中被叠加到前一帧中。这将导致在解码的音频信号中,真实的暂态声音将出现(扩散)在突变之前的低能量区域,即预回声失真。在对富含有敲击乐器的音频信号进行编码时,预回声失真的发生尤为常见,影响了编码的质量。
预回声失真的产生,究其原因主要有两个部分。一是在当前帧内未能有效的捕捉突变信号,二是当前帧的突变信号由于交迭相加而对前一帧产生回溯影响。对于预回声失真产生的第一个原因,现在的音频编码技术普遍使用窗切换(window switching)来捕捉信号的时变性,并辅以时域噪声整型(temporalnoise shaping)对突变部分的包络进行编码。对于预回声失真产生的第二个原因,现有的解决方法是在编码端放弃掉交迭变换,即帧与帧之间不再交迭,但这种方式有如下问题:1、现在最广泛使用的基于50%交迭的变换将不再适用(比如MDCT);2、在无交迭的情况下,由编码理论的完美重建条件约束,唯一能够使用的时间窗将是矩形窗,但矩形窗的旁瓣抑制能力相当低,会带来严重的能量泄漏;3、无交迭(0%交迭)将带来块效应(blocking effect)音频失真,即在帧边界处由于量化误差而产生的人耳可闻的滴答声。
发明内容
本发明的目的是提供一种音频编码方法及其装置,有效的抑制预回声失真。
本发明还提供了一种与上述音频编码方法及其装置对应的音频解码方法及其装置,有效的抑制预回声失真。
本发明提供的音频编码方法的技术方案包括步骤:
(A)将输入的串行采样点的音频暂态信号分成并行采样点的音频帧,每帧包含M个采样点;
(B)将相邻输入帧的采样点相互交迭(L-M)/2个采样点,构成交迭的音频帧,该交迭帧依次包含上一音频帧末尾交迭的(L-M)/2个采样点、该音频帧的M个采样点、下一音频帧开始交迭的(L-M)/2个采样点,形成的该交迭帧共L个采样点,其中L为M到2M之间的任意自然偶数,同时将交迭程度参数(L-M)/2送到码流传输;
(C)对该交迭帧的L个采样点进行时域前向跨帧滤波处理,得到L个滤波采样点;
(D)将滤波后的L个采样点,通过抽取得到该帧对应的M个滤波采样点;
(E)将M个滤波后的时域采样点,通过非交迭的时间频率变换得到M个频域样点;
(F)对该帧的M个频域样点,乘以对应的乘性符号1或-1,得到符号反转处理后的M个频域样点;
(G)将处理后的M个频域样点经量化编码后输出至码流。
上述骤(B)中相邻输入帧的采样点的交迭程度参数(L-M)/2为0%~50%之间的任意取值。
上述步骤(C)中对L个采样点xL进行前向跨帧滤波是通过如下公式实现:x′L=PL×LxL
其中P是前向跨帧滤波矩阵,通过如下公式实现:
P = B L - M 0 ( L - M ) × ( 2 M - L ) 0 ( L - M ) × ( L - M ) 0 ( 2 M - L ) × ( L - M ) I ( 2 M - L ) × ( 2 M - L ) 0 ( 2 M - L ) × ( L - M ) 0 ( L - M ) × ( L - M ) 0 ( L - M ) × ( 2 M - L ) B L - M L × L ,
其中I是单位矩阵,B是蝶形运算系数组成的跨帧滤波矩阵,通过如下公式实现:
Figure A20091005833900111
B是正交矩阵,其中蝶形运算系数C1=cos[(2i-1)π/4M],S1=sin[(2i-1)π/4M],其余部分为零。
上述步骤(D)中对滤波后的L个采样点xL抽取得到M个滤波采样点是通过如下公式实现:
x′M=HM×Lx′L
其中H是抽取矩阵,通过如下公式实现:
H = 0 L - M 2 × L - M 2 I L - M 2 × L - M 2 0 L - M 2 × ( 2 M - L ) 0 L - M 2 × L - M 2 0 L - M 2 × L - M 2 0 ( 2 M - L ) × L - M 2 0 ( 2 M - L ) × L - M 2 I ( 2 M - L ) × ( 2 M - L ) 0 ( 2 M - L ) × L - M 2 0 ( 2 M - L ) × L - M 2 0 L - M 2 × L - M 2 0 L - M 2 × L - M 2 0 L - M 2 × ( 2 M - L ) I L - M 2 × L - M 2 0 L - M 2 × L - M 2 M × L ,
其中I是单位矩阵。
上述步骤(E)中对抽取得到的M个时域滤波采样点x′M进行时频变换是通过如下公式实现: X M ′ = S M IV x M ′ , 其中SIV是标准的非交迭的DST-IV(第四型离散正弦正变换)的时频变换。
上述步骤(F)中对时频变换后的M个频域样点X′M进行符号反转处理是通过如下公式实现:XM=DMX′M,其中D是符号矩阵,并且D是正交矩阵,通过如下公式实现:
上述步骤(A)和步骤(B)之间还可以包括步骤:
(H)将输入的并行采样点的音频帧的暂态强度EΔ和预设的门限值T的大小进行比较,并通过交迭判断函数L=f(EΔ),判断交迭程度值R,计算交迭帧包含的采样点个数L。
上述步骤(H)中EΔ是当前输入帧相对上一输入帧的暂态强度,通过如下公式实现:
EΔ=(|En-En-1|/En)%,其中En指当前帧的总能量,其计算公式为: E n = Σ i = 0 M - 1 ( x i n ) 2 , 其中xi n表示当前输入帧的一个采样点,En-1指上一帧的总能量,其计算公式为: E n - 1 = Σ i = 0 M - 1 ( x i n - 1 ) 2 , 其中xi n-1表示上一输入帧的一个采样点。
上述步骤(H)中预设的门限值T的取值集合是来自预设的集合{T1,T2,T3},其中T1<T2<T3,它们均可以是任意值。
上述步骤(H)中交迭程度值R为预设值,其取值集合是来自预设的集合{R1,R2,R3,R4},其中R1<R2<R3<R4,它们的取值可以是0%~50%之间的任意值,交迭程度值R的取值和暂态强度EΔ和预设的门限值T的大小比较结果具有一一对应的函数关系。
本发明提供的音频编码装置的技术方案包括:
分帧模块,用以将输入的串行采样点的音频暂态信号分成并行采样点的音频帧,每帧包含M个采样点;
帧交迭模块,用以将相邻输入帧的采样点相互交迭(L-M)/2点,构成交迭的音频帧,该交迭帧依次包含上一音频帧末尾交迭的(L-M)/2个采样点、该音频帧的M个采样点、下一音频帧开始交迭的(L-M)/2个采样点,形成的该交迭帧共L个采样点,其中L为M到2M之间的任意自然偶数;
交迭参数传输模块,用以将交迭程度参数(L-M)/2送到码流传输;
前向跨帧滤波模块,用以对该交迭帧的L个采样点进行时域前向跨帧滤波处理,得到L个滤波采样点;
抽取模块,用以将滤波后的L个采样点,通过抽取得到该帧对应的M个滤波采样点;
时频变换模块,用以将M个滤波后的时域采样点,通过非交迭的时间频率变换得到M个频域样点;
符号反转模块,用以将该帧的M个频域样点,乘以对应的乘性符号1或-1,得到符号反转处理后的M个频域样点;
量化编码模块,用以将处理后的M个频域样点经量化编码后输出至码流;
所述分帧模块、帧交迭模块、前向跨帧滤波模块、抽取模块、时频变换模块、符号反转模块和量化编码模块依次串行联结,交迭参数传输模块一端串行联结在帧交迭模块之后,另一端和编码装置的外部装置联结。
上述音频编码装置中在分帧模块和帧交迭模块之间还可以串行联结有判断模块,用以将输入帧的暂态强度EΔ和门限T的大小进行比较,并通过交迭判断函数L=f(EΔ),判断交迭程度值R,计算交迭帧包含的采样点个数L。
本发明提供的音频解码方法的技术方案包括步骤:
(a)从接收到的码流中进行量化解码得到该音频帧的M个频域样点;
(b)对该音频帧量化解码后的M个频域样点,乘以对应的乘性符号1或-1,得到反向符号反转处理后的M个频域样点;
(c)将该音频帧反向符号反转处理后的M个频域样点,通过非交迭的频率时间变换得到该帧的M个时域采样点;
(d)从码流中获取交迭程度参数(L-M)/2,将相邻帧的采样点相互交迭(L-M)/2点,构成共L个采样点的交迭帧,该交迭帧依次包含上一帧末尾交迭的(L-M)/2个采样点、该帧的M个采样点、下一帧开始交迭的(L-M)/2个采样点;
(e)对该交迭帧的L个采样点进行时域后向跨帧滤波处理,得到L个滤波采样点;
(f)将该交迭帧滤波后的L个采样点,通过抽取得到该音频帧的M个采样点;
(g)将包含M个采样点的并行音频帧,合成串行采样点的音频暂态信号。
上述解码方法的步骤(b)中对M个频域样点XM进行反向符号反转处理通过如下公式实现:
X′M=(DM)-1XM,其中D是符号矩阵,并且是正交矩阵,(DM)-1为正交矩阵D的逆矩阵。
上述解码方法的步骤(c)中对M个频域样点X′M进行频时变换通过如下公式实现:
x M ′ = ( S M IV ) - 1 X M ′ , 其中(SIV)-1是标准的非交迭的IDST-IV(第四型离散正弦反变换)的频时变换。
上述解码方法的步骤(e)中对L个采样点x′L进行后向跨帧滤波的公式为: x L = B L - M - 1 I 2 M - L B L - M - 1 L × L x L ′ , 其中B是跨帧滤波矩阵,并且是正交矩阵,B-1为正交矩阵B的逆矩阵。
上述解码方法的步骤(f)中对L个滤波采样点xL通过抽取得到M个采样点的公式为:xM=HM×LxL,其中H是抽取矩阵。
本发明提供的音频编码装置的技术方案包括:
量化解码模块,用以从码流中进行量化解码得到该音频帧的M个频域样点;
反向符号反转模块,用以将该音频帧量化解码后的M个频域样点,乘以对应的乘性符号1或-1,得到反向符号反转处理后的M个频域样点;
频时变换模块,用以将该音频帧反向符号反转处理后的M个频域样点,通过非交迭的频率时间变换得到该帧的M个时域采样点;
交迭参数获取模块,用以将码流中获取将交迭程度参数(L-M)/2;
帧交迭模块,用以将相邻帧的采样点相互交迭(L-M)/2点,构成共L个采样点的交迭帧,该交迭帧依次包含上一帧末尾交迭的(L-M)/2个采样点、该帧的M个采样点、下一帧开始交迭的(L-M)/2个采样点;
后向跨帧滤波模块,用以将该交迭帧的L个采样点进行时域后向跨帧滤波处理,得到L个滤波采样点;
抽取模块,用以将该交迭帧滤波后的L个采样点,通过抽取得到该音频帧的M个采样点;
合帧模块,用以将包含M个采样点的并行音频帧,合成串行采样点的音频暂态信号;
所述量化解码模块、反向符号反转模块、频时变换模块、帧交迭模块、后向跨帧滤波模块、抽取模块和合帧模块依次串行联结,交迭参数获取模块一端串行联结在帧交迭模块之前,另一端和解码装置的外部装置联结。
本发明的有益效果是:1、可以任意的减小交迭区域的程度(从50%到0%),从而减少量化误差在交迭区域内的扩散,进而抑制预回声失真;2、该交迭程度是动态适应的,可以根据信号暂态的强弱而改变;3、减小交迭程度不会影响编码的完美重建性,即不会在量化噪声之外产生新的编码误差。
附图说明
附图1是本发明的音频编码方法的一个较佳实施例的流程图。
附图2是本发明的音频编码方法的另一个较佳实施例的流程图。
附图3是本发明的音频解码方法的一个较佳实施例的流程图。
附图4是本发明的音频编码装置的一个较佳实施例的原理框图。
附图5是本发明的音频编码装置的另一个较佳实施例的原理框图。
附图6是本发明的音频解码装置的一个较佳实施例的原理框图。
具体实施方式
下面结合附图和具体实施例对本发明的原理进行详细说明。
本发明的音频编码方法的一个较佳实施例:
下面结合图1对音频编码方法的实施例1的流程中各步骤加以详细描述:
步骤S1:将输入的串行采样点的音频暂态信号分成并行采样点的音频帧,每帧包含M个采样点,此时对应的每帧的长度为M。
步骤S2:将长度为M的音频帧,相互交迭(L-M)/2个采样点,L为M到2M之间的任意自然偶数。形成的交迭帧包含L个采样点,此时对应的每帧的长度为L,依次包括:(x3M/2-L/2 n-1,...,xM-1 n-1),(x0 n,...,xM-1 n),(x0 n+1,...,xL/2-M/2-1 n+1),其中xn-1是上一帧,xn是当前帧,xn+1是下一帧。同时将交迭程度参数(L-M)/2送到码流传输。
这里的交迭方式多种多样,可以将所有相邻帧交迭20%,也可以将所有相邻帧交迭30%,也可以将所有的相邻帧根据暂态出现的强度交迭为0%~50%之间任意值。
步骤S3:对长度为L的交迭帧xL进行时域前向跨帧滤波处理,滤波公式为:x′L=PL×LxL,其中的前向跨帧滤波矩阵P的定义如公式1:
P = B L - M 0 ( L - M ) × ( 2 M - L ) 0 ( L - M ) × ( L - M ) 0 ( 2 M - L ) × ( L - M ) I ( 2 M - L ) × ( 2 M - L ) 0 ( 2 M - L ) × ( L - M ) 0 ( L - M ) × ( L - M ) 0 ( L - M ) × ( 2 M - L ) B L - M L × L 公式1,
其中I是单位矩阵,B是蝶形运算系数组成的跨帧滤波矩阵,定义如公式2:
Figure A20091005833900162
公式2,
B是正交矩阵,其中蝶形运算系数Ci=cos[(2i-1)π/4M],Si=sin[(2i-1)π/4M],其余部分为零。
这里的前向跨帧滤波矩阵P是一个与交迭参数(L-M)/2相关的矩阵,当前帧两端的(L-M)/2个采样点和前一帧和下一帧的(L-M)/2个采样点分别通过跨帧滤波矩阵B,当前帧的中间2M-L个采样点直接通过单位矩阵不做任何滤波。比如极端情况交迭帧长度L为2M,则当前帧的前M/2个采样点和上一帧的后M/2个采样点通过矩阵B,当前帧的后M/2个采样点和下一帧的前M/2个采样点通过矩阵B,当前帧无直通的采样点。又比如极端情况交迭帧长度L为M,则当前帧的M个样点全部直接通过,无跨帧滤波的采样点。
步骤S4:对滤波后的L个采样点x′L,抽取出M个采样点,抽取的公式为:x′M=HM×Lx′L,其中的抽取矩阵H的定义如公式3:
H = 0 L - M 2 × L - M 2 I L - M 2 × L - M 2 0 L - M 2 × ( 2 M - L ) 0 L - M 2 × L - M 2 0 L - M 2 × L - M 2 0 ( 2 M - L ) × L - M 2 0 ( 2 M - L ) × L - M 2 I ( 2 M - L ) × ( 2 M - L ) 0 ( 2 M - L ) × L - M 2 0 ( 2 M - L ) × L - M 2 0 L - M 2 × L - M 2 0 L - M 2 × L - M 2 0 L - M 2 × ( 2 M - L ) I L - M 2 × L - M 2 0 L - M 2 × L - M 2 M × L 公式3,
其中I是单位矩阵。
这里的抽取方式是:抛弃掉L个采样点两端的(L-M)/2的采样点,直接保留中间的M个采样点。
步骤S5:对滤波后的M个采样点x′M,进行传统时频变换的公式为: X M ′ = S M IV x M ′ , 其中SIV是标准的非交迭的DST-IV(第四型离散正弦正变换)。这里的时频变换是非交迭的变换,从M个时域采样点得到M个频域样点。第四型离散正弦变换有各种成熟的快速变换方式可供实施选择。
步骤S6:对M个频域样点X′M,进行符号反转处理的公式为:XM=DMX′M,其中的符号矩阵D的定义如公式4:
Figure A20091005833900181
公式4,
D是正交矩阵,这些频域样点(X′0,X′1,...,X′M-2,X′M-1)被符号反转为:(-X′0,X′1,...,-X′M-2,X′M-1)。
步骤S7:将处理后的频域样点(X0,X1,...,XM-2,XM-1)经量化编码后输出至码流。
基于上述音频编码方法的一个较佳实施例,本发明提供了对应的音频编码装置的一个较佳实施例。
下面结合图4对音频编码装置的原理结构加以详细描述:
一种音频编码装置,包括分帧模块1、帧交迭模块2、交迭参数传输模块3、前向跨帧滤波模块4、抽取模块5、时频变换模块6、符号反转模块7和量化编码模块8。
分帧模块1,用以将输入的串行采样点的音频暂态信号分成并行采样点的音频帧,每帧包含M个采样点。
帧交迭模块2,用以将长度为M的音频帧,相互交迭(L-M)/2个采样点,L为M到2M之间的任意自然偶数。形成的交迭帧包含L个采样点,依次包括:(x3M/2-L/2 n-1,...,xM-1 n-1),(x0 n,...,xM-1 n),(x0 n+1,...,xL/2-M/2-1 n+1),其中xn-1是上一帧,xn是当前帧,xn+1是下一帧。这里的交迭方式多种多样,可以将所有相邻帧交迭20%,也可以将所有相邻帧交迭30%,也可以将所有的相邻帧根据暂态出现的强度交迭为0%~50%之间任意值。
交迭参数传输模块3,用以将交迭程度参数(L-M)/2送到码流传输。
前向跨帧滤波模块4,用以将长度为L的交迭帧xL进行时域前向跨帧滤波处理,滤波公式为:x′L=PL×LxL,其中前向跨帧滤波矩阵P的形式如前所述,在此不再赘述。
抽取模块5,用以将滤波后的L个采样点x′L抽取出M个采样点,抽取的公式为:x′M=HM×Lx′L,其中抽取矩阵H的形式如前所述,在此不再赘述。
时频变换模块6,用以对滤波后的M个采样点x′M进行传统的时频变换,变换的公式为: X M ′ = S M IV x M ′ , 其中SIV是标准的非交迭的DST-IV(第四型离散正弦正变换)。
符号反转模块7,用以将M个频域样点X′M进行符号反转处理,处理的公式为:XM=DMX′M,其中符号矩阵D的形式如如前所述,在此不再赘述。
量化编码模块8,用以将处理后的频域样点(X0,X1,...,XM-2,XM-1)经量化编码后输出至码流。
所述分帧模块1、帧交迭模块2、前向跨帧滤波模块4、抽取模块5、时频变换模块6、符号反转模块7和量化编码模块8依次串行联结,交迭参数传输模块3一端串行联结在帧交迭模块2之后,另一端和编码装置的外部装置联结。
本发明的音频编码方法的另一个较佳实施例:
如图2所示,该方案在前述音频编码方法的实施例的基础上改进,步骤S11、S13、S14、S15、S16、S17和S18分别与前述实施例的步骤S1、S2、S3、S4、S5、S6、S7相同,在此不再详细复述,本实施例与前述实施例的不同之处在于,本实施例增加了一个步骤:
步骤S12:对长度为M的音频帧,计算该输入帧的暂态强度EΔ,比较EΔ和门限值T的相对大小,通过交迭判断函数L=f(EΔ),判断交迭程度值R,计算确定交迭帧长度L。
这里的音频帧的暂态强度EΔ是一个与当前输入帧和上一输入帧能量有关的变量,其计算公式为:EΔ=(|En-En-1|/En)%,其中帧能量 E n = Σ i = 0 M - 1 ( x i n ) 2 , E n - 1 = Σ i = 0 M - 1 ( x i n - 1 ) 2 , xi n和xi n-1的定义如前所述。当EΔ<T1时,判断当前帧暂态信号强度很弱,当T1≤EΔ<T2时,判断当前帧暂态信号强度较弱,当T2≤EΔ<T3时,判断当前帧暂态信号强度较强,当EΔ≥T3时,判断当前帧暂态信号强度很强。
这里的交迭判断函数L=f(EΔ)是一个与暂态强度EΔ、门限T、交迭程度值R都有关的函数,函数值L为交迭帧的采样点个数,其中自变量EΔ为当前帧的暂态强度,交迭程度值R和暂态强度EΔ和预设的门限值T的大小比较结果具有一一对应的分段函数关系,交迭采样点L的取值和交迭程度值R具有线性函数的关系
Figure A20091005833900203
暂态信号强度越强,判断的交迭程度就越小;暂态信号强度越弱,判断的交迭程度就越大。具体的函数形式如下表1所示,,当EΔ<T1时,判断交迭程度值R是40%,计算函数值当T1≤EΔ<T2时,判断交迭程度值R是30%,计算函数值
Figure A20091005833900205
当T2≤EΔ<T3时,判断交迭程度值R是20%,计算函数值
Figure A20091005833900206
当EΔ≥T3时,判断交迭程度值R是10%,计算函数值其中
Figure A20091005833900208
为向下取整操作。
表1
暂态强度EΔ、门限T  交迭程度值R    函数值L
EΔ<T1             40%(暂态很弱)
Figure A20091005833900209
T1≤EΔ<T2         30%(暂态较弱)
Figure A200910058339002010
T2≤EΔ<T3         20%(暂态较强)
Figure A200910058339002011
EΔ≥T3             10%(暂态很强)
Figure A200910058339002012
这里的门限T的取值是预设的,其取值的集合是来自预设的集合{T1,T2,T3},其中T1<T2<T3,它们均可以是任意值。
这里的交迭程度值R的取值是预设的,其取值的集合是多种多样,可以来自预设的固定值集合{10%,20%,30%,40%},也可以来自预设的任意值集合{R1,R2,R3,R4},其中R1<R2<R3<R4,它们均是0%~50%之间的任意值。在本发明中,交迭程度值R和交迭程度参数(L-M)/2是两个既有联系又不相同的两个物理量,交迭程度值R为0%~50%之间的任意值,表征的是帧与帧之间的相互交迭程度,它不依赖于具体的编码器实现;交迭程度参数(L-M)/2为0~M/2之间的任意自然数,表征的是帧与帧之间相互交迭的采样点数,它依赖于具体的编码实现内容,具体的说,它依赖于编码器时域分帧时一帧所包含的采样点数M,该点数在不同编码器实现中可以是各不相同的。
基于上述音频编码方法的另一个较佳实施例,本发明提供了对应的音频编码装置的另一个较佳实施例。
下面结合图5对音频编码装置原理结构加以详细描述,该方案在前述音频编码装置的实施例的基础上改进,包括了分帧模块11、判断模块12、帧交迭模块13、交迭参数传输模块14、前向跨帧滤波模块15、抽取模块16、时频变换模块17、符号反转模块18和量化编码模块19,其中分帧模块11、帧交迭模块13、交迭参数传输模块14、前向跨帧滤波模块15、抽取模块16、时频变换模块17、符号反转模块18和量化编码模块19分别对应于前述实施例的分帧模块1、帧交迭模块2、交迭参数传输模块3、前向跨帧滤波模块4、抽取模块5、时频变换模块6、符号反转模块7和量化编码模块8,两个实施例的前述对应的模块的结构和原理相同,不再复述;两个实施例的不同之处在于本实施例的分帧模块11和帧交迭模块13之间还串行联结有判断模块12,用以将输入帧的暂态强度EΔ和门限T的大小进行比较,并通过交迭判断函数L=f(EΔ),判断交迭程度值R,计算交迭帧包含的采样点个数L。
判断模块12对长度为M的音频帧,根据门限T、交迭程度值R、暂态强度EΔ、交迭判断函数f(EΔ),计算交迭帧长度L。门限T的取值是预先设定的,其预设的取值集合的形式如前所述,在此不再赘述。交迭程度值R的取值是预先设定的,其预设的取值集合的形式如前所述,在此不再赘述。暂态强度EΔ的值是动态的,对每一输入帧进行计算而得的,其计算的形式如前所述,在此不再赘述。交迭判断函数L=f(EΔ)是一个与暂态强度EΔ有关的函数,在不同的EΔ有不同的函数值L,函数的具体形式请见前述音频编码方法的另一实施例中的表1。
本发明的音频解码方法,可以对应于前述两种音频解码方法的实施例。
下面结合图3对解码方法的一个较佳实施例的流程步骤加以详细的描述。
步骤S21:从接收到的码流中进行量化解码得到该音频帧的M个频域样点(X0,X1,...,XM-2,XM-1)。
步骤S22:对M个频域样点XM,进行反向符号反转处理的公式为:X′M=(DM)-1XM,其中符号矩阵D的定义如公式4所示,其中D-1为正交矩阵D的逆矩阵。这里的反向符号矩阵D-1=DT=D,这些频域样点(X0,X1,...,XM-2,XM-1)被反向符号反转为:(-X0,X1,...,-XM-2,XM-1)。
步骤S23:对反向符号反转处理后的M个样点X′M,进行频时变换的公式为: x M ′ = ( S M IV ) - 1 X M ′ , 其中(SIV)-1是标准的非交迭的IDST-IV(第四型离散正弦反变换)的频时变换。
步骤S24:从码流中获取交迭程度参数(L-M)/2。将长度为M的相邻帧,相互交迭(L-M)/2个采样点。形成的交迭帧包含L个采样点,依次包括:(x′3M/2-L/2 n-1,...,x′M-1 n-1),(x′0 n,...,x′M-1 n),(x′0 n+1,...,x′L/2-M/2-1 n+1),其中x′n-1是上一帧,x′n是当前帧,x′n+1是下一帧。
步骤S25:对长度为L的交迭帧x′L进行时域后向跨帧滤波处理,滤波公式为: x L = B L - M - 1 I 2 M - L B L - M - 1 L × L x L ′ , 其中的跨帧滤波矩阵B的定义如公式2,
其中B-1为正交矩阵B的逆矩阵。这里的跨帧滤波逆矩阵B-1=BT,当前帧两端的(L-M)/2个采样点和上一帧和下一帧的(L-M)/2个采样点分别通过跨帧滤波逆矩阵BT,当前帧的中间2M-L个采样点直接通过单位矩阵不做任何滤波。
步骤S26:对滤波后的L个采样点xL,抽取出M个采样点,抽取的公式为:xM=HM×LxL,其中抽取矩阵H的定义如公式3所示。这里的抽取方式是,抛弃掉L个采样点两端的(L-M)/2的采样点,直接保留中间的M个采样点。
步骤S27:对包含M个采样点的并行音频帧,进行标准的时域信号并串处理,合成为串行采样点的音频暂态信号。
基于上述音频解码方法的一个较佳实施例,本发明提供了对应的音频解码装置的一个较佳实施例。
下面结合图6对本实施例所述的音频解码装置原理结构加以详细描述,本音频解码装置包括:量化解码模块21、反向符号反转模块22、频时变换模块23、交迭参数获取模块24、帧交迭模块25、后向跨帧滤波模块26、抽取模块27和合帧模块28。
量化解码模块21,用以从接收到的码流中经量化解码得到该帧处理后的M个频域样点(X0,X1,...,XM-2,XM-1)。
反向符号反转模块22,用以对M个频域样点XM,进行反向符号反转处理的公式为:X′M=(DM)-1XM,其中反向符号矩阵D-1的定义如前所述,在此不再赘述。
频时变换模块23,用以对反向符号反转处理后的M个样点X′M,进行频时变换的公式为: x M ′ = ( S M IV ) - 1 X M ′ , 其中(SIV)-1是标准的非交迭的IDST-IV(第四型离散正弦反变换)的频时变换。
交迭参数获取模块24,用以从码流中获取交迭程度参数(L-M)/2。
帧交迭模块25,用以将长度为M的相邻帧,相互交迭(L-M)/2个采样点。形成的交迭帧包含L个采样点,依次包括:(x′3M/2-L/2 n-1,...,x′M-1 n-1),(x′0 n,...,x′M-1 n),(x′0 n+1,...,x′L/2-M/2-1 n+1),其中x′n-1是上一帧,x′n是当前帧,x′n+1是下一帧。
后向跨帧滤波模块26,用以对长度为L的交迭帧x′L进行时域后向跨帧滤波处理,滤波公式为: x L = B L - M - 1 I 2 M - L B L - M - 1 L × L x L ′ , 其中跨帧滤波逆矩阵B-1的定义如前所述,在此不再赘述。
抽取模块27,用以对滤波后的L个采样点xL,抽取出M个采样点,抽取的公式为:xM=HM×LxL,其中抽取矩阵H的定义如前所述,在此不再赘述。
合帧模块28,用以对包含M个采样点的并行音频帧,进行标准的时域信号并串处理,合成为串行采样点的音频暂态信号。
上述量化解码模块21、反向符号反转模块22、频时变换模块23、帧交迭模块25、后向跨帧滤波模块26、抽取模块27和合帧模块28依次串行联结,交迭参数获取模块24一端串行联结在帧交迭模块之前,另一端和解码装置的外部装置联结。
上述的实施例和实施例中所给出的系数和参数,是提供给本领域的技术人员来实现或使用本发明的,本发明并不限定仅取前述公开的数值,在不脱离本发明的发明思想的情况下,本领域的技术人员可以对上述实施例作出种种修改或调整,因而本发明的保护范围并不被上述实施例所限,而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (18)

1.一种音频编码方法,其特征在于,包括步骤:
(A)将输入的串行采样点的音频暂态信号分成并行采样点的音频帧,每帧包含M个采样点;
(B)将相邻输入帧的采样点相互交迭(L-M)/2个采样点,构成交迭的音频帧,该交迭帧依次包含上一音频帧末尾交迭的(L-M)/2个采样点、该音频帧的M个采样点、下一音频帧开始交迭的(L-M)/2个采样点,形成的该交迭帧共L个采样点,其中L为M到2M之间的任意自然偶数,同时将交迭程度参数(L-M)/2送到码流传输;
(C)对该交迭帧的L个采样点进行时域前向跨帧滤波处理,得到L个滤波采样点;
(D)将滤波后的L个采样点,通过抽取得到该帧对应的M个滤波采样点;
(E)将M个滤波后的时域采样点,通过非交迭的时间频率变换得到M个频域样点;
(F)对该帧的M个频域样点,乘以对应的乘性符号1或-1,得到符号反转处理后的M个频域样点;
(G)将处理后的M个频域样点经量化编码后输出至码流。
2.根据权利要求1所述的一种音频编码方法,其特征在于,步骤(B)中相邻输入帧的采样点的交迭程度参数(L-M)/2为0%~50%之间的任意取值。
3.根据权利要求1所述的一种音频编码方法,其特征在于,步骤(C)中对L个采样点xL进行前向跨帧滤波是通过如下公式实现:x′L=PL×LxL
其中P是前向跨帧滤波矩阵,通过如下公式实现:
P = B L - M 0 ( L - M ) × ( 2 M - L ) 0 ( L - M ) × ( L - M ) 0 ( 2 M - L ) × ( L - M ) I ( 2 M - L ) × ( 2 M - L ) 0 ( 2 M - L ) × ( L - M ) 0 ( L - M ) × ( L - M ) 0 ( L - M ) × ( 2 M - L ) B L - M L × L ,
其中I是单位矩阵,其中B是蝶形运算系数组成的跨帧滤波矩阵,通过如下公式实现:
B N = C 1 S 1 · · · · · · C N 2 S N 2 - S N 2 C N 2 · · · · · · - S 1 C 1 N × N ,
B是正交矩阵,其中蝶形运算系数Ci=cos[(2i-1)π/4M], S i · = sin [ ( 2 i - 1 ) π / 4 M ] , 其余部分为零。
4.根据权利要求3所述的一种音频编码方法,其特征在于,步骤(D)中对滤波后的L个采样点xL抽取得到M个滤波采样点是通过如下公式实现:
x′M=HM×Lx′L,其中H是抽取矩阵,通过如下公式实现:
H = 0 L - M 2 × L - M 2 I L - M 2 × L - M 2 0 L - M 2 × ( 2 M - L ) 0 L - M 2 × L - M 2 0 L - M 2 × L - M 2 0 ( 2 M - L ) × L - M 2 0 ( 2 M - L ) × L - M 2 I ( 2 M - L ) × ( 2 M - L ) 0 ( 2 M - L ) × L - M 2 0 ( 2 M - L ) × L - M 2 0 L - M 2 × L - M 2 0 L - M 2 × L - M 2 0 L - M 2 × ( 2 M - L ) I L - M 2 × L - M 2 0 L - M 2 × L - M 2 M × L .
5.根据权利要求4所述的一种音频编码方法,其特征在于,步骤(E)中对抽取得到的M个时域滤波采样点x′M进行时频变换是通过如下公式实现:
X M ′ = S M IV x M ′ , 其中SIV是标准的非交迭的DST-IV(第四型离散正弦正变换)的时频变换。
6.根据权利要求5所述的一种音频编码方法,其特征在于,步骤(F)中对时频变换后的M个频域样点X′M进行符号反转处理是通过如下公式实现:
XM=DMX′M,其中D是符号矩阵,并且D是正交矩阵,通过如下公式实现:
D M = - 1 1 - 1 · · · 1 M × M .
7.根据权利要求1至6任一项所述的一种音频编码方法,其特征在于,在步骤(A)和步骤(B)之间还可以包括步骤:
(H)将输入的并行采样点的音频帧的暂态强度EΔ和预设的门限值T的大小进行比较,并通过交迭判断函数L=f(EΔ),判断交迭程度值R,计算交迭帧包含的采样点个数L。
8.根据权利要求7所述的一种音频编码方法,其特征在于,EΔ是当前输入帧相对上一输入帧的暂态强度,通过如下公式实现:
EΔ=(|En-En-1|/En)%,
其中En指当前帧的总能量,其计算公式为: E n = Σ i = 0 M - 1 ( x i n ) 2 , 其中xi n表示当前输入帧的一个采样点,En-1指上一帧的总能量,其计算公式为: E n - 1 = Σ i = 0 M - 1 ( x i n - 1 ) 2 , 其中xi n-1表示上一输入帧的一个采样点。
9.根据权利要求7所述的一种音频编码方法,其特征在于,预设的门限值T的取值集合是来自预设的集合{T1,T2,T3},其中T1<T2<T3,它们均可以是任意值。
10.根据权利要求7所述的一种音频编码方法,其特征在于,交迭程度值R为预设值,其取值集合是来自预设的集合{R1,R2,R3,T4},其中R1<R2<T3<R4,它们的取值可以是0%~50%之间的任意值,交迭程度值R与暂态强度EΔ和预设的门限值T的大小比较结果具有一一对应的分段函数关系,交迭采样点L的取值和交迭程度值R具有线性函数的关系
Figure A2009100583390004C4
11.一种音频编码装置,其特征在于,包括:
分帧模块,用以将输入的串行采样点的音频暂态信号分成并行采样点的音频帧,每帧包含M个采样点;
帧交迭模块,用以将相邻输入帧的采样点相互交迭(L-M)/2点,构成交迭的音频帧,该交迭帧依次包含上一音频帧末尾交迭的(L-M)/2个采样点、该音频帧的M个采样点、下一音频帧开始交迭的(L-M)/2个采样点,形成的该交迭帧共L个采样点,其中L为M到2M之间的任意自然偶数;
交迭参数传输模块,用以将交迭程度参数(L-M)/2送到码流传输;
前向跨帧滤波模块,用以对该交迭帧的L个采样点进行时域前向跨帧滤波处理,得到L个滤波采样点;
抽取模块,用以将滤波后的L个采样点,通过抽取得到该帧对应的M个滤波采样点;
时频变换模块,用以将M个滤波后的时域采样点,通过非交迭的时间频率变换得到M个频域样点;
符号反转模块,用以将该帧的M个频域样点,乘以对应的乘性符号1或-1,得到符号反转处理后的M个频域样点;
量化编码模块,用以将处理后的M个频域样点经量化编码后输出至码流;
所述分帧模块、帧交迭模块、前向跨帧滤波模块、抽取模块、时频变换模块、符号反转模块和量化编码模块依次串行联结,交迭参数传输模块一端串行联结在帧交迭模块之后,另一端和编码装置的外部装置联结。
12.根据权利要求11所述的一种音频编码装置,其特征在于,在装置分帧模块和帧交迭模块之间还可以串行联结有判断模块,用以将输入帧的暂态强度EΔ和门限T的大小进行比较,并通过交迭判断函数L=f(EΔ),判断交迭程度值R,计算交迭帧包含的采样点个数L。
13.一种音频解码方法,其特征在于,包括步骤:
(a)从接收到的码流中进行量化解码得到该音频帧的M个频域样点;
(b)对该音频帧量化解码后的M个频域样点,乘以对应的乘性符号1或-1,得到反向符号反转处理后的M个频域样点;
(c)将该音频帧反向符号反转处理后的M个频域样点,通过非交迭的频率时间变换得到该帧的M个时域采样点;
(d)从码流中获取交迭程度参数(L-M)/2,将相邻帧的采样点相互交迭(L-M)/2点,构成共L个采样点的交迭帧,该交迭帧依次包含上一帧末尾交迭的(L-M)/2个采样点、该帧的M个采样点、下一帧开始交迭的(L-M)/2个采样点;
(e)对该交迭帧的L个采样点进行时域后向跨帧滤波处理,得到L个滤波采样点;
(f)将该交迭帧滤波后的L个采样点,通过抽取得到该音频帧的M个采样点;
(g)将包含M个采样点的并行音频帧,合成串行采样点的音频暂态信号。
14.根据权利要求13所述的一种音频解码方法,其特征在于,步骤(b)中对M个频域样点XM进行反向符号反转处理通过如下公式实现:
X′M=(DM)-1XM,其中D是符号矩阵,并且是正交矩阵,(DM)-1为正交矩阵D的逆矩阵。
15.根据权利要求14所述的一种音频解码方法,其特征在于,步骤(c)中对M个频域样点X′M进行频时变换通过如下公式实现:
x M ′ = ( S M IV ) - 1 X M ′ , 其中(SIV)-1是标准的非交迭的IDST-IV(第四型离散正弦反变换)的频时变换。
16.根据权利要求15所述的一种音频解码方法,其特征在于,步骤(e)中对L个采样点x′L进行后向跨帧滤波的公式为: x L = B L - M - 1 · I 2 M - L B L - M - 1 L × L x L ′ , 其中B是跨帧滤波矩阵,并且是正交矩阵,B-1为正交矩阵B的逆矩阵。
17.根据权利要求16所述的一种音频解码方法,其特征在于,步骤(f)中对L个滤波采样点xL通过抽取得到M个采样点的公式为:xM=HM×LxL,其中H是抽取矩阵。
18.一种音频解码装置,其特征在于,包括:
量化解码模块,用以从码流中进行量化解码得到该音频帧的M个频域样点;
反向符号反转模块,用以将该音频帧量化解码后的M个频域样点,乘以对应的乘性符号1或-1,得到反向符号反转处理后的M个频域样点;
频时变换模块,用以将该音频帧反向符号反转处理后的M个频域样点,通过非交迭的频率时间变换得到该帧的M个时域采样点;
交迭参数获取模块,用以将码流中获取将交迭程度参数(L-M)/2;
帧交迭模块,用以将相邻帧的采样点相互交迭(L-M)/2点,构成共L个采样点的交迭帧,该交迭帧依次包含上一帧末尾交迭的(L-M)/2个采样点、该帧的M个采样点、下一帧开始交迭的(L-M)/2个采样点;
后向跨帧滤波模块,用以将该交迭帧的L个采样点进行时域后向跨帧滤波处理,得到L个滤波采样点;
抽取模块,用以将该交迭帧滤波后的L个采样点,通过抽取得到该音频帧的M个采样点;
合帧模块,用以将包含M个采样点的并行音频帧,合成串行采样点的音频暂态信号;
所述量化解码模块、反向符号反转模块、频时变换模块、帧交迭模块、后向跨帧滤波模块、抽取模块和合帧模块依次串行联结,交迭参数获取模块一端串行联结在帧交迭模块之前,另一端和解码装置的外部装置联结。
CN2009100583396A 2009-02-16 2009-02-16 一种音频编码解码方法及其装置 Active CN101527139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100583396A CN101527139B (zh) 2009-02-16 2009-02-16 一种音频编码解码方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100583396A CN101527139B (zh) 2009-02-16 2009-02-16 一种音频编码解码方法及其装置

Publications (2)

Publication Number Publication Date
CN101527139A true CN101527139A (zh) 2009-09-09
CN101527139B CN101527139B (zh) 2012-03-28

Family

ID=41094975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100583396A Active CN101527139B (zh) 2009-02-16 2009-02-16 一种音频编码解码方法及其装置

Country Status (1)

Country Link
CN (1) CN101527139B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594506A (zh) * 2011-11-28 2012-07-18 中兴通讯股份有限公司 基于码结构的交叠编码序列的处理方法和装置
CN106228981A (zh) * 2016-08-03 2016-12-14 中山大学 一种基于压缩域的mp3自适应隐写方法
WO2021136343A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 音频信号的编解码方法和编解码装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2674710B1 (fr) * 1991-03-27 1994-11-04 France Telecom Procede et systeme de traitement des preechos d'un signal audio-numerique code par transformee frequentielle.
CN1458646A (zh) * 2003-04-21 2003-11-26 北京阜国数字技术有限公司 一种滤波参数矢量量化和结合量化模型预测的音频编码方法
EP2015293A1 (en) * 2007-06-14 2009-01-14 Deutsche Thomson OHG Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594506A (zh) * 2011-11-28 2012-07-18 中兴通讯股份有限公司 基于码结构的交叠编码序列的处理方法和装置
CN102594506B (zh) * 2011-11-28 2017-07-21 南京中兴新软件有限责任公司 基于码结构的交叠编码序列的处理方法和装置
CN106228981A (zh) * 2016-08-03 2016-12-14 中山大学 一种基于压缩域的mp3自适应隐写方法
CN106228981B (zh) * 2016-08-03 2019-07-19 中山大学 一种基于压缩域的mp3自适应隐写方法
WO2021136343A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 音频信号的编解码方法和编解码装置
US12057130B2 (en) 2019-12-31 2024-08-06 Huawei Technologies Co., Ltd. Audio signal encoding method and apparatus, and audio signal decoding method and apparatus

Also Published As

Publication number Publication date
CN101527139B (zh) 2012-03-28

Similar Documents

Publication Publication Date Title
CN1328707C (zh) 音频解码设备以及解码方法
KR100958144B1 (ko) 오디오 압축
CN101325060B (zh) 频谱域中利用自适应切换的时间分辨率对音频信号编解码的方法和设备
Srinivasan et al. High-quality audio compression using an adaptive wavelet packet decomposition and psychoacoustic modeling
CN101067931B (zh) 一种高效可配置的频域参数立体声及多声道编解码方法与系统
CN103106902B (zh) 低比特率音频信号解码方法
KR101589942B1 (ko) 외적 향상 고조파 전치
CN101276587B (zh) 声音编码装置及其方法和声音解码装置及其方法
CN103262164B (zh) 叉积增强的基于子带块的谐波换位
CN1866355B (zh) 声音编码装置、声音编码方法、声音解码装置和声音解码方法
CN104103276B (zh) 一种声音编解码装置及其方法
CN102436819B (zh) 无线音频压缩、解压缩方法及音频编码器和音频解码器
CN101206860A (zh) 一种可分层音频编解码方法及装置
CN101083076A (zh) 使用带宽扩展技术对信号编码和解码的方法和设备
CN102473417A (zh) 频带扩展方法、频带扩展装置、程序、集成电路及音频解码装置
CN101086845A (zh) 声音编码装置及方法以及声音解码装置及方法
CN105280190A (zh) 带宽扩展编码和解码方法以及装置
CN101436406B (zh) 音频编解码器
CN101527139B (zh) 一种音频编码解码方法及其装置
CN1460992A (zh) 用于感知音频编/解码的低延时、自适应的多分辨率滤波器组
CN101071570B (zh) 耦合声道的编、解码处理方法、音频编码装置及解码装置
RU2409874C9 (ru) Сжатие звуковых сигналов
CN105261373A (zh) 用于带宽扩展编码的自适应栅格构造方法和装置
Dhubkarya et al. HIGH QUALITY AUDIO CODING AT LOW BIT RATE USING WAVELET AND WAVELET PACKET TRANSFORM.
CN1471236A (zh) 用于感知音频编码的信号自适应多分辨率滤波器组

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant