CN101079260A - 一种数字声场音频信号处理方法 - Google Patents
一种数字声场音频信号处理方法 Download PDFInfo
- Publication number
- CN101079260A CN101079260A CN 200610051649 CN200610051649A CN101079260A CN 101079260 A CN101079260 A CN 101079260A CN 200610051649 CN200610051649 CN 200610051649 CN 200610051649 A CN200610051649 A CN 200610051649A CN 101079260 A CN101079260 A CN 101079260A
- Authority
- CN
- China
- Prior art keywords
- frequency
- low
- acoustic field
- impulse response
- sound signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereophonic System (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
一种数字声场音频信号处理方法,首先对冲激响应和信号的低频段进行抽取以降低采样率,抽取后的冲激响应构成FIR滤波器,经同样倍数抽取后的信号通过这个滤波器后再进行零值内插,然后通过一个低通滤波器输出,这构成了系统的低频处理部分,冲激响应的高频部分在时间n稍长时为零,直接将其截断后构成高频段的FIR滤波器,由此获得信号高频部分的输出,中频段的处理结合了上述两种方法,首先对冲激响应的中频段进行抽取并适当截断从而构成FIR滤波器,用同样倍数抽取后的信号通过这个滤波器后再进行零值内插,然后通过一个适当的低通滤波器输出,上述方法通过抽取和截断使要处理的数据量获得大幅度减少,并且计算结构简单易行。
Description
技术领域
本发明涉及种数字声场音频信号处理方法。
背景技术
数字声场处理器用于产生多重音响效果。由于它的冲激响应具有很长的长度(典型长度为1秒,44000个样点),因而在实时性、存储量和延迟等方面给它的设计造成很大的困难。Schroeder的混响器(Sophocles J.Orfanidis.信号处理导论.北京:清华大学出版社,1999.367-377.)是最早使用带有全通频响的IIR滤波器,后来的研究人员在几个方向扩展了他的思路,然而绝大部分工作都没有公开发表(David Griesinger.Practical processors and programs for digital reverberation.Proceedings of theAES 7th International conference Audio Engineering Society,1989.)。事实上,根据我们的实验,无论是用FIR滤波器还是IIR滤波器来实现数字声场处理器都存在严重的问题。鉴于数字声场处理器冲激响应的长度,FIR滤波器固然是不可行的(计算量和存储量都太大),IIR滤波器也存在着严重的稳定性和误差太大的问题。另一方面计算快速卷积包括大点数的卷积已有成熟的方法,例如采用各种快速变换算法如快速付里叶变换(FFT)、快速哈特来变换(FHT)的重叠保留法和重叠相加法。但这通常用于冲激响应序列较短的情形。对于冲激响应比较长的系统,如数字混响效果器,其典型的冲激响应长达40000点左右,直接采用上述方法,将需要大量的存储空间。例如采用FHT的重叠相加法,至少需要5·40000=200k的存储空间。如果是采用FFT的重叠相加法,则存储量还要加倍。而事实上,TMS320C5402 DSP芯片的片内存储器只有16k字。需要我们做进一步的改进设计。
发明内容
本发明所要解决的技术问题是提供一种音频信号的数字声场处理方法,它使处理的数据量获得大幅度减少,并且计算结构简单易行,为采用数字信号处理器芯片在误差可以容忍的条件与没有额外的片外存储器情况下进行实时处理奠定技术基础。
本发明解决上述技术问题所采用的技术方案为:一种音频信号的数字声场处理方法,其特征在于:采用数字信号处理器;低频输出部分,对冲激响应的低频段进行抽取以降低采样率,抽取后的冲激响应构成低频段的滤波器,经同样倍数D1抽取后的低频段的音频信号通过所述低频段的滤波器,再进行零值内插,然后通过一个相应的低通滤波器输出,构成了数字声场音频信号的低频输出部分;中频输出部分,对冲激响应的中频段进行抽取,然后对中频段抽取后的冲激响应进行适当截断从而构成中频段的滤波器,用同样倍数D2抽取后的中频段音频信号通过所述的中频段的滤波器后,再进行零值内插,然后通过一个相应的低通滤波器输出,构成了音频信号的中频输出部分;而在高频输出部分,直接将冲激响应的高频部分适当截断后构成高频段滤波器,相应高频段音频信号经过这个高频段滤波器处理,获得音频信号的高频输出部分;低频输出部分、中频输出部分与高频输出部分组合成为完整的数字声场处理后的音频信号。
有益的是,对所述输入音频信号低频段、中频段和高频段的处理都采用FIR滤波器。计算结构简单,避免了IIR滤波器引起的系统不稳定问题。
此外,所述的低频段的音频信号是待处理音频信号经过截止频率ω1的低通滤波器获得,中频段的音频信号是待处理音频信号经过下限频率ω1、上限频率ω2的带通滤波器获得,超过上限频率ω2的音频信号就为高频段音频信号,实现方法简单可靠,而且,所述的截止频率和下限频率ω1推荐采用2.2KHz,上限频率ω2推荐采用4.4KHz,高频为4.4KHz以上,与传统的音频信号分类一致。冲激响应的高、中、低频段采用上述相应滤波器事先获得并存在TMS320C5402 DSP芯片内。
进一步改进,所述的冲激响应的高频部分截断,根据存储量、计算量、误差进行权衡后设定截断点N3,优选1400;冲激响应的中频部分截断根据存储量、计算量、误差进行权衡后来设定截断点N2,优先2000,从而使数字信号处理器在有限硬件资源情况下如没有外挂存储器也可以进行实时处理,而误差较小,能够容忍和满足用户的需要。
而所述抽取倍数D1、D2的选择则根据采样定理和输入音频信号的低、中频分量的最高频率而定。依据前述推荐选用的ω1和ω2的值,选定抽取倍数D1为10,抽取倍数D2为5。
最后,所述的数字声场处理器采用TMS320C5402 DSP芯片,在不带额外的片外存储器情况下进行实时处理。
与现有技术相比,本发明的优点在于:将冲激响应划分为高中低频三部分,然后分别进行处理,从而使处理的数据量获得大幅度减少,并且计算结构简单易行,理论分析和仿真表明,适当调整有关参数如抽取倍数,截断点,分频点,对于TMS320C5402 DSP芯片来说,能够在使误差可以容忍的条件下达到实时处理,不需额外的片外存储器。
附图说明
图1.某典型混响系统冲激响应h(n)
图1a冲激响应h(n)低频段部分示意图
图1b冲激响应h(n)中频段部分示意图
图1c冲激响应h(n)高频段部分示意图
图2为低频部分的计算框图
图3中频部分的计算框图
图4一段音乐信号x(n)
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
在本实施例子中,我们提出一种不设片外存储器并能实时处理的设计方法。代价是设计出的声场处理器有一定的误差。
我们的目的是用TMS320C5402 DSP芯片实现数字声场处理器,且不设片外存储器。该芯片的片内存储器容量为16k字,速度为101-103MIPS(Million Instruction PerSecond)。音频信号采样频率为44kHz,根据实时处理的要求,每个信号采样周期可以运行2300个指令。我们的基本想法是将冲激响应划分为高中低频三部分,然后分别进行处理。首先对冲激响应和信号的低频段进行抽取以降低采样率,抽取后的冲激响应构成FIR滤波器,经同样倍数抽取后的信号通过这个滤波器后再进行零值内插,然后通过一个低通滤波器输出,这构成了系统的低频处理部分。冲激响应的高频部分在时间n稍长时,即其“高时”部分的能量趋于零。因而直接将其截断后构成高频段的FIR滤波器,由此获得信号高频部分的输出。中频段的处理结合了上述两种方法,首先对冲激响应的中频段进行抽取并适当截断从而构成FIR滤波器,用同样倍数抽取后的信号通过这个滤波器后再进行零值内插,然后通过一个适当的低通滤波器输出。上述方法通过抽取和截断使要处理的数据量获得大幅度减少,并且计算结构简单易行。理论分析和仿真表明,适当调整有关参数如抽取倍数,截断点,分频点等,对于TMS320C544402 DSP芯片来说,能够在使误差可以容忍的条件下达到实时处理,不需额外的片外存储器。
具体的设计过程如下:
数字声场处理器的设计
设混响系统长度为N的冲激响应为h(n)(n=0,1,2,...N-1),则输入音频信号x(n)通过该数字混响器的输出为:
y(n)=x(n)*h(n) (1)
若将h(n)用低通滤波器(截止频率为ω1)和带通滤波器(截止频率为ω1和ω2)分隔为低频部分h1(n),中频部分h2(n)和高频部分h3(n)之和,则:
y(n)=y1(n)+y2(n)+y3(n)=x(n)*h1(n)+x(n)*h2(n)+x(n)*h3(n) (2)
其中h3(n)=h(n)-h1(n)-h2(n) (3)
图1给出了一个典型混响系统(N=40000)的冲激响应h(n);图1a,b,c给出了该典型混响系统冲激响应的低频,中频,和高频部分h1(n),h2(n)和h3(n)。由该图可以看出,中高频部分的冲激响应在时间稍长时渐趋于零。当低频截止频率为2.2kHz,中频截止频率为2.2kHz和4.4kHz,高频为4.4kHz以上时,通过对频谱的能量计算可以得到,低频部分能量占总能量的99.80%;中频占0.16%;高频只占0.04%。然而,对于音频信号,高频能量是不可忽略的。
低频部分的处理
设x1(n)为输入信号x(n)通过截止频率为ω1的低通滤波器的输出。于是:
y1(n)=x(n)*h1(n)=x1(n)*h1(n) (4)
由于输入信号x(n)的采样频率明显高于其低频部分x1(n)的最高频率,所以可以对输入音频信号和系统冲激响应的低频部分x1(n)和h1(n)进行抽取,即以更低的采样率进行再采样而不丢失信息。考虑到采样定理,抽取倍数D1=/ω1。
抽取倍数D1可以是整数,也可以是分数。如果是分数,则D1=P/Q(P和Q都是整数),应该采取抽取与插值相结合的抽样率转换方法,即先进行Q倍插零后,再通过一个低通滤波器,然后再行P倍抽取。以下为简便计,均假设D为整数。
对冲激响应低频部分h1(n)进行D1倍抽取后,h1(n)的长度变为[N/D1],设h11(i)是h1(n)经抽取和截断后的值;x11(j)是对x1(n)D1倍抽取后的值,N1=[N/D1],[]表示取整数,则x11(j)通过h11(i)后的输出为:
再对y11(j)进行D1倍插零得y11(n)。最后让y11(n)通过一个截止频率也为ω1的低通滤波器以滤除由于插零引入的高频成分,获得低频部分输出y1(n)。低频部分的计算框图如图2。
低频部分的存储量、计算量分析
TMS320C5402 DSP芯片的片内存储量为16k。如果设N=40000,抽取倍数D1=10,存储系数h11(j)和x11(n)各需要4k。低频部分一共需要约8k.
低频部分的计算量主要体现在公式(5)的计算中。在公式(5)中,对于每个j,计算所需的乘加次数是N1=4000。每相邻的两个j间隔时间为D1·T(T为采样周期),那么每个采样周期T需要计算N1/D1=400次乘加。
抽取倍数为D1=10时,低频部分的截止频率为ω1=22k/D1=2.2kHz。
中频部分的处理及计算量、存储量分析
对中频部分的处理采取了抽取和截断两种办法。首先对冲激响应h(n)和输入信号x(n)进行带通滤波并抽取。带通滤波的下限频率ω1与低频部分所用的低通滤波器截止频率相同,而上限频率ω2和抽取倍数D2等参数根据误差、计算量、存储量等因素综合权衡后设定。然后对抽取后的冲激响应进行截断。设h22(i)是对冲激响应中频部分h2(n)进行D2倍抽取并作N2点截断后的值,x22(j)是对x(n)经带通滤波后的得到的x2(n)进行D2倍抽取后的值,D2=/ω2,N2<[N/D2],[]表示取整数,则x22(j)通过h22(i)后的输出为:
再对y22(2)进行D2倍插零得y22(n)。最后让y22(n)通过一个截止频率也为ω2的低通滤波器以滤除由于插零引入的高频成分,获得中频部分输出y2(n)。中频部分的计算框图如图3。
取D2=5(考虑采样定理),N2=2000,则存储系数h22(j)和输入x22(n)共需要4k.字;在D2·T内需要计算的乘加次数是2000次,则每个采样周期T内需计算400次乘加。
抽取倍数为D2=5时,中频部分的截止频率为ω1=22k/D1=2.2kHz;ω2=22k/D2=4.4kHz。
高频部分的处理及计算量、存储量分析
数字音响效果器的冲激响应高频部分h3(n)在时间n稍长时渐趋于零。因此可将其在某时刻N3截断以减少计算量、存储量和延迟。在此我们采用矩型窗截断。尽管矩型窗有较大的旁瓣,但它导致的截断后的频谱是对截断前频谱在最小平方意义上的逼近。截断后的高频冲激响应变为h33(n)=h3(n)(n=0,1,2...N3-1)。h33(n)构成一个N3点的FIR滤波器。高频部分的输出为:
取N3=1400,则存储系数h33(n)和输入x(n)共需要2.8k.字;计算量为每个采样周期T内1400次乘加。
总的计算量、存储量和误差分析
若有关参数如上设置,则总的存储量为:8k+4k+2.8k=14.8k;总的计算量为400+400+1400=2200次乘加。TMS320C5402 DSP芯片的片内存储量为16k,在一个采样周期内可以运行大约2300条单周期指令,即2300次乘加。余量供程序及低通带通滤波器等的存储和运算。
对整个系统考虑总体误差,则总的相对误差为:
Error==(y0-y)·(y0-y)′/(y0·y0′)
其中,y0(n)=x(n)*h(n),为输入音频信号x(n)通过冲激响应为h(n)的混响系统的输出。若取输入信号x(n)为如图4所示的音乐信号的一段(长度为60600,冲激响应h(n)如图1所示),当抽取和截断的参数如上述时,总体相对误差为Error=1.4411×10-5。
应用上述高中低频分别处理算法,我们在TMS320C5402 DSP芯片上实现了数字混响效果器。所有数据及程序均存储在片内。取对低频部分数据的抽取倍数D=10,中频部分数据的抽取倍数D=5,截断点为2000,冲激响应高频部分截断点为1400,结果对音频信号的混响处理在TMS320C5402 DSP芯片上获得了实时实现。采用钢琴曲作为输入,试听的几种混响主观效果与相应的样品混响器基本相同。从输出信号的整体频谱图来看,与非近似方法的输出频谱没有差异。
综合上述,数字混响效果器的冲激响应通常相当长。这样长的冲激响应使得现有方法不能在实时处理的条件下使误差、存储量较小。根据冲激响应的频谱能量主要集中在低频这一特点,本文提出一种将高中低频段分别处理的设计方法。首先对冲激响应和信号的低频段进行抽取,抽取后的冲激响应构成FIR滤波器,抽取后的信号通过这个滤波器后再进行零值内插,然后通过一个低通滤波器输出。冲激响应的高频部分在时间较长时渐趋于零,将其截断后构成高频段的FIR滤波器,由此获得信号高频部分的输出。中频段的处理结合了上述两种方法,首先对冲激响应的中频段进行抽取并适当截断从而构成FIR滤波器,用同样倍数抽取后的信号通过这个滤波器后再进行零值内插,然后通过一个适当的低通滤波器输出。这一方法对于TMS320C5402 DSP芯片来说,能够在使误差、存储量较小的条件下达到实时处理。然而虽然冲激响应的频谱能量通常集中在低频,但其中高频能量是不可忽视的,特别是有些冲激响应可能在中高频段能量有较大的比例。这种情况我们拟考虑采用片内存储空间更大一些的DSP芯片,如TMS320C5409 DSP芯片,它的片内存储量为32k,价位也并不高。
Claims (10)
1.一种数字声场音频信号处理方法,其特征在于:采用数字信号处理器;低频输出部分,对冲激响应的低频段进行抽取以降低采样率,抽取后的冲激响应构成低频段的滤波器,经同样倍数D1抽取后的低频段的音频信号通过所述低频段的滤波器,再进行零值内插,然后通过一个相应的低通滤波器输出,构成了数字声场音频信号的低频输出部分;中频输出部分,对冲激响应的中频段进行抽取,然后对中频段抽取后的冲激响应进行适当截断从而构成中频段的滤波器,用同样倍数D2抽取后的中频段音频信号通过所述的中频段的滤波器后,再进行零值内插,然后通过一个相应的低通滤波器输出,构成了音频信号的中频输出部分;而在高频输出部分,直接将冲激响应的高频部分适当截断后构成高频段滤波器,相应高频段音频信号经过这个高频段滤波器处理,获得音频信号的高频输出部分;低频输出部分、中频输出部分与高频输出部分组合成为完整的数字声场处理后的音频信号。
2.根据权利要求1所述的数字声场音频信号处理方法,其特征在于对所述输入音频信号低频段、中频段和高频段的处理都采用FIR滤波器。
3.根据权利要求1所述的数字声场音频信号处理方法,其特征在于所述的低频段的音频信号是待处理音频信号经过截止频率ω1的低通滤波器获得,中频段的音频信号是待处理音频信号经过下限频率ω1、上限频率ω2的带通滤波器获得,超过上限频率ω2的音频信号就为高频段音频信号,同样,系统冲激响应的高、中、低频段也采用上述相应滤波器事先获得并存在TMS320C5402 DSP芯片内。
4.根据权利要求3所述的数字声场音频信号处理方法,其特征在于所述的截止频率ω1为2.2KHz,下限频率ω1为2.2KHz,上限频率ω2为4.4KHz,高频为4.4KHz以上。
5.根据权利要求1或2或3所述的数字声场音频信号处理方法,其特征在于所述的冲激响应的高频和中频部分截断采用矩形窗截断,并根据存储量、计算量、误差进行权衡后设定截断点N3和N2。
6.根据权利要求5所述的数字声场音频信号处理方法,其特征在于所述的截断点N3为1400,截断点N2为2000。
7.根据权利要求1或2或3或4所述的数字声场音频信号处理方法,其特征在于所述的倍数D1为10,倍数D2为5。
8.根据权利要求5所述的数字声场音频信号处理方法,其特征在于所述的倍数D1为10,倍数D2为5。
9.根据权利要求1或2或3或4所述的数字声场音频信号处理方法,其特征在于所述的数字信号处理器采用TMS320C544402 DSP芯片,在不带额外的片外存储器情况下进行实时处理。
10.根据权利要求8所述的数字声场音频信号处理方法,其特征在于所述的数字信号处理器采用TMS320C544402 DSP芯片,在不带额外的片外存储器情况下进行实时处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2006100516491A CN101079260B (zh) | 2006-05-26 | 2006-05-26 | 一种数字声场音频信号处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2006100516491A CN101079260B (zh) | 2006-05-26 | 2006-05-26 | 一种数字声场音频信号处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101079260A true CN101079260A (zh) | 2007-11-28 |
CN101079260B CN101079260B (zh) | 2010-06-16 |
Family
ID=38906694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006100516491A Expired - Fee Related CN101079260B (zh) | 2006-05-26 | 2006-05-26 | 一种数字声场音频信号处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101079260B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102118330A (zh) * | 2009-12-31 | 2011-07-06 | 中兴通讯股份有限公司 | 一种滤波系统及其方法 |
CN101714379B (zh) * | 2008-10-08 | 2011-10-26 | 安凯(广州)微电子技术有限公司 | 一种音频重采样方法 |
CN114095828A (zh) * | 2021-11-26 | 2022-02-25 | 安克创新科技股份有限公司 | 音频信号的处理方法、装置、电子设备和存储介质 |
CN117040487A (zh) * | 2023-10-08 | 2023-11-10 | 武汉海微科技有限公司 | 音频信号处理的滤波方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN88204041U (zh) * | 1988-04-04 | 1988-12-21 | 广州中医学院 | 音乐多频输出电针仪 |
JP4285628B2 (ja) * | 2002-03-20 | 2009-06-24 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
ATE474310T1 (de) * | 2004-05-28 | 2010-07-15 | Nokia Corp | Mehrkanalige audio-erweiterung |
-
2006
- 2006-05-26 CN CN2006100516491A patent/CN101079260B/zh not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101714379B (zh) * | 2008-10-08 | 2011-10-26 | 安凯(广州)微电子技术有限公司 | 一种音频重采样方法 |
CN102118330A (zh) * | 2009-12-31 | 2011-07-06 | 中兴通讯股份有限公司 | 一种滤波系统及其方法 |
CN102118330B (zh) * | 2009-12-31 | 2014-10-22 | 中兴通讯股份有限公司 | 一种滤波系统及其方法 |
CN114095828A (zh) * | 2021-11-26 | 2022-02-25 | 安克创新科技股份有限公司 | 音频信号的处理方法、装置、电子设备和存储介质 |
CN114095828B (zh) * | 2021-11-26 | 2024-02-23 | 安克创新科技股份有限公司 | 音频信号的处理方法、装置、电子设备和存储介质 |
CN117040487A (zh) * | 2023-10-08 | 2023-11-10 | 武汉海微科技有限公司 | 音频信号处理的滤波方法、装置、设备及存储介质 |
CN117040487B (zh) * | 2023-10-08 | 2024-01-02 | 武汉海微科技有限公司 | 音频信号处理的滤波方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN101079260B (zh) | 2010-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109586686A (zh) | 低延迟调制滤波器组 | |
CN1976224A (zh) | 低通连续可调滤波器和滤波方法 | |
CN101079260A (zh) | 一种数字声场音频信号处理方法 | |
CN1815549A (zh) | 早反射再现设备和声场效果再现的方法 | |
CN1406413A (zh) | 用于分离输入信号的频带的设备 | |
CN102055435A (zh) | 一种窄带数字滤波器 | |
CN104734667B (zh) | 数字助听器基于非线性变换的可重构滤波器组及设计方法 | |
WO2013060138A1 (zh) | 基于逻辑电路的法罗滤波器及其实现方法 | |
CN102882491A (zh) | 一种稀疏无频偏线性相位fir陷波滤波器的设计方法 | |
TWI444837B (zh) | 固定係數型可變質數長度遞迴式離散傅立葉轉換之系統 | |
CN105354234A (zh) | 基于深度包检测的网络实时大数据系统及大数据分析方法 | |
CN106849904A (zh) | 数字滤波设备 | |
CN101242168B (zh) | 一种fir数字滤波器直接型实现方法及实现装置 | |
CN104242871B (zh) | 一种基于嵌套阵的多倍频程恒定束宽波束形成方法及系统 | |
CN102185585B (zh) | 基于遗传算法的格型数字滤波器 | |
CN108429546A (zh) | 一种混合型fir滤波器设计方法 | |
CN110146852A (zh) | 一种基于gpu加速的雷达接收机正交解调实现方法 | |
Savioja et al. | Multiwarping for enhancing the frequency accuracy of digital waveguide mesh simulations | |
CN102571031B (zh) | 一种用于实现小波变换的宽带低插损声表面波滤波器组 | |
CN206461580U (zh) | 数字滤波设备 | |
CN113507279B (zh) | 一种高精度星间距离观测数据的降速率滤波方法 | |
Su et al. | Pulse compression of LFM signal based on FPGA | |
CN114650033B (zh) | 一种基于dsp的快速滤波方法 | |
Su et al. | FPGA-Based Pulse Compression for Linear Frequency Modulated Signal | |
CN110266287B (zh) | 电子耳蜗分数延迟滤波器构造方法、存储介质及电子耳蜗 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100616 Termination date: 20110526 |