CN1321400C - 客观音质评价中基于噪声掩蔽门限算法的巴克谱失真测度方法 - Google Patents
客观音质评价中基于噪声掩蔽门限算法的巴克谱失真测度方法 Download PDFInfo
- Publication number
- CN1321400C CN1321400C CNB2005100202023A CN200510020202A CN1321400C CN 1321400 C CN1321400 C CN 1321400C CN B2005100202023 A CNB2005100202023 A CN B2005100202023A CN 200510020202 A CN200510020202 A CN 200510020202A CN 1321400 C CN1321400 C CN 1321400C
- Authority
- CN
- China
- Prior art keywords
- masking
- bark
- prime
- signal
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
客观音质评价中基于噪声掩蔽门限算法的巴克谱失真测度方法,提供了一种基于听觉同时性掩蔽效应的原理的扩展巴克谱失真(EBSD)测度方法,包括听觉响度计算,噪声掩蔽门限(NMT)计算和扩展巴克谱失真(EBSD)计算,在失真距离的计算中排除被噪声掩蔽门限(NMT)掩蔽的临界频带,使用EBSD测度后客观评价与主观评价结果之间具有相对其他测度更好的一致性。
Description
技术领域
本发明涉及客观音质评价中的失真测度方法,具体涉及基于噪声掩蔽门限算法的巴克谱失真测度方法
背景技术
目前国内外对客观音质评价方法的研究主要集中在各种测度的研究上,最终目的是研究和寻求到与主观评价特性曲线最为一致的计算测度,即主客观相关度最高的评价测度。目前较为成熟的有巴克谱失真BSD测度、对数谱距离测度LSD、MEL倒谱距离测度MEL-CD、LPC倒谱系数距离测度LPC-CD和基于瞬时掩蔽效应的改进的巴克谱测度MBSD等等。
发明内容
本发明的目的是提出了一种基于噪声掩蔽门限(NMT)算法的扩展的巴克谱失真(EBSD)测度方法,该测度依据人耳听觉系统的同时性掩蔽特性,在听觉响度域内动态地确定原始语音信号和失真语音信号的响度差掩蔽阈,对不同的语音失真条件,选取不同的掩蔽阈,以此来提高和改善测度的一致性和相关性。
本发明的测度方法分以下三步实现:
(1)计算输入信号和输出信号的响度差;
(2)确定输入信号的噪声掩蔽门限值;
(3)通过比较信号的响度差与噪声掩蔽门限值进行巴克谱失真(EBSD)计算。
(1)计算输入信号和输出信号的响度差:
1)将输入信号和输出信号作FFT变换后,得到表达式为P(k)=Re2(k)+Im2(k)的功率谱P(k),再求得各个临界频带内的巴克谱功率能量,然后对每个巴克带抽一次样,得到表达式为
的临界带能量Bij;
2)应用扩展函数,
对步骤1)中得到的临界带能量Bij,进行滤波卷积
得到第j个巴克带的扩展巴克谱C(j);
3)然后将扩展巴克谱C(j)在话音频带内,应用等响度曲线预加重得到信号的响度级,再将响度级转换为输入信号和输出信号的响度,最后得到输入信号与输出信号的响度差dxy(i);
(2)确定输入信号的噪声掩蔽门限值:由以下四步完成:
1)将输入信号作FFT变换后,得到表达式为P(k)=Re2(k)+Im2(k)的功率谱P(k),再求得各个临界频带内的巴克谱功率能量,然后对每个巴克带抽一次样,得到表达式为
的临界带能量Bij;
2)应用扩展函数
对步骤1)中得到的临界带能量Bij进行滤波卷积
得到第j个巴克带的扩展巴克谱C(j);
3)计算噪声掩蔽门限值:将谱平坦度量度(SFM)定义为:信号功率谱的几何平均Gm与算术平均Am的比值
定义一个音调因子α,作为信号音调特性的判断:
根据音调因子α的值,可以确定一个对扩展巴克谱C(j)的修正值:
Oj=α(14.5+j)+5.5(1-α)
然后得到巴克带噪声掩蔽门限值:
4)听阈比较:最后把得到的每个临界频带噪声掩蔽门限值与听阈比较,如果某临界频带的噪声掩蔽门限值小于听阈,则实际的掩蔽门限值以听阈代替,听阈的计算公式为
Abs_Thresh(f)=3.64f-0.8-6.5exp[-0.6(f-3.3)2]+0.001f4
(3)通过比较信号的响度差与噪声掩蔽门限值进行巴克谱失真(EBSD)计算:
巴克谱失真(EBSD)计算方法如下:
定义一个掩蔽矩阵符号M(i,j),其中j表示第i帧的第j个巴克带,M(i,j)的取值由输入信号与输出信号的响度差dxy(i)与噪声掩蔽门限值比较得来
M(i,j)=1 dxy(i,j)>NMT(i,j)
M(i,j)=0 dxy(i,j)≤NMT(i,j)
计算出第i帧的巴克谱失真距离:
最后计算出整个信号总的失真距离为
在BSD测度用于语音SSB调制,经过不同干扰失真都已达到主客观评价高度相关的情况下,对同样的实验条件EBSD得到的结果,还是进一步提高了主客观评价的相关系数百分之一到百分之三左右,标准偏差得到减小,表明这种测度是一种与主观音质评价一致性更好的语音测度。同时,基于扩展函数的EBSD测度相对于MBSD具有更好的普适性。
附图说明
图1是基于噪声掩蔽门限算法的巴克谱失真(EBSD)测度方法工作框图
图2是18个扩展函数临界带滤波器组
图3是SSB调制失真条件BSD测度归一化主客观评价二次拟合曲线
图4是SSB调制失真条件EBSD测度归一化主客观评价二次拟合曲线
具体实施方式
下面结合附图详细说明本发明的实现方法:
EBSD测度主要分为三步,即听觉响度计算、噪声掩蔽门限值NMT估计和信号总的失真距离EBSD的计算,其工作原理框图见图1。
本发明的独创性在于将噪声掩蔽门限值NMT算法引入广泛使用的BSD失真测度,采用SFM方法来度量噪声对纯音的掩蔽和纯音对噪声的掩蔽,比较语音信号的响度差与噪声掩蔽门限值NMT作为失真距离计算的判决准则,即在失真距离的计算中考虑噪声掩蔽门限值NMT是否掩蔽信号的响度差。其中确定输入语音的噪声掩蔽门限值NMT是计算EBSD测度的关键步骤,符合人耳听觉掩蔽特性的噪声掩蔽门限值NMT,由信号临界频带分析、对巴克谱应用谱扩展函数、计算噪声掩蔽门限值NMT和听阈比较四个步骤来完成。
如图1所示,要对输入语音信号和输出语音信号分别进行预处理,预处理包括将输入语音信号和输出语音信号作FFT变换后得到功率谱P(k)(P(k)=Re2(k)+Im2(k)),接着按照下面表1中的临界频带划分,
频带数(Bark) | 中心频率(Hz) | 带宽(Hz) | 下限频率(Hz) | 上限频率(Hz) | 频带数(Bark) | 中心频率(Hz) | 带宽(Hz) | 下限频率(Hz) | 上限频率(Hz) | |
1 | 50 | 80 | 20 | 100 | 13 | 1850 | 280 | 1720 | 2000 | |
2 | 150 | 100 | 100 | 200 | 14 | 2150 | 320 | 2000 | 2320 | |
3 | 250 | 100 | 200 | 300 | 15 | 2500 | 380 | 2320 | 2700 | |
4 | 350 | 100 | 300 | 400 | 16 | 2900 | 450 | 2700 | 3150 | |
5 | 450 | 110 | 400 | 510 | 17 | 3400 | 550 | 3150 | 3700 | |
6 | 570 | 120 | 510 | 630 | 18 | 4000 | 700 | 3700 | 4400 | |
7 | 700 | 140 | 630 | 770 | 19 | 4800 | 900 | 4400 | 5300 | |
8 | 840 | 150 | 770 | 920 | 20 | 5800 | 1100 | 5300 | 6400 | |
9 | 1000 | 160 | 920 | 1080 | 21 | 7000 | 1300 | 6400 | 7700 | |
10 | 1170 | 190 | 1080 | 1270 | 22 | 8500 | 1800 | 7700 | 9500 | |
11 | 1370 | 210 | 1270 | 1480 | 23 | 10500 | 2500 | 9500 | 12000 | |
12 | 1600 | 240 | 1480 | 1720 | 24 | 13500 | 3500 | 12000 | 15500 |
表1(临界频带的划分)
求得各个临界频带(只取前面17个)内的巴克谱功率能量,然后对每个巴克带抽一次样,即求得每个巴克带在一帧信号中的能量分布,得到临界带能量:
再应用扩展函数(图2为扩展函数滤波器组)
对Bij进行滤波卷积
这样得到的C(j)值,就是第j个巴克带的扩展巴克谱,意味着其它各临界带对这一频带的综合影响作用。然后,将扩展巴克谱C(j)在话音频带内,应用等响度曲线预加重得到信号的响度级,将响度级转换为语音信号的响度,分别得到输入语音信号和输出语音信号第i帧的响度Lx(i)与Ly(i)。
然后,根据Lx(i)和Ly(i)计算出输入语音信号和输出语音信号之间的响度差dxy(i)。同时要确定输入语音信号的噪声掩蔽门限值,将输入语音信号作FFT变换后得到功率谱P(k)(Pp(k)=Re2(k)+Im2(k)),接着按照上面表1中的临界频带划分,求得各个临界频带(只取前面17个)内的巴克谱功率能量,然后对每个巴克带抽一次样,即求得每个巴克带在一帧信号中的能量分布,得到临界带能量:
得到Bij后再应用扩展函数,估计临界频带之间的相互影响。扩展函数用来描述各个临界带的信号对其它临界带信号的掩蔽特性。实际应用中,可以用两条线段来保守地逼近实验中得出的掩蔽曲线。扩展函数矩阵为
对Bij用扩展函数进行滤波卷积:
这样得到的C(j)值就是第j个巴克带的扩展巴克谱,意味着其它各临界带对这一频带的综合影响作用。语音信号的音调特性决定了掩蔽程度的大小。同时性掩蔽效应包括纯音掩蔽噪声和噪声掩蔽纯音两种情况,因此各部分的贡献大小与信号的音调特性(似噪性)有关。将谱平坦度量度SFM(Spectral Flatness Measure)定义为信号功率谱的几何平均Gm与算术平均Am的比值
接着定义一个音调因子α作为信号音调特性的判断:
其中SFMmax=-60dB时设定信号是完全纯音特性,如果SFM=0dB,则信号几乎为完全噪声特性。
当纯音掩蔽噪声时,掩蔽值为扩展谱C(j)减去(14.5+j),即低于C(j)-(14.5+j)dB的噪声是听不见的;反之,噪声掩蔽纯音时,C(j)-5.5dB以下的语音也是听不见的。根据音调因子α的值可以确定一个对C(j)的修正值:
Oj=α(14.5+j)+5.5(1-α)
然后得到巴克带噪声掩蔽门限值:
把得到的每个临界频带的噪声掩蔽门限值与听阈比较,如果某临界频带的噪声掩蔽门限值小于听阈,则实际的掩蔽门限值以听阈代替,听阈的计算公式为
Abs_Thresh(f)=3.64f-0.8-6.5exp[-0.6(f-3.3)2]+0.001f4
最后得到输入语音信号的噪声掩蔽门限值。
最后,根据求得语音信号响度差和输入语音信号的噪声掩蔽门限值来进行EBSD计算。为了确定某一临界带是否可以感知,定义一个掩蔽矩阵符号M(i,j),j表示第i帧的第j个巴克带。当失真可以被感知,M(i,j)为1,反之M(i,j)为0,它也是一个只包含0和1元素的矩阵。而M(i,j)的取值由dxy(i)与噪声掩蔽门限值NMT比较得来
M(i,j)=1 dxy(i,j)>NMT(i,j)
M(i,j)=0 dxy(i,j)≤ NMT(i,j)
下面把所有听觉能感知的响度差求和,得到一帧信号的失真距离,即计算巴克谱失真时不考虑被掩蔽的距离:
这里EBSD(i)为第i帧的失真距离,在300-3400Hz的话音频带取15巴克。最后整个测试信号总的失真距离为
通过比较语音信号的响度差与噪声掩蔽门限值NMT,在失真距离的计算中排除被噪声掩蔽门限值NMT掩蔽的临界频带,得出语音信号的失真曲线。
本发明依据人耳听觉系统的同时性掩蔽特性,在听觉响度域内动态地确定原始语音信号和失真语音信号的响度差掩蔽阈,该掩蔽阈主要由信号的音调性修正得来,对不同的语音失真条件,选取不同的掩蔽阈能够得到各自最好的相关性,从客观评价与主观评价的统计相关性上表明,使用本发明EBSD测度后客观评价与主观评价结果之间具有相对其他测度更好的一致性。
在BSD测度用于语音SSB调制,经过不同干扰失真都已达到主客观评价高度相关的情况下,对同样的实验条件EBSD得到的结果,还是进一步提高了主客观评价的相关系数百分之一到百分之三左右,标准偏差得到减小(见表2、图3和图4),表明这种测度是一种与主观音质评价一致性更好的语音测度。同时,基于扩展函数的EBSD测度相对于MBSD具有更好的普适性。三种BSD测度的相关系数比较见下表(表2):
SSB | |
BSDMBSDEBSD | 0.9180.9180.923 |
表2三种BSD测度的相关系数
Claims (1)
1、一种客观音质评价中基于噪声掩蔽门限算法的巴克谱失真测度方法,包括:计算输入信号和输出信号的响度差、确定输入信号的噪声掩蔽门限值、以及通过比较信号的响度差与噪声掩蔽门限值进行巴克谱失真(EBSD)计算三个步骤,其特征在于:
a、所述计算输入信号和输出信号的响度差由以下三步完成:
1)将输入信号和输出信号作FFT变换后,得到表达式为P(k)=Re2(k)+Im2(k)的功率谱P(k),再求得各个临界频带内的巴克谱功率能量,然后对每个巴克带抽一次样,得到表达式为,
的临界带能量Bij;
2)应用扩展函数
对步骤1)中得到的临界带能量Bij,进行滤波卷积
得到第j个巴克带的扩展巴克谱C(j);
3)将扩展巴克谱C(j)在话音频带内,应用等响度曲线预加重得到信号的响度级,再将响度级转换为输入信号和输出信号的响度,最后得到输入信号与输出信号的响度差dxy(i);
b、所述确定输入信号的噪声掩蔽门限值由以下四步完成:
1)将输入信号作FFT变换后,得到表达式为P(k)=Re2(k)+Im2(k)的功率谱P(k),再求得各个临界频带内的巴克谱功率能量,然后对每个巴克带抽一次样,得到表达式为
的临界带能量Bij;
2)应用扩展函数
对步骤1)中得到的临界带能量Bij进行滤波卷积
得到第j个巴克带的扩展巴克谱C(j);
3)计算噪声掩蔽门限值:将谱平坦度量度(SFM)定义为:信号功率谱的几何平均Gm与算术平均Am的比值
定义一个音调因子α,作为信号音调特性的判断:
根据音调因子α的值,可以确定一个对扩展巴克谱C(j)的修正值
Oj=α(14.5+j)+5.5(1-α)
然后得到巴克带噪声掩蔽门限值:
4)听阈比较:最后把得到的每个临界频带噪声掩蔽门限值与听阈比较,如果某临界频带的噪声掩蔽门限值小于听阈,则实际的掩蔽门限值以听阈代替,听阈的计算公式为
Abs_Thresh(f)=3.64f-0.8-6.5exp[-0.6(f-3.3)2]+0.001f4;
c、所述通过比较信号的响度差与噪声掩蔽门限值进行巴克谱失真(EBSD)计算,其方法如下:
定义一个掩蔽矩阵符号M(i,j),其中j表示第i帧的第j个巴克带,M(i,j)的取值由输入信号与输出信号的响度差dxy(i)与噪声掩蔽门限值比较得来
M(i,j)=1 dxy(i,j)>NMT(i,j)
M(i,j)=0 dxy(i,j)≤NMT(i,j)
计算出第i帧的巴克谱失真距离:
最后计算出整个信号总的失真距离为
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100202023A CN1321400C (zh) | 2005-01-18 | 2005-01-18 | 客观音质评价中基于噪声掩蔽门限算法的巴克谱失真测度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100202023A CN1321400C (zh) | 2005-01-18 | 2005-01-18 | 客观音质评价中基于噪声掩蔽门限算法的巴克谱失真测度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1655230A CN1655230A (zh) | 2005-08-17 |
CN1321400C true CN1321400C (zh) | 2007-06-13 |
Family
ID=34894268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100202023A Expired - Fee Related CN1321400C (zh) | 2005-01-18 | 2005-01-18 | 客观音质评价中基于噪声掩蔽门限算法的巴克谱失真测度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1321400C (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101115051B (zh) * | 2006-07-25 | 2011-08-10 | 华为技术有限公司 | 音频信号处理方法、系统以及音频信号收发装置 |
WO2008124743A1 (en) * | 2007-04-09 | 2008-10-16 | Tektronix, Inc. | Systems and methods for spatially isolated artifact dissection, classification and measurement |
CN103578479B (zh) * | 2013-09-18 | 2016-05-25 | 中国人民解放军电子工程学院 | 基于听觉掩蔽效应的语音可懂度测量方法 |
CN104703093B (zh) * | 2013-12-09 | 2018-07-17 | 中国移动通信集团公司 | 一种音频输出方法及装置 |
CN105989853B (zh) * | 2015-02-28 | 2020-08-18 | 科大讯飞股份有限公司 | 一种音频质量评测方法及系统 |
CN105280195B (zh) | 2015-11-04 | 2018-12-28 | 腾讯科技(深圳)有限公司 | 语音信号的处理方法及装置 |
CN107342074B (zh) * | 2016-04-29 | 2024-03-15 | 王荣 | 语音和声音的识别方法 |
CN109781245B (zh) * | 2019-01-15 | 2021-03-23 | 江铃汽车股份有限公司 | 一种柴油发动机脉冲噪声的客观评价方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2137057Y (zh) * | 1992-06-29 | 1993-06-23 | 邮电部第一研究所 | 精确测定响度评定值的扫频当量仪 |
US5341457A (en) * | 1988-12-30 | 1994-08-23 | At&T Bell Laboratories | Perceptual coding of audio signals |
CN1116348A (zh) * | 1994-01-18 | 1996-02-07 | 大宇电子株式会社 | 自适应数字音频编码系统 |
US6438373B1 (en) * | 1999-02-22 | 2002-08-20 | Agilent Technologies, Inc. | Time synchronization of human speech samples in quality assessment system for communications system |
JP2003167596A (ja) * | 2001-11-30 | 2003-06-13 | Oki Electric Ind Co Ltd | 音声信号品質評価装置及びその方法 |
US6794567B2 (en) * | 2002-08-09 | 2004-09-21 | Sony Corporation | Audio quality based culling in a peer-to-peer distribution model |
CN1538667A (zh) * | 2003-10-24 | 2004-10-20 | 武汉大学 | 一种宽频带语音质量客观评价方法 |
-
2005
- 2005-01-18 CN CNB2005100202023A patent/CN1321400C/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5341457A (en) * | 1988-12-30 | 1994-08-23 | At&T Bell Laboratories | Perceptual coding of audio signals |
CN2137057Y (zh) * | 1992-06-29 | 1993-06-23 | 邮电部第一研究所 | 精确测定响度评定值的扫频当量仪 |
CN1116348A (zh) * | 1994-01-18 | 1996-02-07 | 大宇电子株式会社 | 自适应数字音频编码系统 |
US6438373B1 (en) * | 1999-02-22 | 2002-08-20 | Agilent Technologies, Inc. | Time synchronization of human speech samples in quality assessment system for communications system |
JP2003167596A (ja) * | 2001-11-30 | 2003-06-13 | Oki Electric Ind Co Ltd | 音声信号品質評価装置及びその方法 |
US6794567B2 (en) * | 2002-08-09 | 2004-09-21 | Sony Corporation | Audio quality based culling in a peer-to-peer distribution model |
CN1538667A (zh) * | 2003-10-24 | 2004-10-20 | 武汉大学 | 一种宽频带语音质量客观评价方法 |
Non-Patent Citations (5)
Title |
---|
一种基于人耳听觉特性的语音客观测度研究 王瑛 张知易,通信技术,第3期 1999 * |
一种改进的客观音质评价方法 杨波 傅汝林 张知易,成都理工大学学报,第31卷第1期 2004 * |
利用前向掩蔽效应改进八克谱失真测度 杨波 傅汝林 张知易,通信技术,第5期 2003 * |
利用前向掩蔽效应改进八克谱失真测度 杨波 傅汝林 张知易,通信技术,第5期 2003;一种改进的客观音质评价方法 杨波 傅汝林 张知易,成都理工大学学报,第31卷第1期 2004;一种基于人耳听觉特性的语音客观测度研究 王瑛 张知易,通信技术,第3期 1999;语音系统客观音质评价研究 黄惠明 王瑛 赵思伟 张知易,电子学报,第28卷第4期 2000 * |
语音系统客观音质评价研究 黄惠明 王瑛 赵思伟 张知易,电子学报,第28卷第4期 2000 * |
Also Published As
Publication number | Publication date |
---|---|
CN1655230A (zh) | 2005-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1321400C (zh) | 客观音质评价中基于噪声掩蔽门限算法的巴克谱失真测度方法 | |
US6687669B1 (en) | Method of reducing voice signal interference | |
DE102014100407B4 (de) | Geräuschminderungsvorrichtungen und Geräuschminderungsverfahren | |
CN103531204B (zh) | 语音增强方法 | |
CN104067339B (zh) | 噪音抑制装置 | |
CN105427859A (zh) | 一种用于对说话人识别的前端语音增强方法 | |
Islam et al. | Speech enhancement based on student $ t $ modeling of Teager energy operated perceptual wavelet packet coefficients and a custom thresholding function | |
CN106653004B (zh) | 感知语谱规整耳蜗滤波系数的说话人识别特征提取方法 | |
CN103544961A (zh) | 语音信号处理方法及装置 | |
CN102314883B (zh) | 一种判断音乐噪声的方法以及语音消噪方法 | |
Kates | Modeling the effects of single-microphone noise-suppression | |
CN113053350A (zh) | 一种基于噪声主观评价抑制的有源控制误差滤波器设计方法 | |
CN105869652A (zh) | 心理声学模型计算方法和装置 | |
Gentet et al. | Speech intelligibility enhancement by equalization for in-car applications | |
KR100888049B1 (ko) | 부분 마스킹 효과를 도입한 음성 강화 방법 | |
EP3718476B1 (en) | Systems and methods for evaluating hearing health | |
Cao et al. | Multi-band spectral subtraction method combined with auditory masking properties for speech enhancement | |
Ding et al. | Objective measures for quality assessment of noise-suppressed speech | |
Surendran et al. | Perceptual subspace speech enhancement with variance normalization | |
Premananda et al. | Uma BV Incorporating Auditory Masking Properties for Speech Enhancement in presence of Near-end Noise | |
Udrea et al. | Reduction of background noise from affected speech using a spectral subtraction algorithm based on masking properties of the human ear | |
Defraene et al. | A psychoacoustically motivated speech distortion weighted multi-channel Wiener filter for noise reduction | |
Liu et al. | Improved spectral subtraction speech enhancement algorithm | |
Deepa et al. | Spectral Subtraction Method of Speech Enhancement using Adaptive Estimation of Noise with PDE method as a preprocessing technique | |
Rao et al. | Noise reduction using Mel-SCALE spectral subtraction with perceptually defined subtraction parameters-a new scheme |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070613 Termination date: 20120118 |