CN101408614A - 双耳声强差ild临界感知特性的测量方法及其装置 - Google Patents

双耳声强差ild临界感知特性的测量方法及其装置 Download PDF

Info

Publication number
CN101408614A
CN101408614A CNA2008101978891A CN200810197889A CN101408614A CN 101408614 A CN101408614 A CN 101408614A CN A2008101978891 A CNA2008101978891 A CN A2008101978891A CN 200810197889 A CN200810197889 A CN 200810197889A CN 101408614 A CN101408614 A CN 101408614A
Authority
CN
China
Prior art keywords
ild
sound
critical
frequency
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101978891A
Other languages
English (en)
Other versions
CN101408614B (zh
Inventor
胡瑞敏
陈水仙
陈文琴
刘雨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN2008101978891A priority Critical patent/CN101408614B/zh
Publication of CN101408614A publication Critical patent/CN101408614A/zh
Application granted granted Critical
Publication of CN101408614B publication Critical patent/CN101408614B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

在空间音频编码中,双耳声强差是听觉系统辨别声源方位的重要参数之一。本发明公开了双耳声强差(以下简称ILD)参数的临界感知特性的测量方法:对测试源采用巴克频带的划分规则,选取各巴克频带的中心频率作为原始音频率,同时原始音保持声压级恒定;接着依据ILD的感知原理,通过等间距或非线性变化ILD值的方法制作听音位置渐变的测试音;最后通过主观测试的方法,获取ILD参数的临界感知值JND。本发明实现了频率从20Hz至20KHz信号的ILD临界感知特性的定量分析,解决了传统ILD特性分析中仅有定性描述的缺陷,以及空间音频编码中ILD参数的主观冗余去除的问题,利于优化分析。

Description

双耳声强差ILD临界感知特性的测量方法及其装置
技术领域:
本发明涉及一种双耳声强差临界感知特性的测量方法及其装置,更具体地,涉及空间音频编码中提取的双耳声强差参数的临界感知特性的测量方法及其装置。
背景技术:
在空间音频编码技术里,空间参数表达了多声道(含立体声)音频中蕴涵的空间信息。双耳声强差(Interaural Level Difference,以下简称ILD)是众多空间参数中较为重要的一个,它表达了声道间强度差对声源方向定位的影响。简单说来,如果左耳感受到的声音强度比右耳的大,那么听音人会觉得声音来自左侧方向,反之亦然。双耳声强差是听觉系统辨别声源方位的重要依据之一。
当前空间心理声学研究表明,人耳对ILD的感知存在着掩蔽效应。也就是说,当ILD值变化到一个临界范围之内时,人耳已经不能感知到声源方向的变化。该临界值称为ILD临界感知阈值(Just noticeable difference,以下简称JND),它描述了人耳恰可感知的ILD的临界值,也称为ILD绝对阈值。在绝对阈值之下的ILD值不能被人耳感知到,这种现象称为绝对掩蔽。人的听觉系统对于不同操作单元上的ILD存在着感知差异,也就是说在不同频率下,ILD绝对阈值是有差异的。
然而当前对空间音频参数ILD的研究并没有对其临界感知特性在全频带进行分析,也就是说,对ILD参数在不同频率和不同响度下表现出的感知特性差异也还没有定量的描述。在现有的空间音频编码中,对ILD的处理方法包括两类:一类是在整个信号频率范围内对各操作单元(如各个划分的子带)的ILD都进行编码;另一类是为降低编码的参数码率,忽略ILD对编码音质的影响而不对其进行编码。这两类的处理方法,要么忽略了ILD在不同操作单元具有的感知差异,浪费了参数编码码率,要么以编码音质的下降为代价而不处理双耳对强度差异的感知信息,从而使得编码信号中存在大量无法去除的主观冗余信息,降低编码压缩效率。
发明内容:
本发明依据人耳的听觉特性,提出一种分频带测量ILD临界感知特性的方法及其装置,目的在于指导空间音频编码,有效去除当前空间参数主观冗余难以去除的难题。本发明中频率覆盖的范围是20Hz到20KHz。该方法将音频信号划分为若干子带,依据附图2所示的ILD调整的原理图,对每个原始音,通过增益控制器g1和g2,制作给定ILD下的立体测试音。通过主观测听获得各子带上ILD临界阈值,得出相应的JND曲线。
本发明的解决方案包括以下步骤:
一种双耳声强差ILD临界感知特性的测量方法,其特征在于,包括以下步骤:
步骤1、由响度选取单元确定各个响度级选取,由频率选取单元确定频带划分规则以及所有测试音的频率;
步骤2、由原始音制作单元将步骤1中选取的响度换算成声压级,并根据步骤(1)中选取的频率和本步骤换算后的声压级制作各响度级以及各频率下的原始音;
步骤3、输入各响度级各频率下的原始音,由ILD测试序列制作单元对每个原始音设定至少两个ILD值,制作测试序列,其中一个ILD值对应参考音,其他作为测试音。
步骤4、测试者对步骤3中所有测试序列进行主观测试,记录其感知到声源方向发生变化的临界测试音。
在上述的双耳声强差ILD临界感知特性的测量方法,在步骤1中,响度级在人耳听觉域内选取,听觉域范围为20Hz~20KHz,频带划分采用Bark带划分规则,测试音频率选取每个Bark带中心频率。
在上述的双耳声强差ILD临界感知特性的测量方法,在步骤3中,所述的对原始音设定的ILD值,正值代表左声道比右声道强,负值代表右声道比左声道强,参数设置为ILD=0的测试音作为参考音。
在上述的双耳声强差ILD临界感知特性的测量方法,在步骤3中,对每个原始音制作测试音和参考音时设定双耳时间差ITD=0,耳间相关度IC=1。
在上述的双耳声强差ILD临界感知特性的测量方法,在步骤4中,主观测试的具体方法为:对每个原始音,测试者首先反复对参考音进行声源定位,将参考音的声源位置确定为中心位置,然后使ILD值从0开始分别向正数和负数两边逐渐变化,并对相应的测试音进行测听。
在上述的双耳声强差ILD临界感知特性的测量方法,所述步骤4中所述记录测试者感知到声源方向发生变化的临界测试音的具体方法为如下选择记录:
人耳感觉测试音与参考音声源方向是相同的,比对结果记录为0;
人耳感知到了测试音与参考音声源方向不同,则比对结果记录为1;
测试者对所有原始音测听结束后,记录下结果为0和1的交界处且记录为1的两个测试序列的ILD值,取这两个值的绝对值平均,作为ILD临界值。
在上述的双耳声强差ILD临界感知特性的测量方法,所述的步骤4完成后,由统计分析单元对所有频率和响度的ILD临界值做统计分析,获取JND曲线族。
一种用于双耳声强差ILD临界感知特性的测量方法的装置,其特征在于:它包括频率选取单元以及分别与频率选取单元相连的响度选取单元和原始音制作单元,ILD测试序列制作单元与原始音制作单元相连,统计分析单元与ILD测试序列制作单元相连。
说明书附图:
图1为本发明中双耳声强差ILD的听觉模型;
图2为本发明中ILD调整原理图;
图3为本发明中测试序列制作流程;
图4为本发明中主观测听流程;
图5为本发明中传统参数编码模型与参数临界感知编码模型比较图;
具体实施方式:
本发明提供一种测量双耳声强差ILD在不同响度级不同频率下的临界感知特性的方法,包括以下步骤:
(1)由响度选取单元确定各个响度级选取,由频率选取单元确定频带划分规则以及所有测试音的频率;
本步骤是确定频带划分规则以及所有测试音的频率,确定实验需要测试的各个响度级。采用巴克带的划分规则,将全频带划分为24个巴克带,选取每个巴克带的中心频率作为测试音的频率;
(2)由原始音制作单元将步骤(1)中选取的响度换算成声压级,并根据步骤(1)中选取的频率和本步骤换算后的声压级制作各响度级以及各频率下的原始音;
(3)输入各响度级各频率下的原始音,由ILD测试序列制作单元对每个原始音设定至少两个ILD值,制作测试序列。其中一个ILD值对应参考音,其他作为测试音。
本步骤中,对每个原始音设定不同的ILD值,其值覆盖范围为-9~9,制作对应不同ILD值的参考音与测试音。ILD值的设定通常以1为步长,取值-9,-8,-7,-6,-5,-4,-3,-2,-1,0,1,2,3,4,5,6,7,8,9,共生成18个测试音与1个参考音。也可根据每个频带上人耳的感知特性对ILD值做调整,采取非线性形式设定ILD值。参考音的参数设置为ILD=0,ITD=0,IC=1;
(4)测试者对步骤(3)中所有原始音进行主观测试,记录其感知到声源方向发生变化的临界测试音。主观测试的具体方法为:对每个原始音,测试者首先反复对参考音进行声源定位,将参考音的声源位置确定为中心位置,然后使ILD值由0开始分别向两边逐步递增到-9和9,并按照此顺序对测试音进行测听。测试者首先反复试听参考音,确定声源中心位置,然后分别对每个响度级下每个频带的所有测试音进行试听,判断声源的方向。如附图1所示,参考音的声源处在中心位置,其ILD参数值为0。测试音声源的方向是从中心位置向两侧渐变,测试者在依顺序测听的过程中,需要判断双耳刚好分辨不出声源方向的临界序列,记录下其对应的左耳和右耳的两个ILD临界值;
记录测试者感知到声源方向发生变化的临界测试音的具体方法为如下选择记录:
人耳感觉测试音与参考音声源方向是相同的,比对结果记录为0;
人耳感知到了测试音与参考音声源方向不同,则比对结果记录为1;
测试者对所有原始音测听结束后,记录下结果为0和1交界处且记录为1的测试序列的ILD值,通常为一正一负两个值。取两者的绝对值平均值作为ILD临界值。
步骤(4)完成后,由统计分析单元对所有频率和响度的ILD临界值做统计分析,即对各个响度级各个巴克带上所有测试者的ILD临界值结果做算数平均,得出其平均值,用直线连接即得出各响度级下的JND曲线。
一种用于权利要求1所述的方法的装置,其特征在于:它包括频率选取单元以及分别与频率选取单元相连的响度选取单元和原始音制作单元,ILD测试序列制作单元与原始音制作单元相连,统计分析单元与ILD测试序列制作单元相连。附图5所示为传统参数编码模型与参数临界感知编码模型比较图。
传统的参数编码模型中,信号经过变换模块后进行子带划分,分为64个子带。再对子带进行分组,通常分为10或20组。在参数编码模块中,所有的ILD参数采取全部编码或者全部不编码的策略。这两类的处理方法,要么忽略了ILD在不同操作单元具有的感知差异,浪费了参数编码码率,要么以编码音质的下降为代价而不处理双耳对强度差异的感知信息,从而使得编码信号中存在大量无法去除的主观冗余信息,降低编码压缩效率。
本发明的ILD临界感知模型可对传统参数编码模型进行改进。如参数临界感知编码模型所示,信号经过变换模块后,进入巴克划分模块将信号分为24个巴克带。在感知分组模块中,对于每一桢信号,需要编码判决模块对其进行判决,根据参数的临界感知统计特性决定是否需要进行编码。此过程不断循环进行。随着信号的帧数不断增加,感知分组结果越精细。最后输出需要进行ILD参数编码的N组信号。在编码与判决模型中,对这N组信号的ILD值进行编码。每一组内的ILD通过阈值判决模块决定其编码值以及码率分配。改编码方法不仅考虑到人耳的感知听觉特性,避免造成编码音质的严重下降,同时降低了参数的冗余,可以有效的提高编码效率。
空间心理声学指出,双耳声强差ILD在不同的频带下有不同的临界感知特性。一般来说,在中频和高频部分,人耳对ILD的感知会比较敏感,而在低频和超高频部分,人耳对ILD的感知特性相对不敏感。同时,不同响度级下ILD的临界感知特性也有所不同。通常来讲,人耳在响度级较高的情况下对ILD的感知特性要更敏感一些。
人耳存在一个较大的的听觉域,听觉频率范围一般为20Hz到20kHz,超过此频率范围的声音通常难以被人耳感知到。而在听觉范围内的不同频率下,人耳对声压级的可感知度也有所不同。当声音的强弱小到人的耳朵刚刚可听见时,称为听阈。它是稳态环境下纯音的可听觉水平,代表了不同频率下人耳可感知的最低声压级。即是在绝对安静的环境下,人耳也感知不到听阈之下的声压级范围。如果加大声音的强度,使它大到人的耳朵感到疼痛,这个阈值称为痛阈。在听阈和痛阈之间的区域就是人耳的听觉域。人耳听觉域是相当宽的,从声强上来看,相差1012倍以上。
响度是人耳听觉判别声音强度的等级概念。由于听觉具有复杂的强度特性,频率特性及时间特性,所以响度不仅取决于声压级,还与频率及瞬态时间特性有关。
依据上述特点,在实验中设定响度曲线时应充分考虑人耳的听觉特性,选取具有代表性的若干响度值进行实验。首先在人耳听觉域之内选定若干个响度,再与频率关联计算出各频带中心频率的声压级。声压级与频率确定后,可用于生成测试序列。
下面结合附图2,附图3和附图4对本发明实施例做进一步的说明,以便具体实施参考。
本发明实施例分频带参数提取系统包括二个模块:测试序列生成模块,如附图3所示,和主观实验模块,如附图4所示。
附图2的ILD原理图中,单频音信号S(t)通过两个不同的增益控制器g1与g2,使得进入左右耳的两个声道信号分别为:左耳g1*S(t)和右耳为g2*S(t)。此时的立体声信号为具有给定声强差的测试音,即对应不同ILD值的测试音。
具体实施过程中,如附图3的测试序列生成图所示,将输入信号的能量恒定式(公式1),结合ILD的定义式(公式2),可获得增益控制器g1的计算式(公式3)和g2的计算式(公式4),
g1 2+g2 2=1                 (公式1)
20log10(g1/g2)=ILD        (公式2)
g 1 = 1 1 + 10 - ILD / 10 (公式3)
g 2 = 1 1 + 10 ILD / 10 (公式4)
本实施例中的测试序列包括参考音和测试音。在第三步测试序列的制作中,保证始终只有ILD一个参数在发生变化,其它影响空间听觉的参数,如ITD值和IC值始终保持在中心位置不变,本实例中参考音是ILD=0,ITD=0,IC=1。测试音ITD=0,IC=1,ILD在[-9,9]之间,以步长1变化。
附图4的主观测听流程中,测试者对所有参考音和测试音进行主观测听。首先测试者要反复对参考音进行声源定位,将参考音的声源位置确定为中心位置。然后使ILD值逐渐增大,按顺序对测试音进行测听。当ILD值比较小时,人耳不容易听出测试音与参考音在声源方向上的差别。当人耳感觉测试音与参考音声源方向是相同的,比对结果记录为0;当人耳感知到测试音与参考音声源方向不同,则比对结果记录为1;测试者对所有原始音测听结束后,记录下结果为0和1交界处且记录为1的测试序列的ILD值,通常为一正一负两个值。取两者的绝对值平均值作为ILD临界值。
对所有频率所有响度的测试序列都按如上方法进行测试,统计所有测试数据可绘制双耳声强差ILD的JND曲线。

Claims (8)

1.一种双耳声强差ILD临界感知特性的测量方法,其特征在于,包括以下步骤:
步骤1、由响度选取单元确定各个响度级选取,由频率选取单元确定频带划分规则以及所有测试音的频率;
步骤2、由原始音制作单元将步骤1中选取的响度换算成声压级,并根据步骤1中选取的频率和本步骤换算后的声压级制作各响度级以及各频率下的原始音;
步骤3、输入各响度级各频率下的原始音,由ILD测试序列制作单元对每个原始音设定至少两个ILD值,制作测试序列,其中一个ILD值对应参考音,其他作为测试音。
步骤4、测试者对步骤3中所有测试序列进行主观测试,记录其感知到声源方向发生变化的临界测试音。
2.根据权利要求1所述的双耳声强差ILD临界感知特性的测量方法,其特征在于:在步骤1中,响度级在人耳听觉域内选取,听觉域范围为20Hz~20KHz,频带划分采用Bark带划分规则,测试音频率选取每个Bark带中心频率。
3.根据权利要求1所述的双耳声强差ILD临界感知特性的测量方法,其特征在于:在步骤3中,所述的对原始音设定的ILD值,正值代表左声道比右声道强,负值代表右声道比左声道强,参数设置为ILD=0的测试音作为参考音。
4.根据权利要求3所述的双耳声强差ILD临界感知特性的测量方法,其特征在于:在步骤3中,对每个原始音制作测试音和参考音时设定ITD=0,IC=1。
5.根据权利要求1所述的双耳声强差ILD临界感知特性的测量方法,其特征在于:在步骤4中,主观测试的具体方法为:对每个原始音,测试者首先反复对参考音进行声源定位,将参考音的声源位置确定为中心位置,然后使ILD值从0开始分别向正数和负数两边逐渐变化,并对相应的测试音进行测听。
6.根据权利要求5所述的双耳声强差ILD临界感知特性的测量方法,其特征在于:所述步骤4中所述记录测试者感知到声源方向发生变化的临界测试音的具体方法为如下选择记录:
人耳感觉测试音与参考音声源方向是相同的,比对结果记录为0;
人耳感知到了测试音与参考音声源方向不同,则比对结果记录为1;
测试者对所有原始音测听结束后,记录下结果为0和1的交界处的两个记录为1的测试序列的ILD值,取两者的绝对平均值作为ILD临界值。
7.根据权利要求1所述的双耳声强差ILD临界感知特性的测量方法,其特征在于:所述的步骤4完成后,由统计分析单元对所有频率和响度的ILD临界值做统计分析,获取JND曲线族。
8.一种用于权利要求1所述的方法的装置,其特征在于:它包括频率选取单元以及分别与频率选取单元相连的响度选取单元和原始音制作单元,ILD测试序列制作单元与原始音制作单元相连,统计分析单元与ILD测试序列制作单元相连。
CN2008101978891A 2008-11-26 2008-11-26 双耳声强差ild临界感知特性的测量方法及其装置 Expired - Fee Related CN101408614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101978891A CN101408614B (zh) 2008-11-26 2008-11-26 双耳声强差ild临界感知特性的测量方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101978891A CN101408614B (zh) 2008-11-26 2008-11-26 双耳声强差ild临界感知特性的测量方法及其装置

Publications (2)

Publication Number Publication Date
CN101408614A true CN101408614A (zh) 2009-04-15
CN101408614B CN101408614B (zh) 2011-09-14

Family

ID=40571708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101978891A Expired - Fee Related CN101408614B (zh) 2008-11-26 2008-11-26 双耳声强差ild临界感知特性的测量方法及其装置

Country Status (1)

Country Link
CN (1) CN101408614B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637432A (zh) * 2012-03-20 2012-08-15 武汉大学 三维音频编码中双耳线索感知特性的自适应测量方法
CN107320109A (zh) * 2017-06-23 2017-11-07 佛山博智医疗科技有限公司 频率识别测试方法
CN110574289A (zh) * 2017-05-04 2019-12-13 哈曼国际工业有限公司 用于调整音频信号的方法和装置以及音频系统
CN111948609A (zh) * 2020-08-26 2020-11-17 东南大学 基于Soft-argmax回归器的双耳声源定位方法
RU2793703C2 (ru) * 2018-10-26 2023-04-04 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Обработка аудиоданных на основе карты направленной громкости

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149925B (zh) * 2007-11-06 2011-02-16 武汉大学 一种用于参数立体声编码的空间参数选取方法
CN101188878B (zh) * 2007-12-05 2010-06-02 武汉大学 立体声音频信号的空间参数量化及熵编码方法和所用系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637432A (zh) * 2012-03-20 2012-08-15 武汉大学 三维音频编码中双耳线索感知特性的自适应测量方法
CN102637432B (zh) * 2012-03-20 2013-12-18 武汉大学 三维音频编码中双耳线索感知特性的自适应测量方法
CN110574289A (zh) * 2017-05-04 2019-12-13 哈曼国际工业有限公司 用于调整音频信号的方法和装置以及音频系统
CN110574289B (zh) * 2017-05-04 2024-02-13 哈曼国际工业有限公司 用于调整音频信号的方法和装置以及音频系统
CN107320109A (zh) * 2017-06-23 2017-11-07 佛山博智医疗科技有限公司 频率识别测试方法
CN107320109B (zh) * 2017-06-23 2019-12-10 佛山博智医疗科技有限公司 频率识别测试方法
RU2793703C2 (ru) * 2018-10-26 2023-04-04 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Обработка аудиоданных на основе карты направленной громкости
CN111948609A (zh) * 2020-08-26 2020-11-17 东南大学 基于Soft-argmax回归器的双耳声源定位方法
CN111948609B (zh) * 2020-08-26 2022-02-18 东南大学 基于Soft-argmax回归器的双耳声源定位方法

Also Published As

Publication number Publication date
CN101408614B (zh) 2011-09-14

Similar Documents

Publication Publication Date Title
US8612237B2 (en) Method and apparatus for determining audio spatial quality
CN102652337B (zh) 用于声通信的设备和方法
Nilsson A-weighted sound pressure level as an indicator of short-term loudness or annoyance of road-traffic sound
CN101188878B (zh) 立体声音频信号的空间参数量化及熵编码方法和所用系统
KR100829870B1 (ko) 멀티채널 오디오 압축 코덱의 음질 평가 장치 및 그 방법
CN101149925B (zh) 一种用于参数立体声编码的空间参数选取方法
CN101408615B (zh) 双耳时间差itd临界感知特性的测量方法及其装置
KR101170524B1 (ko) 음질측정 방법, 음질측정 장치, 음질측정 프로그램 기록매체
CN105164749B (zh) 多声道音频的混合编码
JP2009500656A (ja) オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
MX2007010636A (es) Dispositivo y metodo para generar una senal estereofonica codificada de una pieza de audio o corriente de datos de audio.
US8879762B2 (en) Method and apparatus to evaluate quality of audio signal
CN103262158B (zh) 对解码的多声道音频信号或立体声信号进行后处理的装置和方法
CN101408614B (zh) 双耳声强差ild临界感知特性的测量方法及其装置
CN101243491A (zh) 用于编码和解码音频信号的装置及其方法
CN101695148A (zh) 一种用于数字助听器的多通道宽动态范围压缩系统
JP2022526271A (ja) ラウドネスレベルを制御するオーディオ信号処理方法及び装置
CN102737647A (zh) 双声道音频音质增强编解码方法及装置
CN107170468A (zh) 一种基于两层模型的多声道音频质量评价方法
Lee et al. Effect of listening level and background noise on the subjective decay rate of room impulse responses: Using time-varying loudness to model reverberance
US9311925B2 (en) Method, apparatus and computer program for processing multi-channel signals
KR20080051042A (ko) 상호상관을 이용한 다채널 오디오 신호 복호화 장치 및 그방법
CN101419801B (zh) 分频带测量耳间相关度感知特性的方法及其装置
CN103035250A (zh) 音频编码装置
CN106653035B (zh) 数字音频编码中码率分配的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110914

Termination date: 20141126

EXPY Termination of patent right or utility model