CN105979441A - 一种用于3d音效耳机重放的个性化优化方法 - Google Patents
一种用于3d音效耳机重放的个性化优化方法 Download PDFInfo
- Publication number
- CN105979441A CN105979441A CN201610333786.8A CN201610333786A CN105979441A CN 105979441 A CN105979441 A CN 105979441A CN 201610333786 A CN201610333786 A CN 201610333786A CN 105979441 A CN105979441 A CN 105979441A
- Authority
- CN
- China
- Prior art keywords
- hrtf
- audio
- user
- training
- training module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000000694 effects Effects 0.000 title claims abstract description 16
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 7
- 230000001815 facial effect Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 4
- 230000013707 sensory perception of sound Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000219315 Spinacia Species 0.000 description 1
- 235000009337 Spinacia oleracea Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开一种用于3D音效耳机重放的个性化优化方法，该方法基于包含人头传递函数(HRTF)数据库，对人的听音效果进行有效的训练，根据训练结果在HRTF数据库中匹配相应HRTF，然后，根据用户的体验效果和使用中的反馈信息微调HRTF，使得匹配并修正后的HRTF更好地满足听音者的3D音效需求，具有一定的个性化功能。该发明解决不同的耳机和不同的听者在使用3D耳机时，重放不同的虚拟声学环境的音效时出现的差异化问题，显著提高3D音效耳机的重放效果。
Description
技术领域
本发明涉及电声技术领域，具体涉及一种用于3D音效耳机重放的个性化优化方法。
背景技术
3D音效耳机采用相同的人头传递函数(HRTF)对音源进行处理，在耳机的双耳扬声器端产生具有特定声场信息的声信号，使听者感知到具有方位感的声学信号，进而产生3D音效(CN105263075A，一种带方位传感器耳机及其3D声场还原方法，CN 102665156B，一种基于耳机的虚拟3d重放方法)。传统的3D音效耳机所使用的HRTF往往是在专业消声室环境中采用人工头测试系统采集并分析得到的(CN101483797A，一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备)。使用该类HRTF虽然能够产生一定的声像信息和方位感，忽略了人耳的差异性，也忽略了耳机本身的差异性，听者对声源的方位信息感知出现偏差，降低了用户的3D音效体验(钟小丽、谢菠荪，2012，个性化头相关传输函数的近似获取——现状和问题，应用声学，31(6)，410-415)。这就需要对听者的HRTF进行必要的修正，甚至专门对特定听者定制HRTF。传统针对特定人的HRTF的专业测量需要使用消声室和人工头测试系统，并且费时又费力，该方法不可能用于消费类产品。因此，如何根据耳机的本身的特性以及使用者的特征进行快速有效的HRTF的定制和修正，提高3D耳机的听音效果，是本发明所要解决的问题。
发明内容
为了解决不同的耳机和不同的听者在使用3D耳机重放不同的虚拟声学环境的音效时出现的差异化问题，本发明提出了一种3D音效耳机重放的个性化优化方案。
本发明的技术方案如下：
一种用于3D音效耳机重放的个性化优化方法，包括：
服务器或本地设备存储了大量的HRTF构成HRTF数据库，这些HRTF涵盖了具有不同生理特征的人的HRTF，这些生理特征包括耳廓形状、头部特征和面部特征；
根据用户的实际听音感受进行训练；
根据训练结果对HRTF数据库进行匹配，选择合适的HRTF；
根据训练结果对匹配得到的HRTF进行微调。
其中，所述3D音效耳机重放个性化方法中，服务器所包含的HRTF数据库，该数据库的HRTF可以是但不限于：
1)通过专业方法实测得到的HRTF；
2)通过模型仿真和数值计算得到的HRTF；
3)根据用户使用反馈信息修正得到的HRTF；
4)其它机构或者用户共享的HRTF。
其中，所述3D音效耳机重放个性化方法包括训练模块，该训练模块可以通过蓝牙或者wifi等无线连接方案与控制台进行连接。
进一步的，控制台可以是硬件控制平台，也可以是在通用终端设备上实现的应用程序。
进一步的，在训练过程中，给耳机加载标准的或通用的HRTF参数，使用预先设定的标准音源放音。
其中，放音的内容包括基于当前HRTF的各个方向的3D音效，包括不同方向、不同仰角和不同的距离信息。在每次放音完成之后，让用户选择或判断感知到的方向、仰角和距离。系统将用户选择得到的参数与实际的参数进行比对，从而从HRTF数据库选择更为适合的HRTF。
进一步的，所示3D音效耳机重放个性化方法的训练模块可以在本地对匹配得到的HRTF进行微调。
进一步的，微调训练的过程可以通过播放相同音源但处理方式不同的声音，让用户选择效果最佳的声音来完成。
进一步的，微调的目标包括但不限于：
1)控制左右耳的时延，改进3D音效的方向和仰角的体验；
2)平衡左右耳能量感知的增益调整；
3)左右耳的交叉混音控制；
4)音效均衡和混响控制。
本发明的有益效果：
本发明公开一种用于3D音效耳机重放的个性化优化方法，该方法基于包含人头传递函数(HRTF)数据库，对人的听音效果进行有效的训练，根据训练结果在HRTF数据库中匹配相应HRTF，然后，根据用户的体验效果和使用中的反馈信息微调HRTF，使得匹配并修正后的HRTF更好地满足听音者的3D音效需求，具有一定的个性化功能。该发明解决不同的耳机和不同的听者在使用3D耳机时，重放不同的虚拟声学环境的音效时出现的差异化问题，显著提高3D音效耳机的重放效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种用于3D音效耳机重放的个性化优化方法流程图；
图2是本发明一种用于3D音效耳机重放的个性化优化方法结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，其为本发明一种用于3D音效耳机重放的个性化优化方法的流程图。
在步骤[101]中，通过实际测量、仿真和数值计算得到大量的HRTF，在远端云服务器中建立HRTF数据库(3)；
在步骤[102]中，打开训练模块(4)，通过蓝牙或wifi与控制台(2)进行连接，该控制台(2)通过手机应用来实现，预设各种先验参数，并根据该先验参数在3D音效耳机(1)中加载适合的HRTF。
其中，在手机应用中或者耳机(1)中让用户对影响3D音效的生理特征，如耳廓形状、头部特征和面部特征等，进行初步设置。如脸型横向宽、中、窄和纵向长、中、短，共9种组合方式。
在步骤[103]中，用户将训练模块(4)与具有3D音效的耳机(1)相连接，保证训练模块可以实时地更新的HRTF(5)。
在步骤[104]中，在训练模块(4)控制下，耳机(1)通过HRTF对标准音源(6)进行处理，按照顺序播放各种3D音效，在用户未知实际加载的3D音效的方向、仰角和距离的情况下，进行下述操作：
1)让用户通过控制台(2)来选择或判断所感知到的3D音效的方向、仰角和距离；
2)如果3D音效耳机中含有方位角度信息(7)，如耳机包含陀螺仪、加速度计等，则用户通过简单转动头部以确定所感知到的3D音效的方向、仰角。
在步骤[105]中，训练模块(4)实时比对加载的3D音效的方向、仰角和距离与用户选择的3D音效的方向、仰角和距离的差别，进而估算用户可能影响3D音效听音效果的生理特征，这些生理特征包括耳廓形状、头部特征和面部特征等。
在步骤[106]中，训练模块(4)根据实时比对所估算的用户生理特征，这些生理特征包括耳廓形状、头部特征和面部特征等，在HRTF数据库(3)中选择和匹配适合的HRTF，并在用户未觉察的情况下更新HRTF(5)，继续进行训练和比对。当比对的结果正确度较高时，进入步骤[107]，否则，返回步骤[104]。
在步骤[107]中，训练模块(4)通过播放各种声源信号的不同处理结果，让用户通过控制台(2)选择最为满意的结果，根据用户选择结果，微调已匹配的HRTF(5)，使用户3D音效的主观听音感受达到最佳。其中，微调的参数包括：
1)控制左右耳的时延，改进3D音效的方向和仰角的体验；
2)平衡左右耳能量感知的增益调整；
3)左右耳的交叉混音控制；
4)音效均衡和混响控制。
在步骤[108]中，在3D音效耳机(1)和控制台(2)中固化微调后的HRTF，使其作为特定用户的专用个性化HRTF。
以上对本发明实施例所提供的一种用于3D音效耳机重放的个性化优化方法进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，因此，本说明书内容不应理解为对本发明的限制。
Claims (2)
1.一种用于3D音效耳机重放的个性化优化方法，其特征在于：
该系统包含训练模块(4)，该训练模块(4)用于对用户的人头传递函数(HRTF)进行匹配和修正，使得用户使用3D音效耳机的舒适度和方位感知准确度明显提升。其中，服务器或本地设备存储了大量的HRTF构成HRTF数据库(3)，这些HRTF涵盖了具有不同生理特征的人的HRTF，这些生理特征包括耳廓形状、头部特征和面部特征等；根据用户的实际听音感受进行在线训练；根据训练的效果对服务器中的HRTF数据库(3)进行匹配，匹配最佳的HRTF；根据训练结果对匹配得到的HRTF进行微调。
2.如权利要求1所述的用于3D音效耳机重放的个性化优化方法，其特征在于：
1)在训练模块(4)控制下，耳机(1)通过HRTF对标准音源(6)进行处理，按照顺序播放各种3D音效，在用户未知实际加载的3D音效的方向、仰角和距离的情况下，让用户选择或判断所感知到的3D音效的方向、仰角和距离；
2)训练模块(4)比对加载的3D音效的方向、仰角和距离与用户选择的3D音效的方向、仰角和距离的差别，进而估算用户可能影响3D音效效果的生理特征，这些生理特征包括耳廓形状、头部特征和面部特征等；
3)训练模块(4)根据实时比对所估算的用户生理特征，这些生理特征包括耳廓形状、头部特征和面部特征等，在HRTF数据库(3)中匹配最佳的HRTF；
4)训练模块(4)通过播放各种声源信号的不同处理结果，让用户通过控制台(2)选择最为满意的结果，根据用户选择结果，微调已匹配的HRTF(5)，使用户3D音效的主观听音感受达到最优。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610333786.8A CN105979441B (zh) | 2016-05-17 | 2016-05-17 | 一种用于3d音效耳机重放的个性化优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610333786.8A CN105979441B (zh) | 2016-05-17 | 2016-05-17 | 一种用于3d音效耳机重放的个性化优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105979441A true CN105979441A (zh) | 2016-09-28 |
| CN105979441B CN105979441B (zh) | 2017-12-29 |
Family
ID=56955383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610333786.8A Active CN105979441B (zh) | 2016-05-17 | 2016-05-17 | 一种用于3d音效耳机重放的个性化优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105979441B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106303832A (zh) * | 2016-09-30 | 2017-01-04 | 歌尔科技有限公司 | 扬声器及提高指向性的方法、头戴式设备及方法 |
| CN106535043A (zh) * | 2016-11-18 | 2017-03-22 | 华南理工大学 | 一种基于生理特征的全频段3d虚拟声定制方法及装置 |
| CN107621625A (zh) * | 2017-06-23 | 2018-01-23 | 桂林电子科技大学 | 基于双微麦克风阵的声源定位方法 |
| CN107734428A (zh) * | 2017-11-03 | 2018-02-23 | 中广热点云科技有限公司 | 一种3d音频播放设备 |
| CN108076400A (zh) * | 2016-11-16 | 2018-05-25 | 南京大学 | 一种用于3d音效耳机重放的校准与优化方法 |
| CN108154180A (zh) * | 2017-12-25 | 2018-06-12 | 内蒙古科技大学 | 个性化头部传递函数的选择方法及装置 |
| CN108616789A (zh) * | 2018-04-11 | 2018-10-02 | 北京理工大学 | 基于双耳实时测量的个性化虚拟音频回放方法 |
| CN109151704A (zh) * | 2017-06-15 | 2019-01-04 | 宏达国际电子股份有限公司 | 音讯处理方法、音频定位系统以及非暂态电脑可读取媒体 |
| CN111935583A (zh) * | 2020-08-24 | 2020-11-13 | Oppo（重庆）智能科技有限公司 | 耳机模式控制方法、装置、终端设备、系统以及存储介质 |
| CN112153552A (zh) * | 2020-09-10 | 2020-12-29 | 海菲曼（天津）科技有限公司 | 一种基于音频分析的自适应立体声系统 |
| CN112313969A (zh) * | 2018-08-06 | 2021-02-02 | 脸谱科技有限责任公司 | 基于监视到的针对音频内容的响应定制头部相关传递函数 |
| CN113905323A (zh) * | 2021-10-28 | 2022-01-07 | 南京南大电子智慧型服务机器人研究院有限公司 | 适用于服务型机器人播放音频时的感知声源高度修正方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060056638A1 (en) * | 2002-09-23 | 2006-03-16 | Koninklijke Philips Electronics, N.V. | Sound reproduction system, program and data carrier |
| CN102413414A (zh) * | 2010-10-13 | 2012-04-11 | 微软公司 | 用于扩展现实的高精度3维音频的系统和方法 |
| CN102939771A (zh) * | 2010-04-12 | 2013-02-20 | 阿嘉米斯 | 用于依照形态参数在数据库中选择感知最优的hrtf滤波器的方法 |
| CN104284286A (zh) * | 2013-07-04 | 2015-01-14 | Gn瑞声达A/S | 个体hrtf的确定 |
| CN104394499A (zh) * | 2014-11-21 | 2015-03-04 | 华南理工大学 | 基于视听交互的虚拟声重放校正装置及方法 |
| CN104618843A (zh) * | 2013-11-05 | 2015-05-13 | 奥迪康有限公司 | 包括头部相关传递函数数据库的双耳助听系统 |
| CN104967952A (zh) * | 2015-06-30 | 2015-10-07 | 大连理工大学 | 一种基于hrtf结构化模型与主观反馈的个性化方法 |
-
2016
- 2016-05-17 CN CN201610333786.8A patent/CN105979441B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060056638A1 (en) * | 2002-09-23 | 2006-03-16 | Koninklijke Philips Electronics, N.V. | Sound reproduction system, program and data carrier |
| CN102939771A (zh) * | 2010-04-12 | 2013-02-20 | 阿嘉米斯 | 用于依照形态参数在数据库中选择感知最优的hrtf滤波器的方法 |
| CN102413414A (zh) * | 2010-10-13 | 2012-04-11 | 微软公司 | 用于扩展现实的高精度3维音频的系统和方法 |
| CN104284286A (zh) * | 2013-07-04 | 2015-01-14 | Gn瑞声达A/S | 个体hrtf的确定 |
| CN104618843A (zh) * | 2013-11-05 | 2015-05-13 | 奥迪康有限公司 | 包括头部相关传递函数数据库的双耳助听系统 |
| CN104394499A (zh) * | 2014-11-21 | 2015-03-04 | 华南理工大学 | 基于视听交互的虚拟声重放校正装置及方法 |
| CN104967952A (zh) * | 2015-06-30 | 2015-10-07 | 大连理工大学 | 一种基于hrtf结构化模型与主观反馈的个性化方法 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106303832A (zh) * | 2016-09-30 | 2017-01-04 | 歌尔科技有限公司 | 扬声器及提高指向性的方法、头戴式设备及方法 |
| US11128945B2 (en) | 2016-09-30 | 2021-09-21 | Goertek Inc. | Loudspeaker and method for improving directivity, head-mounted device and method |
| CN106303832B (zh) * | 2016-09-30 | 2019-12-27 | 歌尔科技有限公司 | 扬声器及提高指向性的方法、头戴式设备及方法 |
| CN108076400A (zh) * | 2016-11-16 | 2018-05-25 | 南京大学 | 一种用于3d音效耳机重放的校准与优化方法 |
| CN106535043A (zh) * | 2016-11-18 | 2017-03-22 | 华南理工大学 | 一种基于生理特征的全频段3d虚拟声定制方法及装置 |
| CN106535043B (zh) * | 2016-11-18 | 2019-03-05 | 华南理工大学 | 一种基于生理特征的全频段3d虚拟声定制方法及装置 |
| CN109151704A (zh) * | 2017-06-15 | 2019-01-04 | 宏达国际电子股份有限公司 | 音讯处理方法、音频定位系统以及非暂态电脑可读取媒体 |
| CN109151704B (zh) * | 2017-06-15 | 2020-05-19 | 宏达国际电子股份有限公司 | 音讯处理方法、音频定位系统以及非暂态电脑可读取媒体 |
| CN107621625B (zh) * | 2017-06-23 | 2020-07-17 | 桂林电子科技大学 | 基于双微麦克风阵的声源定位方法 |
| CN107621625A (zh) * | 2017-06-23 | 2018-01-23 | 桂林电子科技大学 | 基于双微麦克风阵的声源定位方法 |
| CN107734428A (zh) * | 2017-11-03 | 2018-02-23 | 中广热点云科技有限公司 | 一种3d音频播放设备 |
| CN108154180A (zh) * | 2017-12-25 | 2018-06-12 | 内蒙古科技大学 | 个性化头部传递函数的选择方法及装置 |
| CN108616789B (zh) * | 2018-04-11 | 2021-01-01 | 北京理工大学 | 基于双耳实时测量的个性化虚拟音频回放方法 |
| CN108616789A (zh) * | 2018-04-11 | 2018-10-02 | 北京理工大学 | 基于双耳实时测量的个性化虚拟音频回放方法 |
| CN112313969A (zh) * | 2018-08-06 | 2021-02-02 | 脸谱科技有限责任公司 | 基于监视到的针对音频内容的响应定制头部相关传递函数 |
| CN111935583A (zh) * | 2020-08-24 | 2020-11-13 | Oppo（重庆）智能科技有限公司 | 耳机模式控制方法、装置、终端设备、系统以及存储介质 |
| CN111935583B (zh) * | 2020-08-24 | 2022-09-27 | Oppo（重庆）智能科技有限公司 | 耳机模式控制方法、装置、终端设备、系统以及存储介质 |
| CN112153552A (zh) * | 2020-09-10 | 2020-12-29 | 海菲曼（天津）科技有限公司 | 一种基于音频分析的自适应立体声系统 |
| CN112153552B (zh) * | 2020-09-10 | 2021-12-17 | 头领科技（昆山）有限公司 | 一种基于音频分析的自适应立体声系统 |
| CN113905323A (zh) * | 2021-10-28 | 2022-01-07 | 南京南大电子智慧型服务机器人研究院有限公司 | 适用于服务型机器人播放音频时的感知声源高度修正方法 |
| CN113905323B (zh) * | 2021-10-28 | 2024-01-23 | 南京南大电子智慧型服务机器人研究院有限公司 | 适用于服务型机器人播放音频时的感知声源高度修正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105979441B (zh) | 2017-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105979441A (zh) | 一种用于3d音效耳机重放的个性化优化方法 | |
| CN105684467B (zh) | 使用元数据处理的耳机的双耳呈现 | |
| CN106797525B (zh) | 用于生成和回放音频信号的方法和设备 | |
| US8587631B2 (en) | Facilitating communications using a portable communication device and directed sound output | |
| AU2001239516B2 (en) | System and method for optimization of three-dimensional audio | |
| CN106535059B (zh) | 重建立体声的方法和音箱及位置信息处理方法和拾音器 | |
| CN111294724B (zh) | 多个音频流的空间重新定位 | |
| US9769585B1 (en) | Positioning surround sound for virtual acoustic presence | |
| CN105210387A (zh) | 用于提供三维增强音频的系统和方法 | |
| AU2001239516A1 (en) | System and method for optimization of three-dimensional audio | |
| JP2020506639A (ja) | オーディオ信号処理方法及び装置 | |
| US11418903B2 (en) | Spatial repositioning of multiple audio streams | |
| CN108076400A (zh) | 一种用于3d音效耳机重放的校准与优化方法 | |
| CN106792365A (zh) | 一种音频播放方法及装置 | |
| US20040141622A1 (en) | Visualization of spatialized audio | |
| US20120101609A1 (en) | Audio Auditioning Device | |
| US20200275232A1 (en) | Transfer function dataset generation system and method | |
| US11985494B2 (en) | Apparatus for providing audio data to multiple audio logical devices | |
| WO2022215025A1 (en) | Apparatus for providing audio data to multiple audio logical devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |