CN108805104A - 个性化hrtf获取系统 - Google Patents
个性化hrtf获取系统 Download PDFInfo
- Publication number
- CN108805104A CN108805104A CN201810696492.0A CN201810696492A CN108805104A CN 108805104 A CN108805104 A CN 108805104A CN 201810696492 A CN201810696492 A CN 201810696492A CN 108805104 A CN108805104 A CN 108805104A
- Authority
- CN
- China
- Prior art keywords
- hrtf
- characteristic angle
- parameter
- data
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种个性化HRTF获取系统,包含预处理模块和HRTF获取模块,所述预处理模块用于将采集到的使用者的生理参数与“关键人体参数与特征角度HRTF映射网络”进行匹配,获取与该使用者匹配的特征角度HRTF数据;HRTF获取模块用于首先将获取的与使用者匹配的特征角度HRTF数据作为训练样本,通过径向基神经网络训练,得到“空间位置信息与特征角度HRTF数据映射网络”;再将输入的方位角度信息与“空间位置信息与特征角度HRTF数据映射网络”进行匹配,获得对应的个性化HRTF数据。本发明可以获取针对不同个体在任意角度上匹配的HRTF数据,从而解决对高空间分辨率和个性化的需求。
Description
技术领域
本发明涉及于三维虚拟声合成技术领域,是一种高空间分辨率的个性化 HRTF获取系统,可以获取针对不同个体在任意角度上匹配的HRTF数据。
背景技术
头相关传输函数(HRTF)是虚拟声合成的核心技术,它描述的是自由场下 声源到双耳之间的传输函数,是人体结构对声波综合滤波的结果,包含着关于 声源定位的大部分信息。HRTF是与空间位置信息和人体参数有关的物理量。
一方面,由于HRTF数据和人体生理参数关系联系比较紧密,不同的生理参 数所对应的HRTF数据各不相同。它表征了声音从声源到双耳传输过程中人体 各个生理器官,如头部、耳廓、肩膀、躯干等对声音综合滤波的结果。不同听 者具有不同的个性化生理参数,所以HRTF是一个因人而异的个性化物理量。 个性化HRTF可以通过实验室测量或数值计算获取。但是,由于实验计算获取 HRTF十分耗时耗力,一般在很多虚拟声的应用中,都退而求其次使用固定单一 的HRTF数据库,这必然会影响到声像定位的精度和效果。
另一方面,现有的HRTF数据库大多都存在空间分辨率不高的问题。完整的 HRTF数据测量需要对所有不同声源位置进行测量,即便是远场的HRTF,虽然 测量时声源的距离是固定不变的,但对不同声源空间方向进行测量也是一个十 分耗时的工作,通常需要对成百上千个空间方向进行测量。正是由于这种复杂 性,HRTF的测量都是在一些事先设定好的有限方位上进行的。目前国内外多个 机构已经完成HRTF数据测量,但测量角度方位都很有限,如麻省理工学院多 媒体实验室(MIT Media Lab)的KEMAR人工头数据库,在水平角上的测量间隔 是5°,在仰角上也是-40°到90°非均匀采集的;加州大学CIPIC实验室的数 据库中仅在-45°到45°之间是均匀采集的。
人体生理参数和空间方位角度信息是影响HRTF数据和定位效果的两大因素, 目前尚未有方法同时获取高分辨的个性化HRTF数据。
发明内容
本发明的发明目的在于提供了一种个性化HRTF获取系统,可以获取针对 不同个体在任意角度上匹配的HRTF数据,从而解决对高空间分辨率和个性化 的需求。
本发明的发明目的通过以下技术方案实现:
一种个性化HRTF获取系统,包含预处理模块和HRTF获取模块,其中:
所述预处理模块用于将采集到的使用者的生理参数与“关键人体参数与特 征角度HRTF映射网络”进行匹配,获取与该使用者匹配的特征角度HRTF数据;
HRTF获取模块用于首先将获取的与使用者匹配的特征角度HRTF数据作为 训练样本,通过径向基神经网络训练,得到“空间位置信息与特征角度HRTF数 据映射网络”;再将输入的方位角度信息与“空间位置信息与特征角度HRTF数 据映射网络”进行匹配,获得对应的个性化HRTF数据。
优选地,所述使用者的生理参数包含耳甲腔长、耳长、耳宽、耳屏切迹、 头宽、颈深、肩宽和外耳张角。
优选地,所述“关键人体参数与特征角度HRTF映射网络”通过以下方式获 取:
步骤一,分析人体参数与HRTF的相关性,根据相关性获取关键人体参数;
步骤二,利用局部线形嵌入的方法将HRTF数据映射到二维空间,在二维空 间得到HRTF的局部线性特征后提取特征角度HRTF;
步骤三,利用步骤一中得到的关键人体参数和步骤二中得到的特征角度 HRTF作为训练样本,利用BP神经网络,计算得到关键人体参数与特征角度 HRTF之间的映射关系。
优选地,所述步骤二中在二维空间得到HRTF的局部线性特征后提取特征角 度HRTF具体做法为:在二维空间,通过对二维流形的边缘两点进行直线拟合, 添加新的数据点后,下一点与前一段直线进行拟合,在计算出本段直线斜率与 前一段直线斜率的误差δi后,将误差δi与设定的允许误差δ进行比较,若满足δi≤δ 则认为两段直线端点之间仍是线性关系,反之,不是线性关系则将这一点所对 应的高维HRTF数据作为特征角度的HRTF。
优选地,个性化HRTF获取系统还包含生理参数采集模块,用于采集使用者 的正面与侧面的上身图像,通过图像处理获取生理参数,将生理参数输入到预 处理模块中。
附图说明
图1:本发明的结构示意图;
图2A:生理参数中关键头部示意图;
图2B:生理参数中躯干参数示意图;
图2C:生理参数中关键耳廓参数示意图一;
图2D:生理参数中关键耳廓参数示意图二;
图3:实验获取的分辨率5°的原始HRTF数据;
图4:本发明获得的分辨率1°的高分辨率HRTF数据。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。本实施例中HRTF数 据库以美国CIPIC实验室所提供的HRTF数据库为例。
参见图1所示,本实施例提供的个性化HRTF获取系统,包含预处理模块和 HRTF获取模块。
预处理模块用于将采集到的使用者的生理参数与“关键人体参数与特征角 度HRTF映射网络”进行匹配,获取与该使用者匹配的特征角度HRTF数据。
“关键人体参数与特征角度HRTF映射网络”为预先建立好,存储在预处理 模块中,“关键人体参数与特征角度HRTF映射网络”可以通过以下步骤建立:
步骤1.1,分析人体参数与HRTF的相关性,根据相关性获取关键人体参数。 具体为:
实际对使用者不可能测量全部的生理参数信息,需选择主要影响HRTF的几 个关键生理参数。采用相关性分析:
(1)式中,X为人体参数矩阵;Y为HRTF矩阵或者人体参数矩阵;r为计算 得出的相关系数;当Y为人体参数矩阵时,得到的r为每个人体参数之间的相 关系数,取r较小的人体参数;当Y为HRTF矩阵时,得到的r为每个人体参数 与HRTF之间的相关系数,取r较大的人体参数;N为数据集的大小,当Y为 人体参数矩阵时,i表示从人体参数的索引;当Y为HRTF矩阵时,i表示某个 方向上HRTF数据的索引。
使用CIPIC数据库提供的35个无损受试者的27个生理参数信息,经过对所 有受试者样本数据分析,关键生理参数选定为d1耳甲腔长,d5耳长,d6耳宽,d7耳 屏切迹,x1头宽,x8颈深,x12肩宽,θ2外耳张角,参见图2A、2B、2C、2D所示。
步骤1.2,利用局部线形嵌入的方法将HRTF数据映射到二维空间,在二维 空间得到HRTF的局部线性特征后提取特征角度HRTF。
HRTF数据在邻近角度具有局部线性特征,为了准确获取这种局部线性特征, 利用局部线形嵌入的方法将高维空间的HRTF数据映射到二维空间中,可以在 二维空间中较为容易地观察邻近角度HRTF具体的局部线性特征。在得到HRTF 的局部线性特征后,就可以提取特征角度HRTF,具体做法为:在二维空间,通 过对二维流形的边缘两点进行直线拟合,添加新的数据点后,下一点与前一段 直线进行拟合,在计算出本段直线斜率与前一段直线斜率的误差δi后,将其与设 定的允许误差δ进行比较,若满足δi≤δ则可以认为两段直线端点之间仍是线性关 系。反之,不是线性关系则将这一点所对应的高维HRTF数据作为特征角度的HRTF。通过对特征角度HRTF的提取,能够对原始HRTF数据进行压缩,达到 减少存储量的目的,同时,人体参数与HRTF数据之间映射关系的计算量也会 降低。
步骤1.3,关键人体参数和特征角度HRTF数据映射。
利用步骤1.1中相关性分析得到的关键人体参数数据和步骤1.2中得到的特 征角度HRTF作为训练样本,利用BP神经网络,计算得到关键人体参数与特征 角度HRTF之间的映射关系,从而得到“关键人体参数与特征角度HRTF映射网 络”。
HRTF获取模块用于首先将获取的与使用者匹配的特征角度HRTF数据作为 训练样本,通过径向基神经网络训练,得到“空间位置信息与特征角度HRTF数 据映射网络”;再将输入的方位角度信息与“空间位置信息与特征角度HRTF数 据映射网络”进行匹配,获得对应的个性化HRTF数据。HRTF获取模块采用在线 处理,具体为:
步骤2.1,将获取的匹配特征角HRTF数据作为训练样本,通过径向基神经 网络训练,得到空间位置信息与其对应HRTF数据的映射关系。即通过K均值 聚类方法确定隐含层高斯函数的聚类中心xj,隐含层高斯函数为:
其中K为聚类中心的个数。所有的隐含层的输出为Φ(xi),输出层的训练样本 为其中di为目标HRTF数据。再通过递推最小二乘方法对输出层训练 样本进行训练,得到权值向量wj的更新。从而最终构造出映射关系的逼 近数学形式:
步骤2.2,输入所需方位角信息获取对应个性化HRTF数据。
在个性化HRTF获取系统中,还可以设置一个生理参数采集模块,使用者通 过摄像头或提供正面与侧面上身图像输入到生理参数采集模块,通过图像处理 获取其关键生理参数,将关键生理参数输入预处理模块中得到与该使用者匹配 的特征角度HRTF数据。
本发明提供的一种高空间分辨率的个性化HRTF获取方法可以获取针对不 同个体在任意角度上匹配的HRTF数据,从而解决对高空间分辨率和个性化的 需求。本发明的实验效果参见图3、图4所示,图3为实验获取的分辨率5°的 原始HRTF数据,图4为本发明获得的分辨率1°的高分辨率HRTF数据。
Claims (5)
1.一种个性化HRTF获取系统,包含预处理模块和HRTF获取模块,其特征在于:
所述预处理模块用于将采集到的使用者的生理参数与“关键人体参数与特征角度HRTF映射网络”进行匹配,获取与该使用者匹配的特征角度HRTF数据;
HRTF获取模块用于首先将获取的与使用者匹配的特征角度HRTF数据作为训练样本,通过径向基神经网络训练,得到“空间位置信息与特征角度HRTF数据映射网络”;再将输入的方位角度信息与“空间位置信息与特征角度HRTF数据映射网络”进行匹配,获得对应的个性化HRTF数据。
2.根据权利要求1所述的一种个性化HRTF获取系统,其特征在于所述使用者的生理参数包含耳甲腔长、耳长、耳宽、耳屏切迹、头宽、颈深、肩宽和外耳张角。
3.根据权利要求1所述的一种个性化HRTF获取系统,其特征在于所述“关键人体参数与特征角度HRTF映射网络”通过以下方式获取:
步骤一,分析人体参数与HRTF的相关性,根据相关性获取关键人体参数;
步骤二,利用局部线形嵌入的方法将HRTF数据映射到二维空间,在二维空间得到HRTF的局部线性特征后提取特征角度HRTF;
步骤三,利用步骤一中得到的关键人体参数和步骤二中得到的特征角度HRTF作为训练样本,利用BP神经网络,计算得到关键人体参数与特征角度HRTF之间的映射关系。
4.根据权利要求1所述的一种个性化HRTF获取系统,其特征在于所述步骤二中在二维空间得到HRTF的局部线性特征后提取特征角度HRTF具体做法为:在二维空间,通过对二维流形的边缘两点进行直线拟合,添加新的数据点后,下一点与前一段直线进行拟合,在计算出本段直线斜率与前一段直线斜率的误差δi后,将误差δi与设定的允许误差δ进行比较,若满足δi≤δ则认为两段直线端点之间仍是线性关系,反之,不是线性关系则将这一点所对应的高维HRTF数据作为特征角度的HRTF。
5.根据权利要求1所述的一种个性化HRTF获取系统,其特征在于还包含生理参数采集模块,用于采集使用者的正面与侧面的上身图像,通过图像处理获取生理参数,将生理参数输入到预处理模块中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810696492.0A CN108805104B (zh) | 2018-06-29 | 2018-06-29 | 个性化hrtf获取系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810696492.0A CN108805104B (zh) | 2018-06-29 | 2018-06-29 | 个性化hrtf获取系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108805104A true CN108805104A (zh) | 2018-11-13 |
CN108805104B CN108805104B (zh) | 2022-03-08 |
Family
ID=64072662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810696492.0A Active CN108805104B (zh) | 2018-06-29 | 2018-06-29 | 个性化hrtf获取系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108805104B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111246345A (zh) * | 2020-01-08 | 2020-06-05 | 华南理工大学 | 一种远程声场实时虚拟重现的方法与装置 |
CN111949846A (zh) * | 2020-08-13 | 2020-11-17 | 中航华东光电(上海)有限公司 | 一种基于主成分分析和稀疏表示的hrtf个人化方法 |
CN113806679A (zh) * | 2021-09-13 | 2021-12-17 | 中国政法大学 | 一种基于预训练模型的头相关传输函数的个性化方法 |
CN114067832A (zh) * | 2021-11-11 | 2022-02-18 | 中国科学院声学研究所 | 一种头相关传输函数的预测方法、装置和电子设备 |
WO2023000088A1 (en) * | 2021-07-19 | 2023-01-26 | Mcmaster University | Method and system for determining individualized head related transfer functions |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101511047A (zh) * | 2009-03-16 | 2009-08-19 | 东南大学 | 双声道立体声分别基于音箱与耳机的三维音效处理方法 |
CN103294647A (zh) * | 2013-05-10 | 2013-09-11 | 上海大学 | 基于正交张量近邻保持嵌入的头相关传输函数降维方法 |
CN104503963A (zh) * | 2014-09-26 | 2015-04-08 | 大连理工大学 | 头相关脉冲响应数据集处理方法 |
CN106231528A (zh) * | 2016-08-04 | 2016-12-14 | 武汉大学 | 基于分段式多元线性回归的个性化头相关传递函数生成系统及方法 |
US20170289719A1 (en) * | 2016-03-30 | 2017-10-05 | Microsoft Technology Licensing, Llc | Application programing interface for adaptive audio rendering |
CN107480100A (zh) * | 2017-07-04 | 2017-12-15 | 中国科学院自动化研究所 | 基于深层神经网络中间层特征的头相关传输函数建模系统 |
CN107820158A (zh) * | 2017-07-07 | 2018-03-20 | 大连理工大学 | 一种基于头相关脉冲响应的三维音频生成装置 |
-
2018
- 2018-06-29 CN CN201810696492.0A patent/CN108805104B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101511047A (zh) * | 2009-03-16 | 2009-08-19 | 东南大学 | 双声道立体声分别基于音箱与耳机的三维音效处理方法 |
CN103294647A (zh) * | 2013-05-10 | 2013-09-11 | 上海大学 | 基于正交张量近邻保持嵌入的头相关传输函数降维方法 |
CN104503963A (zh) * | 2014-09-26 | 2015-04-08 | 大连理工大学 | 头相关脉冲响应数据集处理方法 |
US20170289719A1 (en) * | 2016-03-30 | 2017-10-05 | Microsoft Technology Licensing, Llc | Application programing interface for adaptive audio rendering |
CN106231528A (zh) * | 2016-08-04 | 2016-12-14 | 武汉大学 | 基于分段式多元线性回归的个性化头相关传递函数生成系统及方法 |
CN107480100A (zh) * | 2017-07-04 | 2017-12-15 | 中国科学院自动化研究所 | 基于深层神经网络中间层特征的头相关传输函数建模系统 |
CN107820158A (zh) * | 2017-07-07 | 2018-03-20 | 大连理工大学 | 一种基于头相关脉冲响应的三维音频生成装置 |
Non-Patent Citations (2)
Title |
---|
LIN LI等: "HRTF personalization modeling based on RBF neural network", 《2013 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》 * |
钟小丽等: "使用神经网络进行中垂面头相关传输函数外插", 《中国声学学会2005年青年学术会议论文集》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111246345A (zh) * | 2020-01-08 | 2020-06-05 | 华南理工大学 | 一种远程声场实时虚拟重现的方法与装置 |
CN111246345B (zh) * | 2020-01-08 | 2021-09-21 | 华南理工大学 | 一种远程声场实时虚拟重现的方法与装置 |
CN111949846A (zh) * | 2020-08-13 | 2020-11-17 | 中航华东光电(上海)有限公司 | 一种基于主成分分析和稀疏表示的hrtf个人化方法 |
WO2023000088A1 (en) * | 2021-07-19 | 2023-01-26 | Mcmaster University | Method and system for determining individualized head related transfer functions |
CN113806679A (zh) * | 2021-09-13 | 2021-12-17 | 中国政法大学 | 一种基于预训练模型的头相关传输函数的个性化方法 |
CN113806679B (zh) * | 2021-09-13 | 2024-05-28 | 中国政法大学 | 一种基于预训练模型的头相关传输函数的个性化方法 |
CN114067832A (zh) * | 2021-11-11 | 2022-02-18 | 中国科学院声学研究所 | 一种头相关传输函数的预测方法、装置和电子设备 |
CN114067832B (zh) * | 2021-11-11 | 2024-05-14 | 中国人民解放军空军特色医学中心 | 一种头相关传输函数的预测方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108805104B (zh) | 2022-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805104A (zh) | 个性化hrtf获取系统 | |
CN106097348B (zh) | 一种三维激光点云与二维图像的融合方法 | |
CN109801294A (zh) | 三维左心房分割方法、装置、终端设备及存储介质 | |
CN109614935A (zh) | 车辆定损方法及装置、存储介质及电子设备 | |
CN104392426B (zh) | 一种自适应的无标志点三维点云自动拼接方法 | |
CN108024762A (zh) | 耳形状分析方法、耳形状分析装置以及耳形状模型生成方法 | |
CN105654483B (zh) | 三维点云全自动配准方法 | |
CN113049873B (zh) | 电流传感器、电流测量设备、系统、装置和存储介质 | |
CN109544623A (zh) | 车辆损伤区域的测量方法和装置 | |
CN112509119B (zh) | 针对颞骨的空间数据处理及定位方法、装置及电子设备 | |
CN102075785B (zh) | 一种atm机广角摄像机镜头畸变校正方法 | |
CN111027140B (zh) | 基于多视角点云数据的飞机标准件模型快速重构方法 | |
CN109558902A (zh) | 一种快速目标检测方法 | |
CN106447707B (zh) | 一种图像实时配准方法及系统 | |
CN107194361A (zh) | 二维姿势检测方法及装置 | |
CN112381862B (zh) | 一种cad模型与三角网格全自动配准方法和装置 | |
CN112884820B (zh) | 一种影像初始配准及神经网络的训练方法、装置和设备 | |
CN109816779A (zh) | 一种使用智能手机重建人工林森林模型获取单木参数的方法 | |
CN108830888A (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
CN113674338A (zh) | 双心室量化方法、装置、电子设备及存储介质 | |
CN115170629A (zh) | 一种伤口信息获取方法、装置、设备及存储介质 | |
CN108470149A (zh) | 一种基于光场相机的3d四维数据采集方法及装置 | |
CN110517300B (zh) | 基于局部结构算子的弹性图像配准算法 | |
CN109902641A (zh) | 基于语义对齐的人脸关键点检测方法、系统、装置 | |
CN113806679B (zh) | 一种基于预训练模型的头相关传输函数的个性化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |