CN107293291B - 一种基于自适应学习率的端到端的语音识别方法 - Google Patents
一种基于自适应学习率的端到端的语音识别方法 Download PDFInfo
- Publication number
- CN107293291B CN107293291B CN201610192763.XA CN201610192763A CN107293291B CN 107293291 B CN107293291 B CN 107293291B CN 201610192763 A CN201610192763 A CN 201610192763A CN 107293291 B CN107293291 B CN 107293291B
- Authority
- CN
- China
- Prior art keywords
- neural network
- gradient
- time
- output
- learning rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 230000000306 recurrent effect Effects 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000002441 reversible effect Effects 0.000 claims abstract description 11
- 230000003044 adaptive effect Effects 0.000 claims abstract description 8
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 4
- 239000000126 substance Substances 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 10
- 230000020411 cell activation Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Machine Translation (AREA)
- Character Discrimination (AREA)
Abstract
本发明提供一种基于自适应学习率的端到端的语音识别方法,包括:步骤(1)、采用双向递归神经网络作为声学模型,分别计算所述前向递归神经网络隐层和所述反向递归神经网络隐层再采用长短时记忆单元分别替代和得到神经网络的最终输出,即y;步骤(2)、将上述步骤(1)中的声学模型建模单元作为音素,采用CTC准则,引入了blank符号辅助对齐,构建和计算目标函数;对所述目标函数关于神经网络输出进行求偏导计算,再通过使用误差反向传播算法计算所述步骤(1)中权值矩阵中的参数集合w的梯度g;步骤(3)、基于上述步骤(2)所提供的一阶梯度信息,即梯度g,再结合ADADELTA自适应学习率的方法,对所述参数集合w进行更新。
Description
技术领域
本发明涉及语音识别技术领域,特别涉及一种基于自适应学习率的端到端的语音识别方法。
背景技术
随着深度学习的兴起,基于深度神经网络的语音识别技术取得了显著的进步。目前,常用的语音识别方法采用基于隐马尔可夫模型和深度神经网络的混合方法,需要训练隐马尔可夫模型以及相应的高斯混合模型,为后续训练深度神经网络提供帧级别的训练标注。但是,基于隐马尔可夫模型和深度神经网络的混合方法的语音识别框架较复杂:一是其训练得到的高斯混合模型并不会用于最终的解码过程中;二是训练模型依赖过多的语言学知识,比如建立决策树时需要的问题集;三是较多的超参数,均需要精细的调参才能获取最优性能,如状态聚类个数和高斯混合模型的高斯数等。
端到端的语音识别一般采用connectionist temporal classification(CTC)准则作为递归神经网络(recurrent neural network,RNN)的目标函数进行训练。在计算得到目标函数对神经网络中各参数的偏导数后,使用最为常见的参数更新方法,结合冲量(momentum)的随机梯度下降法,更新神经网络中的各个参数。CTC准则引入的blank符号对目标函数的贡献与其他建模单元相同,并且blank符号由于其辅助对齐的作用,会频繁出现在对齐路径上,但却对识别结果的统计没有影响。
发明内容
本发明的目的在于,为解决现有的语音识别方法的复杂的语音识别框架的缺陷,提供一种基于自适应学习率的端到端的语音识别方法;该方法具体包括:
(1)、采用双向递归神经网络作为声学模型,分别计算所述前向递归神经网络隐层和所述反向递归神经网络隐层再采用长短时记忆单元(long-short term memorycell,LSTM)分别替代所述前向递归神经网络隐层和所述反向递归神经网络隐层通过计算得到神经网络的最终输出,即y;
(2)、将上述步骤(1)中的声学模型建模单元作为音素,采用connectionisttemporal classification(CTC)准则,在CTC准则引入了blank符号辅助对齐,构建和计算目标函数:再对目标函数关于神经网络输出进行求偏导计算,所得的偏导数再通过使用误差反向传播算法(error back propagation,BP)计算所述步骤(1)中权值矩阵中的参数集合w的梯度g;
(3)、基于上述步骤(2)所提供的一阶梯度信息,即梯度g,再结合ADADELTA自适应学习率的方法,对所述步骤(1)中权值矩阵中的参数集合w进行更新。
所述参数集合w包括权值矩阵和偏置构成整个神经网络集合。
计算包含所述步骤(1)中权值矩阵的参数集合w的梯度g如下:
假设一句输入的语音x共有T帧特征,那么一个基于CTC准则的对齐序列表示为p=(p1,...,pT),每一个pt表示时刻t的输出音素,那么该对齐序列的似然概率,即Pr(p|x),
blank出现在任意位置,且其不影响最终的输出结果;给定输入的特征序列x,对应标注为z的似然概率进行如下计算,
其中,Pr(z|x)为目标函数,Φ(z)为对应的标注z若干带有blank的对齐序列;
所述ADADELTA自适应学习率的方法,其具体计算方法如下:
其中,gt为时刻t的梯度,E[g2]t表示t时刻累加的梯度gt平方的期望,E[g2]t-1为t-1时刻累加梯度的平方的期望,ρ为一个衰减因子,取值范围为(0,1);
假设E[g2]0表示E[g2]t初始化为0;
其中,∈用于防止数学运算错误,RMS[g]t为梯度gt均方根值;
其中,Δwt表示t时刻神经网络中参数集合w中的任一参数的更新值,RMS[Δw]t-1为t-1时刻的更新值的均方根值;
其中,E[Δw2]t表示t时刻参数w中的任一参数的累加更新值平方的期望,
E[Δw2]t-1表示t-1时刻参数ω中的任一参数的累加更新值平方的期望;
假设E[Δω2]0表示E[Δω2]t初始化为0;
wt+1=wt+Δwt
其中,ωt+1为更新后的参数值,ωt为当前参数值。
本发明的优点在于:端到端的语音识别系统抛弃了传统的隐马尔可夫模型,而是利用递归神经网络(recurrent neural network,RNN)在时间序列建模方面的优点,借助递归神经网络建立语音特征序列到对应音素或字符序列的直接映射。端到端的语音识别建模方法极大地简化了构建语音识别系统的流程;使用CTC准则作为训练目标函数,引入了blank符号且其对似然函数的贡献远大于其他音素;再结合自适应学习率的方法ADADELTA,通过将神经网络中每个参数的梯度累积下来,可以减弱频繁出现的特征对网络权重的影响。
附图说明
图1是本发明提供的基于自适应学习率的端到端的语音识别方法的LSTM结构图;
图2是本发明提供的基于自适应学习率的端到端的语音识别方法的训练流程图;
具体实施方式
以下结合附图对本发明作进一步的详细说明。
如图2所示,本发明提供一种基于自适应学习率的端到端的语音识别方法;该方法具体包括:
y=G(WhyH+by) (3)
其中,Why为连接隐藏层和输出层的权值矩阵;by为偏置;y为神经网络的最终输出;G(·)为softmax函数,计算公式如下:
其中,z表示神经网络做规整前的输出值,ez为其指数运算,zk表示第k个节点的输出值,k为输出节点个数。
通过公式(1),(2)计算前向和反向的递归神经网络隐层,即和所述前向递归神经网络隐层和所述反向递归神经网络隐层会出现梯度消失的问题。因此,采用长短时记忆单元(long-short term memory cell,LSTM)分别替代所述前向递归神经网络隐层和所述反向递归神经网络隐层具体计算过程如下:
其中,为t时刻输入门的输出,为输入序列到输入门的权值矩阵,为t-1时刻LSTM输出到输入门的权值矩阵,为LSTM细胞到输入门的权值矩阵,为t-1时刻单元激活的输出,为t-1时刻隐层的输出,为输入门的偏置;
其中,为t时刻输入门的输出,为输入序列到输入门的权值矩阵,为t+1时刻LSTM输出到输入门的权值矩阵,为LSTM细胞到输入门的权值矩阵,为t+1时刻单元激活的输出,为t+1时刻隐层的输出,为输入门的偏置;
(2)、根据上述步骤(1)中的声学模型建模单元为音素,采用connectionisttemporal classification(CTC)准则,在CTC准则中引入了blank符号辅助对齐,构建和计算目标函数,具体计算过程如下:
假设一句输入的语音x共有T帧特征,那么一个基于CTC准则的对齐序列可以表示为p=(p1,...,pT),每一个pt表示时刻t的输出音素,那么该对齐序列的似然概率,即Pr(p|x),可以用(15)式描述:
blank可以出现在任意位置,且其不影响最终的输出结果;给定输入的特征序列x,对应标注为z的似然概率进行如下计算,用(16)式描述:
其中,Pr(z|x)为目标函数,Φ(z)为对应的标注z可以若干带有blank的对齐序列。
(3)、基于上述步骤(1)所提供的一阶梯度信息,即g,结合ADADELTA自适应学习率的方法,对神经网络中的参数集合ω中的任意一个参数进行更新,计算方法如下:
其中,gt为时刻t的梯度,E[g2]t表示t时刻累加的梯度gt平方的期望,E[g2]t-1为t-1时刻累加梯度的平方的期望,ρ为一个衰减因子,取值范围为(0,1);
假设E[g2]0表示E[g2]t初始化为0;
其中,∈是为了防止数学运算错误,RMS[g]t为梯度gt均方根值;
其中,Δwt表示t时刻神经网络中参数ω的更新值,RMS[Δω]t-1为t-1时刻的更新值的均方根值;
其中,E[Δω2]t表示t时刻参数ω累加更新值平方的期望,E[Δω2]t-1表示t-1时刻参数ω累加更新值平方的期望;
假设E[Δω2]0表示E[Δω2]t初始化为0;
ωt+1=ωt+Δωt (21)
其中,ωt+1为更新后的参数值,ωt为当前参数值。
本发明实验使用数据为Switchboard数据集,其中训练数据总共为全部训练数据的子集,时长共110小时的电话交谈语音,测试数据为Hub5’00中的Switchboard测试集。测试评价指标有训练过程中的标注正确率(label accuracy rate,LAC)和测试集的字错误率(word error rate,WER)。测试结果如下表:
由表中可以看出,采用本发明的方法后,在训练集和验证集的标注正确率上分别有接近6%和1%的绝对提升,而字错误率也有0.9%的绝对提升。因此,通过使用ADADELTA方法可以简化语音识别的框架,并且明显提升端到端的语音识别系统的识别性能。
最后需要说明的是,具体实施方式中所述的实验用图仅用来说明本发明的技术方案软件算法的可行性而非局限于此例,算法已经经过大量实验数据验证,是真实可靠的,搭配硬件便可实现本发明的技术方案。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.一种基于自适应学习率的端到端的语音识别方法;其特征在于,该方法具体包括:
步骤(1)、采用双向递归神经网络作为声学模型,分别计算前向递归神经网络隐层和反向递归神经网络隐层再采用长短时记忆单元分别替代所述前向递归神经网络隐层和所述反向递归神经网络隐层得到神经网络的最终输出,即y;
步骤(2)、将上述步骤(1)中的声学模型建模单元作为音素,采用connectionisttemporal classification准则,即CTC准则;在CTC准则中引入了blank符号辅助对齐,构建和计算目标函数;再对所述目标函数关于神经网络输出进行求偏导计算,再通过使用误差反向传播算法来计算包含所述步骤(1)中权值矩阵的参数集合w的梯度g;
步骤(3)、基于上述步骤(2)所提供的一阶梯度信息,即梯度g,再结合ADADELTA自适应学习率的方法,对所述步骤(1)中权值矩阵中的参数集合w进行更新;
计算包含所述步骤(1)中权值矩阵的参数集合w的梯度g如下:
假设一句输入的语音x共有T帧特征,那么一个基于CTC准则的对齐序列表示为p=(p1,...,pT),每一个pt表示时刻t的输出音素,那么该对齐序列的似然概率,即Pr(p|x),
blank出现在任意位置,且其不影响最终的输出结果;给定输入的特征序列x,对应标注为z的似然概率进行如下计算,
其中,Pr(z|x)为目标函数,Φ(z)为对应的标注z若干带有blank的对齐序列;
2.根据权利要求1所述的一种基于自适应学习率的端到端的语音识别方法;其特征在于,所述参数集合w包括构成整个神经网络集合的权值矩阵和偏置。
3.根据权利要求1所述的一种基于自适应学习率的端到端的语音识别方法;其特征在于,所述ADADELTA自适应学习率的方法,其计算方法如下:
其中,gt为时刻t的梯度,E[g2]t表示t时刻累加的梯度gt平方的期望,E[g2]t-1为t-1时刻累加梯度的平方的期望,ρ为一个衰减因子,取值范围为(0,1);
假设E[g2]0表示E[g2]t初始化为0;
其中,∈用于防止数学运算错误,RMS[g]t为梯度gt均方根值;
其中,Δwt表示t时刻神经网络中参数集合w中的任一参数的更新值,RMS[Δw]t-1为t-1时刻的更新值的均方根值;
其中,E[Δw2]t表示t时刻参数w中的任一参数的累加更新值平方的期望,
E[Δw2]t-1表示t-1时刻参数w中的任一参数的累加更新值平方的期望;
假设E[Δw2]0表示E[Δw2]t初始化为0;
wt+1=wt+Δwt
其中,wt+1为更新后的参数值,wt为当前参数值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610192763.XA CN107293291B (zh) | 2016-03-30 | 2016-03-30 | 一种基于自适应学习率的端到端的语音识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610192763.XA CN107293291B (zh) | 2016-03-30 | 2016-03-30 | 一种基于自适应学习率的端到端的语音识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107293291A CN107293291A (zh) | 2017-10-24 |
CN107293291B true CN107293291B (zh) | 2021-03-16 |
Family
ID=60086614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610192763.XA Active CN107293291B (zh) | 2016-03-30 | 2016-03-30 | 一种基于自适应学习率的端到端的语音识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107293291B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754790B (zh) * | 2017-11-01 | 2020-11-06 | 中国科学院声学研究所 | 一种基于混合声学模型的语音识别系统及方法 |
CN109065032B (zh) * | 2018-07-16 | 2020-09-22 | 杭州电子科技大学 | 一种基于深度卷积神经网络的外部语料库语音识别方法 |
CN111091817B (zh) * | 2018-10-24 | 2022-10-11 | 中国科学院声学研究所 | 一种基于窗口输入的双向回馈神经网络的语音识别方法 |
CN109243494B (zh) * | 2018-10-30 | 2022-10-11 | 南京工程学院 | 基于多重注意力机制长短时记忆网络的儿童情感识别方法 |
CN109346064B (zh) * | 2018-12-13 | 2021-07-27 | 思必驰科技股份有限公司 | 用于端到端语音识别模型的训练方法及系统 |
CN109523995B (zh) * | 2018-12-26 | 2019-07-09 | 出门问问信息科技有限公司 | 语音识别方法、语音识别装置、可读存储介质和电子设备 |
CN110111797A (zh) * | 2019-04-04 | 2019-08-09 | 湖北工业大学 | 基于高斯超矢量和深度神经网络的说话人识别方法 |
CN110033766A (zh) * | 2019-04-17 | 2019-07-19 | 重庆大学 | 一种基于二值化递归神经网络的语音识别方法 |
CN110210480B (zh) * | 2019-06-05 | 2021-08-10 | 北京旷视科技有限公司 | 文字识别方法、装置、电子设备和计算机可读存储介质 |
CN110784228B (zh) * | 2019-10-23 | 2023-07-25 | 武汉理工大学 | 一种基于lstm模型的地铁结构振动信号的压缩方法 |
CN111243578A (zh) * | 2020-01-10 | 2020-06-05 | 中国科学院声学研究所 | 一种基于自注意力机制的中文普通话字音转换方法 |
CN111243574B (zh) * | 2020-01-13 | 2023-01-03 | 苏州奇梦者网络科技有限公司 | 一种语音模型自适应训练方法、系统、装置及存储介质 |
CN111429887B (zh) * | 2020-04-20 | 2023-05-30 | 合肥讯飞数码科技有限公司 | 基于端到端的语音关键词识别方法、装置以及设备 |
CN111695297B (zh) * | 2020-06-02 | 2022-08-02 | 哈尔滨工程大学 | 一种近海面气温反演方法 |
CN114598565A (zh) * | 2022-05-10 | 2022-06-07 | 深圳市发掘科技有限公司 | 一种厨电设备远程控制系统、方法及计算机设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9263036B1 (en) * | 2012-11-29 | 2016-02-16 | Google Inc. | System and method for speech recognition using deep recurrent neural networks |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700828B (zh) * | 2015-03-19 | 2018-01-12 | 清华大学 | 基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法 |
CN104952448A (zh) * | 2015-05-04 | 2015-09-30 | 张爱英 | 一种双向长短时记忆递归神经网络的特征增强方法及系统 |
CN105139864B (zh) * | 2015-08-17 | 2019-05-07 | 北京眼神智能科技有限公司 | 语音识别方法和装置 |
-
2016
- 2016-03-30 CN CN201610192763.XA patent/CN107293291B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9263036B1 (en) * | 2012-11-29 | 2016-02-16 | Google Inc. | System and method for speech recognition using deep recurrent neural networks |
Non-Patent Citations (2)
Title |
---|
ADADELTA: An Adaptive Learning Rate Method;Matthew D. Zeiler;《Computer Science》;20121222;第3节ADADELTA方法 * |
Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural"networks;Graves,Alex;Fernandez,Santiago;Gomez,Faustino;Schmidhuber,Jurgen;《ICML 2006: 23rd International Conference on Machine Learning》;20061231;第369页-第376页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107293291A (zh) | 2017-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107293291B (zh) | 一种基于自适应学习率的端到端的语音识别方法 | |
Shan et al. | Component fusion: Learning replaceable language model component for end-to-end speech recognition system | |
CN104538028B (zh) | 一种基于深度长短期记忆循环神经网络的连续语音识别方法 | |
US9786270B2 (en) | Generating acoustic models | |
CN103049792B (zh) | 深层神经网络的辨别预训练 | |
Sainath et al. | Auto-encoder bottleneck features using deep belief networks | |
US8972253B2 (en) | Deep belief network for large vocabulary continuous speech recognition | |
CN105139864B (zh) | 语音识别方法和装置 | |
JP5982297B2 (ja) | 音声認識装置、音響モデル学習装置、その方法及びプログラム | |
CN106340297A (zh) | 一种基于云计算与置信度计算的语音识别方法与系统 | |
CN109671423B (zh) | 训练数据有限情形下的非平行文本语音转换方法 | |
CN111985523A (zh) | 基于知识蒸馏训练的2指数幂深度神经网络量化方法 | |
Mallidi et al. | Uncertainty estimation of DNN classifiers | |
CN110289002B (zh) | 一种端到端的说话人聚类方法及系统 | |
Yu et al. | Factorized deep neural networks for adaptive speech recognition | |
Huang et al. | Speaker adaptation of RNN-BLSTM for speech recognition based on speaker code | |
Bacchiani et al. | Context dependent state tying for speech recognition using deep neural network acoustic models | |
CN105845130A (zh) | 用于语音识别的声学模型训练方法及装置 | |
Huang et al. | Bayesian unsupervised batch and online speaker adaptation of activation function parameters in deep models for automatic speech recognition | |
Bacchiani et al. | Asynchronous, online, GMM-free training of a context dependent acoustic model for speech recognition | |
CN113488023A (zh) | 一种语种识别模型构建方法、语种识别方法 | |
Huang et al. | Regularized sequence-level deep neural network model adaptation. | |
Li et al. | Semi-supervised ensemble DNN acoustic model training | |
Regmi et al. | Nepali speech recognition using rnn-ctc model | |
GB2607133A (en) | Knowledge distillation using deep clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |