CN109427330A - 一种基于统计语言模型得分规整的语音识别方法及系统 - Google Patents

一种基于统计语言模型得分规整的语音识别方法及系统 Download PDF

Info

Publication number
CN109427330A
CN109427330A CN201710790753.0A CN201710790753A CN109427330A CN 109427330 A CN109427330 A CN 109427330A CN 201710790753 A CN201710790753 A CN 201710790753A CN 109427330 A CN109427330 A CN 109427330A
Authority
CN
China
Prior art keywords
language model
gram
score
candidate speech
regular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710790753.0A
Other languages
English (en)
Other versions
CN109427330B (zh
Inventor
张鹏远
张珂
张一珂
潘接林
颜永红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
Beijing Kexin Technology Co Ltd
Original Assignee
Institute of Acoustics CAS
Beijing Kexin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS, Beijing Kexin Technology Co Ltd filed Critical Institute of Acoustics CAS
Priority to CN201710790753.0A priority Critical patent/CN109427330B/zh
Publication of CN109427330A publication Critical patent/CN109427330A/zh
Application granted granted Critical
Publication of CN109427330B publication Critical patent/CN109427330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • G10L15/144Training of HMMs
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

本发明一种基于统计语言模型得分规整的语音识别方法,所述方法包括:步骤1)建立和训练若干个基于多尺度马尔科夫假设的统计语言模型;包括:k阶统计N元文法语言模型,k‑1个不同阶数的统计N元文法语言模型和k‑1个不同阶数的改进的统计N元文法语言模型;步骤2)将待识别语音进行第一遍解码,得到L条候选语音s;步骤3)利用步骤1)的若干个基于多尺度马尔科夫假设的统计语言模型计算L条候选语音s的语言模型得分,结合声学模型得分计算出每条候选语音的得分;步骤4)选出得分最高的候选语音作为第二遍解码结果;该结果为最终的识别结果。本发明的方法对于识别错误具有良好的容错性,能够有效的提升语音识别的正确率。

Description

一种基于统计语言模型得分规整的语音识别方法及系统
技术领域
本发明涉及语音识别领域和自然语言处理领域,特别涉及一种基于统计语言模型得分规整的语音识别方法及系统。
背景技术
传统的统计语言模型(Language Model,LM)建模目标是学习训练数据的分布,即如何在给定正确的历史词序列的条件下,更加精确预测未来的词。对于统计N元文法语言模型(N gram LM),国内外研究者已提出多种数据平滑(Data Smoothing)算法,例如加法平滑算法、古德-图灵(Good-Turning)平滑算法、Katz平滑算法、Witten-Bell平滑算法、Kneser-Ney平滑算法等。以上数据平滑算法可以归为插值(Interpolation)与回退(Back-off)两类,其目标都是利用有限的训练数据建立更符合真实数据分布的概率分布模型。对于基于神经网络(Neural Network)的语言模型,尚未有学者提出有效的数据平滑算法,而是利用神经网络对历史词汇的低维表示隐含的对数据进行平滑。
在语音识别中,语言模型作用的条件与其训练条件存在较大差异。在语音识别解码过程中,语言模型依赖的历史序列中包含由识别错误引入的非正确词汇序列。此处非正确词汇序列是指不符合语法、语义规则的词汇序列,正确的词汇序列则是符合语法、语义规则的词汇序列。而统计语言模型在训练和参数估计过程中,仅在输入正确词汇序列的条件下进行预测。因此,统计语言模型训练模式与应用目标的差异,导致了语言模型在语音识别任务中性能受限。
发明内容
本发明的目的在于克服现有语言模型的存在的识别错误的容错性低的缺陷,提出了一种基于统计语言模型得分规则的语音识别方法。
为了实现上述目的,本发明提出了一种基于统计语言模型得分规则的语音识别方法,所述方法包括:
步骤1)建立和训练若干个基于多尺度马尔科夫假设的统计语言模型;包括:k阶统计N元文法语言模型,k-1个不同阶数的统计N元文法语言模型和k-1个不同阶数的改进的统计N元文法语言模型;
步骤2)将待识别语音进行第一遍解码,得到L条候选语音s;
步骤3)利用步骤1)的若干个基于多尺度马尔科夫假设的统计语言模型计算L条候选语音s的语言模型得分,结合声学模型得分计算出每条候选语音的得分;
步骤4)选出得分最高的候选语音作为第二遍解码结果;该结果为最终的识别结果。
作为上述方法的一种改进,所述步骤1)具体包括:
步骤1-1)确定马尔科夫假设阶数k,利用训练数据训练待规整的k阶统计N元文法语言模型,记为k gram LM;
步骤1-2)采用步骤1)的训练数据分别训练k+1gram LM,k+2gram LM,…,2k-1gramLM;
给定训练语句W=w1,...,wT,T是语句W的长度,单词wt,1<=t<=T的k gram历史是k gram LM利用语句s中每个单词的k gram历史计算语句W的概率:
步骤1-3)训练0skip k gram LM,1skip k+1gram LM,…,k-2skip 2k-2gram LM;
其中,i skip k gram LM,i<k,i,k为正整数;为改进的统计N元文法语言模型;iskip k gram LM的具体定义如下:
单词wt的i skip k gram历史是i skip k gram LM利用语句W中每个单词的i skip k gram历史计算语句W的概率:
作为上述方法的一种改进,所述步骤3)具体包括:
步骤3-1)利用k阶统计N元语言模型计算每条候选语音s的原始语言模型得分l(s),并记录该候选语音的声学模型得分a(s),以及语言模型缩放因子lm_sc;
步骤3-2)对于每一条候选语音s,根据k-1个不同阶数的统计N元文法语言模型和k-1个不同阶数的改进的统计N元文法语言模型计算规整后的语言模型得分r(s);
步骤3-3)将规整后的语言模型得分r(s)与原始的语言模型得分l(s)按照比例m进行加权,得到新的语言模型得分p(s)=m*r(s)+(1-m)*l(s);
步骤3-4)重新计算每条候选语音s的得分Score(s)=a(s)+lm_sc*p(s)。
作为上述方法的一种改进,所述步骤3-2)具体实现过程为:
其中,Pk(s)表示利用k gram LM计算得到的候选语音s的得分,表示利用iskip i+k gram LM计算得到的候选语音s的得分,r(s)表示利用规整后的语言模型计算得到的候选语音s的得分。
一种基于统计语言模型得分规整的语音识别系统,包括存储器、处理器和存储在存储器上的并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述方法的步骤。
本发明的优点在于:
1、本发明的方法提供的语言模型得分规整算法,在语音识别应用中,对于识别错误具有良好的容错性,即依据包含解码错误的词历史序列依然可以稳健的对当前词进行预测;从而能够有效的提升语音识别的正确率;
2、本发明的方法与传统的统计语言模型数据平滑算法具有叠加性,即可以进一步提升平滑后的语言模型的性能;
3、本发明的方法可应用于基于加权有限状态转换器(Weighted Finite StateTransducer,WFST)的一遍解码过程中,只需要将各个k gram LM、i skip k gram LM按照一般的方法插值后,建立WFST解码图即可。
附图说明
图1为本发明的一种基于统计语言模型得分规整的语音识别方法流程图。
具体实施方式
下面结合附图和实施例对本发明的方法进行详细说明。
如图1所示,一种基于统计语言模型得分规整的语音识别方法,包括:
步骤1)建立和训练若干个基于多尺度马尔科夫假设的统计语言模型;
步骤1-1)确定马尔科夫假设阶数k,利用训练数据训练待规整的k阶统计N元文法语言模型(k gram LM);
步骤1-2)采用步骤1)的训练数据分别训练不同阶数的统计N元文法语言模型:k+1gram LM,k+2gram LM,…,2k-1gram LM;
给定训练语句W=w1,...,wT,T是句子长度单词,wt(1<=t<=T)的k gram历史是wt的i skip k gram历史是:
k gram LM利用语句W中每个词的k gram历史计算语句W的概率:
步骤1-3)训练0skip k gram LM,1skip k+1gram LM,…,k-2skip 2k-2gram LM;
其中,i skip k gram LM(i<k,i,k为正整数)指一种改进的统计N元文法语言模型;i skip k gram LM的具体定义如下:
i skip k gram LM利用语句W中每个词的i skip k gram历史计算语句W的概率:
例如给定句子“一二三四五上山打老虎”,0skip 3gram LM在预测词汇“老虎”时,依赖历史词汇“上山”,而3gram LM在预测词汇“老虎”时,依赖历史词汇“上山”和“打”。
步骤2)将待识别语音进行第一遍解码,得到L条候选语音s;
步骤3)利用k gram LM计算每条候选语音的原始语言模型得分l(s),声学模型得a(s),以及语言模型缩放因子lm_sc;
步骤4)对于每一条候选语音s,按照如下公式计算规整后的语言模型得分:
其中,Pk(s)表示利用k gram LM计算得到的候选语音s的得分,表示利用iskip i+k gram LM计算得到的候选语音s的得分,r(s)表示利用规整后的语言模型计算得到的候选语音s的得分;
步骤5)将规整后的语言模型得分r(s)与原始的语言模型得分l(s)按照比例m(0<m<1)加权,得到新的语言模型得分p(s)=m*r(s)+(1-m)*l(s);
步骤6)重新计算每条候选语音s的得分Score(s)=a(s)+lm_sc*p(s);
步骤7)选出得分最高的候选语音作为第二遍解码结果;该结果为最终的识别结果。
实例:
本实例采用英文Switchboard公开数据集,利用kaldi语音识别工具搭建识别系统,SRILM工具训练统计语言模型。Switchboard数据集包含Dev和Hub5两个测试集,其中Hub5又包含switchboard(SWB)和callhome(CH)两个子集。
1.搭建基线识别系统:声学模型为3层LSTM-RNN神经网络模型,语言模型为采用Kneser-Ney平滑的2gram统计语言模型(KN2)。
2.抽取100候选:利用基线识别系统对测试集Dev和Hub5分别进行解码,并对每条测试语音保留前100候选。记录每条候选的原始语言模型得分l和声学模型得分a,以及语言模型缩放因子lm_sc。
一般来说,一个语音测试集包含若干条测试语音。
3.训练规整后的语言模型得分所需的辅助模型:依据发明内容步骤1-2)中的公式,规整2gram语言模型的得分,需要训练3gram语言模型和0skip 2gram语言模型。
4.计算规整后的语言模型得分:依据发明内容步骤4)中的公式和步骤4)中的模型可以计算得到每条测试语音每条候选规整后的语言模型得分r。
5.重新计算候选语言模型得分:选取权重比例m=0.5,依据发明内容步骤5)中公式计算新的语言模型得分p(s)=0.5*r(s)+0.5*(s)。
6.重新计算候选总分:取语言模型权重因子lm_sc=9,计算每条测试语音每条候选的最终得分Score(s)=a(s)+9*p(s)。对于每条测试语音,选取Score最高的候选作为重估解码结果。
7.计算重估结果的识别错误率:对Dev、HUB5、SWB、CH,分别依据各自的参考答案(语音转录文本),计算重估结果的识别词错误率(Word Error Rate,WER),具体结果见表1。其中,KN2表示2gram基线语言模型,KN2-r表示规整后的2gram语言模型。
表1:2-gram LM得分规整前后的识别词错误率
Dev Hub5 SWB CH
KN2 16.4 21.2 16.1 26.1
KN2-r 15.9 20.6 15.4 25.6
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于统计语言模型得分规整的语音识别方法,所述方法包括:
步骤1)建立和训练若干个基于多尺度马尔科夫假设的统计语言模型;包括:k阶统计N元文法语言模型,k-1个不同阶数的统计N元文法语言模型和k-1个不同阶数的改进的统计N元文法语言模型;
步骤2)将待识别语音进行第一遍解码,得到L条候选语音s;
步骤3)利用步骤1)的若干个基于多尺度马尔科夫假设的统计语言模型计算L条候选语音s的语言模型得分,结合声学模型得分计算出每条候选语音的得分;
步骤4)选出得分最高的候选语音作为第二遍解码结果;该结果为最终的识别结果。
2.根据权利要求1所述的基于统计语言模型得分规整的语音识别方法,其特征在于,所述步骤1)具体包括:
步骤1-1)确定马尔科夫假设阶数k,利用训练数据训练待规整的k阶统计N元文法语言模型,记为k gram LM;
步骤1-2)采用步骤1)的训练数据分别训练k+1gram LM,k+2gram LM,…,2k-1gram LM;
给定训练语句W=w1,...,wT,T是语句W的长度,单词wt,1<=t<=T的k gram历史是k gram LM利用语句s中每个单词的k gram历史计算语句W的概率:
步骤1-3)训练0skip k gram LM,1skip k+1gram LM,…,k-2skip 2k-2gram LM;
其中,i skip k gram LM,i<k,i,k为正整数;为改进的统计N元文法语言模型;i skipk gram LM的具体定义如下:
单词wt的i skip k gram历史是iskip k gram LM利用语句W中每个单词的i skip k gram历史计算语句W的概率:
3.根据权利要求2所述的基于统计语言模型得分规整的语音识别方法,其特征在于,所述步骤3)具体包括:
步骤3-1)利用k阶统计N元语言模型计算每条候选语音s的原始语言模型得分l(s),并记录该候选语音的声学模型得分a(s),以及语言模型缩放因子lm_sc;
步骤3-2)对于每一条候选语音s,根据k-1个不同阶数的统计N元文法语言模型和k-1个不同阶数的改进的统计N元文法语言模型计算规整后的语言模型得分r(s);
步骤3-3)将规整后的语言模型得分r(s)与原始的语言模型得分l(s)按照比例m进行加权,得到新的语言模型得分p(s)=m*r(s)+(1-m)*l(s);
步骤3-4)重新计算每条候选语音s的得分Score(s)=a(s)+lm_sc*p(s)。
4.根据权利要求3所述的基于统计语言模型得分规整的语音识别方法,其特征在于,所述步骤3-2)具体实现过程为:
其中,Pk(s)表示利用k gram LM计算得到的候选语音s的得分,表示利用i skipi+k gram LM计算得到的候选语音s的得分,r(s)表示利用规整后的语言模型计算得到的候选语音s的得分。
5.一种基于统计语言模型得分规整的语音识别系统,包括存储器、处理器和存储在存储器上的并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1~4所述方法的步骤。
CN201710790753.0A 2017-09-05 2017-09-05 一种基于统计语言模型得分规整的语音识别方法及系统 Active CN109427330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710790753.0A CN109427330B (zh) 2017-09-05 2017-09-05 一种基于统计语言模型得分规整的语音识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710790753.0A CN109427330B (zh) 2017-09-05 2017-09-05 一种基于统计语言模型得分规整的语音识别方法及系统

Publications (2)

Publication Number Publication Date
CN109427330A true CN109427330A (zh) 2019-03-05
CN109427330B CN109427330B (zh) 2023-04-07

Family

ID=65513980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710790753.0A Active CN109427330B (zh) 2017-09-05 2017-09-05 一种基于统计语言模型得分规整的语音识别方法及系统

Country Status (1)

Country Link
CN (1) CN109427330B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517693A (zh) * 2019-08-01 2019-11-29 出门问问(苏州)信息科技有限公司 语音识别方法、装置、电子设备和计算机可读存储介质
CN112102815A (zh) * 2020-11-13 2020-12-18 深圳追一科技有限公司 语音识别方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123090A (zh) * 2006-08-11 2008-02-13 哈曼贝克自动系统股份有限公司 通过使用平方根折扣的统计语言的语音识别
CN102623010A (zh) * 2012-02-29 2012-08-01 北京百度网讯科技有限公司 一种建立语言模型的方法、语音识别的方法及其装置
CN103325370A (zh) * 2013-07-01 2013-09-25 百度在线网络技术(北京)有限公司 语音识别方法和语音识别系统
CN103971677A (zh) * 2013-02-01 2014-08-06 腾讯科技(深圳)有限公司 一种声学语言模型训练方法和装置
WO2015171671A1 (en) * 2014-05-08 2015-11-12 Microsoft Technology Licensing, Llc Context specific language model scale factors
US20150332673A1 (en) * 2014-05-13 2015-11-19 Nuance Communications, Inc. Revising language model scores based on semantic class hypotheses
CN106803422A (zh) * 2015-11-26 2017-06-06 中国科学院声学研究所 一种基于长短时记忆网络的语言模型重估方法
US20170221474A1 (en) * 2016-02-02 2017-08-03 Mitsubishi Electric Research Laboratories, Inc. Method and System for Training Language Models to Reduce Recognition Errors

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123090A (zh) * 2006-08-11 2008-02-13 哈曼贝克自动系统股份有限公司 通过使用平方根折扣的统计语言的语音识别
EP1887562A1 (en) * 2006-08-11 2008-02-13 Harman/Becker Automotive Systems GmbH Speech recognition by statistical language model using square-root smoothing
CN102623010A (zh) * 2012-02-29 2012-08-01 北京百度网讯科技有限公司 一种建立语言模型的方法、语音识别的方法及其装置
CN103971677A (zh) * 2013-02-01 2014-08-06 腾讯科技(深圳)有限公司 一种声学语言模型训练方法和装置
CN103325370A (zh) * 2013-07-01 2013-09-25 百度在线网络技术(北京)有限公司 语音识别方法和语音识别系统
WO2015171671A1 (en) * 2014-05-08 2015-11-12 Microsoft Technology Licensing, Llc Context specific language model scale factors
US20150332673A1 (en) * 2014-05-13 2015-11-19 Nuance Communications, Inc. Revising language model scores based on semantic class hypotheses
CN106803422A (zh) * 2015-11-26 2017-06-06 中国科学院声学研究所 一种基于长短时记忆网络的语言模型重估方法
US20170221474A1 (en) * 2016-02-02 2017-08-03 Mitsubishi Electric Research Laboratories, Inc. Method and System for Training Language Models to Reduce Recognition Errors

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YOSHUA BENGIO ET AL.: "A Neural Probabilistic Language Model", 《JOURNAL OF MACHINE LEARNING RESEARCH》 *
单煜翔等: "基于扩展N元文法模型的快速语言模型预测算法", 《自动化学报》 *
张剑等: "基于循环神经网络语言模型的N-best重打分算法", 《数据采集与处理》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517693A (zh) * 2019-08-01 2019-11-29 出门问问(苏州)信息科技有限公司 语音识别方法、装置、电子设备和计算机可读存储介质
CN110517693B (zh) * 2019-08-01 2022-03-04 出门问问(苏州)信息科技有限公司 语音识别方法、装置、电子设备和计算机可读存储介质
CN112102815A (zh) * 2020-11-13 2020-12-18 深圳追一科技有限公司 语音识别方法、装置、计算机设备和存储介质
CN112102815B (zh) * 2020-11-13 2021-07-13 深圳追一科技有限公司 语音识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109427330B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108399163B (zh) 结合词聚合与词组合语义特征的文本相似性度量方法
Henderson et al. Discriminative spoken language understanding using word confusion networks
US6836760B1 (en) Use of semantic inference and context-free grammar with speech recognition system
JP5752060B2 (ja) 情報処理装置、大語彙連続音声認識方法及びプログラム
KR20160069329A (ko) 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치
KR102057184B1 (ko) 흥미 판정 장치, 흥미 판정 방법, 및 기억 매체
Mairesse et al. Can prosody inform sentiment analysis? experiments on short spoken reviews
KR102199246B1 (ko) 신뢰도 측점 점수를 고려한 음향 모델 학습 방법 및 장치
CN108766415B (zh) 一种语音测评方法
CN109036471B (zh) 语音端点检测方法及设备
CN109062902B (zh) 一种文本语义表达方法及装置
KR20120066530A (ko) 언어 모델 가중치 추정 방법 및 이를 위한 장치
Van Dalen et al. Improving multiple-crowd-sourced transcriptions using a speech recogniser
CN110021293A (zh) 语音识别方法及装置、可读存储介质
JP5975938B2 (ja) 音声認識装置、音声認識方法及びプログラム
CN109427330A (zh) 一种基于统计语言模型得分规整的语音识别方法及系统
CN110738989B (zh) 一种利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法
JP3628245B2 (ja) 言語モデル生成方法、音声認識方法及びそのプログラム記録媒体
JP5513461B2 (ja) 音声認識装置とその方法とプログラム
KR20160000218A (ko) 언어모델 군집화 기반 음성인식 장치 및 방법
Kintzley et al. Featherweight phonetic keyword search for conversational speech
JP5268825B2 (ja) モデルパラメータ推定装置、方法及びプログラム
JP3913626B2 (ja) 言語モデル生成方法、その装置及びそのプログラム
JP5264649B2 (ja) 情報圧縮型モデルパラメータ推定装置、方法及びプログラム
CN108109624B (zh) 一种基于统计规律的中文词汇表未登录词比率的估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant