CN109558576B - 一种基于自注意力机制的标点符号预测方法 - Google Patents

一种基于自注意力机制的标点符号预测方法 Download PDF

Info

Publication number
CN109558576B
CN109558576B CN201811308508.2A CN201811308508A CN109558576B CN 109558576 B CN109558576 B CN 109558576B CN 201811308508 A CN201811308508 A CN 201811308508A CN 109558576 B CN109558576 B CN 109558576B
Authority
CN
China
Prior art keywords
layer
word
sequence
attention
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811308508.2A
Other languages
English (en)
Other versions
CN109558576A (zh
Inventor
邓豪
权小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201811308508.2A priority Critical patent/CN109558576B/zh
Publication of CN109558576A publication Critical patent/CN109558576A/zh
Application granted granted Critical
Publication of CN109558576B publication Critical patent/CN109558576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于自注意力机制的标点符号预测方法,包括以下步骤:基于自动语音识别技术进行语音识别,得到无标点符号文本;对无标点符号文本进行处理,得到文本序列;构建标点符号预测模型,将文本序列导入模型中,完成文本序列的标点符号预测。本发明提供的一种基于自注意力机制的标点符号预测方法,通过构建标点符号预测模型,实现了对语音识别文本的标点符号预测,有效缓解了梯度消失的问题,加强了特征传递,有效建立文本长期依赖的关系;同时,相比之前的模型无需额外的参数,有效减少了传递的数据量,降低参数的训练难度。

Description

一种基于自注意力机制的标点符号预测方法
技术领域
本发明涉及自然语言处理领域,更具体的,涉及一种基于自注意力机制的标点符号预测方法。
背景技术
随着深度学习的发展,近年来,许多学者提出使用神经网络来做标点符号预测,一般神经网络模型包括两个步骤:第一步是使用循环神经网络、卷积神经网络、注意力机制来产生具有上下文信息的文本表达;第二步是根据第一步生成的富含上下文信息的表达,在对每个词进行标点符号预测时,使用归一化指数函数或者条件随机场算出每个词后逗号、句号、问号、无标点符号的得分,从这四个得分中选择得分最高的类作为这个词的标记,从而得到一个合理的标点符号序列。
其中,卷积神经网络在应用中难以捕捉到每个词的语义信息以及位置信息,而循环神经网络在训练的过程中容易产生梯度消失、长期依赖和过拟合的问题,提升了模型的训练难度。而在使用传统的注意力机制时,不能学习到文本序列的不同表示子空间的信息。
发明内容
本发明为克服上述现有技术在预测文本标点符号时存在容易产生梯度消失、长期依赖和过拟合且计算量过大的技术问题,提供一种基于自注意力机制的标点符号预测方法。
为解决上述技术问题,本发明的技术方案如下:
一种基于自注意力机制的标点符号预测方法,包括以下步骤:
S1:基于自动语音识别技术进行语音识别,得到无标点符号文本;
S2:对无标点符号文本进行处理,得到文本序列;
S3:构建标点符号预测模型,将文本序列导入模型中,完成文本序列的标点符号预测。
其中,在步骤S3中,所述标点符号预测模型包括字符嵌入层、词嵌入层、上下文信息嵌入层、自注意力层和输出层;其中:
所述字符嵌入层对每个单词中的字符序列做一维卷积,对卷积的结果做最大池化,即可得到对应单词的字符级向量;
所述词嵌入层通过预训练的GloVe词向量将每个词映射为一个词级的高维向量;词向量结合对应的字符级向量形成一个既有词级信息又有字符级信息的向量;
所述上下文信息嵌入层通过3层稠密连接的双向长短期记忆网络获得序列的信息表达;
所述自注意力层计算每一个词对序列中其他词的注意力,对序列中的每一个词分配不同的权重,从而得到一个具有权重信息的向量序列;
所述输出层通过归一化指数函数对具有权重信息的向量序列进行处理,完成对每个词的标点符号预测,并输出预测结果。
其中,在上下文信息嵌入层中,所述3层稠密连接的双向长短期记忆网络分别为第一层双向长短期记忆网络、第二层双向长短期记忆网络和第三层双向长短期记忆网络;其中,
第一层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息;
第二层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,接收第一层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,还同时接收第一层双向长短期记忆网络、第二层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输出序列的信息表达传送至所述自注意力层。
其中,所述自注意力层为多头自注意力机制,具体包括以下步骤:
设头的个数为h,序列单词个数为n,序列维数为d,上下文信息嵌入层的输出序列为Q、K、V,其中Q=K=V,Q∈Rn×d,K∈Rn×d,V∈Rn×d
Q、K、V经过线性变换后对d维进行分割,每个头内Q、K、V注意力计算公式为:
Figure BDA0001854347180000021
每个头的输入Mi为:
Mi=Attention(QWi Q,KWi K,VWi V);
其中,Wi Q∈Rn×d/h,Wi K∈Rn×d/h,Wi V∈Rn×d/h;得到每个头的Attention后,将h个头的Attention结果进行拼接,得到拼接结果M,即:
M=Concat(M1,...,Mh);
其中,M∈Rn×d,对拼接结果做线性变化,有:
Y=MW;
其中,W为自定义的参数矩阵,W∈Rd×4,Y为线性变换后的结果。
上述方案中,利用3层稠密连接的双向长短期记忆网络,每一层双向长短期记忆网络的输出都被传递到最后一层双向长短期记忆网络,从而缓解了梯度消失得问题;且每一层双向长短期记忆网络都可以获取原始的输入序列,故其需要的参数少,容易获得更好的效果。
上述方案中,使用多头自注意力机制,仅需序列对自身做Attention计算即可,同时可以学习到不同表示子空间的信息,捕获长距离依赖关系。在长距离依赖上,由于自注意力机制是每个词和所有词都要进行Attention计算,故词间最大的路径长都是1。
与现有技术相比,本发明技术方案的有益效果是:
本发明提供的一种基于自注意力机制的标点符号预测方法,通过构建标点符号预测模型,实现了对语音识别文本的标点符号预测,有效缓解了梯度消失的问题,加强了特征传递,有效建立文本长期依赖的关系;同时,相比之前的模型无需额外的参数,有效减少了传递的数据量,降低参数的训练难度。
附图说明
图1为本发明方法流程图;
图2为稠密连接的双向长短期记忆网络结构示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,一种基于自注意力机制的标点符号预测方法,包括以下步骤:
S1:基于自动语音识别技术进行语音识别,得到无标点符号文本;
S2:对无标点符号文本进行排序处理,得到文本序列;
S3:构建标点符号预测模型,将文本序列导入模型中,完成文本序列的标点符号预测。
在具体实施过程中,模型输入的文本序列为X1,X2,...,XT,代表T个单词,输出序列为Y1,Y2,...,Yt,为每个单词做标记;其中,Yt=0代表这个词后面无标点符号,Yt=1代表这个词后面是逗号,Yt=2代表这个词后面是句号,Yt=3代表这个词后面是问号。
更具体的,在步骤S3中,所述标点符号预测模型包括字符嵌入层、词嵌入层、上下文信息嵌入层、自注意力层和输出层;其中:
所述字符嵌入层对每个单词中的字符序列做一维卷积,对卷积的结果做最大池化,即可得到对应单词的字符级向量;
所述词嵌入层通过预训练的GloVe词向量将每个词映射为一个词级的高维向量;词向量结合对应的字符级向量形成一个既有词级信息又有字符级信息的向量;
所述上下文信息嵌入层通过3层稠密连接的双向长短期记忆网络获得序列的信息表达;
所述自注意力层计算每一个词对序列中其他词的注意力,对序列中的每一个词分配不同的权重,从而得到一个具有权重信息的向量序列;
所述输出层通过归一化指数函数对具有权重信息的向量序列进行处理,完成对每个词的标点符号预测,并输出预测结果。
更具体的,如图2所示,在上下文信息嵌入层中,所述3层稠密连接的双向长短期记忆网络分别为第一层双向长短期记忆网络、第二层双向长短期记忆网络和第三层双向长短期记忆网络;其中,
第一层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息;
第二层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,接收第一层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,还同时接收第一层双向长短期记忆网络、第二层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输出序列的信息表达传送至所述自注意力层。更
具体的,所述自注意力层为多头自注意力机制,具体包括以下步骤:
设头的个数为h,序列单词个数为n,序列维数为d,上下文信息嵌入层的输出序列为Q、K、V,其中Q=K=V,Q∈Rn×d,K∈Rn×d,V∈Rn×d
Q、K、V经过线性变换后对d维进行分割,每个头内Q、K、V注意力计算公式为:
Figure BDA0001854347180000051
每个头的输入Mi为:
Mi=Attention(QWi Q,KWi K,VWi V);
其中,Wi Q∈Rn×d/h,Wi K∈Rn×d/h,Wi V∈Rn×d/h;得到每个头的Attention后,将h个头的Attention结果进行拼接,得到拼接结果M,即:
M=Concat(M1,...,Mh);
其中,M∈Rn×d,对拼接结果做线性变化,有:
Y=MW;
其中,W为自定义的参数矩阵,W∈Rd×4,Y为线性变换后的结果。
在具体实施过程中,利用3层稠密连接的双向长短期记忆网络,每一层双向长短期记忆网络的输出都被传递到最后一层双向长短期记忆网络,从而缓解了梯度消失得问题;且每一层双向长短期记忆网络都可以获取原始的输入序列,故其需要的参数少,容易获得更好的效果。
在具体实施过程中,使用多头自注意力机制,仅需序列对自身做Attention计算即可,同时可以学习到不同表示子空间的信息,捕获长距离依赖关系。在长距离依赖上,由于自注意力机制是每个词和所有词都要进行Attention计算,故词间最大的路径长都是1。
在具体实施过程中,通过构建标点符号预测模型,实现了对语音识别文本的标点符号预测,有效缓解了梯度消失的问题,加强了特征传递,有效建立文本长期依赖的关系;同时,相比之前的模型无需额外的参数,有效减少了传递的数据量,降低参数的训练难度。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (1)

1.一种基于自注意力机制的标点符号预测方法,其特征在于,包括以下步骤:
S1:基于自动语音识别技术进行语音识别,得到无标点符号文本;
S2:对无标点符号文本进行处理,得到文本序列;
S3:构建标点符号预测模型,将文本序列导入模型中,完成文本序列的标点符号预测;
在步骤S3中,所述标点符号预测模型包括字符嵌入层、词嵌入层、上下文信息嵌入层、自注意力层和输出层;其中:
所述字符嵌入层对每个单词中的字符序列做一维卷积,对卷积的结果做最大池化,即可得到对应单词的字符级向量;
所述词嵌入层通过预训练的GloVe词向量将每个词映射为一个词级的高维向量;词向量结合对应的字符级向量形成一个既有词级信息又有字符级信息的向量;
所述上下文信息嵌入层通过3层稠密连接的双向长短期记忆网络获得序列的信息表达;
所述自注意力层计算每一个词对序列中其他词的注意力,对序列中的每一个词分配不同的权重,从而得到一个具有权重信息的向量序列;
所述输出层通过归一化指数函数对具有权重信息的向量序列进行处理,完成对每个词的标点符号预测,并输出预测结果;
在上下文信息嵌入层中,所述3层稠密连接的双向长短期记忆网络分别为第一层双向长短期记忆网络、第二层双向长短期记忆网络和第三层双向长短期记忆网络;其中,
第一层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息;
第二层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,接收第一层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输入端接收所述词嵌入层输出的向量信息的同时,还同时接收第一层双向长短期记忆网络、第二层双向长短期记忆网络的输出信息;
第三层双向长短期记忆网络输出序列的信息表达传送至所述自注意力层;
所述自注意力层为多头自注意力机制,具体包括以下步骤:
设头的个数为h,序列单词个数为n,序列维数为d,上下文信息嵌入层的输出序列为Q、K、V,其中Q=K=V,Q∈Rn×d,K∈Rn×d,V∈Rn×d
Q、K、V经过线性变换后对d维进行分割,每个头内Q、K、V注意力计算公式为:
Figure QLYQS_1
每个头的输入Mi为:
Figure QLYQS_2
其中,
Figure QLYQS_3
得到每个头的Attention后,将h个头的Attention结果进行拼接,得到拼接结果M,即:
M=Concat(M1,...,Mh);
其中,M∈Rn×d,对拼接结果做线性变换,有:
Y=MW;
其中,W为自定义的参数矩阵,W∈Rd×4,Y为线性变换后的结果;
使用多头自注意力机制,仅需序列对自身做Attention计算即可,同时可以学习到不同表示子空间的信息,捕获长距离依赖关系;在长距离依赖上,由于自注意力机制是每个词和所有词都要进行Attention计算,故词间最大的路径长都是1。
CN201811308508.2A 2018-11-05 2018-11-05 一种基于自注意力机制的标点符号预测方法 Active CN109558576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811308508.2A CN109558576B (zh) 2018-11-05 2018-11-05 一种基于自注意力机制的标点符号预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811308508.2A CN109558576B (zh) 2018-11-05 2018-11-05 一种基于自注意力机制的标点符号预测方法

Publications (2)

Publication Number Publication Date
CN109558576A CN109558576A (zh) 2019-04-02
CN109558576B true CN109558576B (zh) 2023-05-23

Family

ID=65865685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811308508.2A Active CN109558576B (zh) 2018-11-05 2018-11-05 一种基于自注意力机制的标点符号预测方法

Country Status (1)

Country Link
CN (1) CN109558576B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037776A (zh) * 2019-05-16 2020-12-04 武汉Tcl集团工业研究院有限公司 一种语音识别方法、语音识别装置及终端设备
CN112837688B (zh) * 2019-11-22 2024-04-02 阿里巴巴集团控股有限公司 语音转写方法、装置、相关系统及设备
CN111062204B (zh) * 2019-12-13 2023-08-22 北京因特睿软件有限公司 基于机器学习的文本标点符号使用错误的识别方法和装置
CN111222338A (zh) * 2020-01-08 2020-06-02 大连理工大学 基于预训练模型和自注意力机制的生物医学关系抽取方法
CN111241810B (zh) * 2020-01-16 2023-08-01 百度在线网络技术(北京)有限公司 标点预测方法及装置
CN111261162B (zh) * 2020-03-09 2023-04-18 北京达佳互联信息技术有限公司 语音识别方法、语音识别装置及存储介质
CN111951792B (zh) * 2020-07-30 2022-12-16 北京先声智能科技有限公司 一种基于分组卷积神经网络的标点标注模型
CN112381182B (zh) * 2020-12-11 2024-01-19 大连海事大学 基于交互式多任务模型进行日常活动预测方法
CN115099189A (zh) * 2021-08-06 2022-09-23 宿迁硅基智能科技有限公司 基于并行计算的语音识别模型及确定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105609107A (zh) * 2015-12-23 2016-05-25 北京奇虎科技有限公司 一种基于语音识别的文本处理方法和装置
CN106653030A (zh) * 2016-12-02 2017-05-10 北京云知声信息技术有限公司 标点添加方法及装置
CN107562784A (zh) * 2017-07-25 2018-01-09 同济大学 基于ResLCNN模型的短文本分类方法
WO2018157703A1 (zh) * 2017-03-02 2018-09-07 腾讯科技(深圳)有限公司 自然语言的语义提取方法及装置和计算机存储介质
CN108563640A (zh) * 2018-04-24 2018-09-21 中译语通科技股份有限公司 一种多语言对的神经网络机器翻译方法及系统
CN108564953A (zh) * 2018-04-20 2018-09-21 科大讯飞股份有限公司 一种语音识别文本的标点处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105609107A (zh) * 2015-12-23 2016-05-25 北京奇虎科技有限公司 一种基于语音识别的文本处理方法和装置
CN106653030A (zh) * 2016-12-02 2017-05-10 北京云知声信息技术有限公司 标点添加方法及装置
WO2018157703A1 (zh) * 2017-03-02 2018-09-07 腾讯科技(深圳)有限公司 自然语言的语义提取方法及装置和计算机存储介质
CN107562784A (zh) * 2017-07-25 2018-01-09 同济大学 基于ResLCNN模型的短文本分类方法
CN108564953A (zh) * 2018-04-20 2018-09-21 科大讯飞股份有限公司 一种语音识别文本的标点处理方法及装置
CN108563640A (zh) * 2018-04-24 2018-09-21 中译语通科技股份有限公司 一种多语言对的神经网络机器翻译方法及系统

Also Published As

Publication number Publication date
CN109558576A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN109558576B (zh) 一种基于自注意力机制的标点符号预测方法
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN111931513B (zh) 一种文本的意图识别方法及装置
CN110609891A (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN110489567B (zh) 一种基于跨网络特征映射的节点信息获取方法及其装置
CN111177376A (zh) 一种基于bert与cnn层级连接的中文文本分类方法
CN110929515A (zh) 基于协同注意力和自适应调整的阅读理解方法及系统
CN113297364B (zh) 一种面向对话系统中的自然语言理解方法及装置
CN111898374B (zh) 文本识别方法、装置、存储介质和电子设备
CN110826338B (zh) 一种单选择门与类间度量的细粒度语义相似识别的方法
CN114090780B (zh) 一种基于提示学习的快速图片分类方法
CN110134946A (zh) 一种针对复杂数据的机器阅读理解方法
CN111027292B (zh) 一种限定采样文本序列生成方法及其系统
CN112527993B (zh) 一种跨媒体层次化深度视频问答推理框架
CN111966811A (zh) 意图识别和槽填充方法、装置、可读存储介质及终端设备
CN113239666A (zh) 一种文本相似度计算方法及系统
CN113011196A (zh) 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN111914553A (zh) 一种基于机器学习的金融信息负面主体判定的方法
WO2019244803A1 (ja) 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム
CN117436452A (zh) 融合上下文感知和多层次特征的金融实体识别方法
CN116860943A (zh) 对话风格感知与主题引导的多轮对话方法及系统
CN115712739B (zh) 舞蹈动作生成方法、计算机设备及存储介质
CN115796187A (zh) 一种基于对话结构图约束的开放域对话方法
Jalaja et al. A behavioral chatbot using encoder-decoder architecture: Humanizing conversations
CN109815323B (zh) 一种人机交互训练问答生成算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant