CN109192201A - 基于双模型识别的语音领域命令理解方法 - Google Patents

基于双模型识别的语音领域命令理解方法 Download PDF

Info

Publication number
CN109192201A
CN109192201A CN201811076254.6A CN201811076254A CN109192201A CN 109192201 A CN109192201 A CN 109192201A CN 201811076254 A CN201811076254 A CN 201811076254A CN 109192201 A CN109192201 A CN 109192201A
Authority
CN
China
Prior art keywords
voice
random field
understanding method
model identification
handled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811076254.6A
Other languages
English (en)
Inventor
段礼强
李贤�
乐雨泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Ting Yun Intelligent Technology Co Ltd
Original Assignee
Suzhou Ting Yun Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Ting Yun Intelligent Technology Co Ltd filed Critical Suzhou Ting Yun Intelligent Technology Co Ltd
Priority to CN201811076254.6A priority Critical patent/CN109192201A/zh
Publication of CN109192201A publication Critical patent/CN109192201A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于双模型识别的语音领域命令理解方法，外部输入话语先经循环神经网络模型处理并进行语音意图的判断，在得出判断结果后再经条件随机场模型生成目标序列标签，从而提取出语音实体，所述条件随机场模型再向后处理单元输出所提取到的语音试题的数据，生成最终的控制指令。本发明中的循环神经网络模型的目标是为判断用户的话语是否表达了一个语音领域的意图，如此能够提高识别准确性，降低识别出错率。

Description

基于双模型识别的语音领域命令理解方法
技术领域
本发明涉及人机交互领域中的语言识别技术领域，特别是涉及一张基于双模型识别的语音领域命令理解方法
背景技术
对话系统是人机交互的一种相当重要的形式，也是自然语言处理过程中的一个关键的研究方向。在语音领域，能否正确解析出用户话语命令是完成用户指定任务的基础，在很多地方比如语音助手、语音平台都有很丰富的应用场景。
对于用户某条话语，目前常使用的条件随机场(CRF)模型并不能很好的区分其是否表达了一个语音领域内的意图。CRF一般在序列标注、命名实体识别过程表现较好，但在识别语音实体之前，需要判断此用户话语是否表达语音意图，否则可能识别出错，甚至无法识别。
如能够先进行语音意图的识别，可带来两个好处，一是若判断用户话语没有表达语音意图，则不需要进行后续实体提取操作，因为此时已经完成无语音意图解析操作，二是若对用户话语的语音意图不做判断的话，则很有可能一段用户话语没有表现语音意图，但是被错误的提取出了语音实体，比如“刘德华的老婆是谁”这句用户话语，若不先进行语音意图判断操作，则很有可能将“刘德华”识别成歌手实体，从而这句话也被解析成语音意图，而实际上这句话并没有表达语音领域的相关意图。
发明内容
本发明的目的是要提供一种基于双模型识别的语音领域命令理解方法，其中循环神经网络模型的目标是为判断用户的话语是否表达了一个语音领域的意图，如此能够提高识别准确性，降低识别出错率。
为达到上述目的，本发明采用的技术方案是：
本发明提供了一种基于双模型识别的语音领域命令理解方法，外部输入话语先经循环神经网络模型处理并进行语音意图的判断，在得出判断结果后再经条件随机场模型生成目标序列标签，从而提取出语音实体，所述条件随机场模型再向后处理单元输出所提取到的语音试题的数据，生成最终的控制指令。
对于上述技术方案，申请人还有进一步的实施方案。
进一步地，外部输入话语先经分子处理单元对其进行按字切分后形成初始训练集，再将初始训练集输入所述循环神经网络模型进行处理。
更进一步地，在循环神经网络模型中进行处理的具体步骤如下：
步骤A1：计算第t时刻的隐藏状态ht，ht由上一层的隐藏状态和本层的输入共同决定，
ht＝f(Uxt+Wht-1)其中，xt是第t时刻的输入，f为非线性的激活函数，U、W为变换矩阵；
步骤A2：计算预测标签值S，
S＝sigmod(VhT)，其中，V为变换矩阵，hT为序列最后一个时刻的隐藏状态；
步骤A3：确定分类类型，
根据预测标签值S确定分类，如S为正值则分类为正类，确认外部输入话语为语音意图，继续进入条件随机场模型进行处理，如S为负值则分类为负类，确认外部输入话语为非语音意图，退出此次处理。
进一步地，在条件随机场模型中进行处理时，外部输入为句子序列，输出目标为句子标注序列标签，然后根据标注序列标签提取对应的语音实体。
更进一步地，在条件随机场模型中进行处理的具体步骤如下：
步骤B1：计算转移特征与状态特征的特征值fk(yi-1,yi,x,i)，其中，tk(yi-1,yi,x,i)为转移特征，sl(yi,x,i)为状态特征，K1为转移特征的总数目，K2为状态特征的总数目，yi,yi-1是标注序列的标签，x是输入序列，i表示输入位置；
步骤B2：对转移特征与状态特征在各个位置i求和，记作：
其中i为序列长度；
步骤B3：计算转移特征与状态特征的特征值fk(yi-1,yi,x,i)的权值wk，
其中，λk为……，μl为……
步骤B4：条件随机场可以表示成：其中对于训练样本集合要优化的目标为其中M为训练集数目大小，通过训练集，调整参数W从而使得优化目标取得最大值，模型训练完成之后，即特征向量权重W求解完成；
步骤B5：对于新来输入序列x，通过求解得到预测标签序列y'，y'即是目标序列标签，根据目标序列标签提取实体。
进一步地，在后处理单元中，根据条件随机场模型预测的目标序列标签提取语音领域实体。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
本发明的基于双模型识别的语音领域命令理解方法，可通过循环神经网络(RNN)模型对用户话语进行判断，先判断是否含有语音领域相关意图，若判断该话语表达了语音领域相关意图，则使用条件随机场模型(CRF)进行相关参数的提取，若判断该话语没有表达语音领域相关意图，则判断结束，不需要进行后续操作，这样就能解决后面语音领域相关参数提取错误导致的意图判断错误的问题，如此能够提高识别准确性，降低识别出错率。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本发明一个实施例的语音领域命令理解方法的处理流程示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本实施例描述了一种基于双模型识别的语音领域命令理解方法，外部输入话语先经循环神经网络模型处理并进行语音意图的判断，在得出判断结果后再经条件随机场模型生成目标序列标签，从而提取出语音实体，所述条件随机场模型再向后处理单元输出所提取到的语音试题的数据，生成最终的控制指令。
外部输入话语先经分子处理单元对其进行按字切分后形成初始训练集，再将初始训练集输入所述循环神经网络模型进行处理，在循环神经网络模型中进行处理的具体步骤如下：
步骤A1：计算第t时刻的隐藏状态ht，ht由上一层的隐藏状态和本层的输入共同决定，
ht＝f(Uxt+Wht-1)其中，xt是第t时刻的输入，f为非线性的激活函数，U、W为变换矩阵；
步骤A2：计算预测标签值S，
S＝sigmod(VhT)，其中，V为变换矩阵，hT为序列最后一个时刻的隐藏状态；
步骤A3：确定分类类型，
根据预测标签值S确定分类，如S为正值则分类为正类，确认外部输入话语为语音意图，继续进入条件随机场模型进行处理，如S为负值则分类为负类，确认外部输入话语为非语音意图，退出此次处理。
进一步地，在条件随机场模型中进行处理时，外部输入为句子序列，输出目标为句子标注序列标签，然后根据标注序列标签提取对应的语音实体。
更进一步地，在条件随机场模型中进行处理的具体步骤如下：
步骤B1：计算转移特征与状态特征的特征值fk(yi-1,yi,x,i)，其中，tk(yi-1,yi,x,i)为转移特征，sl(yi,x,i)为状态特征，K1为转移特征的总数目，K2为状态特征的总数目，yi,yi-1是标注序列的标签，x是输入序列，i表示输入位置；
步骤B2：对转移特征与状态特征在各个位置i求和，记作：
其中i为序列长度；
步骤B3：计算转移特征与状态特征的特征值fk(yi-1,yi,x,i)的权值wk，
其中，λk为……，μl为……
步骤B4：条件随机场可以表示成：其中对于训练样本集合要优化的目标为其中M为训练集数目大小，通过训练集，调整参数W从而使得优化目标取得最大值，模型训练完成之后，即特征向量权重W求解完成；
步骤B5：对于新来输入序列x，通过求解得到预测标签序列y'，y'即是目标序列标签，根据目标序列标签提取实体。
进一步地，在后处理单元中，根据条件随机场模型预测的目标序列标签提取语音领域实体。
下面以一具体语句为例来说明双模型识别的数据集训练过程。
训练数据集类型如下：
请播放周杰伦的稻香 artist：周杰伦，sOng：稻香刘德华的老婆是谁 NO-music
........
对于训练数据集合，我们分别训练RNN和CRF模型：
(1)RNN模型训练过程：
对于训练集中的NO-music(无语音意图)，则标记为负样本标签0，否则标记为正样本标签1。
即训练数据转换为以下格式：
请播放周杰伦的稻香 1
刘德华的老婆是谁 0
构建好训练集之后，RNN模型训练过程如上。
预测过程：
对于新的话语句子：唱一首稻香
首先分字处理：唱一首稻香
然后从预训练好的字向量得到所有字的向量，然后按时刻先后输入到RNN模型，最后得到序列最后一个时刻的隐藏状态为hT，通过y＝sigmod(VhT)计算得到意图识别结果y。
(2)CRF模型训练过程：
在CRF模型训练过程中，数据格式变换成以下格式：
请播放周杰伦的稻香 O O O A-B A-I A-E O S-B S-E
刘德华的老婆是谁 O O O O O O O O
对于每一条输入样本，输入为序列，输出目标也为序列，符号标记如上。再对输入序列每个字进行字性标注，会得到一个三列的序列，第一列为按字切分的输入序列，第二列为字的字性，第三列为输出目标标签序列。然后我们定义了特征函数
特征函数比如：如果此位置为“杰”且对应的标注序列为A-I，那么这个特征函数为1，否则为0。然后通过训练集，求出所有特征函数的值，然后优化求的特征向量的权重参数W，这也是模型要学习的参数。
预测过程，输入预测话语句子：唱一首稻香
我们通过式子：得到预测序列y'。
比如，这里我们得到的y'为：O O O S-B S-E
(3)后处理
通过后处理，我们得到该话语语音领域实体为：歌曲：稻香。
综上可知，本发明的基于双模型识别的语音领域命令理解方法，可通过循环神经网络(RNN)模型对用户话语进行判断，先判断是否含有语音领域相关意图，若判断该话语表达了语音领域相关意图，则使用条件随机场模型(CRF)进行相关参数的提取，若判断该话语没有表达语音领域相关意图，则判断结束，不需要进行后续操作，这样就能解决后面语音领域相关参数提取错误导致的意图判断错误的问题，如此能够提高识别准确性，降低识别出错率。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于双模型识别的语音领域命令理解方法，其特征在于，外部输入话语先经循环神经网络模型处理并进行语音意图的判断，在得出判断结果后再经条件随机场模型生成目标序列标签，从而提取出语音实体，所述条件随机场模型再向后处理单元输出所提取到的语音试题的数据，生成最终的控制指令。
2.根据权利要求1所述的基于双模型识别的语音领域命令理解方法，其特征在于，外部输入话语先经分子处理单元对其进行按字切分后形成初始训练集，再将初始训练集输入所述循环神经网络模型进行处理。
3.根据权利要求2所述的基于双模型识别的语音领域命令理解方法，其特征在于，在循环神经网络模型中进行处理的具体步骤如下：
步骤A1：计算第t时刻的隐藏状态ht，ht由上一层的隐藏状态和本层的输入共同决定，
ht＝f(Uxt+Wht-1)其中，xt是第t时刻的输入，f为非线性的激活函数，U、W为变换矩阵；
步骤A2：计算预测标签值S，
S＝sig mod(VhT)，其中，V为变换矩阵，hT为序列最后一个时刻的隐藏状态；
步骤A3：确定分类类型，
根据预测标签值S确定分类，如S为正值则分类为正类，确认外部输入话语为语音意图，继续进入条件随机场模型进行处理，如S为负值则分类为负类，确认外部输入话语为非语音意图，退出此次处理。
4.根据权利要求1所述的基于双模型识别的语音领域命令理解方法，其特征在于，在条件随机场模型中进行处理时，外部输入为句子序列，输出目标为句子标注序列标签，然后根据标注序列标签提取对应的语音实体。
5.根据权利要求4所述的基于双模型识别的语音领域命令理解方法，其特征在于，在条件随机场模型中进行处理的具体步骤如下：
步骤B1：计算转移特征与状态特征的特征值fk(yi-1,yi,x,i)，其中，tk(yi-1,yi,x,i)为转移特征，sl(yi,x,i)为状态特征，K1为转移特征的总数目，K2为状态特征的总数目，yi,yi-1是标注序列的标签，x是输入序列，i表示输入位置；
步骤B2：对转移特征与状态特征在各个位置i求和，记作：
其中i为序列长度；
步骤B3：计算转移特征与状态特征的特征值fk(yi-1,yi,x,i)的权值wk，
其中，λk为……，μl为……
步骤B4：条件随机场可以表示成：其中对于训练样本集合要优化的目标为其中M为训练集数目大小，通过训练集，调整参数W从而使得优化目标取得最大值，模型训练完成之后，即特征向量权重W求解完成；
步骤B5：对于新来输入序列x，通过求解得到预测标签序列y'，y'即是目标序列标签，根据目标序列标签提取实体。
6.根据权利要求5所述的基于双模型识别的语音领域命令理解方法，其特征在于，在后处理单元中，根据条件随机场模型预测的目标序列标签提取语音领域实体。
CN201811076254.6A 2018-09-14 2018-09-14 基于双模型识别的语音领域命令理解方法 Pending CN109192201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811076254.6A CN109192201A (zh) 2018-09-14 2018-09-14 基于双模型识别的语音领域命令理解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811076254.6A CN109192201A (zh) 2018-09-14 2018-09-14 基于双模型识别的语音领域命令理解方法

Publications (1)

Publication Number Publication Date
CN109192201A true CN109192201A (zh) 2019-01-11

Family

ID=64911438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811076254.6A Pending CN109192201A (zh) 2018-09-14 2018-09-14 基于双模型识别的语音领域命令理解方法

Country Status (1)

Country Link
CN (1) CN109192201A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887512A (zh) * 2019-03-15 2019-06-14 深圳市奥迪信科技有限公司 智慧酒店客房控制方法及系统
CN113051918A (zh) * 2019-12-26 2021-06-29 北京中科闻歌科技股份有限公司 基于集成学习的命名实体识别方法、装置、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035241A (zh) * 2012-12-07 2013-04-10 中国科学院自动化研究所 模型互补的汉语韵律间断识别系统及方法
CN104575501A (zh) * 2015-01-19 2015-04-29 北京云知声信息技术有限公司 一种收音机语音操控指令解析方法及系统
CN105206266A (zh) * 2015-09-01 2015-12-30 重庆长安汽车股份有限公司 基于用户意图猜测的车载语音控制系统及方法
CN106796786A (zh) * 2014-09-30 2017-05-31 三菱电机株式会社 语音识别系统
CN106980609A (zh) * 2017-03-21 2017-07-25 大连理工大学 一种基于词向量表示的条件随机场的命名实体识别方法
CN107346340A (zh) * 2017-07-04 2017-11-14 北京奇艺世纪科技有限公司 一种用户意图识别方法及系统
CN108268447A (zh) * 2018-01-22 2018-07-10 河海大学 一种藏文命名实体的标注方法
CN108428447A (zh) * 2018-06-19 2018-08-21 科大讯飞股份有限公司 一种语音意图识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035241A (zh) * 2012-12-07 2013-04-10 中国科学院自动化研究所 模型互补的汉语韵律间断识别系统及方法
CN106796786A (zh) * 2014-09-30 2017-05-31 三菱电机株式会社 语音识别系统
CN104575501A (zh) * 2015-01-19 2015-04-29 北京云知声信息技术有限公司 一种收音机语音操控指令解析方法及系统
CN105206266A (zh) * 2015-09-01 2015-12-30 重庆长安汽车股份有限公司 基于用户意图猜测的车载语音控制系统及方法
CN106980609A (zh) * 2017-03-21 2017-07-25 大连理工大学 一种基于词向量表示的条件随机场的命名实体识别方法
CN107346340A (zh) * 2017-07-04 2017-11-14 北京奇艺世纪科技有限公司 一种用户意图识别方法及系统
CN108268447A (zh) * 2018-01-22 2018-07-10 河海大学 一种藏文命名实体的标注方法
CN108428447A (zh) * 2018-06-19 2018-08-21 科大讯飞股份有限公司 一种语音意图识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
发布者：磐创AI: "《使用Keras进行深度学习：（五）RNN和双向RNN讲解及实践》", 《CSDN》 *
洪铭材 等: "《基于条件随机场（CRFs）的中文词性标注方法》", 《计算机科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887512A (zh) * 2019-03-15 2019-06-14 深圳市奥迪信科技有限公司 智慧酒店客房控制方法及系统
CN113051918A (zh) * 2019-12-26 2021-06-29 北京中科闻歌科技股份有限公司 基于集成学习的命名实体识别方法、装置、设备和介质
CN113051918B (zh) * 2019-12-26 2024-05-14 北京中科闻歌科技股份有限公司 基于集成学习的命名实体识别方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN107273355B (zh) 一种基于字词联合训练的中文词向量生成方法
CN107291783B (zh) 一种语义匹配方法及智能设备
Xu et al. Convolutional neural network based triangular crf for joint intent detection and slot filling
CN109710744B (zh) 一种数据匹配方法、装置、设备及存储介质
CN108984530A (zh) 一种网络敏感内容的检测方法及检测系统
CN110556129A (zh) 双模态情感识别模型训练方法及双模态情感识别方法
CN109543722A (zh) 一种基于情感分析模型的情感趋势预测方法
CN103514170B (zh) 一种语音识别的文本分类方法和装置
Korpusik et al. Spoken language understanding for a nutrition dialogue system
CN107180084A (zh) 词库更新方法及装置
CN107797987B (zh) 一种基于Bi-LSTM-CNN的混合语料命名实体识别方法
TW200421264A (en) Sensor based speech recognizer selection, adaptation and combination
Li et al. Towards zero-shot learning for automatic phonemic transcription
CN110110059A (zh) 一种基于深度学习的医疗对话系统意图识别分类方法
CN110992988B (zh) 一种基于领域对抗的语音情感识别方法及装置
CN110909144A (zh) 问答对话方法、装置、电子设备及计算机可读存储介质
CN109933792A (zh) 基于多层双向lstm和验证模型的观点型问题阅读理解方法
CN109670050A (zh) 一种实体关系预测方法及装置
CN112417132B (zh) 一种利用谓宾信息筛选负样本的新意图识别方法
CN111222318A (zh) 基于双通道双向lstm-crf网络的触发词识别方法
CN109192201A (zh) 基于双模型识别的语音领域命令理解方法
CN112000778A (zh) 一种基于语义识别的自然语言处理方法、装置和系统
CN110472245A (zh) 一种基于层次化卷积神经网络的多标记情绪强度预测方法
CN114153942B (zh) 一种基于动态注意力机制的事件时序关系抽取方法
CN109242020A (zh) 一种基于fastText和CRF的音乐领域命令理解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190111