CN108877777B - 一种语音识别方法及系统 - Google Patents

一种语音识别方法及系统 Download PDF

Info

Publication number
CN108877777B
CN108877777B CN201810864097.9A CN201810864097A CN108877777B CN 108877777 B CN108877777 B CN 108877777B CN 201810864097 A CN201810864097 A CN 201810864097A CN 108877777 B CN108877777 B CN 108877777B
Authority
CN
China
Prior art keywords
frame
audio
current
identifier
posterior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810864097.9A
Other languages
English (en)
Other versions
CN108877777A (zh
Inventor
徐利强
曹裕行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Shanghai Intelligent Technology Co Ltd
Original Assignee
Unisound Shanghai Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Shanghai Intelligent Technology Co Ltd filed Critical Unisound Shanghai Intelligent Technology Co Ltd
Priority to CN201810864097.9A priority Critical patent/CN108877777B/zh
Publication of CN108877777A publication Critical patent/CN108877777A/zh
Application granted granted Critical
Publication of CN108877777B publication Critical patent/CN108877777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Telephonic Communication Services (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种语音识别方法及系统，其中，所述方法包括：获取待处理的音频文件，并计算所述音频文件中的当前音频帧在各个要素上的后验概率；根据计算的所述后验概率，统计在表征非语音信息的目标要素上的后验概率之和；根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧。本申请提供的技术方案，能够提高静音和噪音的识别效率。

Description

一种语音识别方法及系统
技术领域
本发明涉及语音处理技术领域，特别涉及一种语音识别方法及系统。
背景技术
目前，声纹识别系统往往需要通过VAD(Voice Activity Detection，语音激活检测)模块来去除音频文件中的静音段和噪音段，从而提高音频文件的播放效果。当前的VAD模块，通常是利用传统的基于能量检测的方法或者基于深度学习的方法进行静音段和噪声段的识别和去除。
然而，基于能量检测的方法，性能稳定性较差，而基于深度学习的方法，则要耗费大量的计算量，实时率较低。因此，当前的VAD模块在识别噪音和静音方面，效率较低。
发明内容
本申请的目的在于提供一种语音识别方法，能够提高噪音以及静音的识别效率。
为实现上述目的，本申请提供一种语音识别方法，所述方法包括：获取待处理的音频文件，并计算所述音频文件中的当前音频帧在各个要素上的后验概率；根据计算的所述后验概率，统计在表征非语音信息的目标要素上的后验概率之和；根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧。
进一步地，计算所述音频文件中的当前音频帧在各个要素上的后验概率包括：确定所述音频文件的对齐信息，所述对齐信息中包括多个过渡标识，其中，各个所述过渡标识按照过渡状态进行划分，每个所述过渡状态对应唯一的概率密度函数；将当前的过渡标识转换为对应的概率密度函数标识，并基于转换得到的所述概率密度函数标识，生成所述当前的过渡标识对应的后验概率，并将生成的所述后验概率作为所述当前音频帧在当前要素上的后验概率。
进一步地，将当前的过渡标识转换为对应的概率密度函数标识包括：确定当前的过渡标识所属的目标过渡状态，并调用所述目标过渡状态对应的目标概率密度函数，其中，所述目标概率密度函数的标识作为转换得到的概率密度函数标识。
进一步地，根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧包括：若所述后验概率之和大于指定阈值，判定所述当前音频帧为非语音帧；若所述后验概率之和小于或者等于所述指定阈值，判定所述当前音频帧为语音帧。
进一步地，所述当前音频帧按照以下方式确定：在所述音频文件中确定音频切换帧，并将相邻两个音频切换帧之间的音频片段作为一个场景片段；从确定出的各个所述场景片段中，分别挑选一个音频帧，作为待处理的音频帧，其中，当前待处理的音频帧为所述当前音频帧。
进一步地，在所述音频文件中确定音频切换帧包括：在所述音频文件中确定基准帧，并依次计算所述基准帧之后的音频帧与所述基准帧之间的相似度；若所述音频文件中的音频帧与所述基准帧之间的相似度小于或者等于指定阈值，将该音频帧确定为一个音频切换帧；将确定的所述音频切换帧作为新的基准帧，并依次计算所述新的基准帧之后的音频帧与所述新的基准帧之间的相似度，以根据计算的结果确定下一个音频切换帧。
为实现上述目的，本申请还提供一种语音识别系统，所述系统包括：后验概率计算单元，用于获取待处理的音频文件，并计算所述音频文件中的当前音频帧在各个要素上的后验概率；统计单元，用于根据计算的所述后验概率，统计在表征非语音信息的目标要素上的后验概率之和；判断单元，用于根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧。
进一步地，所述后验概率计算单元包括：对齐信息确定模块，用于确定所述音频文件的对齐信息，所述对齐信息中包括多个过渡标识，其中，各个所述过渡标识按照过渡状态进行划分，每个所述过渡状态对应唯一的概率密度函数；函数确定模块，用于将当前的过渡标识转换为对应的概率密度函数标识，并基于转换得到的所述概率密度函数标识，生成所述当前的过渡标识对应的后验概率，并将生成的所述后验概率作为所述当前音频帧在当前要素上的后验概率。
进一步地，所述函数确定模块包括：过渡状态识别模块，用于确定当前的过渡标识所属的目标过渡状态，并调用所述目标过渡状态对应的目标概率密度函数，其中，所述目标概率密度函数的标识作为转换得到的概率密度函数标识。
进一步地，所述判断单元用于在所述后验概率之和大于指定阈值时，判定所述当前音频帧为非语音帧；以及在所述后验概率之和小于或者等于所述指定阈值时，判定所述当前音频帧为语音帧。
由上可见，本申请提供的技术方案，将声纹中的后验概率计算模块和VAD模块结合，从而避免了单独使用深度学习方法所耗费的计算量，因此提高了语音识别的效率。进一步地，相对于传统的基于能量检测的方法，通过声学模型能够得到较为准确的对齐信息，从而能够得到更为准确的识别结果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中语音识别方法的流程图；
图2为本发明实施例中语音识别系统的功能模块图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
请参阅图1，本申请提供一种语音识别方法，所述方法包括：
S1：获取待处理的音频文件，并计算所述音频文件中的当前音频帧在各个要素上的后验概率；
S2：根据计算的所述后验概率，统计在表征非语音信息的目标要素上的后验概率之和；
S3：根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧。
在本实施方式中，计算所述音频文件中的当前音频帧在各个要素上的后验概率包括：
确定所述音频文件的对齐信息，所述对齐信息中包括多个过渡标识，其中，各个所述过渡标识按照过渡状态进行划分，每个所述过渡状态对应唯一的概率密度函数；
将当前的过渡标识转换为对应的概率密度函数标识，并基于转换得到的所述概率密度函数标识，生成所述当前的过渡标识对应的后验概率，并将生成的所述后验概率作为所述当前音频帧在当前要素上的后验概率。
具体地，可以通过DNN(Deep Neural Networks，深度神经网络)声学模型，得到该音频文件的对其(aligment)信息。在该对齐信息中，可以包括多个数字，每个数字可以表示一个transition-id(过渡标识)，同时，每个数字对应一个特征向量，该特征向量可以通过copy-matrix的指令查看。具体地，过渡标识可以按照不同的过渡状态(transition-state)进行划分，并且每个过渡状态可以对应唯一的概率密度函数(probability desityfunction，PDF)。在这种情况下，可以确定当前的过渡标识所属的目标过渡状态，并调用所述目标过渡状态对应的目标概率密度函数，其中，所述目标概率密度函数的标识作为转换得到的概率密度函数标识。然后，可以通过调用的目标概率密度函数，计算当前的过渡标识所对应的后验概率。其中，每个过渡标识可以对应一个要素，通过对某个音频帧的各个过渡标识进行后验概率的计算，从而可以确定该音频帧在各个要素上的后验概率。
在本实施方式中，根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧包括：
若所述后验概率之和大于指定阈值，判定所述当前音频帧为非语音帧；
若所述后验概率之和小于或者等于所述指定阈值，判定所述当前音频帧为语音帧。
在本实施方式中，所述当前音频帧按照以下方式确定：
在所述音频文件中确定音频切换帧，并将相邻两个音频切换帧之间的音频片段作为一个场景片段；
从确定出的各个所述场景片段中，分别挑选一个音频帧，作为待处理的音频帧，其中，当前待处理的音频帧为所述当前音频帧。
这样处理的目的在于，可以减少音频数据的处理量，由于同一个场景片段中的音频内容也比较接近，因此可以从一个场景片段中挑选一个音频帧，后续针对挑选的音频帧进行识别即可。若识别出某个音频帧为非语音帧，则可以将该音频帧所属的场景片段作为非语音片段，从而极大地减少了需要处理的数据量。
在一个实施方式中，在所述音频文件中确定音频切换帧包括：
在所述音频文件中确定基准帧，并依次计算所述基准帧之后的音频帧与所述基准帧之间的相似度；
若所述音频文件中的音频帧与所述基准帧之间的相似度小于或者等于指定阈值，将该音频帧确定为一个音频切换帧；
将确定的所述音频切换帧作为新的基准帧，并依次计算所述新的基准帧之后的音频帧与所述新的基准帧之间的相似度，以根据计算的结果确定下一个音频切换帧。
在本实施方式中，可以通过音频帧之间的相似度来确定场景片段，当相似度差别较大时，可以认为两个音频帧处于不同的场景片段中。
请参阅图2，本申请还提供一种语音识别系统，所述系统包括：
后验概率计算单元，用于获取待处理的音频文件，并计算所述音频文件中的当前音频帧在各个要素上的后验概率；
统计单元，用于根据计算的所述后验概率，统计在表征非语音信息的目标要素上的后验概率之和；
判断单元，用于根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧。
在一个实施方式中，所述后验概率计算单元包括：
对齐信息确定模块，用于确定所述音频文件的对齐信息，所述对齐信息中包括多个过渡标识，其中，各个所述过渡标识按照过渡状态进行划分，每个所述过渡状态对应唯一的概率密度函数；
函数确定模块，用于将当前的过渡标识转换为对应的概率密度函数标识，并基于转换得到的所述概率密度函数标识，生成所述当前的过渡标识对应的后验概率，并将生成的所述后验概率作为所述当前音频帧在当前要素上的后验概率。
在一个实施方式中，所述函数确定模块包括：
过渡状态识别模块，用于确定当前的过渡标识所属的目标过渡状态，并调用所述目标过渡状态对应的目标概率密度函数，其中，所述目标概率密度函数的标识作为转换得到的概率密度函数标识。
在一个实施方式中，所述判断单元用于在所述后验概率之和大于指定阈值时，判定所述当前音频帧为非语音帧；以及在所述后验概率之和小于或者等于所述指定阈值时，判定所述当前音频帧为语音帧。
由上可见，本申请提供的技术方案，将声纹中的后验概率计算模块和VAD模块结合，从而避免了单独使用深度学习方法所耗费的计算量，因此提高了语音识别的效率。进一步地，相对于传统的基于能量检测的方法，通过声学模型能够得到较为准确的对齐信息，从而能够得到更为准确的识别结果。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种语音识别方法，其特征在于，所述方法包括：
获取待处理的音频文件，并计算所述音频文件中的当前音频帧在各个要素上的后验概率；
根据计算的所述后验概率，统计在表征非语音信息的目标要素上的后验概率之和；
根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧；
所述当前音频帧按照以下方式确定：
在所述音频文件中确定音频切换帧，并将相邻两个音频切换帧之间的音频片段作为一个场景片段；
从确定出的各个所述场景片段中，分别挑选一个音频帧，作为待处理的音频帧，其中，当前待处理的音频帧为所述当前音频帧。
2.根据权利要求1所述的方法，其特征在于，计算所述音频文件中的当前音频帧在各个要素上的后验概率包括：
确定所述音频文件的对齐信息，所述对齐信息中包括多个过渡标识，其中，各个所述过渡标识按照过渡状态进行划分，每个所述过渡状态对应唯一的概率密度函数；
将当前的过渡标识转换为对应的概率密度函数标识，并基于转换得到的所述概率密度函数标识，生成所述当前的过渡标识对应的后验概率，并将生成的所述后验概率作为所述当前音频帧在当前要素上的后验概率。
3.根据权利要求2所述的方法，其特征在于，将当前的过渡标识转换为对应的概率密度函数标识包括：
确定当前的过渡标识所属的目标过渡状态，并调用所述目标过渡状态对应的目标概率密度函数，其中，所述目标概率密度函数的标识作为转换得到的概率密度函数标识。
4.根据权利要求1所述的方法，其特征在于，根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧包括：
若所述后验概率之和大于指定阈值，判定所述当前音频帧为非语音帧；
若所述后验概率之和小于或者等于所述指定阈值，判定所述当前音频帧为语音帧。
5.根据权利要求1所述的方法，其特征在于，在所述音频文件中确定音频切换帧包括：
在所述音频文件中确定基准帧，并依次计算所述基准帧之后的音频帧与所述基准帧之间的相似度；
若所述音频文件中的音频帧与所述基准帧之间的相似度小于或者等于指定阈值，将该音频帧确定为一个音频切换帧；
将确定的所述音频切换帧作为新的基准帧，并依次计算所述新的基准帧之后的音频帧与所述新的基准帧之间的相似度，以根据计算的结果确定下一个音频切换帧。
6.一种语音识别系统，其特征在于，所述系统包括：
后验概率计算单元，用于获取待处理的音频文件，并计算所述音频文件中的当前音频帧在各个要素上的后验概率；
统计单元，用于根据计算的所述后验概率，统计在表征非语音信息的目标要素上的后验概率之和；
判断单元，用于根据统计的所述后验概率之和，判断所述当前音频帧是否为语音帧；
所述当前音频帧按照以下方式确定：
在所述音频文件中确定音频切换帧，并将相邻两个音频切换帧之间的音频片段作为一个场景片段；
从确定出的各个所述场景片段中，分别挑选一个音频帧，作为待处理的音频帧，其中，当前待处理的音频帧为所述当前音频帧。
7.根据权利要求6所述的系统，其特征在于，所述后验概率计算单元包括：
对齐信息确定模块，用于确定所述音频文件的对齐信息，所述对齐信息中包括多个过渡标识，其中，各个所述过渡标识按照过渡状态进行划分，每个所述过渡状态对应唯一的概率密度函数；
函数确定模块，用于将当前的过渡标识转换为对应的概率密度函数标识，并基于转换得到的所述概率密度函数标识，生成所述当前的过渡标识对应的后验概率，并将生成的所述后验概率作为所述当前音频帧在当前要素上的后验概率。
8.根据权利要求7所述的系统，其特征在于，所述函数确定模块包括：
过渡状态识别模块，用于确定当前的过渡标识所属的目标过渡状态，并调用所述目标过渡状态对应的目标概率密度函数，其中，所述目标概率密度函数的标识作为转换得到的概率密度函数标识。
9.根据权利要求6所述的系统，其特征在于，所述判断单元用于在所述后验概率之和大于指定阈值时，判定所述当前音频帧为非语音帧；以及在所述后验概率之和小于或者等于所述指定阈值时，判定所述当前音频帧为语音帧。
CN201810864097.9A 2018-08-01 2018-08-01 一种语音识别方法及系统 Active CN108877777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810864097.9A CN108877777B (zh) 2018-08-01 2018-08-01 一种语音识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810864097.9A CN108877777B (zh) 2018-08-01 2018-08-01 一种语音识别方法及系统

Publications (2)

Publication Number Publication Date
CN108877777A CN108877777A (zh) 2018-11-23
CN108877777B true CN108877777B (zh) 2021-04-13

Family

ID=64307064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810864097.9A Active CN108877777B (zh) 2018-08-01 2018-08-01 一种语音识别方法及系统

Country Status (1)

Country Link
CN (1) CN108877777B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115784A (zh) * 2021-11-30 2022-03-01 云知声智能科技股份有限公司 基于智能麦克风的控制方法、装置、电子设备和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1223985C (zh) * 2002-10-17 2005-10-19 中国科学院声学研究所 语音识别置信度评价方法和系统及应用该方法的听写装置
US7693715B2 (en) * 2004-03-10 2010-04-06 Microsoft Corporation Generating large units of graphonemes with mutual information criterion for letter to sound conversion
CN103578470B (zh) * 2012-08-09 2019-10-18 科大讯飞股份有限公司 一种电话录音数据的处理方法及系统
CN103000174B (zh) * 2012-11-26 2015-06-24 河海大学 语音识别系统中基于快速噪声估计的特征补偿方法
CN104934032B (zh) * 2014-03-17 2019-04-05 华为技术有限公司 根据频域能量对语音信号进行处理的方法和装置
CN103985381B (zh) * 2014-05-16 2016-09-21 清华大学 一种基于参数融合优化决策的音频索引方法
CN104538033A (zh) * 2014-12-29 2015-04-22 江苏科技大学 基于嵌入式gpu系统的并行化语音识别系统及方法
CN104918060B (zh) * 2015-05-29 2018-08-10 北京奇艺世纪科技有限公司 一种视频广告中插点位置的选择方法和装置
CN106814608B (zh) * 2016-12-08 2020-03-03 浙江中控软件技术有限公司 基于后验概率分布的预测控制自适应滤波算法
CN106603916A (zh) * 2016-12-14 2017-04-26 天脉聚源（北京）科技有限公司 一种关键帧检测方法及装置

Also Published As

Publication number Publication date
CN108877777A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
US10109280B2 (en) Blind diarization of recorded calls with arbitrary number of speakers
CN106940998B (zh) 一种设定操作的执行方法及装置
CN112289323B (zh) 语音数据处理方法、装置、计算机设备和存储介质
US20180158449A1 (en) Method and device for waking up via speech based on artificial intelligence
Shum et al. On the use of spectral and iterative methods for speaker diarization
CN109360572A (zh) 通话分离方法、装置、计算机设备及存储介质
WO2021151310A1 (zh) 语音通话的噪声消除方法、装置、电子设备及存储介质
CN111192590B (zh) 语音唤醒方法、装置、设备及存储介质
KR20230175258A (ko) 반복적 화자 임베딩을 통한 종단간 화자 분리
WO2012075640A1 (en) Modeling device and method for speaker recognition, and speaker recognition system
CN112802498B (zh) 语音检测方法、装置、计算机设备和存储介质
WO2021098318A1 (zh) 应答方法、终端及存储介质
US20240160849A1 (en) Speaker diarization supporting episodical content
CN115457938A (zh) 识别唤醒词的方法、装置、存储介质及电子装置
CN109309763B (zh) 一种基于声纹的外呼检测方法以及系统
CN108877777B (zh) 一种语音识别方法及系统
Chen et al. Active learning for domain classification in a commercial spoken personal assistant
CN112652300B (zh) 多方言语音识别方法、装置、设备和存储介质
US20240046921A1 (en) Method, apparatus, electronic device, and medium for speech processing
CN114333768A (zh) 语音检测方法、装置、设备和存储介质
CN111640423B (zh) 一种词边界估计方法、装置及电子设备
CN111866289B (zh) 外呼号码状态检测方法及装置、智能外呼方法及系统
CN114495911A (zh) 说话人聚类方法、装置及设备
CN113724698B (zh) 语音识别模型的训练方法、装置、设备及存储介质
CN111970311B (zh) 会话切分方法、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant