CN112397059A - 一种语音流畅度检测方法及装置 - Google Patents

一种语音流畅度检测方法及装置 Download PDF

Info

Publication number
CN112397059A
CN112397059A CN202011243562.0A CN202011243562A CN112397059A CN 112397059 A CN112397059 A CN 112397059A CN 202011243562 A CN202011243562 A CN 202011243562A CN 112397059 A CN112397059 A CN 112397059A
Authority
CN
China
Prior art keywords
voice
probability
corpus
voice signal
fluency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011243562.0A
Other languages
English (en)
Other versions
CN112397059B (zh
Inventor
涂晓帆
夏敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianyou Technology Co ltd
Original Assignee
Wuhan Tianyou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tianyou Technology Co ltd filed Critical Wuhan Tianyou Technology Co ltd
Priority to CN202011243562.0A priority Critical patent/CN112397059B/zh
Publication of CN112397059A publication Critical patent/CN112397059A/zh
Application granted granted Critical
Publication of CN112397059B publication Critical patent/CN112397059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种语音流畅度检测方法，包括以下步骤：收集语音样本信号，并为所述语音样本信号打上语义标签，建立训练样本集；采用所述训练样本集对神经网络进行训练，得到语音识别模型；采集待测语音信号，并对所述待测语音信号进行预处理；提取预处理后的语音信号的特征向量，将所述特征向量输入所述语音识别模型，得到对应的语义文字信息；计算所述语义文字信息在语料库中出现的概率，判断所述概率是否低于设定阈值，如果是，则语音不流畅，否则语音流畅。本发明在语音识别的同时对其流畅度进行检测，以便保证后续语音交互的效果。

Description

一种语音流畅度检测方法及装置
技术领域
本发明涉及语音流畅度检测技术领域，尤其涉及一种语音流畅度检测方法、装置及计算机存储介质。
背景技术
智能语音交互是基于语音输入的新一代交互模式，通过说话就可以得到反馈结果。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。
语音是一种波，语音信号在本质上就是一维波形，语音流畅度直接关系到交互体验，然而目前语音交互中，通常专注于预处理识别技术的改进，而忽略了有一些语音信息可能存在不流畅的问题。
发明内容
有鉴于此，有必要提供一种语音流畅度检测方法及装置，用以解决目前语音识别系统中忽略了语音流畅度对语音识别的影响的问题。
本发明提供一种语音流畅度检测方法，包括以下步骤：
收集语音样本信号，并为所述语音样本信号打上语义标签，建立训练样本集；
采用所述训练样本集对神经网络进行训练，得到语音识别模型；
采集待测语音信号，并对所述待测语音信号进行预处理；
提取预处理后的语音信号的特征向量，将所述特征向量输入所述语音识别模型，得到对应的语义文字信息；
计算所述语义文字信息在语料库中出现的概率，判断所述概率是否低于设定阈值，如果是，则语音不流畅，否则语音流畅。
进一步的，所述训练样本集为THCHS30数据集，所述神经网络为WaveNet深度网络，神经网络训练采用CTC损失函数。
进一步的，对所述待测语音信号进行预处理，具体为：
对所述待测语音信号进行帧切割，得到多帧分段语音信号；
采用滤波器过滤各帧所述分段语音信号中干扰噪声；
采用高频滤波器对所述分段语音信号中高频部分进行预加重。
进一步的，提取预处理后的语音信号的特征向量，具体为：
采用梅尔频率倒谱系数提取预处理后的语音信号的MFCC特征，作为所述特征向量。
进一步的，计算所述语义文字信息在语料库中出现的概率，具体为：
对所述语义文字信息进行分词处理；
计算每一分词在语料库中的条件概率；
结合各分词的条件概率，得到所述语义文字信息在语音中出现的概率。
进一步的，计算每一分词在语料库中的条件概率，具体为：
Figure BDA0002769167540000021
其中，p(wm|wm-1)为语料库的句子中出现分词wm-1的条件下，在分词wm-1后出现分词wm的概率，p(wm,wm-1)为语料库的句子中在分词wm-1后出现分词wm的概率，p(wm-1)为语料库的句子中出现分词wm的概率。
进一步的，结合各分词的条件概率，得到所述语义文字信息在语音中出现的概率，具体为：
Figure BDA0002769167540000022
其中，p(W)为语义文字信息在语音中出现的概率，p(wm|wm-1)为语料库的句子中出现分词wm-1的条件下，在分词wm-1后出现分词wm的概率，M为分词的总数。
本发明还提供一种语音流畅度检测装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述语音流畅度检测方法。
本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现所述语音流畅度检测方法。
有益效果：本发明在对待测语音信号进行预处理以及特征提取后，采用训练得到的语音识别模型对其进行语音识别得到语义文字信息，同时，通过语义文字信息在语料库中的概率表征其语音流畅度，从而在语音识别的同时对语音流畅度进行判断，以便提高和改善后续进行语音识别交互的效果。
附图说明
图1为本发明提供的语音流畅度检测方法第一实施例的方法流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
如图1所示，本发明的实施例1提供了语音流畅度检测方法，其特征在于，包括以下步骤：
S1、收集语音样本信号，并为所述语音样本信号打上语义标签，建立训练样本集；
S2、采用所述训练样本集对神经网络进行训练，得到语音识别模型；
S3、采集待测语音信号，并对所述待测语音信号进行预处理；
S4、提取预处理后的语音信号的特征向量，将所述特征向量输入所述语音识别模型，得到对应的语义文字信息；
S5、计算所述语义文字信息在语料库中出现的概率，判断所述概率是否低于设定阈值，如果是，则语音不流畅，否则语音流畅。
本实施例为了判断语音是否流畅，首先需要把语音信号转换为文本，在对待测语音信号进行预处理以及特征提取后，采用训练得到的语音识别模型对其进行语音识别得到语义文字信息，然后对文本做语法分析，计算待测语音信号对应的语义文字信息在语料库中的概率，若概率低于设定阈值，则为非流畅，否则为流畅。
本发明在语音识别的同时对语音流畅度进行判断，以便提高和改善后续进行语音识别交互的效果。
优选的，所述训练样本集为THCHS30数据集，所述神经网络为WaveNet深度网络，神经网络训练采用CTC损失函数。
本实施例利用WaveNet深度网络，利用MFCC特征作为输入来生成对应的语义文本内容，输出利用了softmax归一化，接着输入到CTC损失函数，这样可以尽量实现语音对齐，并且采用语音标签进行监督训练。训练数据集采用THCHS30数据集，利用随机梯度下降法训练。
优选的，对所述待测语音信号进行预处理，具体为：
对所述待测语音信号进行帧切割，得到多帧分段语音信号；
采用滤波器过滤各帧所述分段语音信号中干扰噪声；
采用高频滤波器对所述分段语音信号中高频部分进行预加重。
具体的，在对待测语音信息进行识别之前，先对其进行预处理。首先帧切割，把声音切成小段，每段成为一帧，一般25ms取一帧，然后移动10ms再取一帧，也就是每两帧之间有15ms重叠，本实施例利用移动窗函数(汉明窗)做帧切割。然后进行去噪，采用滤波器过滤掉环境的背景音以及声音混响。最后进行高频信号加强，通过高频滤波器对输入的语音信号进行预加重，主要是对高频部分进行加重，去除口唇辐射的影响，增加语音的高频分辨率。
优选的，提取预处理后的语音信号的特征向量，具体为：
采用梅尔频率倒谱系数提取预处理后的语音信号的MFCC特征，作为所述特征向量。
梅尔频率倒谱系数即MFCC，为一种常见的语音特征提取方法，通过分帧加窗、FFT、取绝对值、Mel滤波、取对数、DCT，最后输出为特征向量。
优选的，计算所述语义文字信息在语料库中出现的概率，具体为：
对所述语义文字信息进行分词处理；
计算每一分词在语料库中的条件概率；
结合各分词的条件概率，得到所述语义文字信息在语音中出现的概率。
把待测语音信号输入到训练好的语义识别模型后即可然后输出为文字，即语义文字信息，再对文字做分词处理后，结合语料库，计算每个句子在语料库中出现的概率，若概率低于设定阈值，就说明语音不流畅，否则语音流畅。
优选的，计算每一分词在语料库中的条件概率，具体为：
Figure BDA0002769167540000051
其中，p(wm|wm-1)为语料库的句子中出现分词wm-1的条件下，在分词wm-1后出现分词wm的概率，p(wm,wm-1)为语料库的句子中在分词wm-1后出现分词wm的概率，p(wm-1)为语料库的句子中出现分词wm的概率。
优选的，结合各分词的条件概率，得到所述语义文字信息在语音中出现的概率，具体为：
Figure BDA0002769167540000052
其中，p(W)为语义文字信息在语音中出现的概率，p(wm|wm-1)为语料库的句子中出现分词wm-1的条件下，在分词wm-1后出现分词wm的概率，M为分词的总数。
具体的，以计算句子“张三读了一本书”的概率计算过程为例，首先在句子首尾都加上标记，即在句子的开始加上“<开始>”标记，在句子的结尾加上“<结束>”标记，也即“<开始>张三读了一本书<结束>”，则该句子的概率为：
Figure BDA0002769167540000061
其中，P(读了|张三)表示在语料库中出现“张三”的句子中，出现“读了”的概率，也即语料库中出现“张三读了”句子的频率，<开始><结束>标记用来标识一个句子什么时候开始，什么时候结束，可以认为P(张三|<开始>)是以“张三”作为开始的句子在语料库中出现的频率，P(<结束>,书)是以“书”作为结尾的句子在语料库中出现的频率，以保证整个句子概率之和为1。每个分词通过语料库中出现的频率作为概率，然后就可以得到当前句子出现的概率了。
本实施例在计算整个句子(即语义文字信息)在预料库中出现的概率时，首先对其进行分词处理，分词处理后，在计算词语在语料库中出现的概率时，并不是直接计算单个词语在语料库中的概率，而是结合词语在句子中的上下文进行计算，即：以语料库的句子中出现分词wm-1的条件下，在分词wm-1后出现分词wm的概率作为分词wm相应的概率。这种概率计算方式考虑了词语在句子中的语义和位置，结合多个分词概率后更能体现整个句子在语料库中的实际概率，从而提高语音流畅度的判断精度。
实施例2
本发明的实施例2提供了语音流畅度检测装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的语音流畅度检测方法。
本发明实施例提供的语音流畅度检测装置，用于实现语音流畅度检测方法，因此，语音流畅度检测方法所具备的技术效果，语音流畅度检测装置同样具备，在此不再赘述。
实施例3
本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的语音流畅度检测方法。
本发明实施例提供的计算机存储介质，用于实现语音流畅度检测方法，因此，语音流畅度检测方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种语音流畅度检测方法，其特征在于，包括以下步骤：
收集语音样本信号，并为所述语音样本信号打上语义标签，建立训练样本集；
采用所述训练样本集对神经网络进行训练，得到语音识别模型；
采集待测语音信号，并对所述待测语音信号进行预处理；
提取预处理后的语音信号的特征向量，将所述特征向量输入所述语音识别模型，得到对应的语义文字信息；
计算所述语义文字信息在语料库中出现的概率，判断所述概率是否低于设定阈值，如果是，则语音不流畅，否则语音流畅。
2.根据权利要求1所述的语音流畅度检测方法，其特征在于，所述训练样本集为THCHS30数据集，所述神经网络为WaveNet深度网络，神经网络训练采用CTC损失函数。
3.根据权利要求1所述的语音流畅度检测方法，其特征在于，对所述待测语音信号进行预处理，具体为：
对所述待测语音信号进行帧切割，得到多帧分段语音信号；
采用滤波器过滤各帧所述分段语音信号中干扰噪声；
采用高频滤波器对所述分段语音信号中高频部分进行预加重。
4.根据权利要求1所述的语音流畅度检测方法，其特征在于，提取预处理后的语音信号的特征向量，具体为：
采用梅尔频率倒谱系数提取预处理后的语音信号的MFCC特征，作为所述特征向量。
5.根据权利要求1所述的语音流畅度检测方法，其特征在于，计算所述语义文字信息在语料库中出现的概率，具体为：
对所述语义文字信息进行分词处理；
计算每一分词在语料库中的条件概率；
结合各分词的条件概率，得到所述语义文字信息在语音中出现的概率。
6.根据权利要求5所述的语音流畅度检测方法，其特征在于，计算每一分词在语料库中的条件概率，具体为：
Figure FDA0002769167530000021
其中，p(wm|wm-1)为语料库的句子中出现分词wm-1的条件下，在分词wm-1后出现分词wm的概率，p(wm,wm-1)为语料库的句子中在分词wm-1后出现分词wm的概率，p(wm-1)为语料库的句子中出现分词wm的概率。
7.根据权利要求5所述的语音流畅度检测方法，其特征在于，结合各分词的条件概率，得到所述语义文字信息在语音中出现的概率，具体为：
Figure FDA0002769167530000022
其中，p(W)为语义文字信息在语音中出现的概率，p(wm|wm-1)为语料库的句子中出现分词wm-1的条件下，在分词wm-1后出现分词wm的概率，M为分词的总数。
8.一种语音流畅度检测装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-7任一项所述的语音流畅度检测方法。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现如权利要求1-7任一项所述的语音流畅度检测方法。
CN202011243562.0A 2020-11-10 2020-11-10 一种语音流畅度检测方法及装置 Active CN112397059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011243562.0A CN112397059B (zh) 2020-11-10 2020-11-10 一种语音流畅度检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011243562.0A CN112397059B (zh) 2020-11-10 2020-11-10 一种语音流畅度检测方法及装置

Publications (2)

Publication Number Publication Date
CN112397059A true CN112397059A (zh) 2021-02-23
CN112397059B CN112397059B (zh) 2024-02-06

Family

ID=74599308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011243562.0A Active CN112397059B (zh) 2020-11-10 2020-11-10 一种语音流畅度检测方法及装置

Country Status (1)

Country Link
CN (1) CN112397059B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687296A (zh) * 2021-03-10 2021-04-20 北京世纪好未来教育科技有限公司 音频不流利的识别方法、装置、设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010014859A1 (en) * 1999-12-27 2001-08-16 International Business Machines Corporation Method, apparatus, computer system and storage medium for speech recongnition
JP2008176202A (ja) * 2007-01-22 2008-07-31 Nippon Hoso Kyokai <Nhk> 音声認識装置及び音声認識プログラム
CN107093427A (zh) * 2016-02-17 2017-08-25 通用汽车环球科技运作有限责任公司 不流畅语言的自动语音识别
US20180286430A1 (en) * 2015-10-09 2018-10-04 Ninispeech Ltd. Speech efficiency score
KR20190012419A (ko) * 2017-07-27 2019-02-11 한국전자통신연구원 발화 유창성 자동 평가 시스템 및 방법
CN109658938A (zh) * 2018-12-07 2019-04-19 百度在线网络技术（北京）有限公司 语音与文本匹配的方法、装置、设备及计算机可读介质
CN110797018A (zh) * 2019-08-28 2020-02-14 腾讯科技（深圳）有限公司 语音识别方法及装置、介质和设备
CN110827801A (zh) * 2020-01-09 2020-02-21 成都无糖信息技术有限公司 一种基于人工智能的自动语音识别方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010014859A1 (en) * 1999-12-27 2001-08-16 International Business Machines Corporation Method, apparatus, computer system and storage medium for speech recongnition
JP2008176202A (ja) * 2007-01-22 2008-07-31 Nippon Hoso Kyokai <Nhk> 音声認識装置及び音声認識プログラム
US20180286430A1 (en) * 2015-10-09 2018-10-04 Ninispeech Ltd. Speech efficiency score
CN107093427A (zh) * 2016-02-17 2017-08-25 通用汽车环球科技运作有限责任公司 不流畅语言的自动语音识别
KR20190012419A (ko) * 2017-07-27 2019-02-11 한국전자통신연구원 발화 유창성 자동 평가 시스템 및 방법
CN109658938A (zh) * 2018-12-07 2019-04-19 百度在线网络技术（北京）有限公司 语音与文本匹配的方法、装置、设备及计算机可读介质
CN110797018A (zh) * 2019-08-28 2020-02-14 腾讯科技（深圳）有限公司 语音识别方法及装置、介质和设备
CN110827801A (zh) * 2020-01-09 2020-02-21 成都无糖信息技术有限公司 一种基于人工智能的自动语音识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIN PARK: "The role of temporal speech cues in facilitating the fluency of adults who stutter", 《JOURNAL OF FLUENCY DISORDERS》, vol. 46, pages 41 - 55, XP029319534, DOI: 10.1016/j.jfludis.2015.07.001 *
祝晓东 等: "机器翻译质量自动评估系统中若干关键技术的研究", 《科教文汇》, no. 24, pages 115 - 117 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687296A (zh) * 2021-03-10 2021-04-20 北京世纪好未来教育科技有限公司 音频不流利的识别方法、装置、设备及可读存储介质
CN112687296B (zh) * 2021-03-10 2021-06-29 北京世纪好未来教育科技有限公司 音频不流利的识别方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112397059B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
US11062699B2 (en) Speech recognition with trained GMM-HMM and LSTM models
CN110827801B (zh) 一种基于人工智能的自动语音识别方法及系统
CN108198547B (zh) 语音端点检测方法、装置、计算机设备和存储介质
CN107305541B (zh) 语音识别文本分段方法及装置
CN107886968B (zh) 语音评测方法及系统
CN111105785A (zh) 一种文本韵律边界识别的方法及装置
CN115019776A (zh) 语音识别模型及其训练方法、语音识别方法及装置
JP6875819B2 (ja) 音響モデル入力データの正規化装置及び方法と、音声認識装置
CN111951796A (zh) 语音识别方法及装置、电子设备、存储介质
CN111477219A (zh) 关键词区分方法、装置、电子设备和可读存储介质
CN111091809A (zh) 一种深度特征融合的地域性口音识别方法及装置
CN112397059B (zh) 一种语音流畅度检测方法及装置
CN114254587A (zh) 主题段落划分方法、装置、电子设备及存储介质
CN112231440A (zh) 一种基于人工智能的语音搜索方法
JP2022534003A (ja) 音声処理方法、音声処理装置およびヒューマンコンピュータインタラクションシステム
CN115527551A (zh) 语音标注质量评价方法、装置、电子设备和存储介质
CN113160796B (zh) 一种广播音频的语种识别方法、装置、设备及存储介质
CN112037772B (zh) 基于多模态的响应义务检测方法、系统及装置
Asami et al. Recurrent out-of-vocabulary word detection based on distribution of features
CN113920987A (zh) 一种语音识别的方法、装置、设备及存储介质
CN114550693A (zh) 一种多语种语音翻译方法及系统
Benıtez et al. Different confidence measures for word verification in speech recognition
CN111429921A (zh) 声纹识别方法、系统、移动终端及存储介质
Shreekanth et al. A novel data independent approach for conversion of hand punched Kannada braille script to text and speech
Vyas et al. An integrated spoken language recognition system using support vector machines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant