CN110931016A - 一种离线质检用语音识别方法及系统 - Google Patents

一种离线质检用语音识别方法及系统 Download PDF

Info

Publication number
CN110931016A
CN110931016A CN201911118846.4A CN201911118846A CN110931016A CN 110931016 A CN110931016 A CN 110931016A CN 201911118846 A CN201911118846 A CN 201911118846A CN 110931016 A CN110931016 A CN 110931016A
Authority
CN
China
Prior art keywords
voice
transcoding
voiceprint
speech
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911118846.4A
Other languages
English (en)
Inventor
陈辉
饶海红
温儒玲
乔数
蒋玲
张洪图
赖琼玉
陈佳芳
陈利霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Co ltd
Original Assignee
Shenzhen Power Supply Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Co ltd filed Critical Shenzhen Power Supply Co ltd
Priority to CN201911118846.4A priority Critical patent/CN110931016A/zh
Publication of CN110931016A publication Critical patent/CN110931016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了一种离线质检用语音识别方法,包括步骤:对客服系统的通话录音进行语音转码;将转码后的文本或者命令转码为相应的语音文件;将转换后的文本或者命令通过预先设置好的程序进行上下文语义分析;将分析后的语义在知识库进行查询,并根据对比结果返回答案;将返回的语义提取声纹,并和已登记的声纹进行比较。本发明还提供了相应的系统。实施本发明,对8k语音连续语音识别率可以达到80%,定制模型识别率可以达到85%以上,可较大幅度的提高识别率。

Description

一种离线质检用语音识别方法及系统
技术领域
本发明涉及语音识别技术领域,具体为一种离线质检用语音识别方法及系统。
背景技术
语音识别技术相当复杂,包括了声学、语言学、数字信号处理、统计模式、概率论和信息论、发声机理和听觉机理、人工智能等多学科技术的一项综合性技术,研究所投入的人力、物力等非常大,所需时间相对也比较长。
语音识别属于多维模式识别和智能计算机接口的范畴,语音识别研究的根本目的是研究出一种具有听觉功能的机器,能直接接受人的语音命令,理解人的意图并作出相应的反应。事实上,让机器听懂人的语言,一直是人类长期追求的理想,有着广泛的应用需求。在目前的客服系统中,需要广泛的应用到语音识别功能来对客户的需求进行识别和监测,方便团队及时做出政策调整,实现两种语言间的直接通信,即通过“语音识别-机器翻译-文本合成”将一种语言直接转换成另一种语言;语音世界可以使用户通过语音直接检索数据库,也就是类似互联网搜索引擎的语音搜索,获取所需的信息,或者语音电话拨号。
但是,现有的离线质检语音识别系统,在使用的过程中,识别的错误率较高并且识别过程较复杂。
发明内容
本发明所要解决的技术问题在于,提供一种离线质检用语音识别方法及系统,具备错误率较低和流程较简单等优点,解决了以往离线质检系统错误率较高和流程较复杂的问题。
为解决上述技术问题,本发明的一方面,提供一种离线质检用语音识别方法,其包括以下步骤:
步骤一、语音转码:对客服系统的通话录音进行语音转码;
步骤二、语音文本分析:将转码后的文本或者命令转码为相应的语音文件;
步骤三、语义理解:将转换后的文本或者命令通过预先设置好的程序进行上下文语义分析;
步骤四、语义核对:将分析后的语义在知识库进行查询,并根据对比结果返回答案;
步骤五、声纹检测:将返回的语义提取声纹,并和已登记的声纹进行比较,对用户进行身份校验和鉴别。
优选地,在所述步骤一中,所述的转码过程采用ASR语音识别技术,转码完毕后上传至云平台。
优选地,在所述步骤二中,所述的语音文本分析过程中采用TTS语音合成技术,在合成的同时,进行语音数据的传输和云端的识别,将收集到的语料进行模型的优化训练。
优选地,在所述步骤三中,具体包括:由识别机器首先对客户的需求信息进行对比合成,并由知识库返回答案后,进行智能问答。
优选地,在所述步骤五中,所述的声纹检测过程由系统对录音的音色进行识别,使用i-vector算法进行比对。
相应地,本发明的另一方面,还提供一种离线质检用语音识别系统,其包括:
语音转码单元,用于对客服系统的通话录音进行语音转码;
语音文本分析单元,用于将转码后的语音文件转码为相应的文本或者命令;
语义理解单元,用于将转换后的文本或者命令通过预先设置好的程序进行上下文语义分析;
语义核对单元,用于将分析后的语义在知识库进行查询,并根据对比结果返回答案;
声纹检测单元,用于将返回的语义提取声纹,并和已登记的声纹进行比较,对用户进行身份校验和鉴别。
优选地,所述语音转码单元采用ASR语音识别技术,转码完毕后上传至云平台。
优选地,所述语音文本分析单元具体地采用TTS语音合成技术,在合成的同时,进行语音数据的传输和云端的识别,将收集到的语料进行模型的优化训练。
优选地,所述语义理解单元具体地采用识别机器首先对客户的需求信息进行对比合成,并由知识库返回答案后,进行智能问答。
优选地,所述声纹检测单元具体地对录音的音色进行识别,使用i-vector算法进行比对。
实施本发明实施例,具有以下的有益效果:
本发明所提供的一种离线质检用语音识别系统及方法,可以对8k语音连续语音识别率可以达到80%,定制模型识别率可以达到85%以上,并可根据实际需要进行声学模型和语言模型的定制,在定制领域内,可较大幅度的提高识别率;
在本发明提供的实施例中,语义理解技术可实现意图理解与智能问答两类核心功能,支持上下文语义分析、多轮对话和实体属性,可适配多领域,理解准确率高和误识率低,支持用户自定义词典、同义词和敏感词等功能,使计算机能够理解和运用人类社会自然语言,实现人与机器之间的自然语言通信等;
在本发明提供的实施例中,能够通过说话人语音中的声纹和已登记的声纹进行比较,对用户进行身份校验和鉴别,从而确定该说话人是否为本人或是否为集群中的某个人。
附图说明
图1是本发明提供的一种离线质检用语音识别方法的主流程示意图;
图2是图1中涉及的声纹识别技术的原理图;
图3是本发明提供的一种离线质检用语音识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
为使本领域的普通技术人员更加清楚地理解发明的目的、技术方案和优点,以下结合附图和实施例对发明做进一步的阐述。
如图1所示,是本发明提供的一种离线质检用语音识别方法的主流程示意图,一并结合图2所示。在本实施例中,所述离线质检用语音识别方法包括如下步骤:
步骤S11、语音转码步骤:对客服系统的通话录音进行语音转码;
步骤S12、语音文本分析步骤:将转码后的文本或者命令转码为相应的语音文件;
步骤S13、语义理解步骤:将转换后的文本或者命令通过预先设置好的程序进行上下文语义分析;
步骤S14、语义核对步骤:将分析后的语义在知识库进行查询,并根据对比结果返回答案;
步骤S15、声纹检测步骤:将返回的语义提取声纹,并和已登记的声纹进行比较,对用户进行身份校验和鉴别。
在一个具体的例子中,在所述步骤S11中,所述的转码过程采用ASR(AutomaticSpeech Recognition,自动语音识别)语音识别技术,转码完毕后上传至云平台。
在一个具体的例子中,在所述步骤S12中,所述的语音文本分析过程中采用TTS(Text To Speech,文本转语音)语音合成技术,在合成的同时,进行语音数据的传输和云端的识别,将收集到的语料进行模型的优化训练,此处收集到的语料指来自客户呼出的语音,而模型的优化训练的内容主要是模型内语音的过滤和筛选,可以参考图2所示。
在一个具体的例子中,在所述步骤S13中,具体包括:由识别机器首先对客户的需求信息进行对比合成,并由知识库返回答案后,进行智能问答。具体地,将转换后的文本或者命令通过预先设置好的程序进行上下文语义分析,语义理解技术由识别机器首先对客户的需求信息进行对比合成,并由知识库返回答案后,进行智能问答,语义理解技术可实现意图理解与智能问答两类核心功能,支持上下文语义分析、多轮对话和实体属性,可适配多领域,理解准确率高和误识率低,支持用户自定义词典、同义词和敏感词等功能,使计算机能够理解和运用人类社会自然语言,实现人与机器之间的自然语言通信等;
在一个具体的例子中,在步骤S14中,将分析后的语义在知识库进行查询,并根据对比结果返回答案;此时返回的内容也是经转码后的语音文件;
在一个具体的例子中,在所述步骤S14中,所述的声纹检测过程由系统对录音的音色进行识别,使用i-vector算法(身份认证矢量,identity vector)进行比对。具体地,将返回的语义提取声纹,并和已登记的声纹进行比较,对用户进行身份校验和鉴别,声纹监测过程由系统对录音的音色进行识别,使用i-vector算法进行比对,能够通过说话人语音中的声纹和已登记的声纹进行比较,对用户进行身份校验和鉴别,从而确定该说话人是否为本人或是否为集群中的某个人;可以理解的是,如果是客户首次呼入,则进行记录,方便下次核对。
可以理解的是,本发明提供的离线质检用语音识别方法,可以通过语音识别技术,是在无客服人员的情况下系统进行智能应答,此处的离线质检识别强调为无客服人员情况所做的智能识别和应答,其对8k语音连续语音识别率可以达到80%,定制模型识别率可以达到85%以上,并可根据实际需要进行声学模型和语言模型的定制,在定制领域内,可较大幅度的提高识别率,此处的定制模型指预先存储在系统中的模型;语义理解技术可实现意图理解与智能问答两类核心功能,支持上下文语义分析、多轮对话和实体属性,可适配多领域,理解准确率高和误识率低,支持用户自定义词典、同义词和敏感词等功能,使计算机能够理解和运用人类社会自然语言,实现人与机器之间的自然语言通信等,能够通过说话人语音中的声纹和已登记的声纹进行比较,对用户进行身份校验和鉴别,从而确定该说话人是否为本人或是否为集群中的某个人。
如图3所示,示出了本发明提供的一种离线质检用语音识别系统的结构示意图。在本实施例中,所述离线质检用语音识别系统1包括:
语音转码单元10,用于对客服系统的通话录音进行语音转码;
语音文本分析单元11,用于将转码后的语音文件转码为相应的文本或者命令;
语义理解单元12,用于将转换后的文本或者命令通过预先设置好的程序进行上下文语义分析;
语义核对单元13,用于将分析后的语义在知识库进行查询,并根据对比结果返回答案;
声纹检测单元14,用于将返回的语义提取声纹,并和已登记的声纹进行比较,对用户进行身份校验和鉴别。
在一个具体的例子中,所述语音转码单元10采用ASR语音识别技术,转码完毕后上传至云平台。
在一个具体的例子中,所述语音文本分析单元11具体地采用TTS语音合成技术,在合成的同时,进行语音数据的传输和云端的识别,将收集到的语料进行模型的优化训练。
在一个具体的例子中,所述语义理解单元12具体地采用识别机器首先对客户的需求信息进行对比合成,并由知识库返回答案后,进行智能问答。
在一个具体的例子中,所述声纹检测单元14具体地对录音的音色进行识别,使用i-vector算法进行比对。
更多细节,可参考前述对图1及图2的描述,在此不进行赘述。
实施本发明实施例,具有以下的有益效果:
本发明所提供的一种离线质检用语音识别系统及方法,可以对8k语音连续语音识别率可以达到80%,定制模型识别率可以达到85%以上,并可根据实际需要进行声学模型和语言模型的定制,在定制领域内,可较大幅度的提高识别率;
在本发明提供的实施例中,语义理解技术可实现意图理解与智能问答两类核心功能,支持上下文语义分析、多轮对话和实体属性,可适配多领域,理解准确率高和误识率低,支持用户自定义词典、同义词和敏感词等功能,使计算机能够理解和运用人类社会自然语言,实现人与机器之间的自然语言通信等;
在本发明提供的实施例中,能够通过说话人语音中的声纹和已登记的声纹进行比较,对用户进行身份校验和鉴别,从而确定该说话人是否为本人或是否为集群中的某个人。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种离线质检用语音识别方法,其特征在于,包括以下步骤:
步骤一、语音转码步骤:对客服系统的通话录音进行语音转码;
步骤二、语音文本分析步骤:将转码后的文本或者命令转码为相应的语音文件;
步骤三、语义理解步骤:将转换后的文本或者命令通过预先设置好的程序进行上下文语义分析;
步骤四、语义核对步骤:将分析后的语义在知识库进行查询,并根据对比结果返回答案;
步骤五、声纹检测步骤:将返回的语义提取声纹,并和已登记的声纹进行比较,对用户进行身份校验和鉴别。
2.根据权利要求1所述的方法,其特征在于,在所述步骤一中,所述的转码过程采用ASR语音识别技术,转码完毕后上传至云平台。
3.根据权利要求2所述的方法,其特征在于,在所述步骤二中,所述的语音文本分析过程中采用TTS语音合成技术,在合成的同时,进行语音数据的传输和云端的识别,将收集到的语料进行模型的优化训练。
4.根据权利要求3所述的方法,其特征在于,在所述步骤三中,具体包括:由识别机器首先对客户的需求信息进行对比合成,并由知识库返回答案后,进行智能问答。
5.根据权利要求4所述的方法,其特征在于,在所述步骤五中,所述的声纹检测过程由系统对录音的音色进行识别,使用i-vector算法进行比对。
6.一种离线质检用语音识别系统,其特征在于,包括:
语音转码单元,用于对客服系统的通话录音进行语音转码;
语音文本分析单元,用于将转码后的语音文件转码为相应的文本或者命令;
语义理解单元,用于将转换后的文本或者命令通过预先设置好的程序进行上下文语义分析;
语义核对单元,用于将分析后的语义在知识库进行查询,并根据对比结果返回答案;
声纹检测单元,用于将返回的语义提取声纹,并和已登记的声纹进行比较,对用户进行身份校验和鉴别。
7.根据权利要求6所述的系统,其特征在于,所述语音转码单元采用ASR语音识别技术,转码完毕后上传至云平台。
8.根据权利要求7所述的系统,其特征在于,所述语音文本分析单元具体地采用TTS语音合成技术,在合成的同时,进行语音数据的传输和云端的识别,将收集到的语料进行模型的优化训练。
9.根据权利要求8所述的系统,其特征在于,所述语义理解单元具体地采用识别机器首先对客户的需求信息进行对比合成,并由知识库返回答案后,进行智能问答。
10.根据权利要求9所述的系统,其特征在于,所述声纹检测单元具体地对录音的音色进行识别,使用i-vector算法进行比对。
CN201911118846.4A 2019-11-15 2019-11-15 一种离线质检用语音识别方法及系统 Pending CN110931016A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911118846.4A CN110931016A (zh) 2019-11-15 2019-11-15 一种离线质检用语音识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911118846.4A CN110931016A (zh) 2019-11-15 2019-11-15 一种离线质检用语音识别方法及系统

Publications (1)

Publication Number Publication Date
CN110931016A true CN110931016A (zh) 2020-03-27

Family

ID=69854046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911118846.4A Pending CN110931016A (zh) 2019-11-15 2019-11-15 一种离线质检用语音识别方法及系统

Country Status (1)

Country Link
CN (1) CN110931016A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111883140A (zh) * 2020-07-24 2020-11-03 中国平安人寿保险股份有限公司 基于知识图谱和声纹识别的认证方法、装置、设备及介质
CN112185380A (zh) * 2020-09-30 2021-01-05 深圳供电局有限公司 一种用于供电智能客户的语音识别转文本处理方法
CN113255361A (zh) * 2021-05-19 2021-08-13 平安科技(深圳)有限公司 语音内容的自动检测方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103811009A (zh) * 2014-03-13 2014-05-21 华东理工大学 一种基于语音分析的智能电话客服系统
US20140257794A1 (en) * 2013-03-11 2014-09-11 Nuance Communications, Inc. Semantic Re-Ranking of NLU Results in Conversational Dialogue Applications
US20150011194A1 (en) * 2009-08-17 2015-01-08 Digimarc Corporation Methods and systems for image or audio recognition processing
CN106357942A (zh) * 2016-10-26 2017-01-25 广州佰聆数据股份有限公司 基于上下文对话语义识别的智能应答方法及系统
CN107564513A (zh) * 2016-06-30 2018-01-09 阿里巴巴集团控股有限公司 语音识别方法及装置
CN109618068A (zh) * 2018-11-08 2019-04-12 上海航动科技有限公司 一种基于人工智能的语音业务推送方法、装置与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150011194A1 (en) * 2009-08-17 2015-01-08 Digimarc Corporation Methods and systems for image or audio recognition processing
US20140257794A1 (en) * 2013-03-11 2014-09-11 Nuance Communications, Inc. Semantic Re-Ranking of NLU Results in Conversational Dialogue Applications
CN103811009A (zh) * 2014-03-13 2014-05-21 华东理工大学 一种基于语音分析的智能电话客服系统
CN107564513A (zh) * 2016-06-30 2018-01-09 阿里巴巴集团控股有限公司 语音识别方法及装置
CN106357942A (zh) * 2016-10-26 2017-01-25 广州佰聆数据股份有限公司 基于上下文对话语义识别的智能应答方法及系统
CN109618068A (zh) * 2018-11-08 2019-04-12 上海航动科技有限公司 一种基于人工智能的语音业务推送方法、装置与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任萍萍: "《智能环境下基于音视频多模态融合的身份识别》", 天津出版传媒集团、天津科学技术出版社, pages: 112 - 159 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111883140A (zh) * 2020-07-24 2020-11-03 中国平安人寿保险股份有限公司 基于知识图谱和声纹识别的认证方法、装置、设备及介质
CN111883140B (zh) * 2020-07-24 2023-07-21 中国平安人寿保险股份有限公司 基于知识图谱和声纹识别的认证方法、装置、设备及介质
CN112185380A (zh) * 2020-09-30 2021-01-05 深圳供电局有限公司 一种用于供电智能客户的语音识别转文本处理方法
CN113255361A (zh) * 2021-05-19 2021-08-13 平安科技(深圳)有限公司 语音内容的自动检测方法、装置、设备以及存储介质
CN113255361B (zh) * 2021-05-19 2023-12-22 平安科技(深圳)有限公司 语音内容的自动检测方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN112804400B (zh) 客服呼叫语音质检方法、装置、电子设备及存储介质
US11380327B2 (en) Speech communication system and method with human-machine coordination
WO2020228173A1 (zh) 违规话术检测方法、装置、设备及计算机可读存储介质
CN110298252A (zh) 会议纪要生成方法、装置、计算机设备及存储介质
US8326624B2 (en) Detecting and communicating biometrics of recorded voice during transcription process
WO2016150257A1 (en) Speech summarization program
WO2019037382A1 (zh) 基于情绪识别的语音质检方法、装置、设备及存储介质
CN113239147B (zh) 基于图神经网络的智能会话方法、系统及介质
CN110931016A (zh) 一种离线质检用语音识别方法及系统
CN109256150A (zh) 基于机器学习的语音情感识别系统及方法
CN107886951B (zh) 一种语音检测方法、装置及设备
CN109313892A (zh) 稳健的语言识别方法和系统
CN111489765A (zh) 一种基于智能语音技术的话务服务质检方法
WO2023222089A1 (zh) 基于深度学习的物品分类方法和装置
CN111128241A (zh) 语音通话的智能质检方法及系统
CN110265008A (zh) 智能回访方法、装置、计算机设备及存储介质
CN114449105A (zh) 基于语音的电力客户服务话务质检系统
CN114818649A (zh) 基于智能语音交互技术的业务咨询处理方法及装置
CN109325737A (zh) 一种企业智能虚拟助理系统及其方法
CN115643341A (zh) 人工智能客服应答系统
CN116631412A (zh) 一种通过声纹匹配判断语音机器人的方法
CN112102807A (zh) 语音合成方法、装置、计算机设备和存储介质
US10872615B1 (en) ASR-enhanced speech compression/archiving
CN113744742A (zh) 对话场景下的角色识别方法、装置和系统
CN114722191A (zh) 一种基于语义理解处理的通话自动聚类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327

RJ01 Rejection of invention patent application after publication