CN103514879A - 一种基于bp神经网络的本地语音识别方法 - Google Patents

一种基于bp神经网络的本地语音识别方法 Download PDF

Info

Publication number
CN103514879A
CN103514879A CN201310430537.7A CN201310430537A CN103514879A CN 103514879 A CN103514879 A CN 103514879A CN 201310430537 A CN201310430537 A CN 201310430537A CN 103514879 A CN103514879 A CN 103514879A
Authority
CN
China
Prior art keywords
neural network
voice
input
voice recognition
error amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310430537.7A
Other languages
English (en)
Inventor
孙建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201310430537.7A priority Critical patent/CN103514879A/zh
Publication of CN103514879A publication Critical patent/CN103514879A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种基于BP神经网络的本地语音识别方法，步骤如下：（1）用户输入语音，建立操作和语音的命令集映射对，得到BP神经网络模型；（2）用户输入语音，用户输入的语音特征参数值经过BP神经网络进行正向传播，将神经网络实际输出值与所有的期望值进行比较；若有一个误差值小于预先设定的误差值，进入步骤（3）；若所有的误差值均大于预先设定的误差值X，则进入步骤（4）；（3）得到神经网络输出应用程序包名，启动应用程序；（4）误差值反向传播，作为BP神经网络输入，修正权值；直到有一个误差值小于X为止；若终止条件后，还未有误差值小于X，则结束训练。本发明具有数据库存储量需求少、语音识别速度快及精度高的优点。

Description

一种基于BP神经网络的本地语音识别方法
技术领域
本发明涉及一种语音识别方法，特别涉及一种基于BP神经网络的本地语音识别方法。
背景技术
语音识别是机器通过识别和理解过程把人类的语音信号转变成相应的文本或命令的技术，其根本目的是研究出一种具有听觉功能的机器，这种机器能直接接受人的语音，理解人的意图，并做出相应的反应。语音识别作为人机交互的一项关键领域，具备了实时，方便，快速等特点，在当今科学技术的发展上也有着日益重要的地位。
其中人工神经网络在语音识别中的应用已经成为目前语音识别的主流方法；但是现有终端的语音识别都是将设定好的数据库作为神经网络的原始训练集，在训练集中预设定的是一些比较规范的“参考语音”，在识别过程中，将用户的语音与规范的“参考语音”进行比较，由于每个人说同一句话的语音、语速等不同，因此原始训练集中必须要存放更多的训练样本，识别速度慢、精度低，而且需要大存储量的数据库进行原始训练集的存放。
另外，现有终端的语音识别基本通过以下两种方式实现：一、数据库存放在网络端，这种情况下，当没有网络时，将直接无法使用语音识别方法。二、数据库存在本地，当要求终端能够识别多种语言和方言时，势必会造成数据库存储容量需求过大。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种数据库存储量需求少、语音识别速度快及精度高的基于BP神经网络的本地语音识别方法。
本发明的目的通过下述技术方案实现：一种基于BP神经网络的本地语音识别方法，具体步骤如下：
（1）用户针对系统中的各操作，分别在系统中输入相应的语音，通过系统建立操作和语音的命令集映射对，作为BP神经网络的原始训练集，对BP神经网络进行训练，所述语音为用户输入的原始语音信息，系统对其进行预处理及特征参数提取，将提取的特征参数值输入到BP神经网络的输入端，所述操作为系统执行的应用程序，所述操作对应的应用程序包名为BP神经网络的输出；
（2）BP神经网络的训练完后，用户向系统输入语音数据，系统首先对用户输入的语音数据进行预处理及提取语音的特征参数值，语音的特征参数值经过BP神经网络进行传播，将神经网络实际输出值与所有的期望值进行比较；
若有其中一个误差值小于预先设定的误差值，则将该误差对应的输出作为语音识别的最终输出；然后进入步骤（3）；
若所有的误差值均大于预先设定的误差值，则进入步骤（4）；
（3）系统识别BP神经网络输出的应用程序的包名，调用包名相应的应用程序，执行应用程序相应的操作；
（4）将所有的误差值在BP神经网络中反向传播，作为BP神经网络的输入，从而修正各个节点单元的权值；
若当前学习次数小于预先设定的学习次数，则继续传播，直到其中一个误差值小于预先设定的误差值为止；
若当前学习次数大于预先设定的学习次数时，还未出现一个误差值小于预先设定的误差值，则结束训练，并且由系统作出无法找到应用程序的提示。
优选的，所述步骤（1）中，操作和语音命令集映射对中操作的应用程序包名存放在系统的ArrayList中；ArrayList中包名的个数和BP神经网络输出层的输出维数相同。
优选的，所述步骤（1）和步骤（2）中语音的特征参数值的个数为6，所述BP神经网络的输入层的输入维数和语音的特征参数值的个数相同；所述语音的特征参数为能量、幅度、过零率、频谱、倒谱和功率谱。
优选的，所述步骤（1）和步骤（2）中语音的预处理包括对语音依次进行预加重、加窗分帧和端点检测处理。
优选的，所述操作和语音的命令集映射对中，包含有多个语音映射同一个操作的情况。
优选的，所述步骤（2）中，预先设定的误差值为0.000001。
优选的，所述步骤（3）中预先设定的学习次数为1000。
优选的，系统在建立操作和语音的命令集映射对过程中，用户根据操作的作用输入相应的语音。
本发明相对于现有技术具有如下的优点及效果：
（1）本发明中根据用户自身建立的操作和语音命令集映射对实现BP神经网络的训练，本发明中通过终端系统本地的操作和语音命令集映射对代替传统语音识别方法中数据库中的训练数据，在极大程度上节省了终端的训练集存储容量。
（2）本发明在神经网络原始数据训练的过程，即操作和语音命令集映射对创建的过程中，将用户输入的语音作为原始训练集的，因此本发明在语音识别过程中，是将用户自己的语音作为参考值，在识别过程中和用户输入的语音进行对比的，这种将自己的语音作为参考比较对象，在语音识别过程中，由于用户输入的因为与当初的初始训练集相似多会很高，所以神经网络的输出误差很小，使得本发明方法语音识别的速度更快、准确度更高。
（3）本发明用户自行创建的操作和语音命令集映射对，自即用户自行创建原始训练集，不受任何语言的限制，可以使用用户自己的方言对BP神经网络进行训练，因此不受任何语言的限制，可以使用用户自己的方言对BP神经网络进行训练，因此非常适合各个不同方言地方及普通话不标准的人使用。而传统的终端如果数据库存放在本地，由于数据库容量的限制，只能识别有限数量的语音，否则会导致数据库暴大。
（4）本发明方法的操作和语音命令集映射对中，一个操作可以映射多个语音，因此本发明中用户可以通过多种语音控制同一个操作，使得用户在使用时更加方便。
（5）本发明中的原始训练集可以通过由用户在创新操作和语音映射对时进行自行改变，用户可以通过语音输入功能随时在系统中就加入每个操作所对应的新的语音词汇。
附图说明
图1是本发明方法流程图。
图2是本发明方法中终端的语音输入和语音识别功能选择界面。
图3是本发明方法中电机语音输入按钮后所出现的界面。
图4是本发明方法中终端的应用程序选择界面。
图5是本发明方法中终端的语音输入时的界面。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例公开了一种基于BP神经网络的本地语音识别方法，具体步骤如下：
（1）用户针对系统的各操作的作用，分别在系统中输入各操作对应的语音，通过系统建立操作和语音的命令集映射对，作为BP神经网络的原始训练集，对BP神经网络进行训练，语音为用户输入的原始语音信息，系统对其进行预处理及特征参数提取，将提取特征参数值输入到BP神经网络的输入端，所述操作为系统执行的应用程序，所述操作对应的应用程序包名为BP神经网络的输出；其中命令集映射对中的操作的应用程序包名存放在ArrayList中。在操作和语音的命令集映射对创建过程中，可以为同一个操作创建多个语音。即在操作和语音的命令集映射对中，同一个操作可以映射有多个语音。
其中本实施例中所提取的语音的特征参数为语音的能量、幅度、过零率、频谱、倒谱和功率谱，语音特征参数值的个数即为BP神经网络输入层的输入维数，本实施中输入层的输入维数为6。ArrayList中包名的个数M将作为BP神经网络的输出维数M。
（2）BP神经网络的训练完后，用户向系统输入语音数据，系统首先对用户输入的语音数据进行预处理及提取语音的特征参数值，语音的特征参数值经过BP神经网络进行正向传播，将神经网络实际输出值与所有的期望值进行比较；
若有其中一个误差值小于预先设定的误差值0.000001，则将该误差对应的输出作为语音识别的最终输出；然后进入步骤（3）；
若所有的误差值均大于预先设定的误差值，则进入步骤（4）；
（3）系统识别BP神经网络输出的应用程序的包名，通过系统的PackageManagerService（包的管理服务）调用到该包名的应用程序，打开应用程序，执行应用程序相应的操作；
（4）将所有的误差值在BP神经网络中反向传播，作为BP神经网络的输入，从而修正各个节点单元的权值；
若当前学习次数小于预先设定的学习次1000，则继续传播，直到其中一个误差值小于预先设定的误差值为止；
若当前学习次数大于预先设定的学习次数时，还未出现有一个误差值小于预先设定的误差值，则结束训练，且系统发出“找不到对应的命令”的提示音。
在本实施例语音识别方法步骤（2）和步骤（3）中语音的预处理过程包括对语音依次进行预加重、加窗分帧和端点检测处理。
如图2所示，在本实施例语音识别的终端系统触摸屏上，包括有两个按钮，一个是“语音输入”，一个是“语音识别”。
用户点击“语音输入”按钮后，系统开启操作和语音命令集映射对的创建，作为BP神经网络的原始训练集，实现对BP神经网络的学习训练。
在本实施例终端系统中点击“语音输入”按钮后，出现如图3所示的界面，图中包含有操作和语音的按钮，点击操作按钮后，出现了如图4所示的一个应用程序选择界面，该界面中包含有“相机”、“相册”、“电话”和“短信”等按钮，代表映射对的操作包括有对相机、相册、电话和短信的操作，如果用户点击该界面的“相机”按钮，则本实施例终端进入如图5所示的界面，该界面中包含有“相机”和“语音”的按钮，此时用户点击“语音”按钮后，终端提示“请输入语音”，此时用户可以按照该操作所对应应用程序的作用，输入相关的语音，在操作为“相机”时，用户说出“打开相机”、“相机”、“开相机”或“请开相机”等语音，用户每点击一次“语音”按钮，就可输入一次语音，输入多次后，实现同一操作映射多个语音。当用户按下图4所示终触摸屏上的“+”键后，回到图3所示的界面，使得用户实现对其他操作的映射建立，完成整个操作和语音命令集映射对的创建，实现BP神经网络的原始训练集训练训练。
原始训练集训练完后，用户点击“语音识别”按钮后，系统开启语音识别功能，对用户输入的语音进行识别，当用户说出原始训练集中包含的“相机”、“开相机”或“请开相机”时，终端通过BP神经网络得到“相机”的应用程序的包名输出，其中由于操作中“相机”对应的应用程序所起的作用是：打开相机，因此终端调用“相机”对应的应用程序，做出打开相机的操作。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于BP神经网络的本地语音识别方法，其特征在于，具体步骤如下：
（1）用户针对系统中的各操作，分别在系统中输入相应的语音，通过系统建立操作和语音的命令集映射对，作为BP神经网络的原始训练集，对BP神经网络进行训练，所述语音为用户输入的原始语音信息，系统对其进行预处理及特征参数提取，将提取的特征参数值输入到BP神经网络的输入端，所述操作为系统执行的应用程序，所述操作对应的应用程序包名为BP神经网络的输出；
（2）BP神经网络的训练完后，用户向系统输入语音数据，系统首先对用户输入的语音数据进行预处理及提取语音的特征参数值，语音的特征参数值经过BP神经网络进行传播，将神经网络实际输出值与所有的期望值进行比较；
若有其中一个误差值小于预先设定的误差值，则将该误差对应的输出作为语音识别的最终输出；然后进入步骤（3）；
若所有的误差值均大于预先设定的误差值，则进入步骤（4）；
（3）系统识别BP神经网络输出的应用程序的包名，调用包名相应的应用程序，执行应用程序相应的操作；
（4）将所有的误差值在BP神经网络中反向传播，作为BP神经网络的输入，从而修正各个节点单元的权值；
若当前学习次数小于预先设定的学习次数，则继续传播，直到其中一个误差值小于预先设定的误差值为止；
若当前学习次数大于预先设定的学习次数时，还未出现一个误差值小于预先设定的误差值，则结束训练，并且由系统作出无法找到应用程序的提示。
2.根据权利要求1所述的基于BP神经网络的本地语音识别方法，其特征在于，所述步骤（1）中，操作和语音命令集映射对中操作的应用程序包名存放在系统的ArrayList中；ArrayList中包名的个数和BP神经网络输出层的输出维数相同。
3.根据权利要求1所述的基于BP神经网络的本地语音识别方法，其特征在于，所述步骤（1）和步骤（2）中语音的特征参数值的个数为6，所述BP神经网络的输入层的输入维数和语音的特征参数值的个数相同；所述语音的特征参数为能量、幅度、过零率、频谱、倒谱和功率谱。
4.根据权利要求1所述的基于BP神经网络的本地语音识别方法，其特征在于，所述步骤（1）和步骤（2）中语音的预处理包括对语音依次进行预加重、加窗分帧和端点检测处理。
5.根据权利要求1所述的基于BP神经网络的本地语音识别方法，其特征在于，所述操作和语音的命令集映射对中，包含有多个语音映射同一个操作的情况。
6.根据权利要求1所述的基于BP神经网络的本地语音识别方法，其特征在于，所述步骤（2）中，预先设定的误差值为0.000001。
7.根据权利要求1所述的基于BP神经网络的本地语音识别方法，其特征在于，所述步骤（3）中预先设定的学习次数为1000。
8.根据权利要求1所述的基于BP神经网络的本地语音识别方法，其特征在于，系统在建立操作和语音的命令集映射对过程中，用户根据操作的作用输入相应的语音。
CN201310430537.7A 2013-09-18 2013-09-18 一种基于bp神经网络的本地语音识别方法 Pending CN103514879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310430537.7A CN103514879A (zh) 2013-09-18 2013-09-18 一种基于bp神经网络的本地语音识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310430537.7A CN103514879A (zh) 2013-09-18 2013-09-18 一种基于bp神经网络的本地语音识别方法

Publications (1)

Publication Number Publication Date
CN103514879A true CN103514879A (zh) 2014-01-15

Family

ID=49897506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310430537.7A Pending CN103514879A (zh) 2013-09-18 2013-09-18 一种基于bp神经网络的本地语音识别方法

Country Status (1)

Country Link
CN (1) CN103514879A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112445A (zh) * 2014-07-30 2014-10-22 宇龙计算机通信科技(深圳)有限公司 一种终端及语音识别方法
CN104754822A (zh) * 2015-02-12 2015-07-01 上海欧美拉光电股份有限公司 节能锂电池led灯控制系统
CN105185392A (zh) * 2015-09-06 2015-12-23 苏州南光电子科技有限公司 一种声控车用播放器的播放方法
CN105391873A (zh) * 2015-11-25 2016-03-09 上海新储集成电路有限公司 一种在移动设备中实现本地语音识别的方法
CN105956014A (zh) * 2016-04-22 2016-09-21 成都涂鸦科技有限公司 一种基于深度学习的音乐播放方法
CN106205606A (zh) * 2016-08-15 2016-12-07 南京邮电大学 一种基于语音识别的动态定位监控方法及系统
CN106611599A (zh) * 2015-10-21 2017-05-03 展讯通信（上海）有限公司 基于人工神经网络的语音识别方法、装置及电子设备
CN107112006A (zh) * 2014-10-02 2017-08-29 微软技术许可有限责任公司 基于神经网络的语音处理
CN107154261A (zh) * 2017-07-21 2017-09-12 金鹏电子信息机器有限公司 一种基于bp神经网络的人工智能优化方法
CN108091327A (zh) * 2018-02-22 2018-05-29 成都启英泰伦科技有限公司 一种智能语音设备控制方法
CN108847244A (zh) * 2018-08-22 2018-11-20 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于mfcc和改进bp神经网络的声纹识别方法及系统
CN109036412A (zh) * 2018-09-17 2018-12-18 苏州奇梦者网络科技有限公司 语音唤醒方法和系统
CN109065021A (zh) * 2018-10-18 2018-12-21 江苏师范大学 基于条件深度卷积生成对抗网络的端到端方言辨识方法
CN109979436A (zh) * 2019-04-12 2019-07-05 南京工程学院 一种基于频谱自适应法的bp神经网络语音识别系统及方法
CN111268302A (zh) * 2019-12-31 2020-06-12 南京理工大学 一种基于语音识别的垃圾分类器及其工作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175793A (en) * 1989-02-01 1992-12-29 Sharp Kabushiki Kaisha Recognition apparatus using articulation positions for recognizing a voice
WO2002091355A1 (en) * 2001-05-08 2002-11-14 Intel Corporation High-order entropy error functions for neural classifiers
CN102411931A (zh) * 2010-09-15 2012-04-11 微软公司 用于大词汇量连续语音识别的深度信任网络
CN103065629A (zh) * 2012-11-20 2013-04-24 广东工业大学 一种仿人机器人的语音识别系统
CN103117060A (zh) * 2013-01-18 2013-05-22 中国科学院声学研究所 用于语音识别的声学模型的建模方法、建模系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175793A (en) * 1989-02-01 1992-12-29 Sharp Kabushiki Kaisha Recognition apparatus using articulation positions for recognizing a voice
WO2002091355A1 (en) * 2001-05-08 2002-11-14 Intel Corporation High-order entropy error functions for neural classifiers
CN102411931A (zh) * 2010-09-15 2012-04-11 微软公司 用于大词汇量连续语音识别的深度信任网络
CN103065629A (zh) * 2012-11-20 2013-04-24 广东工业大学 一种仿人机器人的语音识别系统
CN103117060A (zh) * 2013-01-18 2013-05-22 中国科学院声学研究所 用于语音识别的声学模型的建模方法、建模系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴炜烨: "基于神经网络语音识别算法的研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112445A (zh) * 2014-07-30 2014-10-22 宇龙计算机通信科技(深圳)有限公司 一种终端及语音识别方法
CN107112006B (zh) * 2014-10-02 2020-10-23 微软技术许可有限责任公司 基于神经网络的语音处理
CN107112006A (zh) * 2014-10-02 2017-08-29 微软技术许可有限责任公司 基于神经网络的语音处理
CN104754822A (zh) * 2015-02-12 2015-07-01 上海欧美拉光电股份有限公司 节能锂电池led灯控制系统
CN105185392A (zh) * 2015-09-06 2015-12-23 苏州南光电子科技有限公司 一种声控车用播放器的播放方法
CN106611599A (zh) * 2015-10-21 2017-05-03 展讯通信（上海）有限公司 基于人工神经网络的语音识别方法、装置及电子设备
CN105391873A (zh) * 2015-11-25 2016-03-09 上海新储集成电路有限公司 一种在移动设备中实现本地语音识别的方法
CN105956014A (zh) * 2016-04-22 2016-09-21 成都涂鸦科技有限公司 一种基于深度学习的音乐播放方法
CN106205606A (zh) * 2016-08-15 2016-12-07 南京邮电大学 一种基于语音识别的动态定位监控方法及系统
CN107154261A (zh) * 2017-07-21 2017-09-12 金鹏电子信息机器有限公司 一种基于bp神经网络的人工智能优化方法
CN108091327A (zh) * 2018-02-22 2018-05-29 成都启英泰伦科技有限公司 一种智能语音设备控制方法
CN108847244A (zh) * 2018-08-22 2018-11-20 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于mfcc和改进bp神经网络的声纹识别方法及系统
CN109036412A (zh) * 2018-09-17 2018-12-18 苏州奇梦者网络科技有限公司 语音唤醒方法和系统
CN109065021A (zh) * 2018-10-18 2018-12-21 江苏师范大学 基于条件深度卷积生成对抗网络的端到端方言辨识方法
CN109979436A (zh) * 2019-04-12 2019-07-05 南京工程学院 一种基于频谱自适应法的bp神经网络语音识别系统及方法
CN109979436B (zh) * 2019-04-12 2020-11-13 南京工程学院 一种基于频谱自适应法的bp神经网络语音识别系统及方法
CN111268302A (zh) * 2019-12-31 2020-06-12 南京理工大学 一种基于语音识别的垃圾分类器及其工作方法

Similar Documents

Publication Publication Date Title
CN103514879A (zh) 一种基于bp神经网络的本地语音识别方法
CN111261144B (zh) 一种语音识别的方法、装置、终端以及存储介质
JP7150770B2 (ja) 対話方法、装置、コンピュータ可読記憶媒体、及びプログラム
CN106649825B (zh) 语音交互系统及其创建方法和装置
US8738375B2 (en) System and method for optimizing speech recognition and natural language parameters with user feedback
CN104143327B (zh) 一种声学模型训练方法和装置
US10249297B2 (en) Propagating conversational alternatives using delayed hypothesis binding
US9984679B2 (en) System and method for optimizing speech recognition and natural language parameters with user feedback
US9741343B1 (en) Voice interaction application selection
CN107220235A (zh) 基于人工智能的语音识别纠错方法、装置及存储介质
CN111433847B (zh) 语音转换的方法及训练方法、智能装置和存储介质
Adorf Web speech API
CN110459222A (zh) 语音控制方法、语音控制装置及终端设备
CN104462600A (zh) 实现来电原因自动分类的方法及装置
CN108564953A (zh) 一种语音识别文本的标点处理方法及装置
CN105045919B (zh) 一种信息输出方法及装置
WO2016169527A1 (zh) 一种藻类计数数据语音快速录入及报表生成系统和方法
CN110298463A (zh) 基于语音识别的会议室预定方法、装置、设备及存储介质
CN116821309B (zh) 一种基于大语言模型的上下文构造方法
CN112131359A (zh) 一种基于图形化编排智能策略的意图识别方法及电子设备
CN106486120A (zh) 交互式语音应答方法及应答系统
CN112527955A (zh) 一种数据处理的方法和装置
CN105760361A (zh) 一种语言模型建立方法及装置
CN114783424A (zh) 文本语料筛选方法、装置、设备及存储介质
CN115687934A (zh) 意图识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140115