CN110010129A - 一种基于六足机器人的语音交互系统 - Google Patents

一种基于六足机器人的语音交互系统 Download PDF

Info

Publication number
CN110010129A
CN110010129A CN201910281483.XA CN201910281483A CN110010129A CN 110010129 A CN110010129 A CN 110010129A CN 201910281483 A CN201910281483 A CN 201910281483A CN 110010129 A CN110010129 A CN 110010129A
Authority
CN
China
Prior art keywords
voice
hexapod robot
information
controller
semantics recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910281483.XA
Other languages
English (en)
Inventor
郝怀博
戚萌
马淑娟
代晓倩
马惊蛰
李志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201910281483.XA priority Critical patent/CN110010129A/zh
Publication of CN110010129A publication Critical patent/CN110010129A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本公开提供了一种基于六足机器人的语音交互系统，包括六足机器人，所述六足机器人包括声音采集装置和控制器，所述声音采集装置被配置为实时采集语音信息并缓存至内存中；所述控制器与云端服务器相互通信；云端服务器，其被配置为：接收身份验证信息，并与身份信息数据库内预存的身份信息进行匹配；当匹配成功后，验证身份合格并向控制器下发上传语音信息的指令；对接收到的语音信息进行语义识别，并将语义识别结果中的语音指令下发至控制器，由控制器转发至六足机器人的相应机构并执行相应语音指令；将语义识别结果转换为文字信息，在信息交互数据库中查询出与相应文字信息相匹配的信息，并转换为相应语音信息发送至控制器并输出。

Description

一种基于六足机器人的语音交互系统
技术领域
本公开属于机器人领域，尤其涉及一种基于六足机器人的语音交互系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着科学技术的不断进步，机器人领域朝着更加智能化的方向发展，机器人领域研究热情的高涨以及制造技术的不断累积，使得机器人领域的发展拥有了更加广阔的前景。六足机器人作为地面可移动机器人的典型代表，具有步态多样化，运动灵活轻便、稳定性高的特点。相比较传统的轮式、履带式移动机器人，六足机器人可以利用离散的地面支撑实现非接触式障碍规避、障碍跨越、上下台阶以及不平整地面运动，对复杂地形和不可预知环境变化具有极强的适应性。
发明人发现，现在的六足机器人欠智能化，缺乏人机交互的能力。传统六足机器人相较于市面出现的智能机器人助手，例如亚马逊Echo智能语音音箱、谷歌的Home智能语音音箱，后者显得更加智能化、更能理解使用的语言命令，但它们都要依附于固定形态的产品，并不具备移动的能力。
发明内容
为了解决上述问题，本公开提供了一种基于六足机器人的语音交互系统，能够满足用户的个性化指令要求，提高了用户的体验度。
为了实现上述目的，本公开采用如下技术方案：
一种基于六足机器人的语音交互系统，包括：
六足机器人，所述六足机器人包括声音采集装置和控制器，所述声音采集装置被配置为实时采集语音信息并缓存至内存中；所述控制器与云端服务器相互通信；
云端服务器，其被配置为：
接收身份验证信息，并与身份信息数据库内预存的身份信息进行匹配；
当匹配成功后，验证身份合格并向控制器下发上传语音信息的指令；
对接收到的语音信息进行语义识别，并将语义识别结果中的语音指令下发至控制器，由控制器转发至六足机器人的相应机构并执行相应语音指令；
将语义识别结果转换为文字信息，在信息交互数据库中查询出与相应文字信息相匹配的信息，并合成为相应语音信息发送至控制器并输出。
本公开的有益效果是：
本公开的语音交互系统结合了六足机器人与云端服务器中语音转换方法，利用了六足机器人运动灵活性以及云端服务器中语音转换，提高了语音交互的处理速度及灵敏性，能够满足用户的个性化指令要求，提高了用户的体验度。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例提供的六足机器人主体示意图。
图2是本公开实施例提供的基于六足机器人的语音交互系统原理图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。
如图2所示，本实施例提供了一种基于六足机器人的语音交互系统，包括六足机器人和云端服务器。
其中，所述六足机器人包括声音采集装置和控制器，所述声音采集装置被配置为实时采集语音信息并缓存至内存中；所述控制器通过无线传输模块与云端服务器相互通信。
本实施例的六足机器人，如图1所示，包括六边形机身主体1、摄像头支架2、摄像头3、六条完全一样的机械腿，所述机械腿包括第一舵机7、第二舵机8和第三舵机9、髋关节架4、大腿骨6、小腿骨7。第一舵机7在机身主体和髋关节连接处，第二舵机8在髋关节架和大腿骨连接处，第三舵机9在大腿骨和小腿骨连接处，六条机械腿完全一致。机身主体设有控制器和电源电池，六足仿生机器人整体具有18个自由度。优秀的机械结构更容易实现六足仿生机器人常见的三种步态，包括三角、波浪、波纹步态，并克服运动模式单一的缺点。
具体地，多模式步态需要使用一种数学模型控制六足机器人，被称为逆运动学模型。本实施例包含了六足机器人的所有逆运动学计算，该机器人由六边形机身主体组成，六条机械腿均匀分布。机械腿从一到六编号，六足机器人的每条腿都有三个舵机和三块“骨头(髋关节架、大腿骨、小腿骨)”。将通过类似于人类的腿来识别机械腿的每个部分。
一种多模式步态的实现方法，具体包括如下步骤：
步骤1：直接输入有关于六足机器人的结构参数、命令参数，定义六足机器人的结构参数为常量，命令参数为可输入变量。
步骤2：根据步骤1输入的机器人结构参数计算足端初始化位置。利用几何数学知识求算出足端相对于机身主体中心的初始化位置。六足机器人通电时，自动恢复到初始化位姿。
步骤3：根据步骤1输入的机器人命令参数计算机器人本体的逆向动力参数-BodyIK(inverse kinematics)和机器人的机械腿的逆向动力参数-Leg IK，进而求解出足末端空间几何坐标。
步骤4：根据步骤3计算得到的Body IK和Leg IK求算结果，分别计算六条腿三个关节的转动角度。
具体地，所述控制器还与声音输出装置相连。
例如：声音输出装置为麦克风。
如图2所示，云端服务器，其被配置为：
S101：接收身份验证信息，并与身份信息数据库内预存的身份信息进行匹配。
作为一种实施方式，所述身份验证信息包括用户名和密码。
可以理解的是，身份验证信息也可为其他预设的信息，本领域技术人员根据实际情况可自行设置，此处不再累述。
S102：当匹配成功后，验证身份合格并向控制器下发上传语音信息的指令。
S103：对接收到的语音信息进行语义识别，并将语义识别结果中的语音指令下发至控制器，由控制器转发至六足机器人的相应机构并执行相应语音指令。
在步骤S103中，对接收到的语音信息进行语义识别的过程包括：
S1031：根据已知语义的语音信息构成第一训练数据集；
例如：语音的语义包括但不限于步态调整和问题问答。
S1032：利用第一训练数据集来训练语义识别模型；其中，语义识别模型由卷积神经网络构成，其输入信号为语音信息，输出信号为语义。
例如：卷积神经网络可采用LeNet结构，LeNet结构是一个6层网络结构：三个卷积层，两个下采样层和一个全连接层。
需要说明的是，卷积神经网络也可采用其他结构形式，本领域技术人员可根据实际情况来具体选择，此处不再累述。
S1033：将接收到的语音信息输入至训练后的语义识别模型中，输出语义识别结果。
在步骤S103中，语义识别结果中的语音指令包括问题的问答指令以及对六足机器人步态的控制指令。
在步骤S103中，将语义识别结果转换为文字信息的过程包括：
S1031：根据已知语义的属性类别构成第二训练数据集；语义的属性类别包括实词、动词和副词；
S1032：利用第二训练数据集来训练语义属性分类模型；其中，语义属性分类模型由卷积神经网络构成，其输入信号为语义，输出信号为语义的属性类别；
例如：卷积神经网络可采用LeNet结构，LeNet结构是一个6层网络结构：三个卷积层，两个下采样层和一个全连接层。
需要说明的是，卷积神经网络也可采用其他结构形式，本领域技术人员可根据实际情况来具体选择，此处不再累述。
S1033：将语义识别结果输入至训练后的语义属性分类模型中，输出语义的属性类别；
S1034：根据语义的属性类别合成一个完整的句子并输出相应文字信息。
S104：将语义识别结果转换为文字信息，在信息交互数据库中查询出与相应文字信息相匹配的信息，并合成为相应语音信息发送至控制器并输出。
在具体实施中，在所述云端服务器中，还设置有语音数据库，所述语音数据库内的语音数据与信息交互数据库中数据存在一一映射的关系。
在所述云端服务器中，在信息交互数据库中查询出与相应文字信息相匹配的信息，并合成为相应语音信息的过程包括：
根据信息交互数据库与相应文字信息相匹配的信息，找出语音数据库中存在映射关系的语音数据；
合成这些语音数据即可得到相应语音信息。
本实施例的语音交互系统结合了六足机器人与云端服务器中语音转换方法，利用了六足机器人运动灵活性以及云端服务器中语音转换，提高了语音交互的处理速度及灵敏性，能够满足用户的个性化指令要求，提高了用户的体验度。
下面以使用百度AI开放平台，根据官方文档对语音识别和语音合成的调用为例：
调用流程：
鉴权认证：使用appKey secretKey访https://openapi.baidu.com换取token
请求方式：选择一种HTTP POST请求格式，包括POST和GET两种方式；
填写参数：填写必要参数；
步骤1：获取Access Token，需要在百度AI平台的应用管理平台界面中新建应用，应用列表查看即可。使用语音识别及合成REST API需要获取Access Token。Access Token是用户身份验证和授权的凭证；
步骤2：麦克风采集的声音信息保存在六足机器人本地，语音识别还需要使用json方式上传本地声音文件，即需要上传完整语音文件进行识别，音频时长不超过60s；
步骤3：如果识别成功，识别结果放在JSON的“result”字段中，统一采用utf-8方式编码，然后将识别结果返回；
步骤4：识别的结果经过简单处理后，传递到百度语义理解。百度语义理解需要我们提前配置好训练数据，训练模型，验证效果。读取识别结果的文字信息，以类似于人类实际的语言思维能力理解文字信息，并做出相应的回答，通过文字信息返回解析结果；
步骤5：百度语音合成也需要执行步骤1获取Access Token；然后我们向百度语音合成发起HTTP请求，将之前返回的解析结果文本转换为可以播放的音频文件；
步骤6：六足机器人播放下载的音频文件，并且执行相应的解析结果命令。
本实施例利用六足机器人在室内移动时的灵活性，让其追随用户的移动。对于六足机器人的控制，也可以采用传统的手机端、游戏手柄以及自然语音。
在机器人上搭载摄像头，还可以通过AI物体识别的方式自动检测到用户，并采取跟踪模式。六足机器人与语音识别相结合，可实现包括但不限于：家居物品的控制、办公秘书、网络搜索、生活助理等指令。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于六足机器人的语音交互系统，其特征在于，包括：
六足机器人，所述六足机器人包括声音采集装置和控制器，所述声音采集装置被配置为实时采集语音信息并缓存至内存中；所述控制器与云端服务器相互通信；
云端服务器，其被配置为：
接收身份验证信息，并与身份信息数据库内预存的身份信息进行匹配；
当匹配成功后，验证身份合格并向控制器下发上传语音信息的指令；
对接收到的语音信息进行语义识别，并将语义识别结果中的语音指令下发至控制器，由控制器转发至六足机器人的相应机构并执行相应语音指令；
将语义识别结果转换为文字信息，在信息交互数据库中查询出与相应文字信息相匹配的信息，并合成为相应语音信息发送至控制器并输出。
2.如权利要求1所述的一种基于六足机器人的语音交互系统，其特征在于，在所述云端服务器中，对接收到的语音信息进行语义识别的过程包括：
根据已知语义的语音信息构成第一训练数据集；
利用第一训练数据集来训练语义识别模型；其中，语义识别模型由卷积神经网络构成，其输入信号为语音信息，输出信号为语义；
将接收到的语音信息输入至训练后的语义识别模型中，输出语义识别结果。
3.如权利要求1所述的一种基于六足机器人的语音交互系统，其特征在于，在所述云端服务器中，语义识别结果中的语音指令包括问题的问答指令以及对六足机器人步态的控制指令。
4.如权利要求1所述的一种基于六足机器人的语音交互系统，其特征在于，在所述云端服务器中，将语义识别结果转换为文字信息的过程包括：
根据已知语义的属性类别构成第二训练数据集；语义的属性类别包括实词、动词和副词；
利用第二训练数据集来训练语义属性分类模型；其中，语义属性分类模型由卷积神经网络构成，其输入信号为语义，输出信号为语义的属性类别；
将语义识别结果输入至训练后的语义属性分类模型中，输出语义的属性类别；
根据语义的属性类别合成一个完整的句子并输出相应文字信息。
5.如权利要求1所述的一种基于六足机器人的语音交互系统，其特征在于，在所述云端服务器中，还设置有语音数据库，所述语音数据库内的语音数据与信息交互数据库中数据存在一一映射的关系。
6.如权利要求5所述的一种基于六足机器人的语音交互系统，其特征在于，在所述云端服务器中，在信息交互数据库中查询出与相应文字信息相匹配的信息，并合成为相应语音信息的过程包括：
根据信息交互数据库与相应文字信息相匹配的信息，找出语音数据库中存在映射关系的语音数据；
合成这些语音数据即可得到相应语音信息。
7.如权利要求1所述的一种基于六足机器人的语音交互系统，其特征在于，所述控制器还与声音输出装置相连。
8.如权利要求1所述的一种基于六足机器人的语音交互系统，其特征在于，所述身份验证信息包括用户名和密码。
9.如权利要求1所述的一种基于六足机器人的语音交互系统，其特征在于，所述控制器与云端服务器通过无线通信模块相互通信。
10.如权利要求1所述的一种基于六足机器人的语音交互系统，其特征在于，所述六足仿生机器人整体具有18个自由度。
CN201910281483.XA 2019-04-09 2019-04-09 一种基于六足机器人的语音交互系统 Pending CN110010129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910281483.XA CN110010129A (zh) 2019-04-09 2019-04-09 一种基于六足机器人的语音交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910281483.XA CN110010129A (zh) 2019-04-09 2019-04-09 一种基于六足机器人的语音交互系统

Publications (1)

Publication Number Publication Date
CN110010129A true CN110010129A (zh) 2019-07-12

Family

ID=67170567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910281483.XA Pending CN110010129A (zh) 2019-04-09 2019-04-09 一种基于六足机器人的语音交互系统

Country Status (1)

Country Link
CN (1) CN110010129A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114571473A (zh) * 2020-12-01 2022-06-03 北京小米移动软件有限公司 足式机器人的控制方法、装置及足式机器人
CN115312054A (zh) * 2022-08-05 2022-11-08 山东大学 一种基于语音交互的四足机器人运动控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560892A (zh) * 2015-09-30 2017-04-12 深圳光启合众科技有限公司 智能机器人及其云端交互方法、云端交互系统
CN106649275A (zh) * 2016-12-28 2017-05-10 成都数联铭品科技有限公司 基于词性信息和卷积神经网络的关系抽取方法
CN107644642A (zh) * 2017-09-20 2018-01-30 广东欧珀移动通信有限公司 语义识别方法、装置、存储介质及电子设备
CN108417210A (zh) * 2018-01-10 2018-08-17 苏州思必驰信息科技有限公司 一种词嵌入语言模型训练方法、词语识别方法及系统
CN108481348A (zh) * 2018-03-14 2018-09-04 合肥工业大学 基于Arduino平台的六足机器人控制系统
US10144464B1 (en) * 2014-07-10 2018-12-04 National Technology & Engineering Solutions Of Sandia, Llc Energy efficient robot
AU2018102036A4 (en) * 2018-12-09 2019-01-17 Fang, Yide Mr A search-and-rescue hexapod robot with a tele-operable mechanical arm

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10144464B1 (en) * 2014-07-10 2018-12-04 National Technology & Engineering Solutions Of Sandia, Llc Energy efficient robot
CN106560892A (zh) * 2015-09-30 2017-04-12 深圳光启合众科技有限公司 智能机器人及其云端交互方法、云端交互系统
CN106649275A (zh) * 2016-12-28 2017-05-10 成都数联铭品科技有限公司 基于词性信息和卷积神经网络的关系抽取方法
CN107644642A (zh) * 2017-09-20 2018-01-30 广东欧珀移动通信有限公司 语义识别方法、装置、存储介质及电子设备
CN108417210A (zh) * 2018-01-10 2018-08-17 苏州思必驰信息科技有限公司 一种词嵌入语言模型训练方法、词语识别方法及系统
CN108481348A (zh) * 2018-03-14 2018-09-04 合肥工业大学 基于Arduino平台的六足机器人控制系统
AU2018102036A4 (en) * 2018-12-09 2019-01-17 Fang, Yide Mr A search-and-rescue hexapod robot with a tele-operable mechanical arm

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114571473A (zh) * 2020-12-01 2022-06-03 北京小米移动软件有限公司 足式机器人的控制方法、装置及足式机器人
CN115312054A (zh) * 2022-08-05 2022-11-08 山东大学 一种基于语音交互的四足机器人运动控制方法及系统

Similar Documents

Publication Publication Date Title
JP6816925B2 (ja) 育児ロボットのデータ処理方法及び装置
US11468885B2 (en) System and method for conversational agent via adaptive caching of dialogue tree
US11017551B2 (en) System and method for identifying a point of interest based on intersecting visual trajectories
CN106294726A (zh) 基于机器人角色交互的处理方法及装置
US20220215678A1 (en) System and method for reconstructing unoccupied 3d space
US10785489B2 (en) System and method for visual rendering based on sparse samples with predicted motion
US20190251956A1 (en) System and method for prediction based preemptive generation of dialogue content
US20190251350A1 (en) System and method for inferring scenes based on visual context-free grammar model
KR102095089B1 (ko) 디지털 에이전트 이동 매니퓰레이터 및 그 동작 방법
CN105912530A (zh) 面向智能机器人的信息处理方法及系统
CN110010129A (zh) 一种基于六足机器人的语音交互系统
CN106502382A (zh) 用于智能机器人的主动交互方法和系统
CN114424208A (zh) 门控注意力神经网络
EP3752958A1 (en) System and method for visual scene construction based on user communication
CN111939558A (zh) 一种实时语音驱动虚拟人物动作的方法和系统
KR102120936B1 (ko) 스마트 단말의 기능을 탑재한 캐릭터 인형 제작 서비스 제공 시스템
Yan et al. Humanoid robot head design based on uncanny valley and facs
CN116975654B (zh) 对象互动方法、装置、电子设备及存储介质
CN113878595B (zh) 基于树莓派的仿人实体机器人系统
CN108172226A (zh) 一种可学习应答语音和动作的语音控制机器人
Turunen et al. Physically embodied conversational agents as health and fitness companions.
Liu Speech-Driven Gesture Generation of Social Robot and Embodied Agents
Bertea Indoor Navigation with Vocal Assistant: Alexa vs low-power vocal assistant at the edge.
Jayasingha Nao humanoid for physical therapy rehabilitation
CN116714005A (zh) 具备情感交互能力的社交机器人及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190712

RJ01 Rejection of invention patent application after publication