CN107506028B - 基于自发式脑机接口的机器人绘画系统及方法 - Google Patents

基于自发式脑机接口的机器人绘画系统及方法 Download PDF

Info

Publication number
CN107506028B
CN107506028B CN201710641113.3A CN201710641113A CN107506028B CN 107506028 B CN107506028 B CN 107506028B CN 201710641113 A CN201710641113 A CN 201710641113A CN 107506028 B CN107506028 B CN 107506028B
Authority
CN
China
Prior art keywords
robot
painting
module
electroencephalogram
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710641113.3A
Other languages
English (en)
Other versions
CN107506028A (zh
Inventor
张定国
徐阳
阿曼德·扎何迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201710641113.3A priority Critical patent/CN107506028B/zh
Publication of CN107506028A publication Critical patent/CN107506028A/zh
Application granted granted Critical
Publication of CN107506028B publication Critical patent/CN107506028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明公开了一种基于自发式脑机接口的机器人绘画系统及方法，该系统包括脑电信号采集模块、信号无线传输模块、脑电信号处理模块、控制指令生成模块、指令无线传输模块、绘画机器人以及使用者；其中，脑电信号采集模块用于采集使用者的实时脑电信号，信号无线传输模块将采集得到的脑电信号传输至上位机以作进一步处理，上位机包括脑电信号处理模块和控制指令生成模块。本发明能够同时绘制多个通道的脑电波形，提高了绘画效率，并为使用者提供了较大的发挥空间，充分满足了使用者的创作需求，从而使得该创作过程更为有趣。

Description

基于自发式脑机接口的机器人绘画系统及方法
技术领域
本发明涉及一种绘画系统及方法，特别是涉及一种基于自发式脑机接口的机器人绘画系统及方法。
背景技术
脑机接口(Brain Computer Interface,BCI)是一种不依赖于人体常规外周神经肌肉通路，而通过直接采集脑电信号并利用该信号实现对外部环境的控制和交互的技术。BCI是一门典型的交叉学科，涉及神经科学、医学、心理学、计算机科学、机械工程等多个学科领域。
目前已知的诸多疾病，如肌萎缩侧索硬化症、脑干中风、大脑瘫痪等，均会使人体的神经肌肉通路受到损伤，从而使患者的大脑失去对外周肌肉的控制能力，最终导致患者丧失部分或者全部的运动功能。BCI正是在这种背景下被提出，其被认为是重建相关患者运动功能的一种重要方法。自BCI技术问世以来，世界范围内的众多研究机构都对BCI领域给予了关注与投入，且已取得了丰硕的成果。根据有关文献的报道，残疾人已经可以通过BCI实现打字输入、浏览网页、控制机械臂等功能，这为他们完成独立的日常生活提供了重要的辅助。与此同时，随着世人对BCI领域关键问题的认识逐步深入，该技术也将在未来为正常人群在教育、娱乐等诸多人机交互领域提供丰富的可能性。
经文献检索发现，一项中国专利公告号为CN105137830A、名称为“一种基于视觉诱发脑机接口的国画机器手及其绘图方法”的专利实现了通过脑机接口控制机械臂完成绘制国画的功能。但由于该系统的脑电特征由稳态视觉刺激诱发，因此使用者需要在一个提供专门视觉刺激的结构化环境中完成该任务。此外，该专利没有提及用于作画的机械手设计。
发明内容
本发明所要解决的技术问题是提供一种基于自发式脑机接口的机器人绘画系统及方法，其通过采集使用者的自主脑电信号而非外界刺激的诱发脑电实现，能够同时绘制多个通道的脑电波形，提高了绘画效率，并为使用者提供了较大的发挥空间，充分满足了使用者的创作需求，从而使得该创作过程更为有趣。
本发明是通过下述技术方案来解决上述技术问题的：一种基于自发式脑机接口的机器人绘画系统，其特征在于，其包括脑电信号采集模块、信号无线传输模块、脑电信号处理模块、控制指令生成模块、指令无线传输模块、绘画机器人以及使用者；其中，脑电信号采集模块用于采集使用者的实时脑电信号，信号无线传输模块将采集得到的脑电信号传输至上位机以作进一步处理，上位机包括脑电信号处理模块和控制指令生成模块，脑电信号处理模块用于对脑电信号进行平滑滤波，控制指令生成模块将处理之后的脑电信号幅值转化为绘画机器人各支画笔的径向位置控制指令，指令无线传输模块将最终的位置控制指令传输至绘画机器人，绘画机器人将得到的控制指令转化为画笔的轨迹最终呈现在画板上。
优选地，所述脑电信号采集模块采用头戴式脑电信号采集仪器。
优选地，所述信号无线传输模块通过蓝牙无线通讯协议进行脑电信号传输。
优选地，所述脑电信号处理模块通过Matlab编程实现，利用Matlab信号处理工具箱对脑电信号进行平滑滤波，避免画笔在运动过程中出现剧烈抖动，最大化地保证输出图形的美观性。
优选地，所述控制指令生成模块采用C++编程实现，通过一个线性函数变换将平滑滤波后的脑电信号幅值转化为绘画机器人各支画笔的径向位置，基于此生成绘画机器人三根画笔的径向运动位置控制指令。
优选地，所述指令无线传输模块通过蓝牙通讯协议将最终的运动控制位置指令传输至绘画机器人以控制其画笔的径向运动，完成最终绘画任务。
优选地，所述绘画机器人具有四个运动自由度，其中一个自由度用于驱动绘画机器人绕中心轴线作旋转运动，另外三个自由度用于驱动绘画机器人的三支画笔同时作径向直线运动。
本发明还提供一种基于自发式脑机接口的机器人绘画方法，其特征在于，包括如下步骤：脑电信号采集模块通过头戴式脑电信号采集仪器记录下使用者的实时脑电信号，信号无线传输模块将采集的脑电信号通过蓝牙无线通信协议发送至上位机，在上位机内脑电信号处理模块对脑电信号作平滑滤波处理，紧接着控制指令生成模块将滤波后的脑电信号映射成各支画笔的径向运动位置控制指令，指令无线传输模块将生成的运动控制指令通过蓝牙无线通信协议发送至绘画机器人，然后绘画机器人根据运动控制指令驱动各支画笔完成相应的动作，使用者通过视觉反馈可以观察到整个绘画过程。
优选地，所述使用者根据自身实际情况及兴趣从诸多信号采集通道中选择三个完成绘制。
优选地，所述使用者通过想象肢体运动，做算数运算等自主大脑活动来调节其自身的大脑节律与波形，从而改变绘画机器人画笔的输出轨迹，以此实现人机交互。
本发明的积极进步效果在于：本发明通过采集使用者的自发脑电完成绘画，无需提供外界刺激以诱发使用者特定模式的脑电信号，即该系统无需在一个提供外界刺激的结构化环境下工作；在本发明的使用过程中，使用者可根据自身实际情况及兴趣自由选择三个信号采集通道完成绘画，为使用者提供了较大的发挥空间，充分满足了使用者的创作需求，从而使得该创作过程更为有趣；本发明通过将画笔环绕绘画机器人的旋转中心均匀布置，可以同时绘制多个通道的脑电波形，提高了绘画效率。此外再辅以特定的色彩搭配，使得整个绘画过程更具视觉冲击力。
附图说明
图1是本发明系统组成框图；
图2是本发明绘画场景示意图；
图3是本发明绘画机器人结构示意图。
具体实施方式
下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。
如图1所示，本发明基于自发式脑机接口的机器人绘画系统包括脑电信号采集模块、信号无线传输模块、脑电信号处理模块、控制指令生成模块、指令无线传输模块、绘画机器人以及使用者；其中，脑电信号采集模块用于采集使用者的实时脑电信号，信号无线传输模块将采集得到的脑电信号传输至上位机以作进一步处理，上位机包括脑电信号处理模块和控制指令生成模块，脑电信号处理模块用于对脑电信号进行平滑滤波，控制指令生成模块将处理之后的脑电信号幅值转化为绘画机器人各支画笔的径向位置控制指令，指令无线传输模块将最终的位置控制指令传输至绘画机器人，绘画机器人将得到的控制指令转化为画笔的轨迹最终呈现在画板上。
所述脑电信号采集模块采用头戴式脑电信号采集仪器(型号可以是EmotivEPOC)，该仪器的优点是可穿戴，携带方便，使用简单，拥有十六个采集通道。
所述信号无线传输模块通过蓝牙无线通讯协议进行脑电信号传输，将采集得到的实时脑电信号传输至上位机以对其作进一步处理，这样方便进行传输，确保信号传输的稳定性。
所述脑电信号处理模块利用Matlab软件信号处理工具箱编程实现，对采集得到的脑电信号作平滑滤波处理，避免画笔在运动过程中出现剧烈抖动，最大化地保证输出图形的美观性。
所述控制指令生成模块利用C++编程语言实现，具体地，通过一个线性函数变换将所选通道的信号幅值映射为对应画笔的径向运动位置控制指令，这样使用方便。随着信号幅值的增大，画笔将向着远离绘画机器人旋转中心的方向运动；随着信号幅值的减小，则画笔将向着靠近绘画机器人旋转中心的方向运动。如若由信号幅值转化得到的位置控制指令超出了径向轨道的极限范围，则画笔将停滞于径向轨道的极限位置并最终画出一段圆弧。
所述指令无线传输模块通过蓝牙无线通讯协议将位置控制指令传输至绘画机器人，具体来说，所述指令无线传输模块通过蓝牙通讯协议将最终的运动控制位置指令传输至绘画机器人以控制其画笔的径向运动，完成最终绘画任务，这样方便传输。
所述绘画机器人具有四个运动自由度，其中一个自由度用于驱动绘画机器人绕中心轴线作旋转运动，另外三个自由度用于驱动绘画机器人的三支画笔同时作径向直线运动，三支画笔环绕旋转中心均匀布置，这样最大程度地提高绘画效率，改善用户使用体验。
使用者通过视觉反馈可观察绘画机器人的实时绘制情况。基于此，使用者可自主调节大脑节律从而实时调节绘画机器人画笔的运动轨迹。
本发明基于自发式脑机接口的机器人绘画方法包括如下步骤：脑电信号采集模块通过头戴式脑电信号采集仪器记录下使用者的实时脑电信号，信号无线传输模块将采集的脑电信号通过蓝牙无线通信协议发送至上位机，在上位机内脑电信号处理模块对脑电信号作平滑滤波处理，紧接着控制指令生成模块将滤波后的脑电信号映射成各支画笔的径向运动位置控制指令，指令无线传输模块将生成的运动控制指令通过蓝牙无线通信协议发送至绘画机器人，然后绘画机器人根据运动控制指令驱动各支画笔完成相应的动作，使用者通过视觉反馈可以观察到整个绘画过程。
使用者可根据自身实际情况及兴趣从诸多信号采集通道中选择三个完成绘制，为其提供较大的发挥空间，最大程度满足使用者的个性化需求。
使用者可通过想象肢体运动，做算数运算等自主大脑活动来调节其自身的大脑节律与波形，从而改变绘画机器人画笔的输出轨迹，以此实现人机交互。
图2所示为本发明的一个绘画场景示意图，具体包括头戴式脑电信号采集仪器1、使用者2、上位机3、支架4、绘画机器人5、绘画轨迹曲线6、画板7。下面具体描述如下：使用者2静坐于座椅，由服务人员帮助使用者佩戴头戴式脑电信号采集仪器1。佩戴完成后询问使用者舒适性，如若感觉不适，则作相应移动调整。打开上位机3中的软件观察采集得到的信号波形，确保信号采集的稳定性，必要情况下可注射导电膏以改善信号采集性能。将通道波形展示给使用者2，询问其决定采用哪三个通道来最终用于绘画输出，同时服务人员根据使用者的选择在上位机3中的软件作相应设置。头戴式脑电信号采集仪器1通过蓝牙无线传输设备将采集得到的脑电信号传输至用于进一步处理脑电信号的上位机3。绘画机器人5通过支架4放置于地面，画板7距离使用者2的距离大约为1-2米，便于使用者2清楚地观察到画笔描绘出的实际轨迹。使用者2可根据自主的意愿通过想象肢体运动，进行算数运算等方式调节自身大脑的节律波形，随后将该变化通过画笔呈现于画板7，最终完成拥有个人特色的绘画作品。
图3所示为本发明绘画机器人结构示意图，绘画机器人5具体包括滚珠丝杠9、马克笔夹持器10、马克笔11、第一驱动电机12、第二驱动电机13、第三驱动电机14、第四驱动电机15。绘画机器人本体被固定于支架4上，用于绘画的马克笔11被固定于马克笔夹持器10，第一驱动电机12、第二驱动电机13、第三驱动电机14分别用于驱动三支画笔沿着导轨槽作径向直线运动，第四驱动电机15用于驱动绘画机器人绕中心轴线作旋转运动。当绘画机器人收到位置控制指令后，第一驱动电机12、第二驱动电机13、第三驱动电机14开始转动并带动滚珠丝杠9一起旋转。随后，套在滚珠丝杠上的马克笔夹持器10连同马克笔11便能够沿着导轨槽作径向直线运动，最终便能在画板上绘画出相应的轨迹曲线。
综上所述，本发明能够同时绘制多个通道的脑电波形，提高了绘画效率，并为使用者提供了较大的发挥空间，充分满足了使用者的创作需求，从而使得该创作过程更为有趣。本发明实现了基于自发式脑机接口完成绘画的任务。
以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于自发式脑机接口的机器人绘画系统，其特征在于，其包括脑电信号采集模块、信号无线传输模块、脑电信号处理模块、控制指令生成模块、指令无线传输模块、绘画机器人以及使用者；其中，脑电信号采集模块用于采集使用者的实时脑电信号，信号无线传输模块将采集得到的脑电信号传输至上位机以作进一步处理，上位机包括脑电信号处理模块和控制指令生成模块，脑电信号处理模块用于对脑电信号进行平滑滤波，控制指令生成模块将处理之后的脑电信号幅值转化为绘画机器人各支画笔的径向位置控制指令，指令无线传输模块将最终的位置控制指令传输至绘画机器人，绘画机器人将得到的控制指令转化为画笔的轨迹最终呈现在画板上；
所述脑电信号采集模块采用头戴式脑电信号采集仪器；
所述信号无线传输模块通过蓝牙无线通讯协议进行脑电信号传输；
所述脑电信号处理模块通过Matlab编程实现，利用Matlab信号处理工具箱对脑电信号进行平滑滤波，避免画笔在运动过程中出现剧烈抖动，最大化地保证输出图形的美观性。
2.如权利要求1所述的基于自发式脑机接口的机器人绘画系统，其特征在于，所述控制指令生成模块采用C++编程实现，通过一个线性函数变换将平滑滤波后的脑电信号幅值转化为绘画机器人各支画笔的径向位置，基于此生成绘画机器人三根画笔的径向运动位置控制指令。
3.如权利要求1所述的基于自发式脑机接口的机器人绘画系统，其特征在于，所述指令无线传输模块通过蓝牙通讯协议将最终的运动控制位置指令传输至绘画机器人以控制其画笔的径向运动，完成最终绘画任务。
4.如权利要求1所述的基于自发式脑机接口的机器人绘画系统，其特征在于，所述绘画机器人具有四个运动自由度，其中一个自由度用于驱动绘画机器人绕中心轴线作旋转运动，另外三个自由度用于驱动绘画机器人的三支画笔同时作径向直线运动。
5.一种基于自发式脑机接口的机器人绘画方法，其特征在于，包括如下步骤：脑电信号采集模块通过头戴式脑电信号采集仪器记录下使用者的实时脑电信号，信号无线传输模块将采集的脑电信号通过蓝牙无线通信协议发送至上位机，在上位机内脑电信号处理模块对脑电信号作平滑滤波处理，紧接着控制指令生成模块将滤波后的脑电信号映射成各支画笔的径向运动位置控制指令，指令无线传输模块将生成的运动控制指令通过蓝牙无线通信协议发送至绘画机器人，然后绘画机器人根据运动控制指令驱动各支画笔完成相应的动作，使用者通过视觉反馈可以观察到整个绘画过程。
6.如权利要求5所述的基于自发式脑机接口的机器人绘画方法，其特征在于，所述使用者根据自身实际情况及兴趣从诸多信号采集通道中选择三个完成绘制。
7.如权利要求5所述的基于自发式脑机接口的机器人绘画方法，其特征在于，所述使用者通过想象肢体运动，做算数运算等自主大脑活动来调节其自身的大脑节律与波形，从而改变绘画机器人画笔的输出轨迹，以此实现人机交互。
CN201710641113.3A 2017-07-31 2017-07-31 基于自发式脑机接口的机器人绘画系统及方法 Active CN107506028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710641113.3A CN107506028B (zh) 2017-07-31 2017-07-31 基于自发式脑机接口的机器人绘画系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710641113.3A CN107506028B (zh) 2017-07-31 2017-07-31 基于自发式脑机接口的机器人绘画系统及方法

Publications (2)

Publication Number Publication Date
CN107506028A CN107506028A (zh) 2017-12-22
CN107506028B true CN107506028B (zh) 2021-07-06

Family

ID=60689308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710641113.3A Active CN107506028B (zh) 2017-07-31 2017-07-31 基于自发式脑机接口的机器人绘画系统及方法

Country Status (1)

Country Link
CN (1) CN107506028B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108466272B (zh) * 2018-04-25 2020-11-13 福建思安智能科技开发有限公司 一种仿真写字绘画机器人及其使用方法
CN109189229B (zh) * 2018-10-23 2021-02-19 南京林业大学 一种脑电波绘制艺术图像用脑电波采集调节系统
CN110788868A (zh) * 2019-10-26 2020-02-14 内蒙古民族大学 一种残疾儿童专用绘画组合装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294192A (zh) * 2013-04-25 2013-09-11 常州大学 一种基于运动想象的led灯开关控制装置及其控制方法
CN105022488A (zh) * 2015-07-20 2015-11-04 北京工业大学 基于ssvep脑电电位的无线bci输入系统
CN105137830A (zh) * 2015-08-03 2015-12-09 广东工业大学 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
CN105468143A (zh) * 2015-11-17 2016-04-06 天津大学 一种基于运动想象脑-机接口的反馈系统
CN205890376U (zh) * 2016-08-22 2017-01-18 湖北艾瑞博特机器人工程技术有限公司 一种绘画机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294192A (zh) * 2013-04-25 2013-09-11 常州大学 一种基于运动想象的led灯开关控制装置及其控制方法
CN105022488A (zh) * 2015-07-20 2015-11-04 北京工业大学 基于ssvep脑电电位的无线bci输入系统
CN105137830A (zh) * 2015-08-03 2015-12-09 广东工业大学 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
CN105468143A (zh) * 2015-11-17 2016-04-06 天津大学 一种基于运动想象脑-机接口的反馈系统
CN205890376U (zh) * 2016-08-22 2017-01-18 湖北艾瑞博特机器人工程技术有限公司 一种绘画机器人

Also Published As

Publication number Publication date
CN107506028A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN107315478B (zh) 一种运动想象上肢智能康复机器人系统及其训练方法
Kohli et al. A review on Virtual Reality and Augmented Reality use-cases of Brain Computer Interface based applications for smart cities
Liu et al. Implementation of SSVEP based BCI with Emotiv EPOC
CN107506028B (zh) 基于自发式脑机接口的机器人绘画系统及方法
CN102058466B (zh) 一种中医推拿按摩机器人
Gordleeva et al. Exoskeleton control system based on motor-imaginary brain–computer interface
Lin et al. EEG and eye-blinking signals through a Brain-Computer Interface based control for electric wheelchairs with wireless scheme
Stanford Biosignals offer potential for direct interfaces and health monitoring
CN108743215A (zh) 一种基于柔性康复手套的康复训练系统
Yan et al. Quadcopter control system using a hybrid BCI based on off-line optimization and enhanced human-machine interaction
CN105137830B (zh) 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
Shende et al. Literature review of brain computer interface (BCI) using Electroencephalogram signal
CN113180992A (zh) 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
Wang et al. Brain-controlled wheelchair review: From wet electrode to dry electrode, from single modal to hybrid modal, from synchronous to asynchronous
CN110688013A (zh) 一种基于ssvep的英文键盘拼写系统及拼写方法
Prataksita et al. Brain-robot control interface: Development and application
CN206147520U (zh) 一种用于基于运动想象和p300相结合的脑机接口控制虚拟现实的数据采集装置
Sudarsanan et al. Controlling a robot using brain waves
Qi et al. Lower limb rehabilitation exoskeleton control based on SSVEP-BCI
CN204655743U (zh) 一种新型的身心减压调节仪
Fu et al. Time domain features for relationship between speed and slow potentials activity during periodic movement and motor imagery at fast and slow for BCRI
CN114936574A (zh) 一种基于bci的高灵活度机械手系统及其实现方法
Bian et al. Research on multi-modal human-machine interface for aerospace robot
Wan et al. Design of joint structure for upper limb exoskeleton robot system
Thorp et al. Combined auditory and vibrotactile feedback for human–machine-interface control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant