CN104331155B - 一种利用电刺激实现触觉再现装置 - Google Patents

一种利用电刺激实现触觉再现装置 Download PDF

Info

Publication number
CN104331155B
CN104331155B CN201410583940.8A CN201410583940A CN104331155B CN 104331155 B CN104331155 B CN 104331155B CN 201410583940 A CN201410583940 A CN 201410583940A CN 104331155 B CN104331155 B CN 104331155B
Authority
CN
China
Prior art keywords
tactile
haptic signal
touch
simulation
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410583940.8A
Other languages
English (en)
Other versions
CN104331155A (zh
Inventor
翁冬冬
王佳斌
蔡毅
孙晓颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHANGCHUN JIDA SCOLA Co Ltd
Beijing Institute of Technology BIT
Original Assignee
CHANGCHUN JIDA SCOLA Co Ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHANGCHUN JIDA SCOLA Co Ltd, Beijing Institute of Technology BIT filed Critical CHANGCHUN JIDA SCOLA Co Ltd
Priority to CN201410583940.8A priority Critical patent/CN104331155B/zh
Publication of CN104331155A publication Critical patent/CN104331155A/zh
Application granted granted Critical
Publication of CN104331155B publication Critical patent/CN104331155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Abstract

本发明公开了一种利用电刺激实现触觉再现装置,属于虚拟现实领域。该装置包括触觉再现控制器、触觉脉冲输出单元以及触觉再现屏幕;触觉再现屏幕为一块显示屏,其上顺次覆盖有透明湿导电极板以及红外定位边框;透明湿导电极板在有电流输入时,手指触摸时就会产生触感;红外定位边框采集手指触摸的位置信息并发送至触觉再现控制器;触觉再现控制器一方面将将图像信息发送至显示屏进行显示;另一方面根据位置信息在图像中提取触觉信息并进行数模转换,得到模拟触觉信号发送到触觉脉冲输出单元,进行一系列的电流整波和保护处理后输出安全电流至透明湿导电极板。本发明是一种安全、舒适、自然的电触觉再现装置,同时具备可调节性。

Description

一种利用电刺激实现触觉再现装置
技术领域
本发明涉及虚拟现实领域,具体涉及一种利用电刺激实现触觉再现装置。
背景技术
触觉作为一种基本的人类感觉,不同于视觉和听觉,触觉与嗅觉类似,在处理信息的过程中,更多受主观感情因素的影响,存在一定的个体差异。也因此,触觉在人类认知世界中起到了非常特别的作用。相比较视觉和听觉而言,触觉再现是发展的比较滞后。直到近十几年,触觉再现才开始成为虚拟现实、人机交互领域的研究热点。在现有的视觉再现基础上,加入触觉信息能够为人提供更加真实和直观的交互体验。目前触觉再现在盲人教育、远程医疗等领域有着重要应用作用,随着技术的逐步成熟,触觉再现将更多的进入大众生活中。
人体皮肤感知触觉的主要感受器是四种细胞体和自由神经网络,四种细胞体分别是:Meissner小体、Pacinian小体、Ruffini’s触觉细胞、Mekel’s触觉盘。这四种感受器不均匀的分布在人体皮肤内,感知外界的温度、湿度、振动,感觉皮肤的形变、伸展、活动等信息。四种感受器各自的感知范围不同,受到电触觉的影响也有不同。
通过查阅大量的现有文献发现,目前国内外相关电触觉技术主要集中在超过200V的高电压触觉信号再现上。目前,针对电刺激触觉方面的研究,大部分集中在日本。日本电信通信大学研制的一种用于移动触摸屏的电触觉再现技术,该薄膜上的电极呈点阵式分布,可吸附在显示上,触摸时会根据图像的纹理给予电触觉反馈。但其应用的是300V的高电压驱动。国内的上海交大同样也在进行相关的电刺激研发,其电压也很高,都会给使用者带来很强列的不舒适感,不利于推广应用。
发明内容
有鉴于此,本发明提供了一种利用电刺激实现触觉再现装置,其目的在于提出一种安全、舒适、自然的电触觉再现装置,同时具备可调节性。
为达到上述目的,本发明的技术方案为,该装置包括触觉再现控制器、触觉脉冲输出单元以及触觉再现屏幕。
触觉再现屏幕包括一块显示屏,其上顺次覆盖有透明湿导电极板以及红外定位边框;显示屏接收触觉再现控制器发来的图像信息并进行图像显示;透明湿导电极板在触觉再现控制器发出的模拟触觉信号的驱动下产生电流;红外定位边框实时采集人体手指在触觉再现屏幕上的位置信息,并将位置信息发送至触觉再现控制器中。
触觉再现控制器包括处理器、图像显示模块和触觉驱动模块。
处理器控制整个触觉再现装置的电源供给,其还具有如下两方面功能:一方面将待显示的图像信息发送到图像显示模块,图像显示模块将该图像信息进行转码并发送到显示屏进行显示;另一方面接收红外定位边框实时采集的位置信息,并对该位置信息指定的图像上对应位置处进行触觉信息提取,然后将所提取的触觉信息转换为数字触觉信号发送至触觉驱动模块,触觉驱动模块采用数模转换器将该数字触觉信号转换成模拟触觉信号,并将该模拟触觉信号发送到触觉脉冲输出单元。
触觉脉冲输出单元包括电脉冲整波电路以及保护电路;触觉驱动模块发来的模拟触觉信号首先进入电脉冲整波电路进行平滑、滤波和运算放大,使得该模拟触觉信号的波幅达到对人体的安全电压范围内,然后进行功率放大后传输到保护电路。
保护电路包括顺次连接的限流保护电路、限压保护电路以及逆变器。
限流电路利用限流电阻将模拟触觉信号的电流限制在对人体的安全电流范围之内。
限压保护电路对模拟触觉信号进行采样,并利用比较芯片进行如下比较:当模拟触觉信号的电压处于安全范围之内时,将该模拟触觉信号输出至逆变器中,当模拟触觉信号的电压处于安全范围之外时,保护电路向处理器发出信号,处理器切断系统电源。
逆变器将模拟触觉信号的电压提高,然后将模拟触觉信号输出至透明湿导电极板的电压控制端,驱动透明湿导电极板产生电流。
触觉脉冲输出单元中电路均采用双极性电路。
优选地,显示屏为LCD显示屏,透明湿导电极板以及红外定位边框均与LCD显示屏尺寸一致,透明湿导电极板直接放置于玻璃底板之上,红外定位边框则粘接在透明湿导电极板之上。
优选地,透明湿导电极板与LCD显示屏之间隔有玻璃底板。
优选地,处理器进行触觉信息提取时采用基于图像梯度的纹理特征提取算法SFS。
进一步地,触觉驱动模块中,将所提取的触觉信息转换为数字触觉信号时,根据触觉信息对振动感强度和密度调节的要求,对数字触觉信号进行波形、幅度、频率和占空比的调整。
进一步地,将触觉再现控制器和触觉脉冲输出单元集成到同一箱体中,作为后端设备,触觉再现屏幕作为前端设备,其中前端设备与后端设备之间传递的信息包括图像信息、模拟触觉信号以及位置信息均通过USB数据线进行传递。
有益效果:
1、本发明通过电刺激在指端上产生振动感,进而使人感知屏幕显示图像的纹理、材质、边缘和形状。本发明尽可能地保证了产生触觉的信号其电压和电流的安全性,因此能够安全的使人体感觉触觉信息,真正实现了触觉再现的裸指操作;同时本发明采用低电压脉冲信号作为刺激源,用透明湿导电极板解决不舒适感,并采用双极性电路,这样使得流经人体的电荷量为0,能够充分保护人体。
2、本发明所提供的装置还可以通过调节电脉冲信号的波形、幅度、频率、占空比,实现振动感强度和密度调节,进而实现触觉信息再现。
3、本发明所提供的装置无需接地,无需固定,低功耗,且有可能实现小型化,还可以将后端处理独立出来,为应用到以后的平板、手机等移动终端做准备。
附图说明
图1为本发明实施例1中触觉再现屏幕的结构示意图;
图2为本发明实施例1中装置的模块组成以及信号流向;
图3为本发明实施例2中装置结构图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
实施例1、本发明针对目前国内外电刺激触觉再现技术的不足,提出一种更安全的、更舒适、更自然的电触觉再现人机交互装置。
该装置包括触觉再现控制器、触觉脉冲输出单元以及触觉再现屏幕;当人体手指在触觉再现屏幕上进行触摸时,该触觉再现屏幕产生电流刺激人体手指,使其产生触觉;同时通过对振动强度、频率的控制,实现感知屏幕显示图像的纹理、材质、边缘和形状。
其中如图1所示为本实施例中的触觉再现屏幕,该屏幕的主体为一块LCD显示屏,其上顺次覆盖有透明湿导电极板以及红外定位边框。透明湿导电极板以及红外定位边框均与LCD显示屏尺寸一致,透明湿导电极板直接放置于玻璃底板之上,红外定位边框则粘接在透明湿导电极板之上。本实施例中也可以先将透明湿导电极板附着于玻璃底板上,再置于LCD显示屏之上。
LCD显示屏接收触觉再现控制器发来的图像信息并进行图像显示。
透明湿导电极板在触觉再现控制器发出的模拟触觉信号的驱动下产生电流,电流刺激手指上的感受器,产生对应图像的振动感,实现实时的触觉再现。
红外定位边框实时采集人体手指在触觉再现屏幕上的位置信息,并将该信息发送至触觉再现控制器中;在使用时人体应接触地面。
触觉再现控制器包括处理器、图像显示模块和触觉驱动模块,处理器用于用于完成图像显示与触觉渲染,包括处理器、图像显示模块和触觉驱动模块。
处理器控制整个触觉再现装置的电源供给,其还具有如下两方面功能:
一方面将待显示的图像信息发送到图像显示模块,图像显示模块将该图像信息进行转码并发送到LCD显示屏进行显示。
另一方面接收红外定位边框实时采集的位置信息,并对该位置信息指定的图像上对应位置处进行触觉信息提取,本实施例中可以采用基于图像梯度的纹理特征提取算法SFS。然后将所提取的触觉信息转换为数字触觉信号发送至触觉驱动模块,触觉驱动模块采用数模转换器将该数字触觉信号转换成-1V到+1V的模拟触觉信号,并将该模拟触觉信号发送到触觉脉冲输出单元。
触觉脉冲输出单元包括电脉冲整波电路以及保护电路;触觉驱动模块发来的模拟触觉信号首先进入电脉冲整波模块进行平滑、滤波和运算放大,使得该模拟触觉信号的波幅达到对人体的安全电压范围之内,该安全电压范围为-12V到12V,然后进行功率放大后传输到保护电路模块.
保护电路包括顺次连接的限流保护电路、限压保护电路以及逆变器:
限流电路利用限流电阻将模拟触觉信号的电流限制在对人体的安全电流范围之内,本实施例中控制在0.5mA以内。
限压保护电路对模拟触觉信号进行采样,并利用比较芯片进行如下比较:当模拟触觉信号的电压处于安全范围之内时,将该模拟触觉信号输出至逆变器中,当模拟触觉信号的电压处于安全范围之外时,保护电路向处理器发出信号,处理器切断系统电源。
人体感知到的电刺激信号是要高于一定阈值的,10V左右是感知不到的,因此要将电压提高到人体可感知的范围24V~60V;因此本实施例中采用逆变器将模拟触觉信号的电压提升,本实施例中由-12V到12V提高到-60V到60V范围内,然后将模拟触觉信号输出至透明湿导电极板的电压控制端,驱动透明湿导电极板产生电流。
设置逆变器来隔离高低电压是出于安全考虑。人体安全电压约为36V,为了达到更好的触觉效果,常要超过这个电压,这就要求在最高输出时必须小于安全电流10mA,电经过逆变器输出波形不利于波形的频率范围,但是有利于保护人体,这使得当逆变器烧毁时,人体接触电压最高为12V,不会出现人体不会直接接触高压电源。输出功率在1mW-100mW之间。
触觉脉冲输出单元中电路均采用双极性电路,这样这样使得流经人体的电荷量为0,能够充分保护人体。
本实施例中整个装置的模块组成以及信号流向如图2所示。
实施例2、
本实施例是在实施例1所提供的方案的基础上,将触觉再现控制器和触觉脉冲输出单元作为后端设备,触觉再现屏幕作为前端设备,其中前端设备与后端设备之间传递的信息包括图像信息、模拟触觉信号以及位置信息均通过USB数据线进行传递。
本实施例的装置结构图如图3所示,其中可以看出,前端设备可以是平常所使用的移动终端,在其屏幕上加上透明湿导电极板以及红外定位边框之后,并采用USB数据线将屏幕、透明湿导电极板以及红外定位边框与后端设备中的图像显示模块、触觉驱动模块以及处理器一一对应相连接。
这样本装置可以适用于任何移动终端进行触觉再现。
同时在触觉驱动模块中,将所提取的触觉信息转换为数字触觉信号时,根据触觉信息对振动感强度和密度调节的要求,对数字触觉信号进行波形、幅度、频率和占空比的调整。
而且后端设备独立出来之后,可以设计其外表具有输入键盘,从而可以从外部人为地调节触觉驱动模块中的数字触觉信号信号的波形、幅度、频率、占空比,实现振动感强度和密度调节,进而实现更为准确、舒适的触觉信息再现。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种利用电刺激实现触觉再现装置,其特征在于,包括触觉再现控制器、触觉脉冲输出单元以及触觉再现屏幕;
所述触觉再现屏幕包括一块显示屏,其上顺次覆盖有透明湿导电极板以及红外定位边框;所述显示屏接收触觉再现控制器发来的图像信息并进行图像显示;所述透明湿导电极板在触觉再现控制器发出的模拟触觉信号的驱动下产生电流;所述红外定位边框实时采集人体手指在触觉再现屏幕上的位置信息,并将所述位置信息发送至触觉再现控制器中;
所述触觉再现控制器包括处理器、图像显示模块和触觉驱动模块;
所述处理器控制整个触觉再现装置的电源供给,其还具有如下两方面功能:一方面将待显示的图像信息发送到图像显示模块,所述图像显示模块将该图像信息进行转码并发送到显示屏进行显示;另一方面接收所述红外定位边框实时采集的位置信息,并对该位置信息指定的图像上对应位置处进行触觉信息提取,然后将所提取的触觉信息转换为数字触觉信号发送至触觉驱动模块,所述触觉驱动模块采用数模转换器将该数字触觉信号转换成模拟触觉信号,并将该模拟触觉信号发送到触觉脉冲输出单元;
所述触觉脉冲输出单元包括电脉冲整波电路以及保护电路;所述触觉驱动模块发来的模拟触觉信号首先进入电脉冲整波电路进行平滑、滤波和运算放大,使得该模拟触觉信号的波幅达到对人体的安全电压范围内,然后进行功率放大后传输到保护电路;
所述保护电路包括顺次连接的限流保护电路、限压保护电路以及逆变器;
所述限流保护电路利用限流电阻将模拟触觉信号的电流限制在对人体的安全电流范围之内;
所述限压保护电路对模拟触觉信号进行采样,并利用比较芯片进行如下比较:当模拟触觉信号的电压处于安全范围之内时,将该模拟触觉信号输出至所述逆变器中,当模拟触觉信号的电压处于安全范围之外时,所述限压保护电路向处理器发出信号,处理器切断装置电源;
所述逆变器将模拟触觉信号的电压提高,然后将模拟触觉信号输出至透明湿导电极板的电压控制端,驱动所述透明湿导电极板产生电流;
所述触觉脉冲输出单元中电路均采用双极性电路。
2.如权利要求1所述的一种利用电刺激实现触觉再现装置,其特征在于,所述显示屏为LCD显示屏,透明湿导电极板以及红外定位边框均与LCD显示屏尺寸一致,所述透明湿导电极板直接放置于玻璃底板之上,所述红外定位边框则粘接在所述透明湿导电极板之上。
3.如权利要求2所述的一种利用电刺激实现触觉再现装置,其特征在于,所述透明湿导电极板与所述LCD显示屏之间隔有玻璃底板。
4.如权利要求1所述的一种利用电刺激实现触觉再现装置,其特征在于,所述处理器进行触觉信息提取时采用基于图像梯度的纹理特征提取算法SFS。
5.如权利要求1所述的一种利用电刺激实现触觉再现装置,其特征在于,所述触觉驱动模块中,将所提取的触觉信息转换为数字触觉信号时,根据触觉信息对振动感强度和密度调节的要求,对数字触觉信号进行波形、幅度、频率和占空比的调整。
6.如权利要求1所述的一种利用电刺激实现触觉再现装置,其特征在于,将所述触觉再现控制器和触觉脉冲输出单元集成到同一箱体中,作为后端设备,触觉再现屏幕作为前端设备,其中前端设备与后端设备之间传递的信息包括所述图像信息、模拟触觉信号以及位置信息均通过USB数据线进行传递。
CN201410583940.8A 2014-10-27 2014-10-27 一种利用电刺激实现触觉再现装置 Active CN104331155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410583940.8A CN104331155B (zh) 2014-10-27 2014-10-27 一种利用电刺激实现触觉再现装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410583940.8A CN104331155B (zh) 2014-10-27 2014-10-27 一种利用电刺激实现触觉再现装置

Publications (2)

Publication Number Publication Date
CN104331155A CN104331155A (zh) 2015-02-04
CN104331155B true CN104331155B (zh) 2017-02-15

Family

ID=52405898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410583940.8A Active CN104331155B (zh) 2014-10-27 2014-10-27 一种利用电刺激实现触觉再现装置

Country Status (1)

Country Link
CN (1) CN104331155B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10627905B2 (en) * 2015-03-26 2020-04-21 Tianma Microelectronics Co., Ltd. Tactile sense presentation device, electronic apparatus, and method of driving tactile sense presentation device
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
KR101868448B1 (ko) * 2017-02-23 2018-06-19 린츠 주식회사 스마트 기기용 햅틱 패턴 제공 장치
CN106919095A (zh) * 2017-03-17 2017-07-04 深圳市乐酷博世科技有限公司 BLE Mesh网络电脉冲肤觉反馈器
CN109343716B (zh) * 2018-11-16 2022-05-10 Oppo广东移动通信有限公司 一种图像显示方法及装置、计算机可读存储介质
CN109782950B (zh) * 2019-01-04 2022-05-17 Oppo(重庆)智能科技有限公司 触摸电极控制方法、装置、存储介质及电子设备
CN114546101A (zh) * 2020-11-24 2022-05-27 京东方科技集团股份有限公司 触觉再现装置、显示面板和显示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8026798B2 (en) * 2008-10-03 2011-09-27 Senseg Ltd. Techniques for presenting vehicle-related information
CN102609094A (zh) * 2012-02-24 2012-07-25 东南大学 电振双模多维触觉刺激器
CN102662477A (zh) * 2012-05-10 2012-09-12 孙晓颖 一种基于静电力触觉再现的装置
CN203746014U (zh) * 2014-03-05 2014-07-30 吉林大学 一种应用阻抗检测的自适应多点静电力触觉再现装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110285666A1 (en) * 2010-05-21 2011-11-24 Ivan Poupyrev Electrovibration for touch surfaces
JP5709110B2 (ja) * 2010-06-07 2015-04-30 国立大学法人電気通信大学 電気刺激装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8026798B2 (en) * 2008-10-03 2011-09-27 Senseg Ltd. Techniques for presenting vehicle-related information
CN102609094A (zh) * 2012-02-24 2012-07-25 东南大学 电振双模多维触觉刺激器
CN102662477A (zh) * 2012-05-10 2012-09-12 孙晓颖 一种基于静电力触觉再现的装置
CN203746014U (zh) * 2014-03-05 2014-07-30 吉林大学 一种应用阻抗检测的自适应多点静电力触觉再现装置

Also Published As

Publication number Publication date
CN104331155A (zh) 2015-02-04

Similar Documents

Publication Publication Date Title
CN104331155B (zh) 一种利用电刺激实现触觉再现装置
CN104238821B (zh) 一种应用于盲文阅读的触觉再现装置和方法
CN104758130B (zh) 一种基于脑机接口的智能护理装置及方法
CN104606783B (zh) 智能电针仪、智能终端及其放大电路
CN108784716A (zh) 一种头戴式设备及其注意力评估训练方法
CN206630868U (zh) 一种面部清洁按摩仪
CN102609094A (zh) 电振双模多维触觉刺激器
CN103345184A (zh) 一种图像信息温度觉反馈的二维手控装置
CN110688013A (zh) 一种基于ssvep的英文键盘拼写系统及拼写方法
CN111399645B (zh) 可穿戴设备及触觉反馈方法、装置、存储介质
CN208848165U (zh) 一种虚拟现实触觉反馈交互系统
CN106267552A (zh) 一种穿戴设备、虚拟现实方法和终端系统
CN206726169U (zh) 用于产生人工触觉的电刺激器系统
CN208725464U (zh) 一种可供视觉障碍人士操控的电饭煲
CN106606819A (zh) 携带式加热与低周波双功能治疗器
CN213338696U (zh) 一种基于电容触摸感应的互动装置
CN110096158A (zh) 一种电触觉适宜刺激控制装置
CN201453837U (zh) 一种神经系统电刺激仪
JP2002328596A (ja) 触覚提示方法及び触覚提示装置
CN105233405A (zh) 经络灸导仪
CN206198476U (zh) 一种美体仪
CN207541586U (zh) 一种触觉柔性力模拟装置
CN208877711U (zh) 一种新型智能直流电离子止汗装置
CN211273161U (zh) 调频脉冲康复仪
CN109939347A (zh) 一种融合功能电刺激的感知增强装置设计及其实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant