CN110200748A - 一种假体视觉下功能评估仿真装置及其操作方法 - Google Patents

一种假体视觉下功能评估仿真装置及其操作方法 Download PDF

Info

Publication number
CN110200748A
CN110200748A CN201910477329.XA CN201910477329A CN110200748A CN 110200748 A CN110200748 A CN 110200748A CN 201910477329 A CN201910477329 A CN 201910477329A CN 110200748 A CN110200748 A CN 110200748A
Authority
CN
China
Prior art keywords
image
computer
touch screen
user
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910477329.XA
Other languages
English (en)
Inventor
王静
张羽婷
王乐琪
张云
魏聪
张杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Shanghai Ocean University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201910477329.XA priority Critical patent/CN110200748A/zh
Publication of CN110200748A publication Critical patent/CN110200748A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种假体视觉下功能评估仿真装置,其技术方案要点是:一种假体视觉下功能评估仿真装置,包括计算机、与所述计算机电信号连接的触控屏、与所述触控屏配合的触控笔、用于供使用者穿戴的头盔显示器、用于确定使用者头部位置的头部辅助固定器,所述头盔显示器设置有用于拍摄触控屏所显示图像的微型摄像头,所述微型摄像头与所述计算机电信号连接,且所述计算机设置有用于处理微型摄像头实时采集的图像的图像处理模块,所述计算机将图像处理模块处理的图像传输至头盔显示器,并供使用者观看。本发明能帮助视觉假体的研究者发现并解决假体视觉目前存在的问题,为假体植入者的康复训练提供理论依据。

Description

一种假体视觉下功能评估仿真装置及其操作方法
技术领域
本发明涉及生物医学工程领域,尤其涉及到一种假体视觉下功能评估仿真装置及其操作方法。
背景技术
完整的视觉通路使人产生视觉感受。视觉通路上任何部位发生损伤或病变都会导致不同程度的视觉障碍,但是老年黄斑变性(Age-related Macular Degeneration,AMD)和视网膜色素变性(Retinitis Pigmentosa,RP)之外的其他致盲疾病大都可以通过手术或者药物等手段进行治疗。对RP或AMD患者,他们的大部分视网膜中间层细胞与视网膜感光层细胞相比,仍然完好且具有一定的功能。因此,可以使用视网膜假体这种植入式电子设备,通过微电极刺激视觉通路上尚存的神经系统,实现视觉功能的修复。根据刺激电极植入的位置,视网膜假体分为:视网膜上假体、视网膜下假体和脉络膜上腔假体。
微电极阵列诱发的假体视觉与正常视觉有很大的差异,它实际上是由电极诱发的光幻视点这种最基本的单元组合而成。任何不由光对视觉系统作用而产生的视觉感受,被称为光幻视点。物理性刺激、电磁刺激都有可能导致光幻视点的产生。本发明中的光幻视点指的是由微电极刺激诱发产生的视野中的单个光点。根据视网膜上视觉假体的临床报道,电极诱发的光幻视阵列呈现出许多不规则特性,包括光幻视点形状的不规则、光幻视阵列的扭曲以及缺失等。目前开展的心理物理学研究主要基于规则的光幻视阵列,为了能够更真实地模拟假体植入者的视觉感受,本发明进一步总结光幻视点特征,更真实地仿真视网膜上视觉假体电极阵列对应的光幻视阵列(phosphene map)。
虽然视网膜视觉假体取得了较快的进展,但仍处于初期的临床试验阶段,有许多科学技术问题尚未有效解决,同时由于参与植入实验的被试有限,难以广泛开展针对真实人体的实验研究。
因此,我们有必要对这样一种结构进行改善,以克服上述缺陷。
发明内容
本发明的目的是提供一种假体视觉下功能评估仿真装置及其操作方法,能帮助视觉假体的研究者发现并解决假体视觉目前存在的问题,为假体植入者的康复训练提供理论依据。
本发明的上述技术目的是用过以下技术方案实现的:一种假体视觉下功能评估仿真装置,包括计算机、与所述计算机电信号连接的触控屏、与所述触控屏配合的触控笔、用于供使用者穿戴的头盔显示器、用于确定使用者头部位置的头部辅助固定器,所述头盔显示器设置有用于拍摄触控屏所显示图像的微型摄像头,所述微型摄像头与所述计算机电信号连接,且所述计算机设置有用于处理微型摄像头实时采集的图像的图像处理模块,所述计算机将图像处理模块处理的图像传输至头盔显示器,并供使用者观看。
本发明的进一步设置为:所述头盔显示器设置有用于提取使用者眼动数据的眼动仪,所述眼动仪与所述计算机电信号连接。
本发明的进一步设置为:所述触控屏为电阻式触控屏,所述触控笔为电阻笔。
本发明的进一步设置为:一种假体视觉下功能评估仿真装置的操作方法,包括如下步骤:
S1、使用者戴着装有微型摄像头的头盔显示器,下巴抵着头部辅助固定器,手握电阻笔,另一只手靠着计算机键盘的Enter键,坐在触摸显示屏前面;
S2、触控屏上循环显示n幅图片,微型摄像头实时采集触控屏上的图像,微型摄像头实时采集的图像传输到计算机的图像处理模块,并经过图像处理模块进行处理得到显著图,然后通过计算机将图像处理模块处理后的图像传输到头盔显示器,使用者观看头盔显示器显示的显著图;
S3、使用者根据头盔显示器中的显著图,用触控笔在触控屏上画出触控屏所显示图像的边缘,画完后按下键盘上的Enter键切换到下一幅图片;
S4、计算机对使用者画出的触控屏显示的显著图的边缘与每一幅图片对应的标注图的边缘进行比对,得到实验结果的数据评估,同时提取头盔显示器中的眼动数据,对眼动数据进行评估。
本发明的进一步设置为:在步骤S2中,所述图像处理模块处理微型摄像头实时采集的图像处理步骤如下:
S2.1、对微型摄像头实时采集的图像进行视角转换,对微型摄像头采集的50°对角线视角的图像进行裁剪;
S2.2、对剪裁后的图像进行图像预处理,对图像去噪,简化信息量,增强对比度,改善图像质量;
S2.3、采用局部平均法降低图像的分辨率,实现图像低像素化;
S2.4、图像低像素化后进行仿真假体视觉处理,单个光幻视点的仿真模块和不规则光幻视阵列的仿真模块,单个光幻视点的仿真模块包括形状、亮度和颜色的参数设置,不规则光幻视阵列的仿真模块包括光幻视阵列的扭曲和光幻视点的缺失的参数设置,从而仿真更接近假体植入者真实感受的光幻视阵列。
综上所述,本发明具有以下有益效果:
1、可以调节参数仿真更接近假体植入者的视觉感受;
2、不仅仅局限于使用者能够正确的定位仿真刺激源产生的单点刺激,还能钩通过计算机中的图像处理模块提取不同场景中的显著物体,仿真刺激源产生的多点刺激;
3、以直观的数据评估实验结果;
4、能帮助视觉假体的研究者发现并解决假体视觉目前存在的问题;
5、拓宽视觉假体在各种场景中的应用;
6、为未来假体植入者的康复训练提供了理论依据。
附图说明
图1为本发明结构示意图;
图2为本发明的使用流程图;
图3为计算机1中图像处理模块生成仿真假体视觉的示意图。
图中数字所表示的相应部件名称:1、计算机;2、触控屏2;3、触控笔;4、头盔显示器;5、头部辅助固定器。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合图示与具体实施例,进一步阐述本发明。
如图1所示,本发明提出的一种假体视觉下功能评估仿真装置,包括计算机1、与计算机1电信号连接的触控屏2、与触控屏2配合的触控笔3、用于供使用者穿戴的头盔显示器4、用于确定使用者头部位置的头部辅助固定器5,其中触控屏2可以为电阻式触控屏,触控笔3可以为电阻笔。
头盔显示器4安装有用于拍摄触控屏2所显示图像的微型摄像头,微型摄像头与计算机1电信号连接,通过头盔显示器4上的微型摄像头实时采集触控屏2上的的图像,并将图像传输至计算机1。且计算机1设置有用于处理微型摄像头实时采集的图像的图像处理模块,计算机1将图像处理模块处理的图像传输至头盔显示器4,并供使用者观看。其中图像处理模块具有视角转换、图像预处理、图像低像素化和仿真假体视觉四个功能;视角转换是为了仿真视网膜假体的20°中心视野,对微型摄像头采集的50°对角线视角的图像进行裁剪;图像预处理,对图像去噪,简化信息量,增强对比度,改善图像质量;图像低像素化,其特征在于,采用局部平均法降低图像的分辨率;仿真假体视觉,包括:单个光幻视点的仿真模块和不规则光幻视阵列的仿真模块,单个光幻视点的仿真模块包括形状、亮度和颜色的参数设置,不规则光幻视阵列的仿真模块包括光幻视阵列的扭曲和光幻视点的缺失的参数设置,从而仿真更接近假体植入者真实感受的光幻视阵列。通过图像处理模块仿真刺激源产生的视幻觉刺激,并且通过实验评估模块对实验结果进行处理,最终以直观的数据评估描图结果。
在头盔显示器4安装有用于提取使用者眼动数据的眼动仪,眼动仪可以为Arrington Research生产的眼动仪,所述眼动仪与所述计算机1电信号连接。通过眼动仪记录使用者眼动数据,并将眼动数据传输至计算机1,计算机1进行计算处理,并对眼动数据进行评估。
实施例二,一种实施例一所述的假体视觉下功能评估仿真装置的操作方法,如图2和图3所示,包括如下步骤:
S1、使用者戴着装有微型摄像头的头盔显示器4,下巴抵着头部辅助定位器,手握电阻笔,另一只手靠着键盘的Enter键,坐在触摸显示屏前面;
S2、触控屏2上循环显示n幅图片,微型摄像头实时采集触控屏2上的图像,并将微型摄像头实时采集的图像传输到计算机1的图像处理模块,数据线将图像处理模块输出结果传输到头盔显示器4;
S3、使用者根据头盔显示器4中的显著图,用电阻笔画出显著物体的边缘,画完后按下键盘上的Enter键切换到下一幅图片;
S4、计算机1对使用者画出的显著图的边缘与每一幅图片对应的GroundTruth图的边缘进行比对,得到实验结果的数据评估,同时提取头盔显示器4中的眼动数据,对眼动数据进行评估,其中GroundTruth图为标注图。
在步骤S2中,图像处理模块处理微型摄像头实时采集的图像处理步骤如下:
S2.1、对微型摄像头实时采集的图像进行视角转换,视角转换是为了仿真视网膜假体的20°中心视野,对微型摄像头采集的50°对角线视角的图像进行裁剪;
S2.2、对剪裁后的图像进行图像预处理,图像预处理是为了对图像去噪,简化信息量,增强对比度,改善图像质量;
S2.3、采用局部平均法降低图像的分辨率,实现图像低像素化;
S2.4、图像低像素化后进行仿真假体视觉处理,仿真假体视觉处理包括:单个光幻视点的仿真处理和不规则光幻视阵列的仿真处理,单个光幻视点的仿真处理包括形状、亮度和颜色的参数设置,不规则光幻视阵列的仿真处理包括光幻视阵列的扭曲和光幻视点的缺失的参数设置,从而仿真更接近假体植入者真实感受的光幻视阵列。
本发明可以调节参数仿真更接近假体植入者的视觉感受,不仅仅局限于使用者能够正确的定位仿真刺激源产生的单点刺激,而是通过计算机1中的图像处理模块提取不同场景中的显著物体,仿真刺激源产生的多点刺激,同时以直观的数据评估实验结果。本发明不仅能帮助视觉假体的研究者发现并解决假体视觉目前存在的问题,拓宽视觉假体在各种场景中的应用,也为未来假体植入者的康复训练提供了理论依据。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种假体视觉下功能评估仿真装置,其特征在于,包括计算机(1)、与所述计算机(1)电信号连接的触控屏(2)、与所述触控屏(2)配合的触控笔(3)、用于供使用者穿戴的头盔显示器(4)、用于确定使用者头部位置的头部辅助固定器(5),所述头盔显示器(4)设置有用于拍摄触控屏(2)所显示图像的微型摄像头,所述微型摄像头与所述计算机(1)电信号连接,且所述计算机(1)设置有用于处理微型摄像头实时采集的图像的图像处理模块,所述计算机(1)将图像处理模块处理的图像传输至头盔显示器(4),并供使用者观看。
2.根据权利要求1所述的一种假体视觉下功能评估仿真装置,其特征在于,所述头盔显示器(4)设置有用于提取使用者眼动数据的眼动仪,所述眼动仪与所述计算机(1)电信号连接。
3.根据权利要求2所述的一种假体视觉下功能评估仿真装置,其特征在于,所述触控屏(2)为电阻式触控屏,所述触控笔(3)为电阻笔。
4.一种假体视觉下功能评估仿真装置的操作方法,其特征在于,包括如下步骤:
S1、使用者戴着装有微型摄像头的头盔显示器(4),下巴抵着头部辅助固定器(5),手握电阻笔,另一只手靠着计算机(1)键盘的Enter键,坐在触摸显示屏前面;
S2、触控屏(2)上循环显示n幅图片,微型摄像头实时采集触控屏(2)上的图像,微型摄像头实时采集的图像传输到计算机(1)的图像处理模块,并经过图像处理模块进行处理得到显著图,然后通过计算机(1)将图像处理模块处理后的图像传输到头盔显示器(4),使用者观看头盔显示器(4)显示的显著图;
S3、使用者根据头盔显示器(4)中的显著图,用触控笔(3)在触控屏(2)上画出触控屏(2)所显示图像的边缘,画完后按下键盘上的Enter键切换到下一幅图片;
S4、计算机(1)对使用者画出的触控屏(2)显示的显著图的边缘与每一幅图片对应的标注图的边缘进行比对,得到实验结果的数据评估,同时提取头盔显示器(4)中的眼动数据,对眼动数据进行评估。
5.根据权利要求4所述的一种假体视觉下功能评估仿真装置的操作方法,其特征在于,在步骤S2中,所述图像处理模块处理微型摄像头实时采集的图像处理步骤如下:
S2.1、对微型摄像头实时采集的图像进行视角转换,对微型摄像头采集的50°对角线视角的图像进行裁剪;
S2.2、对剪裁后的图像进行图像预处理,对图像去噪,简化信息量,增强对比度,改善图像质量;
S2.3、采用局部平均法降低图像的分辨率,实现图像低像素化;
S2.4、图像低像素化后进行仿真假体视觉处理,单个光幻视点的仿真模块和不规则光幻视阵列的仿真模块,单个光幻视点的仿真模块包括形状、亮度和颜色的参数设置,不规则光幻视阵列的仿真模块包括光幻视阵列的扭曲和光幻视点的缺失的参数设置,从而仿真更接近假体植入者真实感受的光幻视阵列。
CN201910477329.XA 2019-06-03 2019-06-03 一种假体视觉下功能评估仿真装置及其操作方法 Pending CN110200748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910477329.XA CN110200748A (zh) 2019-06-03 2019-06-03 一种假体视觉下功能评估仿真装置及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910477329.XA CN110200748A (zh) 2019-06-03 2019-06-03 一种假体视觉下功能评估仿真装置及其操作方法

Publications (1)

Publication Number Publication Date
CN110200748A true CN110200748A (zh) 2019-09-06

Family

ID=67790353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910477329.XA Pending CN110200748A (zh) 2019-06-03 2019-06-03 一种假体视觉下功能评估仿真装置及其操作方法

Country Status (1)

Country Link
CN (1) CN110200748A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111449841A (zh) * 2020-04-02 2020-07-28 上海海洋大学 一种假体视觉下障碍物语音提示仿真装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169683A (zh) * 2007-11-22 2008-04-30 上海交通大学 基于触觉的模拟视幻觉定位系统
CN101239008A (zh) * 2008-03-06 2008-08-13 上海交通大学 视觉假体图像处理装置及方法
CN101690687A (zh) * 2009-10-15 2010-04-07 上海交通大学 仿真假体视觉的光幻视生成装置及其方法
CN102509283A (zh) * 2011-09-30 2012-06-20 西安理工大学 一种基于dsp的面向视神经假体的目标感知与编码方法
WO2013120180A1 (en) * 2012-02-17 2013-08-22 Esight Corp. An apparatus and method for enhancing human visual performance in a head worn video system
CN104720739A (zh) * 2013-09-19 2015-06-24 Gn尔听美公司 用于观察眼睛运动的头戴式设备
CN205485072U (zh) * 2016-03-04 2016-08-17 北京加你科技有限公司 一种头戴式显示设备
US20180125716A1 (en) * 2016-11-10 2018-05-10 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
CN109645955A (zh) * 2019-01-31 2019-04-19 北京大学第三医院(北京大学第三临床医学院) 基于vr和眼动追踪的多功能视觉功能检测装置及方法
CN109645953A (zh) * 2019-01-25 2019-04-19 北京十维度科技有限公司 视觉检测及训练方法、装置和vr设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169683A (zh) * 2007-11-22 2008-04-30 上海交通大学 基于触觉的模拟视幻觉定位系统
CN101239008A (zh) * 2008-03-06 2008-08-13 上海交通大学 视觉假体图像处理装置及方法
CN101690687A (zh) * 2009-10-15 2010-04-07 上海交通大学 仿真假体视觉的光幻视生成装置及其方法
CN102509283A (zh) * 2011-09-30 2012-06-20 西安理工大学 一种基于dsp的面向视神经假体的目标感知与编码方法
WO2013120180A1 (en) * 2012-02-17 2013-08-22 Esight Corp. An apparatus and method for enhancing human visual performance in a head worn video system
CN104720739A (zh) * 2013-09-19 2015-06-24 Gn尔听美公司 用于观察眼睛运动的头戴式设备
CN205485072U (zh) * 2016-03-04 2016-08-17 北京加你科技有限公司 一种头戴式显示设备
US20180125716A1 (en) * 2016-11-10 2018-05-10 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
CN109645953A (zh) * 2019-01-25 2019-04-19 北京十维度科技有限公司 视觉检测及训练方法、装置和vr设备
CN109645955A (zh) * 2019-01-31 2019-04-19 北京大学第三医院(北京大学第三临床医学院) 基于vr和眼动追踪的多功能视觉功能检测装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
凌舒: "基于触觉感知的仿真光幻视特性研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111449841A (zh) * 2020-04-02 2020-07-28 上海海洋大学 一种假体视觉下障碍物语音提示仿真装置

Similar Documents

Publication Publication Date Title
CN111460872B (zh) 图像处理方法及装置、图像设备及存储介质
Chen et al. Simulating prosthetic vision: I. Visual models of phosphenes
CN107433021A (zh) 一种基于镜像神经元的vr康复系统
Zhao et al. Image processing based recognition of images with a limited number of pixels using simulated prosthetic vision
CN103838378A (zh) 一种基于瞳孔识别定位的头戴式眼睛操控系统
Thorn et al. Virtual reality simulation of epiretinal stimulation highlights the relevance of the visual angle in prosthetic vision
CN106919906A (zh) 一种图像互动方法及互动装置
CN109091380A (zh) 以ar技术实现穴道视觉化的中医系统及其方法
WO2020147796A1 (zh) 图像处理方法及装置、图像设备及存储介质
Macé et al. Simulated prosthetic vision: the benefits of computer‐based object recognition and localization
CN107479696A (zh) 基于p300范式虚拟现实脑‑机接口系统和实现方法
CN109659006A (zh) 面肌训练方法、装置及电子设备
CN107920244A (zh) 一种视觉训练方法、装置和设备
CN106511044A (zh) 弱视视觉训练系统
Xie et al. Visual feedback for core training with 3d human shape and pose
CN113903424A (zh) 虚拟现实功能康复训练系统
Li Wearable computer vision systems for a cortical visual prosthesis
Lu et al. Recognition of objects in simulated irregular phosphene maps for an epiretinal prosthesis
CN110200748A (zh) 一种假体视觉下功能评估仿真装置及其操作方法
Morillas et al. A design framework to model retinas
CN108198249B (zh) 一种基于虚拟现实技术的视野缺损模拟装置和方法
CN107436675A (zh) 一种视觉交互方法、系统和设备
CN207886596U (zh) 一种基于镜像神经元的vr康复系统
WO2020119518A1 (zh) 一种基于人工视网膜空间感知的控制方法及装置
Chen et al. Design of digital campus somatosensory interactive system based on unity3D and VR technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906