CN110638524B - 一种基于vr眼镜的肿瘤穿刺实时模拟系统 - Google Patents

一种基于vr眼镜的肿瘤穿刺实时模拟系统 Download PDF

Info

Publication number
CN110638524B
CN110638524B CN201910871652.5A CN201910871652A CN110638524B CN 110638524 B CN110638524 B CN 110638524B CN 201910871652 A CN201910871652 A CN 201910871652A CN 110638524 B CN110638524 B CN 110638524B
Authority
CN
China
Prior art keywords
information
detected object
puncture
tumor
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910871652.5A
Other languages
English (en)
Other versions
CN110638524A (zh
Inventor
袁双虎
李玮
孟祥伟
李莉
刘宁
王素贞
于清溪
赵芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Cancer Hospital & Institute (shandong Cancer Hospital)
Shandong University
Original Assignee
Shandong Cancer Hospital & Institute (shandong Cancer Hospital)
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Cancer Hospital & Institute (shandong Cancer Hospital), Shandong University filed Critical Shandong Cancer Hospital & Institute (shandong Cancer Hospital)
Priority to CN201910871652.5A priority Critical patent/CN110638524B/zh
Publication of CN110638524A publication Critical patent/CN110638524A/zh
Application granted granted Critical
Publication of CN110638524B publication Critical patent/CN110638524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Abstract

本发明公开了一种基于VR眼镜的肿瘤穿刺实时模拟系统，包括：用于获取被检测对象的三维信息的装置；用于获取被检测对象肿瘤位置和穿刺路径信息的装置；用于将被检测对象的三维信息与被检测对象的肿瘤位置统一到同一个坐标系下的装置；用于将被检测对象的三维信息、被检测对象的肿瘤位置以及穿刺路径信息进行融合显示的虚拟现实设备；用于实现与虚拟现实设备进行信息交互的装置。本发明使用支持交互的VR眼镜，完成对于肿瘤穿刺过程层中的模拟，以此完成对于肿瘤穿刺医生的引导，提高肿瘤穿刺的效率，实现患者接受一次CT扫描就能完成穿刺过程，减少了患者接受的辐射剂量。

Description

一种基于VR眼镜的肿瘤穿刺实时模拟系统
技术领域
本发明属于三维图像重建与虚拟现实技术领域，尤其涉及一种基于VR眼镜的肿瘤穿刺实时模拟系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在现代医学中，肿瘤的穿刺手段在现代诊疗体系中的作用越来越大，目前医院中穿刺过程主要还是由医生依据CT图像或者超声图像，凭借经验进行完成，这种方法穿刺结果的优劣主要取决于医生的经验，经验不足的医生或者精神状态不好的医生穿刺结果可能就会有偏差，影响穿刺的准确度，并且由于穿刺结果的偏差，在穿刺过程中需要病人多次进行CT扫描，增加了病人接受辐射的剂量，并且会使得穿刺治疗的时间变长，穿刺效率变得低下，无法确定穿刺路径，使得患者的就医体验变差。
发明内容
为了解决上述问题，本发明提出了一种基于VR眼镜的肿瘤穿刺实时模拟系统，利用VR眼镜、三维相机和病人数据可以使得整个穿刺过程变得可视化，并且通过在医生手指上放置的传感器，实现医生在操作过程中对于可视化部分进行虚拟现实控制，使整个穿刺过程更加高效准确。
在一些实施方式中，采用如下技术方案：
一种基于VR眼镜的肿瘤穿刺实时模拟系统，包括：
用于获取被检测对象的三维信息的装置；
用于获取被检测对象肿瘤位置和穿刺路径信息的装置；
用于将被检测对象的三维信息与被检测对象的肿瘤位置统一到同一个坐标系下的装置；
用于将被检测对象的三维信息、被检测对象的肿瘤位置以及穿刺路径信息进行融合显示的虚拟现实设备；
用于实现与虚拟现实设备进行信息交互的装置。
与现有技术相比，本发明的有益效果是：
1.使用支持交互的VR眼镜，完成对于肿瘤穿刺过程层中的模拟，以此完成对于肿瘤穿刺医生的引导，提高肿瘤穿刺的效率，实现患者接受一次CT扫描就能完成穿刺过程，减少了患者接受的辐射剂量。
2.使用的VR眼镜支持和穿刺医生进行交互，可以对模拟进行旋转和放缩，使得医生的穿刺有更高的精度，减少了患者在穿刺过程中的痛苦，并且提高了穿刺成功率。
3.在利用VR眼镜对穿刺点进行标定的时候，完全自动进行，在自动穿刺针引导上减少了医生的工作量，并且提高了自动穿刺引导的效率，减少了患者的等待时间，从而减轻了患者的心理负担。
附图说明
图1为本发明实施例一中五个三维相机摆放位置的示意图；
图2为本发明实施例一中五个三维相机摆放位置侧面示意图；
图3为本发明实施例一中使用VR眼镜对穿刺过程进行模拟的流程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施例中，公开了一种基于VR眼镜的肿瘤穿刺实时模拟系统，包括：
用于获取被检测对象的三维信息的装置；
用于获取被检测对象肿瘤位置和穿刺路径信息的装置；
用于将被检测对象的三维信息与被检测对象的肿瘤位置统一到同一个坐标系下的装置；
用于将被检测对象的三维信息、被检测对象的肿瘤位置以及穿刺路径信息进行融合显示的虚拟现实设备；
用于实现与虚拟现实设备进行信息交互的装置。
其中，用于获取被检测对象的三维信息的装置具体包括：获取被检测对象的三维信息以及被检测对象肿瘤位置信息，通过五个Kinect相机，完成对于被检测对象三维信息的采集以及重建，并且根据五个三维相机的位置，对各自三维相机完成标定。
参照图1和图2，五个三维相机都在被检测对象上方，分别在右侧采集被检测对象上半身三维图像信息、左侧采集被检测对象上半身三维图像信息、右侧采集被检测对象下半身三维图像信息和左侧采集被检测对象下半身三维图像信息和被检测对象头部的上方采集被检测对象头部三维图像信息。
用于获取被检测对象肿瘤位置和穿刺路径信息的装置具体包括：在被检测对象身上放置四个定位标识点，之后进行CT三维扫描的方法，生成CT三维坐标系，完成对于肿瘤位置信息的定位。在肿瘤的CT图像下，通过医生对于肿瘤位置和穿刺进针点的标识，完成穿刺路线的设计。
通过在被检测对象身上放置四个定位金属点，之后进行CT三维扫描的方法，生成CT三维坐标系，完成对于肿瘤位置信息的定位。在肿瘤的CT图像下，通过医生对于肿瘤位置和穿刺进针点的标识，完成穿刺路线的设计。
上述的四个金属点在放置时不能共面，并且其中的任意三个坐标点不能共线，以此产生唯一的三维坐标系。
用于将被检测对象的三维信息与被检测对象的肿瘤位置统一到同一个坐标系下的装置，具体包括：在穿刺病床上设置一个固定位置的金属点，完成对于CT图像坐标系、五个三维相机和VR眼镜的坐标系统一，使所有的坐标系统一到CT三维坐标系中。
用于将被检测对象的三维信息、被检测对象的肿瘤位置以及穿刺路径信息进行融合显示的虚拟现实设备，即VR眼镜；VR眼镜包括数据接收单元、图像显示单元和眼球聚焦点检测单元。接收单元用来接收CT图像信息、穿刺路径信息、被检测对象三维信息和穿刺针位置信息等，数据接收单元包含数据融合子单元，可以将得到的所有信息根据其坐标位置进行融合。图像显示单元安装在VR眼镜的镜片处，用来显示数据融合处理后的数据信息。眼球聚焦点检测单元放置在镜架上，来实时的检测眼球位置以及聚焦点位置。
用于实现与虚拟现实设备进行信息交互的装置，具体包括：在穿刺医生的手上放置若干传感器，可以是加速度传感器位移传感器等；用来检测医生手指的运动反馈，捕获手的顺时针和逆时针旋转、手指五指向外和五指向内、食指和无名指的上下运动信息。
通过手的顺时针和逆时针旋转，完成视野中三维图像的顺时针旋转和逆时针旋转。通过手指五指向外和五指向内的信息配合眼球聚焦点检测的检测结果，以聚焦点为中心，完成图像的放大和图像的缩小。通过食指的上下运动信息和眼球聚焦点检测的检测结果完成对于目标点的标记。通过无名指的上下运动信息完成对于上一步指令的撤销。
本实施例通过VR镜片的显示完成对于穿刺过程的模拟，其中穿刺进针点选择之后，通过在镜片中人体三维坐标相应点图像的标记，就可以完成对于穿刺过程的引导，并且通过对于穿刺针的位置检测可以在VR眼睛上实时更新穿刺针的位置，从而完成对于穿刺过程的模拟，并且在穿刺过程中，穿刺医生可以根据上述的方法完成对穿刺模拟图像进行控制，在穿刺过程中，为了便于穿刺医生观察病人的状态，VR眼镜可以检测医生的抬头和低头信息，当医生低头时，VR镜片上不显示相关信息，此时VR眼镜相当于透镜，便于医生观察被检测对象的实际情况，当医生抬头时，VR眼镜依旧显示肿瘤穿刺的模拟过程。
参照图3，使用VR眼镜对穿刺过程进行模拟的过程如下：
通过三维相机捕获被检测对象的三维信息并进行坐标标定；
在被检测对象身上的不同位置放置4个金属标识点；对被检测对象进行CT扫描，确定肿瘤位置和穿刺路径信息；
确定肿瘤穿刺针的位置信息，将三维相机和CT图像信息进行融合，融合后的信息发送到VR眼镜显示相关图像信息；
通过VR眼镜实时监测医生的眼睛聚焦点，监测医生是否抬头，如果是，在VR眼镜上显示肿瘤穿刺实时模拟图像；否则，不显示模拟过程。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，包括：
用于获取被检测对象的三维信息的装置；
用于获取被检测对象肿瘤位置和穿刺路径信息的装置；
用于将被检测对象的三维信息与被检测对象的肿瘤位置统一到同一个坐标系下的装置；
用于将被检测对象的三维信息、被检测对象的肿瘤位置以及穿刺路径信息进行融合显示的虚拟现实设备；
用于实现与虚拟现实设备进行信息交互的装置，包括设置在操作者手上的传感器，用来检测操作者手指的运动反馈，通过手指五指向外和五指向内的信息配合眼球聚焦点检测的检测结果，以聚焦点为中心，完成图像的放大和图像的缩小；通过食指的上下运动信息和眼球聚焦点检测的检测结果完成对于目标点的标记。
2.如权利要求1所述的一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，所述用于获取被检测对象的三维信息的装置包括：分别设置在被检测对象不同位置的三维相机；所述三维相机分别获取被检测对象不同位置的三维信息，实现被检测对象三维信息的重建。
3.如权利要求1所述的一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，所述用于获取被检测对象肿瘤位置和穿刺路径信息的装置，包括：
在被检测对象身上放置四个定位标识点，通过CT三维扫描的方式，生成CT三维坐标系，完成对于肿瘤位置信息的定位；
在CT图像下，通过对于肿瘤位置和穿刺进针点位置的标识，完成穿刺路线的设计。
4.如权利要求3所述的一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，所述的四个定位标识点在放置时不能共面，并且任意三个定位标识点不能共线，以此产生唯一的三维坐标系。
5.如权利要求1所述的一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，所述用于将被检测对象的三维信息与被检测对象的肿瘤位置统一到同一个坐标系下的装置，包括：设定一个固定位置的标识点，基于该标识点，将被检测对象的三维信息与被检测对象的肿瘤位置统一到CT图像的三维坐标系下。
6.如权利要求1所述的一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，用于将被检测对象的三维信息、被检测对象的肿瘤位置以及穿刺路径信息进行融合显示的虚拟现实设备，包括：
数据接收单元，被配置为接收CT图像信息、穿刺路径信息、被检测对象的三维信息和穿刺针位置信息；并将得到的信息根据其在统一坐标系中的位置进行融合；
图像显示单元，被配置为显示数据融合处理后的数据信息；
眼球聚焦点检测单元，被配置为实时检测眼球位置以及聚焦点位置。
7.如权利要求6所述的一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，通过虚拟现实设备完成对于穿刺过程的模拟显示，穿刺进针点选择之后，通过对人体三维坐标相应点图像的标记，完成对于穿刺过程的引导，通过对于穿刺针的位置检测实时更新穿刺针的位置，完成对于穿刺过程的模拟。
8.如权利要求6所述的一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，在穿刺过程中，眼球聚焦点检测单元实时检测操作者的眼球位置以及聚焦点位置，从而确定操作者的抬头和低头信息，当操作者低头时，图像显示单元不显示相关信息；当操作者抬头时，图像显示单元显示肿瘤穿刺的模拟过程。
9.如权利要求1所述的一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，
所述设置在操作者手上的传感器，捕获手的顺时针和逆时针旋转、手指五指向外和五指向内、食指和无名指的上下运动信息。
10.如权利要求9所述的一种基于VR眼镜的肿瘤穿刺实时模拟系统，其特征在于，通过操作者手的顺时针和逆时针旋转，完成视野中三维图像的顺时针旋转和逆时针旋转；通过无名指的上下运动信息完成对于上一步指令的撤销。
CN201910871652.5A 2019-09-16 2019-09-16 一种基于vr眼镜的肿瘤穿刺实时模拟系统 Active CN110638524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910871652.5A CN110638524B (zh) 2019-09-16 2019-09-16 一种基于vr眼镜的肿瘤穿刺实时模拟系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910871652.5A CN110638524B (zh) 2019-09-16 2019-09-16 一种基于vr眼镜的肿瘤穿刺实时模拟系统

Publications (2)

Publication Number Publication Date
CN110638524A CN110638524A (zh) 2020-01-03
CN110638524B true CN110638524B (zh) 2021-11-02

Family

ID=69010514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910871652.5A Active CN110638524B (zh) 2019-09-16 2019-09-16 一种基于vr眼镜的肿瘤穿刺实时模拟系统

Country Status (1)

Country Link
CN (1) CN110638524B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049248A (zh) * 2007-05-18 2007-10-10 西安工业大学 光磁电复合导航手术定位装置和方法
CN105191330A (zh) * 2013-05-10 2015-12-23 三星电子株式会社 显示装置及其图形用户界面屏幕提供方法
CN105748160A (zh) * 2016-02-04 2016-07-13 厦门铭微科技有限公司 一种穿刺辅助方法、处理器及vr眼镜
US20170135764A1 (en) * 2015-11-17 2017-05-18 Biosense Webster (Israel) Ltd. Guidewire with Ray Tracing Capability
CN107049497A (zh) * 2017-05-02 2017-08-18 浙江伽奈维医疗科技有限公司 穿刺导航机器人系统
CN109157285A (zh) * 2018-09-30 2019-01-08 上海馨孚科技有限公司 一种增强现实辅助肺结节定位的方法
CN110215284A (zh) * 2019-06-06 2019-09-10 上海木木聚枞机器人科技有限公司 一种可视化系统和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101908033B1 (ko) * 2008-07-10 2018-12-10 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP7292878B2 (ja) * 2016-03-17 2023-06-19 ベクトン・ディキンソン・アンド・カンパニー 患者アバターを用いた医療記録システム
CN105896599A (zh) * 2016-04-27 2016-08-24 国家电网公司 一种考虑风机特性的风机出力多指标评估方法
US10534954B2 (en) * 2016-06-03 2020-01-14 Magic Leap, Inc. Augmented reality identity verification
CN110025377A (zh) * 2018-01-12 2019-07-19 中国科学院沈阳自动化研究所 一种基于手势识别控制的手术辅助导航方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049248A (zh) * 2007-05-18 2007-10-10 西安工业大学 光磁电复合导航手术定位装置和方法
CN105191330A (zh) * 2013-05-10 2015-12-23 三星电子株式会社 显示装置及其图形用户界面屏幕提供方法
US20170135764A1 (en) * 2015-11-17 2017-05-18 Biosense Webster (Israel) Ltd. Guidewire with Ray Tracing Capability
CN105748160A (zh) * 2016-02-04 2016-07-13 厦门铭微科技有限公司 一种穿刺辅助方法、处理器及vr眼镜
CN107049497A (zh) * 2017-05-02 2017-08-18 浙江伽奈维医疗科技有限公司 穿刺导航机器人系统
CN109157285A (zh) * 2018-09-30 2019-01-08 上海馨孚科技有限公司 一种增强现实辅助肺结节定位的方法
CN110215284A (zh) * 2019-06-06 2019-09-10 上海木木聚枞机器人科技有限公司 一种可视化系统和方法

Also Published As

Publication number Publication date
CN110638524A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
JP5702861B2 (ja) 解剖学的表面の支援型自動データ収集方法
JP6334821B2 (ja) 医用イメージングのために患者をポジショニングするためのガイドシステム
US10881353B2 (en) Machine-guided imaging techniques
JP6987893B2 (ja) 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法
US8463360B2 (en) Surgery support device, surgery support method, and computer readable recording medium storing surgery support program
US5842858A (en) Method of imaging a person's jaw and a model therefor
US11576746B2 (en) Light and shadow guided needle positioning system and method
CN110475509A (zh) 使用惯性测量单元提高手术准确性的系统、设备和方法
CN107374729A (zh) 基于ar技术的手术导航系统及方法
JP7005305B2 (ja) 静脈発見および患者識別のための赤外光吸収の使用
Heinrich et al. Comparison of augmented reality display techniques to support medical needle insertion
JP6550660B2 (ja) 操作教示装置および経頭蓋磁気刺激装置
CN110584780A (zh) 一种脑出血穿刺手术导航系统
TWI679960B (zh) 手術器械引導系統
TWI790447B (zh) 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
CN108778135B (zh) 多模态x射线成像中的光学相机选择
CN110638524B (zh) 一种基于vr眼镜的肿瘤穿刺实时模拟系统
JP2011050583A (ja) 医療用診断装置
CN108852513A (zh) 一种骨科手术导引系统的器械导引方法
EP3689229A1 (en) Method and system for visualizing patient stress
CN115624384B (zh) 基于混合现实技术的手术辅助导航系统、方法和存储介质
CN113081013B (zh) 定位片扫描方法、装置及系统
KR102343394B1 (ko) 원격 진단을 위한 진단기기의 초기위치 설정 시스템 및 이를 이용한 진단기기의 초기위치 설정방법
US20220414877A1 (en) Apparatus, system and method for supporting a procedure of an imaging examination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant