CN110559075B - 术中增强现实配准方法和装置 - Google Patents
术中增强现实配准方法和装置 Download PDFInfo
- Publication number
- CN110559075B CN110559075B CN201910717156.4A CN201910717156A CN110559075B CN 110559075 B CN110559075 B CN 110559075B CN 201910717156 A CN201910717156 A CN 201910717156A CN 110559075 B CN110559075 B CN 110559075B
- Authority
- CN
- China
- Prior art keywords
- registered
- data
- intraoperative
- different angles
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种术中增强现实配准方法和装置,所述方法包括以下步骤:采集手术部位不同角度的表面点数据,并对不同角度的表面点数据进行预处理;根据预处理后的数据进行数据训练,获取不同角度的待配准模型的特征值;在术中导航过程中对实时采集到的表面点数据进行边缘检测,识别出待配准区域,并提取待配准区域的特征值;根据待配准区域的特征值和待配准模型的特征值实现术中实时数据与待配准模型间的位置匹配。本发明能够减小手术的操作复杂度,并能够提高手术的操作准确度和效率。
Description
技术领域
本发明涉及手术辅助设备技术领域,具体涉及一种术中增强现实配准方法和一种术中增强现实配准装置。
背景技术
目前术中神经外科导航普遍采用红外设备进行手术器械跟踪和图像定位,利用计算机虚拟手术规划设计的精确手术。通过红外光学定位技术,可以跟踪患者手术部位和手术器械的空间位置,并将其映射为导航设备屏幕中患者手术部位三维图像与虚拟手术器械之间的关系,引导医生按规划进行精确手术。目前神经外科术中导航设备主要用于穿刺活检,冷冻消融,粒子植入治疗等临床手术。
虽然手术导航系统给神经外科手术带来了极大的便利,但由于导航操作界面和手术操作区域不在同一个区域内,外科医生需要不停的观察计算机屏幕上的虚拟的人体解剖组织三维模型和手术工具虚拟模型,并同时低头给患者做手术,这种操作方式导致医生需要频繁的抬头和低头,增加了医生的操作复杂度。而且手眼难以协调也会明显降低手术操作的准确度和效率。
发明内容
本发明为至少在一定程度上解决上述技术问题,提供了一种术中增强现实配准方法和装置,能够便于外科医生同时观察到实际的术中场景和虚拟的器官模型,不需要反复抬头低头查看不同的场景,有效解决了手眼协调的问题,并且还能进一步通过虚拟模型观察到平常肉眼无法看到的患者内部器官和病变的信息,从而能够减小手术的操作复杂度,并能够提高手术的操作准确度和效率。
本发明采用的技术方案如下:
一种术中增强现实配准方法,包括以下步骤:采集手术部位不同角度的表面点数据,并对不同角度的表面点数据进行预处理;根据预处理后的数据进行数据训练,获取不同角度的待配准模型的特征值;在术中导航过程中对实时采集到的表面点数据进行边缘检测,识别出待配准区域,并提取待配准区域的特征值;根据所述待配准区域的特征值和所述待配准模型的特征值实现术中实时数据与待配准模型间的位置匹配。
所述的术中增强现实配准方法还包括:对所述待配准模型进行位置调整,计算位移偏移量和旋转角度。
所述表面点数据为RGBD数据(包括RGB颜色数据和Depth深度数据),其中,通过多个高清景深摄像头从不同方向采集手术部位不同角度的RGBD数据。
对不同角度的表面点数据进行预处理,具体包括:判断RGBD数据的数据量是否大于预设数据量;如果是,则进行区域性等比抽样,如果否,则进行插值处理;对进行区域性等比抽样或插值处理后的不同角度的RGBD数据进行融合,得到感兴趣区域的三维点云数据。
获取不同角度的待配准模型的特征值包括提取待配准模型在不同角度的纹理特征值和降低所述三维点云数据的维度。
其中,边缘检测识别出的待配准区域为二维区域,在识别出所述二维区域后,还将所述二维区域转换为三维点云数据。
所述的术中增强现实配准方法还包括:对待配准模型的特征值和待配准区域的特征值进行索引编码。
运用改进的ICP(Iterative Closest Point,迭代最近点)算法对待配准模型进行位置调整。
一种术中增强现实配准装置,包括:采集模块,所述采集模块用于采集手术部位不同角度的表面点数据;数据预处理模块,所述数据预处理模块用于对不同角度的表面点数据进行预处理;模型训练模块,所述模型训练模块用于根据预处理后的数据进行数据训练,获取不同角度的待配准模型的特征值;术中检测模块,所述术中检测模块用于在术中导航过程中对实时采集到的表面点数据进行边缘检测,识别出待配准区域,并提取待配准区域的特征值;匹配模块,所述匹配模块用于根据所述待配准区域的特征值和所述待配准模型的特征值实现术中实时数据与待配准模型间的位置匹配。
所述的术中增强现实配准装置还包括:调整模块,所述调整模块用于对所述待配准模型进行位置调整,计算位移偏移量和旋转角度。
本发明的有益效果:
本发明通过采集手术部位不同角度的表面点数据,获取不同角度的待配准模型的特征值,并通过在术中导航过程中获取待配准区域的特征值,以及根据待配准区域的特征值和待配准模型的特征值实现术中实时数据与待配准模型间的位置匹配,由此,能够便于外科医生同时观察到实际的术中场景和虚拟的器官模型,不需要反复抬头低头查看不同的场景,有效解决了手眼协调的问题,并且还能进一步通过虚拟模型观察到平常肉眼无法看到的患者内部器官和病变的信息,从而能够减小手术的操作复杂度,并能够提高手术的操作准确度和效率。
附图说明
图1为本发明实施例的术中增强现实配准方法的流程图;
图2为本发明一个实施例的采集手术部位表面点数据的示意图;
图3为本发明一个实施例的待配准模型在不同观察角度的偏差示意图;
图4为本发明一个实施例的术中增强现实配准方法的流程图;
图5为本发明实施例的术中增强现实配准装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例的术中增强现实配准方法,包括以下步骤:
S1,采集手术部位不同角度的表面点数据,并对不同角度的表面点数据进行预处理。
在本发明的一个实施例中,表面点数据可为RGBD数据。如图2所示,可通过多个高清景深摄像头从不同方向采集手术部位不同角度的RGBD数据(图2中以2个高清景深摄像头采集头部的RGBD数据为例)。
在采集到不同角度的RGBD数据后,可判断RGBD数据的数据量是否大于预设数据量,如果是,则进行区域性等比抽样,如果否,则进行插值处理。然后对进行区域性等比抽样或插值处理后的不同角度的RGBD数据进行融合,计算各RGBD数据的法向向量,得到感兴趣区域的三维点云数据。
S2,根据预处理后的数据进行数据训练,获取不同角度的待配准模型的特征值。
如图3所示,摄像头在不同角度采集到的平面图像中,待匹配的物体在二维平面图像中的大小和角度相对于真实物体都会发生一定程度的形变。因此可获取两种类型的参数,一是提取待配准模型在不同角度的纹理特征值,例如灰度共现矩阵和直方图,二是通过对点云数据进行PCA(Principal Components Analysis,主成分分析)处理,降低三维点云数据的维度,即限制多维数据的特征向量,选取对模型配准的位置和旋转角度影响较大的深度数据。
在获取到待配准模型的特征值后,可对其进行索引编码,建立数据索引数据库。
S3,在术中导航过程中对实时采集到的表面点数据进行边缘检测,识别出待配准区域,并提取待配准区域的特征值。
在本发明的一个实施例中,可通过Canny算法对术中导航过程中实时采集到的RGBD数据进行边缘检测,识别出二维平面的待配准区域,在识别出二维区域后,可通过RGBD数据的位置匹配关系将二维区域转换为三维点云数据。然后获取待配准区域的深度信息,提取对应位置的特征值,并在进行索引编码后建立索引数据库。
S4,根据待配准区域的特征值和待配准模型的特征值实现术中实时数据与待配准模型间的位置匹配。
具体地,可将待配准区域的特征值不断与待配准模型的特征值进行查询比较,找到对应区域部分的位置关系。
通过上述步骤S1~S4可实现真实术中场景与待配准模型,即手术部位虚拟模型的初步匹配。进一步地,如图4所示,在进行初步匹配后,还可包括:
S5,对待配准模型进行位置调整,计算位移偏移量和旋转角度。
具体地,可运用改进的ICP算法对待配准模型进行位置调整,计算待配准模型与实际待配准区域最终的位置偏移量和旋转角度。
对于两个点集合PK∈P,x∈X,改进的ICP算法流程如下:
对区域性的子点集定义一个权重值wk;
计算最佳的转换矩阵,比如旋转矩阵R和偏移矩阵t:
通过迭代计算误差到达设定的阈值范围内时,即ei-1-ei<τ,求得的偏移矩阵(R,t)赋值给点集P。
在迭代计算过程中,可运用K-D树算法加速计算过程。
在完成位置匹配后,可将手术部位虚拟模型导入增强现实设备,例如增强现实眼镜中,使得外科医生可以在手术过程中直接通过增强现实眼镜同时观察到实际的术中场景和虚拟的器官模型。
根据本发明实施例的术中增强现实配准方法,通过采集手术部位不同角度的表面点数据,获取不同角度的待配准模型的特征值,并通过在术中导航过程中获取待配准区域的特征值,以及根据待配准区域的特征值和待配准模型的特征值实现术中实时数据与待配准模型间的位置匹配,由此,能够便于外科医生同时观察到实际的术中场景和虚拟的器官模型,不需要反复抬头低头查看不同的场景,有效解决了手眼协调的问题,并且还能进一步通过虚拟模型观察到平常肉眼无法看到的患者内部器官和病变的信息,从而能够减小手术的操作复杂度,并能够提高手术的操作准确度和效率。
为实现上述实施例的术中增强现实配准方法,本发明还提出一种术中增强现实配准装置。
如图5所示,本发明实施例的术中增强现实配准装置,包括采集模块10、数据预处理模块20、模型训练模块30、术中检测模块40和匹配模块50。其中,采集模块10用于采集手术部位不同角度的表面点数据;数据预处理模块20用于对不同角度的表面点数据进行预处理;模型训练模块30用于根据预处理后的数据进行数据训练,获取不同角度的待配准模型的特征值;术中检测模块40用于在术中导航过程中对实时采集到的表面点数据进行边缘检测,识别出待配准区域,并提取待配准区域的特征值;匹配模块50用于根据待配准区域的特征值和待配准模型的特征值实现术中实时数据与待配准模型间的位置匹配。
在本发明的一个实施例中,表面点数据可为RGBD数据。如图2所示,采集模块10包括可多个高清景深摄像头,通过多个高清景深摄像头从不同方向采集手术部位不同角度的RGBD数据(图2中以2个高清景深摄像头采集头部的RGBD数据为例)。
在采集到不同角度的RGBD数据后,数据预处理模块20可判断RGBD数据的数据量是否大于预设数据量,如果是,则进行区域性等比抽样,如果否,则进行插值处理。然后数据预处理模块20可对进行区域性等比抽样或插值处理后的不同角度的RGBD数据进行融合,计算各RGBD数据的法向向量,得到感兴趣区域的三维点云数据。
如图3所示,摄像头在不同角度采集到的平面图像中,待匹配的物体在二维平面图像中的大小和角度相对于真实物体都会发生一定程度的形变。因此模型训练模块30可获取两种类型的参数,一是提取待配准模型在不同角度的纹理特征值,例如灰度共现矩阵和直方图,二是通过对点云数据进行PCA(Principal Components Analysis,主成分分析)处理,降低三维点云数据的维度,即限制多维数据的特征向量,选取对模型配准的位置和旋转角度影响较大的深度数据。
模型训练模块30在获取到待配准模型的特征值后,可对其进行索引编码,建立数据索引数据库。
在本发明的一个实施例中,术中检测模块40可通过Canny算法对术中导航过程中实时采集到的RGBD数据进行边缘检测,识别出二维平面的待配准区域,在识别出二维区域后,可通过RGBD数据的位置匹配关系将二维区域转换为三维点云数据。然后术中检测模块40获取待配准区域的深度信息,提取对应位置的特征值,并在进行索引编码后建立索引数据库。
匹配模块50可将待配准区域的特征值不断与待配准模型的特征值进行查询比较,找到对应区域部分的位置关系。
进一步地,本发明实施例的术中增强现实配准装置还可包括调整模块,调整模块可对待配准模型进行位置调整,计算位移偏移量和旋转角度。
具体地,调整模块可运用改进的ICP(Iterative Closest Point,迭代最近点)算法对待配准模型进行位置调整,计算待配准模型与实际待配准区域最终的位置偏移量和旋转角度。
在完成位置匹配后,可将手术部位虚拟模型导入增强现实设备,例如增强现实眼镜中,使得外科医生可以在手术过程中直接通过增强现实眼镜同时观察到实际的术中场景和虚拟的器官模型。
根据本发明实施例的术中增强现实配准装置,通过采集手术部位不同角度的表面点数据,获取不同角度的待配准模型的特征值,并通过在术中导航过程中获取待配准区域的特征值,以及根据待配准区域的特征值和待配准模型的特征值实现术中实时数据与待配准模型间的位置匹配,由此,能够便于外科医生同时观察到实际的术中场景和虚拟的器官模型,不需要反复抬头低头查看不同的场景,有效解决了手眼协调的问题,并且还能进一步通过虚拟模型观察到平常肉眼无法看到的患者内部器官和病变的信息,从而能够减小手术的操作复杂度,并能够提高手术的操作准确度和效率。
在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (1)
1.一种术中增强现实配准装置,其特征在于,包括:
采集模块,所述采集模块用于采集手术部位不同角度的表面点数据;
数据预处理模块,所述数据预处理模块用于对不同角度的表面点数据进行预处理,具体判断表面点数据的数据量是否大于预设数据量,如果是,则进行区域性等比抽样,如果否,则进行插值处理,然后对进行区域性等比抽样或插值处理后的不同角度的表面点数据进行融合,计算各表面点数据的法向向量,得到感兴趣区域的三维点云数据;
模型训练模块,所述模型训练模块用于根据预处理后的数据进行数据训练,获取不同角度的待配准模型的特征值,具体提取待配准模型在不同角度的纹理特征值和降低所述三维点云数据的维度;
术中检测模块,所述术中检测模块用于在术中导航过程中对实时采集到的表面点数据进行边缘检测,识别出待配准区域,并提取待配准区域的特征值;
匹配模块,所述匹配模块用于根据所述待配准区域的特征值和所述待配准模型的特征值实现术中实时数据与待配准模型间的位置匹配;
调整模块,所述调整模块用于对所述待配准模型进行位置调整,计算位移偏移量和旋转角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910717156.4A CN110559075B (zh) | 2019-08-05 | 2019-08-05 | 术中增强现实配准方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910717156.4A CN110559075B (zh) | 2019-08-05 | 2019-08-05 | 术中增强现实配准方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110559075A CN110559075A (zh) | 2019-12-13 |
CN110559075B true CN110559075B (zh) | 2021-09-24 |
Family
ID=68774648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910717156.4A Active CN110559075B (zh) | 2019-08-05 | 2019-08-05 | 术中增强现实配准方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110559075B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114159166B (zh) * | 2021-12-21 | 2024-02-27 | 广州市微眸医疗器械有限公司 | 一种机器人辅助的套管针自动对接方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103035009A (zh) * | 2012-12-19 | 2013-04-10 | 长春工业大学 | 一种基于ct影像的肺结节边缘重建与分割方法 |
CN103948432A (zh) * | 2014-04-30 | 2014-07-30 | 深圳先进技术研究院 | 术中立体内窥视频与超声图像增强现实算法 |
CN103955939A (zh) * | 2014-05-16 | 2014-07-30 | 重庆理工大学 | 三维扫描系统中点云拼接用边界特征点配准方法 |
CN108804861A (zh) * | 2017-04-26 | 2018-11-13 | 中国科学院沈阳自动化研究所 | 一种具有真实力反馈的脊柱微创手术培训系统及方法 |
CN109146829A (zh) * | 2018-06-20 | 2019-01-04 | 深圳大学 | 基于小波神经网络的图像融合方法、装置、设备及介质 |
CN109925057A (zh) * | 2019-04-29 | 2019-06-25 | 苏州大学 | 一种基于增强现实的脊柱微创手术导航方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3472828B1 (en) * | 2016-06-20 | 2022-08-10 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
-
2019
- 2019-08-05 CN CN201910717156.4A patent/CN110559075B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103035009A (zh) * | 2012-12-19 | 2013-04-10 | 长春工业大学 | 一种基于ct影像的肺结节边缘重建与分割方法 |
CN103948432A (zh) * | 2014-04-30 | 2014-07-30 | 深圳先进技术研究院 | 术中立体内窥视频与超声图像增强现实算法 |
CN103955939A (zh) * | 2014-05-16 | 2014-07-30 | 重庆理工大学 | 三维扫描系统中点云拼接用边界特征点配准方法 |
CN108804861A (zh) * | 2017-04-26 | 2018-11-13 | 中国科学院沈阳自动化研究所 | 一种具有真实力反馈的脊柱微创手术培训系统及方法 |
CN109146829A (zh) * | 2018-06-20 | 2019-01-04 | 深圳大学 | 基于小波神经网络的图像融合方法、装置、设备及介质 |
CN109925057A (zh) * | 2019-04-29 | 2019-06-25 | 苏州大学 | 一种基于增强现实的脊柱微创手术导航方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110559075A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112155729B (zh) | 手术穿刺路径智能自动化规划方法及系统和医疗系统 | |
CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
US10353465B2 (en) | Iris and pupil-based gaze estimation method for head-mounted device | |
CN110338840B (zh) | 三维成像数据的显示处理方法和三维超声成像方法及系统 | |
Wannous et al. | Enhanced assessment of the wound-healing process by accurate multiview tissue classification | |
US8639000B2 (en) | Robust sparse image matching for robotic surgery | |
KR20210051141A (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
CN110956633B (zh) | 一种基于虚拟立体定位像的快速ct扫描方法及系统 | |
CN112907642B (zh) | 一种配准重合的方法、系统、存储介质及设备 | |
CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
KR20210052270A (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
Douglas et al. | Eye feature extraction for diagnosing the facial phenotype associated with fetal alcohol syndrome | |
CN110559075B (zh) | 术中增强现实配准方法和装置 | |
KR100346363B1 (ko) | 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치 | |
CN107993277B (zh) | 基于先验知识的损伤部位人造骨骼修补模型重建方法 | |
CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
CN117323002A (zh) | 一种基于混合现实技术的神经内镜手术可视化系统 | |
CN108804861A (zh) | 一种具有真实力反馈的脊柱微创手术培训系统及方法 | |
CN116883281A (zh) | 一种用于图像引导放疗的影像呈像画质增强系统和方法 | |
Hsia et al. | A 3D endoscopic imaging system with content-adaptive filtering and hierarchical similarity analysis | |
CN115619790A (zh) | 一种基于双目定位的混合透视方法、系统及设备 | |
CN114283179A (zh) | 基于超声图像的骨折远近端空间位姿实时获取与配准系统 | |
CN114708404A (zh) | 基于机器学习的端到端手术穿刺路径自动规划方法及系统 | |
Chung et al. | Extraction of visual features with eye tracking for saliency driven 2D/3D registration | |
CN111743628A (zh) | 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |