CN113440744B - 一种基于标记投影的放射治疗辅助摆位方法及装置 - Google Patents
一种基于标记投影的放射治疗辅助摆位方法及装置 Download PDFInfo
- Publication number
- CN113440744B CN113440744B CN202110825802.6A CN202110825802A CN113440744B CN 113440744 B CN113440744 B CN 113440744B CN 202110825802 A CN202110825802 A CN 202110825802A CN 113440744 B CN113440744 B CN 113440744B
- Authority
- CN
- China
- Prior art keywords
- projector
- camera
- projection
- mark
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1001—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy using radiation sources introduced into or applied onto the body; brachytherapy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N2005/1092—Details
- A61N2005/1097—Means for immobilizing the patient
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Radiation-Therapy Devices (AREA)
Abstract
本发明公开一种基于标记投影的放射治疗辅助摆位方法及装置,该方法包括:S1:开始摆位操作;S2:判断患者是否首次进行摆位;若是,则进入S3;否则,投影仪投影标记投影图像,技师根据标记投影图像中投影标记点位置,将患者移至投影标记点位置,摆位完成;S3:具体包括以下步骤:S3.1:在固定患者的热塑膜表面至少粘贴三个标记贴;S3.2:精确摆位;S3.3:投影仪投出画面,相机同步采集基准图像;S3.4:识别基准图像中标记点像素坐标;S3.5:计算标记点像素坐标对应的三维物理坐标;S3.6:计算标记点三维坐标对应投影仪投影图像的二维像素坐标,并生成标记投影图像;3.7:摆位完成。本发明使技师能够直观、方便的进行摆位操作,实现快速、精确的摆位效果。
Description
技术领域
本发明属于放射治疗技术领域,具体涉及一种基于标记投影的放射治疗辅助摆位方法及装置。
背景技术
随着放射物理技术、计算机技术和医学影像技术的迅猛发展,三维适形放疗、调强放疗、容积旋转调强放疗和螺旋断层放疗等先进放射治疗技术不断创新,以生物引导放射治疗、图像引导放射治疗、剂量引导放射治疗和放射影像组学为代表的新技术,推动着放射治疗向以“精确定位”、“精确计划”和“精确治疗”为终极目标的“三精放疗”时代迈进。投影辅助摆位装置是一款基于机器视觉的放射治疗辅助摆位装置,该系统在患者摆位前,通过视觉影像设备(投影仪)以可见光的方式将存储在数据库中标记物正确的空间位置投影到三维空间中,从而让技师能够根据投影点进行患者摆位,且结果直观可见。
目前,放射治疗传统的摆位方法主要是依据室内墙上的激光灯进行预摆位,但每次患者进行预摆位将标记线对齐激光灯后,还需进行CBCT或EPEI再次进行摆位验证,增加了摆位的复杂性。其它如光学摆位装置大多采用反光红外标记球来进行,例如,申请号201710646652.6的专利文件中提出了一种基于反光球标记点的近红外双目视觉立体匹配方法,但其没有可见光投影装置,无法直接可视化摆位效果。
发明内容
为了解决上述技术问题,本发明提出了一种基于标记投影的放射治疗辅助摆位方法及装置。
为了达到上述目的,本发明的技术方案如下:
一方面,本发明公开一种基于标记投影的放射治疗辅助摆位方法,包括以下步骤:
S1:患者躺在治疗床上,准备开始摆位操作;
S2:判断患者是否首次进行摆位;
若患者是首次进行摆位,则进入S3;
若患者非首次进行摆位,则打开投影仪并投影生成的标记投影图像,摆位技师根据标记投影图像中投影标记点位置,将患者移至投影标记点位置,摆位完成,继续后续治疗;
S3:具体包括以下步骤:
S3.1:在固定患者的热塑膜表面至少粘贴三个标记贴;
S3.2:利用CBCT或EPID进行精确摆位;
S3.3:待精确摆位完成后,投影仪投出画面,同步触发装置控制相机同步采集基准图像;
S3.4:识别基准图像中标记点像素坐标;
S3.5:根据三维重建方法,计算标记点像素坐标对应的三维物理坐标;
S3.6:计算标记点三维坐标对应投影仪投影图像的二维像素坐标,并生成标记投影图像;
3.7:摆位完成,继续后续治疗。
在上述技术方案的基础上,还可做如下改进:
作为优选的方案,S3.3中,基准图像为3张3步相移图像,条纹的强度如下:
I1(x,y)=I'(x,y)+I”(x,y)cos[φ(x,y)-2π/3];
I2(x,y)=I'(x,y)+I”(x,y)cos[φ(x,y)];
I3(x,y)=I'(x,y)+I”(x,y)cos[φ(x,y)+2π/3];
I'(x,y)为图像中该点的平均强度,I”(x,y)为图像中该点调制的强度,I1(x,y)、I2(x,y)和I3(x,y)为可见光相机采集到的图像,φ(x,y)为求解的相位,其可由下列公式计算获得:
最后通过φ(x,y)/2π×p计算所对应的码字,p为投影仪的宽度。
作为优选的方案,S3.5中,三维重建方法的计算原理如下:
式中:pc为相机标定获得的变换矩阵,pp为投影仪标定所获得的变换矩阵,uc为对应的相机的像素坐标,up为对应的投影仪的坐标,Q为三维的坐标点;
对于Q的计算,可以通过引入张量行列式的方法,首先计算出下列的行列式:
式中:I(k)为单位矩阵,则三维的坐标点Q的计算如下:
作为优选的方案,S3.6中,通过以下步骤计算标记点三维坐标对应投影仪投影图像的二维像素坐标;
A)利用预设角点检测算法提取基准图像中角点的位置,以获得对应的位置坐标;
B)利用位置坐标、获得的相机镜头的焦距Mc及相机镜头的畸变Dc,确定相机相对于患者的第一变换矩阵Rc和Tc;
C)根据第一变换矩阵Rc和Tc,确定投影仪相对于患者的第二变换矩阵Rp和Tp,计算公式如下:
Rp=Rcp·Rc,Tp=Rcp·Tc+Tcp;
其中:Rcp和Tcp为相机和投影仪之间的几何变换;
D)基于投影仪镜头的焦距Mp、投影仪镜头的畸变Dp和第二变换矩阵,确定标记点三维坐标在投影仪投影图像的二维像素坐标。
作为优选的方案,同步触发装置分别与相机和投影仪通信连接。
作为优选的方案,S3.3中,投影仪在投出画面之后,反馈脉冲信号给同步触发装置,同步触发装置将反馈的脉冲信号处理后发送控制信号给相机,控制相机采集基准图像。
另一方面,本发明还公开一种基于标记投影的放射治疗辅助摆位装置,包括:同步触发装置、相机和投影仪,放射治疗辅助摆位装置利用上述任一种放射治疗辅助摆位方法进行摆位。
本发明一种基于标记投影的放射治疗辅助摆位方法及装置采用相机与投影仪相结合的方式,既可以采集数据又可以投影图像。在放疗过程中,将患者正确摆位位置投影到三维空间中,使技师能够直观、方便的进行摆位操作,实现快速、精确的摆位效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的放射治疗辅助摆位方法流程图。
图2为本发明实施例提供的标记示意图。
图3为本发明实施例提供的标记点中心识别示意图。
图4为本发明实施例提供的生成标记投影图。
图5为本发明实施例提供的标记投影效果图。
图6为本发明实施例提供的光学投影组件的组成框图。
图7为本发明实施例提供的光学投影组件安装示意图。
其中:1-光学投影组件,101-相机,102-投影仪,103-同步触发装置,2-治疗床;
a-十字中心点像素坐标,b-投影标记点。
具体实施方式
下面结合附图详细说明本发明的优选实施方式。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了达到本发明的目的,一种基于标记投影的放射治疗辅助摆位方法及装置的其中一些实施例中,如图1所示,放射治疗辅助摆位方法包括以下步骤:
S1:患者躺在治疗床2上,准备开始摆位操作;
S2:判断患者是否首次进行摆位,即是否已保存标记点基准坐标值;
若患者是首次进行摆位,则进入S3;
若患者非首次进行摆位,则打开投影仪102并投影生成的标记投影图像,摆位技师根据标记投影图像中投影标记点位置,将患者移至投影标记点b位置,如图5所示,摆位完成,继续后续治疗;
S3:具体包括以下步骤:
S3.1:在固定患者的热塑膜表面至少粘贴三个标记贴,如图2所示;
S3.2:利用CBCT或EPID进行精确摆位;
S3.3:待精确摆位完成后,投影仪102投出画面,同步触发装置103控制相机101同步采集基准图像;
S3.4:识别基准图像中标记点像素坐标;
S3.5:根据三维重建方法,计算标记点像素坐标对应的三维物理坐标;
S3.6:计算标记点三维坐标对应投影仪102投影图像的二维像素坐标,并生成标记投影图像,如图4所示,图4中的白点为标记投影点;
3.7:摆位完成,继续后续治疗。
在一些实施例中,S3.4中,识别基准图像中标记点像素坐标,可采用手动选取基准图像中标记点十字中心点像素坐标a,如图3所示。
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,S3.3中,基准图像为3张3步相移图像,条纹的强度如下:
I1(x,y)=I'(x,y)+I”(x,y)cos[φ(x,y)-2π/3];
I2(x,y)=I'(x,y)+I”(x,y)cos[φ(x,y)];
I3(x,y)=I'(x,y)+I”(x,y)cos[φ(x,y)+2π/3];
I'(x,y)为图像中该点的平均强度,I”(x,y)为图像中该点调制的强度,I1(x,y)、I2(x,y)和I3(x,y)为可见光相机采集到的图像,φ(x,y)为求解的相位,其可由下列公式计算获得:
最后通过φ(x,y)/2π×p计算所对应的码字,p为投影仪的宽度。
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,S3.5中,三维重建方法的计算原理如下:
式中:pc为相机标定获得的变换矩阵,pp为投影仪标定所获得的变换矩阵,uc为对应的相机的像素坐标,up为对应的投影仪的坐标,Q为三维的坐标点;
对于Q的计算,可以通过引入张量行列式的方法,首先计算出下列的行列式:
式中:I(k)为单位矩阵,则三维的坐标点Q的计算如下:
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,S3.6中,通过以下步骤计算标记点三维坐标对应投影仪投影图像的二维像素坐标;
A)利用预设角点检测算法提取基准图像中角点的位置,以获得对应的位置坐标;
B)利用位置坐标、获得的相机镜头的焦距Mc及相机镜头的畸变Dc,确定相机相对于患者的第一变换矩阵Rc和Tc;
C)根据第一变换矩阵Rc和Tc,确定投影仪相对于患者的第二变换矩阵Rp和Tp,计算公式如下:
Rp=Rcp·Rc,Tp=Rcp·Tc+Tcp;
其中:Rcp和Tcp为相机和投影仪之间的几何变换;
D)基于投影仪镜头的焦距Mp、投影仪镜头的畸变Dp和第二变换矩阵,确定标记点三维坐标在投影仪投影图像的二维像素坐标。
步骤A)中,在找角点时,可以利用Shi-Tomasi角点检测算法提取图像中角点的位置。
Shi-Tomasi角点检测的算法是哈瑞斯(Harris)角点检测算法的改进算法,其通过计算图像窗口平移[u,v]产生的灰度变化E(u,v),
其中,M为自相关矩阵,定义如下:
式中,w(x,y)表示窗口函数,Ix和Iy表示图像在x和y方向的导数。对于M的两个特征值λ1和λ2,Shi-Tomasi算法认为角点的检测取决最小的那个特征值,角点判断函数R如下,当R的值超过某阈值则认为其为角点:
R=min(λ1,λ2)。
为了进一步地优化本发明的实施效果,在另外一些实施方式中,其余特征技术相同,不同之处在于,如图6所示,同步触发装置103分别与相机101和投影仪102通信连接。
进一步,S3.3中,投影仪102在投出画面之后,反馈脉冲信号给同步触发装置103,同步触发装置103将反馈的脉冲信号处理后发送控制信号(如:稳定的5V脉冲信号)给相机101,控制相机101采集基准图像。
投影仪102可以但不限于选用序列投影仪。
在某具体实施例中,相机镜头的焦距选用12mm,帧率为60HZ,投影仪投射比为1.35,相机101与投影仪102之间的距离为25cm。
另一方面,本发明实施例还公开一种基于标记投影的放射治疗辅助摆位装置,包括:同步触发装置103、相机101和投影仪102,放射治疗辅助摆位装置利用上述任一实施例公开的放射治疗辅助摆位方法进行摆位。
同步触发装置103分别与相机101和投影仪102构成光学投影组件1,如图7所示,将光学投影组件1安装于治疗床2上方(包括但不限于加速器机头处),使相机能够采集、投影仪102能够投影到病人体表即可。需对病人进行摆位操作时,可打开投影仪102投影功能,将标记点对应正确三维位置投影到三维空间中,进行辅助摆位。
本发明一种基于标记投影的放射治疗辅助摆位方法及装置具有以下有益效果:
1)标记点正确的空间坐标通过首次摆位完成后(CBCT摆位完成后)采集获取,保证标记点空间坐标的准确性。
2)将标记空间位置通过可见光投影的方式投影到三维空间中,使其更直观可见,方便技师摆位操作,能够直接查看摆位是否准确。
3)后续摆位操作(非首次摆位)可利用标记投影完成,减少CBCT或EPID使用,从而减轻患者受照射剂量,且缩短摆位时间,提高摆位效率。
4)本发明标记物可采用传统的临床激光灯摆位时可使用的胶带和绘制十字线,方便使用,无需额外定制。
5)本发明在临床医学中的应用潜力比较大,可替代传统基于激光灯摆位方式。
本发明采用相机与投影仪相结合的方式,既可以采集数据又可以投影图像。在放疗过程中,将患者正确摆位位置投影到三维空间中,使技师能够直观、方便的进行摆位操作,实现快速、精确的摆位效果。
上述实施例只为说明本发明的技术构思及特点,其目的在于让本领域普通技术人员能够了解本发明的内容并加以实施,并不能以此限制本发明的保护范围,凡根据本发明精神实质所作的等效变化或修饰,都应涵盖在本发明的保护范围内。
Claims (7)
1.一种基于标记投影的放射治疗辅助摆位方法,其特征在于,包括以下步骤:
S1:患者躺在治疗床上,准备开始摆位操作;
S2:判断患者是否首次进行摆位;
若患者是首次进行摆位,则进入S3;
若患者非首次进行摆位,则打开投影仪并投影生成的标记投影图像,摆位技师根据标记投影图像中投影标记点位置,将患者移至投影标记点位置,摆位完成,继续后续治疗;
S3:具体包括以下步骤:
S3.1:在固定患者的热塑膜表面至少粘贴三个标记贴;
S3.2:利用CBCT或EPID进行精确摆位;
S3.3:待精确摆位完成后,投影仪投出画面,同步触发装置控制相机同步采集基准图像;
S3.4:识别基准图像中标记点像素坐标;
S3.5:根据三维重建方法,计算标记点像素坐标对应的三维物理坐标;
S3.6:计算标记点三维坐标对应投影仪投影图像的二维像素坐标,并生成标记投影图像;
S3.7:摆位完成,继续后续治疗。
2.根据权利要求1所述的放射治疗辅助摆位方法,其特征在于,S3.3中,基准图像为3张3步相移图像,条纹的强度如下:
I1(x,y)=I'(x,y)+I”(x,y)cos[φ(x,y)-2π/3];
I2(x,y)=I'(x,y)+I”(x,y)cos[φ(x,y)];
I3(x,y)=I'(x,y)+I”(x,y)cos[φ(x,y)+2π/3];
I'(x,y)为图像中该点的平均强度,I”(x,y)为图像中该点调制的强度,I1(x,y)、I2(x,y)和I3(x,y)为所述相机采集到的图像,φ(x,y)为求解的相位,其可由下列公式计算获得:
最后通过φ(x,y)/2π×p计算所对应的码字,p为投影仪的宽度。
4.根据权利要求1所述的放射治疗辅助摆位方法,其特征在于,S3.6中,通过以下步骤计算标记点三维坐标对应投影仪投影图像的二维像素坐标;
A)利用预设角点检测算法提取基准图像中角点的位置,以获得对应的位置坐标;
B)利用位置坐标、获得的相机镜头的焦距Mc及相机镜头的畸变Dc,确定相机相对于患者的第一变换矩阵Rc和Tc;
C)根据第一变换矩阵Rc和Tc,确定投影仪相对于患者的第二变换矩阵Rp和Tp,计算公式如下:
Rp=Rcp·Rc,Tp=Rcp·Tc+Tcp;
其中:Rcp和Tcp为相机和投影仪之间的几何变换;
D)基于投影仪镜头的焦距Mp、投影仪镜头的畸变Dp和第二变换矩阵,确定标记点三维坐标在投影仪投影图像的二维像素坐标。
5.根据权利要求1-4任一项所述的放射治疗辅助摆位方法,其特征在于,所述同步触发装置分别与所述相机和投影仪通信连接。
6.根据权利要求5所述的放射治疗辅助摆位方法,其特征在于,S3.3中,所述投影仪在投出画面之后,反馈脉冲信号给所述同步触发装置,所述同步触发装置将反馈的脉冲信号处理后发送控制信号给所述相机,控制所述相机采集基准图像。
7.一种基于标记投影的放射治疗辅助摆位装置,其特征在于,包括:同步触发装置、相机和投影仪,所述放射治疗辅助摆位装置利用如权利要求1-6任一项所述的放射治疗辅助摆位方法进行摆位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110825802.6A CN113440744B (zh) | 2021-07-21 | 2021-07-21 | 一种基于标记投影的放射治疗辅助摆位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110825802.6A CN113440744B (zh) | 2021-07-21 | 2021-07-21 | 一种基于标记投影的放射治疗辅助摆位方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113440744A CN113440744A (zh) | 2021-09-28 |
CN113440744B true CN113440744B (zh) | 2023-03-24 |
Family
ID=77817143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110825802.6A Active CN113440744B (zh) | 2021-07-21 | 2021-07-21 | 一种基于标记投影的放射治疗辅助摆位方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113440744B (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8861672B2 (en) * | 2011-11-16 | 2014-10-14 | Siemens Medical Solutions Usa, Inc. | Patient positioning system |
CN109499010B (zh) * | 2018-12-21 | 2021-06-08 | 苏州雷泰医疗科技有限公司 | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 |
CN110749290B (zh) * | 2019-10-30 | 2021-06-01 | 易思维(杭州)科技有限公司 | 基于三维投影的特征信息快速定位方法 |
-
2021
- 2021-07-21 CN CN202110825802.6A patent/CN113440744B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113440744A (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11576645B2 (en) | Systems and methods for scanning a patient in an imaging system | |
CN109499010B (zh) | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 | |
US10758748B2 (en) | Verification of leaf positions for multi-leaf collimator using multiple verification systems | |
US10702713B2 (en) | X-ray fluoroscopic apparatus | |
US20200268251A1 (en) | System and method for patient positioning | |
EP2978496B1 (en) | Method for improved surface tracking-based motion management and dynamic planning in adaptive external beam radiation therapy | |
US20200186786A1 (en) | Calibration for Augmented Reality | |
US7348974B2 (en) | Image processing system for use with a patient positioning device | |
Bert et al. | Clinical experience with a 3D surface patient setup system for alignment of partial-breast irradiation patients | |
EP2904583B1 (en) | Method for tracking three-dimensional object | |
US9993655B2 (en) | Image data processing device and transcranial magnetic stimulation apparatus | |
Gsaxner et al. | Markerless image-to-face registration for untethered augmented reality in head and neck surgery | |
JP2010508895A5 (zh) | ||
WO2016181140A1 (en) | Radiation dosage monitoring system | |
US20160361567A1 (en) | Image-based aperture verification system for multi-leaf collimator | |
CN108744310A (zh) | 多模式引导自适应放疗系统 | |
WO2001057805A2 (en) | Image data processing method and apparatus | |
Sarmadi et al. | 3D Reconstruction and alignment by consumer RGB-D sensors and fiducial planar markers for patient positioning in radiation therapy | |
CN113440744B (zh) | 一种基于标记投影的放射治疗辅助摆位方法及装置 | |
Richey et al. | Soft tissue monitoring of the surgical field: detection and tracking of breast surface deformations | |
US20230102782A1 (en) | Positioning method, processing device, radiotherapy system, and storage medium | |
EP4144298A1 (en) | Object visualisation in x-ray imaging | |
CN115054834A (zh) | 基于三维重建装置的放疗辅助设备及其控制方法、系统 | |
Wang et al. | Depth-layer-based patient motion compensation for the overlay of 3D volumes onto X-ray sequences | |
WO2022133049A1 (en) | Systems and methods for registering a 3d representation of a patient with a medical device for patient alignment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |