CN117958965A - 一种血管介入手术的术前路径规划方法及装置 - Google Patents
一种血管介入手术的术前路径规划方法及装置 Download PDFInfo
- Publication number
- CN117958965A CN117958965A CN202410121822.9A CN202410121822A CN117958965A CN 117958965 A CN117958965 A CN 117958965A CN 202410121822 A CN202410121822 A CN 202410121822A CN 117958965 A CN117958965 A CN 117958965A
- Authority
- CN
- China
- Prior art keywords
- parameters
- target
- coronary artery
- coronary
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000002792 vascular Effects 0.000 title claims abstract description 45
- 210000004351 coronary vessel Anatomy 0.000 claims abstract description 179
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 89
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 238000004445 quantitative analysis Methods 0.000 claims abstract description 8
- 238000001356 surgical procedure Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 20
- 230000017531 blood circulation Effects 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000004 hemodynamic effect Effects 0.000 claims description 5
- 238000013152 interventional procedure Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 18
- 238000013146 percutaneous coronary intervention Methods 0.000 description 12
- 239000000243 solution Substances 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 9
- 208000031481 Pathologic Constriction Diseases 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000036262 stenosis Effects 0.000 description 7
- 208000037804 stenosis Diseases 0.000 description 7
- 238000002586 coronary angiography Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004089 microcirculation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 208000037803 restenosis Diseases 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请提供了一种血管介入手术的术前路径规划方法及装置,包括:获取初始冠状动脉CT造影图像;根据初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型和斑块分析结果;根据斑块分析结果,对初始冠脉三维模型进行修正,确定出目标冠脉管腔三维模型;根据该三维模型,确定冠脉上每处位置的功能学参数;获取手术所使用的医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数;根据医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处医疗器械的行进路径。通过本申请公开的术前自动进行路径规划的技术方案,可有效缩短手术时间以及减少患者受辐射的危害。
Description
技术领域
本申请涉及手术导航技术领域,尤其是涉及一种血管介入手术的术前路径规划方法及装置。
背景技术
血管介入机器人是一种集高科技手段为一体,且拥有手术影像导引以及微创手术等综合性能的一种用于进行血管介入手术的医疗设备,将机器人技术和血管介入手术有机结合,能够快速、精确配合医生完成血管介入手术的设备。在血管介入手术中,医生操作血管介入机器人,通过人机交互的方式将血管介入手术中特制的导管、导丝等精密器械引入人体,对体内病态进行诊断和局部治疗。
目前手术方案通常包括以下两种:1、进行冠脉造影的时候,医生根据看到冠脉内部的狭窄情况进行分析,并根据分析结果进行导丝的行走路径规划,最终由医生和手术机器人交互执行导丝送入方案;2、患者在术前拍摄了冠状动脉CT造影(CCTA),对CCTA进行二值像素重建,由重建图像获取病变血管的一些三维信息,大致确定导丝的起点与终点,然后在手术过程中由医生自行进行导丝路径的确定。
但是上述方案存在以下缺点,方案1直接以冠脉造影为参考,虽然其分辨率比CT高,但其只能提供二维信息,缺乏三维空间信息;其次,二维的冠脉造影确定血管的信息存在缺失,由于部分信息的缺失,需要有经验的医生来分析决定导丝的路径,这首先会增加医生的负担,增加医疗资源的压力;再者,PCI手术期间时间宝贵,病人又在承受着辐射的危害,较复杂的方案确定需要更久的决策时间,增大了医生的压力,降低了手术安全性,以及增加了辐射对病人的危害。方案2建立的是像素级别的三维模型(由许多小方块堆叠而成),这与血管真实的形状不符,即使做了术前路径规划也会和实际情况偏差较大;像素级别三维模型的建立,虽然会在术前给医生或手术机器人提供一定的三维空间信息,但仍旧没有一个精细化,准确的导丝路径规划。
发明内容
有鉴于此,本申请的目的在于提供一种血管介入手术的术前路径规划方法及装置,可术前自动路径规划,从而可配合PCI术前的模拟手术以及辅助医生与手术机器人进行高效精准的交互,以有效缩短PCI手术时间,减轻医患压力,增加手术安全性,减少患者受辐射的危害。
本申请实施例提供了一种血管介入手术的术前路径规划方法,所述术前路径规划方法包括:
获取初始冠状动脉CT造影图像;
根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型和斑块分析结果;
根据所述斑块分析结果,对所述初始冠脉三维模型进行修正,确定出目标冠脉管腔三维模型;
根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数;
获取血管介入手术所使用的医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数;所述目标血管段为根据目标冠脉管腔三维模型所确定的起点和终点之间的血管段,所述属性参数包括目标血管段的形态学参数和功能学参数;
根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径。
可选的,所述根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型,包括:
对所述初始冠状动脉CT造影图像进行图像分割处理,得到初始二值冠脉树分割结果;
对所述初始二值冠脉树分割结果进行冠脉树中心线提取处理,确定出冠脉树中心线;
针对所述冠脉树中心线上的每个中心线点,根据所述初始冠状动脉CT造影图像进行血管轮廓预测处理,确定每个中心线点位置处的血管轮廓;
对所有中心线点位置处的血管轮廓进行有序放样处理,得到初始冠脉三维模型。
可选的,所述斑块分析结果包括以下至少一项:斑块类型、斑块位置、斑块尺寸以及斑块所造成的管腔狭窄程度。
可选的,所述根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数,包括:
将所述目标冠脉管腔三维模型和冠脉的边界条件输入至血流动力学仿真模型中,确定冠脉上每处位置的功能学参数;其中,所述冠脉的边界条件根据冠脉中的血流速度以及预先获取的主动脉压力确定的,所述冠脉中的血流速度根据所述目标冠脉管腔三维模型确定。
可选的,在根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数之后,所述术前路径规划方法还包括:
根据所述冠脉上每处位置的功能学参数中的血流储备分数,对所述目标冠脉管腔三维模型各处位置进行对应颜色填充,并将进行颜色填充后的目标冠脉管腔三维模型在交互界面上进行展示。
可选的,所述根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径,包括:
基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点;
根据起点、终点、路径关键点以及所述目标血管段的形态学参数,进行曲线拟合处理,确定出所述行进路径。
可选的,所述基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点,包括:
根据所述目标血管段的血管属性参数,构建第一特征向量;
根据所述医疗器械的器械参数,构建第二特征向量;
根据所述目标血管段的影像信息,构建三维特征矩阵;
将所述第一特征向量、第二特征向量和三维特征矩阵融合后输入关键点提取模型,确定起点至终点之间的路径关键点。
本申请实施例还提供了一种血管介入手术的术前路径规划装置,所述术前路径规划装置包括:
第一获取模块,用于获取初始冠状动脉CT造影图像;
第一确定模块,用于根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型和斑块分析结果;
第二确定模块,用于根据所述斑块分析结果,对所述初始冠脉三维模型进行修正,确定出目标冠脉管腔三维模型;
第三确定模块,用于根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数;
第二获取模块,用于获取血管介入手术所使用的医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数;所述目标血管段为根据目标冠脉管腔三维模型所确定的起点和终点之间的血管段,所述属性参数包括目标血管段的形态学参数和功能学参数;
路径规划模块,用于根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径。
可选的,所述第一确定模块在用于根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型时,所述第一确定模块用于:
对所述初始冠状动脉CT造影图像进行图像分割处理,得到初始二值冠脉树分割结果;
对所述初始二值冠脉树分割结果进行冠脉树中心线提取处理,确定出冠脉树中心线;
针对所述冠脉树中心线上的每个中心线点,根据所述初始冠状动脉CT造影图像进行血管轮廓预测处理,确定每个中心线点位置处的血管轮廓;
对所有中心线点位置处的血管轮廓进行有序放样处理,得到初始冠脉三维模型。
可选的,所述斑块分析结果包括以下至少一项:斑块类型、斑块位置、斑块尺寸以及斑块所造成的管腔狭窄程度。
可选的,所述第三确定模块在用于根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数时,所述第三确定模块用于:
将所述目标冠脉管腔三维模型和冠脉的边界条件输入至血流动力学仿真模型中,确定冠脉上每处位置的功能学参数;其中,所述冠脉的边界条件根据冠脉中的血流速度以及预先获取的主动脉压力确定的,所述冠脉中的血流速度根据所述目标冠脉管腔三维模型确定。
可选的,所述术前路径规划装置还用于:
根据所述冠脉上每处位置的功能学参数中的血流储备分数,对所述目标冠脉管腔三维模型各处位置进行对应颜色填充,并将进行颜色填充后的目标冠脉管腔三维模型在交互界面上进行展示。
可选的,所述路径规划模块在用于根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径时,所述路径规划模块用于:
基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点;
根据起点、终点、路径关键点以及所述目标血管段的形态学参数,进行曲线拟合处理,确定出所述行进路径。
可选的,所述路径规划模块在用于基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点时,所述路径规划模块用于:
根据所述目标血管段的血管属性参数,构建第一特征向量;
根据所述医疗器械的器械参数,构建第二特征向量;
根据所述目标血管段的影像信息,构建三维特征矩阵;
将所述第一特征向量、第二特征向量和三维特征矩阵融合后输入关键点提取模型,确定起点至终点之间的路径关键点。
本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的术前路径规划的步骤。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的术前路径规划方法的步骤。
本申请实施例提供的一种血管介入手术的术前路径规划方法及装置,包括:获取初始冠状动脉CT造影图像;根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型和斑块分析结果;根据所述斑块分析结果,对所述初始冠脉三维模型进行修正,确定出目标冠脉管腔三维模型;根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数;获取血管介入手术所使用的医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数;所述目标血管段为根据目标冠脉管腔三维模型所确定的起点和终点之间的血管段,所述属性参数包括目标血管段的形态学参数和功能学参数;根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径。
这样,本方案基于冠状动脉CT造影图像进行血管三维模型的建立,在术前给予逼真的三维血管模型、斑块的量化展示、以及功能学计算结果的展示,有效辅助医生进行术前的方案决策;并当确定起点与终点之后,本方案会自动进行路径模拟,结合获取最佳行进路径,以避开一些要害位置,最终完成整个术前路径规划闭环。
本方案对血管介入手术的术前路径规划方法的优势包括:
1)、本方案的术前自动路径规划,能够大大减少PCI术中的决策时间,给患者和医生都争取到了宝贵的手术时间,大大减轻医生的负担以及患者的辐射危害。
2)、本方案的自动路径规划,能够较大程度辅助医生或手术机器人进行路径实施,能够让一些经验稍浅的医生在操作手术机器人时,也能更加有信心,帮助医生和患者顺利完成手术。
3)、本方案采用的三维重建方法,能够最大程度还原血管真实情况,包括类圆形的管腔,以及斑块等病变位置的量化信息展示,以及功能学的计算结果,提供全方位形态学和功能学的信息,以供医生或手术机器人术前以及术中的参考。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种血管介入手术的术前路径规划方法的流程图;
图2提供了一种基于深度学习为框架的二值冠脉树分割结果的示意图;
图3为本申请提供的一种基于深度学习确定冠脉树中心线的示意图;
图4为本申请提供的一种基于深度学习预测血管轮廓的示意图;
图5为本申请提供的一种放样后确定的初始冠脉三维模型的结构示意图;
图6为本申请提供的一种目标冠脉管腔三维模型结构示意图;
图7为本申请提供的一种确定冠脉上每处位置的功能学参数的示意图;
图8为本申请提供的一种术前规划出的行进路径的示意图;
图9为本申请提供的一种术前规划的行进路径的确定过程示意图;
图10为本申请实施例所提供的一种血管介入手术的术前路径规划装置的结构示意图;
图11为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
目前手术方案通常包括以下两种:1、进行冠脉造影的时候,医生根据看到冠脉内部的狭窄情况进行分析,并根据分析结果进行导丝的行走路径规划,最终由医生和手术机器人交互执行导丝送入方案;2、患者在术前拍摄了冠状动脉CT造影(CCTA),对CCTA进行二值像素重建,由重建图像获取病变血管的一些三维信息,大致确定导丝的起点与终点,然后在手术过程中由医生自行进行导丝路径的确定。
但是上述方案存在以下缺点,方案1直接以冠脉造影为参考,虽然其分辨率比CT高,但其只能提供二维信息,缺乏三维空间信息;其次,二维的冠脉造影确定血管的信息存在缺失,由于部分信息的缺失,需要有经验的医生来分析决定导丝的路径,这首先会增加医生的负担,增加医疗资源的压力;再者,PCI手术期间时间宝贵,病人又在承受着辐射的危害,较复杂的方案确定需要更久的决策时间,增大了医生的压力,降低了手术安全性,以及增加了辐射对病人的危害。方案2建立的是像素级别的三维模型(由许多小方块堆叠而成),这与血管真实的形状不符,即使做了术前路径规划也会和实际情况偏差较大;像素级别三维模型的建立,虽然会在术前给医生或手术机器人提供一定的三维空间信息,但仍旧没有一个精细化,准确的导丝路径规划。
基于此,本申请实施例提供了一种血管介入手术的术前路径规划方法及装置,可术前自动路径规划,从而可配合PCI术前的模拟手术以及辅助医生与手术机器人进行高效精准的交互,以有效缩短PCI手术时间,减轻医患压力,增加手术安全性,减少患者受辐射的危害。
请参阅图1,图1为本申请实施例所提供的一种血管介入手术的术前路径规划方法的流程图。
这是,所述血管介入手术具体可为经皮冠状动脉介入治疗(PCI)术。经皮冠状动脉介入治疗(percutaneous coronary intervention,PCI),是指经心导管技术疏通狭窄甚至闭塞的冠状动脉管腔,从而改善心肌的血流灌注的治疗方法。一般较为常见的是,采用股动脉途径或桡动脉途径,将指引导管送至待扩张的冠状动脉口,再将相应大小的球囊或支架沿导丝送到狭窄的节段,根据病变的特点用适当的压力和时间进行扩张,达到解除狭窄的目的。
如图1中所示,本申请实施例提供的术前路径规划方法,包括:
S101、获取初始冠状动脉CT造影图像。
该步骤中,获取目标患者的术前拍摄的初始冠状动脉CT造影图像;所述初始冠状动脉CT造影图像为三维造影图像。
其中,冠状动脉CT造影图像也称为CCTA,是指通过静脉注射适当造影剂后,利用多排螺旋CT对冠状动脉进行扫描所得到的三维图像。
S102、根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型和斑块分析结果。
该步骤中,根据所述初始冠状动脉CT造影图像进行血管三维重建,确定出初始冠脉三维模型;并同时根据所述初始冠状动脉CT造影图像进行斑块量化分析,确定出斑块分析结果。
在本申请提供的一种实施方式中,所述根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型,包括:
S1021、对所述初始冠状动脉CT造影图像进行图像分割处理,得到初始二值冠脉树分割结果。
S1022、对所述初始二值冠脉树分割结果进行冠脉树中心线提取处理,确定出冠脉树中心线。
S1023、针对所述冠脉树中心线上的每个中心线点,根据所述初始冠状动脉CT造影图像进行血管轮廓预测处理,确定每个中心线点位置处的血管轮廓。
S1024、对所有中心线点位置处的血管轮廓进行有序放样处理,得到初始冠脉三维模型。
针对步骤S1021,该步骤中,对所述初始冠状动脉CT造影图像中包括的冠状动脉进行图像分割处理,得到初始二值冠脉树分割结果。
所述初始二值冠脉树分割结果为像素级别的二值图像。
这里,在进行图像分割时,包括但不限于根据机器学习(支持向量机,随机森林,深度学习等)进行图像分割,或使用传统的图像分割算法(阈值分割,水平集,主动轮廓模型等)。
示例的,请参阅图2,图2提供了一种基于深度学习为框架的二值冠脉树分割结果的示意图。这里,首先使用多个的CCTA原始图像与人工标记的冠脉区域被输入到深度神经网络中进行学习,不断调整网络的权重,收敛后得到能精准进行二值冠脉树分割的深度学习神经网络。使用时,使得CCTA经过网络后的输出越来越接近人工标记的二值分割图。如图2所示,最右侧图像即为初始二值冠脉树分割结果。
针对步骤S1022,该步骤中,在对所述初始二值冠脉树分割结果进行冠脉树中心线提取处理时,方法包括但不限于一些传统的图像处理算法(如骨架化,frangi特征矩阵等),和基于机器学习的方法(如逐区域预测中心线走向以及位置)。
示例的,请参阅图3,图3为本申请提供的一种基于深度学习确定冠脉树中心线的示意图。首先使用大量二值冠脉树分割结果的例子以及其人工标记的中心线输入到中心线提取网络中进行训练,收敛后,得到可进行冠脉中心线提取的神经网络。使用时,该网络能够回归出每个区域的中线位置以及走向,将所有区域有关联的中心线连接起来,得到整个冠脉树的中心线结构。如图3所示,最右侧图像即为冠脉树中心线。
针对步骤S1023,该步骤中,依据血管走向,依次针对所述冠脉树中心线上的每个中心线点,根据所述初始冠状动脉CT造影图像进行血管轮廓预测处理,确定每个中心线点位置处的血管轮廓。所述血管轮廓具体可为血管管腔轮廓。
这里,在进行血管轮廓预测时,方法包括但不限于传统的图像处理算法,基于机器学习的方法(如沿着中心线,确定每个截面上的若干个角度的直径,连成类圆形的轮廓)等。
示例的,请参考图4,图4为本申请提供的一种基于深度学习预测血管轮廓的示意图。首先经过大数据的训练后,输入一个管腔截面,预测出各个方位的若干个角度的半径,将这些半径的外端点连起来便形成了轮廓。
针对步骤S1024,所述初始冠脉三维模型为初始冠脉管腔三维模型。
示例的,请参阅图5,图5为本申请提供的一种放样后确定的初始冠脉三维模型的结构示意图。
在本申请提供的一种实施方式中,所述斑块分析结果包括以下至少一项:斑块类型、斑块位置、斑块尺寸以及斑块所造成的管腔狭窄程度。
这里,斑块位置的获取可采用图像分割的方式将斑块区别于管腔分割出来,再进行标记,或是采用目标检测的方法定位到斑块位置;斑块的类型可根据定位结果进行阈值法区分,或是采用特征分析的方式进行特征分类,以获得斑块的类型。
此外,还可以包括狭窄所占血管长度和正常血管的参考管径。
S103、根据所述斑块分析结果,对所述初始冠脉三维模型进行修正,确定出目标冠脉管腔三维模型。
该步骤中,使用对冠脉分析所确定出的斑块分析结果与所述初始冠脉三维模型进行结合,以达到对所述初始冠脉三维模型进行修正的目的,然后将结合后的三维模型确定为目标冠脉管腔三维模型。
这里,所述目标冠脉管腔三维模型为带有斑块信息指示的模型。
示例的,请参阅图6,图6为本申请提供的一种目标冠脉管腔三维模型结构示意图。
S104、根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数。
这里,所述功能学参数中包括但不限于血流储备分数和微循环阻力指数。
在本申请提供的一种实施方式,所述根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数,包括:将所述目标冠脉管腔三维模型和冠脉的边界条件输入至血流动力学仿真模型中,确定冠脉上每处位置的功能学参数。
这里,所述冠脉的边界条件根据冠脉中的血流速度以及预先获取的主动脉压力确定的,所述冠脉中的血流速度根据所述目标冠脉管腔三维模型确定。
所述主动脉压力为获取所述目标患者的血管压力,对所述血管压力进行对应的处理,得到所述目标患者的主动脉压力。
所述边界条件包括入口流量边界条件以及出口阻力边界条件等。
示例的,请参阅图7,图7为本申请提供的一种确定冠脉上每处位置的功能学参数的示意图。如图7所示,这里显示了根据目标冠脉管腔三维模型确定血流储备分数的过程。
在本申请提供的一种实施方式中,在根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数之后,所述术前路径规划方法还包括:根据所述冠脉上每处位置的功能学参数中的血流储备分数,对所述目标冠脉管腔三维模型各处位置进行对应颜色填充,并将进行颜色填充后的目标冠脉管腔三维模型在交互界面上进行展示。
这里,所述交互界面可为展示给目标人员观看的界面。
其中,通过颜色填充可表征出冠脉上每一处的供血情况。
S105、获取血管介入手术所使用的医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数。
这里,所述目标血管段为根据目标冠脉管腔三维模型所确定的起点和终点之间的血管段,所述属性参数包括目标血管段的形态学参数和功能学参数。
其中,所述起点和终点可为由相关专业人员根据目标冠脉管腔三维模型所选定的,也可以为根据深度学习结合目标冠脉管腔三维模型中的斑块信息确定的。
所述目标血管段的形态学参数包括但不限于血管长度、管腔尺寸、斑块类型、斑块位置、狭窄度信息。
所述目标血管段的功能学参数包括但不限于血流储备分数。
所述目标血管段的影像参数包括但不限于每个像素点的灰度值。
所述医疗器械包括但不限于导丝和导管。
所述医疗器械的器械参数包括但不限于硬度、直径、强度、柔性、刚性等。
S106、根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径。
这里,所述医疗器械的行进路径为术前所规划出的路径。
其中,在进行术前路径规划时,包括但不限于Spline样条插值(穿过每个已知点)等数值处理方法,以及基于机器学习的曲线回归方法(比如沿着管腔,回归出医疗器械的行进路径,并包括每一个关键点的位置和方向)。
示例的,请参阅图8,图8为本申请提供的一种术前规划出的行进路径的示意图。如图8所示,可将术前规划出的行进路径显示在所述目标冠脉管腔三维模型上。
在本申请提供的一种实施方式中,所述根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径,包括:
S1061、基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点;
S1062、根据起点、终点、路径关键点以及所述目标血管段的形态学参数,进行曲线拟合处理,确定出所述行进路径。
针对步骤S1061,在本申请提供的一种实施方式中,所述基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点,包括:
S10611、根据所述目标血管段的血管属性参数,构建第一特征向量。
S10612、根据所述医疗器械的器械参数,构建第二特征向量。
S10613、根据所述目标血管段的影像信息,构建三维特征矩阵。
S10614、将所述第一特征向量、第二特征向量和三维特征矩阵融合后输入关键点提取模型,确定起点至终点之间的路径关键点。
针对步骤S10611,具体可为,根据所述目标血管段的血管管形态学以及功能学信息构建第一特征向量,其第一特征向量中的元素可表示为是否有狭窄/狭窄程度/斑块类型/狭窄处的直径/管腔参考直径/CT-FFR功能学评估指标等等,这些元素组成了一个一维向量。
针对步骤S10612,具体可为,从获取到的导丝或导管的器械参数中的物理信息来构建第二特征向量,第二特征向量中的元素可表示为导丝或导管的硬度/直径/强度/柔性/刚性等材料物理信息,这些元素组成了一个一维向量。
针对步骤S10613,具体可为,所述影像信息,可以是二维截面也可以是三维图像块,构成三维特征矩阵,其包含了每个像素点的灰度值,反映的是冠脉在视觉上的形状纹理等信息,方便神经网络进行特征提取。
针对步骤S10614,将以上三种特征进行融合,可采用的方法有向量/矩阵加法,或扩展堆叠,融合后输入到神经网络中去,输出多个路径关键点的位置。
其中,神经网络的本质是一些权重参数,这些权重参数将在训练的过程中不断调整,去适应输入数据的特征,比如输入的导丝硬度较大,那么在手术时,不会发生较大的弯折,神经网络对应的输出关键点相对靠近拟合曲线;反之,若导丝柔性较大,容易在血管中形成“S”型走位,那么此时的关键点偏移较大,生成的路径相对弯曲度也会更大。
针对步骤S1062,这里确定出的行进路径为位于目标血管段内部的路线。
此外,根据起点、终点、路径关键点以及所述目标血管段的形态学参数,确定出所述行进路径,除了可用曲线拟合处理还可采用插值处理方式。
拟合不要求方程通过所有的已知点,讲究神似,就是整体趋势一致。插值则是形似,每个已知点都必会穿过,但是高阶会出现龙格库塔现象,所以一般采用分段插值。
示例的,请参阅图9,图9为本申请提供的一种术前规划的行进路径的确定过程示意图。如图9所示,所述关键点预测网络可为深度学习网络。
请参阅图10,图10为本申请实施例所提供的一种血管介入手术的术前路径规划装置的结构示意图。如图10中所示,所述术前路径规划装置200包括:
第一获取模块210,用于获取初始冠状动脉CT造影图像;
第一确定模块220,用于根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型和斑块分析结果;
第二确定模块230,用于根据所述斑块分析结果,对所述初始冠脉三维模型进行修正,确定出目标冠脉管腔三维模型;
第三确定模块240,用于根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数;
第二获取模块250,用于获取血管介入手术所使用的医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数;所述目标血管段为根据目标冠脉管腔三维模型所确定的起点和终点之间的血管段,所述属性参数包括目标血管段的形态学参数和功能学参数;
路径规划模块260,用于根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径。
可选的,所述第一确定模块220在用于根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型时,所述第一确定模块220用于:
对所述初始冠状动脉CT造影图像进行图像分割处理,得到初始二值冠脉树分割结果;
对所述初始二值冠脉树分割结果进行冠脉树中心线提取处理,确定出冠脉树中心线;
针对所述冠脉树中心线上的每个中心线点,根据所述初始冠状动脉CT造影图像进行血管轮廓预测处理,确定每个中心线点位置处的血管轮廓;
对所有中心线点位置处的血管轮廓进行有序放样处理,得到初始冠脉三维模型。
可选的,所述斑块分析结果包括以下至少一项:斑块类型、斑块位置、斑块尺寸以及斑块所造成的管腔狭窄程度。
可选的,所述第三确定模块240在用于根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数时,所述第三确定模块240用于:
将所述目标冠脉管腔三维模型和冠脉的边界条件输入至血流动力学仿真模型中,确定冠脉上每处位置的功能学参数;其中,所述冠脉的边界条件根据冠脉中的血流速度以及预先获取的主动脉压力确定的,所述冠脉中的血流速度根据所述目标冠脉管腔三维模型确定。
可选的,所述术前路径规划装置200还用于:
根据所述冠脉上每处位置的功能学参数中的血流储备分数,对所述目标冠脉管腔三维模型各处位置进行对应颜色填充,并将进行颜色填充后的目标冠脉管腔三维模型在交互界面上进行展示。
可选的,所述路径规划模块260在用于根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径时,所述路径规划模块260用于:
基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点;
根据起点、终点、路径关键点以及所述目标血管段的形态学参数,进行曲线拟合处理,确定出所述行进路径。
可选的,所述路径规划模块260在用于基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点时,所述路径规划模块260用于:
根据所述目标血管段的血管属性参数,构建第一特征向量;
根据所述医疗器械的器械参数,构建第二特征向量;
根据所述目标血管段的影像信息,构建三维特征矩阵;
将所述第一特征向量、第二特征向量和三维特征矩阵融合后输入关键点提取模型,确定起点至终点之间的路径关键点。
请参阅图11,图11为本申请实施例所提供的一种电子设备的结构示意图。如图11中所示,所述电子设备500包括处理器510、存储器520和总线530。
所述存储器520存储有所述处理器510可执行的机器可读指令,当电子设备500运行时,所述处理器510与所述存储器520之间通过总线530通信,所述机器可读指令被所述处理器510执行时,可以执行如上述图1至图9所示方法实施例中的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图1至图9所示方法实施例中的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种血管介入手术的术前路径规划方法,其特征在于,所述术前路径规划方法包括:
获取初始冠状动脉CT造影图像;
根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型和斑块分析结果;
根据所述斑块分析结果,对所述初始冠脉三维模型进行修正,确定出目标冠脉管腔三维模型;
根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数;
获取血管介入手术所使用的医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数;所述目标血管段为根据目标冠脉管腔三维模型所确定的起点和终点之间的血管段,所述属性参数包括目标血管段的形态学参数和功能学参数;
根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径。
2.根据权利要求1所述的术前路径规划方法,其特征在于,所述根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型,包括:
对所述初始冠状动脉CT造影图像进行图像分割处理,得到初始二值冠脉树分割结果;
对所述初始二值冠脉树分割结果进行冠脉树中心线提取处理,确定出冠脉树中心线;
针对所述冠脉树中心线上的每个中心线点,根据所述初始冠状动脉CT造影图像进行血管轮廓预测处理,确定每个中心线点位置处的血管轮廓;
对所有中心线点位置处的血管轮廓进行有序放样处理,得到初始冠脉三维模型。
3.根据权利要求1所述的术前路径规划方法,其特征在于,所述斑块分析结果包括以下至少一项:斑块类型、斑块位置、斑块尺寸以及斑块所造成的管腔狭窄程度。
4.根据权利要求1所述的术前路径规划方法,其特征在于,所述根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数,包括:
将所述目标冠脉管腔三维模型和冠脉的边界条件输入至血流动力学仿真模型中,确定冠脉上每处位置的功能学参数;其中,所述冠脉的边界条件根据冠脉中的血流速度以及预先获取的主动脉压力确定的,所述冠脉中的血流速度根据所述目标冠脉管腔三维模型确定。
5.根据权利要求1所述的术前路径规划方法,其特征在于,在根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数之后,所述术前路径规划方法还包括:
根据所述冠脉上每处位置的功能学参数中的血流储备分数,对所述目标冠脉管腔三维模型各处位置进行对应颜色填充,并将进行颜色填充后的目标冠脉管腔三维模型在交互界面上进行展示。
6.根据权利要求1所述的术前路径规划方法,其特征在于,所述根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径,包括:
基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点;
根据起点、终点、路径关键点以及所述目标血管段的形态学参数,进行曲线拟合处理,确定出所述行进路径。
7.根据权利要求6所述的术前路径规划方法,其特征在于,所述基于所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数,利用预先训练好的关键点提取模型,确定起点至终点之间的路径关键点,包括:
根据所述目标血管段的血管属性参数,构建第一特征向量;
根据所述医疗器械的器械参数,构建第二特征向量;
根据所述目标血管段的影像信息,构建三维特征矩阵;
将所述第一特征向量、第二特征向量和三维特征矩阵融合后输入关键点提取模型,确定起点至终点之间的路径关键点。
8.一种血管介入手术的术前路径规划装置,其特征在于,所述术前路径规划装置包括:
第一获取模块,用于获取初始冠状动脉CT造影图像;
第一确定模块,用于根据所述初始冠状动脉CT造影图像进行血管三维重建和斑块量化分析,确定出初始冠脉三维模型和斑块分析结果;
第二确定模块,用于根据所述斑块分析结果,对所述初始冠脉三维模型进行修正,确定出目标冠脉管腔三维模型;
第三确定模块,用于根据所述目标冠脉管腔三维模型,确定冠脉上每处位置的功能学参数;
第二获取模块,用于获取血管介入手术所使用的医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数;所述目标血管段为根据目标冠脉管腔三维模型所确定的起点和终点之间的血管段,所述属性参数包括目标血管段的形态学参数和功能学参数;
路径规划模块,用于根据所述医疗器械的器械参数以及目标血管段的血管属性参数以及影像参数进行路径规划处理,确定从起点处至终点处所述医疗器械的行进路径。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的术前路径规划方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一所述的术前路径规划方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121822.9A CN117958965A (zh) | 2024-01-29 | 2024-01-29 | 一种血管介入手术的术前路径规划方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121822.9A CN117958965A (zh) | 2024-01-29 | 2024-01-29 | 一种血管介入手术的术前路径规划方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117958965A true CN117958965A (zh) | 2024-05-03 |
Family
ID=90850774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410121822.9A Pending CN117958965A (zh) | 2024-01-29 | 2024-01-29 | 一种血管介入手术的术前路径规划方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117958965A (zh) |
-
2024
- 2024-01-29 CN CN202410121822.9A patent/CN117958965A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7486626B2 (ja) | 脈管内においてカテーテルのような導管ラインをルーティングするためのシステムおよび方法 | |
JP7039442B2 (ja) | 血管モデルの作成方法 | |
US11576626B2 (en) | Systems and methods for numerically evaluating vasculature | |
US11490963B2 (en) | Route selection assistance system, recording medium on which route selection assistance program is recorded, route selection assistance method, and diagnosis method | |
CN113241183B (zh) | 治疗方案预测方法及装置 | |
CN111916183B (zh) | 动态心血管系统的建模方法、装置、设备及存储介质 | |
CN113362958A (zh) | 治疗方案的应用后效果的预测方法及装置 | |
JP7426824B2 (ja) | 非侵襲的イメージングベースのffrのインタラクションモニタリング | |
CN117958965A (zh) | 一种血管介入手术的术前路径规划方法及装置 | |
EP4129196A1 (en) | Program, information processing method, information processing device, and model generation method | |
CN114947916B (zh) | 一种冠状动脉病变syntax评分的计算方法及装置 | |
CN113539516B (zh) | 治疗方案的应用后效果的获取方法及装置 | |
JP7041446B2 (ja) | 医用画像処理方法、医用画像処理装置および医用画像処理システム | |
CN116392257B (zh) | 一种介入手术机器人系统、导丝的塑形方法和存储介质 | |
CN117958966A (zh) | 一种血管介入手术的术中路径校正方法及装置 | |
CN114947916A (zh) | 一种冠状动脉病变syntax评分的计算方法及装置 | |
JP2023130133A (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
WO2023239738A1 (en) | Percutaneous coronary intervention planning | |
JP2023130134A (ja) | プログラム、情報処理方法及び情報処理装置 | |
WO2023239734A1 (en) | Percutaneous coronary intervention planning | |
CN116883356A (zh) | 一种血管轮廓的提取方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |