CN110691553A - Oss透视缩短检测系统、控制器和方法 - Google Patents
Oss透视缩短检测系统、控制器和方法 Download PDFInfo
- Publication number
- CN110691553A CN110691553A CN201880035646.XA CN201880035646A CN110691553A CN 110691553 A CN110691553 A CN 110691553A CN 201880035646 A CN201880035646 A CN 201880035646A CN 110691553 A CN110691553 A CN 110691553A
- Authority
- CN
- China
- Prior art keywords
- interventional device
- oss
- foreshortening
- shape
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
Abstract
一种OSS透视缩短检测系统,采用包括具有形状节点的OSS传感器(20)的介入设备(40),所述OSS传感器用于生成提供OSS传感器(20)的形状的信息的形状感测数据。所述系统还采用OSS透视缩短检测设备(80),包括用于重建根据由OSS传感器(20)对形状感测数据的生成导出的介入设备(40)的部分/整体的形状的OSS形状控制器(90)。设备(80)还包括用于监测介入设备(40)的图像内的介入设备(40)的任何透视缩短的OSS透视缩短控制器(100),包括OSS透视缩短控制器(100)检测根据由所述OSS形状控制器(90)对介入设备(40)的部分/整体的形状的重建导出的介入设备(40)的图像内的介入设备(40)的透视缩短的任何发生的位置。
Description
技术领域
本公开的发明总体上涉及用于监测介入设备的图像内的介入工具的透视缩短的潜在性的系统、控制器和方法。
本公开的本发明更特别地涉及通过实现检测介入设备的图像内的介入设备的透视缩短的任何发生的位置的光学形状感测(OSS)改进这样的系统、控制器和方法。
背景技术
光学形状感测(OSS)使用沿着单芯或多芯光纤的光用于在外科手术介入期间的设备定位和导航。所涉及的原理利用在光纤中使用特征瑞利背向散射或受控光栅图案的分布式应变测量。沿着光纤的形状在沿着传感器的特定点处开始,被称为起始点或z=0,并且光纤的随后的形状位置和取向是相对于该点的。
OSS光纤可以被集成到介入工具(例如,血管工具、腔内工具和矫形工具)内,以由此在微创流程期间经由介入工具的监测器来提供实况视觉引导,由此,集成的OSS光纤提供部分或整个介入工具的方位(即,位置和/或取向)。尽管对介入工具的实况视觉引导已经证明有利于促进成功的微创流程,但是介入工具的“推送性(pushability)”和“扭转性(torquability)”问题涉及介入工具的潜在“屈曲”和潜在“卷绕(whipping)”。
光纤的形状感测的关键特征在于,其提供关于具有嵌入在其中的光纤的设备的整个形状的三维(“3D”)信息。然后,挑战是如何适当地将3D信息可视化并且传递到设备的图像的设备操作者,特别地当设备被配准到成像模态或者在解剖区域内导航时。目前,3D信息的可视化和传递可以通过以并排式90°偏移投影(例如,AP和横向投影的并排式显示)示出设备形状的二个(2)二维(“2D”)投影完成。其他技术可以包括3D显示器、增强现实眼镜等。无论如何,关键挑战保持在帮助设备操作者解释包含在显示的设备形状中的3D信息。
2D X射线成像(或者荧光透视)的复杂操纵中的一个常见问题是透视缩短。这当设备采取具有朝向设备操作者的角的路径时发生(或者,在X射线的情况下,与源和检测器一致的路径)。例如,图1A示出了如在2D横向投影图像11中捕获的设备10的实际3D形状和3D长度。相反,图1B示出了2D AP投影图像12中的相同设备10,由此,设备10的3D形状准确地看起来是直的并且设备10的3D长度看起来比设备10的实际3D长度更短。
透视缩短当部署治疗(诸如球囊、支架或者移植物)时是特别重要的。在大多数情况下,递送的治疗必须覆盖适当的区域以便有效。如果透视缩短被识别,则其可以通过改变图像的视角解决。例如,如果设备10的透视缩短被识别在2D AP投影图像12中(图1),那么成像模态可以从与2D AP投影图像12相关联的AP位置重定向到用于生成横向投影图像11(图1A)的横向位置(例如,X射线模态的C型臂可以从AP位置旋转到横向位置)。然而,对于设备操作者而言设备的透视缩短在特定图像中发生常常是不明显的。
透视缩短在配准期间也是相关的。例如,在OSS配准期间(例如,治疗设备的单一长度或位置),设备操作者点击嵌入OSS光纤的设备的X射线图像中的相关点并且OSS形状上的最近点被用于配准目的。如果不存在透视缩短,则这可以在单个X射线投影上完成。然而,如果存在透视缩短,那么最近点是不确定的并且这能够导致配准中的误差。
尽管已经开发系统和方法以监测透视缩短,但是仍然存在对于可视化3D OSS形状的透视缩短并且识别何时透视缩短能够影响配准或者其他类似算法的需要。
发明内容
为了改进用于监测透视缩短的现有系统和方法,本公开提供了用于检测何时并且何处透视缩短沿着形状感测的设备的长度发生并且用于管理检测到的透视缩短的适当的响应(例如,报告透视缩短或者推荐减轻所述透视缩短的成像模态的重新定位)的发明。
本公开的发明的一个实施例是采用介入设备和OSS透视缩短检测设备的光学形状感测(“OSS”)透视缩短检测设备。
介入设备包括OSS传感器和一个或多个一个介入工具的集成。所述OSS传感器可操作于生成提供所述OSS传感器的形状的信息的形状感测数据。
所述OSS透视缩短检测设备包括OSS形状控制器,以用于控制根据由所述OSS传感器对形状感测数据的生成导出的介入设备的部分或者整体的形状的重建。
所述OSS透视缩短检测设备还包括OSS透视缩短控制器,以用于控制介入设备的图像内的介入设备的任何透视缩短的监测,包括OSS透视缩短控制器检测根据由所述OSS形状控制器对介入设备的部分或者整体的形状的重建导出的介入设备的图像内的介入设备的透视缩短的任何发生的位置的。
本公开的发明的第二实施例是采用所述OSS形状控制器和OSS透视缩短控制器的OSS透视缩短设备。
本公开的发明的第三实施例是OSS透视缩短检测方法,涉及OSS传感器生成提供所述OSS传感器的形状的信息的形状感测数据。
所述OSS透视缩短检测方法还涉及OSS形状控制器控制根据由所述OSS传感器对形状感测数据的生成导出的介入设备的部分或者整体的形状的重建。
所述OSS透视缩短检测方法还涉及OSS透视缩短控制器控制所述介入设备的图像内的介入设备的任何透视缩短的监测,包括OSS透视缩短控制器检测根据由所述OSS形状控制器对介入设备的部分或者整体的形状的重建导出的介入设备的图像内的介入设备的透视缩短的任何发生的位置。
出于描述并且要求保护本公开的发明的目的:
(1)包括但不限于“成像模态”和“配准”的本公开的领域的术语要如本公开的领域中已知和本文中示范性描述被解释;
(2)术语“解剖区域”宽泛地涵盖如在本公开的领域中已知以及在本公开中示范性描述的一个或多个解剖系统,其中,每个解剖系统具有用于在其中对介入设备进行导航的自然或外科手术结构配置。解剖区域的范例包括但不限于:外皮系统(例如,皮肤和附属物)、骨骼系统、肌肉系统、神经系统、内分泌系统(例如,腺和胰腺)、消化系统(例如,胃、肠和结肠)、呼吸系统(例如,气道和肺)、循环系统(例如,心脏和血管)、淋巴系统(例如,淋巴结)、泌尿系统(例如,肾)和生殖系统(例如,子宫);
(3)术语“介入工具”要被宽泛地解读为在本公开的领域中已知的,包括在本公开之前已知以及在本公开之后构想的介入工具。介入工具的范例包括但不限于:血管介入工具(例如,导丝、导管、支架鞘管、球囊、粥样斑切除导管、IVUS成像探头、部署系统等)、腔内介入工具(例如,内窥镜、支气管镜等)以及矫形介入工具(例如,克氏针(K-wire)和螺丝刀);
(4)术语“OSS传感器”宽泛地涵盖如在本公开的领域中已知以及在下文中构想的被结构地配置用于提取光纤的高密度应变测量结果的光纤,所述测量结果是根据发射到光纤中并且传播通过光纤并且在传播的光的相反方向在光纤内反射回来和/或在传播的光的方向上从光纤透射的光而导出的。OSS传感器的范例包括,但不限于:在光频域反射计(OFDR)的原理下结构地配置的光纤,其用于经由光纤内的受控的光栅图案(例如,光纤布拉格光栅)、光纤的特征反向散射(例如,瑞利背向散射)或者嵌入、蚀刻、压印或者以其他方式形成在光纤中的(一个或多个)反射节点元件和/或(一个或多个)透射节点元件的任何其他布置来提取光纤的高密度应变测量结果,所述测量结果是根据被发射到光纤中并且传播通过所述光纤并且在传播的光的相反方向上在所述光纤内反射回来和/或在传播的光的方向上从光纤透射的光而导出的;
(5)短语“介入工具和OSS传感器的集成”宽泛地涵盖如在本公开的领域中理解和示范性描述的介入工具和OSS传感器到介入设备中的任何类型的组合、毗连、附接、安装、插入、混合或者以其他方式集成。这样的集成的范例包括但不限于OSS传感器在导管的通道内的固定插入以及包含OSS传感器的导丝;
(6)术语“OSS透视缩短检测系统”宽泛地涵盖如本公开的领域中已知并且在下文中构想的利用在包含本公开的创造性原理的介入流程中的所有透视缩短监测系统,其用于实现光学形状感测(OSS)技术以检测所述介入设备的图像内的介入设备的透视缩短的任何发生的位置;
(7)术语“OSS透视缩短方法”宽泛地涵盖如本公开的领域中已知并且在下文中构想的利用在包含本公开的创造性原理的介入流程中的所有透视缩短监测方法,其用于实现光学形状感测(OSS)技术以检测所述介入设备的图像内的介入设备的透视缩短的任何发生的位置;
(8)术语“控制器”宽泛地涵盖用于控制与如随后在本公开中示范性描述的检测介入设备的图像内的介入设备的透视缩短的位置相关的本公开的各种创造性原理的应用的专用主板或专用集成电路的所有结构配置。所述控制器的结构配置可以包括但不限于:(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)接口、(一个或多个)总线、(一个或多个)槽以及(一个或多个)端口。本文中用于术语“控制器”的标签“OSS形状”和“OSS透视缩短”出于识别的目的将具体控制器与在本文中所描述和要求保护的其他控制器区分开,而不指定或暗示对术语“控制器”的任何额外限制。
(9)术语“应用模块”宽泛地涵盖包括用于执行特定应用的电路和/或可执行程序(例如,被存储在(一个或多个)非瞬态计算机可读介质上的可执行软件和/或固件)的控制器的部件。本文中用于属于“模块”的标签“形状重建”、“透视缩短检测器”和“透视缩短管理器”出于识别的目的将具体模块与在本文中所描述和要求保护的其他模块区分开,而不指定或暗示对术语“应用模块”的任何额外限制;并且
(10)术语“信号”、“数据”和“命令”宽泛地涵盖如在本公开的领域中理解并且如在本公开中示范性描述的用于通信支持如随后在本公开中所描述的本公开的各种创造性原理的信息和/或指令的所有形式的可检测物理量或脉冲(例如,电压、电流或磁场强度)。本公开的各部件之间的信号/数据/命令通信可以涉及如在本公开的领域中已知并且在下文中构想的任何通信方法,包括但不限于:通过任何类型的有线或无线介质/数据链路的信号/数据/命令发射/接收以及被上传到计算机可用/计算机可读存储介质的信号/数据/命令的读取。
结合附图阅读本公开的发明的各种实施例的以下详细描述,本公开的发明的前述实施例和其他实施例以及本公开的发明的各种特征和优点将变得更加显而易见。详细描述和附图仅仅是对本公开的发明的说明而非限制,本公开的发明的范围由权利要求以及其等价方案限定。
附图说明
图1A图示了如本公开的领域中已知的介入设备的X射线图像的示范性横向投影;
图1B图示了如本公开的领域中已知的介入设备的X射线图像的示范性前后投影;
图2A-2C图示了如本公开的领域中已知的OSS传感器的示范性实施例;
图3图示了如本公开的领域中已知的介入设备的示范性实施例;
图4A和4B图示了如本公开的领域中已知的将OSS传感器集成到导丝中的示范性实施例;
图5A和5B图示了如本公开的领域中已知的将OSS传感器集成到导管中的示范性实施例;
图6图示了根据本公开的创造性原理的OSS透视缩短检测系统的示范性实施例;
图7图示了根据本公开的创造性原理的OSS透视缩短检测系统的示范性实施例;
图8A-8E图示了根据本公开的创造性原理的介入工具的示范性形状重建;
图9A和9B图示了根据本公开的创造性原理的示范性成像面元;
图10A和10B图示了根据本公开的创造性原理的示范性形状变化计算;
图11A和11B图示了根据本公开的创造性原理的示范性节点向量计算;
图12A和12B图示了根据本公开的创造性原理的示范性阿尔法/曲率计算;
图13A-13C图示了根据本公开的创造性原理的示范性透视缩短警告;
图14A-14C图示了根据本公开的创造性原理的示范性透视缩短重新定位推荐;并且
图15A和15图示了根据本公开的创造性原理的示范性配准误差和配准准确度。
具体实施方式
作为对现有透视缩短监测系统、控制器和方法的改进,本公开的发明提供检测何时并且何处透视缩短沿着形状感测的设备的长度发生,并且管理对检测到的透视缩短的适当的响应(例如,报告透视缩短或者推荐成像模态的重新定位以减轻透视缩短)。
为了促进本公开的各种发明的理解,图2A-5B的以下描述教导如本公开的领域中已知的具有介入工具和OSS传感器的集成的介入设备。根据该描述,本领域技术人员将意识到,根据本公开的创造性原理的可应用于对介入设备在解剖区域内的导航的OSS透视缩短检测的介入设备的各种和许多实施例。请注意,如在图2A-5B中示出的本公开的部件未按比例进行绘制,而是被绘制为概念地支持本公开的创造性原理。
参考图2A,可应用于本公开的发明的OSS传感器20包括作为单芯光纤(例如,如在图2B中示出的具有单个芯22的光纤21a)或多芯光纤(例如,如在图2C中示出的具有多个芯22b-22d的多芯光纤21b)的光纤21。光纤21的芯具有受控的光栅图案(例如,光纤布拉格光栅)、特征背向散射(例如,瑞利背向散射)或者在光纤21中嵌入、蚀刻、压印或者以其他方式形成的反射元件和/或透射元件的任何其他布置。在实践中,受控的光栅、特征背向散射或反射/透射元件形式的OSS节点可以沿着光纤21的任何部分或整体延伸,如由从近端21p延伸到远端21d的虚线22象征性所示的。同样地,在实践中,OSS传感器20可以包括两个(2)或更多个体光纤21,其可以是螺旋形的或者可以不是螺旋形的。
在实践中,OSS传感器20的光纤21可以部分地或整体地由任何玻璃、二氧化硅、磷酸盐玻璃或其他玻璃制成,或者由玻璃和塑料或者由塑料制成,或者由用于制造光纤的其他材料制成。为了在经由手动或机器人插入而引入到患者解剖结构中时防止对OSS传感器20的任何损坏,OSS传感器20的光纤21可以如在本领域中已知的那样通过保护套被永久地围绕。
在实践中,所述保护套可以由具有特定硬度的任何柔性材料制成,所述材料包括,但不限于:尼龙弹性体、镍钛合金、分束管和绞合金属管。同样地,在实践中,所述保护套可以包括具有相同或不同程度的柔性和硬度的两个或更多个管状部件,这些部件具有交叠和/或顺序的布置。
OSS传感器20还可以包括用于将光纤21连接到另一光纤的光学连接器23、发射器或光源(例如,光学积分器),如将在本公开中进一步描述的。
参考图3,本公开的发明在OSS传感器20与一个或多个介入工具30的集成41的前提下,配置介入设备40用于执行涉及对介入设备40在一个或多个解剖区域(例如,心血管系统的心脏和血管、呼吸系统的气道和肺、消化系统的胃和肠以及肌肉骨骼系统的孔膛)内的导航的介入流程。
介入工具30的范例包括但不限于:血管介入工具(例如,导丝、导管、支架鞘管、球囊、粥样斑切除导管、IVUS成像探头、部署系统等)、腔内介入工具(例如,内窥镜、支气管镜等)以及矫形介入工具(例如,克氏针(K-wire)和螺丝刀)。
在实践中,OSS传感器20与介入工具30的集成可以在适合于具体介入流程的任何配置中。
此外,在实践中,介入设备40的近端设备节点42p可以是OSS传感器20的近端OSS节点22p。备选地,介入设备40的近端设备节点42p可以是经由如在本公开的领域中已知的近端OSS节点22p与近端工具节点32p之间的机械关系映射或基于形状模板的映射而被映射到OSS传感器20的近端OSS节点22p的近端工具节点32p。
类似地,在实践中,介入设备40的远端设备节点42d可以是OSS传感器20的远端OSS节点22d。备选地,介入设备40的远端设备节点42d可以是经由如在本公开的领域中已知的远端OSS节点22d与远端工具节点32d之间的机械关系映射或基于形状模板的映射而被映射到OSS传感器20的远端OSS节点22d的远端工具节点32d。
例如,图4A图示了被轴向地嵌入在导丝30a内以配置如在本公开的领域中已知的OSS导丝40a形式的介入设备40的OSS传感器20,而图4B图示了被非轴向地嵌入在导丝30b内以配置如在本公开的领域中已知的OSS导丝40b形式的介入设备40的OSS传感器20。OSS导丝40a和OSS导丝40b可以被包含到涉及导丝的使用的任何介入流程中,由此,OSS导丝40a和OSS导丝40b可以根据需要在解剖区域内经由如在本公开的领域中已知的OSS传感器20的形状重建能力而被导航。
通过另外的范例,图5A图示了被暂时地或永久地插入在导管30c的通道内以配置如在本公开的领域中已知的通用导管40c形式的介入设备40的OSS传感器20,而图4B图示了被暂时地或永久地插入在导管30c的通道内以配置如在本公开的领域中已知的通用导管40d形式的介入设备40的OSS导丝40b(图4B)。通用导管40c和通用导管40d可以被包含到涉及导管30c的工作通道31c的使用的任何介入流程中,由此,通用导管40c和通用导管40d可以根据需要在(一个或多个)解剖区域内经由如在本公开的领域中已知的OSS传感器20的形状重建能力而被导航。
仍然参考图5A和5B,通用导管40c和通用导管40d可以还采用轮毂50,轮毂50用于促进如在本公开的领域中已知的通用导管40c和通用导管40d在解剖区域内的导航。如将在本公开中进一步描述的,在实践中,轮毂50可以包括发光二极管51、振动电机52和/或取向模板53,发光二极管51用于提供根据本公开的创造性原理的被附接到轮毂50的介入设备的OSS监测的视觉反馈,振动电机52用于提供根据本公开的创造性原理的被附接到轮毂50的介入设备的OSS监测的触觉反馈,取向模板53用于促进根据本公开的创造性原理的被附接到轮毂50的介入设备的扭转性度量的生成。
返回参考图3,尽管近端OSS节点22p被示为位于OSS传感器20的近端21p内并且远端OSS节点22d被示为位于OSS传感器20的远端21d内,但是在实践中,近端OSS节点22p和远端OSS节点22d可以位于OSS传感器20的配置内的任何地方,仅受近端OSS节点22p的位置比远端OSS节点22d的位置更靠近OSS传感器20的近端21p限制。
类似地,尽管近端工具节点32p被示为位于介入工具30的近端31p内并且远端工具节点32d被示为位于介入工具30的远端31d内,但是在实践中,近端工具节点32p和远端工具节点32d可以位于介入工具30的配置内的任何地方,仅受近端工具节点32p的位置比远端工具节点32d的位置更靠近介入工具30的近端31p限制。
更具体地,参考图4A和4B,介入工具40a和介入工具40b两者都具有如针对具体介入流程而指定的位于近端21p/31p与远端21d/31d之间的近端设备节点(未示出)(例如,图3的近端设备节点41p)和远端设备节点(未示出)(例如,图3的远端设备节点41)。例如,近端设备节点可以位于介入设备40a的近端原点处或附近,而远端设备节点可以位于介入设备40a的远端尖端处或附近。类似地,近端设备节点可以位于介入设备40b的近端原点处或附近,而远端设备节点可以位于介入设备40b的远端尖端处或附近。
此外,参考图5A和5B,通用导管40c和通用导管40d两者都具有如针对具体介入流程而指定的位于近端21p/31p与远端21d/31d之间的近端设备节点(未示出)(例如,图3的近端设备节点41p)和远端设备节点(未示出)(例如,图3的远端设备节点41)。例如,近端设备节点可以位于通用导管40c的轮毂50处或附近,而远端设备节点可以位于通用导管40c的远端尖端处或附近。类似地,近端设备节点可以位于通用导管40d的轮毂50处或附近,而远端设备节点可以位于通用导管40d的远端尖端处或附近。
为了促进对本公开的发明的进一步理解,图6和7的以下描述教导用于检测何时并且何处透视缩短沿着形状感测的设备的长度发生并且用于管理对检测到的透视缩短的适当的响应(例如,报告透视缩短或者推荐减轻透视缩短的成像模态的重新定位)的OSS透视缩短检测系统、控制器和方法的基本创造性原理。根据图6和7的该描述,本领域普通技术人员将意识到如何应用本公开的创造性原理以实践根据本公开的创造性原理的OSS透视缩短检测系统、控制器和方法的许多和各种实施例。
参考图6,本公开的OSS透视缩短检测系统采用介入设备40(图2)、成像系统60和包括被安装在工作站110上的OSS形状控制器90和OSS透视缩短控制器100的OSS透视缩短检测设备80。OSS透视缩短检测系统提供俯卧或以其他方式躺在患者床PB上的患者P的(一个或多个)解剖区域(例如,心血管系统的心脏和血管、呼吸系统的气道和肺、消化系统的胃和肠以及肌肉骨骼系统内的孔膛)内的介入设备40的任何折叠和任何扭转的检测。
在实践中,介入设备40包括如先前在本公开中结合图2-5B所描述的介入OSS传感器20与一个或多个介入工具30的集成。例如,介入设备40可以是OSS导丝40a(图4A)、OSS导丝40b(图4B)、通用导管40c(图5A)以及通用导管40d(图5B)。
在实践中,成像系统60可以实现用于生成患者P的(一个或多个)解剖区域的(一幅或多幅)体积图像的任何类型的成像模态(例如,X射线系统、MRI系统、CT系统、超声系统等)。
在实践中,OSS形状控制器90和OSS透视缩短控制器100可以实现根据本公开的创造性原理的用于透视缩短患者P的(一个或多个)解剖区域内的介入设备40的导航的检测的硬件、软件、固件和/或电子电路的任何布置。
在一个实施例中,OSS形状控制器90和OSS透视缩短控制器100可以包括经由一个或多个系统总线互连的处理器、存储器、用户接口、网络接口和存储装置。
处理器可以是如在本公开的领域中已知或者在下文中构想的能够执行被存储在存储器或存储装置中的指令或者要不然处理数据的任何硬件设备。在非限制性范例中,处理器可以包括微处理器、现场可编程门阵列(FPGA)、专用电路(ASIC)或者其他类似的设备。
存储器可以包括如在本公开的领域中已知或者在下文中构想的各种存储器,包括但不限于L1、L2或L3高速缓存或系统存储器。在非限制性范例中,存储器可以包括静态随机存取存储器(SRAM)、动态RAM(DRAM)、闪存、只读存储器(ROM)或者其他类似的存储器设备。
操作者接口可以包括如在本公开的领域中已知或者在下文中构想的用于实现与诸如管理员的用户进行通信的一个或多个设备。在非限制性范例中,操作者接口可以包括可以经由网络接口被呈现给远程终端的命令行接口或图形用户接口。
网络接口可以包括如在本公开的领域中已知或者在下文中构想的用于实现与其他硬件设备进行通信的一个或多个设备。在非限制性范例中,网络接口可以包括被配置为根据以太网协议进行通信的网络接口卡(NIC)。另外,网络接口可以实现用于根据TCP/IP协议进行通信的TCP/IP堆栈。用于网络接口的各种备选的或额外的硬件或配置将是显而易见的。
存储装置可以包括如在本公开的领域中已知或者在下文中构想的一个或多个机器可读存储介质,包括但不限于:只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备或类似的存储介质。在各种非限制性实施例中,存储装置可以存储用于由处理器执行的指令或者处理器可以对其进行操作的数据。例如,存储装置可以存储用于控制硬件的各种基本操作的基本操作系统。存储装置还可以以可执行软件/固件的形式来存储一个或多个应用模块。
更特别地,仍然参考图6,OSS形状控制器90的应用模块是用于响应于形状感测数据72而重建介入工具40的形状的部分或整体的形状重建器91,如本公开的领域中已知并且在本公开中进一步示范性描述的。
此外,OSS透视缩短控制器100的应用模块包括透视缩短检测器101和/或透视缩短管理器102,透视缩短检测器101用于根据本公开的创造性原理来检测介入设备40在患者P的(一个或多个)解剖区域内的任何折叠,如将在本公开中进一步示范性描述的,透视缩短管理器102用于根据本公开的创造性原理来检测介入设备40在患者P的(一个或多个)解剖区域内的任何扭转,如将在本公开中进一步示范性描述的。
在实践中,OSS透视缩短控制器100可以包括用于检测介入设备40的图像内的介入设备40的透视缩短的发生的位置的透视缩短检测器101,由此,透视缩短检测根据由形状重建器91对介入设备的形状的部分/整体的重建导出,如在本公开中将进一步解释的。
而且在实践中,OSS透视缩短控制器100可以包括透视缩短管理器102,以用于管理对本公开中的介入设备40的图像内的介入设备40的透视缩短的发生的位置的检测的适当的响应。
仍然参考图6,工作站110包括监测器111、键盘112和计算机113的已知布置。
在实践中,OSS透视缩短检测设备80可以被备选地或同时地安装在其他类型的处理设备(包括但不限于平板电脑或者能由工作站和平板电脑访问的服务器)上,或者可以跨支持涉及介入设备40的介入流程的执行的网络被分布。
而且在实践中,OSS形状控制器90和OSS透视缩短控制器100可以是OSS透视缩短检测设备80的集成部件、分离部件或者逻辑划分部件。
仍然参考图6,在操作中,成像系统60在术前和/或术中生成体积图像数据VID 61,以便显示患者P的(一个或多个)对象解剖区域的体积图像。体积图像数据VID 61被传递给OSS透视缩短检测设备80(例如,体积图像数据VID 61的串流或上传),由此,OSS形状控制器90可以控制介入设备40的重建形状在患者P的(一个或多个)解剖区域的体积图像上的叠加显示,如在本公开的领域中已知的。例如,图6图示了在监测器111上的介入设备40的重建形状在患者P的脉管系统的体积图像上的叠加显示。
介入设备40从起始点51向远端延伸,起始点51邻接于患者床PB的轨道,如所示的,或者备选地邻接于患者床PB旁边的推车(未示出),或者备选地邻接于工作站(例如,工作站100或平板电脑(未示出))。光纤50从起始点51向近端延伸到光学积分器71。在实践中,光纤50可以是在起始点51处被连接到介入设备40的OSS传感器20的单独的光纤,或者是延伸通过起始点51的OSS传感器20的近端延伸。
如在本公开的领域中已知的,OSS控制器70控制光学询问器71经由光纤50向OSS传感器20周期性发射光,由此,光传播通过OSS传感器20到介入设备40的远端尖端,以由此生成形状感测数据72,形状感测数据72指示介入设备40相对于用作固定参考位置的起始点51的形状。在实践中,OSS传感器20的远端可以是闭合的,特别是对于OSS传感器20的光反射实施例;或者可以是打开的,特别是对于OSS传感器20的光透射实施例。
OSS传感器控制器70控制如在本公开的领域中已知的形状感测数据72的时间帧序列到OSS形状控制器90的传递。更具体地,每个帧包括OSS传感器20的应变传感器(例如,光纤布拉格光栅或瑞利背向散射)的单个询问循环,由此,形状重建器91如在本公开的领域中已知的那样在时间帧的基础上重建OSS传感器20的形状,这提供了根据OSS传感器20与(一个或多个)介入设备30的特定集成导出的介入设备40的形状的部分或整体的重建。
在实践中,形状重建器91可以实施如在本公开的领域中已知的用于重建介入设备40的形状的部分或整体的任何重建技术。
在一个重建实施例中,形状重建器91在与光学询问器71相对应的坐标系内在时间帧的基础上经由形状感测数据72执行对介入设备40的形状的部分或整体的姿态的描绘。
在第二重建实施例中,形状重建器91执行光学询问器71的坐标系到成像系统60的坐标系的配准,由此,形状重建器91可以在成像系统60的坐标系内在时间帧的基础上经由形状感测数据72来定位和取向介入设备40的形状的部分或整体的描绘。
图7图示了表示由图6的OSS透视缩短检测系统实现的本公开的OSS透视缩短检测方法的流程图120。
参考图6和7,流程图120的阶段S122涵盖响应于如本公开的领域中已知的形状感测数据而重建介入工具40的形状的部分或整体的形状重建器91。
在一个示范性实施例中,如在图8A中所示,形状重建器91可以重建近端40p与远端40d之间的介入工具40的整个形状。对于该范例,介入工具40可以是OSS导丝。
在第二示范性实施例中,如在图8B中所示,形状重建器91可以重建近端设备节点42p与远端设备节点42d之间的介入工具40的部分。对于该范例,介入工具40可以采用在近端40p与远端30d之间延伸的OSS导丝,并且还可以采用在近端设备节点42p与远端设备节点42d之间延伸的轮毂导管。
在第三示范性实施例中,如在图8C中所示,形状重建器91可以重建中间设备节点40i与远端设备节点42d之间的介入工具40的部分,其中,中间设备节点40i被识别为解剖区域AR的进入点处的节点,如本公开的领域中已知的。
在第四示范性实施例中,如在图8D中所示,形状重建器91可以重建中间设备节点40i与远端设备节点42d之间的介入工具40的部分,其中,中间设备节点40i被识别为介入工具40的图像62的进入点处的节点,如本公开的领域中已知的。对于该实施例,介入工具40的图像62可以出于将介入工具40配准到成像模态60的目的仅具有介入工具40,或者出于经由监测器111可视化介入流程的目的具有解剖区域内的配准的介入工具40。
在第五示范性实施例中,如在图8E中所示,形状重建器91可以重建近端工具节点40pt与远端工具节点40dt之间的介入工具40的部分,其围绕治疗设备33(例如,球囊、支架、移植物等)。
返回参考图6和7,流程图120的阶段S124涵盖透视缩短检测器101执行用于检测介入设备40的图像中的介入设备40的透视缩短的发生的位置的一个或多个例程。
在S124的一个示范性实施例中,透视缩短检测器101执行图像面元例程,涉及将介入设备40的图像分割为面元,由此,OSS传感器20的每个形状节点被分配给面元。在实践中,图像面元可以通过M x M像素分割、M x N像素分割、或者N x M像素分割实现,其中,M≥1并且N≥1。
对于该图像面元例程,具有最高数目的形状节点的(一个或多个)面元是用于透视缩短的候选。如果透视缩短检测器101确定介入工具40的特定平面视图图示了指示该平面视图内的介入工具40的透视缩短的介入工具40的形状,那么透视缩短检测器101将(一个或多个)透视缩短候选面元识别为介入设备40的对应图像中的介入设备40的透视缩短的发生的(一个或多个)位置。
例如,图9A和9B图示了将介入设备40的相应图像130和131面元划分为8x 8像素分割。面元B1和B4-B8包含不超过三个(3)形状节点,而面元B2和B3包含四个(4)形状节点。这样一来,面元B2和B3是用于透视缩短的候选。介入工具40的形状是如图9A中示出的图像130中的曲线(特别地面元B2和B2处的弯曲),并且因此透视缩短检测器101将不检测图像130内的介入工具40的透视缩短的任何发生。通过比较,介入工具40的形状在图像131中是线性的,如在图9B中所示,并且透视缩短检测器101因此检测对应于面元B2和B3的位置处的图像131内的介入工具40的透视缩短。
返回参考图6和7,在S124的第二示范性实施例中,透视缩短检测器101执行形状变化例程,其涉及沿着介入工具40的重建部分/整个形状的形状变化的计算。在实践中,透视缩短检测器101可以实现如本公开的领域中已知的任何类型的形状变化例程,包括但不限于主成分分析(PCA)。
对于该形状变化例程,具有最高形状变化的介入工具40上的重建部分/整个形状的(一个或多个)分段是用于介入工具40的线性形状的(一个或多个)平面视图中的透视缩短的候选。如果透视缩短检测器101确定介入工具40的特定图像图示介入工具40的线性形状,那么透视缩短检测器101将具有最高形状变化的介入工具40上的重建部分/整个形状的(一个或多个)分段识别为介入工具40的该特定对应图像中的介入设备40的透视缩短的发生的(一个或多个)位置。
例如,基于PCA,图10A图示了具有最高形状变化VARH的形状节点P1PCA与P2PCA之间的分段,并且因此,如在图10B中所示,透视缩短检测器101检测对应于形状节点P1PCA与P2PCA之间的分段的位置处的图像131内的介入工具40的线性形状的透视缩短。
返回参考图6和7,在S124的第三示范性实施例中,透视缩短检测器101执行形状节点向量例程,其涉及介入工具40的重建部分/整个形状的形状的每个形状节点的向量的计算。对于该形状节点向量例程,具有其他向量的相同方向上的最小幅度的形状节点的(一个或多个)分段可以是用于介入工具40的图像中的透视缩短的候选。
例如,图11A图示了介入工具40的图像130内的具有相同幅度和不同方向的向量V1、V2和V3的计算。因此,透视缩短检测器101将不检测图像130内的介入工具40的透视缩短。通过比较,图11B图示了常规工具40的图像131内的具有不同幅度和相同方向的向量V1和V4的计算。因此,透视缩短检测器101将检测向量V4和等效相邻向量的位置处的分段的图像130内的介入工具40的透视缩短。
返回参考图6和7,在S124的第四示范性实施例中,透视缩短检测器101执行分段阿尔发和曲率例程,其涉及沿着介入工具40的重建部分/整个形状的阿尔发和曲率的计算。在实践中,透视缩短检测器101可以实现如本公开的领域中已知的任何类型的阿尔发和曲率例程。
对于该阿尔发/曲率例程,具有最高阿尔发/曲率的介入工具40上的重建部分/整个形状的(一个或多个)分段是用于介入工具40的线性形状的(一个或多个)平面视图中的透视缩短的候选。如果透视缩短检测器101确定介入工具40的特定图像图示介入工具40的线性形状,那么透视缩短检测器101将具有最高阿尔发/曲率的介入工具40上的重建部分/整个形状的(一个或多个)分段识别为介入工具40的该特定对应图像中的介入设备40的透视缩短的发生的(一个或多个)位置。
例如,图12A图示了具有最高形状变化VARH的形状节点P1PA与P2C之间的分段,并且因此,如在图12B中所示,透视缩短检测器101检测对应于形状节点P1C与P2C之间的分段的位置处的图像131内的介入工具40的线性形状的透视缩短。
在实践中,对于阶段S124的任何实施例,透视缩短检测器101可以忽略被认为具有与介入工具40的配准或导航的零相关性的单个节点或任何最小节点透视缩短。
返回参考图6和7,如果透视缩短设备101在阶段S124期间未检测到介入工具40的图像内的透视缩短,那么透视缩短设备101从阶段S126返回到阶段S122和S124以执行形状重建/透视缩短检测的新周期。
否则,如果透视缩短设备101在阶段S124期间检测到介入工具40的图像内的透视缩短,那么透视缩短设备101行进到流程图120的阶段S128,其中,透视缩短管理器102表征可以以各种方式传递到透视缩短检测系统的操作者的介入工具40的重建部分/整个形状的检测到的透视缩短。
在阶段S128的一个实施例中,透视缩短管理器102可以管理检测到的透视缩短位置的颜色编码。例如,图13A图示了如本公开的领域中已知的解剖区域内的透视缩短介入设备40的导航的X射线图像132,其中,介入设备40被配准到X射线设备。根据本公开的创造性原理,图13B图示了解剖区域内的透视缩短介入设备40的导航的X射线图像133,其中,介入设备40被配准到X射线设备并且检测到的透视缩短位置F1和F2被颜色编码在介入设备40上。在实践中,介入工具40的检测到的透视缩短位置和非透视缩短位置的颜色可以是任何颜色(例如,检测的透视缩短位置可以具有红色,其中,非透视缩短位置是绿色)。此外在实践中,颜色编码可以涉及检测到的透视缩短位置的闪烁、检测到的透视缩短位置处的介入工具40的增厚、或者形状显示的其他改变。更特别地,关于形状节点向量实施例,每个向量的观察者分量(例如,每个向量中的z分量)的量可以被用于颜色编码检测到的透视缩短位置。该颜色编码还可以跨多个节点平均以使可视化更平滑。
在S127的第二实施例中,透视缩短管理器102可以管理到介入工具40的检测到的透视缩短位置上的叠加。例如,如在图13C中所示,叠加F3和F4被投影到X射线图像134内的介入工具40的检测到的透视缩短位置上。在实践中,叠加还可以是闪烁、具有任何几何形状、是任何图标或以其他方式实现图像内的通知改变。
在阶段S128的第三实施例中,透视缩短管理器102可以向透视缩短检测系统的操作者发出透视缩短在(一个或多个)特定位置处的图像内发生的文本显示和/或听觉警报。
在阶段S128的第四实施例中,透视缩短管理器102可以建议成像模态的重新定位以减轻介入工具40的任何透视缩短。例如,利用X射线模态,透视缩短管理器102可以建议C型臂位置的重新定位以避免透视缩短。在其中存在具有可以或可以不具有透视缩短的多个区段的整个形状的情况下,透视缩短检测系统的操作者可以点击形状的区段(或者叠加区域)并且C型臂可以自动地移动最佳位置以查看形状的该分段。
在阶段S128的第四实施例中,透视缩短管理器102可以显示配准准确度和/或配准误差,如将在本公开中进一步描述的。
仍然参考图6和7,在实践中,透视缩短管理器102可以使得透视缩短检测系统的操作者能够启用/禁用阶段S124的透视缩短检测。例如,透视缩短检测对于治疗设备是重要的,但是可能对于解剖区域内的规则导航是不重要的。额外地或者备选地,透视缩短管理102可以基于介入设备40的具体类型自动地启用/禁用阶段S124的透视缩短。
类似地,透视缩短管理器102可以限制介入设备40的临界区段的透视缩短警报从而减少警报疲劳。例如,透视缩短指示符仅应用于导管的远端部分,或者沿着导管的治疗元件(例如,球囊、支架、移植物等)。透视缩短管理器102可以通过用于透视缩短警告的介入设备40的区域的透视缩短检测系统的操作者促进标记,或者调节自动标记区域,由此,透视缩短指示可以继续沿着设备的整体示出并且在临界区段处强调。
备选地或者结合上文,透视缩短管理器102示出了仅在突出解剖区域(诸如手动/自动描绘病变、血管分支、或扭曲解剖结构)中的警告。透视缩短管理器102可以通过用于透视缩短警告的解剖结构的区域或者自动标记区域的透视缩短检测系统的操作者促进标记,由此,透视缩短指示可以继续贯穿可见解剖结构示出并且在临界区域中强调。
透视缩短管理器102将继续管理透视缩短检测,直到透视缩短已经校正的这样的时间。
为了促进本公开的发明的进一步的理解,图14和15的以下描述教导用于涉及介入工具和成像模态的各种配准流程的示范性透视缩短检测。根据图14和15的该描述,本领域普通技术人员将意识到如何应用本公开的创造性原理以实践许多和各种配准流程,其涉及介入工具和成像模态。
形状到X射线配准。为了将介入设备的3D形状叠加到2D X射线图像上,介入设备的3D形状必须配准到图像模态。该配准被分解为两个主要分量。
第一分量是形状到等中心点(S2Iso):将形状配准到C型臂的等中心点。
第二分量是视角矩阵(P):将形状配准到C型臂的视角(例如,AP或横向视图)。
其原始空间中的介入设备的3D形状到X射线图像空间之间的变换然后变为:
形状X射线=P*S2Iso*形状原始
如本公开的领域中已知的配准工作流程要求C型臂机架角中分开至少30度的投影处的两幅X射线图像。例如,图14A和14B中分别示出的X射线图像141和142在C型臂机架角中分开至少30度。该要求降低由于透视缩短造成的不准确配准的可能性,但是在一些情况下可能未消除这样的误差,诸如对称视角、或者设备与其自身交叉的投影。
在实践中,用于透视缩短的候选包括位于平面内的介入设备的分段,因为在某些C型臂机架姿势中这些平面可能表现为线,其中,更接近于X射线源的点模糊沿着相同平面分段的相邻点。根据如本文先前所描述的本公开的创造性原理,在配准期间,这样的候选可以通过位于平面内的聚类分段和OSS数据预测。为了将候选池降低到透视缩短的最高风险处的子集,可以应用消除准则。
在一个实施例中,消除准则可以是将极大地影响配准准确度的最小分段长度。
在第二实施例中,消除准则可以是最小远端分段位置从而仅聚焦于设备的“活动”部分。
在第三实施例中,消除准则可以涉及介入设备的物理相关几何结构(例如,导丝的主纵轴),并且该信息可以被用于以透视缩短的风险预测台架姿势。
在第四实施例中,消除准则可以涉及优先化介入设备的突出部分(例如,治疗和转向元件)。
根据如本文先前所描述的本公开的创造性原理,对透视缩短敏感的介入设备的候选分段然后在配准期间选择性地突出显示。基于该信息,透视缩短检测系统的操作者可以选择机架角以避免透视缩短,或者透视缩短检测系统可以建议这样的角。一旦取得配准图像,透视缩短检测系统可以通过将透视缩短候选的数据库与如从图像分割的介入设备相关来识别透视缩短的实际发生。本公开的透视缩短检测系统可以建议优选的机架角,或者备选地估计由于透视缩短造成的配准误差以允许操作者决定是否采集不同姿势或者重新定位设备。
通用导管配准。针对通用导管的配准在两种情况下发生。第一情况是设备长度的配准(例如,导管、护套、治疗设备等)。第二情况是重要区域的配准(例如,用于治疗设备的开始/停止或其他标记,例如,支架、球囊、阀、IVUS换能器)。
执行该配准的一个方式是使操作者点击X射线图像中的期望点。例如,在用于导管的长度的配准中,操作者将点击导管的末端。然后选择导丝形状上的最近点,并且已知从通用导管轮毂到导丝形状上的该点的长度。类似地,为了识别支架的开始和结束,操作者可以点击X射线图像中的每个点并且选择形状上的最近节点。
理想地,该配准步骤将从单个X射线图像完成。这加速配准并且减少对于患者和内科医师的不必要的辐射曝光。然而,为了根据单拍摄进行该基于点的配准,感兴趣区域不应当具有任何透视缩短。
如果透视缩短存在,例如如图15B的AP视图中所示,当操作者点击X射线图像150中的点时,该点将对应于多个可能的形状点。可以仅通过看到图15A的横向视图中的形状选择校正点。配准的区域中的极端透视缩短能够导致配准的不准确度。
方案是当这发生时向操作者标记。通过看到形状的透视缩短部分(例如,经由颜色编码),其可以知道这是问题并且选择用于配准的不同图像(和C型臂位置)。本公开的透视缩短检测系统可以建议更好的C型臂位置以帮助该步骤。备选地,本公开的透视缩短检测系统可以接受该情况,但是计入透视缩短以向操作者给出预测的配准准确度或者误差(例如+/-2mm)。
参考图1-15,本领域普通技术人员将意识到本公开的许多益处,包括但不限于通过本公开的发明对透视缩短监测系统、控制器和方法的改进,以提供检测何时并且何处透视缩短沿着形状感测的设备的长度发生,并且管理对检测到的透视缩短的适当的响应(例如,报告透视缩短或者推荐成像模态的重新定位以减轻透视缩短)。
此外,如本领域普通技术人员鉴于本文提供的教导将意识到的,在本公开/说明书中描述的、和/或在图中描绘的特征、元件、部件等,均可以被实施为电子部件/电路、硬件、可执行软件与可执行固件的各种组合,并且提供可以被组合在单一元件或多重元件中的功能。例如,可以通过使用专用硬件以及能够与运行合适的软件相关联的软件的硬件,提供在图中示出/图示/描绘的各个特征、元件、部件等的功能。当由处理器提供时,所述功能可以由单个专用处理器、由单个共享处理器或者由多个各自的处理器(其中的一些可以是共享和/或复用的)提供。同样地,术语“处理器”或“控制器”的明确使用不应当被解释为专指能够运行软件的硬件,并且能暗含地包括但不限于:数字信号处理器(“DSP”)硬件、存储器(例如用于储存软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性储存器,等等),以及实质上能够(和/或可配置为)执行和/或控制过程的任意手段和/或机器(包括硬件、软件、固件、电路、其组合,等等)。
此外,在本文中详述本发明的原理、方面及实施例,以及其具体范例的所有记载,均意图涵盖其结构性和功能性的等同。另外地,目的是这样的等同包括目前已知的等同以及未来发展的等同两者(例如所开发的能够执行相同或基本相似的功能的任意元件,而无论其结构)。因此,例如鉴于本文提供的教导,本领域普通技术人员将意识到,在本文中所提供的任意框图均可以表示实现本发明的发明原理的示范性系统部件和/或电路的概念性视图。类似地,鉴于本文提供的教导,本领域普通技术人员应当意识到,任意流程图、作业图等等均能表示各种过程,所述过程基本上能被表示在计算机可读储存介质中,并由具有处理能力的计算机、处理器或其他设备如此运行,而无论是否明确示出这样的计算机或处理器。
此外,本公开的示范性实施例可以采取可从计算机可用和/或计算机可读储存介质访问的计算机程序产品和应用模块的形式,所述储存介质提供由例如计算机或任意指令执行系统使用或与所述计算机或任意指令执行系统连接的程序代码和/或指令。根据本公开,计算机可用或计算机可读储存介质可以为任意这样的设备,所述设备能够(例如)包括、储存、传送、传播或输送由指令运行系统、设备或设备使用或与所述指令运行系统、设备或设备连接的程序。这样的示范性介质可以为,例如电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)或传播介质。计算机可读介质的范例包括,例如半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存(驱动)、刚性磁盘和光盘。光盘的当前范例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和DVD。进一步地,应当理解,以后可能发展出的任何新的计算机可读介质也均应当被视为根据本公开和公开内容的示范性实施例可以使用或涉及到的计算机可读介质。
已经描述了新颖性并且创造性OSS引导和监测系统、控制器和方法的优选的且示范性的实施例(这些实施例意图为图示性而非限制性的),值得注意的是,本领域技术人员在本文提供的教导(包括图)的启示下,可以进行修改和变型。因此要理解,可以对公开的所述优选的且为示范性实施例进行改动,所述改动在本文公开的实施例的范围内。
此外,应当设想到,合并和/或实现所述设备或诸如可以在根据本公开的设备中使用/实现的相应的和/或相关的系统也被设想到和认为是在本公开的保护范围内。此外,用于制造和/或使用根据本公开的设备和/或系统的相应的和/或相关的方法也被设想到并被认为在本公开的保护范围内。
Claims (20)
1.一种OSS透视缩短检测系统,包括:
介入设备(40),其包括OSS传感器(20)和至少一个介入工具(30)的集成,
其中,所述OSS传感器(20)在结构上被配置为生成提供所述OSS传感器(20)的形状的信息的形状感测数据;以及
OSS透视缩短检测设备(80),其包括:
OSS形状控制器(90),其在结构上被配置为控制根据由所述OSS传感器(20)对所述形状感测数据的生成导出的所述介入设备(40)的至少部分的形状的重建,以及
OSS透视缩短控制器(100),其在结构上被配置为控制对所述介入设备(40)在所述介入设备(40)的图像内的任何透视缩短的监测,
其中,所述OSS透视缩短控制器(100)还在结构上被配置为检测根据由所述OSS形状控制器(90)对所述介入设备(40)的所述至少部分的所述形状的所述重建导出的所述介入设备(40)在介入设备(40)的所述图像内的透视缩短的发生的位置。
2.根据权利要求1所述的OSS透视缩短检测系统,
其中,所述介入设备(40)的所述至少部分包括以下中的一项:
所述介入设备(40)的整个形状;
所述介入设备(40)在近端设备节点与远端设备节点之间的分段;
所述介入设备(40)在解剖区域内的分段;
所述介入设备(40)在所述介入设备(40)的所述图像中可见的分段;以及
所述介入设备(40)中支持治疗设备的分段。
3.根据权利要求1所述的OSS透视缩短检测系统,
其中,用于检测所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述OSS透视缩短控制器(100)的结构配置包括以下中的至少一项:
所述OSS透视缩短控制器(100)在结构上被配置为识别所述介入设备(40)的所述部分的重建形状的多个形状节点的图像面元,所述图像面元指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短;
所述OSS透视缩短控制器(100)在结构上被配置为识别所述介入设备(40)的所述至少部分的所述重建形状的形状变化,所述形状变化指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短;
所述OSS透视缩短控制器(100)在结构上被配置为识别所述介入设备(40)的所述至少部分的所述重建形状的相邻形状节点之间的至少一个向量,所述至少一个向量指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短;并且
所述OSS透视缩短控制器(100)在结构上被配置为识别具有指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的阿尔发和曲率的所述介入设备(40)的所述至少部分的所述重建形状的分段。
4.根据权利要求1所述的OSS透视缩短检测系统,
其中,所述介入设备(40)的所述图像图示所述介入设备(40)在解剖区域内的导航;
其中,所述OSS传感器(20)能用于当所述介入设备(40)在所述解剖区域内被导航时生成提供所述OSS传感器(20)的所述形状的信息的所述形状感测数据;并且
其中,所述OSS透视缩短控制器(100)能用于当所述介入设备(40)在所述解剖区域内被导航时检测所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置。
5.根据权利要求4所述的OSS透视缩短检测系统,
其中,所述OSS透视缩短控制器(100)还在结构上被配置为管理对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的检测,包括以下中的至少一项:
所述OSS透视缩短控制器(100)在结构上被配置为管理所述介入设备(40)的透视缩短编码的显示,所述显示指示对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测;
所述OSS透视缩短控制器(100)在结构上被配置为管理透视缩短指示符的叠加的显示,所述显示指示对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测;并且
所述OSS透视缩短控制器(100))在结构上被配置为管理对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测的文本报告和听觉报告中的至少一项。
6.根据权利要求1所述的OSS透视缩短检测系统,
其中,所述OSS透视缩短控制器(100)能用于在所述介入设备(40)与生成提供所述介入设备(40)的所述图像的信息的成像数据的成像模态的配准期间检测所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置。
7.根据权利要求6所述的OSS透视缩短检测系统,
其中,所述OSS透视缩短控制器(100)还在结构上被配置为管理对所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的检测,包括以下中的至少一项:
所述OSS透视缩短控制器(100)在结构上被配置为管理所述介入设备(40)的透视缩短编码的显示,所述显示指示对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测;
所述OSS透视缩短控制器(100)在结构上被配置为管理透视缩短指示符的叠加的显示,所述显示指示对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测;并且
所述OSS透视缩短控制器(100)在结构上被配置为确定所述成像模态相对于所述介入设备(40)的至少一个重新定位,以减轻所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生;
所述OSS透视缩短控制器(100)在结构上被配置为基于对所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测来估计配准误差和配准准确度中的至少一项;并且
所述OSS透视缩短控制器(100))在结构上被配置为管理以下中的至少一项的文本报告和听觉报告中的至少一项:所述成像模态相对于所述介入设备(40)的所确定的重新定位;以及所述配准误差和所述配准准确度中的所述至少一项的估计。
8.根据权利要求1所述的OSS透视缩短检测系统,
其中,所述介入工具是以下中的一项:血管介入太多、腔内介入工具和矫形介入工具。
9.一种用于介入设备(40)的OSS透视缩短检测设备(80),所述介入设备包括OSS传感器(20)和至少一个介入工具(30)的集成,所述OSS传感器(20)用于生成提供所述OSS传感器(20)的形状的信息的形状感测数据,所述OSS透视缩短检测设备(80)包括:
OSS形状控制器(90),其在结构上被配置为控制根据由所述OSS传感器(20)对所述形状感测数据的生成导出的所述介入设备(40)的至少部分的形状的重建;以及
OSS透视缩短控制器(100),其在结构上被配置为控制对所述介入设备(40)在所述介入设备(40)的图像内的任何透视缩短的监测,
其中,所述OSS透视缩短控制器(100)还在结构上被配置为检测根据由所述OSS形状控制器(90)对所述介入设备(40)的所述形状的至少所述部分的所述重建导出的所述介入设备(40)在介入设备(40)的所述图像内的透视缩短的发生的位置。
10.根据权利要求9所述的OSS透视缩短检测设备(80),
其中,所述介入设备(40)的所述至少部分包括以下中的一项:
所述介入设备(40)的整个形状;
所述介入设备(40)在近端设备节点与远端设备节点之间的分段;
所述介入设备(40)在解剖区域内的分段;
所述介入设备(40)在所述介入设备(40)的所述图像中可见的分段;以及
所述介入设备(40)中支持治疗设备的分段。
11.根据权利要求9所述的OSS透视缩短检测设备(80),
其中,用于检测所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述OSS透视缩短控制器(100)的结构配置包括以下中的至少一项:
所述OSS透视缩短控制器(100)在结构上被配置为识别所述介入设备(40)的所述部分的重建形状的多个形状节点的图像面元,所述图像面元指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短;
所述OSS透视缩短控制器(100)在结构上被配置为识别所述介入设备(40)的所述至少部分的所述重建形状的形状变化,所述形状变化指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短;
所述OSS透视缩短控制器(100)在结构上被配置为识别所述介入设备(40)的所述至少部分的所述重建形状的相邻形状节点之间的至少一个向量,所述至少一个向量指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短;并且
所述OSS透视缩短控制器(100)在结构上被配置为识别具有指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的阿尔发和曲率的所述介入设备(40)的所述至少部分的所述重建形状的分段。
12.根据权利要求9所述的OSS透视缩短检测设备(80),
其中,所述介入设备(40)的所述图像图示所述介入设备(40)在解剖区域内的导航;
其中,所述OSS传感器(20)能用于当所述介入设备(40)在所述解剖区域内被导航时生成提供所述OSS传感器(20)的所述形状的信息的所述形状感测数据;并且
其中,所述OSS透视缩短控制器(100)能用于当所述介入设备(40)在所述解剖区域内被导航时检测所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置。
13.根据权利要求12所述的OSS透视缩短检测设备(80),
其中,所述OSS透视缩短控制器(100)还在结构上被配置为管理对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的检测,包括以下中的至少一项:
所述OSS透视缩短控制器(100)在结构上被配置为管理所述介入设备(40)的透视缩短编码的显示,所述显示指示对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测;
所述OSS透视缩短控制器(100)在结构上被配置为管理透视缩短指示符的叠加的显示,所述显示指示对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测;并且
所述OSS透视缩短控制器(100))在结构上被配置为管理对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测的文本报告和听觉报告中的至少一项。
14.根据权利要求9所述的OSS透视缩短检测设备(80),
其中,所述OSS透视缩短控制器(100)能用于在所述介入设备(40)与生成提供所述介入设备(40)的所述图像的信息的成像数据的成像模态的配准期间检测所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置。
15.根据权利要求14所述的OSS透视缩短检测设备(80),
其中,所述OSS透视缩短控制器(100)还在结构上被配置为管理对所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的检测,包括以下中的至少一项:
所述OSS透视缩短控制器(100)在结构上被配置为管理所述介入设备(40)的透视缩短编码的显示,所述显示指示对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测;
所述OSS透视缩短控制器(100)在结构上被配置为管理透视缩短指示符的叠加的显示,所述显示指示对所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测;并且
所述OSS透视缩短控制器(100)在结构上被配置为确定所述成像模态相对于所述介入设备(40)的至少一个重新定位,以减轻所述介入设备(40)在所述介入设备(40)的所述图像内的所述透视缩短的所述发生;
所述OSS透视缩短控制器(100)在结构上被配置为基于对所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的所述发生的所述位置的所述检测来估计配准误差和配准准确度中的至少一项;并且
所述OSS透视缩短控制器(100))在结构上被配置为管理以下中的至少一项的文本报告和听觉报告中的至少一项:所述成像模态相对于所述介入设备(40)的所确定的重新定位;以及所述配准误差和所述配准准确度中的所述至少一项的估计。
16.一种用于介入设备(40)的OSS透视缩短检测方法,所述介入设备包括OSS传感器(20)和至少一个介入工具(30)的集成,所述OSS传感器(20)用于生成提供所述OSS传感器(20)的形状的信息的形状感测数据,所述OSS透视缩短检测方法包括:
所述OSS传感器(20)生成提供所述OSS传感器(20)的形状的信息的形状感测数据;
OSS透视缩短检测设备(80)控制根据由OSS传感器(20)对所述形状感测数据的生成导出的所述介入设备(40)的至少部分的形状的重建;并且
所述OSS透视缩短检测设备(80)还控制对所述介入设备(40)在所述介入设备(40)的图像内的任何透视缩短的监测,包括OSS透视缩短控制器(100)检测根据由所述OSS形状控制器(90)对所述介入设备(40)的所述至少部分的所述形状的所述重建导出的所述介入设备(40)在介入设备(40)的所述图像内的透视缩短的任何发生的位置。
17.根据权利要求16所述的OSS透视缩短检测方法,其中,所述介入设备(40)的所述至少部分包括以下中的一项:
所述介入设备(40)的整个形状;
所述介入设备(40)在近端设备节点与远端设备节点之间的分段;
所述介入设备(40)在解剖区域内的分段;
所述介入设备(40)在所述介入设备(40)的所述图像中可见的分段;以及
所述介入设备(40)中支持治疗设备的分段。
18.根据权利要求16所述的OSS透视缩短检测方法,其中,所述OSS透视缩短设备(80)检测根据由所述OSS形状控制器(90)对所述介入设备(40)的所述形状的所述重建导出的所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的任何发生的所述位置包括:
所述OSS透视缩短控制器(100)执行以下中的至少一项:
识别所述介入设备(40)的所述部分的重建形状的多个形状节点的图像面元,所述图像面元指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短;
识别所述介入设备(40)的所述至少部分的所述重建形状的形状变化,所述形状变化指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短;
识别所述介入设备(40)的所述至少部分的所述重建形状的相邻形状节点之间的至少一个向量,所述至少一个向量指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短;并且
识别具有指示所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的阿尔发和曲率的所述介入设备(40)的所述至少部分的所述重建形状的分段。
19.根据权利要求16所述的OSS透视缩短检测方法,
其中,当所述介入设备(40)在解剖区域内被导航时所述OSS传感器(20)生成提供所述OSS传感器(20)的形状的信息的所述形状感测数据;并且
其中,所述OSS透视缩短设备(80)检测根据由所述OSS形状控制器(90)对所述介入设备(40)的所述形状的所述重建导出的所述解剖区域内的所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的任何发生的位置。
20.根据权利要求16所述的OSS透视缩短检测方法,
其中,所述OSS透视缩短设备(80)在所述介入设备(40)与生成提供所述介入设备(40)的所述图像的信息的成像数据的成像模态的配准期间检测所述介入设备(40)在介入设备(40)的所述图像内的所述透视缩短的任何发生的位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762478818P | 2017-03-30 | 2017-03-30 | |
US62/478818 | 2017-03-30 | ||
PCT/EP2018/058103 WO2018178248A1 (en) | 2017-03-30 | 2018-03-29 | Oss foreshortening detection systems |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110691553A true CN110691553A (zh) | 2020-01-14 |
Family
ID=61911566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880035646.XA Pending CN110691553A (zh) | 2017-03-30 | 2018-03-29 | Oss透视缩短检测系统、控制器和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11602396B2 (zh) |
EP (1) | EP3600067A1 (zh) |
JP (1) | JP7216655B2 (zh) |
CN (1) | CN110691553A (zh) |
WO (1) | WO2018178248A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3682836A1 (en) * | 2019-01-21 | 2020-07-22 | Koninklijke Philips N.V. | Assisting in moving an insertion element within an object |
JP2022534916A (ja) * | 2019-05-31 | 2022-08-04 | コーニンクレッカ フィリップス エヌ ヴェ | 画像ベースデバイスセグメンテ-ションのためのパッシブ超音波センサベース初期化 |
EP3771435A1 (en) * | 2019-07-31 | 2021-02-03 | Koninklijke Philips N.V. | Passive-ultrasound-sensor-based initialization for image-based device segmentation |
EP3838209A1 (en) * | 2019-12-20 | 2021-06-23 | Koninklijke Philips N.V. | Generating interactive zones for interventional medical devices |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007083048A (ja) * | 2005-09-23 | 2007-04-05 | Mediguide Ltd | 管状臓器の3次元表現決定方法及びシステム |
US20080212082A1 (en) * | 2004-07-16 | 2008-09-04 | Luna Innovations Incorporated | Fiber optic position and/or shape sensing based on rayleigh scatter |
US20080285909A1 (en) * | 2007-04-20 | 2008-11-20 | Hansen Medical, Inc. | Optical fiber shape sensing systems |
CN103179916A (zh) * | 2010-10-27 | 2013-06-26 | 皇家飞利浦电子股份有限公司 | 基于医疗器械的实时形状感测的自适应成像和帧率优化 |
CN104427952A (zh) * | 2012-05-14 | 2015-03-18 | 直观外科手术操作公司 | 用于使用形状感测的变形补偿的系统和方法 |
CN105283115A (zh) * | 2013-05-29 | 2016-01-27 | 奥林巴斯株式会社 | 校正辅助装置、弯曲系统及校正方法 |
WO2016041793A1 (en) * | 2014-09-16 | 2016-03-24 | Koninklijke Philips N.V. | Processing system arranged to cooperate with an optical-shape-sensing-enabled interventional device |
WO2016116825A1 (en) * | 2015-01-22 | 2016-07-28 | Koninklijke Philips N.V. | Endograft visualization with optical shape sensing |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6493575B1 (en) | 1998-06-04 | 2002-12-10 | Randy J. Kesten | Fluoroscopic tracking enhanced intraventricular catheter system |
US6233476B1 (en) * | 1999-05-18 | 2001-05-15 | Mediguide Ltd. | Medical positioning system |
IL169380A0 (en) * | 2005-06-23 | 2007-07-04 | Tsuriel Assis | Method and apparatus for determining the orientation of a device within a tubular lumen |
RU2508907C2 (ru) | 2008-08-11 | 2014-03-10 | Конинклейке Филипс Электроникс Н.В. | Определение перспективных карт оптимального представления с учетом формы поперечного сечения сосуда в сердечно-сосудистых рентгенографических системах |
JP5739812B2 (ja) | 2008-10-10 | 2015-06-24 | コーニンクレッカ フィリップス エヌ ヴェ | 血管造影画像取得装置の作動方法、コリメータ制御ユニット、血管造影画像取得装置及びコンピュータソフトウェア |
CN102458554B (zh) | 2009-06-23 | 2015-09-30 | 皇家飞利浦电子股份有限公司 | 介入期间的设备尺寸测定支持 |
WO2013102880A1 (en) | 2012-01-06 | 2013-07-11 | Koninklijke Philips Electronics N.V. | Real-time display of vasculature views for optimal device navigation |
US20150005745A1 (en) | 2013-06-26 | 2015-01-01 | Corindus, Inc. | 3-d mapping for guidance of device advancement out of a guide catheter |
JP6270499B2 (ja) | 2014-01-21 | 2018-01-31 | オリンパス株式会社 | 内視鏡装置 |
EP3128481B1 (en) | 2015-08-04 | 2019-12-18 | Pie Medical Imaging BV | Method and apparatus to improve a 3d + time reconstruction |
-
2018
- 2018-03-29 US US16/496,571 patent/US11602396B2/en active Active
- 2018-03-29 CN CN201880035646.XA patent/CN110691553A/zh active Pending
- 2018-03-29 WO PCT/EP2018/058103 patent/WO2018178248A1/en unknown
- 2018-03-29 EP EP18716180.7A patent/EP3600067A1/en active Pending
- 2018-03-29 JP JP2019553506A patent/JP7216655B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080212082A1 (en) * | 2004-07-16 | 2008-09-04 | Luna Innovations Incorporated | Fiber optic position and/or shape sensing based on rayleigh scatter |
JP2007083048A (ja) * | 2005-09-23 | 2007-04-05 | Mediguide Ltd | 管状臓器の3次元表現決定方法及びシステム |
US20080285909A1 (en) * | 2007-04-20 | 2008-11-20 | Hansen Medical, Inc. | Optical fiber shape sensing systems |
CN103179916A (zh) * | 2010-10-27 | 2013-06-26 | 皇家飞利浦电子股份有限公司 | 基于医疗器械的实时形状感测的自适应成像和帧率优化 |
CN104427952A (zh) * | 2012-05-14 | 2015-03-18 | 直观外科手术操作公司 | 用于使用形状感测的变形补偿的系统和方法 |
CN105283115A (zh) * | 2013-05-29 | 2016-01-27 | 奥林巴斯株式会社 | 校正辅助装置、弯曲系统及校正方法 |
WO2016041793A1 (en) * | 2014-09-16 | 2016-03-24 | Koninklijke Philips N.V. | Processing system arranged to cooperate with an optical-shape-sensing-enabled interventional device |
WO2016116825A1 (en) * | 2015-01-22 | 2016-07-28 | Koninklijke Philips N.V. | Endograft visualization with optical shape sensing |
Also Published As
Publication number | Publication date |
---|---|
US20210100622A1 (en) | 2021-04-08 |
JP2020515340A (ja) | 2020-05-28 |
US11602396B2 (en) | 2023-03-14 |
JP7216655B2 (ja) | 2023-02-01 |
WO2018178248A1 (en) | 2018-10-04 |
EP3600067A1 (en) | 2020-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3193765B1 (en) | Processing system arranged to cooperate with an optical-shape-sensing-enabled interventional device | |
US7590442B2 (en) | Method for determining the position of an instrument with an x-ray system | |
US8632468B2 (en) | Method, system and devices for transjugular intrahepatic portosystemic shunt (TIPS) procedures | |
JP6693869B2 (ja) | 長手方向エンコーディングを使う装置トラッキング | |
US20080275467A1 (en) | Intraoperative guidance for endovascular interventions via three-dimensional path planning, x-ray fluoroscopy, and image overlay | |
US11602396B2 (en) | OSS foreshortening detection systems, controllers and methods | |
CN109419556A (zh) | 在解剖图像中显示内窥镜的位置和光轴 | |
US20220313367A1 (en) | Insertion device positioning guidance system and method | |
US11887236B2 (en) | Animated position display of an OSS interventional device | |
CN111278381B (zh) | 对定位跟踪的介入设备的自动视场更新 | |
US20200022764A1 (en) | Oss guiding and monitoring systems, controllers and methods | |
US20230005135A1 (en) | Image enhancement based on fiber optic shape-sensing | |
US20240016548A1 (en) | Method and system for monitoring an orientation of a medical object | |
WO2023119296A1 (en) | Insertion device positioning guidance system and method | |
CN110322506A (zh) | 定位体腔的开口 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |