CN118234421A - 用于生成经引导经皮手术的不确定性图的方法和设备 - Google Patents

用于生成经引导经皮手术的不确定性图的方法和设备 Download PDF

Info

Publication number
CN118234421A
CN118234421A CN202280046508.8A CN202280046508A CN118234421A CN 118234421 A CN118234421 A CN 118234421A CN 202280046508 A CN202280046508 A CN 202280046508A CN 118234421 A CN118234421 A CN 118234421A
Authority
CN
China
Prior art keywords
uncertainty
emt
imaging data
probe
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280046508.8A
Other languages
English (en)
Inventor
J·L·戈梅斯达丰赛卡
J·L·阿劳霍马丁斯维拉萨
S·F·蒙泰罗奎罗斯
E·A·罗德里格斯德利马
J·M·努内斯科雷亚平托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kavadu Ave Institute Of Technology
Karl Storz SE and Co KG
Universidade do Minho
Original Assignee
Kavadu Ave Institute Of Technology
Karl Storz SE and Co KG
Universidade do Minho
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kavadu Ave Institute Of Technology, Karl Storz SE and Co KG, Universidade do Minho filed Critical Kavadu Ave Institute Of Technology
Priority claimed from PCT/IB2022/053989 external-priority patent/WO2022229916A1/en
Publication of CN118234421A publication Critical patent/CN118234421A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

经引导经皮不确定性制图设备和方法使用电磁跟踪(EMT)系统在经引导经皮手术期间提供相对于器官的不确定性图的视觉表示,EMT系统包括:EMT场发生器和跟踪器;具有EMT传感器的导管,EMT传感器放置在器官中以标记经皮手术目标;具有EMT传感器的针;以及电子数据处理器,其被配置为实施以下步骤:接收经皮手术目标的指示;从EMT系统接收实时跟踪的导管和针的三维(3D)位置和朝向;估计接收到的针的位置和朝向的不确定性;估计接收到的导管的位置和朝向的不确定性;估计针离开针的当前位置和朝向的轨迹不确定性;生成针对EMT坐标系的所估计的轨迹不确定性和导管不确定性的视觉表示,以显示在用户界面上。

Description

用于生成经引导经皮手术的不确定性图的方法和设备
技术领域
本公开涉及用于生成不确定性图系统的方法和设备,所述不确定性图系统用于在对内脏器官(特别是肾脏)进行经引导经皮手术期间提供不确定性的视觉表示。
背景技术
在经皮手术中,在不损伤附近器官或组织的情况下精确地到达目标部位是人们所期望的结果。提供用于帮助外科医生安全地进行经皮手术入路的工具是本公开要解决的重要需求。特别是,安全地进行至肾脏的经皮手术入路是关注点。
文献WO2018/222751A1公开了使用在处置环节期间获取的不完整或部分图像来引导治疗性放射的递送的系统和方法。例如由于对比度差或低对比度和/或SNR低等原因,部分图像没有足够的信息来确定目标区域的位置。其中描述的辐射通量计算方法不需要了解或计算目标位置,但可以有助于使用任意低SNR图像提供实时图像经引导放射治疗。
文献WO2010/067188A1公开了确定处置参数的方法,包括确定发生运动的目标区域处的累积剂量,确定临界区域处的累积剂量,以及基于确定的目标区域处的累积剂量和确定的临界区域处的累积剂量确定治疗参数,其中,在治疗环节期间进行确定处置参数的行为。一种确定处置参数的方法包括:跟踪目标的位置,基于跟踪的位置向目标递送放射,以及通过使用有关递送剂量的信息来补偿跟踪位置的不准确性,以确定下一次射束递送的处置参数。
披露这些事实是为了示出本公开要解决的技术问题。
发明内容
本公开涉及用于生成不确定性图系统的方法和设备,所述不确定性图系统用于在对内脏器官进行经引导经皮手术期间提供不确定性的视觉表示。
本公开使用利用无障碍实时跟踪系统跟踪的术中图像(通常为US-超声)、以及患者解剖结构的术中成像数据和术前成像数据(例如,通过CT-计算机断层扫描或MRI-磁共振成像获得)的视觉重构,以识别内脏器官(特别是肾脏)和附近器官中的目标和重要解剖结构。
出于在不损伤附近器官/组织的情况下精确地到达目标部位的最终目的,本文提出了一种手术导航方法,该方法创建不确定性图,以帮助外科医生安全地进行经皮入路。该方法用于经皮入路期间的手术导航,该导航基于医学成像和跟踪系统计算虚拟不确定性信息,并将其显示在用户界面上。该方法估计与被跟踪的手术针的路径相关联的不确定性,该不确定性与在试图到达被定义为体内的物理参照物的目标部位的同时碰到附近解剖结构的概率有关。可以通过改变三维(3D)虚拟模型的边界来获得不确定性的表示。针的边界与目标器官以外的其他器官的边界之间是否存在相互作用,定义了到达目标的不安全或安全轨迹。
本公开的主要优点之一是可以使对关注器官(例如肾脏)以外的器官进行穿刺的风险最小化,从而减少与该手术步骤相关联的手术并发症。
本公开的另一优点是促进了对关注器官(例如肾脏)的快速直接穿刺,从而减少了穿刺时间,避免了弯曲穿刺通道的形成,降低了对患者的伤害,并改善了后续手术步骤的临床效果。
此外,通过提供不确定性评估,当结合具有患者解剖结构的术中数据和术前数据的重构的电磁实时跟踪系统的使用时,实施手术的人员可以放心大胆地使用这两种信息来源。
另外,通过提供不确定性评估,实施手术的人员可以获知关于针进展的所有可能结果,从而能够在适当考虑该不确定性的情况下估计可能的针目的地的临床后果。
特别是,实施手术的人员可以估计特定轨迹碰到不期望的器官或身体部位的风险,以便更好地规划穿刺进入点和路径,从而降低回溯针以尝试新的穿刺方向的风险。
所提供的该不确定性评估的视觉表示使外科医生(即实施手术的人员)能够以实用和可感知的方式了解针和患者的临床情况。特别是,基于圆柱体的视觉表示提供了一种整洁的表示,不仅示出了针相对于导管和器官模型的可理解的位置和朝向,还示出了针的目标视线。
公开了一种经引导经皮不确定性制图设备,所述设备使用电磁跟踪(EMT)系统在经引导经皮手术期间提供针对器官的不确定性图的视觉表示,所述EMT系统包括:定义EMT坐标系的EMT场发生器和跟踪器;具有EMT传感器的导管,该EMT传感器放置在所述器官中以标记经皮手术目标;具有EMT传感器的针;以及电子数据处理器,所述电子数据处理器被配置为实施以下步骤:接收经皮手术目标的指示;从EMT系统接收实时跟踪的所述导管和所述针的3D位置和朝向;估计接收到的所述针的位置和朝向的不确定性;估计接收到的所述导管的位置和朝向的不确定性;估计所述针离开所述针的当前位置和朝向的轨迹不确定性;生成相对于所述EMT坐标系的所估计的轨迹不确定性和导管不确定性的视觉表示,以显示在用户界面上。
在用于使用具有EMT传感器的US探头在所述经引导经皮手术期间提供所述不确定性图的视觉表示的实施例中,所述电子数据处理器被配置为预先实施以下校准步骤:使用所述EMT系统跟踪参照物体,所述物体包括在所述物体中具有已知位置的多个参照点;当对所述参照物体进行成像时,从所述US探头接收来自所述参照物体的US成像数据,并且同时从所述EMT系统接收所述US探头的一组3D位置和朝向;在接收到的所述US成像数据中识别所述参照点;通过将接收到的所述US成像数据中的所识别的参照点与EMT坐标系中所跟踪的参照点进行匹配,来计算探头校准变换矩阵和探头校准不确定性;并且其中,所述电子数据处理器被配置为实施以下步骤:从所述EMT系统接收实时跟踪的所述US探头的3D位置和朝向;从所述US探头接收术中US成像数据;利用计算出的所述探头校准变换矩阵对所述术中US成像数据进行变换;估计接收到的所述US探头的位置和朝向的不确定性;通过以误差传播将计算出的所述探头校准不确定性与接收到的所述US探头的位置和朝向的不确定性线性结合,来估计经变换术中US成像数据的不确定性;生成所估计的经变换术中US成像数据的不确定性的视觉表示,以显示在用户界面上。
在实施例中,所述电子数据处理器还被配置为实施以下步骤:加载术前成像数据;将加载的所述术前成像数据配准到所述EMT系统中;估计经配准的术前成像数据的不确定性;生成所估计的经配准的所述术前成像数据的不确定性的视觉表示,以显示在所述用户界面上。
在实施例中,所述电子数据处理器被配置为实施以下步骤:加载所述术前成像数据;从所述EMT系统接收实时跟踪的所述US探头的3D位置和朝向;从所述US探头接收术中US成像数据;将加载的所述术前成像数据与所述术中US成像数据配准;利用计算出的所述探头校准变换矩阵对所述术中US成像数据进行变换;利用计算出的所述探头校准变换矩阵将经配准的所述术前成像数据变换到所述EMT系统;估计接收到的所述US探头的位置和朝向的不确定性;通过以误差传播将计算出的探头校准不确定性与接收到的所述US探头的位置和朝向的不确定性线性结合,来估计经变换的所述术中US成像数据的不确定性;估计经配准的所述术前成像数据的不确定性;通过以误差传播将所估计的经变换的所述术中US成像数据的不确定性与所估计的经配准的所述术前成像数据的不确定性线性结合,来估计相对于所述EMT系统的经配准的术前成像数据的不确定性;生成所估计的经变换的所述术中US成像数据的不确定性的视觉表示,以显示在用户界面上;生成相对于所述EMT系统的所估计的所述术前成像数据的不确定性的视觉表示,以显示在所述用户界面上。
在实施例中,所述术前成像数据包括根据术前MRI或CT图像预先重构的一个或多于一个3D器官模型,并且估计经配准的所述术前成像数据的不确定性还包括:估计术前成像模型的不确定性;估计对所述术前成像数据的配准的不确定性;通过误差传播将所估计的所述术前成像模型的不确定性与所估计的对所述术前成像数据的配准的不确定性线性结合。
在实施例中,所述术中成像数据包括从术中US图像重构的3D器官模型,并且估计经变换的所述术中成像数据的不确定性还包括:估计所述术中成像模型的不确定性;以误差传播将所估计的一个或多于一个术中成像模型的不确定性与计算出的探头校准不确定性并与接收到的所述US探头的位置和朝向的不确定性线性结合。
在实施例中,所述电子数据处理器被配置为计算一个或多于一个成像模型的不确定性,其中,所述一个或多于一个模型包括多个顶点,通过计算并表示所述多个顶点的不确定性,所述多个顶点各自具有独立计算的不确定性。
在实施例中,所述电子数据处理器被配置为计算一个或多于一个成像模型的不确定性,其中,所述一个或多于一个模型包括多个顶点,通过计算并表示所述多个顶点的不确定性,所述多个顶点各自具有相同的全局计算的不确定性。
在本公开的方面中,所述器官是肾脏,并且所述经引导经皮手术是经皮肾脏入路。
在实施例中,所述电子数据处理器还被配置为,重复估计所述不确定性并生成所述视觉表示。
在实施例中,所述经皮手术目标是导管尖端或所述EMT系统的坐标系中的预定位置。
在实施例中,估计EMT传感器的位置和朝向的不确定性包括从所述EMT系统接收不确定性值,特别地,所述不确定性值是来自所述EMT系统的电磁干扰值。
在实施例中,估计特定EMT传感器的位置和朝向的不确定性还包括对接收到的电磁干扰值使用预先获得的校准曲线,以获得相应经校准的不确定性估计。
在实施例中,通过点EMT传感器来跟踪经由所述EMT系统实时跟踪的3D位置和朝向。
在实施例中,所述点EMT传感器被放置在所述导管的尖端上以及所述针的尖端上。
在实施例中,所述用户界面是2D显示器、3D显示器、虚拟现实显示器或增强现实显示器。
在实施例中,所述导管用于通过柔性输尿管镜在工作通道中定位在所述器官中。
在可与上述实施例结合的本公开的一方面中,还公开了一种经引导经皮不确定性制图设备,所述设备使用EMT系统在经引导经皮手术期间提供相对于器官的不确定性图的视觉表示,所述EMT系统包括:定义EMT坐标系的EMT场发生器和跟踪器;具有EMT传感器的导管,所述EMT传感器放置在所述器官中以标记经皮手术目标;具有EMT传感器的针;以及电子数据处理器,所述电子数据处理器被配置为实施以下步骤:接收经皮手术目标的指示;从所述EMT系统接收实时跟踪的所述导管和所述针的一组3D位置和朝向;估计接收到的所述针的位置和朝向的不确定性;估计接收到的所述导管的位置和朝向的不确定性;以误差传播将所估计的针不确定性与所估计的导管不确定性线性结合;估计所述针离开所述针的当前位置和朝向的轨迹不确定性;生成相对于所述经皮手术目标的所估计的轨迹不确定性的视觉表示,以显示在用户界面上。
还公开了由上述各实施例中的电子设备实施的方法。
还公开了一种用于使用EMT系统在经引导经皮手术期间提供相对于器官的不确定性图的视觉表示的方法,所述EMT系统包括:定义EMT坐标系的EMT场发生器和跟踪器;具有EMT传感器的导管,所述EMT传感器放置在所述器官中以标记经皮手术目标;具有EMT传感器的针;以及电子数据处理器,所述方法包括以下步骤:接收经皮手术目标的指示;从EMT系统接收实时跟踪的所述导管和所述针的3D位置和朝向;估计接收到的所述针的位置和朝向的不确定性;估计接收到的所述导管的位置和朝向的不确定性;估计所述针离开所述针的当前位置和朝向的轨迹不确定性;生成相对于所述EMT坐标系的所估计的轨迹不确定性和导管不确定性的视觉表示,以显示在用户界面上。
还公开了一种非暂时性计算机可读介质,其包括用于实现经引导经皮不确定性制图设备的计算机程序指令,所述设备使用EMT系统在经引导经皮手术期间提供相对于器官的不确定性图的视觉表示,所述计算机程序指令在由处理器执行时,使所述处理器实施上述方法实施例中的任一实施例的方法。
附图说明
以下附图提供了用于示出本公开的优选实施例,并且不应该被视为对本公开的范围的限制。
图1:本公开的实施例所需的系统的概念示意图。
图2:本公开的范围所涉及的系统和数据的实施例的示意图。
图3:临床工作流的示意图。
图4:可视化不确定性的主要步骤的流程图的示意图。
图5:术中使用期间所使用的部件变换和协方差的概述的示意图。
图6:针不确定性的圆柱截头体表示的示意图。
图7:针不确定性的圆锥截头体表示的示意图。
图8:不确定性的不同表示模式的示意图。
图9:器官模型的不确定性的计算的示意图。
图10:应用于器官模型的不确定性的示意图。
图11:使用不确定性并专注于针进行穿刺时的原理的示意图。
图12:用于手术导航的图形用户界面的示意图。
图13:用于手术导航的图形用户界面的示意图。
图14:用于手术导航的图形用户界面的示意图。
具体实施方式
本公开涉及一种生成不确定性图系统以在对内脏器官和附近器官进行经引导经皮手术期间提供不确定性的视觉表示的方法和设备,下文将对此进行更详细的阐述。
图1概述了本公开所需的系统。本发明包括电磁跟踪(EMT)系统、输尿管镜检查系统、超声检查系统和带有导航软件的计算机(即电子数据处理器),在该导航软件中,在计算机辅助的经皮肾脏入路之前,进行术前数据与术中数据之间的配准。图2示出了本公开涉及的系统、部件和数据。
在实施例中,图1示出了用于获得手术器械的位置和朝向并参考患者身体的EMT系统。输尿管镜检查系统用作载体,以将EMT导管通过自然孔引入患者身体,即从尿道直到肾盏。超声检查系统可获取患者的术中图像,术中图像是使用EMT系统跟踪的各图像。术前图像(例如计算机断层扫描或磁共振成像)用于增强术中数据。计算机将上述系统提供的全部信息结合到虚拟环境中。
在实施例中,图2示出了本公开的使用EMT系统跟踪手术器械和器官,其能够将其参考到同一坐标系(或空间)中。将柔性输尿管镜置于肾收集系统内,并将被跟踪的导管插入工作通道中直至柔性输尿管镜的尖端。被跟踪的探头用于获取患者解剖结构的US图像,其数据被抓取到计算机的存储器中。对术前成像数据进行分割,并且所得模型用于计算机中运行的特定导航软件,该软件对术前和术中成像数据进行配准,以改善经皮肾脏入路。经皮肾脏入路是使用被跟踪的针进行的,被跟踪的针被实时引导直至目标部位(例如,被跟踪的导管或用户选择的虚拟点)。
在实施例中,图3示出了在对患者进行手术准备和定位后,将柔性输尿管镜从尿道插入直至肾盏,并将导管定位在工作通道中。在输尿管镜成像中,导管的尖端必须可见。然后,必须通过记录肾脏和附近器官的多个扫描(即一组US图像)来进行US获取。选择的扫描被分割并结合到3D模型中,以与术前3D模型配准。术前模型在外科手术前被分割并与EMT系统预对齐。因此,使用点集配准方法对术前和术中数据进行配准。最后,术前数据和术中数据二者被对齐,并且可用于在经皮肾脏入路期间帮助医生。
EMT系统允许在患者体内和体外跟踪手术器械。电磁传感器被刚性附接到US探头、针尖端和导管尖端。所有传感器的朝向和位置数据由EMT系统收集,并流式传输到计算机。
使用输尿管镜将导管定位在肾脏内的正确肾盏中。导管在肾脏与导管尖端之间创建刚性关系,使得能够实时跟踪肾脏位置(例如,测量呼吸运动)并锁定要穿刺的肾盏。
超声(US)图像被发送到计算机,并且其位置和朝向由附接到探头的EMT传感器给出。图像和变换数据实时地被流式传输到导航软件。
在计算机中运行的软件允许对术前和术中成像数据进行分割和配准,从而虚拟地表示患者的解剖数据。此外,该软件计算和表示系统中的各元件的姿态不确定性。该软件还包括导航功能,诸如将针轨迹和导管投影在US图像上,并在3D虚拟环境中将其可视化;以及用于在穿刺期间的视觉反馈的针引导界面。图3示出了在外科手术期间获得术前和术中数据对齐所需的所有步骤。
以下涉及虚拟不确定性图。该虚拟不确定性图是对3D模型数据的姿态不确定性的估计,以进行到达目标部位的最安全路径。该目标部位可以是通过使用软件在术中成像数据中手动选择一个目标点而获得的虚拟参照物,也可以是通过人体的自然孔而引入的物理参照物(如尖端带有电磁跟踪传感器的导管)。利用术前和术中成像数据,可以在术中获得人体器官的虚拟图。可使用特定算法获得虚拟图,以将成像数据对齐,其中整个术中数据被参考到跟踪系统。
在实施例中,图4示出了可视化不确定性的主要步骤的流程图,从手术开始直到获得不确定性信息以进行经皮入路,其中:(1)表示优化患者和跟踪器的手术位置,以覆盖解剖手术区域,从而简化经皮肾脏入路;(2)表示所进行的术前和术中数据配准,并根据所选计算模式计算不确定性;(3)表示在软件中显示并用于进行肾脏入路的经配准的术前和术中数据;(4)表示计算出的不确定性在用户界面上的视觉表示;以及(5)表示进行经皮肾脏入路。
以下涉及不确定性计算。用于虚拟地表示经皮入路期间的手术环境的各部件的姿态由变换矩阵T∈Sim(3)表示:
其中,t、R和s分别表示平移向量、旋转矩阵和比例值。姿态不确定性由协方差矩阵表示:
其中,σ2表示变换元素之间的方差和协方差。
两个变换之间的不确定性传播可以用复合函数(compound function)[1]计算,其描述如下:
(T3,C3)=compound((T1,C1),(T2,C2))
其中
T3=T1 T2
C3=C1+Adj(T1)C2Adj(T1)T
并且Adj是T的伴随表示:
t×为反对称矩阵[2]。
鉴于此,系统的各部件可以用变换矩阵T来虚拟地表示,并且由于对数据进行跟踪、获取、分割和配准而使各变换受不同测量影响,因此使用协方差矩阵C来表示这些不确定性。
在实施例中,图5示出了将导管用作世界原点而计算出的所有变换。虚线箭头表示从被跟踪的传感器实时计算和更新的变换,诸如:跟踪器到导管,CTTr;探头到导管,CTP;针到导管,CTN;和参照物到跟踪器,TrTR。实心箭头表示术前和术中计算的静态变换,诸如探头校准,PTUS;CT到跟踪器预对齐,TrTCT;CT到导管,CTcTCTTr TrTCT;以及CT-US配准,TReg。在导管的局部坐标(或空间)中,利用两种模型进行配准,即CpctCpusUSTusCTTct表示分割模型与图像之间的变换。各变换T可以与描述了不确定性的各个来源的协方差矩阵C相关联。这些不确定性可沿着整个系统传播。手术台中的传感器可用于告知真实世界的上向量。
在本发明的实施例中,可针对系统中的不同部件考虑以下讨论的不确定性。
以下涉及导管尖端不确定性,其通过针对EMT传感器的跟踪系统的噪声建模(TrCC)进行估计:
(TrTCTrCc)
以下涉及针尖端不确定性。其通过针对EMT传感器的跟踪系统的噪声建模(TrCN)进行估计:
(TrTNTrCN)
为了参考从针尖端到导管尖端的不确定性,可进行以下运算:
(CTNCCN)=compound((TrTCTrCC)-1,(TrTNTrCN)
其中,复合函数的输出是姿态变换CTN、以及从针尖端到导管尖端的坐标系的姿态不确定性传播CCN。换句话说,该运算可视为由针和导管的EMT传感器提供的误差所构成的不确定性。
因此,使用上述函数计算变换意味着:
CTNTrTC -1TrTNCTTr TrTN
和不确定性传播:
其中inv是协方差的倒数,等于Adj(T-1)CAdj(T-1)T[3]。
在实施例中,图6示出了针不确定性的圆柱截头体表示。如果截头体的边界碰到虚拟环境中的肾脏以外的任何器官(以粗虚线表示),则认为针轨迹不安全。
在实施例中,图7示出了针不确定性的圆锥截头体表示。如果截头体的边界碰到虚拟环境中的肾脏以外的任何器官,则认为针轨迹不安全。在该表示中,认为针轨迹安全。此外,导管不确定性的表示还以球体表示。
以下涉及US器官模型(例如肾脏)不确定性。其通过针对EMT传感器的跟踪系统的噪声建模(TrCP)、探头校准的噪声建模(PCUS)以及US分割的噪声建模(USCus)进行估计:
TrTusTrCus)=compound((TrTPTrCP),(compound((PTUSPCUS),(USTusUSCus)))
这里,US模型的姿态和不确定性按以下顺序依次传播:US模型到US图像(即与分割相关联的不确定性),US图像到探头(即与探头校准相关联的不确定性),探头到跟踪器(即与EMT跟踪器相关联的不确定性)。因此,在跟踪器坐标系中可以视作US模型具有由三个元素组成的不确定性信息。
以下涉及CT器官模型(例如肾脏、肝脏等)的不确定性。其通过CT分割的噪声建模(CTCct)进行估计:
(CTRctCTCct)
以下涉及配准后的术前器官模型的不确定性。其通过CT-US配准的噪声建模(CReg,与usCct相同)进行估计。
(TrTCTTrCCT)=compound((TrTusTrCus),(compound((usTctusCct),(CTTctCTCct)-1))
这里,配准模型的姿态和不确定性按以下顺序传播:CT模型到CT图像(即与分割相关联的不确定性),CT模型到US模型(即与配准相关联的不确定性),US模型到跟踪器(见第3点)。因此,在跟踪器坐标系中可以视作术前模型具有由系统的五个元素组成的不确定性信息。
此外,与配准相关联的不确定性可通过给出手术室(OR)中的与术前图像获取期间的患者位置(具体手术位置)的差异来加以完善。
因此,手术导航系统的各个部分以协方差矩阵的形式建模。其中一些误差模型可以是动态的(即从跟踪系统中获得),并在系统使用期间改变,而另一些则是静态的(例如探头校准)。静态部分可以单独建模,并作为常数矩阵集成在系统上。
以下涉及不确定性表示模式。如图8所示,姿态的不确定性可以使用不同的模式来表示,并在下文中详细说明。
以下涉及本公开的两种可能的操作实施例:静态操作模式或动态操作模式。由于固有的测量误差,跟踪系统可能会影响姿态不确定性。静态模式和动态模式可分别通过在特定时刻或在整个处理期间测量这些不确定性来表示这些不确定性。因此,考虑与从跟踪设备获得的姿态信息有关的以下矩阵:
(TrTNTrCN)
(TrTCTrCC)
(TrTPTrCP)
以下涉及静态。静态模式在配准处理时测量与跟踪系统相关的姿态不确定性。与各跟踪传感器相关联的不确定性被即时保存,并在经皮入路期间保持不变。因此,协方差矩阵和所得不确定性图在整个处理期间不会发生变化。
以下涉及动态。动态模式在系统工作的同时测量姿态不确定性。与各跟踪传感器相关联的不确定性是可变的,并在经皮入路期间被瞬时地表示。因此,将基于由跟踪系统提供的与手术环境中的仪器和/或器械的电磁干扰有关的传感器变换的误差的瞬时估计,来更新协方差矩阵。
以下涉及本公开的两种可能的操作实施例:局部操作模式或全局操作模式。局部模式和全局模式可分别用于计算并由此表示与各3D模型局部或全局相关的不确定性。
以下涉及局部。局部模式描述各器官的局部不确定性。因此,姿态不确定性是针对模型的各顶点单独计算和表示的(图9的A)。然后,利用各顶点的不确定性的限制,模型“重影”包围姿态不确定性。
以下涉及全局。在全局模式下,将对不确定性表示进行简化。因此使用了全局容差。根据各器官模型的形心,在模型的各顶点中均等地计算并表示全局不确定性(图9的B)。类似地,利用各项点的不确定性的限制,模型“重影”包围姿态不确定性。
在实施例中,图10示出了应用于器官模型的不确定性的图示。为了降低刺穿肾脏以外器官的概率,“重影”模型通过表示姿态不确定性来提供帮助。如果边界碰到虚拟环境中的肾脏以外的任何器官或“重影”,则认为针轨迹不安全(此处表示为粗虚线)。
以下涉及可能的计算模式:静态-全局;静态-局部;动态-全局和动态-局部。
以下涉及模型和各不确定性的可视化和相互作用。图11示出了分别用于计算针与导管(图11的A)以及针与器官模型(图11的B)之间的距离和可能的相互作用的主要特征。
在实施例中,图11示出了使用不确定性并专注于针进行穿刺时的原理的图示。(A)估计导-线距离d0,以根据视线公差tc指定针轨迹是否与导管对齐。如果d0<tc,则针轨迹对齐。此外,还计算针与导管之间的欧氏距离d1。(B)针公差tn定义了路径不确定性,即圆柱体直径。圆柱体的射线用于沿着针轨迹检查可能与器官发生的相互作用。在本示例中,一个器官(除肾脏外,黑色部分)在针公差内(粗虚线),并且认为轨迹不安全。圆柱体的颜色表示穿刺安全性(红色和绿色分别表示真实场景中的不安全和安全)。还计算针-表面距离d2,即针尖端到器官表面中的交点p0的距离。
提出了特定的视图,也称为针尖端视图,其中,可以看到专注于针尖端的3D可视化效果(图12)。该视图的构思是利用视线来视觉上辅助穿刺。视线将帮助对齐针和导管尖端,使得前者可以轻松到达后者。视线公差被虚拟地定义在导管周围(图11的A)。
在实施例中,图12示出了用于手术导航的图形用户界面。该环境呈现了实时更新的两个引导视图:左:US图像与针投影和进入点、导管尖端以及经配准数据轮廓重叠。右:专注于针尖端的穿刺视图。显示针不确定性。不同的颜色、距离信息和朝向提示有助于经皮肾脏入路。
为了测量针是否指向导管,如下计算导管与针投影线之间的距离d0
其中×表示叉积,||||2表示欧氏范数,表示针向量,n0表示EMT针的位置,并且c0表示EMT导管的位置。如果距离d0小于定义的视线公差tc(例如3毫米),则认为针准确地指向导管。
在手术期间,引导消息用于提醒外科医生。如果导管和针对齐,则使用绿色,否则使用红色。此外,当用户将针指向肾脏,但未与导管正确对齐时,使用黄色进行表示。此外,窗口两侧的白色箭头表示需要将针重新定位以指向导管位置。这种视觉反馈是通过改变箭头的不透明度值来提供的:
其中,k=1,...,4表示各箭头,tanh是双曲正切函数,vj的坐标,其实根据图像平面来定义针在x和y上的校正的归一化向量,并且是基于针尖端n0和针的法线向量/>生成的。
为了根据在穿刺期间真实的针移动(即重复上、下、右、左移动)而在相机上显示针移动,需要进行变换,使相机上向量与通过附接到手术台的参照传感器({Ta})获得的OR上向量对齐。此外,还显示了根据术中配准对齐的人体参照物(图12,左上角)。这提供了关于OR中的人体姿态的信息,并且还根据针方向更新相机朝向。
针与导管之间的欧氏距离d1=||n0-c0||2被计算并显示在界面上(图12,右下角)。此外,针投影与器官表面之间的交点以及其与针尖端之间的距离也基于射线跟踪[4]来计算(图11的B),该距离是交点距离d2=||n0-P0||2,也显示在界面上(图12,左下角)。
在图11的B中,不确定性由针体现,针在这里表示为定义“安全”或“不安全”的穿刺路径的虚拟圆柱体。因此,如果表示圆柱体边界的射线与肾脏以外器官的表面虚拟相交,则认为该路径“不安全”,否则为“安全”。
不确定性信息伴随着作为颜色代码(绿色和黄色-安全;红色-不安全)的视觉信息、闪烁策略、文本和声音消息,以提供反馈并预测器官与针之间可能的相互作用。
因此,针视图在GUI的中心示出了表示针尖端的固定点。其将被跟踪的针尖端作为焦点显示穿刺视图。每次针移动都会重新定义显示的图像,让人感觉正从针尖端开始观察。这将给出关于路径上是否有任何器官以及针是否正确指向导管位置的视觉信息。
图12是针安全地指向目标(即导管)且以针表示不确定性的示例。
图13是针安全地指向目标(即导管)且以模型(即模型“重影”)表示不确定性的示例。
图14是针错误且不安全地指向目标(针投影指向模型“重影”)的示例。
在总结性实施例中,虚拟不确定性图与用户友好/自然的可视化界面相结合(图12、13和14),该界面:
显示来自术前和术中数据的3D模型作为引导信息;
将被跟踪的针尖端作为焦点(画面的固定中心)来显示穿刺视图,其中画面方向与所需的针移动之间存在直接关系。为了根据在穿刺期间真实的针移动(即重复上、下、右、左移动)而在监视器上显示针移动,可能需要基于OR台上的患者位置的知识或使用OR台上定位的附加跟踪传感器的特定方法;
在US图像中实时显示针的轨迹和进入点,这有助于确认正确路径。可以检查不确定程度,并使用与针轨迹投影结合的被跟踪的US图像来评估器官位置的可信度水平;
显示目标部位(物理参照物或虚拟点)与器官表面之间的直观且准确的距离。
备选地,将目标部位(导管尖端或选定点)作为焦点来显示穿刺视图,其中,目标部位固定在画面中心,并且针的主要方向用于部分地定向画面方向并且针尖端用于选择穿刺路径。
参考文献
[1]T.D.Barfoot and P.T.Furgale,“Associating uncertainty with three-dimensional poses for use in estimation problems,”IEEE Trans.Robot.,vol.30,no.3,pp.679–693,2014.
[2]E.Eade,“Lie Groups for Computer Vision.”
[3]J.G.Mangelson,M.Ghaffari,R.Vasudevan,and R.M.Eustice,“Characterizing the Uncertainty of Jointly Distributed Poses in the LieAlgebra,”arXiv.arXiv,18-Jun-2019.
[4]A.Formella and C.Gill,“Ray tracing:A quantitative analysis and anew practical algorithm,”Vis.Comput.,vol.11,no.9,pp.465–476,Sep.1995.
本文中使用的术语“包括”旨在表示存在阐述的特征、整数、步骤、部件,但不排除存在或增加一个或多个其他特征、整数、步骤、部件或其群组。
本公开不应以任何方式被视为限于所描述的实施例,并且本领域的普通技术人员将预见到对其进行修改的多种可能性。上述实施例是可结合的。以下权利要求进一步阐述了本公开的具体实施例。

Claims (23)

1.一种经引导经皮不确定性制图设备,所述设备用于使用电磁跟踪系统即EMT系统在经引导经皮手术期间提供相对于器官的不确定性图的视觉表示,所述EMT系统包括:定义EMT坐标系的EMT场发生器和跟踪器;具有EMT传感器的导管,所述EMT传感器放置在所述器官中以标记经皮手术目标;具有EMT传感器的针;以及电子数据处理器,所述电子数据处理器被配置为实施以下步骤:
接收经皮手术目标的指示;
从EMT系统接收实时跟踪的所述导管和所述针的三维位置和朝向即3D位置和朝向;
估计接收到的所述针的位置和朝向的不确定性;
估计接收到的所述导管的位置和朝向的不确定性;
估计所述针离开所述针的当前位置和朝向的轨迹不确定性;
生成相对于所述EMT坐标系的所估计的轨迹不确定性和导管不确定性的视觉表示,以显示在用户界面上。
2.根据权利要求1所述的设备,所述设备使用具有EMT传感器的超声探头即US探头在所述经引导经皮手术期间提供所述不确定性图的视觉表示,其中,所述电子数据处理器被配置为预先实施以下校准步骤:
使用所述EMT系统跟踪参照物体,所述参照物体包括在所述参照物体中具有已知位置的多个参照点;
当对所述参照物体进行成像时,从所述US探头接收来自所述参照物体的US成像数据,并且同时从所述EMT系统接收所述US探头的一组3D位置和朝向;
在接收到的所述US成像数据中识别所述参照点;
通过将接收到的所述US成像数据中的所识别的参照点与EMT坐标系中的所跟踪的参照点进行匹配,来计算探头校准变换矩阵和探头校准不确定性;并且
其中,所述电子数据处理器被配置为实施以下步骤:
从所述EMT系统接收实时跟踪的所述US探头的3D位置和朝向;
从所述US探头接收术中US成像数据;
利用计算出的探头校准变换矩阵对所述术中US成像数据进行变换;
估计接收到的所述US探头的位置和朝向的不确定性;
通过以误差传播将计算出的探头校准不确定性与接收到的所述US探头的位置和朝向的不确定性线性结合,来估计经变换的术中US成像数据的不确定性;以及
生成所估计的经变换的术中US成像数据的不确定性的视觉表示,以显示在用户界面上。
3.根据权利要求1所述的设备,其中,所述电子数据处理器还被配置为实施以下步骤:
加载术前成像数据;
将加载的所述术前成像数据配准到所述EMT系统中;
估计经配准的术前成像数据的不确定性;
生成所估计的经配准的术前成像数据的不确定性的视觉表示,以显示在所述用户界面上。
4.根据权利要求2或3所述的设备,其中,所述电子数据处理器被配置为实施以下步骤:
加载所述术前成像数据;
从所述EMT系统接收实时跟踪的所述US探头的3D位置和朝向;
从所述US探头接收术中US成像数据;
将加载的术前成像数据与所述术中US成像数据配准;
利用计算出的探头校准变换矩阵对所述术中US成像数据进行变换;
利用计算出的探头校准变换矩阵将经配准的术前成像数据变换到所述EMT系统;
估计接收到的所述US探头的位置和朝向的不确定性;
通过以误差传播将计算出的探头校准不确定性与接收到的所述US探头的位置和朝向的不确定性线性结合,来估计经变换的术中US成像数据的不确定性;
估计经配准的术前成像数据的不确定性;
通过以误差传播将所估计的经变换的术中US成像数据的不确定性与所估计的经配准的术前成像数据的不确定性线性结合,来估计相对于所述EMT系统的经配准的术前成像数据的不确定性;
生成所估计的经变换的术中US成像数据的不确定性的视觉表示,以显示在用户界面上;以及
生成相对于所述EMT系统的所估计的所述术前成像数据的不确定性的视觉表示,以显示在所述用户界面上。
5.根据权利要求3或4所述的设备,其中,所述术前成像数据包括根据术前MRI或CT图像预先重构的一个或多于一个3D器官模型,并且估计经配准的术前成像数据的不确定性还包括:
估计所述一个或多于一个术前成像模型的不确定性;
估计对所述术前成像数据的配准的不确定性;以及
以误差传播将所估计的所述一个或多于一个术前成像模型的不确定性与所估计的对所述术前成像数据的配准的不确定性线性结合。
6.根据权利要求2或4或5所述的设备,其中,所述术中成像数据包括根据术中US图像重构的一个或多于一个3D器官模型,并且估计经变换的术中成像数据的不确定性包括:
估计所述一个或多于一个术中成像模型的不确定性;以及
以误差传播将所估计的所述一个或多于一个术中成像模型的不确定性与计算出的探头校准不确定性以及与接收到的所述US探头的位置和朝向的不确定性线性结合。
7.根据权利要求5或6所述的设备,其中,所述电子数据处理器被配置为计算一个或多于一个成像模型的不确定性,其中,所述一个或多于一个成像模型包括多个顶点,通过计算并表示所述多个顶点的不确定性,所述多个顶点各自具有独立计算的不确定性。
8.根据权利要求5或6所述的设备,其中,所述电子数据处理器被配置为计算一个或多于一个成像模型的不确定性,其中,所述一个或多于一个成像模型包括多个顶点,通过计算并表示所述多个顶点的不确定性,所述多个顶点各自具有相同的全局计算的不确定性。
9.根据前述权利要求中的任一项所述的设备,其中,所述器官是肾脏,并且所述经引导经皮手术是经皮肾脏入路。
10.根据前述权利要求中的任一项所述的设备,其中,所述电子数据处理器还被配置为重复估计所述不确定性并生成所述视觉表示。
11.根据前述权利要求中的任一项所述的设备,其中,所述经皮手术目标是导管尖端。
12.根据前述权利要求中的任一项所述的设备,其中,估计EMT传感器的位置和朝向的不确定性包括从所述EMT系统接收不确定性值,特别地,所述不确定性值是来自所述EMT系统的电磁干扰值。
13.根据前述权利要求中的任一项所述的设备,其中,估计特定EMT传感器的位置和朝向的不确定性还包括对接收到的电磁干扰值使用预先获得的校准曲线,以获得相应经校准的不确定性估计。
14.根据前述权利要求中的任一项所述的设备,其中,通过点EMT传感器来跟踪经由所述EMT系统实时跟踪的3D位置和朝向。
15.根据前一权利要求所述的设备,其中,所述点EMT传感器被放置在所述导管的尖端上以及所述针的尖端上。
16.根据前述权利要求中的任一项所述的设备,其中,所述用户界面是2D显示器、3D显示器、虚拟现实显示器或增强现实显示器。
17.根据前述权利要求中的任一项所述的设备,其中,所述导管用于通过柔性输尿管镜在工作通道中定位在所述器官中。
18.一种经引导经皮不确定性制图设备,所述设备用于使用EMT系统在经引导经皮手术期间提供相对于器官的不确定性图的视觉表示,所述EMT系统包括:定义EMT坐标系的EMT场发生器和跟踪器;具有EMT传感器的导管,所述EMT传感器放置在所述器官中以标记经皮手术目标;具有EMT传感器的针;以及电子数据处理器,所述电子数据处理器被配置为实施以下步骤:
接收经皮手术目标的指示;
从所述EMT系统接收实时跟踪的所述导管和所述针的一组3D位置和朝向;
估计接收到的所述针的位置和朝向的不确定性;
估计接收到的所述导管的位置和朝向的不确定性;
以误差传播将所估计的针不确定性与所估计的导管不确定性线性结合;
估计所述针离开所述针的当前位置和朝向的轨迹不确定性;以及
生成相对于所述经皮手术目标的所估计的轨迹不确定性的视觉表示,以显示在用户界面上。
19.一种用于使用EMT系统在经引导经皮手术期间提供相对于器官的不确定性图的视觉表示的方法,所述EMT系统包括:定义EMT坐标系的EMT场发生器和跟踪器;具有EMT传感器的导管,所述EMT传感器放置在所述器官中以标记经皮手术目标;具有EMT传感器的针;以及电子数据处理器,所述方法包括以下步骤:
接收经皮手术目标的指示;
从所述EMT系统接收实时跟踪的所述导管和所述针的3D位置和朝向;
估计接收到的所述针的位置和朝向的不确定性;
估计接收到的所述导管的位置和朝向的不确定性;
估计所述针离开所述针的当前位置和朝向的轨迹不确定性;以及
生成相对于所述EMT坐标系的所估计的轨迹不确定性和导管不确定性的视觉表示,以显示在用户界面上。
20.根据前述权利要求所述的方法,所述方法用于使用具有EMT传感器的US探头在所述经引导经皮手术期间提供所述不确定性图的视觉表示,其中,所述方法包括预先实施以下校准步骤:
使用所述EMT系统跟踪参照物体,所述参照物体包括在所述参照物体中具有已知位置的多个参照点;
当对所述参照物体进行成像时,从所述US探头接收来自所述参照物体的US成像数据,并且同时从所述EMT系统接收所述US探头的一组3D位置和朝向;
在接收到的US成像数据中识别所述参照点;
通过将接收到的US成像数据中的所识别的参照点与EMT坐标系中所跟踪的参照点进行匹配,来计算探头校准变换矩阵和探头校准不确定性;并且
其中,所述方法包括实施以下步骤:
从所述EMT系统接收实时跟踪的所述US探头的3D位置和朝向;
从所述US探头接收术中US成像数据;
利用计算出的探头校准变换矩阵对所述术中US成像数据进行变换;
估计接收到的所述US探头的位置和朝向的不确定性;
通过以误差传播将计算出的所述探头校准不确定性与接收到的所述US探头的位置和朝向的不确定性线性结合,来估计经变换的术中US成像数据的不确定性;
生成所估计的经变换的术中US成像数据的不确定性的视觉表示,以显示在用户界面上。
21.根据权利要求19所述的方法,其中,所述方法还包括以下步骤:
加载术前成像数据;
将加载的所述术前成像数据配准到所述EMT系统中;
估计经配准的术前成像数据的不确定性;
生成所估计的术前成像数据的不确定性的视觉表示,以显示在所述用户界面上。
22.根据权利要求20或21所述的方法,其中,所述方法还包括以下步骤:
加载所述术前成像数据;
从所述EMT系统接收实时跟踪的所述US探头的3D位置和朝向;
从所述US探头接收术中US成像数据;
利用计算出的探头校准变换矩阵对所述术中US成像数据进行变换;
将加载的术前成像数据与经变换的术中US成像数据配准;
估计接收到的所述US探头的位置和朝向的不确定性;
通过以误差传播将计算出的探头校准不确定性与接收到的所述US探头的位置和朝向的不确定性线性结合,来估计经变换的术中US成像数据的不确定性;
估计经配准的术前成像数据的不确定性;
通过以误差传播将所估计的经变换的术中US成像数据的不确定性与所估计的经配准的术前成像数据的不确定性线性结合,来估计相对于所述EMT系统的经配准的术前成像数据的不确定性;
生成所估计的经变换的术中US成像数据的不确定性的视觉表示,以显示在用户界面上;以及
生成相对于所述EMT系统的所估计的所述术前成像数据的不确定性的视觉表示,以显示在所述用户界面上。
23.一种非暂时性计算机可读介质,其包括用于实现经引导经皮不确定性制图设备的计算机程序指令,所述设备用于使用EMT系统在经引导经皮手术期间提供相对于器官的不确定性图的视觉表示,所述计算机程序指令在由处理器执行时,使所述处理器进行根据权利要求19至22中的任一项所述的方法。
CN202280046508.8A 2021-04-29 2022-04-29 用于生成经引导经皮手术的不确定性图的方法和设备 Pending CN118234421A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
PT117202 2021-04-29
PT117205 2021-04-30
PT11720521 2021-04-30
PT117204 2021-04-30
PCT/IB2022/053989 WO2022229916A1 (en) 2021-04-29 2022-04-29 Method and device for generating an uncertainty map for guided percutaneous procedures

Publications (1)

Publication Number Publication Date
CN118234421A true CN118234421A (zh) 2024-06-21

Family

ID=91498132

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202280046508.8A Pending CN118234421A (zh) 2021-04-29 2022-04-29 用于生成经引导经皮手术的不确定性图的方法和设备
CN202280046937.5A Pending CN118234422A (zh) 2021-04-30 2022-05-02 用于经皮手术期间的配准和跟踪的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202280046937.5A Pending CN118234422A (zh) 2021-04-30 2022-05-02 用于经皮手术期间的配准和跟踪的方法和装置

Country Status (1)

Country Link
CN (2) CN118234421A (zh)

Also Published As

Publication number Publication date
CN118234422A (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
US11026747B2 (en) Endoscopic view of invasive procedures in narrow passages
US20220313190A1 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
EP3682809A2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
US20130245461A1 (en) Visualization of Anatomical Data by Augmented Reality
AU2015238800B2 (en) Real-time simulation of fluoroscopic images
CN110432986B (zh) 用于从ct数据构建虚拟径向超声图像的系统和方法
KR101954868B1 (ko) 혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법
WO2008035271A2 (en) Device for registering a 3d model
CN110916702B (zh) 支持用户的方法、数据载体和成像系统
Nicolau et al. A complete augmented reality guidance system for liver punctures: First clinical evaluation
US20240216073A1 (en) Method and device for generating an uncertainty map for guided percutaneous procedures
CN110478042B (zh) 一种基于人工智能技术的介入手术导航装置
CN118234421A (zh) 用于生成经引导经皮手术的不确定性图的方法和设备
CN112107366B (zh) 一种混合现实超声导航系统
WO2022165112A1 (en) Systems and methods for c-arm fluoroscope camera pose refinement with secondary movement compensation
US20170354346A1 (en) Automated selection of optimal calibration in tracked interventional procedures
US20240144497A1 (en) 3D Spatial Mapping in a 3D Coordinate System of an AR Headset Using 2D Images
Gerritsen Virtual Reality in medical imaging for image-guided surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination