CN118234422A - 用于经皮手术期间的配准和跟踪的方法和装置 - Google Patents
用于经皮手术期间的配准和跟踪的方法和装置 Download PDFInfo
- Publication number
- CN118234422A CN118234422A CN202280046937.5A CN202280046937A CN118234422A CN 118234422 A CN118234422 A CN 118234422A CN 202280046937 A CN202280046937 A CN 202280046937A CN 118234422 A CN118234422 A CN 118234422A
- Authority
- CN
- China
- Prior art keywords
- emt
- catheter
- transformation matrix
- imaging data
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 171
- 239000011159 matrix material Substances 0.000 claims abstract description 149
- 238000003384 imaging method Methods 0.000 claims abstract description 135
- 238000002604 ultrasonography Methods 0.000 claims abstract description 71
- 210000000056 organ Anatomy 0.000 claims abstract description 59
- 230000000007 visual effect Effects 0.000 claims abstract description 53
- 239000000523 sample Substances 0.000 claims abstract description 18
- 210000003734 kidney Anatomy 0.000 claims description 38
- 230000001131 transforming effect Effects 0.000 claims description 24
- 230000000241 respiratory effect Effects 0.000 claims description 10
- 210000000746 body region Anatomy 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims 1
- 238000002591 computed tomography Methods 0.000 description 22
- 230000011218 segmentation Effects 0.000 description 18
- 210000003484 anatomy Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 241001164374 Calyx Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000035515 penetration Effects 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 210000003708 urethra Anatomy 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种引导式经皮装置和方法，用于使用电磁跟踪(EMT)系统在引导式经皮手术期间提供器官配准和跟踪的视觉表现，EMT系统包括限定EMT坐标系的EMT场发生器和跟踪器、用于放置在器官中以指示经皮手术目标的具有EMT传感器的导管、具有EMT传感器的针、具有EMT传感器的超声(US)探测器、以及电子数据处理器，该电子数据处理器被配置为执行以下步骤：加载术前成像数据；从EMT接收导管、针和US探测器的3D位姿；接收术中成像数据；计算变换矩阵并且乘以所述矩阵以将所述成像数据和针位姿变换为导管位姿；生成经变换的成像数据和针位姿的视觉表现以用于用户界面上的显示；生成经变换的经配准的术前成像数据的视觉表现以用于用户界面上的显示。
Description
技术领域
本公开涉及用于经皮手术期间的器官配准和跟踪、特别是允许患者和器械在所述手术期间重新定位的方法和装置。
背景技术
在经皮手术中，在不会损伤相邻器官或组织的情况下精确地到达目标部位是理想的结果。提供用于帮助外科医生安全地进行经皮手术进入的工具是本公开所解决的重要需求。特别地，安全地进行对肾的经皮手术进入值得关注。
文献EP2590551B1公开了用于外科手术辅助的方法、系统和编程。特别地，本教导涉及用于使用电子器官分布图的实时外科手术辅助的方法、系统和编程。
文献EP2642917B1公开了在计算机画面上显示的3D空间中的交互式三维(3D)解剖映射，并且更特别地旨在在软器官手术应用期间提供额外引导。
公开了这些事实以例示本公开所解决的技术问题。
发明内容
本公开涉及用于经皮手术期间的器官配准和跟踪、特别是允许患者和器械在所述手术期间重新定位的方法和装置。
本公开涉及被提供用于帮助对一个或多于一个内部器官(和附近器官)(特别是肾(和附近器官))的引导式经皮手术的方法和装置。该系统操作利用无障碍的实时跟踪系统所跟踪的术中图像，并且使用患者的解剖结构的术中和术前数据的视觉重建来识别一个或多于一个目标器官(和附近器官)中的目标和重要解剖结构。
本公开涉及电磁跟踪(EMT)系统的使用，该EMT系统包括EMT场发生器和跟踪器，由此限定EMT坐标系，以用于一个或多于一个EMT传感器的实时跟踪。
在外科手术期间，整个数据被参考到器官(例如，肾)内部的传感器(例如，跟踪导管)，这改善了术中成像获取以及随后的术前数据和术中数据之间的配准，从而使得能够在配准之后跟踪器官(例如，肾)的移动并且动态地对移动进行补偿。此外，跟踪参考传感器(例如，导管)可以用作用于支持经皮进入的目标。此外，通过知晓所有数据可以链接到跟踪传感器，可以在外科手术期间重新定位跟踪器和患者的身体，从而最小化错误配准的风险。此外，如果必须重新定位跟踪传感器，则可以通过暂时重新定位经配准的数据来避免错误配准。
本公开的主要优点其中之一是即使患者以及EMT跟踪器或参考EMT传感器中的任一个需要重新定位，也可以继续经皮手术，同时患者的解剖结构的术中和术前数据的视觉重建保持配准，由此确保对一个或多于一个内部器官的持续辅助引导。
在没有当前公开的装置和方法的情况下，在患者、EMT跟踪器或参考EMT传感器重新定位的情况下，经皮手术将必须在没有辅助引导的情况下或者在存在错误配准误差风险的情况下继续。
在没有本公开的情况下，在患者、EMT跟踪器或参考EMT传感器重新定位的情况下，经皮手术可能必须被中断并且在新的重新配准步骤之后继续。
因而，本公开的优点其中之一是，本公开使得能够最小化刺穿除关注器官(例如，肾)以外的器官的风险，从而减少与该手术步骤相关联的手术并发症。
本公开的另一优点在于，在参考EMT传感器(例如，导管传感器)需要重新定位时，用户界面可以确保术前和术中US成像数据的视觉表现，在该视觉表现中，参考EMT传感器的重新定位不可被装置的用户感知。
因而，本公开的又一优点是促进快速且风险更小的经皮手术，从而减少手术时间，避免多个穿刺道的风险，减少患者伤害，并且改善后续手术步骤的临床结果。
本公开在将多个术中和术前成像数据链接到定位在器官处或附近的跟踪参考传感器(例如，导管)的世界视图方面也是有利的。这允许对图像获取期间和经皮手术期间的呼吸运动和内部移动进行补偿。
此外，以更高的准确度获得患者的解剖结构的术中数据的重建，这允许针对经皮手术的更准确的配准并因此更小的风险。
特别地，执行手术的人存在某个轨迹击中不期望的器官或身体部分的风险更小，从而更好地规划穿刺进针点和路径，并由此降低回溯针以尝试新穿刺方向的风险。
所提供的经配准的术中和术前数据的准确且持续的视觉表现使得外科医生(即，执行手术的人)能够以实际且可感知的方式理解针和患者的临床情形。
公开了一种引导式经皮装置，用于使用电磁跟踪系统即EMT系统在引导式经皮手术期间提供器官配准和跟踪的视觉表现，所述EMT系统包括：EMT场发生器和跟踪器，用于限定EMT坐标系；具有EMT传感器的导管，用于放置在器官中以指示经皮手术目标；具有EMT传感器的针；具有EMT传感器的超声探测器即US探测器；以及电子数据处理器，其被配置为执行在先校准步骤，所述在先校准步骤用于：
使用所述EMT系统来跟踪参考对象，所述对象包括所述对象中的具有已知位置的多个参考点；
从所述US探测器接收来自所述参考对象的US成像数据，并且同时从所述EMT系统接收在对所述参考对象进行成像时所述US探测器的三维位姿即3D位姿的集合，各位姿包括位置和朝向；
识别所接收到的US成像数据中的所述参考点；
通过将所接收到的US成像数据中的所识别出的参考点与EMT坐标系中的所跟踪的参考点进行匹配来计算探测器校准变换矩阵PTUS，以及
其中，所述电子数据处理器被配置为执行以下步骤：
加载关于术前图像CT的预定坐标所表示的术前成像数据；
从所述EMT系统接收实时跟踪的所述导管、所述针和所述US探测器的3D位姿；
从所述US探测器接收关于术中US图像的预定坐标所表示的术中成像数据；
根据所接收到的所述导管的位姿来计算EMT-导管变换矩阵CTTr；
根据所接收到的所述US探测器的位姿来计算探测器-EMT变换矩阵TrTP；
根据所接收到的所述US探测器的位姿来计算针-EMT变换矩阵TrTN；
将所述EMT-导管变换矩阵CTTr乘以所述探测器-EMT变换矩阵TrTP以获得探测器-导管变换矩阵CTP，所述探测器-导管变换矩阵CTP表示关于导管位姿的所述探测器的位姿；
将所述探测器-导管变换矩阵CTP乘以所述探测器校准变换矩阵PTUS以获得术中-导管变换矩阵CTUS，所述术中-导管变换矩阵CTUS表示关于所述导管位姿的术中成像数据的所述坐标；
将所述EMT-导管变换矩阵CTTr乘以所述针-EMT变换矩阵TrTN以获得针-导管变换矩阵CTN，所述针-导管变换矩阵CTN表示关于所述导管位姿的所述针的位姿；
将所加载的术前成像数据配准Treg到术中US成像数据中；
利用所获得的术中-导管变换矩阵CTUS对所述术中US成像数据进行变换；
利用所获得的术中-导管变换矩阵CTUS对经配准的术前成像数据进行变换；
利用所述针-导管变换矩阵CTN对所接收到的所述针的位姿进行变换；
生成经变换的术中US成像数据的视觉表现以用于用户界面上的显示；
生成经变换的经配准的术前成像数据的视觉表现以用于所述用户界面上的显示，
生成经变换的针位姿的视觉表现以用于所述用户界面上的显示。
在实施例中，所述电子数据处理器还被配置为生成导管位置的视觉表现以用于所述用户界面上的显示，特别地，生成导管位姿的视觉表现以用于所述用户界面上的显示。
在实施例中，所述电子数据处理器还被配置为在接收到旨在重新定位所跟踪的导管的用户指示的情况下，执行以下的附加步骤：
根据所接收到的所述导管的位姿或者通过反转所述EMT-导管变换矩阵CTTr来计算导管-EMT变换矩阵TrTC；
在生成视觉表现之前，通过预先乘以所述导管-EMT变换矩阵TrTC来发起并维持重新定位变换向经变换的术中US成像数据、经变换的经配准的术前成像数据和经变换的针位姿的应用。
在实施例中，所述电子数据处理器还被配置为在接收到所跟踪的导管已被重新定位的用户指示的情况下，执行以下的附加步骤：
停止所述重新定位变换的应用。
在实施例中，所述电子数据处理器还被配置为在将所加载的术前成像数据配准到所述术中US成像数据中的步骤之前，为了所加载的术前成像数据与EMT坐标系的粗略预配准，执行以下的步骤：
从用户接收指示关于EMT跟踪器的患者的粗略位姿的输入；
根据所接收到的粗略位姿来计算CT-EMT变换矩阵TrTCT；
利用所述CT-EMT变换矩阵TrTCT对所加载的术前成像数据进行变换；
使用经变换的术前成像数据作为配准步骤的所加载的术前成像数据。
在实施例中，用于使用具有EMT传感器的手术台Ta来在引导式经皮手术期间提供器官配准和跟踪的视觉表现的装置，包括还被配置为执行以下步骤的所述电子数据处理器：
从所述EMT系统接收实时跟踪的所述手术台Ta的3D位姿；
根据所接收到的所述手术台的位姿来计算Ta-EMT变换矩阵TrTTa；
将所述EMT-导管变换矩阵CTTr乘以所述Ta-EMT变换矩阵TrTTa以获得Ta-导管变换矩阵CTTa，所述Ta-导管变换矩阵CTTa表示关于所述导管位姿的所述手术台的位姿；
使用Ta-导管变换矩阵CTTa来限定用于对齐所述视觉表现的3D照相机视图的向上向量方向。
在实施例中，经由所述EMT系统实时跟踪的3D位姿是通过点EMT传感器而跟踪的。
在实施例中，所述点EMT传感器被放置在所述导管的前端上以及所述针的前端上。
在实施例中，所述用户界面是2D显示、3D显示、虚拟现实显示或增强现实显示。
在实施例中，所述导管用于通过柔性输尿管镜而定位在所述器官中的工作通道中。
在实施例中，所述术前成像数据包括先前从术前MRI或CT图像重建的一个或多于一个3D器官模型。
在实施例中，所述术中成像数据包括从术中US图像重建的一个或多于一个3D器官模型。
在实施例中，所述器官是肾，并且所述引导式经皮手术是经皮肾进入。
在实施例中，所述电子数据处理器还被配置为重复地重新计算所述矩阵并且重新生成所述视觉表现。
在实施例中，所述电子数据处理器还被配置为：
加载关于先前术前图像CT的预定坐标所表示的、未经受呼吸运动的身体区域的附加术前成像数据；
将所述探测器-EMT变换矩阵TrTP乘以所述探测器校准变换矩阵PTUS以获得术中-EMT变换矩阵TrTUS，所述术中-EMT变换矩阵TrTUS表示关于所述跟踪器的位姿的术中成像数据的所述坐标；
通过所述术前成像数据至所述术中US成像数据中的相同配准Treg来对所加载的附加术前成像数据进行变换；
利用所获得的术中-EMT变换矩阵TrTUS来对经配准的附加术前成像数据进行变换；
生成经变换的经配准的附加术前成像数据的视觉表现以用于所述用户界面上的显示。
还公开了一种用于使用电磁跟踪系统即EMT系统在引导式经皮手术期间提供器官配准和跟踪的视觉表现的方法，所述EMT系统包括：EMT场发生器和跟踪器，用于限定EMT坐标系；具有EMT传感器的导管，用于放置在器官中以指示经皮手术目标；具有EMT传感器的针；具有EMT传感器的超声探测器即US探测器，
所述方法包括校准步骤，所述校准步骤用于：
使用所述EMT系统来跟踪参考对象，所述对象包括所述对象中的具有已知位置的多个参考点；
从所述US探测器接收来自所述参考对象的US成像数据，并且同时从所述EMT系统接收在对所述参考对象进行成像时所述US探测器的3D位姿的集合，各位姿包括位置和朝向；
识别所接收到的US成像数据中的所述参考点；
通过将所接收到的US成像数据中的所识别出的参考点与EMT坐标系中的所跟踪的参考点进行匹配来计算探测器校准变换矩阵PTUS，以及
其中，所述方法还包括以下步骤：
加载关于术前图像CT的预定坐标所表示的术前成像数据；
从所述EMT系统接收实时跟踪的所述导管、所述针和所述US探测器的3D位姿；
从所述US探测器接收关于术中US图像的预定坐标所表示的术中成像数据；
根据所接收到的所述导管的位姿来计算EMT-导管变换矩阵CTTr；
根据所接收到的所述US探测器的位姿来计算探测器-EMT变换矩阵TrTP；
根据所接收到的所述US探测器的位姿来计算针-EMT变换矩阵TrTN；
将所述EMT-导管变换矩阵CTTr乘以所述探测器-EMT变换矩阵TrTP以获得探测器-导管变换矩阵CTP，所述探测器-导管变换矩阵CTP表示关于导管位姿的所述探测器的位姿；
将所述探测器-导管变换矩阵CTP乘以所述探测器校准变换矩阵PTUS以获得术中-导管变换矩阵CTUS，所述术中-导管变换矩阵CTUS表示关于所述导管位姿的术中成像数据的所述坐标；
将所述EMT-导管变换矩阵CTTr乘以所述针-EMT变换矩阵TrTN以获得针-导管变换矩阵CTN，所述针-导管变换矩阵CTN表示关于所述导管位姿的所述针的位姿；
将所加载的术前成像数据配准Treg到术中US成像数据中；
利用所获得的术中-导管变换矩阵CTUS对所述术中US成像数据进行变换；
利用所获得的术中-导管变换矩阵CTUS对经配准的术前成像数据进行变换；
利用所述针-导管变换矩阵CTN对所接收到的所述针的位姿进行变换；
生成经变换的术中US成像数据的视觉表现以用于用户界面上的显示；
生成经变换的经配准的术前成像数据的视觉表现以用于所述用户界面上的显示；
生成经变换的针位姿的视觉表现以用于所述用户界面上的显示。
在实施例中，所述方法还包括：生成导管位置的视觉表现以用于所述用户界面上的显示，特别地，生成导管位姿的视觉表现以用于所述用户界面上的显示。
在实施例中，在接收到旨在重新定位所跟踪的导管的用户指示的情况下，所述方法包括以下的附加步骤：
根据所接收到的所述导管的位姿或者通过反转所述EMT-导管变换矩阵CTTr来计算导管-EMT变换矩阵TrTC；
在生成视觉表现之前，通过预先乘以所述导管-EMT变换矩阵TrTC来发起并维持重新定位变换向经变换的术中US成像数据、经变换的经配准的术前成像数据和经变换的针位姿的应用。
在实施例中，在接收到所跟踪的导管已被重新定位的用户指示的情况下，所述方法包括以下的附加步骤：
停止所述重新定位变换的应用。
在实施例中，在将所加载的术前成像数据配准到所述术中US成像数据中的步骤之前，为了所加载的术前成像数据与EMT坐标系的粗略预配准，所述方法包括以下的步骤：
从用户接收指示关于EMT跟踪器的患者的粗略位姿的输入；
根据所接收到的粗略位姿来计算CT-EMT变换矩阵TrTCT；
利用所述CT-EMT变换矩阵TrTCT对所加载的术前成像数据进行变换；
使用经变换的术前成像数据作为配准步骤的所加载的术前成像数据。
在实施例中，为了使用具有EMT传感器的手术台Ta来在引导式经皮手术期间提供器官配准和跟踪的视觉表现，所述方法包括以下步骤：
从所述EMT系统接收实时跟踪的所述手术台Ta的3D位姿；
根据所接收到的所述手术台的位姿来计算Ta-EMT变换矩阵TrTTa；
将所述EMT-导管变换矩阵CTTr乘以所述Ta-EMT变换矩阵TrTTa以获得Ta-导管变换矩阵CTTa，所述Ta-导管变换矩阵CTTa表示关于所述导管位姿的所述手术台的位姿；
使用Ta-导管变换矩阵CTTa来限定用于对齐所述视觉表现的3D照相机视图的向上向量方向。
所公开的方法的实施例包括以下的附加步骤：
加载关于先前术前图像CT的预定坐标所表示的、未经受呼吸运动的身体区域的附加术前成像数据；
将所述探测器-EMT变换矩阵TrTP乘以所述探测器校准变换矩阵PTUS以获得术中-EMT变换矩阵TrTUS，所述术中-EMT变换矩阵TrTUS表示关于所述跟踪器的位姿的术中成像数据的所述坐标；
通过所述术前成像数据至所述术中US成像数据中的相同配准Treg来对所加载的附加术前成像数据进行变换；
利用所获得的术中-EMT变换矩阵TrTUS来对经配准的附加术前成像数据进行变换；
生成经变换的经配准的附加术前成像数据的视觉表现以用于所述用户界面上的显示。
还公开了一种非暂态计算机可读介质，包括计算机程序指令，所述计算机程序指令用于实现引导式经皮装置，所述引导式经皮装置用于使用电磁跟踪系统即EMT系统在引导式经皮手术期间提供器官配准和跟踪的视觉表现，所述计算机程序指令在由处理器执行时，使得所述处理器执行所公开的方法。
附图说明
以下的图提供用于例示本公开的优选实施例，并且不应视为限制本公开的范围。
图1：本公开中所使用的系统的实施例的示意图。
图2：所提出的公开的范围中所涉及的系统和数据的实施例的示意图。
图3：临床工作流的示意图。
图4：术中使用期间的组件的变换的概述的示意图。
图5：根据实施例的完整手术的流程图的示意图。
图6：根据实施例的患者、跟踪器和传感器重新定位的流程图的示意图。
图7：根据实施例的手术导航所用的图形用户界面(GUI)的示意图。
具体实施方式
本公开涉及用于经皮手术期间的器官配准和跟踪、特别是允许患者和器械在所述手术期间重新定位的方法和装置。
图1综述本公开中所需的系统。本公开包括电磁跟踪(EMT)系统、输尿管镜检查系统、超声波检查系统、以及具有导航软件的计算机(即，电子数据处理器)，在该计算机中，进行术前数据和术中数据之间的配准，之后进行计算机辅助的经皮肾进入。
EMT系统允许在患者的身体的内部和外部都跟踪手术器械。电磁传感器刚性地附接到超声(US)探测器、针前端和导管前端。所有传感器的朝向和位置数据由EMT系统收集并被流传输到计算机。
输尿管镜检查用于将导管定位在肾内部的正确肾盏中。导管在肾和导管前端之间建立刚性关系，从而允许实时地跟踪肾位置(例如，测量呼吸运动)并瞄准要穿刺的肾盏。
US图像被发送到计算机，并且这些US图像的位置和朝向是由附接到US探测器的EMT传感器给出的。图像和变换数据被实时地流传输到导航软件。
通过在计算机中运行，软件允许术前和术中成像数据的分割和配准，从而虚拟地表示解剖患者的数据。软件还包括诸如以下项等的导航特征：针轨迹和导管在US图像上的投影、以及针轨迹和导管在3D虚拟环境中的可视化；术前和术中配准对导管的参考，从而允许连续的器官跟踪，并由此对呼吸运动和内部器官移动进行补偿；以及穿刺期间的视觉反馈所用的针引导界面。
在实施例中，图1示出本公开中所需的系统。EMT系统用于获得手术器械的位置和朝向并参考患者的身体。输尿管镜检查系统用作载体，以将EMT导管通过自然腔道(即，从尿道直到肾盏)引入到患者的身体中。超声波检查系统允许获取患者的术中图像，这些术中图像是使用EMT系统跟踪的各图像。使用术前图像(例如，CT(计算机断层扫描)或MRI(磁共振成像))来增强术中数据。计算机将由上述系统提供的整个信息组合成虚拟环境。
在实施例中，图2例示所提出的发明的范围中所涉及的系统和数据。所提出的发明使用EMT系统来跟踪手术器械和器官，从而能够将这些手术器械和器官参考到相同坐标的系统(或空间)中。
将柔性输尿管镜定位在肾收集系统内部，并且将跟踪导管插入工作通道中直到柔性输尿管镜的前端为止。
可替代地，并且一般地，目标部位可以是跟踪导管点(通常为前端)、或者跟踪输尿管镜点(通常为前端)、或者由EMT传感器跟踪的先前已放置以指示经皮手术所用的所述目标的任何解剖目标。
跟踪探测器用于获取患者的解剖结构的US图像，该数据被抓取到计算机的存储器中。对术前成像数据进行分割，并且将如此得到的模型用于在计算机中运行的特定导航软件中，该特定导航软件记录术前和术中成像数据以增强经皮肾进入。
使用被实时地引导直到目标部位为止的跟踪针来进行经皮肾进入。
以下关于术前图像分割。术前数据必须通过在术中配准之前将肾和附近器官分割来准备。可以对所获得的表示患者的解剖结构的3D模型(图3)应用半自动方法和自动方法。
多图谱集分割(MAS)策略已广泛用于解决多器官分割的问题。该方法在目标图像和已知图谱集之间进行多个配准，从而组合它们的结果以获得最终分割。在本发明的实施例中，这里采用[1]中所提出的空间相干MAS方法。与将分割处理(按照器官)细分为多个分割处理的典型MAS策略相反，所采用的方法维持附近器官之间的空间关系。在使用整个图像的初始全局对齐之后，在各器官的关注区域中计算多个局部变换。然后，为了保证空间相干性，使用密集变形场重建将所有局部变换组合成单个分布图。另外，应用可变形配准方法来针对患者特定的解剖结构细化图谱集信息。最后，使用标记融合策略，该标记融合策略采用逐器官统计选择方法和局部权重投票策略。前者针对每个器官消除最差配准图谱集，而后者针对各体素与未经标记图像中的相同解剖位置的类似度来向各体素指派不同的权重。
此外，可以应用基于机器或深度学习的附加策略以进行术前图像分割。
以下关于术中扫描记录。首先，在术中，外科医生必须用跟踪US探测器扫描穿刺区，并且软件将US图像和位姿数据记录到计算机的存储器中。可以进行并记录数个扫描。这些扫描必须集中于在所有帧中并且优选地以宽覆盖范围且在不重复解剖区的情况下获取评估中的器官。由于世界原点链接到通过柔性输尿管镜被定位在肾内部的导管，因此基于该内部EMT传感器捕获所有扫描。这允许对图像获取期间的呼吸运动和内部移动进行补偿。各扫描被添加到记录的列表中，从而使得能够在创建部分或完整肾模型时选择必须分割并使用哪些记录(图3)。
在本公开的实施例中，在可以从主GUI打开的不同GUI中进行扫描记录。这里，外科医生可以将肾的数个跟踪US图像记录到计算机的存储器中。实际上，在[2]中观察到，具有更宽覆盖范围的沿着肾的中心纵向平面的多个扫描改善了最终配准。记录和保存处理通过界面按钮或物理开关来触发。记录可以在准备时间(例如，5秒)之前进行。
在实施例中，图3示出临床工作流的示意图。在为了手术而准备并定位患者之后，将柔性输尿管镜从尿道插入直到肾盏为止，并且导管被定位在工作通道中。导管的前端必须在输尿管镜检查成像中可见。然后，必须通过记录肾和附近器官的数个扫描(即，US图像集合)来进行US获取。所选择的扫描被分割并组合成(一个或多于一个)3D模型以与(一个或多于一个)术前3D模型配准。术前模型在外科手术之前被分割并且与EMT系统预对齐。因此，使用点集配准方法来配准术前和术中数据。最后，术前和术中数据这两者被对齐，并且可以用于在经皮肾进入期间帮助医生。
以下关于术中图像分割。可以对所选择的US扫描应用半自动或自动方法以进行患者的解剖结构的术中图像分割。
在本发明的实施例中，提出了半自动分割策略以部分地重建肾表面，在该半自动分割策略中，应用人工勾画，之后应用跟踪算法。通过手动分割(由用户自由选择的)一帧来初始化半自动分割。在确认勾画之后，可以触发跟踪算法。这里，使用医学成像跟踪工具箱(MITT)[3]。MITT是出于数个原因而使用的：MITT是通用的，容易使用和并入，计算高效，并且即使在有噪图像中或者在存在伪影(如阴影或回声变化那样)的情况下也能够跟踪轮廓。由于AAOF算法的解剖拓扑和局部性质，这是可能的。总之，MITT将初始轮廓传播到其余帧，并且使用与各帧相关联的变换，可以创建关注器官的3D分割。可以在运行跟踪算法之前改变跟踪设置，在这些跟踪设置中，可以设置三个主参数，即，跟踪邻域的大小(框半径，mm)、相邻轮廓点对跟踪的影响(σ长度，％)和预处理图像滤波(σ高斯，mm)。根据图像大小和帧数，跟踪算法的运行时间在毫秒到秒之间变化。在运行跟踪算法之后，(如果需要则)可以可视化、消除并校正所有帧中的轮廓(包括通过再次运行跟踪算法将该校正传播到后续帧)。上述策略可以在所有记录的扫描中进行。
此外，可以应用基于机器或深度学习的附加策略以进行术中图像分割。
以下关于术中点集配准。在进行分割之后，外科医生可以从记录的列表中选择哪些扫描可以用于部分或完全地重建肾。
在本公开的实施例中，当激活配准时(图4)，通过合并轮廓USpus来构建肾模型，轮廓USpus是先前使用从US图像到与各跟踪图像相关联的导管的变换矩阵进行变换得到的(CTUS＝CTP PTUS，其中PTUS是从US图像到探测器的传感器的变换，即校准矩阵，并且CTP是从探测器的传感器到实时更新的导管的变换)。作为该步骤的结果，针对导管给出轮廓Cpus。
随后，可以基于患者和跟踪器这两者在手术室中的朝向来上传CT模型并将这些CT模型与EMT系统预对齐。可以管理从CT图像到跟踪器的预配置的变换TrTCT(图4)。
在计算CT和US肾模型之间的配准变换(TReg)之前，最初计算从CT模型到导管的固定变换CTCT，以将CT模型放置在US模型的相同坐标系中：
其中：CTTr是从跟踪器到导管的变换。在应用该变换之后，也针对导管给出CT模型Cpct。
然后，使用点集配准算法来配准CT和US肾模型。点集配准方法主要在需要多模态配准时[4]，由于它们相对于基于强度的配准方法的简单性、准确度和低计算负担而在医学图像配准中起重要作用。在该上下文中，最近，研究表明，通过使用点集配准方法[2]将肾的部分术中US模型与完整术前CT模型对齐，可以获得高准确度。在本发明的实施例中，提出了探索相干点漂移(CPD)算法[5]的潜力。CPD是适合于基于概率的类别的稳健且高效的成对点集配准方法[6]。CPD是用于刚性和非刚性配准的高斯混合模型(GMM)的扩展。因此，CPD将两个点集的配准视为概率密度估计问题。一个点集由GMM质心表示，并且另一点集通过最大化似然性并迫使GMM质心作为组相干地移动来拟合到第一点集的GMM质心，从而保留拓扑结构[5]。CPD的关键参数其中之一是指定点集中的噪声和异常点的预期比率的权重参数。由于我们预计利用所提出的半自动分割策略提取出的点集中的一些噪声、离群值和缺失数据(即，由于使用MITT时的轮廓漂移或者由于图像获取期间的遮挡)，因此CPD由于其与其他点集配准算法[4]相比对噪声的低灵敏度、高准确度和稳健性因而成为有吸引力的选项。
在实施例中，图4示出术中使用期间的组件的变换的概述。为了例示目的，将变换矩阵(T)连同各个协方差矩阵(C)一起描绘。使用导管作为世界原点来计算所有变换。虚线箭头表示从跟踪传感器实时地计算出并更新的诸如以下项等的变换：跟踪器到导管CTTr；探测器到导管CTP；针到导管CTN；以及参考到跟踪器TrTR。实线箭头表示术前和术中计算出的诸如以下项等的静态变换：探测器校准PTUS；CT到跟踪器预对齐TRTCT；CT到导管CTCT＝CTTr TrTCT；以及CT-US配准TReg。利用导管的局部坐标(或空间)中的两个模型(即，Cpct和Cpus)来进行配准。手术台中的EMT传感器可以用于通知现实世界的向上向量。所有变换属于三维(3D)空间其中T∈SE(3)。
实际上，配准算法计算从CT模型Cpct到US模型Cpus的变换TReg，从而最终将术前数据融合到术中流。变换TReg如下更新CT模型相对于导管的位置。
在图5的流程图中说明完成配准处理所需的所有步骤。
在实施例中，图5示出完整手术的流程图，在该流程图中：(1)表示在手术室中优化患者和跟踪器的手术位置以覆盖解剖手术区域，从而简化经皮肾进入；(2)表示使用柔性输尿管镜以到达肾上的正确肾盏部位；(3)表示插入跟踪导管直到输尿管镜的前端为止，以分别获得肾内部的参考位置(世界原点)和特定目标，从而增强配准处理并支持经皮肾进入；(4)表示使用参考到(定位在肾内部的)跟踪导管的跟踪成像装置(例如，US成像)来进行术中成像。假定跟踪导管和肾之间的刚性关系，可以对术中图像获取期间的移动进行补偿，从而改善3D肾捕获。可以进行扫描并将这些扫描记录到保存图像和跟踪数据的计算机的存储器中；(5)表示选择扫描以进行分割。分割处理可以是半自动或自动的，主要集中于肾和附近器官；(6)表示对各图像的单独的术中分割，然后可以组合成单个3D模型。该3D模型表示器官的部分信息，并且如果需要，则可以使用特定重建技术来完全重建该3D模型；(7)表示术前数据(例如，CT或MRI)的分割。可以使用半自动或自动分割来创建患者的肾和附近器官的3D表示；(8)表示可以将分割模型与跟踪导管空间预对齐(即，将患者和跟踪器空间对齐)；(9)表示术前和术中数据的配准。术前模型被变换到跟踪导管空间，这意味着所有模型被链接到肾内部的导管。在配准之后，该链接有助于对呼吸运动进行补偿；(10)表示可以使用跟踪针和可用信息进行经皮进入，从而将外科医生引导到目标部位，并且避免刺穿附近器官。来自跟踪成像装置的实时图像用于验证在术前和术中3D模型与患者的解剖结构之间是否存在对应关系。虚拟环境表示用以在肾进入期间帮助外科医生的所有信息和引导提示。
以下关于实时手术导航。在配准处理完成时，激活手术导航。由于所有信息配准到导管(其在肾的内部)，因此术前配准数据Cpct随着导管移动，从而跟随腹内移动。在导航期间，如果导管相对于患者身体的位置不改变，则可以在不失去配准的情况下进行患者或跟踪器重新定位(图6)。
类似地，如果需要，则也可以使得能够在配准之后进行导管重新定位，但在进行该操作时患者和跟踪器移动都不必须发生。为此，可以使用TrTC(其表示在未固定的瞬时相对于导管的跟踪器位姿)暂时将配准数据变换到跟踪器而不是导管，并且在结束时恢复该操作以重新定位导管(图6)。
仅在将具有六自由度的EMT传感器用于导管的情况下，才可以进行在不损害图像融合的情况下在EMT系统的部件之间重新定位配准数据的这些操作。
在实施例中，图6示出患者、跟踪器和传感器重新定位的流程图，在该流程图中：(11)表示图5的点1；(12)表示图5的点2至9；(13)表示图5的点10；(14)表示是否需要重新定位跟踪器或患者的身体，由于完整的配准处理是基于导管空间(其在肾的内部)获得的，因此可以在不显著改变对齐的情况下移动跟踪器和患者的身体；(15)表示是否需要导管的重新定位，这将导致错误配准。为了避免该问题，使用将配准数据临时重新定位到跟踪器；(16)表示必须短时间屏住呼吸运动；(17)表示空间到跟踪器的变换，这意味着所有配准数据现在“附接”到跟踪器。或许，在外科手术期间，该变换可以利用软件中的物理开关或界面按钮来激活；(18)表示然后通过移动柔性输尿管镜来获得导管的新朝向和位置；(19)表示在获得新位置时，将变换恢复到导管空间，这意味着所有配准数据再次“附接”到导管；(20)表示然后再继续呼吸。在整个手术期间必须连续评估患者的生命体征。
此外，导航系统包括组合在一个GUI中的两个引导视图。这些视图可以单独或一起使用(图7)。如下说明每一个视图。
以下关于叠加有针投影和配准数据的US图像。在该引导视图中(错误！未找到引用源。-左侧)，外科医生能够在US图像上实时地对如下项进行可视化：针的投影、进针点和轮廓；导管前端；以及来自经配准的术前模型的轮廓。
以下关于3D虚拟环境。3D虚拟环境实时地显示所跟踪的US图像的位姿、针和导管前端的3D模型、经配准的术前模型和术中肾模型、以及针的轨迹(错误！未找到引用源。-右侧)。如果需要，则可以旋转、平移或缩放虚拟环境以改善可视化。
在实施例中，图7示出手术导航所用的GUI。GUI呈现实时地更新的两个引导视图。左侧：叠加有针投影和进针点、导管前端、以及来自配准数据的轮廓的US图像。右侧：具有经配准的术前模型和手术器械的3D虚拟环境。术中模型也可以被可视化。
参考文献
[1]B.Oliveira et al.,“A novel multi-atlas strategy with densedeformation field reconstruction for abdominal and thoracic multi-organsegmentation from computed tomography,”Med.Image Anal.,vol.45,pp.108-120,Apr.2018.
[2]J.Gomes-Fonseca et al.,“Surface-based registration between CT andUS for image-guided percutaneous renal access-A feasibility study,”Med.Phys.,vol.46,no.3,pp.1115-1126,Mar.2019.
[3]S.Queiros,P.Morais,D.Barbosa,J.C.Fonseca,J.L.Vilaca,and J.D’Hooge,“MITT:Medical Image Tracking Toolbox,”IEEE Trans.Med.Imaging,vol.37,no.11,pp.2547-2557,Nov.2018.
[4]S.-Y.Guan,T.-M.Wang,C.Meng,and J.-C.Wang,“A Review of PointFeature Based Medical Image Registration,”Chinese J.Mech.Eng.,vol.31,no.1,p.76,Dec.2018.
[5]A.Myronenko and Xubo Song,“Point Set Registration:Coherent PointDrift,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.32,no.12,pp.2262-2275,Dec.2010.
[6]H.Zhu et al.,“A Review of Point Set Registration:From PairwiseRegistration to Groupwise Registration,”Sensors,vol.19,no.5,p.1191,Mar.2019.
术语“包括”无论何时在本文中使用时，旨在指示存在所陈述的特征、整体、步骤、组件，但不排除存在或添加一个或多于一个其他特征、整体、步骤、组件或其组。
本领域普通技术人员将理解，除非本文中另外指示，否则所描述的步骤的特定顺序仅是例示性的，并且可以在不背离本公开的情况下有所变化。因而，除非另外陈述，否则所描述的步骤是无序的，这意味着在可能的情况下，步骤可以以任何方便或期望的顺序进行。
本公开不应以任何方式被视为局限于所描述的实施例，并且本领域普通技术人员将预见对其的修改的许多可能性。上述实施例是可组合的。所附权利要求书进一步阐述了本公开的特定实施例。
Claims (31)
1.一种引导式经皮装置，用于使用电磁跟踪系统即EMT系统在引导式经皮手术期间提供器官配准和跟踪的视觉表现，所述EMT系统包括：EMT场发生器和跟踪器，用于限定EMT坐标系；具有EMT传感器的导管，用于放置在器官中以指示经皮手术目标；具有EMT传感器的针；具有EMT传感器的超声探测器即US探测器；以及电子数据处理器，其被配置为执行在先校准步骤，所述在先校准步骤用于：
使用所述EMT系统来跟踪参考对象，所述对象包括所述对象中的具有已知位置的多个参考点；
从所述US探测器接收来自所述参考对象的US成像数据，并且同时从所述EMT系统接收在对所述参考对象进行成像时所述US探测器的三维位姿即3D位姿的集合，各位姿包括位置和朝向；
识别所接收到的US成像数据中的所述参考点；
通过将所接收到的US成像数据中的所识别出的参考点与EMT坐标系中的所跟踪的参考点进行匹配来计算探测器校准变换矩阵PTUS，以及
其中，所述电子数据处理器被配置为执行以下步骤：
加载关于术前图像CT的预定坐标所表示的术前成像数据；
从所述EMT系统接收实时跟踪的所述导管、所述针和所述US探测器的3D位姿；
从所述US探测器接收关于术中US图像的预定坐标所表示的术中成像数据；
根据所接收到的所述导管的位姿来计算EMT-导管变换矩阵CTTr；
根据所接收到的所述US探测器的位姿来计算探测器-EMT变换矩阵TrTP；
根据所接收到的所述US探测器的位姿来计算针-EMT变换矩阵TrTN；
将所述EMT-导管变换矩阵CTTr乘以所述探测器-EMT变换矩阵TrTP以获得探测器-导管变换矩阵CTP，所述探测器-导管变换矩阵CTP表示关于导管位姿的所述探测器的位姿；
将所述探测器-导管变换矩阵CTP乘以所述探测器校准变换矩阵PTUS以获得术中-导管变换矩阵CTUS，所述术中-导管变换矩阵CTUS表示关于所述导管位姿的术中成像数据的所述坐标；
将所述EMT-导管变换矩阵CTTr乘以所述针-EMT变换矩阵TrTN以获得针-导管变换矩阵CTN，所述针-导管变换矩阵CTN表示关于所述导管位姿的所述针的位姿；
将所加载的术前成像数据配准Treg到术中US成像数据中；
利用所获得的术中-导管变换矩阵CTUS对所述术中US成像数据进行变换；
利用所获得的术中-导管变换矩阵CTUS对经配准的术前成像数据进行变换；
利用所述针-导管变换矩阵CTN对所接收到的所述针的位姿进行变换；
生成经变换的术中US成像数据的视觉表现以用于用户界面上的显示；
生成经变换的经配准的术前成像数据的视觉表现以用于所述用户界面上的显示；
生成经变换的针位姿的视觉表现以用于所述用户界面上的显示。
2.根据前一项权利要求所述的装置，其中，所述电子数据处理器还被配置为生成导管位置的视觉表现以用于所述用户界面上的显示，特别地，生成导管位姿的视觉表现以用于所述用户界面上的显示。
3.根据前述权利要求中任一项所述的装置，其中，所述电子数据处理器还被配置为在接收到旨在重新定位所跟踪的导管的用户指示的情况下，执行以下的附加步骤：
根据所接收到的所述导管的位姿或者通过反转所述EMT-导管变换矩阵CTTr来计算导管-EMT变换矩阵TrTC；
在生成视觉表现之前，通过预先乘以所述导管-EMT变换矩阵TrTC来发起并维持重新定位变换向经变换的术中US成像数据、经变换的经配准的术前成像数据和经变换的针位姿的应用。
4.根据前一项权利要求所述的装置，其中，所述电子数据处理器还被配置为在接收到所跟踪的导管已被重新定位的用户指示的情况下，执行以下的附加步骤：
停止所述重新定位变换的应用。
5.根据前述权利要求中任一项所述的装置，其中，所述电子数据处理器还被配置为在将所加载的术前成像数据配准到所述术中US成像数据中的步骤之前，为了所加载的术前成像数据与EMT坐标系的粗略预配准，执行以下的步骤：
从用户接收指示关于EMT跟踪器的患者的粗略位姿的输入；
根据所接收到的粗略位姿来计算CT-EMT变换矩阵TrTCT；
利用所述CT-EMT变换矩阵TrTCT对所加载的术前成像数据进行变换；
使用经变换的术前成像数据作为配准步骤的所加载的术前成像数据。
6.根据前述权利要求中任一项所述的装置，用于使用具有EMT传感器的手术台Ta来在引导式经皮手术期间提供器官配准和跟踪的视觉表现，其中所述电子数据处理器还被配置为执行以下步骤：
从所述EMT系统接收实时跟踪的所述手术台Ta的3D位姿；
根据所接收到的所述手术台的位姿来计算Ta-EMT变换矩阵TrTTa；
将所述EMT-导管变换矩阵CTTr乘以所述Ta-EMT变换矩阵TrTTa以获得Ta-导管变换矩阵CTTa，所述Ta-导管变换矩阵CTTa表示关于所述导管位姿的所述手术台的位姿；
使用Ta-导管变换矩阵CTTa来限定用于对齐所述视觉表现的3D照相机视图的向上向量方向。
7.根据前述权利要求中任一项所述的装置，其中，经由所述EMT系统实时跟踪的3D位姿是通过点EMT传感器而跟踪的。
8.根据前一项权利要求所述的装置，其中，所述点EMT传感器被放置在所述导管的前端上以及所述针的前端上。
9.根据前述权利要求中任一项所述的装置，其中，所述用户界面是2D显示、3D显示、虚拟现实显示或增强现实显示。
10.根据前述权利要求中任一项所述的装置，其中，所述导管用于通过柔性输尿管镜而定位在所述器官中的工作通道中。
11.根据前述权利要求中任一项所述的装置，其中，所述术前成像数据包括先前从术前MRI或CT图像重建的一个或多于一个3D器官模型。
12.根据前述权利要求中任一项所述的装置，其中，所述术中成像数据包括从术中US图像重建的一个或多于一个3D器官模型。
13.根据前述权利要求中任一项所述的装置，其中，所述器官是肾，并且所述引导式经皮手术是经皮肾进入。
14.根据前述权利要求中任一项所述的装置，其中，所述电子数据处理器还被配置为重复地重新计算所述矩阵并且重新生成所述视觉表现。
15.根据前述权利要求中任一项所述的装置，其中，所述电子数据处理器还被配置为：
加载关于先前术前图像CT的预定坐标所表示的、未经受呼吸运动的身体区域的附加术前成像数据；
将所述探测器-EMT变换矩阵TrTP乘以所述探测器校准变换矩阵PTUS以获得术中-EMT变换矩阵TrTUS，所述术中-EMT变换矩阵TrTUS表示关于所述跟踪器的位姿的术中成像数据的所述坐标；
通过所述术前成像数据至所述术中US成像数据中的相同配准Treg来对所加载的附加术前成像数据进行变换；
利用所获得的术中-EMT变换矩阵TrTUS来对经配准的附加术前成像数据进行变换；
生成经变换的经配准的附加术前成像数据的视觉表现以用于所述用户界面上的显示。
16.一种用于使用电磁跟踪系统即EMT系统在引导式经皮手术期间提供器官配准和跟踪的视觉表现的方法，所述EMT系统包括：EMT场发生器和跟踪器，用于限定EMT坐标系；具有EMT传感器的导管，用于放置在器官中以指示经皮手术目标；具有EMT传感器的针；具有EMT传感器的超声探测器即US探测器，
所述方法包括校准步骤，所述校准步骤用于：
使用所述EMT系统来跟踪参考对象，所述对象包括所述对象中的具有已知位置的多个参考点；
从所述US探测器接收来自所述参考对象的US成像数据，并且同时从所述EMT系统接收在对所述参考对象进行成像时所述US探测器的3D位姿的集合，各位姿包括位置和朝向；
识别所接收到的US成像数据中的所述参考点；
通过将所接收到的US成像数据中的所识别出的参考点与EMT坐标系中的所跟踪的参考点进行匹配来计算探测器校准变换矩阵PTUS，以及
其中，所述方法还包括以下步骤：
加载关于术前图像CT的预定坐标所表示的术前成像数据；
从所述EMT系统接收实时跟踪的所述导管、所述针和所述US探测器的3D位姿；
从所述US探测器接收关于术中US图像的预定坐标所表示的术中成像数据；
根据所接收到的所述导管的位姿来计算EMT-导管变换矩阵CTTr；
根据所接收到的所述US探测器的位姿来计算探测器-EMT变换矩阵TrTP；
根据所接收到的所述US探测器的位姿来计算针-EMT变换矩阵TrTN；
将所述EMT-导管变换矩阵CTTr乘以所述探测器-EMT变换矩阵TrTP以获得探测器-导管变换矩阵CTP，所述探测器-导管变换矩阵CTP表示关于导管位姿的所述探测器的位姿；
将所述探测器-导管变换矩阵CTP乘以所述探测器校准变换矩阵PTUS以获得术中-导管变换矩阵CTUS，所述术中-导管变换矩阵CTUS表示关于所述导管位姿的术中成像数据的所述坐标；
将所述EMT-导管变换矩阵CTTr乘以所述针-EMT变换矩阵TrTN以获得针-导管变换矩阵CTN，所述针-导管变换矩阵CTN表示关于所述导管位姿的所述针的位姿；
将所加载的术前成像数据配准Treg到术中US成像数据中；
利用所获得的术中-导管变换矩阵CTUS对所述术中US成像数据进行变换；
利用所获得的术中-导管变换矩阵CTUS对经配准的术前成像数据进行变换；
利用所述针-导管变换矩阵CTN对所接收到的所述针的位姿进行变换；
生成经变换的术中US成像数据的视觉表现以用于用户界面上的显示；
生成经变换的经配准的术前成像数据的视觉表现以用于所述用户界面上的显示；
生成经变换的针位姿的视觉表现以用于所述用户界面上的显示。
17.根据前一项权利要求所述的方法，还包括：生成导管位置的视觉表现以用于所述用户界面上的显示，特别地，生成导管位姿的视觉表现以用于所述用户界面上的显示。
18.根据权利要求16或17所述的方法，在接收到旨在重新定位所跟踪的导管的用户指示的情况下，包括以下的附加步骤：
根据所接收到的所述导管的位姿或者通过反转所述EMT-导管变换矩阵CTTr来计算导管-EMT变换矩阵TrTC；
在生成视觉表现之前，通过预先乘以所述导管-EMT变换矩阵TrTC来发起并维持重新定位变换向经变换的术中US成像数据、经变换的经配准的术前成像数据和经变换的针位姿的应用。
19.根据前一项权利要求所述的方法，在接收到所跟踪的导管已被重新定位的用户指示的情况下，包括以下的附加步骤：
停止所述重新定位变换的应用。
20.根据权利要求16至19中任一项所述的方法，在将所加载的术前成像数据配准到所述术中US成像数据中的步骤之前，为了所加载的术前成像数据与EMT坐标系的粗略预配准，包括以下的步骤：
从用户接收指示关于EMT跟踪器的患者的粗略位姿的输入；
根据所接收到的粗略位姿来计算CT-EMT变换矩阵TrTCT；
利用所述CT-EMT变换矩阵TrTCT对所加载的术前成像数据进行变换；
使用经变换的术前成像数据作为配准步骤的所加载的术前成像数据。
21.根据权利要求16至20中任一项所述的方法，用于使用具有EMT传感器的手术台Ta来在引导式经皮手术期间提供器官配准和跟踪的视觉表现，所述方法包括以下步骤：
从所述EMT系统接收实时跟踪的所述手术台Ta的3D位姿；
根据所接收到的所述手术台的位姿来计算Ta-EMT变换矩阵TrTTa；
将所述EMT-导管变换矩阵CTTr乘以所述Ta-EMT变换矩阵TrTTa以获得Ta-导管变换矩阵CTTa，所述Ta-导管变换矩阵CTTa表示关于所述导管位姿的所述手术台的位姿；
使用Ta-导管变换矩阵CTTa来限定用于对齐所述视觉表现的3D照相机视图的向上向量方向。
22.根据权利要求16至21中任一项所述的方法，其中，经由所述EMT系统实时跟踪的3D位姿是通过点EMT传感器而跟踪的。
23.根据前一项权利要求所述的方法，其中，所述点EMT传感器被放置在所述导管的前端上以及所述针的前端上。
24.根据权利要求16至23中任一项所述的方法，其中，所述用户界面是2D显示、3D显示、虚拟现实显示或增强现实显示。
25.根据权利要求16至24中任一项所述的方法，其中，所述导管用于通过柔性输尿管镜而定位在所述器官中的工作通道中。
26.根据权利要求16至25中任一项所述的方法，其中，所述术前成像数据包括先前从术前MRI或CT图像重建的一个或多于一个3D器官模型。
27.根据权利要求16至26中任一项所述的方法，其中，所述术中成像数据包括从术中US图像重建的一个或多于一个3D器官模型。
28.根据权利要求16至27中任一项所述的方法，其中，所述器官是肾，并且所述引导式经皮手术是经皮肾进入。
29.根据权利要求16至28中任一项所述的方法，包括：重复地重新计算所述矩阵并且重新生成所述视觉表现。
30.根据权利要求16至29中任一项所述的方法，包括以下的附加步骤：
加载关于先前术前图像CT的预定坐标所表示的、未经受呼吸运动的身体区域的附加术前成像数据；
将所述探测器-EMT变换矩阵TrTP乘以所述探测器校准变换矩阵PTUS以获得术中-EMT变换矩阵TrTUS，所述术中-EMT变换矩阵TrTUS表示关于所述跟踪器的位姿的术中成像数据的所述坐标；
通过所述术前成像数据至所述术中US成像数据中的相同配准Treg来对所加载的附加术前成像数据进行变换；
利用所获得的术中-EMT变换矩阵TrTUS来对经配准的附加术前成像数据进行变换；
生成经变换的经配准的附加术前成像数据的视觉表现以用于所述用户界面上的显示。
31.一种非暂态计算机可读介质，包括计算机程序指令，所述计算机程序指令用于实现引导式经皮装置，所述引导式经皮装置用于使用电磁跟踪系统即EMT系统在引导式经皮手术期间提供器官配准和跟踪的视觉表现，所述计算机程序指令在由处理器执行时，使得所述处理器执行根据权利要求16至30中任一项所述的方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PT11720521 | 2021-04-30 | ||
| PT117205 | 2021-04-30 | ||
| PT117204 | 2021-04-30 | ||
| PCT/IB2022/054040 WO2022229937A1 (en) | 2021-04-30 | 2022-05-02 | Method and device for registration and tracking during a percutaneous procedure |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118234422A true CN118234422A (zh) | 2024-06-21 |
Family
ID=91498132
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280046508.8A Pending CN118234421A (zh) | 2021-04-29 | 2022-04-29 | 用于生成经引导经皮手术的不确定性图的方法和设备 |
| CN202280046937.5A Pending CN118234422A (zh) | 2021-04-30 | 2022-05-02 | 用于经皮手术期间的配准和跟踪的方法和装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280046508.8A Pending CN118234421A (zh) | 2021-04-29 | 2022-04-29 | 用于生成经引导经皮手术的不确定性图的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN118234421A (zh) |
-
2022
- 2022-04-29 CN CN202280046508.8A patent/CN118234421A/zh active Pending
- 2022-05-02 CN CN202280046937.5A patent/CN118234422A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN118234421A (zh) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11896414B2 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
| US9652845B2 (en) | Surgical assistance planning method using lung motion analysis | |
| US8942455B2 (en) | 2D/3D image registration method | |
| US8238625B2 (en) | Method and a system for registering a 3D pre acquired image coordinates system with a medical positioning system coordinate system and with a 2D image coordinate system | |
| AU2006302057B2 (en) | Sensor guided catheter navigation system | |
| US20180158201A1 (en) | Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images | |
| US20090080737A1 (en) | System and Method for Use of Fluoroscope and Computed Tomography Registration for Sinuplasty Navigation | |
| Song et al. | Locally rigid, vessel-based registration for laparoscopic liver surgery | |
| US20080107312A1 (en) | Device and Process for Multimodal Registration of Images | |
| US10588702B2 (en) | System and methods for updating patient registration during surface trace acquisition | |
| KR20090098842A (ko) | 이미지 유도 중재 시술에서 수술중 움직임을 보상하는 개선된 이미지 정합 및 방법 | |
| CN108430376B (zh) | 提供投影数据集 | |
| WO2023232492A1 (en) | Guidance during medical procedures | |
| EP4287120A1 (en) | Guidance during medical procedures | |
| US20240216010A1 (en) | Method and device for registration and tracking during a percutaneous procedure | |
| CN118234422A (zh) | 用于经皮手术期间的配准和跟踪的方法和装置 | |
| EP4329581A1 (en) | Method and device for registration and tracking during a percutaneous procedure | |
| CN115089294B (zh) | 介入手术导航的方法 | |
| US20240206980A1 (en) | Volumetric filter of fluoroscopic sweep video | |
| Yang et al. | Augmented Reality Navigation System for Biliary Interventional Procedures With Dynamic Respiratory Motion Correction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |