CN107592802A - 通过解剖模型增强引导腹腔镜手术过程的系统和方法 - Google Patents

通过解剖模型增强引导腹腔镜手术过程的系统和方法 Download PDF

Info

Publication number
CN107592802A
CN107592802A CN201580079676.7A CN201580079676A CN107592802A CN 107592802 A CN107592802 A CN 107592802A CN 201580079676 A CN201580079676 A CN 201580079676A CN 107592802 A CN107592802 A CN 107592802A
Authority
CN
China
Prior art keywords
deformation
art
concern
anatomical object
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580079676.7A
Other languages
English (en)
Inventor
阿里·卡门
斯特凡·克卢克纳
张耀仁
托马索·曼西
蒂齐亚诺·帕塞里尼
陈德仁
彼得·蒙特尼
安东·希克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107592802A publication Critical patent/CN107592802A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

用于模型增强的系统和方法，包括接收变形状态下的关注的解剖对象的术中成像数据。术中成像数据被缝合到变形状态下的关注的解剖对象的术中模型中。基于生物力学模型通过使初始状态下的关注的解剖对象的术前模型变形，变形状态下的关注的解剖对象的术中模型与初始状态下的关注的解剖对象的术前模型配准。来自变形状态下的关注的解剖对象的术中模型的纹理信息映射至变形的术前模型以生成关注解剖对象的变形的、纹理映射的术前模型。

Description

通过解剖模型增强引导腹腔镜手术过程的系统和方法
背景技术
本发明总体涉及腹腔镜手术过程的基于图像的引导，且更具体地，涉及通过解剖模型增强在腹腔镜手术过程期间瞄准和定位解剖结构。
目前，在微创腹部手术(诸如微创肿瘤切除术)中，使用立体或常规视频腹腔镜检查来帮助将临床医生引导至目标肿瘤部位，同时避免关键结构。因为不能从腹腔镜图像直接看到肿瘤和关键结构，所以在手术过程中使用术前成像信息非常有用。通过腹腔镜视频与外科医生的视野相一致的术前信息增强了外科医生更好地瞄准肿瘤并避免目标周围的关键结构的感知和能力。
通常情况下，手术过程需要腹部充气，导致初始器官移位和必须调和的组织变形。由于由呼吸和可能的工具-组织相互作用引起的连续组织变形，使得该过程本身的这种配准问题进一步复杂化。
可用于术中光学图像和术前图像融合的常规系统包括基于多模式基准的系统、基于手动配准的系统和基于三维表面配准的系统。基于基准的技术需要一组具有术前和术中图像获取的共同基准，这对于临床工作流程本身是具有破坏性的，因为在基准的额外步骤中必须对患者进行成像。手动配准耗时且可能不准确，特别是如果在过程的整个长度期间必须基于一个或多个二维图像不断地调整方位对准。另外，这种手动配准技术在过程中不能解释配准时的组织变形或暂时组织变形。使用生物力学特性的、基于三维表面的配准可能由于其对所关注解剖表面结构的观察有限和实时变形补偿计算复杂而损害准确度和性能。
发明内容
根据实施方式，用于模型增强的系统和方法包括接收变形状态下的关注的解剖对象的术中成像数据。将术中成像数据缝合到变形状态下的关注的解剖对象的术中模型中。基于生物力学模型通过使初始状态下的关注的解剖对象的术前模型变形，将变形状态下的关注的解剖对象的术中模型与初始状态下的关注的解剖对象的术前模型配准。将来自变形状态下的关注的解剖对象的术中模型的纹理信息映射至变形的术前模型，以生成关注的解剖对象的变形的、纹理映射的术前模型。
通过参考以下详细说明和附图，本发明的这些优点和其它优点对于本领域普通技术人员将是显而易见的。
附图说明
图1示出了根据一个实施方式的、通过解剖模型增强用于在腹腔镜手术过程期间引导的高级框架；
图2示出了根据一个实施方式的、通过解剖模型增强用于在腹腔镜手术过程期间引导的系统；
图3示出了根据一个实施方式的、用于从初始的术中成像数据生成关注的解剖对象的三维模型的概观；
图4示出了根据一个实施方式的、通过解剖模型增强用于在腹腔镜手术过程期间引导的方法；以及
图5示出了根据一个实施方式的、通过解剖模型增强用于在腹腔镜手术过程期间引导的计算机的高级框图。
具体实施方式
本发明大体涉及在腹腔镜手术过程期间引导的解剖模型增强。本文描述了本发明的实施方式以给出对于增强解剖模型的方法的直观理解。数字图像常常由一个或多个对象(或者形状)的数字表示组成。这里通常在识别和操纵对象方面描述对象的数字表示。这种操纵是在计算机系统的存储器或者其他电路/硬件中完成的虚拟操纵。因此，应当理解，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施方式。
此外，应当理解，尽管可以关于患者的医疗过程讨论本文讨论的实施方式，但是本原理并不限于此。本发明的实施方式可用于增强任何研究对象的模型。
图1示出了根据一个或多个实施方式的用于在腹腔镜手术过程期间引导的高级框架100。在执行手术过程期间，工作站102通过提供图像引导并且显示其他相关信息辅助用户(例如，外科医生)。工作站102接收患者(例如，肝脏)的关注的解剖对象的术前模型104和术中成像数据106。术前模型104是初始(例如，松弛或未变形)状态下的关注的解剖对象，而术中成像数据106是变形状态下的关注的解剖对象。术中成像数据106包括初始的术中成像数据110和实时术中成像数据112。初始的术中成像数据110在过程的初始阶段获取以提供关注的解剖对象的完整扫描。实时术中成像数据112在过程期间获取。
术前模型104可从肝脏的术前成像数据(未示出)生成，术前成像数据可以是例如，计算机断层成像(CT)、磁共振成像(MRI)等的任意形态。例如，可使用任何分割算法来分割术前成像数据，并使用计算几何算法库(CGAL)将其转换为术前模型104。还可以采用其他已知的方法。术前模型104可以是例如，肝脏的表面或者四面体网络。术前模型104不仅包括肝脏的表面，而且包括亚表面目标和临界结构。
肝脏的术中成像数据106可从任意形态的图像获取设备接收。在一个实施方式中，术中成像数据106包括从立体腹腔镜成像设备获取的光学二维(2D)和三维(3D)深度图。术中成像数据106包括变形状态下的肝脏的图像、视频、或者任何其他成像数据。变形可能是由于腹部的吹入或任何其他因素，例如患者的自然内部运动(例如，呼吸)，成像或手术设备的位移等引起的。
工作站102根据术前模型104和初始术中成像数据110生成与患者的当前(即变形)状态对应的肝脏的纹理模型。具体地，工作站102应用缝合算法以将初始术中成像数据110的帧对准在变形状态下的关注的解剖对象的单个术中3D模型(例如，表面网格)中。术中模型与术前模型104刚性配准。术前模型104基于肝脏的内在生物力学特性局部变形，使得变形的术前模型与缝合的术中模型相匹配。来自缝合的术中模型的纹理信息映射到变形的术前模型以生成变形的纹理映射的术前模型。
在变形的纹理映射的术前模型与在过程期间获取的实时术中成像数据112之间执行非刚性配准。工作站102输出增强显示108，该增强显示用实时的术中成像数据112在手术中显示变形的、纹理映射的术前模型。例如，变形的、纹理映射的术前模型可以以与实时术中成像数据112覆盖或并排的配置显示，以向临床医生提供对亚表面目标和关键结构的更好地理解，用于高效的导航和治疗的递送。
图2示出了根据一个或多个实施方式的用于通过解剖模型增强在腹腔镜手术过程期间引导的系统200的详细视图。系统200的元件可能位于一处(例如，在手术室环境或者设施内)或者位于远处(例如，在设施的不同区域或不同的设施)。系统200包括可以用于手术过程(或者任何其他类型的过程)的工作站202。工作站202可包括通信耦接至一个或多个数据存储设备216的一个或多个处理器218、一个或多个显示器220、及一个或多个输入/输出设备222。数据存储设备216存储表示在处理器218上实行时执行的工作站202的功能的多个模块。应当理解，工作站202可包括另外的元件，例如，通信接口。
工作站202在手术过程期间术中接收来自研究对象212(例如，患者)的关注对象211的图像获取设备204的成像数据。成像数据可包括图像(例如，帧)、视频、或者任何其他类型的成像数据。来自图像获取设备204的术中成像数据可包括初始的术中成像数据206和实时术中成像数据207。初始的术中成像数据206可在手术过程的初始阶段获取以提供关注的解剖对象211的完整扫描。实时术中成像数据207可在过程期间获取。
术中成像数据206、207可在关注对象211处于变形状态时获取。变形可能是由于关注对象211的充气或任何其他因素，例如患者的自然运动(例如，呼吸)，成像或手术设备所引起的位移等。在一个实施方式中，术中成像数据206、207是工作站202在术中直接从成像研究对象212的图像获取设备204接收的。在另一实施方式中，通过加载使用图像获取设备204获取的研究对象212的先前存储的成像数据来接收成像数据206、207。
在一些实施方式中，图像获取设备204可以采用一个或多个探头208用于成像研究对象212的关注对象211。关注对象211可以是关注的目标解剖对象，例如，器官(例如，肝脏)。探头208可包括一个或多个成像设备(例如，照相机、投影仪)以及其他手术器械或设备，例如，吹入设备、切口设备或者任何其他设备。例如，吹入设备可包括手术气囊、用于吹送空气的导管(例如，惰性的无毒气体，诸如二氧化碳)等。图像获取设备204经由连接210通信耦接至探头208，连接210可包括电连接、光学连接、用于吹入(例如导管)的连接或任何其它合适的连接。
在一个实施方式中，图像获取设备204是能够产生关注的解剖对象211的实时二维(2D)和三维(3D)深度图的立体腹腔镜成像设备。例如，立体腹腔镜成像设备可以采用两个照相机，其中一个照相机具有投影仪，或者两个照相机具有投影仪用于产生实时2D和3D深度图。立体腹腔镜成像设备的其他配置也是可能的。应当理解，成像获取设备204不限于立体腹腔镜成像设备，并且可以是任意形态，例如，超声波(US)。
工作站202还可接收研究对象212的关注的解剖对象211的术前模型214。术前模型214可以从初始(例如，松弛或未变形)状态下获取的关注的解剖对象211的术前成像数据(未示出)生成。术前成像数据可以是任意形态，例如，CT、MRI等。与术中成像数据206相比，术前成像数据提供关注的解剖对象211的更详细的视图。
可以使用任何分割算法从术前成像数据中分割表面目标(例如肝脏)、关键结构(例如门静脉、肝系统、胆道和其他靶(例如，原发性和转移性肿瘤)。例如，分割算法可以是基于机器学习的分割算法。在一个实施方式中，可以采用基于边际空间学习(MSL)的框架，例如，使用题为“用于在三维图像中分割心脏腔室的系统和方法”的美国专利第7,916,919号中描述的方法，通过引用将其全部合并于此。在另一实施方式中，可以使用半自动分割技术，例如图形切割或随机游走分割。分割可以表示为二进制卷。通过使用例如CGAL、VTK(可视化工具包)或任何其他已知工具转换二进制卷来生成术前模型214。在一个实施方式中，术前模型214是表面或者四面体网络。在一些实施方式中，工作站202直接接收术前成像数据并且生成术前模型214。
工作站202使用初始的术中成像数据206生成变形状态下的关注的解剖对象211的3D模型。图3示出了根据一个或多个实施方式用于生成3D模型的概述。缝合模块224被配置为使来自初始术中成像数据206的单独扫描的帧彼此匹配，以便基于检测到的图像界标来估计对应的帧。单独的扫描帧可以使用使用探头208的图像获取设备204在研究对象212的位置304处获取。然后可以在这些对应帧之间确定相对姿态的假设的成对计算。在一个实施方式中，基于对应的2D图像测量和/或界标来估计对应帧之间的相对姿态的假设。在另一实施方式中，基于可用的3D深度通道估计对应帧之间的相对姿态的假设。还可以采用计算对应帧之间的相对姿态的假设的其他方法。
缝合模块224然后应用随后的束调整步骤来通过最小化像素空间或度量3D空间中的2D重投影误差优化估计的相对姿态假设的集合中的最终稀疏几何结构，以及相对于2D图像域中定义的误差度量的原始相机姿态，3D距离在3D点之间最小化。优化后，在单个规范坐标系中表示所获取的帧。缝合模块224将成像数据206的3D深度数据缝合到单个规范坐标系中的关注解剖对象211的高质量和稠密术中模型302中。术中模型302可以是表面网格。例如，术中模型302可以表示为3D点云。术中模型302包括关注的解剖对象211的详细纹理信息。可以执行附加处理步骤，以使用例如基于3D三角测量的已知表面网格划分过程来创建成像数据206的视觉印象。
刚性配准模块226应用初步的刚性配准(或融合)以将术前模型214和由缝合模块224生成的术中模型对准到共用坐标系中。在一个实施方式中，通过识别术前模块214和术中模型之间的三个以上的对应关系执行配准。通过确定在术前模型214和术中模型的2D/3D深度图中都能识别的唯一关键(突出)点，可以基于解剖界标手动识别或半自动识别对应关系。还可以采用其他配准方法。例如，更复杂的全自动配准方法包括通过将探头208的跟踪系统与术前成像数据的坐标系统先验地(例如，通过过程中解剖扫描或一组共用基准)配准的探头208的外部跟踪。
一旦术前模型214和术中模型粗略对准，变形模块228识别术前模型214的顶点和术中模型(例如，点云)之间的稠密对应关系。稠密对应关系可以例如基于解剖界标手动识别，通过确定突出点半自动地识别或全自动地识别。变形模块214然后导出每个所识别的对应关系的偏差模式。偏差模式编码或表示术前模型214和术中模型之间在每个识别的对应关系下的空间分布的对准误差。偏差模式被转换为应用于术前模型214的力度局部一致的3D区域。在一个实施方式中，通过执行标准化或者加权原理，3D距离可以变为力度。
为了实现非刚性配准，变形模块228基于术前模型214限定关注的解剖对象211的生物力学模型。基于机械参数和压力级限定生物力学模型。为了将该生物力学模型结合到配准框架中，参数与相似性测量相结合，用于调整模型参数。在一个实施方式中，生物力学模型将关注的解剖对象211描述为均匀线性弹性固体，其运动由弹性动力学方程来控制。
若干不同的方法可以用于求解该方程。例如，完全拉格朗日显式动力学(TLED)有限元算法可以用于在术前模型214中定义的四面体单元的网格上计算。生物力学模型使网格元素变形，并通过最小化组织的弹性能量来计算与上述力度局部一致的区域一致的关注对象211的网格点的位移。
生物力学模型与相似性测量结合以将生物力学模型包括在配准框架中。鉴于此，通过优化术中模型与生物力学模型更新的术前模型之间的相似性，生物力学模型参数反复更新直至模型收敛(即，当活动模型达到与目标模型类似的几何结构时)。因此，生物力学模型提供与术中模型中的变形一致的术前模型214的物理声学变形，目标是最小化术间收集的点与生物力学模型更新的术前模型214之间的逐点距离度量。
虽然关于弹性动力学方程讨论了关注的解剖对象211的生物力学模型，但是应当理解，可以采用其他结构模型(例如，更复杂的模型)来考虑器官的内部结构的动力学。例如，关注的解剖对象211的生物力学模型可以表示为非线性弹性模型、粘滞效应模型或非均质材料性质模型。其他模型也可以考虑。
在一个实施方式中，生物力学模型的求解可以用于向图像获取设备204的操作者提供触觉反馈。在另一实施方式中，生物力学模型的求解可以用于引导编辑成像数据206的分割。在其他实施方式中，生物力学模型可以用于识别的参数(例如，组织刚度或者粘度)。例如，可以通过探测208施加已知的力度并观察位移来使患者的组织主动地变形。可以使用生物力学模型作为寻找适合可用数据的最优模型参数的正演问题的求解器来解决逆问题。例如，基于生物力学模型的变形可基于已知的变形来更新参数。在一些实施方式中，生物力学模型在用于非刚性配准之前可以个性化(即，通过解决逆问题)。
配准模块226执行的刚性配准使得在共同的坐标系内将术中模型和术前模型214的每个帧的恢复的姿态对准。纹理映射模块230将术中模型的纹理信息映射到通过使用共用坐标系的变形模块228变形的术前模型214。变形的术前模型表示为多个三角形面。由于成像数据206的视觉数据中的高冗余，对于纹理映射采用变形的术前模型的每个可见三角形面的复杂标记策略。
变形的术前模型表示为标记图形结构，其中变形的术前模型的每个可见三角形面对应于节点，并且相邻面(例如，共享两个共用顶点)通过图中的边缘连接。例如，3D三角形的反投影可以执行到2D图像中。在图中只表示了变形的术前模型中的可见的三角形面。可见三角形面可以基于可见性测试来确定。例如，一个可见性测试确定是否三角形面的所有三个点是可见的。可以在图中跳过具有小于所有三个点可见的三角形面(例如，三角形面仅有两个可见点)。另一示例性可见性测试考虑遮挡来跳过术前模型214的背侧的三角形面，该三角形面被前面的三角形面遮挡(例如，使用开放式图形库的使用zbuffer读数)。还可以执行其他可见性测试。
对于图中的每个节点，基于每个收集的图像帧中的可见性测试(例如，投影的2D覆盖率)创建一组电位(数据项)。向图中的每个边缘分配成对的电位，这考虑了术前模型214的几何特征。具有类似方位的三角形面更有可能分配类似标记，这意味着从单个帧提取纹理。对应于三角形面的图像是标记。目标是在图像中提供大的三角形面，从而提供清晰、高质量的纹理，同时充分减少考虑的图像的数量(即，减少标记跳跃的数量)，以在相邻的三角形面之间提供平滑过渡。可以通过在条件随机场公式中使用α扩展算法来执行推理以确定每个三角形面的标记。可以从术中模型中提取最终的三角形纹理，并基于标记和共用坐标系映射到变形的术前模型。
非刚性配准模块232然后执行映射的纹理、变形的术前模型与实时术中成像数据207的实时非刚性配准。在一个实施方式中，遵循正如以上使用生物力学模型讨论的类似方法执行映射的纹理、变形的术前模型和实时术中成像数据207的在线配准。特别地，通过在第一步骤中最小化术中模型的3D深度和纹理之间的不匹配，使映射的纹理、变形的术前模型的表面与实时术中成像数据207对准。在第二步骤中，使用在离线阶段计算的纹理变形解剖模型作为初始条件，并使用模型表面的新位置作为边界条件来解决生物力学模型。
在另一实施方式中，基于跟踪实时术中成像数据207上的某些特征或界标通过递增地更新纹理映射的、变形的术前模型来执行非刚性配准。例如，可以随时间在实时术中成像数据207中跟踪某些图像贴片。跟踪考虑了强度特征和深度图。在一个实例中，可以使用已知的方法执行跟踪。基于跟踪信息，估计实时术中成像数据207的递增的照相机姿态。使用贴片位置的递增变化作为边界条件，以从先前帧变形模型并将其映射到当前帧。
有利地，实时术中成像数据207和变形的术前模型214的配准能够改善探头208的徒手或机器人控制的导航。此外，工作站202提供具有变形的术前模型的实时术中成像数据207的实时、逐帧更新。工作站202可以在术中使用显示器220显示变形的术前模型。在一个实施方式中，显示器220以混合模式示出覆盖在实时术中成像数据207上的目标和关键性结构。在另一实施方式中，显示器220可以并排显示目标和关键性结构。
图4示出了根据一个或多个实施方式的用于在工作站处的腹腔镜手术过程的引导的方法400。在步骤402处，接收初始(例如，松弛或者非变形)状态下的关注的解剖对象的术前模型。术前模型可以从任意形态的图像获取设备生成。例如，术前模型可以从来自CT或者MRI的术前成像数据生成。
在步骤404处，接收变形状态下的关注的解剖对象的初始术中成像数据。初始术中成像数据可以在过程的初始阶段获取以提供关注的解剖对象的完整扫描。初始术中成像数据可以从任意形态的图像获取设备生成。例如，初始术中成像数据可以来自能够产生实时2D和3D深度图的立体腹腔镜成像设备。由于腹部的吹入或任何其他因素，例如患者的自然内部运动、成像或手术设备的位移等，变形状态下的关注的解剖对象可能变形。
在步骤406处，将初始术中成像数据缝合到变形状态下的关注的解剖对象的术中模型中。初始术中成像数据的单独扫描的帧彼此匹配以基于检测的成像界标识别对应的帧。确定对应帧之间的相对姿态的一组假设。可以基于对应图像测量和界标，或者基于可用的3D深度通道估计假设。该组假设被优化以在变形状态下生成关注的解剖对象的术中模型。
在步骤408处，使变形状态下的关注的解剖对象的术中模型与初始状态下的关注的解剖对象的术前模型刚性配准。可以通过识别术中模型与术前模型之间的三个以上对应关系执行该刚性配准。对应关系可以手动识别、半自动识别、或者全自动识别。
在步骤410处，基于变形状态下的关注的解剖对象的术中模型使初始状态下的关注的解剖对象的术前模型变形。在一个实施方式中，在术前模型与术中模型之间识别稠密对应关系。确定表示术前模型与术中模型之间的错位的偏差模式。错位被转换为应用于术前模型以执行变形的力度局部一致的区域。
在一个实施方式中，基于术前模型限定关注的解剖对象的生物力学模型。生物力学模型计算与力度局部一致的区域一致的关注的解剖对象的形状。生物力学模型与强度相似性测量结合以执行非刚性配准。生物力学模型参数反复更新直至收敛以最小化术中模型与生物力学模型更新的术前模型之间的距离度量。
在步骤412处，将来自变形状态下的关注的解剖对象的术中模型的纹理信息映射至变形的术前模型以生成关注的解剖对象的变形的、纹理映射的术前模型。通过将变形的术前模型表示为图形结构可以执行映射。在变形的术前模型上可见的三角形面对应于图形的节点并且相邻面(例如，共享两个共用顶点)通过边缘连接。节点被标记并且纹理信息基于标记映射。
在步骤414处，接收实时术中成像数据。实时术中成像数据可在过程期间获取。
在步骤416处，使关注的解剖对象的变形的、纹理映射的术前模型与实时术中成像数据非刚性配准。在一个实施方式中，可以通过首先通过最小化3D深度和纹理中的不匹配使变形的、纹理映射的术前模型与实时术中成像数据对准来执行非刚性配准。在第二步骤中，使用纹理的、变形的术前模型作为初始条件，并使用模型表面的新位置作为边界条件来解决生物力学模型。在另一实施方式中，可以通过随时间跟踪实时术中成像数据的特征的位置并且进一步基于跟踪的特征的位置使变形的纹理映射的术前模型变形来执行非刚性配准。
在步骤418处，用变形的、纹理映射的术前模型来增强实时术中成像数据的显示。例如，变形的、纹理映射的术前模型可以覆盖显示在实时术中成像数据上或者处于并排配置。
本文描述的系统、装置和方法可以使用数字电路或使用一个或多个使用公知的计算机处理器、存储单元、存储设备、计算机软件和其他组件的计算机来实现。通常，计算机包括用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器。计算机还可包括或耦接至一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移动盘、磁光盘、光盘等。
可以使用以客户端-服务器关系操作的计算机来实现本文描述的系统、装置和方法。通常，在这种系统中，客户端计算机远离服务器计算机并经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序来定义和控制。
本文中描述的系统、装置、及方法可以在基于网络的云计算系统内实现。在这种基于网络的云计算系统中，服务器或连接至网络的另一处理器经由网络与一个或多个客户端计算机通信。例如，客户端计算机可以经由驻留在客户端计算机上并在其上操作的网络浏览器应用与服务器进行通信。客户端计算机可以在服务器上存储数据并且经由网络访问数据。客户端计算机可以经由网络将数据的请求，或者在线服务的请求传输至服务器。服务器可以执行请求的服务并将数据提供至客户端计算机。服务器还可以传输适于使客户端计算机执行指定功能(例如执行计算)的数据，以在屏幕上显示指定的数据等。例如，服务器可以传输适于使客户端计算机执行本文描述的一个或多个方法步骤(包括图4的一个或多个步骤)的请求。本文描述的方法的某些步骤(包括图4的一个或多个步骤)可由服务器或由基于网络的云计算系统中的另一处理器来执行。本文描述的方法的某些步骤(包括图4的一个或多个步骤)可由基于网络的云计算系统中的客户端计算机来执行。本文描述的方法的步骤(包括图4的一个或多个步骤)可由服务器和/或由基于网络的云计算系统中的客户端计算机以任意组合来执行。
可以使用有形地体现在信息载体中(例如在非暂时机器可读存储设备中)的计算机程序产品来实现本文描述的系统、装置和方法以供可编程处理器执行；并且本文描述的方法步骤(包括图4的一个或多个步骤)可以使用可由这种处理器执行的一个或多个计算机程序来实现。计算机程序是一组计算机程序指令，其可以直接或间接地在计算机中用于执行某个活动或产生一定的结果。计算机程序可以以包括编译或解释语言的任何形式的编程语言编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或其他适用于计算环境的单元。
图5中描绘了可用于实现本文描述的系统、装置和方法的示例性计算机的高级框图500。计算机502包括可操作地耦接至数据存储设备512和存储器510的处理器504。处理器504通过执行限定这种操作的计算机程序指令控制计算机502的总体操作。当期望执行计算机程序指令时，计算机程序指令可以存储在数据存储设备512或其他计算机可读介质中，并加载到存储器510中。因此，图4的方法步骤可以由存储在存储器510和/或数据存储设备512中并由执行计算机程序指令的处理器504控制的计算机程序指令定义。例如，计算机程序指令可以实现为本领域技术人员编程的计算机可执行代码，以分别执行图4和图1和图2的工作站102和202的方法步骤。因此，通过执行计算机程序指令，处理器504分别执行图4和图1和图2的工作站102和202的方法步骤。计算机502还可包括用于经由网络与其他设备通信的一个或多个网络接口506。计算机502还可包括使用户能够与计算机502(例如，显示器、键盘、鼠标、扬声器、按键等)交互的一个或多个输入/输出设备508。
处理器504可包括通用和专用微处理器，并且可以是计算机502的唯一的处理器或多个处理器之一。例如，处理器504可包括一个或多个中央处理单元(CPU)。处理器504、数据存储设备512和/或存储器510可包括一个或多个专用集成电路(ASIC)和/或一个或多个现场可编程门阵列(FPGA)，或者以它们作为补充或者并入它们之内。
数据存储设备512和存储器510各自包括有形非暂时性计算机可读存储介质。数据存储设备512和存储器510可以各自包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率同步动态随机存取存储器(DDRRAM)、或其他随机存取固态存储设备，并且可包括非易失性存储器，诸如内部硬盘和可移动磁盘的一个或多个磁盘存储设备、磁光盘存储设备、光盘存储设备、闪存设备、半导体存储器设备，诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)、数字通用盘只读存储器(DVD-ROM)磁盘、或其他非易失性固态存储设备。
输入/输出设备508可包括外围设备，诸如打印机、扫描仪、显示屏幕等。例如，输入/输出设备508可包括诸如阴极射线管(CRT)或用于向用户显示信息的液晶显示器(LCD)监视器的显示设备、键盘以及点击设备，例如鼠标或轨迹球，用户可以通过这些向计算机502提供输入。
本文讨论的分别包括图1和图2的工作站102和202的元件的任何或全部系统和装置可以使用诸如计算机502的一个或多个计算机来实现。
本领域技术人员将认识到，实际的计算机或计算机系统的实现可以具有其他结构并且可以包含其他组件，并且图5是用于说明目的的这种计算机的一些组件的高级表示。
前述详细说明应理解为在各方面都是说明性和示例性的，而不是限制性的，并且本文公开的本发明的范围不是根据具体实施方式确定的，而是根据专利法允许的全宽度解释的权利要求。应当理解，本文示出和描述的实施方式仅仅是本发明的原理的说明，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。

Claims (34)

1.一种用于模型增强的方法，包括：
接收变形状态下的关注的解剖对象的术中成像数据；
将所述术中成像数据缝合到所述变形状态下的所述关注的解剖对象的术中模型中；
基于生物力学模型通过使初始状态下的关注的解剖对象的术前模型变形，将所述变形状态下的关注的解剖对象的所述术中模型与所述初始状态下的关注的解剖对象的所述术前模型配准；以及
将来自所述变形状态下的关注的解剖对象的所述术中模型的纹理信息映射至变形的所述术前模型，以生成关注的解剖对象的变形的、纹理映射的术前模型。
2.根据权利要求1所述的方法，其中，将所述术中成像数据缝合到所述变形状态下的关注的解剖对象的术中模型中进一步包括：
识别所述术中成像数据中的对应帧；
计算所述对应帧之间的相对姿态的假设；以及
基于所述假设生成所述术中模型。
3.根据权利要求2所述的方法，其中，计算所述对应帧之间的相对姿态的假设基于以下至少一个：
对应图像测量和界标；以及
三维深度通道。
4.根据权利要求1所述的方法，其中，使所述变形状态下的关注的解剖对象的术中模型与初始状态下的关注的解剖对象的术前模型配准进一步包括：
通过识别所述变形状态下的关注的解剖对象的术中模型与所述初始状态下的关注的解剖对象的术前模型之间的至少三个对应关系，使所述变形状态下的关注的解剖对象的术中模型与所述初始状态下的关注的解剖对象的术前模型刚性配准。
5.根据权利要求1所述的方法，其中，基于生物力学模型使所述初始状态下的关注的解剖对象的术前模型变形进一步包括：
识别所述初始状态下的关注的解剖对象的术前模型与所述变形状态下的关注的解剖对象的术中模型之间的稠密对应关系；
确定处于识别的所述稠密对应关系的、所述初始状态下的关注的解剖对象的术前模型与所述变形状态下的关注的解剖对象的术中模型之间的错位；
将所述错位转换为力度一致的区域；以及
将所述力度一致的区域应用至所述初始状态下的关注的解剖对象的术前模型。
6.根据权利要求5所述的方法，其中，基于生物力学模型使所述初始状态下的关注的解剖对象的术前模型变形进一步包括：
根据关注的解剖对象的所述生物力学模型，基于所述力度一致的区域使关注的解剖对象的术前模型变形；以及
最小化变形的所述术前模型和所述术中模型之间的距离度量。
7.根据权利要求1所述的方法，其中，将来自所述变形状态下的关注的解剖对象的术中模型的纹理信息映射至所述变形的术前模型，以生成关注的解剖对象的变形的、纹理映射的术前模型进一步包括：
将关注的解剖对象的变形的、纹理映射的术前模型表示为图表，所述图表具有在与所述图表的节点相对应的所述术中模型上可见的三角形面和在所述图表中由边缘连接的相邻面；
基于一个或多个可见性测试来标记节点；以及
基于所述标记来映射所述纹理信息。
8.根据权利要求1所述的方法，进一步包括：
使所述关注的解剖对象的变形的、纹理映射的术前模型与关注的解剖对象的实时术中成像数据非刚性配准。
9.根据权利要求8所述的方法，其中，使所述关注的解剖对象的变形的、纹理映射的术前模型与所述关注的解剖对象的实时术中成像数据非刚性配准进一步包括：
通过最小化深度和纹理的不匹配，使所述变形的、纹理映射的术前模型和所述实时术中成像数据对准；以及
使用所述变形的、纹理映射的术前模型作为初始条件并且使用所述变形的、纹理映射的术前模型的表面的新位置作为边界条件，求解关注的解剖对象的所述生物力学模型。
10.根据权利要求8所述的方法，其中，使所述关注的解剖对象的变形的、纹理映射的术前模型与所述关注的解剖对象的实时术中成像数据非刚性配准进一步包括：
随时间跟踪所述实时术中成像数据的特征的位置；以及
基于所述特征的跟踪的位置使所述变形的、纹理映射的术前模型变形。
11.根据权利要求8所述的方法，进一步包括：
利用所述变形的、纹理映射的术前模型增强所述实时术中成像数据的显示。
12.根据权利要求11所述的方法，其中，利用所述变形的、纹理映射的术前模型增强所述实时术中成像数据的显示包括以下至少一个：
显示覆盖在所述实时术中成像数据上的、所述变形的、纹理映射的术前模型；以及
并排显示所述变形的、纹理映射的术前模型和所述实时术中成像数据。
13.一种用于模型增强的装置，包括：
用于接收变形状态下的关注的解剖对象的术中成像数据的装置；
用于将所述术中成像数据缝合到所述变形状态下的关注的解剖对象的术中模型中的装置；
用于基于生物力学模型通过使所述初始状态下的关注的解剖对象的术前模型变形，将所述变形状态下的关注的解剖对象的术中模型与所述初始状态下的关注的解剖对象的术前模型配准的装置；以及
用于将来自所述变形状态下的关注的解剖对象的术中模型的纹理信息映射至变形的术前模型，以生成所述关注的解剖对象的变形的、纹理映射的术前模型的装置。
14.根据权利要求13所述的装置，其中，用于将所述术中成像数据缝合到所述变形状态下的关注的解剖对象的术中模型中的装置进一步包括：
用于识别所述术中成像数据中的对应帧的装置；
用于计算所述对应帧之间的相对姿态的假设的装置；以及
用于基于所述假设生成所述术中模型的装置。
15.根据权利要求14所述的装置，其中，用于计算所述对应帧之间的所述相对姿态的所述假设的装置基于以下至少一个：
对应图像测量和界标；以及
三维深度通道。
16.根据权利要求13所述的装置，其中，用于使所述变形状态下的关注的解剖对象的术中模型与所述初始状态下的关注的解剖对象的术前模型配准的装置进一步包括：
用于通过识别所述变形状态下的所述关注的解剖对象的术中模型与所述初始状态下的关注的解剖对象的术前模型之间的至少三个对应关系，将所述变形状态下的所述关注的解剖对象的术中模型与所述初始状态下的关注的解剖对象的术前模型刚性配准的装置。
17.根据权利要求13所述的装置，其中，用于基于生物力学模型使所述初始状态下的关注的解剖对象的术前模型变形的装置进一步包括：
用于识别所述初始状态下的关注的解剖对象的术前模型与所述变形状态下的关注的解剖对象的术中模型之间的稠密对应关系的装置；
用于确定处于识别的稠密对应关系的所述初始状态下的关注的解剖对象的术前模型与所述变形状态下的关注的解剖对象的术中模型之间的错位的装置；
用于将所述错位转换为力度一致的区域的装置；以及
将所述力度一致的区域应用至所述初始状态下的关注的解剖对象的术前模型的装置。
18.根据权利要求17所述的装置，其中，用于基于生物力学模型使所述初始状态下的关注的解剖对象的术前模型变形的装置进一步包括：
根据所述关注的解剖对象的所述生物力学模型，基于所述力度一致的区域使所述关注的解剖对象的术前模型变形的装置；以及
用于最小化所述变形的术前模型和所述术中模型之间的距离度量的装置。
19.根据权利要求13所述的装置，其中，用于将来自所述变形状态下的关注的解剖对象的术中模型的纹理信息映射至所述变形的术前模型，以生成所述关注的解剖对象的变形的、纹理映射的术前模型的装置进一步包括：
用于将所述关注的解剖对象的变形的、纹理映射的术前模型表示为图表，所述图表具有在对应于所述图表中的节点的所述术中模型上可见的三角形面和在所述图表中由边缘连接的相邻面的装置；
基于一个或多个可见性测试来标记节点的装置；以及
用于基于所述标记来映射所述纹理信息的装置。
20.根据权利要求13所述的装置，进一步包括：
使所述关注的解剖对象的变形的、纹理映射的术前模型与所述关注的解剖对象的实时术中成像数据非刚性配准的装置。
21.根据权利要求20所述的装置，其中，用于使所述关注的解剖对象的变形的、纹理映射的术前模型与所述变形状态下的所述关注的解剖对象的术中成像数据非刚性配准的装置进一步包括：
用于通过最小化深度和纹理的不匹配，使所述变形的、纹理映射的术前模型和所述术中成像数据对准的装置；以及
用于使用所述变形的、纹理映射的术前模型作为初始条件并且使用所述变形的、纹理映射的术前模型的表面的新位置作为边界条件求解所述关注的解剖对象的生物力学模型的装置。
22.根据权利要求20所述的装置，其中，用于使所述关注的解剖对象的变形的、纹理映射的术前模型与所述变形状态下的所述关注的解剖对象的术中成像数据非刚性配准的装置进一步包括：
随时间跟踪所述实时术中成像数据的特征的位置的装置；以及
基于所述特征的所跟踪的位置使所述变形的、纹理映射的术前模型变形的装置。
23.根据权利要求20所述的装置，进一步包括：
用于利用所述变形的、纹理映射的术前模型增强所述实时术中成像数据的显示的装置。
24.根据权利要求23所述的装置，其中，用于利用所述变形的、纹理映射的术前模型增强所述实时术中成像数据的显示的所述装置包括以下至少一个：
用于显示覆盖在所述实时术中成像数据上的所述变形的、纹理映射的术前模型的装置；以及
用于并排显示所述变形的、纹理映射的术前模型和所述实时术中成像数据的装置。
25.一种存储用于模型增强的计算机程序指令的非易失性计算机可读介质，当由处理器执行时所述计算机程序指令使所述处理器执行操作，所述操作包括：
接收变形状态下的关注的解剖对象的术中成像数据；
将所述术中成像数据缝合到所述变形状态下的关注的解剖对象的术中模型中；
通过基于生物力学模型使初始状态下的关注的解剖对象的术前模型变形，所述变形状态下的关注的解剖对象的术中模型与所述初始状态下的关注的解剖对象的术前模型配准；并且
来自所述变形状态下的关注的解剖对象的术中模型的纹理信息映射至所述变形的术前模型以生成所述关注的解剖对象的变形的、纹理映射的术前模型。
26.根据权利要求25所述的非易失性计算机可读介质，其中，将所述术中成像数据缝合到所述变形状态下的关注的解剖对象的术中模型中进一步包括：
识别所述术中成像数据中的对应帧；
计算所述对应帧之间的相对姿态的假设；并且
基于所述假设生成所述术中模型。
27.根据权利要求25所述的非易失性计算机可读介质，其中，使所述变形状态下的关注的解剖对象的术中模型与初始状态下的关注的解剖对象的术前模型配准进一步包括：
通过识别所述变形状态下的所述关注的解剖对象的术中模型与所述初始状态下的关注的解剖对象的术前模型之间的至少三个对应关系，使所述变形状态下的所述关注的解剖对象的术中模型与所述初始状态下的关注的解剖对象的术前模型刚性配准。
28.根据权利要求25所述的非易失性计算机可读介质，其中，基于生物力学模型使所述初始状态下的关注的解剖对象的术前模型变形进一步包括：
识别所述初始状态下的关注的解剖对象的术前模型与所述变形状态下的关注的解剖对象的术中模型之间的稠密对应关系；
确定处于所识别的稠密对应关系的所述初始状态下的关注的解剖对象的术前模型与所述变形状态下的关注的解剖对象的术中模型之间的错位；
将所述错位转换为力度一致的区域；并且
将所述力度一致的区域应用至所述初始状态下的关注的解剖对象的术前模型。
29.根据权利要求28所述的非易失性计算机可读介质，其中，基于生物力学模型使所述初始状态下的关注的解剖对象的术前模型变形进一步包括：
根据所述关注的解剖对象的所述生物力学模型，基于所述力度一致的区域使所述关注的解剖对象的术前模型变形；并且
最小化所述变形的术前模型和所述术中模型之间的距离度量。
30.根据权利要求25所述的非易失性计算机可读介质，其中，将来自所述变形状态下的关注的解剖对象的术中模型的纹理信息映射至所述变形的术前模型以生成所述关注的解剖对象的变形的、纹理映射的术前模型进一步包括：
将所述关注的解剖对象的变形的、纹理映射的术前模型表示为图，所述图具有在对应于所述图中的节点的所述术中模型上可见的三角形面和在所述图中由边缘连接的相邻面；
基于一个或多个可见性测试标记节点；并且
基于所述标记映射所述纹理信息。
31.根据权利要求25所述的非易失性计算机可读介质，所述操作进一步包括：
使所述关注的解剖对象的变形的、纹理映射的术前模型与所述关注的解剖对象的实时术中成像数据非刚性配准。
32.根据权利要求31所述的非易失性计算机可读介质，其中，使所述关注的解剖对象的变形的、纹理映射的术前模型与所述关注的解剖对象的实时术中成像数据非刚性配准进一步包括：
通过使深度和纹理的不匹配最小化，使所述变形的、纹理映射的术前模型和所述实时术中成像数据对准；并且
使用所述变形的、纹理映射的术前模型作为初始条件并且使用所述变形的、纹理映射的术前模型的表面的新位置作为边界条件求解所述关注的解剖对象的所述生物力学模型。
33.根据权利要求31所述的非易失性计算机可读介质，其中，使所述关注的解剖对象的变形的、纹理映射的术前模型与所述关注的解剖对象的实时术中成像数据非刚性配准进一步包括：
随时间跟踪所述实时术中成像数据的特征的位置；并且
基于所述特征的所跟踪的位置使所述变形的、纹理映射的术前模型变形。
34.根据权利要求31所述的非易失性计算机可读介质，所述操作进一步包括：
利用所述变形的、纹理映射的术前模型增强所述实时术中成像数据的显示。
CN201580079676.7A 2015-05-07 2015-05-07 通过解剖模型增强引导腹腔镜手术过程的系统和方法 Pending CN107592802A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/029680 WO2016178690A1 (en) 2015-05-07 2015-05-07 System and method for guidance of laparoscopic surgical procedures through anatomical model augmentation

Publications (1)

Publication Number Publication Date
CN107592802A true CN107592802A (zh) 2018-01-16

Family

ID=53264782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580079676.7A Pending CN107592802A (zh) 2015-05-07 2015-05-07 通过解剖模型增强引导腹腔镜手术过程的系统和方法

Country Status (6)

Country Link
US (1) US20180189966A1 (zh)
EP (1) EP3292490A1 (zh)
JP (1) JP2018522610A (zh)
KR (1) KR20180005684A (zh)
CN (1) CN107592802A (zh)
WO (1) WO2016178690A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299072A (zh) * 2022-03-11 2022-04-08 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10454943B2 (en) * 2015-08-17 2019-10-22 The Toronto-Dominion Bank Augmented and virtual reality based process oversight
US10765371B2 (en) * 2017-03-31 2020-09-08 Biosense Webster (Israel) Ltd. Method to project a two dimensional image/photo onto a 3D reconstruction, such as an epicardial view of heart
CN110709026A (zh) * 2017-03-31 2020-01-17 皇家飞利浦有限公司 力感测表面扫描系统、设备、控制器和方法
US10460748B2 (en) 2017-10-04 2019-10-29 The Toronto-Dominion Bank Conversational interface determining lexical personality score for response generation with synonym replacement
US10339931B2 (en) 2017-10-04 2019-07-02 The Toronto-Dominion Bank Persona-based conversational interface personalization using social network preferences
WO2019079126A1 (en) * 2017-10-17 2019-04-25 Verily Life Sciences Llc DISPLAYING PREOPERATIVE AND INTRA-OPERATIVE IMAGES
US11705238B2 (en) * 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US10413364B1 (en) * 2018-08-08 2019-09-17 Sony Corporation Internal organ localization of a subject for providing assistance during surgery
KR102572006B1 (ko) * 2019-02-21 2023-08-31 시어터 인코포레이티드 수술 비디오의 분석을 위한 시스템 및 방법
US10867436B2 (en) * 2019-04-18 2020-12-15 Zebra Medical Vision Ltd. Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images
WO2020234409A1 (en) * 2019-05-22 2020-11-26 Koninklijke Philips N.V. Intraoperative imaging-based surgical navigation
CN110706357B (zh) * 2019-10-10 2023-02-24 青岛大学附属医院 导航系统
WO2022225132A1 (ko) * 2021-04-22 2022-10-27 서울대학교병원 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법
US20230346211A1 (en) * 2022-04-29 2023-11-02 Cilag Gmbh International Apparatus and method for 3d surgical imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603836A (zh) * 2012-08-06 2015-05-06 范德比尔特大学 用于在图像引导手术期间校正数据变形的改进的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916919B2 (en) 2006-09-28 2011-03-29 Siemens Medical Solutions Usa, Inc. System and method for segmenting chambers of a heart in a three dimensional image
EP2680778B1 (en) * 2011-03-03 2019-07-31 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
US9801551B2 (en) * 2012-07-20 2017-10-31 Intuitive Sugical Operations, Inc. Annular vision system
US20140267267A1 (en) * 2013-03-15 2014-09-18 Toshiba Medical Systems Corporation Stitching of volume data sets

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603836A (zh) * 2012-08-06 2015-05-06 范德比尔特大学 用于在图像引导手术期间校正数据变形的改进的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299072A (zh) * 2022-03-11 2022-04-08 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统

Also Published As

Publication number Publication date
EP3292490A1 (en) 2018-03-14
KR20180005684A (ko) 2018-01-16
US20180189966A1 (en) 2018-07-05
JP2018522610A (ja) 2018-08-16
WO2016178690A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
CN107592802A (zh) 通过解剖模型增强引导腹腔镜手术过程的系统和方法
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
US11759261B2 (en) Augmented reality pre-registration
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
EP2637593B1 (en) Visualization of anatomical data by augmented reality
US20230025480A1 (en) System And Method For A Tracked Procedure
Collins et al. Augmented reality guided laparoscopic surgery of the uterus
CN103402453B (zh) 用于导航系统的自动初始化和配准的系统和方法
CN108140242A (zh) 视频摄像机与医学成像的配准
CN104272348B (zh) 用于对对象进行成像的成像装置和方法
Edwards et al. SERV-CT: A disparity dataset from cone-beam CT for validation of endoscopic 3D reconstruction
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
JP2016536089A (ja) 外科的介入計画を算出する方法
Adagolodjo et al. Silhouette-based pose estimation for deformable organs application to surgical augmented reality
US20210353371A1 (en) Surgical planning, surgical navigation and imaging system
Wen et al. In situ spatial AR surgical planning using projector-Kinect system
Liu et al. Toward intraoperative image-guided transoral robotic surgery
US10507064B1 (en) Microscope tracking based on video analysis
Wang et al. Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy
US11393111B2 (en) System and method for optical tracking
US20220414914A1 (en) Systems and methods for determining a volume of resected tissue during a surgical procedure
Sioutis Registration of prostate surfaces for image-guided robotic surgery via the da Vinci System
TW202302046A (zh) 用於處理黑骨ｍｒｉ資料的系統及方法
CN116958486A (zh) 一种基于卷积神经网络的医学图像处理方法及系统
Rong Projection-Based Spatial Augmented Reality for Interactive Visual Guidance in Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180116