CN117750920A - 用于腹腔镜外科手术引导的模型融合中的具有闭合形式解的深度确定的方法和系统 - Google Patents

用于腹腔镜外科手术引导的模型融合中的具有闭合形式解的深度确定的方法和系统 Download PDF

Info

Publication number
CN117750920A
CN117750920A CN202280048762.1A CN202280048762A CN117750920A CN 117750920 A CN117750920 A CN 117750920A CN 202280048762 A CN202280048762 A CN 202280048762A CN 117750920 A CN117750920 A CN 117750920A
Authority
CN
China
Prior art keywords
feature point
coordinates
virtual model
image
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048762.1A
Other languages
English (en)
Inventor
臧晓南
魏国庆
梁正中
范黎
曾小兰
钱建中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EDDA Technology Inc
Original Assignee
EDDA Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EDDA Technology Inc filed Critical EDDA Technology Inc
Publication of CN117750920A publication Critical patent/CN117750920A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本教导涉及用于估计3D虚拟模型的3D坐标的方法、系统、介质和实现。获得两对特征点。基于特征点对自动确定第一3D特征点的第一3D坐标和第二3D特征点的第二3D坐标，使得所确定的第一3D坐标与所确定的第二3D坐标之间的第一距离等于在3D虚拟模型中第一3D特征点的第一实际3D坐标与第二3D特征点的第二实际3D坐标之间的第二距离。

Description

用于腹腔镜外科手术引导的模型融合中的具有闭合形式解的 深度确定的方法和系统
相关申请交叉引用
本申请要求2021年5月14日提交的题为“用于腹腔镜外科手术引导的模型融合的方法和系统(METHOD AND SYSTEM OF MODEL FUSION FOR LAPAROSCOPIC SURGICALGUIDANCE)”的美国临时专利申请第63/188,625号的优先权，该临时专利申请通过引用以其整体并入本文。
本申请与以下申请相关：题为“用于腹腔镜外科手术引导的模型融合的方法和系统(METHOD AND SYSTEM OF MODEL FUSION FOR LAPAROSCOPIC SURGICAL GUIDANCE)”的美国专利申请第17/745,555号(律师案卷号：140551.562814)，题为“用于腹腔镜外科手术引导的模型融合的方法和系统(METHOD AND SYSTEM OF MODEL FUSION FOR LAPAROSCOPICSURGICAL GUIDANCE)”的国际申请第PCT/US2022/029469号(律师案卷号：140551.562816)，题为“用于腹腔镜外科手术引导的模型融合中的具有闭合形式解的深度确定的方法和系统(METHOD AND SYSTEM OF DEPTH DETERMINATION WITH CLOSED FORM SOLUTION IN MODELFUSION FOR LAPAROSCOPIC SURGICAL GUIDANCE)”的美国专利申请第17/745,600号(律师案卷号：140551.563167)，题为“用于腹腔镜外科手术引导的模型融合中的深度确定的方法和系统(METHOD AND SYSTEM OF DEPTH DETERMINATION IN MODEL FUSION FORLAPAROSCOPIC SURGICAL GUIDANCE)”的美国专利申请第17/745,518号(律师案件号140551.563168)，以及题为“用于腹腔镜外科手术引导的模型融合中的深度确定的方法和系统(METHOD AND SYSTEM OF DEPTH DETERMINATION IN MODEL FUSION FORLAPAROSCOPIC SURGICAL GUIDANCE)”的国际申请____(律师案卷号：140551.563166)，所有这些申请均通过引用以其整体并入本文。
背景技术
1.发明领域
本发明大体上涉及用于将虚拟患者模型与真实患者的视频图像对齐，以及用于在微创外科手术过程期间在腹腔镜环境中提供连续运动跟踪对齐的方法。
2.相关技术的描述
微创外科手术(MIS)已在许多胸部和腹部外科手术过程中得到应用。在MIS过程期间，医生通常使用内窥镜提供人体内部解剖结构的实时2D视图，以用于外科手术引导。然而，这种观测仪器(scope)仅提供有限的视场，这进而导致医生需要长的学习曲线来综合地将2D视频信息与术前3D计划模型进行关联，以便对感兴趣的区域进行操作。
为了解决这些缺陷，已经开发了图像引导系统(IGS)，以有效地将3D虚拟模型和外科手术计划叠加到2D视频图像上，并在外科手术过程期间连续地在3D虚拟患者空间中准确定位腹腔镜相机(即找到腹腔镜相机的位置和取向)。由于例如快速的内窥镜移动或模糊的内窥镜图像等导致的复杂性，医生通常不得不完全依赖手动操作来建立术前3D模型和2D术中视频图像之间的初始对齐。然而，这种交互式过程可能会很漫长，并会干扰外科手术干预。如果该过程要求用户手动选取2D视频图像和虚拟患者空间中的3D模型之间的多对对应标志(landmark)，则情况尤其如此。该过程还可能要求复杂的鼠标和键盘操纵，以便调整3D虚拟结构和2D图像之间的转换。由于变换有6个自由度(DOF)，使用基于鼠标的控制来修改这种变换可导致高灵敏度，因此并不是一项简单的任务。因此，需要提供一种有效方法，以用于对齐术前3D虚拟模型与2D患者图像，并在3D虚拟模型和实时腹腔镜图像之间提供运动跟踪对齐。
发明内容
本文公开的教导涉及用于信息管理的方法、系统和编程。更具体地，本教导涉及与哈希(hash)表和使用哈希表的存储管理有关的方法、系统和编程。
在一个示例中，公开了一种用于估计3D虚拟模型的3D坐标的方法，所述方法在具有至少一个处理器、存储器和能够连接到网络的通信平台的机器上实现。获得两对特征点。所述对中的每一对包括在医疗过程期间获取的2D图像中观察到的器官上的相应2D特征点、以及来自3D虚拟模型的相应的对应3D特征点，该3D虚拟模型是在该过程之前基于器官的多个图像为器官构建的。第一3D特征点的深度和第二3D特征点的深度基本上相同。基于特征点对自动确定第一3D特征点的第一3D坐标和第二3D特征点的第二3D坐标，使得所确定的第一3D坐标与所确定的第二3D坐标之间的第一距离等于在3D虚拟模型中第一3D特征点的第一实际3D坐标与第二3D特征点的第二实际3D坐标之间的第二距离。
在不同的示例中，公开了一种用于估计3D虚拟模型的3D坐标的系统。所公开的系统被构建为包括解剖结构网格生成单元、术前关键位姿生成单元和基于一个标记的模型到视频对齐单元。这些不同的单元根据所公开的过程一起操作，所述过程用于通过以下来估计3D虚拟模型的3D坐标：自动地确定3D虚拟模型上的3D特征点的3D坐标，使得所确定的第一3D坐标和所确定的第二3D坐标之间的第一距离等于在3D虚拟模型中第一3D特征点的第一实际3D坐标与第二3D特征点的第二实际3D坐标之间的第二距离。
其他概念涉及用于实现本教导的软件。根据该概念的软件产品包括至少一个机器可读非瞬态介质以及由该介质携带的信息。由该介质携带的信息可以是可执行程序代码数据、与可执行程序代码相关联的参数和/或与用户、请求、内容或其他附加信息相关的信息。
另一示例是机器可读、非瞬态且有形的介质，其上记录有用于估计3D虚拟模型的3D坐标的信息。该信息在被机器读取时，使得该机器执行以下步骤。获得两对特征点。所述对中的每一对包括在医疗过程期间获取的2D图像中观察到的器官上的相应2D特征点、以及来自3D虚拟模型的相应的对应3D特征点，该3D虚拟模型是在该过程之前基于器官的多个图像为器官构建的。第一3D特征点的深度和第二3D特征点的深度基本上相同。基于特征点对自动确定第一3D特征点的第一3D坐标和第二3D特征点的第二3D坐标，使得所确定的第一3D坐标与所确定的第二3D坐标之间的第一距离等于在3D虚拟模型中第一3D特征点的第一实际3D坐标与第二3D特征点的第二实际3D坐标之间的第二距离。
附加的优点和新颖的特征的一部分将在下面的描述中阐述，并且一部分将在审查以下内容和附图后对本领域技术人员而言显而易见，或可通过示例的生产或操作来学习。可通过实践或使用下文讨论的详细示例中阐述的方法、工具和组合的各个方面来实现和获得本教导的优点。
附图说明
本文所要求保护和/或描述的发明将进一步通过示例性实施例进行描述。这些示例性实施例参照附图被详细描述。这些实施例是非限制性的示例性实施例，其中相似的参考标号表示贯穿附图中的若干视图的类似结构，并且其中：
图1示出了根据各种实施例的用于将虚拟模型与真实视频帧对齐并且用于在腹腔镜视频流上提供运动跟踪对齐的示例性系统图；
图2示出了根据各种实施例的用于将虚拟模型配准到真实患者的腹腔镜图像并且用于在实时内窥镜视频图像上生成连续叠加的示例性流程图；
图3示出了根据各种实施例的在虚拟模型和内窥镜视频图像之间进行交互式配准的示例性流程图；
图4示出了根据各种实施例的用于确定腹腔镜相机中的虚拟模型的位置的示例性图示；以及
图5示出了用于确定标志的深度值的示例性过程。
具体实施方式
在以下详细描述中，通过示例的方式阐述了众多具体细节以便促进对相关教导的透彻理解。然而，对本领域技术人员应该显而易见的是，没有这些细节也可实践本教导。在其他实例中，已经在相对高层级的、没有细节的情况下对众所周知的方法、过程、部件和/或系统进行了描述，以便避免不必要地模糊本教导的各个方面。
本发明总体上涉及寻找参数，以用于将3D虚拟模型(包括外科手术计划)的2D投影叠加到2D腹腔镜视频图像上，3D虚拟模型是针对患者的器官基于患者的先前医疗图像构建的，2D腹腔镜视频图像是在医疗过程期间从同一患者实时捕获的。3D虚拟模型的2D投影需要与2D腹腔镜视频图像中器官的2D边界基本重叠。由于虚拟3D空间中的3D虚拟模型有6个自由度(DOF)，因此3D虚拟模型的特定3D位姿(在6个自由度中)需要以这样的方式被确定，该方式使得3D虚拟模型从该3D位姿到2D图像平面的投影产生期望的叠加，该期望的叠加与如在2D腹腔镜视频图像中观察到的器官的视觉外观和尺寸相匹配。此外，由于腹腔镜过程期间存在运动，因此该叠加是随时间实时动态变化的，使得3D位姿需要在该过程期间基于连续跟踪的运动进行适应性调整。
本教导公开了用于将3D虚拟模型投影到2D腹腔镜图像平面上以创建匹配叠加的方法。首先，可以生成关键位姿。关键位姿表示腹腔镜相对于患者的器官的大致位置和取向。这种关键位姿可在外科手术前基于患者扫描(诸如，CT或MRI)生成。在外科手术期间，关键位姿可被检取，并被用于执行3D虚拟模型的投影在2D腹腔镜图像平面上的初始粗略叠加。可基于用于确定平移和旋转参数的各个分量的顺序步骤来细化(refine)关键位姿。基于一对特征点(也被称为标志)，可确定特征点在2D腹腔镜图像中的X-Y位置，并将对应的3D特征点锁定在相对于腹腔镜相机形成的视线上。对应的3D特征点在腹腔镜相机的坐标系中的深度(Z坐标)以这样的方式选择，该方式使得3D虚拟模型从该深度到2D图像平面上的投影将产生匹配的叠加。根据本教导，可以交互式地或自动地确定这种期望的深度。在对应的3D特征点的X-Y-Z位置被确定后，后续可以手动地或自动地确定与旋转分量相关的其余3个自由度。
投影3D虚拟模型以创建期望的匹配叠加所需的3D位姿包括3D虚拟模型(上的代表点)的3D坐标(X，Y，Z)。在一些实施例中，X和Y的值可以基于一对特征点来确定(高至任意缩放因子)。特征点中的一个特征点选自患者的视频数据的2D图像，并且另一个特征点是3D虚拟模型上的对应特征点。随后，根据本教导，可使用两个替代方法中的一个来确定3D特征点的Z值。这进而确定针对X值和Y值的缩放因子。为了便于这两个方法，可标识第二对特征点，其中一个来自2D图像并且另一个来自3D虚拟模型。每对特征点形成从同一焦点开始的视线。根据两个对应的3D特征点，存在两种场景，并且每种场景中的Z值都可以用替代方法来确定。
在第一种场景中，来自相应对的两个3D特征点具有基本相同的深度。在这种情况下，3D虚拟模型上的3D特征点的深度或Z值可以经由闭合形式的解来确定，即基于两个3D特征点之间的距离的公式。也就是说，3D虚拟模型上的特征点的深度值可以基于它们与2D图像中的对应2D特征点的2D坐标和3D模型中的特征点的3D坐标的关系来计算。
当两个3D特征点的深度不同时，可以使用替代方法来确定3D虚拟模型的Z值。在这种场景中，两个3D特征点之间的距离可被确定，并被用于标识沿视线搜索期望的Z值或深度值的搜索范围，在期望的Z值或深度值处，3D虚拟模型到2D图像平面的投影产生与如在2D图像中观察到的2D对象的尺寸相匹配的对象尺寸。在搜索期间，在沿着视线的范围内的每个搜索点处，3D虚拟模型被投影到2D图像平面上，并且投影的边界/尺寸可随后与2D图像平面中观察到的器官的边界/尺寸进行比较。当投影的尺寸和观察到的尺寸基本相同时，从3D虚拟模型被投影的搜索点处的深度值对应于要搜索的深度。
图1示出了根据当前教导的实施例的系统100的示例性高层级示意图，系统100用于基于从腹腔镜视频流跟踪的运动来促进3D虚拟模型和实际患者的2D腹腔镜图像之间的动态对齐。在一个实施例中，系统100包括从术前患者图像102导出的解剖结构网格生成单元106、术前关键位姿生成单元107、建立在收集的临床数据集104上的特征词汇表构建单元108、基于一个标记的模型到视频对齐单元116、基于网格的全局和局部相机位姿计算和优化单元118。在所示出的实施例中，单元116和118基于术中视频帧114操作。
解剖结构网格生成单元106可被配置成用于根据术前图像(诸如CT或MRI)生成患者特定的器官网格。网格包括一组连接的节点，其中每个节点都是扫描的患者数据卷内的3D点。术前关键位姿生成单元107可被配置成用于便于用户在3D患者虚拟空间内操纵虚拟腹腔镜，并且在腹腔镜的预先计划的位置和取向(即关键位姿)处预览解剖结构的布局。关键位姿表示相对于外科医生计划开始执行外科手术的患者的3D器官的大致腹腔镜位置和取向。计划的术前关键位姿可以被保存，以便将来在实际外科手术期间检取。
特征词汇表构建单元108被提供用于根据腹腔镜视频流构建一组临床图像特征，该腹腔镜视频流可以在各种胸部和腹部外科手术过程期间被记录。这种临床图像特征可以被存储在数据库中，该数据库可以包括显示重要解剖标志的一组图像特征。存储在该数据库中的内容随后可以被用作特征的词汇表，以便于在MIS过程期间检测和识别从腹腔镜视频帧中提取的类似图像特征。例如，显示肝脏的镰状韧带和前脊线的腹腔镜图像可以被保存在数据库中作为特征词汇表的一部分。随后，在对肝脏执行的MIS过程期间，系统可以自动将提取的图像特征识别为肝脏的镰状韧带。从图像中准确识别解剖特征可以促进优化对关键位姿(即腹腔镜相机的位置和取向)的初始估计，并使得能够连续计算相机的位姿。
在过程期间，用户112(诸如医务人员)可以与基于一个标记的模型到视频对齐单元116交互，以将相关的虚拟患者模型与实际患者的腹腔镜图像配准。基于患者网格的全局和局部的相机的位姿计算和优化单元118可以搜索从单元108检取的特征词汇表，以识别相关的图像特征，以便优化腹腔镜相机的初始位置和取向。单元118还可以连续地计算腹腔镜相机的位姿，以使运动跟踪的虚拟患者模型能够叠加在实时腹腔镜视频图像上。
系统100可以进一步包括由用户112操作的一个或多个外围输入设备，诸如计算机鼠标、键盘、触笔、一个或多个传感器、3D操纵手套、或任何其他合适的输入设备、或它们的任何组合。此外，系统100和/或任何输入设备也可以对应于独立设备，诸如但不限于移动设备(例如，智能手机、平板电脑、个人数字助理、笔记本电脑等)或计算设备(例如，台式计算机、相机等)。除了其他特征之外，该系统还可以包括一个或多个处理器、存储器、通信电路系统和显示器。(多个)处理器可以包括能够控制系统的操作和功能的任何合适的处理电路系统。在一些实施例中，(多个)处理器可以包括中央处理单元(“CPU”)、图形处理单元(“GPU”)、一个或多个微处理器、数字信号处理器或任何其他类型的处理器、或它们的任何组合。在一些实施例中，(多个)处理器的功能可以由一个或多个硬件逻辑部件执行，该一个或多个硬件逻辑部件包括但不限于现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统(“SOC”)和/或复杂可编程逻辑器件(“CPLD”)。此外，(多个)处理器可以包括它们自己的本地存储器，该本地存储器可以存储程序系统、程序数据和/或一个或多个操作系统。然而，(多个)处理器可以运行操作系统(“OS”)和/或一个或多个固件应用、媒体应用和/或驻留在其上的应用。在一些实施例中，(多个)处理器可以运行本地客户端脚本，以用于读取和呈现从一个或多个网站接收的内容。例如，(多个)处理器可以运行本地JavaScript客户端以用于呈现HTML或XHTML内容。
存储器可以包括一种或多种类型的存储介质，诸如，任何易失性或非易失性存储器，或者以任何合适的方式实现以存储数据的任何可移动或不可移动存储器。例如，可以使用计算机可读指令、数据结构和/或程序系统来存储信息。各种类型的存储装置/存储器可以包括但不限于硬盘驱动器、固态驱动器、闪存、永久存储器(例如ROM)、电子可擦除可编程只读存储器(“EEPROM”)、CD ROM、数字多功能盘(“DVD”)或其他光存储介质、磁带盒、磁带、磁盘存储装置或其他磁性存储设备、RAID存储系统，或任何其他存储类型、或它们的任何组合。此外，存储器304可以被实现为计算机可读存储介质(“CRSM”)，计算机可读存储介质可以是由(多个)处理器可访问以执行存储在存储器内的一个或多个指令的任何可用物理介质。
通信电路系统可以包括如下的任何电路系统：该电路系统允许系统的一个或多个部件彼此通信或使得系统的一个或多个部件能够彼此通信，和/或允许系统的一个或多个部件与一个或多个附加设备、服务器和/或系统通信或使得系统的一个或多个部件能够与一个或多个附加设备、服务器和/或系统通信。在一些实施例中，通信电路系统可以促进跨诸如互联网之类的网络的通信。例如，通信电路系统可以使用传输控制协议和互联网协议(“TCP/IP”)(例如，在TCP/IP层中的每个层中使用的协议中的任何协议)、超文本传输协议(“HTTP”)、WebRTC、SIP和无线应用协议(“WAP”)来访问(多个)网络，这些协议是可以用于促进通信的各种类型的协议中的一些。在一些实施例中，使用HTTP的网络浏览器可以用于通信。可以使用各种附加的通信协议来促进通信，这些附加的通信协议可以包括但不限于Wi-Fi(例如802.11协议)、蓝牙、射频系统(例如，900MHz、1.4GHz和5.6GHz通信系统)、蜂窝网络(例如GSM、AMPS、GPRS、CDMA、EV-DO、EDGE、3GSM、DECT、IS136/TDMA、iDen、LTE或任何其他合适的蜂窝网络协议)、红外、BitTorrent、FTP、RTP、RTSP、SSH和/或VOIP。
在一个实施例中，显示器可以是与(多个)处理器、存储器和/或通信电路系统中的一者或多者通信的任何合适类型的显示器。各种类型的显示器可以包括但不限于液晶显示器(“LCD”)、单色显示器、彩色图形适配器(“CGA”)显示器、增强型图形适配器(“EGA”)显示器、可变图形阵列(”VGA“)显示器、或任何其他类型的显示器、或它们的任何组合。更进一步地，在一些实施例中，触摸屏可以对应于包括能够识别其上的触摸输入的电容感测面板的显示设备。在一些实施例中，显示器可以是可选部件。
图2是根据本教导的一个实施例的用于将3D虚拟模型与真实患者的腹腔镜视频对齐的示例性过程的流程图。在步骤202处，可以通过基于术前患者图像生成解剖结构网格来构建3D虚拟模型。该构建可以是自动的或半自动的。患者图像可以是CT或MRI，或者任何其他模态。在步骤204处，可以生成一个或多个关键位姿。每个关键位姿定义解剖结构网格和虚拟腹腔镜之间的特定相对位置和取向，并模拟(approximate)腹腔镜在外科手术期间的位置和取向。可以在交互式过程中生成关键位姿，在该交互式过程中用户可以通过诸如计算机鼠标之类的交互式设备手动调整虚拟腹腔镜的位姿。随后可以保存所确定的关键位姿，以供以后在外科手术期间快速检取。
在步骤205处，可以基于所选择的关键位姿的相对位置和取向将患者的3D解剖结构模型投影到真实的腹腔镜图像上。对于每个外科手术过程，可以从先前生成并存储的多个关键位姿中检取对应于当前外科手术位置的关键位姿。通过投影，3D解剖结构模型可以被叠加在真实的腹腔镜图像上。在步骤206处，2D图像和3D虚拟模型上的一对对应的标志或特征点被标识，并被用于将3D虚拟模型与2D视频图像对齐。可以手动地或自动标志识这种特征点。在一些实施例中，用户可以使用鼠标分别点击2D视频图像上和3D虚拟模型上的两个对应点。在其他实施例中，计算机程序可以用于分别从2D图像和3D虚拟模型自动检测相同的这两个特征点。
腹腔镜的相机坐标系可以定义如下：从腹腔镜的图像平面的左侧到右侧的水平跨度被定义为X轴；从图像平面的顶部到底部的垂直跨度被定义为Y轴；并且Z轴沿着腹腔镜的观察方向(或视线)。坐标原点位于相机的中心(也称为焦点)。根据本教导，基于一对对应的特征点(其中一个特征点来自2D图像平面并且另一个特征点来自3D虚拟模型)，可以计算3D虚拟模型上的对应特征点的3D坐标(高至任意缩放因子，参见下文更详细的讨论)。下面详细公开一对对应的2D和3D特征点之间的关系(即，2D图像中的2D特征点的坐标与3D虚拟模型上的对应3D特征点的坐标之间的关系)的细节。
如本文所讨论的，将3D虚拟模型投影到2D图像平面上，它涉及六个自由度，包括X、Y、Z，以及作为相对于三个轴中的每一个的旋转的俯仰、偏航(yaw)和滚转。在一些实施例中，对俯仰、偏航和滚转的估计可以在确定X值、Y值和Z值之后被确定。在一些实施例中，关键位姿可以仅近似于具有位置和取向的位姿。通过在具有X值、Y值、Z值的3D坐标处投影3D虚拟模型而实现的叠加可能不能在投影和2D腹腔镜图像之间产生完美对齐。例如，3D虚拟模型可能需要相对于三个轴中的任何一个进行旋转和微调，以便产生与图像平面中的对应2D对象图像精确匹配的投影。也就是说，还需要相对于3D虚拟模型来估计其他自由度，以便细化3D虚拟解剖模型的投影和3D虚拟模型在患者的腹腔镜图像中表示的对应器官的2D观察之间的对齐。
在步骤207处，可以提供特征词汇表构建单元108来构建特征词汇表。注意，可以基于传入的腹腔镜视频图像来更新特征词汇表。例如，在对肝脏的MIS过程期间，实时腹腔镜视频图像可以显示肝脏的镰状体。与该镰状体特征相关的图像特征可以首先在特征词汇表中被识别，因为其特征描述可以类似于被分类为肝脏镰状体的特征描述。随后，从实时腹腔镜视频图像中新提取的镰状体图像特征可以被保存回特征词汇表中以提供更新的特征词汇表，并被分组在肝脏镰状体类别下。
在步骤208处，可以从给定的腹腔镜视频图像中连续地提取不同的特征，并且可以将这样提取的特征与存储在特征词汇表中的特征相匹配。随后可以针对给定的图像来计算腹腔镜相机的位姿。也就是说，可以针对腹腔镜视频流中的视频帧中的每个视频帧执行提取图像特征、与特征词汇表中存储的特征进行比较以及计算相机的位姿。来自每个帧的与存储在特征词汇表中的任何现有特征都不匹配的任何检测到的特征可以被添加到特征词汇表作为新类别，或者作为异常值被过滤掉。基于相对于当前视频帧估计的腹腔镜相机位姿，可以将3D虚拟模型投影到当前视频帧上。在一些实施例中，从2D视频帧提取的特征可以与患者特定的解剖网格的对应3D节点相关联。最后，可以执行全局优化以调整整个相机移动轨迹和3D患者网格。在一些实施例中，在步骤208处要执行的任务可以以并行处理方案来执行，以提高整体实时处理速度。
图3是根据本教导的一个实施例的基于一个标记的模型到视频对齐单元116的示例性过程的示例性流程图。在步骤302处，可以校准腹腔镜以获得某些相机参数，诸如焦距和主点位置。这些参数可以用于生成相机观察截头体(viewing frustum)，使得只有观察截头体内的解剖结构可以是可见的。这样的参数还可以用于通过在与经校准的腹腔镜相对应的透视图端口中渲染3D模型来生成虚拟腹腔镜图像。为了可视化，在一些实施例中，可以并排提供用于显示3D虚拟模型的渲染视图的第一窗口和用于显示内窥镜视频图像的第二窗口。在步骤303处，用户可以选择与当前腹腔镜的外科手术位置相对应的预先计划的关键位姿。在步骤304，可以基于经校准的腹腔镜参数以及与关键位姿相关联的相对位置和取向，将3D虚拟解剖结构或模型投影到实际腹腔镜图像平面上。投影可以导致3D模型叠加在真实的2D腹腔镜视频图像上，以在单个视图中生成3D模型和2D腹腔镜图像两者的融合视图。在步骤305处，用户(例如，医学专业人员)可以在腹腔镜视频图像中选择一个解剖标志或2D特征点。例如，用户可以选择下腔静脉(IVC)和肝脏之间的顶部交叉位置。在步骤306处，用户可以经由例如鼠标点击来标识3D虚拟空间中的对应标志或3D特征点。输入的鼠标位置可以被解释为射线的原点，并且所选择的3D标志点是该射线投射到器官表面(IVC和肝脏)上的截获点。当用户将虚拟空间中的3D标志点与腹腔镜视频图像上的所选择的2D标志点相对应时，系统可以在步骤307处计算3D模型和腹腔镜相机系统之间的X和Y位置平移(高至任意缩放因子，即Z位置)。在一个实施例中，可以基于关键位姿中的Z位置值来计算X位置值和Y位置值，并且3D标志的Z位置值可保持与关键位姿中的Z位置值的相同。3D标志的Z位置值稍后将被进一步细化。
图4示出了腹腔镜成像过程的示例以及对应的2D和3D特征点。在该图中，401表示腹腔镜相机坐标系的原点，402是2D成像平面，403是解剖器官的3D虚拟模型。被标记为404-a和404-b的这对点分别是用户选择的2D标志特征点(404-a)和对应的3D标志特征点(404-b)。连接原点401和2D特征点404-a的线形成视线。因为404-a和404-b是对应的特征点，所以3D虚拟模型403可以以404-b位于视线上的方式从关键位姿被定位。因为404-b可以在视线上的任何点上，所以需要确定404-b沿着视线的确切位置，并因此需要确定3D虚拟模型沿着视线的确切位置，以便3D虚拟模型的投影与在2D图像中观察到的器官相匹配。
经由图4中所示的示例，可以进一步示出如何基于2D图像平面中的2D标志点的已知坐标来计算腹腔镜相机坐标系中的3D标志特征点的X和Y位置平移。假设(x,y)是图像平面的坐标系，并且(X,Y,Z)是腹腔镜相机坐标系。假设(x1,y1)是2D图像平面中的2D标志特征点的坐标。示例如图4所示，其中2D特征点404-a是2D图像402中的2D特征。进一步假设(X1,Y1,Z1)是3D空间中的对应3D特征点相对于腹腔镜相机坐标系的3D坐标。这种3D特征点的示例是图4中的404-b，它对应于2D特征点404-a。如本文所讨论的，当对应的3D特征点从3D虚拟模型403被标识出时，其在相机坐标系中的3D坐标或(X1,Y1,Z1)被限制在视线(401和404-b之间的线)上。当3D特征点(例如404-b)沿着视线移动时，其3D坐标对应地改变，即Z1、X1和Y1的值都改变。然而，由于3D特征点尽管移动但仍在视线上，因此其在2D图像(例如402)上的投影保持在图像平面402上的相同坐标(x1,y1)处。以下等式描述了图像坐标系中的特征点的2D坐标与相机坐标系中的对应3D特征点的3D坐标之间的关系：
其中M相机是表示经由相机校准获得的相机参数的3x3矩阵，s1是缩放因子，其可以与从3D特征点到图像平面的距离隐式相关。因此，该距离对应于在此所寻求的深度Z1。因此，一旦确定了深度Z1，就可以基于这个公式来计算X1和Y1。
因此，基于2D图像平面中以及3D虚拟模型上的一对对应特征点，可以在307处计算3D标志特征点的X位置值、Y位置值。也就是说，2D标志特征点404-a现在可以用作锚点，即使3D特征点的位置发生了变化，但只要它在视线上即可。.在该步骤处，作为一个实施例，可以假设Z值与关键位姿中的Z值相同。因此，X-Y值是基于关键位姿中的Z值来确定的。也就是说，关键位姿中的Z值被指定给s1。可以在下面的步骤中估计最终的Z值。
在步骤308处，可以估计3D虚拟模型相对于腹腔镜相机的相对Z轴平移。目标是确定缩放因子或深度Z，使得3D虚拟模型在该深度处的投影将能够与在2D图像平面中观察到的器官对象图像相匹配。根据本教导，这是通过使用另一对对应的特征点来实现的，其中一个特征点来自2D图像平面，另一个特征点来自3D虚拟模型。在一个实施例中，用户可以选择另一对特征点作为第二对对应的特征点。例如，用户可以从2D腹腔镜视频图像和3D虚拟空间中的3D虚拟模型中选择肝脏的镰状体的终点。第二对的示例如图4所示，分别被标记为405-a和405-b。
如本文所讨论的，存在两种替代方法来基于两对标志特征点来确定Z(或缩放因子s1)的值。在来自两对的两个对应的3D特征点具有基本相同的深度或Z值的假设下，第一种方法支持用于计算Z值的闭合形式解。当不能假设两个对应的3D特征点的深度基本相等时，第二种方法允许经由不同的方法(如下所述)来估计Z值。基于图4所示的示例，下面分别公开了确定Z值的两种替代方法。
当两个3D特征点405-b接近404-b时，可以合理地假设405-b的深度与点404-b的深度基本相同。如果(x1,y2)是特征点405-a在2D图像平面402中的坐标，则腹腔镜相机系统中的对应3D特征点405-b的3D坐标可以表示为
将两个3D标志特征点404-b和405-b之间的距离表示为d，这是已知的，因为它可以从已知的3D虚拟模型中确定)。该距离可以表示为
其中||.||表示欧几里得距离。将404-b和405-b的3D坐标的表达式分别插入上述等式中，可以经由以下等式获得距离：
根据该闭合形式解，可以计算出等于3D标志特征点404-b和405-b的缩放因子s1的深度值。也就是说，该缩放因子对应于表示3D虚拟模型的深度的Z平移值，并且在该Z深度处，3D虚拟模型的投影将在2D图像平面上产生叠加，当与关键位姿中的Z值相比时，该叠加在尺寸上与在2D图像中观察到的器官的尺寸更好地匹配。利用所计算的Z值，三个平移分量被确定。
在一些情况下，405-b的深度可以不被假定为与点404-b的深度基本相同。在这种情况下，公开了一种替代方法来确定缩放因子或3D虚拟模型的深度，使得3D虚拟模型在该深度处的投影产生与器官图像的叠加，该叠加在尺寸上与在2D图像中观察到的器官的尺寸相匹配。利用这种方法，可以经由半自动操作来实现对Z值的估计，并且可以在基于位于基于两对特征点自动确定的范围内的深度处的投影来显示叠加的同时所创建的视觉提示来进行确定。在该过程期间，投影中的每个投影可以导致对所投影的3D模型的尺寸的视觉观察，并且它可以与在真实腹腔镜图像中观察到的器官的尺寸进行视觉比较。当视觉提示指示尺寸上的良好匹配时，与投影相关联的对应深度可以用作期望深度。
图5示出了根据本教导的实施例的在搜索对Z值的估计时确定深度范围的自动方法。在图5中，501是腹腔镜相机的中心，502是图像平面，503是来自第一对特征点的2D标志特征点，504是与2D特征点503相关联的视线，505是来自第二对特征点的2D标志特征点，并且506是与2D特征点505相关联的视线。如上所讨论的，d是基于3D虚拟模型计算的两个3D标志特征点之间的已知距离。令在估计来自第一对的2D标志特征点(即点503)的深度值时的精度由参数δ来指定。假设已知与标志特征点503相关联的深度值不小于最小深度值D。例如，在图5中，507可以表示在估计2D特征点503的深度时具有最小深度的点。从沿着视线504(从左到右)的点507，利用由δ测量的增量步长，可以绘制半径为d的圆。图5中所示的一个示例是可能从视线504上的最小深度点507前进几次的点508，点508用作半径为d的圆510的中心。尽管在图5中以2D示出了用于图示的圆，但实际操作是在3D空间中的。在这种情况下，可以替代地使用球体。
在视线504的增量位置中的每一个增量位置(随着步长值δ而递增)处，以视线504为中心的圆/球体的周长/表面与同来自第二对特征点的另一2D特征点505相关联的视线506相交。例如，以视线504上的508为中心的圆在两点512和514处与视线506相交。从508到512以及从508到514的距离都是相同的，其为半径d。也就是说，在一定的增量范围内，以视线504上的点为中心的圆可以在两个分开的位置处与来自第二对的2D特征点相关联的视线506相交。也就是说，在视线506上存在两个点，这两个点与视线504上的圆的中心点具有相同的距离d。
当点508沿着(第一对的2D特征点的)视线504从左向右进一步移动时，它将最终遇到视线504上的一个点，该点与第二视线506的距离恰好为d，并且在该点处，以该点为中心的圆仅在一个点处与第二视线506相交。图5提供了这样的示例，其中视线504上的点516是在506上的一个点处与视线506相交的圆的中心，并且516与视线506之间的距离为d。这指示超过516，以视线504上的点为中心的具有半径d的圆将不再与第二视线506相交。因此，点516表示具有最大深度值的点。这样，期望的深度值Z在与点507相关联的最小深度值和与点516相关联的最大深度值之间。以这种方式，确定了可能的深度值的范围。
在自动确定可能的深度值的范围的情况下，可以经由投影和视觉检查的过程从该范围标识特定的深度Z值。在该范围内的所有可能的深度值中的每一个处，3D虚拟模型从视线(例如504)上的当前深度位置被投影到2D图像平面上，以创建与在2D图像中观察到的对应器官的叠加。如在该阶段处，3D虚拟模型的取向仍未被确定(这是关键位姿中的近似值)，可以基于例如在被投影到图像平面上时的3D虚拟模型的尺寸与如在真实腹腔镜图像中观察到的器官的2D尺寸之间的差来计算对匹配质量的评估。该评估可以基于某一自动生成的相关度量或用户视觉检查来执行。可以计算自动生成的度量以反映总体尺寸差的差异，而不考虑形状的差异。例如，可以为2D图像中观察到的器官创建边界框，并且可以对所投影的3D虚拟模型进行同样的操作。两个边界框的面积的差可以用于估计尺寸差。可以选择产生最小尺寸差的深度值作为期望的深度。另一种评估3D虚拟模型在特定深度处的投影的尺寸与在2D图像中观察到的器官的尺寸之间的相似性的方式。在该操作模式中，用户观察叠加，并选择看起来与在2D图像中实际观察到的器官在尺寸上最匹配的叠加。
一旦深度值被确定，六个自由度中的三个就已根据本教导的不同替代方法被确定。剩余的三个自由度可以通过如下方式被确定：例如调整3D虚拟模型的取向，使得2D图像平面上的投影与从内窥镜视频帧观察到的观察的真实解剖结构对齐。这是在步骤310处实现的。用户可以通过手动调整相对于第一对2D/3D匹配的标志点的相对X旋转、Y旋转和Z旋转来改变3D虚拟模型的取向。在一些实施例中，这样的操纵可以通过鼠标操纵来实现。例如，用户可以通过按下鼠标左键并四处移动鼠标来相对于腹腔镜的Z轴旋转3D虚拟模型。其他实施例中，用户还可以通过按住鼠标右键并随后四处移动鼠标来调整3D虚拟模型围绕腹腔镜的X轴和Y轴的取向。
在一些实施例中，可以应用用户的视觉检查来做出关于所投影的3D模型的形状是否与在2D视频图像中观察到的解剖结构的形状对齐的评估。用户可以选择产生视觉上最令人满意的对齐的X旋转、Y旋转、Z旋转的特定组合。替代地，可以提供计算机程序以例如自动使用不同的X旋转、Y旋转、Z旋转组合(例如，穷尽地)，并为每个组合计算指示所投影的3D虚拟模型与在2D图像中观察到的对应解剖结构的边界之间的匹配程度的匹配质量度量，并且随后确定产生最佳匹配质量度量的最佳组合。
在确定平移和旋转的所有六个自由度以导出匹配的叠加之后，用户可以继续手动地调整平移值中的每一个以及相对于3D模型的旋转角度中的每一个。一些调整也可以应用于真实的腹腔镜图像。这种手动操纵可以通过诸如鼠标或操纵杆或键盘控制之类的任何外围设备来实现如在腹腔镜过程期间在实时场景中使用叠加的用户所期望的对齐，以便实现特定的医疗目的。
上述过程和系统设置用于将在诸如腹腔镜过程之类的医疗过程之前使用先前的医疗图像构建的3D虚拟模型准确地叠加到在医疗过程期间获取的2D腹腔镜图像上。描述概念和步骤时使用的示例仅用于说明目的，并且它们不旨在限制本教导。可以使用不同的手段来实现本文所讨论的不同步骤和操作。例如，在执行如本文所述的任何步骤时，基于计算机在所公开的过程期间获得的参数值，用户可以手动介入以调整这样的参数值。作为另一示例，执行确定平移和旋转分量的过程的步骤中的一些步骤的顺序也可以根据需要而不同。这些设计选项或变化都在本教导的范围内。

Claims (20)

1.一种用于估计三维(3D)虚拟模型的3D坐标的方法，所述方法在至少一个处理器、存储器和通信平台上实现，所述方法包括：
访问在医疗过程之前基于患者的器官的多个图像为所述器官构建的3D虚拟模型；
获得第一对对应特征点，其中第一二维(2D)特征点位于在所述医疗过程期间获取的2D图像中观察到的所述器官上，并且第一对应3D特征点来自所述3D虚拟模型；
获得第二对对应特征点，其中第二2D特征点位于在所述2D图像中观察到的所述器官上，并且第二对应3D特征点来自所述3D虚拟模型，其中所述第一3D特征点的深度和第二3D特征点的深度基本相同；并且
基于所述第一对对应特征点和所述第二对对应特征点自动确定所述第一3D特征点的第一3D坐标和所述第二3D特征点的第二3D坐标，使得所确定的第一3D坐标与所确定的第二3D坐标之间的第一距离等于在所述3D虚拟模型中所述第一3D特征点的第一实际3D坐标与所述第二3D特征点的第二实际3D坐标之间的第二距离。
2.如权利要求1所述的方法，其特征在于
所述3D虚拟模型具有六个自由度，其中前三个自由度与所述3D坐标相关并且具有沿着相机坐标系的X轴、Y轴、Z轴的值；并且
与所述3D坐标的Z值相对应的深度在相对于图像坐标系具有2D坐标的所述第一2D特征点的视线上。
3.如权利要求2所述的方法，其特征在于，所述3D虚拟模型具有另外三个自由度，所述另外三个自由度与所述3D虚拟模型相对于X轴、Y轴和Z轴中的每一个轴的旋转相关。
4.如权利要求2所述的方法，其特征在于，所述视线形成在所述第一2D特征点和与在所述医疗过程中部署的医疗仪器相关联的相机的焦点之间。
5.如权利要求2所述的方法，其特征在于，所述第一3D特征点的所述第一3D坐标和所述第二3D特征点的所述第二3D坐标是基于以下来确定的：
其中(X1,Y1,Z1)和(X2,Y2,Z2)分别是所述第一3D坐标和所述第二3D坐标沿X轴、Y轴、Z轴的三个值，(x1,y1)和(x2,y2)分别是所述第一2D特征点和所述第二2D特征点的图像坐标，并且s1是与深度Z相对应的沿着所述视线的缩放因子，当所述第一3D特征点和所述第二3D特征点具有基本相同的深度时，所述深度Z能够根据以下求解：
其中左侧的d表示所述第二距离，并且右侧的表达式表示所述第一距离，并且M相机是表示经由相机校准获得的相机参数的矩阵。
6.如权利要求3所述的方法，进一步包括经由以下确定所述另外三个自由度：
当将所述3D虚拟模型从所述3D坐标投影到所述2D图像上时，调整所述3D虚拟模型相对于X轴、Y轴和Z轴中的至少一个轴的旋转；并且
选择在所述3D虚拟模型的所述投影与在所述2D图像中观察到的所述患者的器官之间产生最佳匹配的旋转。
7.如权利要求6所述的方法，其特征在于，选择步骤由用户经由以下各项中的至少一项进行：
对每个匹配的视觉检查，以及
自动计算的定量度量，所述定量度量指示所述3D虚拟模型的所述投影与在所述2D图像中观察到的所述患者的器官之间的匹配程度。
8.一种机器可读介质，其上记录有信息，所述信息用于估计三维(3D)虚拟模型的3D坐标，其中所述信息在被所述机器读取时，使得所述机器执行以下步骤：
访问在医疗过程之前基于患者的器官的多个图像为所述器官构建的3D虚拟模型；
获得第一对对应特征点，其中第一二维(2D)特征点位于在所述医疗过程期间获取的2D图像中观察到的所述器官上，并且第一对应3D特征点来自所述3D虚拟模型；
获得第二对对应特征点，其中第二2D特征点位于在所述2D图像中观察到的所述器官上，并且第二对应3D特征点来自所述3D虚拟模型，其中所述第一3D特征点的深度和第二3D特征点的深度基本相同；并且
基于所述第一对对应特征点和所述第二对对应特征点自动确定所述第一3D特征点的第一3D坐标和所述第二3D特征点的第二3D坐标，使得所确定的第一3D坐标与所确定的第二3D坐标之间的第一距离等于在所述3D虚拟模型中所述第一3D特征点的第一实际3D坐标与所述第二3D特征点的第二实际3D坐标之间的第二距离。
9.如权利要求8所述的介质，其特征在于
所述3D虚拟模型具有六个自由度，其中前三个自由度与所述3D坐标相关并且具有沿着相机坐标系的X轴、Y轴、Z轴的值；并且
与所述3D坐标的Z值相对应的深度在相对于图像坐标系具有2D坐标的所述第一2D特征点的视线上。
10.如权利要求9所述的介质，其特征在于，所述3D虚拟模型具有另外三个自由度，所述另外三个自由度与所述3D虚拟模型相对于X轴、Y轴和Z轴中的每一个轴的旋转相关。
11.如权利要求9所述的介质，其特征在于，所述视线形成在所述第一2D特征点和与在所述医疗过程中部署的医疗仪器相关联的相机的焦点之间。
12.如权利要求10所述的介质，其特征在于，所述第一3D特征点的所述第一3D坐标和所述第二3D特征点的所述第二3D坐标是基于以下来确定的：
其中(X1,Y1,Z1)和(X2,Y2,Z2)分别是所述第一3D坐标和所述第二3D坐标沿X轴、Y轴、Z轴的三个值，(x1,y1)和(x2,y2)分别是所述第一2D特征点和所述第二2D特征点的图像坐标，并且s1是与深度Z相对应的沿着所述视线的缩放因子，当所述第一3D特征点和所述第二3D特征点具有基本相同的深度时，所述深度Z能够根据以下求解：
其中左侧的d表示所述第二距离，并且右侧的表达式表示所述第一距离，并且M相机是表示经由相机校准获得的相机参数的矩阵。
13.如权利要求10所述的介质，其特征在于，所述信息在由所述机器读取时，进一步使得所述机器执行经由以下来确定所述另外三个自由度的步骤：
当将所述3D虚拟模型从所述3D坐标投影到所述2D图像上时，调整所述3D虚拟模型相对于X轴、Y轴和Z轴中的至少一个轴的旋转；并且
选择在所述3D虚拟模型的所述投影与在所述2D图像中观察到的所述患者的器官之间产生最佳匹配的旋转。
14.如权利要求13所述的介质，其特征在于，选择步骤由用户经由以下各项中的至少一项进行：
对每个匹配的视觉检查，以及
自动计算的定量度量，所述定量度量指示所述3D虚拟模型的所述投影与在所述2D图像中观察到的所述患者的器官之间的匹配程度。
15.一种用于估计三维(3D)虚拟模型的3D坐标的系统，所述系统包括：
解剖结构网格生成单元，所述解剖结构网格生成单元被配置用于在医疗过程之前基于患者的器官的多个图像来为所述器官构建3D虚拟模型；以及
基于一个标记的模型到视频对齐单元，所述基于一个标记的模型到视频对齐单元被配置用于
获得第一对对应特征点，其中第一二维(2D)特征点位于在所述医疗过程期间获取的2D图像中观察到的所述器官上，并且第一对应3D特征点来自所述3D虚拟模型，
获得第二对对应特征点，其中第二2D特征点位于在所述2D图像中观察到的所述器官上，并且第二对应3D特征点来自所述3D虚拟模型，其中所述第一3D特征点的深度和第二3D特征点的深度基本相同，并且
基于所述第一对对应特征点和所述第二对对应特征点自动确定所述第一3D特征点的第一3D坐标和所述第二3D特征点的第二3D坐标，使得所确定的第一3D坐标与所确定的第二3D坐标之间的第一距离等于在所述3D虚拟模型中所述第一3D特征点的第一实际3D坐标与所述第二3D特征点的第二实际3D坐标之间的第二距离。
16.如权利要求15所述的系统，其特征在于
所述3D虚拟模型具有六个自由度，其中前三个自由度与所述3D坐标相关并且具有沿着相机坐标系的X轴、Y轴、Z轴的值；并且
与所述3D坐标的Z值相对应的深度在相对于图像坐标系具有2D坐标的所述第一2D特征点的视线上。
17.如权利要求16所述的系统，其特征在于，所述视线形成在所述第一2D特征点和与在所述医疗过程中部署的医疗仪器相关联的相机的焦点之间。
18.如权利要求16所述的系统，其特征在于，所述第一3D特征点的所述第一3D坐标和所述第二3D特征点的所述第二3D坐标是基于以下来确定的：
其中(X1,Y1,Z1)和(X2,Y2,Z2)分别是所述第一3D坐标和所述第二3D坐标沿X轴、Y轴、Z轴的三个值，(x1,y1)和(x2,y2)分别是所述第一2D特征点和所述第二2D特征点的图像坐标，并且s1是与深度Z相对应的沿着所述视线的缩放因子，当所述第一3D特征点和所述第二3D特征点具有基本相同的深度时，所述深度Z能够根据以下求解：
其中左侧的d表示所述第二距离，并且右侧的表达式表示所述第一距离，并且M相机是表示经由相机校准获得的相机参数的矩阵。
19.如权利要求15所述的系统，进一步包括基于患者网格的全局和局部相机位姿计算和优化单元，所述基于患者网格的全局和局部相机位姿计算和优化单元被配置用于
当在所述3D坐标处将所述3D虚拟模型投影到所述2D图像上时，调整所述3D虚拟模型相对于X轴、Y轴和Z轴中的至少一个轴的旋转；并且
选择在所述3D虚拟模型的所述投影与在所述2D图像中观察到的所述患者的器官之间产生最佳匹配的旋转。
20.如权利要求19所述的系统，其特征在于，所述最佳匹配是由用户经由以下各项中的至少一项确定的：
对每个匹配的视觉检查，以及
自动计算的定量度量，所述定量度量指示所述3D虚拟模型的所述投影与在所述2D图像中观察到的所述患者的器官之间的匹配程度。
CN202280048762.1A 2021-05-14 2022-05-16 用于腹腔镜外科手术引导的模型融合中的具有闭合形式解的深度确定的方法和系统 Pending CN117750920A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163188625P 2021-05-14 2021-05-14
US63/188,625 2021-05-14
PCT/US2022/029474 WO2022241321A1 (en) 2021-05-14 2022-05-16 Method and system of depth determination with closed form solution in model fusion for laparscopic surgical guidance

Publications (1)

Publication Number Publication Date
CN117750920A true CN117750920A (zh) 2024-03-22

Family

ID=83998307

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202280048764.0A Pending CN117940088A (zh) 2021-05-14 2022-05-16 用于腹腔镜外科手术引导的模型融合的方法和系统
CN202280048763.6A Pending CN117794482A (zh) 2021-05-14 2022-05-16 用于腹腔镜外科手术引导的模型融合中的深度确定的方法和系统
CN202280048762.1A Pending CN117750920A (zh) 2021-05-14 2022-05-16 用于腹腔镜外科手术引导的模型融合中的具有闭合形式解的深度确定的方法和系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202280048764.0A Pending CN117940088A (zh) 2021-05-14 2022-05-16 用于腹腔镜外科手术引导的模型融合的方法和系统
CN202280048763.6A Pending CN117794482A (zh) 2021-05-14 2022-05-16 用于腹腔镜外科手术引导的模型融合中的深度确定的方法和系统

Country Status (4)

Country Link
US (3) US20220366649A1 (zh)
EP (3) EP4337133A1 (zh)
CN (3) CN117940088A (zh)
WO (3) WO2022241319A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220366649A1 (en) * 2021-05-14 2022-11-17 Edda Technology, Inc. Method and system of depth determination in model fusion for laparoscopic surgical guidance
WO2022251814A2 (en) * 2021-05-24 2022-12-01 Stryker Corporation Systems and methods for generating three-dimensional measurements using endoscopic video data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101258912B1 (ko) * 2005-06-06 2013-04-30 인튜어티브 서지컬 인코포레이티드 복강경의 초음파 로보트 수술 시스템
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
JP6339097B2 (ja) * 2012-12-28 2018-06-06 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ超音波画像と２ｄｘ線画像とを組み合わせたリアルタイムシーンモデリング
EP3273854B1 (en) * 2015-03-26 2021-09-22 Universidade de Coimbra Systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US20220366649A1 (en) * 2021-05-14 2022-11-17 Edda Technology, Inc. Method and system of depth determination in model fusion for laparoscopic surgical guidance

Also Published As

Publication number Publication date
EP4337132A1 (en) 2024-03-20
US20220361730A1 (en) 2022-11-17
CN117940088A (zh) 2024-04-26
US11989833B2 (en) 2024-05-21
US11900541B2 (en) 2024-02-13
CN117794482A (zh) 2024-03-29
WO2022241319A1 (en) 2022-11-17
EP4337131A1 (en) 2024-03-20
US20220366649A1 (en) 2022-11-17
US20220375173A1 (en) 2022-11-24
EP4337133A1 (en) 2024-03-20
WO2022241321A1 (en) 2022-11-17
WO2022241323A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US10679417B2 (en) Method and system for surgical planning in a mixed reality environment
Grasa et al. Visual SLAM for handheld monocular endoscope
Zhao et al. Tracking-by-detection of surgical instruments in minimally invasive surgery via the convolutional neural network deep learning-based method
Stoyanov et al. A practical approach towards accurate dense 3D depth recovery for robotic laparoscopic surgery
US10796499B2 (en) Systems and methods for 3D registration of curves and surfaces using local differential information
Lin et al. Video‐based 3D reconstruction, laparoscope localization and deformation recovery for abdominal minimally invasive surgery: a survey
US11900541B2 (en) Method and system of depth determination with closed form solution in model fusion for laparoscopic surgical guidance
US20110282151A1 (en) Image-based localization method and system
Puerto-Souza et al. Toward long-term and accurate augmented-reality for monocular endoscopic videos
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
Taketomi et al. Real-time and accurate extrinsic camera parameter estimation using feature landmark database for augmented reality
Sánchez-González et al. Laparoscopic video analysis for training and image-guided surgery
US9569850B2 (en) System and method for automatically determining pose of a shape
Robu et al. Intelligent viewpoint selection for efficient CT to video registration in laparoscopic liver surgery
WO2017180097A1 (en) Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation
WO2017003424A1 (en) Metric 3d stitching of rgb-d data
US8861838B2 (en) Apparatus and method for correcting stereoscopic image using matching information
US20230410491A1 (en) Multi-view medical activity recognition systems and methods
WO2020194663A1 (ja) トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法
US20230145531A1 (en) Systems and methods for registering visual representations of a surgical space
Alkhalifah Optimizing graphics for understanding real-scene using 3D image registration and tracking and mapping
Dehaeck et al. Wide-baseline multi-camera calibration from a room filled with people
JP2024522003A (ja) 深度カメラによる患者特有器具類の適切な位置決めの自動判定
Ho Nonrigid Registration Techniques and Evaluation for Augmented Reality in Robotic Assisted Minimally Invasive Surgery
CN116327364A (zh) 内窥镜辅助支气管术中导航方法、系统、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination