CN114127781A - 检测和表示解剖结构的解剖特征 - Google Patents

检测和表示解剖结构的解剖特征 Download PDF

Info

Publication number
CN114127781A
CN114127781A CN202080051727.6A CN202080051727A CN114127781A CN 114127781 A CN114127781 A CN 114127781A CN 202080051727 A CN202080051727 A CN 202080051727A CN 114127781 A CN114127781 A CN 114127781A
Authority
CN
China
Prior art keywords
anatomical
layer
anatomical structure
model
anatomical features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080051727.6A
Other languages
English (en)
Inventor
张惠
J·李
王柏
赵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN114127781A publication Critical patent/CN114127781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

示例性处理系统访问患者解剖结构的三维(3D)模型并将检测过程应用于3D模型以检测解剖结构中的单层解剖特征。该检测过程包括从3D模型中生成单层解剖特征的候选点的概率图，并基于候选点的概率图生成代表单层解剖特征的单层网格。

Description

检测和表示解剖结构的解剖特征
相关申请
本申请要求于2019年6月11日提交的题为“DETECTING AND REPRESENTINGANATOMICAL FEATURES OF AN ANATOMICAL STRUCTURE”的美国临时专利申请号62/860,196的优先权，其内容通过整体引用并入本文。
背景技术
患者的术前图像通常用于规划外科手术程序。术前图像可以包括使用计算机断层摄影(CT)扫描、磁共振成像(MRI)或其他这样的成像方式捕获的图像。外科医生、其他外科手术团队成员和/或程序规划计算系统可以使用这种术前图像来确定规划的切口点、器械路径和程序的其他方面。然而，从术前图像中识别某些解剖特征可能很困难或耗时。
发明内容
以下描述呈现本文所描述的系统和方法的一个或多个方面的简化概述。该概述不是对所有预期方面的广泛概述，并且既不旨在识别所有方面的关键或关键要素，也不旨在描绘任何或所有方面的范围。其唯一目的是将本文所描述的系统和方法的一个或多个方面呈现为下面呈现的详细描述的前奏。
一种示例性方法，其包括处理器访问患者解剖结构的三维(3D)模型，并将检测过程应用于3D模型以检测解剖结构中的单层解剖特征，该检测过程包括从3D模型中生成单层解剖特征的候选点的概率图，基于候选点的概率图生成代表单层解剖特征的单层网格。
一种示例性系统，其包括存储指令的存储器和通信地耦接到存储器的处理器，该处理器被配置为执行指令以访问患者解剖结构的三维(3D)模型，并将检测过程应用于3D模型以检测解剖结构中的单层解剖特征，该检测过程包括从3D模型中生成单层解剖特征的候选点的概率图，基于候选点的概率图生成代表单层解剖特征的单层网格。
一种示例性非暂时性计算机可读介质，其存储指令，这些指令在被执行时引导计算设备的至少一个处理器访问患者解剖结构的三维(3D)模型，并将检测过程应用于3D模型以检测解剖结构中的单层解剖特征，该检测过程包括从3D模型中生成单层解剖特征的候选点的概率图，基于候选点的概率图生成代表单层解剖特征的单层网格。
另一种示例性方法，其包括处理器访问患者解剖结构的三维(3D)模型，将第一检测过程应用于3D模型以检测解剖结构中的第一类解剖特征，将不同于第一检测过程的第二检测过程应用于3D模型以检测解剖结构中的第二类解剖特征，并基于3D模型、解剖结构中检测到的第一类解剖特征以及解剖结构中检测到的第二类解剖特征，提供解剖结构的可视化。
另一种示例性系统，其包括存储指令的存储器和通信地耦接到存储器的处理器，该处理器被配置为执行指令以访问患者解剖结构的三维(3D)模型，将第一检测过程应用于3D模型以检测解剖结构中的第一类解剖特征，将不同于第一检测过程的第二检测过程应用于3D模型以检测解剖结构中的第二类解剖特征，并基于3D模型、解剖结构中检测到的第一类解剖特征以及解剖结构中检测到的第二类解剖特征，提供解剖结构的可视化。
另一种示例性非暂时性计算机可读介质，其存储指令，这些指令在被执行时引导计算设备的至少一个处理器访问患者解剖结构的三维(3D)模型，将第一检测过程应用于3D模型以检测解剖结构中的第一类解剖特征，将不同于第一检测过程的第二检测过程应用于3D模型以检测解剖结构中的第二类解剖特征，并基于3D模型、解剖结构中检测到的第一类解剖特征以及解剖结构中检测到的第二类解剖特征，提供解剖结构的可视化。
另一种示例性方法，其包括将第一检测过程应用于一组图像以生成患者解剖结构的三维(3D)模型，将不同于第一检测过程的第二检测过程应用于3D模型以检测解剖结构中的单层解剖特征，并基于3D模型和解剖结构中检测到的单层解剖特征，提供解剖结构的可视化。
另一个示例性系统，其包括存储指令的存储器和通信地耦接到存储器的处理器，该处理器被配置为执行指令以将第一检测过程应用于一组图像以生成患者解剖结构的三维(3D)模型，将不同于第一检测过程的第二检测过程应用于3D模型以检测解剖结构中的单层解剖特征，并基于3D模型和解剖结构中检测到的单层解剖特征，提供解剖结构的可视化。
另一种示例性非暂时性计算机可读介质，其存储指令，这些指令在被执行时引导计算设备的至少一个处理器将第一检测过程应用于一组图像以生成患者解剖结构的三维(3D)模型，将不同于第一检测过程的第二检测过程应用于3D模型以检测解剖结构中的单层解剖特征，并基于3D模型和解剖结构中检测到的单层解剖特征，提供解剖结构的可视化。
另一种示例性系统，其包括处理器，该处理器被配置为访问解剖结构的三维(3D)模型，将第一检测过程应用于3D模型以检测解剖结构中的单层解剖特征，将不同于第一检测过程的第二检测过程应用于3D模型以检测解剖结构中的非单层解剖特征，并基于3D模型、检测到的单层解剖特征以及检测到的非单层解剖特征，提供解剖结构的表示。该系统进一步包括显示器，该显示器通信地耦接到处理器并且被配置为显示解剖结构的表示和解剖结构中外科手术器械要横穿的潜在路径的表示。
附图说明
附图图示各种实施例并且是说明书的一部分。所图示的实施例仅是示例并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元素。
图1图示了根据本文所描述的原理的示例性处理系统。
图2图示了根据本文所描述的原理用于生成单层网格的示例性方法。
图3图示了根据本文所描述的原理用于检测单层解剖特征的示例性配置。
图4图示了根据本文所描述的原理用于生成代表解剖特征的初始单层网格的示例性配置。
图5图示了根据本文所描述的原理用于细化代表解剖特征的初始单层网格的示例性配置。
图6图示了根据本文所描述的原理用于生成单层网格的示例性概率图。
图7图示了根据本文所描述的原理用于生成单层网格的示例性符号距离图。
图8图示了根据本文所描述的原理用于生成单层网格的示例性过零图。
图9图示了根据本文所描述的原理的示例性初始单层网格。
图10图示了根据本文所描述的原理用于生成单层网格的示例性细化过程。
图11至图13图示了根据本文所描述的原理的示例性单层网格。
图14和图15图示了根据本文所描述的原理用于使用单层网格生成解剖结构的可视化的示例性配置。
图16图示了根据本文所描述的原理的示例性计算系统。
具体实施方式
本文描述了用于检测和表示解剖结构的解剖特征的系统和方法。在某些实施方式中，例如，处理系统访问患者解剖结构的三维(3D)模型。处理系统将检测过程应用于3D模型以检测解剖结构中的单层解剖特征。该检测过程包括从3D模型中生成单层解剖特征的候选点的概率图，并基于候选点的概率图生成代表单层解剖特征的单层网格。
在一些示例中，生成单层网格可以包括基于概率图生成初始单层网格和基于初始单层网格生成细化单层网格。生成初始单层网格可以包括诸如将候选点缩减到候选点的子集、将符号距离变换应用于候选点的子集以生成符号距离图以及连接符号距离图中的过零点以形成初始单层网格等过程。生成细化单层网格可以包括诸如基于解剖特征的属性细化初始单层网格等过程。例如，细化可以包括平滑初始单层网格、填充初始单层网格中的孔和/或基于解剖结构剪裁初始单层网格。
处理系统还可以提供解剖结构的可视化，其可以包括单层解剖特征以及一个或多个非单层解剖特征。处理系统可以使用检测到的解剖特征来确定或帮助外科医生确定外科手术程序的各个方面。
作为示例，处理系统可以用于规划器械路径以在患者的解剖结构(例如，肺)中执行活检。处理系统可以访问肺的3D模型(例如，基于术前图像生成3D模型、接收3D模型等)。外科医生可能想要确定将避开可能被器械损坏的解剖特征的器械路径。这种解剖特征可以包括单层解剖特征(例如，肺裂隙)以及非单层解剖特征(例如，血管、神经、某些气道)。如本文所使用的，单层解剖特征可以包括在两侧具有相同或基本相似介质的任何薄膜(例如，将肝脏分成叶的韧带、肌纤维之间的膜等)。非单层解剖特征可以包括任何其他解剖特征。处理系统可以将检测过程应用于3D模型以检测单层解剖特征和非单层解剖特征，本文将进一步描述这些检测过程。处理系统可以提供解剖结构的可视化，包括由检测过程检测到的解剖特征以供外科医生在规划或执行外科手术程序时使用。附加地或可替代地，处理系统可以使用解剖结构的表示(包括由检测过程检测到的解剖特征)以确定外科手术程序的各个方面(例如，潜在的器械路径)。
本文描述的用于检测和表示解剖结构的解剖特征的方法和系统可以提供各种优点和益处。例如，单层网格可以提供单层解剖特征的准确表示，这可以辅助外科医生规划和/或执行外科手术程序。此外，使用自动化过程检测单层特征可以节省可以分配到别处以允许更高效和有效的外科手术程序的时间和资源。
现在将参考附图更详细地描述各种实施例。所公开的方法和系统可以提供上述益处中的一个或多个和/或将在本文中变得明显的各种附加和/或替代益处。
图1图示了示例性处理系统100(本文也称为“系统100”)，其被配置为检测和表示解剖结构的解剖特征。处理系统100可以在计算系统和/或计算机辅助外科手术系统的一个或多个部件内实现。如图1所示，处理系统100包括选择性地和通信地彼此耦接的存储设施102和处理设施104。设施102和104中的每一个可以包括或由一个或多个物理计算设备实现，该一个或多个物理计算设备包括硬件和/或软件部件，例如处理器、存储器、存储驱动器、通信接口、存储在存储器中供处理器执行的指令等。虽然设施102和104在图1中被示为分开的设施，但设施102和104可以被组合成更少的设施，例如被组合成单个设施，或者被分成更多的设施，以服务于特定的实施方式。在一些示例中，设施102和104中的每一个可以分布在多个设备和/或多个位置之间，以服务于特定的实施方式。
存储设施102可以维护(例如，存储)处理设施104使用的可执行数据以执行本文所描述的任何操作。例如，存储设施102可以存储可由处理设施104执行以执行本文所描述的任何操作的指令106。指令106可以由任何合适的应用、软件、代码和/或其他可执行数据实例来实现。
存储设施102还可以维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。例如，如下文将更详细地描述的，存储设施102可以维护模型数据、图像数据、网格数据、外科手术规划数据、解剖结构数据、解剖特征数据等。
处理设施104可以被配置为执行(例如，执行存储在存储设施102中的指令106以执行)与以本文描述的任何方式检测和表示解剖结构的解剖特征相关联的各种处理操作。
图2图示了用于检测和表示解剖结构的解剖特征的示例性方法200。虽然图2图示了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序和/或修改图2中所示的任何操作。图2中所示操作中的一个或多个可以由处理系统100、处理系统中包括的任何部件和/或其任何实施方式来执行。
在操作202中，处理系统访问解剖结构的3D模型。在某些示例中，3D模型可以基于术前图像生成，例如CT扫描、MRI扫描、X射线图像等。3D模型可以由处理系统100生成或由外部系统生成并提供给处理系统100。本文描述了可以执行操作202的示例性方式。
在操作204中，处理系统从3D模型中生成单层解剖特征的候选点的概率图。候选点可以是其概率大于阈值概率的点，该点是单层解剖特征的一部分。例如，处理系统100可以分析3D模型并生成概率大于阈值概率(例如，20％、50％等)的一组候选点。该一组候选点可以构成3D模型中单层解剖特征存在的概率图。本文描述了可以执行操作204的示例性方式。
在操作206中，处理系统基于候选点的概率图生成代表单层解剖特征的单层网格。例如，生成单层网格可以包括基于概率图生成初始单层网格和基于初始单层网格生成细化单层网格。附加地或可替代地，生成单层网格可以包括将候选点缩减到候选点的子集，将符号距离变换应用于候选点的子集以生成符号距离图，以及连接符号距离图中的过零点以形成单层网格。本文描述了可以执行操作206的示例性方式。
图3图示了用于检测单层解剖特征的示例性配置300，例如用于执行在诸如方法200的方法内的各种过程或操作。配置300包括访问解剖结构的3D模型302并生成代表解剖结构的解剖特征的最终单层网格320的模块。配置300可以由处理系统100和/或计算机辅助外科手术系统、外科手术规划系统或其他计算机系统的任何合适的部件来实现。
如图所示，配置300包括概率图模块304，其访问解剖结构的3D模型302。如上所述，3D模型302可以由处理系统100生成或由外部系统生成并提供给概率图模块304。
概率图模块304访问解剖结构的3D模型302并生成一组候选点306。概率图模块304可以使用图像处理技术来检测3D模型302中指示单层解剖特征的元素。对于每个点，概率图模块304可以生成概率(例如，在0和1之间)，该点是指示单层解剖特征的元素的一部分。一组候选点306可以是概率大于阈值的所有点的聚合(例如，点云)。
在某些示例中，概率图模块304可以使用与图像处理技术相结合的机器学习技术来生成一组候选点306。例如，概率图模块304可以使用卷积神经网络(CNN)方法，例如U-Net、V-Net、Residual U-Net等，或任何其他合适的深度学习或机器学习技术。
概率图模块304向单层网格生成模块308提供候选点306，该单层网格生成模块308基于候选点306生成最终单层网格320。如本文所使用的，网格可以指使用较小离散形状(例如，多边形)的表面和/或元素的任何表示(例如，解剖特征的表示)，其可以通过一组点、3D坐标位置、体素和/或方程之间的互连来定义。网格可以是代表单层解剖特征的单层网格，也可以是代表非单层解剖特征的的非单层网格或用于生成单层网格(例如最终单层网格320)的概率图、点云或其他中间元素。
如图3所示，单层网格生成模块308包括缩减候选点模块310、初始网格模块314和网格细化模块318。缩减候选点模块310从概率图模块304接收候选点306并基于候选点306生成一组缩减的候选点(缩减候选点312)。缩减候选点模块310可以以任何合适的方式缩减该一组候选点306。例如，缩减候选点模块310可以使用比用于候选点306的阈值概率更高的阈值概率值(例如，0.5或0.7或任何其他合适的阈值)以生成缩减候选点312。缩减候选点模块310还可以使用点的阈值数量(例如，100或1000或任何其他合适数量的点)或点的百分比(例如，50％或25％或任何其他合适的百分比)来包括或排除以将候选点306缩减到缩减候选点312。缩减候选点模块310还可以基于统计分析(例如，Dice系数、Jaccard相似系数或任何其他合适的相似分析)来确定最优阈值。缩减候选点模块310还可以使用特征检测算法和技术(例如，Hessian矩阵)来估计初始脊(和/或其他特征)点。缩减候选点模块310还可基于此类阈值的任何合适组合来生成缩减候选点312。
缩减候选点模块310向初始网格模块314提供缩减候选点312。初始网格模块314基于缩减候选点312生成初始单层网格316。初始单层网格316可以包括具有单层厚度的网格，但也可以包括各种不准确性和/或不确定性。因为初始单层网格316的生成可以基于概率的缩减候选点312(或候选点306)，所以可能引入不准确性和/或不确定性。由于3D模型和/或术前图像中的伪影和/或信息缺失，也可能引入不准确性和/或不确定性。基于在生成初始单层网格316中使用的一些数学算法，也可能引入不准确性和/或不确定性。网格细化模块318可以细化初始单层网格316以校正此类不准确性和/或不确定性(例如，基于单层解剖特征的已知属性、3D模型302等)并生成最终单层网格320。初始网格模块314和网格细化模块318可以使用任何合适的技术和算法分别生成初始单层网格316和最终单层网格320。本文将进一步描述此类技术和算法的示例。
虽然配置300示出了包括缩减候选点模块310、初始网格模块314和网格细化模块318的单层网格生成模块308，但在一些示例中，单层网格生成模块308可以包括更多模块、更少模块、模块组合，等等。例如，缩减候选点模块310可以是可选的，并且初始网格模块314可以接收候选点306并基于完整组的候选点306生成初始单层网格316。
图4图示了用于生成代表解剖特征的初始单层网格的示例性配置400，例如用于执行在诸如方法200和/或方法300的方法内的各种过程或操作，提供关于图3的初始网格模块314的进一步细节。配置400可以由处理系统100和/或计算机辅助外科手术系统、外科手术规划系统或其他计算机系统的任何合适的部件来实现。
类似于图3，配置400示出了缩减候选点模块310、缩减候选点312、初始网格模块314和初始单层网格316。在一些实施例中，缩减候选点模块310可以通过访问3D模型302来接收从概率图模块304生成的候选点。配置400进一步示出了包括符号距离图模块402和过零点模块404的初始网格模块314。
符号距离图模块402可以从缩减候选点模块310接收缩减候选点312。符号距离图模块402可以基于缩减候选点312生成符号距离图406。符号距离图模块402可以使用任何合适的技术和算法生成符号距离图406。例如，符号距离图模块402可以使用主成分分析(PCA)、符号距离函数等来基于缩减候选点312生成符号距离图406。下面将进一步描述示例符号距离图。
符号距离图模块402可以向过零点模块404提供符号距离图406。过零点模块404可以基于符号距离图406生成初始单层网格316。过零点模块404可以通过分析符号距离图406来确定过零点并连接过零点以生成初始单层网格316来生成初始单层网格316。下面将进一步描述用于生成初始单层网格的过零点的示例连接。
图5图示了用于细化代表解剖特征的初始单层网格的示例性配置500，例如用于执行在诸如方法200、方法300和/或方法400的方法内的各种过程或操作，提供关于图3的网格细化模块318的进一步细节。配置500可以由处理系统100和/或计算机辅助外科手术系统、外科手术规划系统或其他计算机系统的任何合适的部件来实现。
类似于图3，配置500示出了访问初始单层网格316和3D模型302并生成最终单层网格320的网格细化模块318。在一些实施例中，初始单层网格316可以使用配置(例如配置400)来生成。配置500进一步示出了网格细化模块318，其包括剪裁模块502、连接部件模块504、孔填充模块506、小区域模块508、平滑模块510和卷曲边缘模块512。这样的模块可以是用于基于解剖特征和/或解剖结构的一个或多个属性细化初始单层网格的示例性模块。作为一个示例，可以知道解剖特征被完全包含在解剖结构内。因此，解剖特征的边界可以受解剖特征的形状约束，并且初始单层网格可以被细化以符合这样的约束。解剖特征和/或解剖结构的其他这样的合适属性可以用于细化初始单层网格。
例如，剪裁模块502可以接收初始单层网格316和3D模型302。剪裁模块502可以基于解剖特征(包含在解剖结构内的解剖特征)的属性来细化初始单层网格316。因此，剪裁模块502可以使用3D模型302来剪裁延伸到解剖结构的边界之外的初始单层网格316的部分，如3D模型302所提供的。附加地或可替代地，剪裁模块502可以延伸初始单层网格316的部分以更紧密地对准解剖结构的边界。
连接部件模块504可以基于解剖特征的连续性(contiguousness)细化初始单层网格316。基于解剖特征的这种属性，连接部件模块504可以组合初始单层网格316的初始彼此未连接的部分。附加地或可替代地，连接部件模块504可以将初始单层网格的初始彼此稀疏连接的部分分开。
孔填充模块506可以基于解剖特征的接续性(continuity)细化初始单层网格316。基于解剖特征的这种属性，孔填充模块506可以在初始单层网格316中搜索孔并且内插初始单层网格318以填充这些孔。附加地或可替代地，如果在解剖特征中预期这样的孔，则孔填充模块506可以不填充大孔。
小区域模块508可以基于解剖特征的典型尺寸细化初始单层网格316。基于解剖特征的这种属性，小区域模块508可以检测初始单层网格316的看起来太小和/或远离初始单层网格316的主要部分而不能成为解剖特征的一部分的部分。基于解剖特征的这种属性，小区域模块508可以确定这样小的远离部分是假阳性并且从初始单层网格318中去除这样的部分。
平滑模块510可以基于解剖特征的表面和/或边缘的典型均匀度来细化初始单层网格316。基于解剖特征的这种属性，平滑模块510可以修改表面和/或边缘，例如通过平滑、粗糙化、图案化或以其他方式改变初始单层网格316的表面和/或边缘。
卷曲边缘模块512可以基于解剖特征的典型结构细化初始单层网格316。基于解剖特征的这种属性，卷曲边缘模块512可以去除或内插初始单层网格316的部分。本文将进一步描述这种过程的示例。
虽然图5示出了包括模块502-512中的每一个的网格细化模块318，但网格细化模块318的其他示例或实施方式可以包括附加模块(例如，基于解剖特征的其他属性)、更少模块、模块组合等。虽然图5示出了从一个模块到下一个模块的流程，但在一些示例中，可以实现模块的不同顺序。基于这些细化中的一些或全部，网格细化模块318可以从初始单层网格318生成最终单层网格320。
图6至图12图示了本文所描述的方法和系统的示例应用。该示例图示了检测和表示患者肺部中的肺裂隙。图6示出了具有用于生成单层网格的示例性概率图的图像切片600。图像切片600示出了患者的一对肺602(显示为右肺602-R和左肺602-L)的3D模型的二维(2D)切片。右肺602-R具有两个裂隙，将右肺602-R分成三个叶。左肺602-L具有一个裂隙，将左肺602-L分成两个叶。
图像切片600显示右肺602-R，其具有第一概率图604(显示为三个单独的分段604-1、604-2和604-3)和第二概率图606。左肺602-L被示出为具有第三概率图608。概率图604、606、608中的每一个可以是候选点306的表示或缩减候选点312的表示的实现方式。图像切片600将概率图604、606、608中的每一个示出为每个裂隙的带。虽然图像切片600示出了概率图604、606、608的带，但是带可以代表网格结构(例如，可以被称为“舌网格”的非单层网格)的简化可视化。在其他示例中，任何其他合适的表示可以用于概率图604、606、608，例如候选点的点云、候选点的连接网格或候选点的任何其他基于网格的表示、候选点的基于体素的表示等。
如上所述，每个概率图604、606、608可以代表每个裂隙的一组候选点306或一组缩减候选点312。例如，第三概率图608可以代表点的聚合，其中每个点是左肺裂隙的一部分的概率大于阈值。可以使用如本文所描述的图像处理和机器学习技术来确定每个点的概率。可替代地，第三概率图608可以代表肺裂隙的存在的一组缩减候选点312。候选点306可以以本文描述的任何方式缩减以生成缩减候选点312。
如图所示，第一概率图604包括三个单独的分段604-1、604-2、604-3。第一概率图604的分段可以示出可能导致基于第一概率图604生成的初始单层网格不准确的示例。因为肺裂隙通常是连续的和接续的，因此分段可能是不确定的。这种不准确性可以通过如本文所描述的网格细化模块来校正。
系统100可以以本文描述的任何方式基于概率图604、606和608生成代表肺裂隙的单层网格。例如，基于概率图604、606或608，系统100可以应用符号距离变换来生成符号距离图，并且从符号距离图生成代表裂隙的初始单层网格。系统100可以细化初始单层网格以生成代表裂隙的最终单层网格。现在将更详细地描述此类操作的示例。
图7图示了可以由系统100生成并由系统100使用以生成单层网格的示例性符号距离图700。符号距离图700可以是符号距离图406的实施方式。符号距离图700示出了代表肺裂隙的一组候选点(或一组缩减候选点)的舌网格702(例如第三概率图608)。符号距离图700还包括向量704(显示为向量704-1、704-2…704-N)。使用向量704-1作为示例，每个向量704(例如向量704-1)显示由X表示的点706-1，向量704-1通过该点正交通过舌网格702。向量704-1穿过舌网格702的正交性可以任何合适的方式来确定，例如使用Hessian矩阵来估计和/或计算舌网格702上的点的法线信息。
向量704-1进一步示出了向量704-1上的点的距离信息708-1。距离信息708-1以符号数字(例如，+3、+2、+1、-1、-2、-3等)表示。符号数字可以指示距点706-1的距离大小以及相对于舌网格702的方向，其中在舌网格702的一侧上为正，在舌网格702的另一侧上为负。如本文所描述的，系统100可以分析符号距离图700以确定过零点以生成初始单层网格。
图8图示了可以由系统100生成并由系统100使用以生成初始单层网格802的示例性过零图800。过零图800示出了从符号距离图700生成的数字列804(显示为数字列804-1、804-2…804-N)。使用数字列804-1作为示例，每个数字列804(例如数字列804-1)包括零806-1，其中数字列804-1中的数字从正数交叉到负数(反之亦然)。连接过零点(例如，806-1和其他过零点)可以生成表面网格，其可以作为初始单层网格802提供。
图9图示了可以由系统100生成并由系统100使用以生成最终单层网格的示例性初始单层网格。图9示出了代表右肺的两个裂隙的第一初始单层网格902和第二初始单层网格904，以及代表左肺的裂隙的第三初始单层网格906。初始单层网格902、904、906的表示可以由系统100以任何合适的方式生成，例如通过使用移动立方体算法或任何其他合适的计算机图形算法或技术，以从诸如过零图800的信息生成网格。
在一些示例中，初始单层网格902、904、906可以包括可以由网格细化模块细化的各种不准确性。例如，第一初始单层网格902显示锯齿状边缘908，其可能是肺裂隙的典型边缘的不确定表示。为了细化锯齿状边缘908，平滑模块可以使用任何合适的算法或技术来平滑锯齿状边缘908。例如，平滑模块可以对锯齿状边缘908上的点进行平均、内插等以生成更平滑的边缘，该更平滑的边缘可以是更准确的肺裂隙的表示。附加地或可替代地，剪裁模块可以使用右肺的边界来剪裁或对准锯齿状边缘908，这也可以是肺裂隙的更准确表示(因为肺裂隙的部分通常可以附接到肺的内表面)。如本文所描述的，其他这样的不准确性可以由网格细化模块细化。
图10图示了用于生成单层网格的示例性细化过程。图10示出了两个示例性初始单层网格，代表右肺的两个裂隙的第一初始单层网格1002和第二初始单层网格1004。类似于初始单层网格902和904，初始单层网格1002和1004可以由系统100以任何合适的方式生成，例如通过使用移动立方体算法或任何其他合适的计算机图形算法或技术，以从诸如过零图800的信息生成网格。
第二初始单层网格1004显示了卷曲边缘1006的示例性不准确性。卷曲边缘1006可能是裂隙的不准确表示，因为裂隙通常可能没有这样的边缘。作为用于生成初始单层网格的算法的副产品，可能会生成诸如卷曲边缘1006的不准确性。例如，卷曲边缘1006可以是应用于舌网格的符号距离函数的代表彼此靠近的裂隙部分的副产品。
网格细化模块(例如卷曲边缘模块512)可以细化第二初始单层网格1004以去除卷曲边缘1006。网格细化模块可以使用裂隙的典型结构(例如，不具有卷曲边缘)，以及对用于生成初始单层网格1002、1004的算法的副产品的理解以识别和去除不准确性(例如卷曲边缘1006)。网格细化模块还可以使用概率图(例如舌网格)和/或解剖结构(例如，肺)的形状和/或结构以去除卷曲边缘1006，其中初始单层网格1002、1004根据该概率图生成。例如，网格细化模块可以将第二初始单层网格1002与概率图进行比较以检测与概率图不准确对准的部分(例如，延伸超出概率图的部分等)并去除这些部分。
图11和图12图示了可以由系统100生成的示例性单层网格。图11示出了具有代表患者肺裂隙的示例性单层网格的图像切片1100。图像切片1100示出了患者的一对肺1102(显示为右肺1102-R和左肺1102-L)的3D模型的二维(2D)切片。图像切片1100还示出了代表右肺1102-R中的两个裂隙的第一单层网格1104和第二单层网格1106。图像切片1100还示出了代表左肺1102-L中的裂隙的第三单层网格1108。单层网格1104、1106、1108可以由系统100以任何合适的方式生成，例如通过基于候选点的概率图生成初始单层网格并细化初始单层网格(如本文所描述的)。
比较图像切片1100与图6的图像切片600，单层网格1104、1106、1108可以提供比概率图604、606、608提供的舌网格更准确的肺裂隙表示。正如外科医生和外科手术团队成员可能期望单层解剖特征(例如裂隙)的单层表示，单层网格1104、1106、1108可以更准确地显示裂隙的实际位置，并提供更直观的表示。
图12示出了包括单层网格(诸如第一单层网格1104、第二单层网格1106和第三单层网格1108)的3D可视化1200的透视图。3D可视化1200还显示了患者的气道结构1202。
在一些示例中，3D可视化1200可以是交互式可视化，其允许用户查看患者肺和裂隙的不同方面。例如，用户可以与3D可视化1200交互以移动、旋转、缩放或以其他方式操纵3D可视化1200以从不同角度和视点查看肺、裂隙、气道和其他结构和特征。附加地或可替代地，用户可以与3D可视化1200交互以隐藏、展示、改变诸如裂隙、气道、肺结构(例如胸膜)、血管等不同结构和/或特征的不透明度。例如，虽然图12不透明地显示了单层网格1104、1106和1108，使得气道结构1202在下面不可见，但3D可视化1200可以被操纵以部分或完全半透明地、勾勒地或以使得气道结构1202也可以是可见的或仅可见的任何其他合适的方式等来显示单层网格1104、1106、1108。例如，图13示出了具有相同元素但单层网格1104、1106和1108的更半透明表示的3D可视化1300。
虽然本文描述的某些示例涉及检测和表示肺裂隙，但处理系统100可以被配置为检测和表示患者解剖结构中所包括的任何合适的单层解剖特征(例如，单层膜、韧带等)。
在一些示例中，系统100还可以应用检测过程来生成诸如气道结构1202的解剖特征的表示。例如，系统100可以应用第一检测过程来检测非单层解剖特征(例如，气道、血管等)和第二检测过程(例如，不同于第一检测过程)来检测单层解剖特征(例如，肺裂隙)。示例第二检测过程可以包括上述过程、技术和算法。本文描述了示例第一检测过程。
图14图示了用于使用可以由系统100生成的单层网格来生成解剖结构的可视化的示例性配置1400。配置1400包括访问解剖结构的3D模型302并生成代表解剖结构的3D可视化1410的模块。配置1400可以由处理系统100和/或计算机辅助外科手术系统、外科手术规划系统或其他计算机系统的任何合适的部件来实现。
如图所示，配置1400包括访问解剖结构的3D模型302的第一检测过程模块1402和第二检测过程模块1404。如上所描述的，3D模型302可以基于术前图像生成，例如CT扫描、MRI扫描、X射线图像等。第一检测过程模块1402可以分析3D模型302以检测第一类解剖特征(例如非单层解剖特征1406)。第一检测过程模块1402可以以任何合适的方式检测非单层解剖特征1406，例如利用应用于3D模型302的分段过程或任何其他这样的合适的过程、技术和/或算法。
第二检测过程模块1404可以分析3D模型302以检测第二类解剖特征(例如单层解剖特征1408)。第二检测过程模块1404可以使用本文所描述的任何过程、技术和/或算法来检测单层解剖特征1408。
系统100可以访问和使用代表非单层解剖特征1406和单层解剖特征1408的数据来生成解剖结构的3D可视化1410，其中3D可视化1410可以包括非单层解剖特征1406的表示和单层解剖特征1408的表示。例如，3D可视化1410可以包括图12中所示的3D可视化1200并且图示了示例性3D可视化，该示例性3D可视化包括解剖结构的非单层解剖特征的表示(例如，气道结构1202的表示)和单层解剖特征的表示(例如，代表肺裂隙的单层网格1104、1106和1108)两者。系统100可以以任何合适的方式使用检测到的特征生成3D可视化1410，例如通过使用移动立方体或任何其他合适的体绘制过程、技术和/或算法。
图15图示了用于使用可以由系统100生成的单层网格来生成解剖结构的可视化的示例性配置1500。配置1500包括生成代表解剖结构的3D可视化1504的模块。配置1500可以由处理系统100和/或计算机辅助外科手术系统、外科手术规划系统或其他计算机系统的任何合适的部件来实现。
如图所示，配置1500包括生成解剖结构的3D模型302的第一检测过程模块1502。如上所描述的，3D模型302可以基于术前图像生成，例如CT扫描、MRI扫描、X射线图像等。第一检测过程模块1502可以基于术前图像使用任何合适的技术和/或算法(例如上述分段和体绘制技术或任何其他合适的技术和/或算法)生成3D模型302。
配置1500还包括第二检测过程模块1404。如在配置1400中，第二检测过程模块1404可以分析3D模型302以检测单层解剖特征1408。第二检测过程模块1404可以使用本文所描述的任何过程、技术和/或算法来检测单层解剖特征1408。
系统100可以访问和使用代表3D模型302和单层解剖特征1408的数据来生成解剖结构的3D可视化1504，其中3D可视化1504可以包括解剖结构的表示和单层解剖特征1408的表示。系统100可以以任何合适的方式使用检测到的特征生成3D可视化1504，例如通过使用移动立方体或任何其他合适的体绘制过程、技术和/或算法。
在一些示例中，结合配置1400和配置1500的方面，系统100还可以将另一个第一检测过程应用于3D模型302以另外检测非单层解剖特征。在其他情况下，系统100可以应用第一检测过程来生成3D模型，应用第二检测过程来检测单层解剖特征以及应用第三检测过程(例如，不同于第一检测过程和第二检测过程)来检测非单层解剖特征。
在一些示例中，处理系统100可以由执行或用于执行外科手术程序的外科手术系统的一个或多个部件来实现或通信地连接到该一个或多个部件。外科手术程序可以包括对患者使用手动和/或器械技术以调查或治疗患者的身体状况的任何程序。外科手术系统可以使用由处理系统100生成的信息，例如与外科手术程序相关联的解剖特征的检测和/或表示(例如，用于规划、执行、分析和/或外科手术程序的其他方面)。例如，外科手术系统可以被配置为检测解剖结构的解剖特征并将其表示给外科手术系统的一个或多个用户。外科手术系统的用户可以将检测到的解剖特征的表示用于外科手术程序的各个方面。例如，使用上述的肺裂隙示例，用户可以使用检测到的解剖特征的表示来规划外科手术器械要横穿的潜在路径以获得肺结节的活检，其中潜在路径避开检测到的裂隙。另外地或可替代地，外科手术系统可以被配置为检测解剖特征并且使用解剖特征的检测来确定外科手术程序的方面。例如，使用上述的肺裂隙示例，外科手术系统可以使用裂隙的检测来确定外科手术器械要横穿的潜在路径以获得肺结节的活检，其中潜在路径避开检测到的裂隙。
由处理系统100生成和输出的数据(例如，代表单层网格的数据，该单层网格表示代表单层解剖特征)可以以任何合适的方式由任何适当配置的计算机辅助外科手术系统(例如遥控外科手术系统、传感器引导的外科手术系统(例如，视觉引导的外科手术系统)等)访问和/或使用。例如，由处理系统100生成的数据可以由被配置用于微创外科手术程序的计算机辅助外科手术系统使用。例如，由处理系统100生成的数据可以由计算机辅助外科手术系统在支气管镜程序(例如，肺结节的活组织检查)的执行中使用，例如以规划或促进由外科手术器械(例如，遥控导管)横穿以到达具有肺的特定位置的潜在路径的规划。可以使用由处理系统100生成的数据的计算机辅助外科手术系统的示例包括但不限于由直观外科手术操作公司(Intuitive Surgical Operations，Inc.)提供的
Figure BDA0003473064920000153
系统和DA
Figure BDA0003473064920000154
系统。
在一些示例中，可以根据本文所描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算设备的处理器执行时，这些指令可以指导处理器和/或计算设备执行一个或多个操作，包括本文所描述的一个或多个操作。可以使用多种已知的计算机可读介质中的任一种来存储和/或传输这样的指令。这种存储计算机可读指令的非暂时性计算机可读介质可以由外科手术系统的一个或多个部件实现。
本文所指的非暂时性计算机可读介质可以包括参与提供可以由计算设备(例如，由计算机设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“RAM”)以及光盘(例如，压缩盘、数字视频盘、蓝光光盘等)。示例性易失性存储介质包括但不限于RAM(例如，动态RAM)。
在某些实施例中，本文所描述的系统、部件和/或过程中的一个或多个可以由一个或多个适当配置的计算设备实现和/或执行。为此，上述系统和/或部件中的一个或多个可以包括任何计算机硬件和/或体现在被配置为执行本文所描述的一个或多个过程的至少一个非暂时性计算机可读介质上的计算机实现的指令(例如，软件)或由其实现。特别地，系统部件可以在一个物理计算设备上实现或者可以在一个以上的物理计算设备上实现。因此，系统部件可以包括任意数量的计算设备，并且可以采用若干计算机操作系统中的任一种。
在某些实施例中，本文所描述的一个或多个过程可以至少部分地实现为体现在非暂时性计算机可读介质中并且可由一个或多个计算设备执行的指令。一般而言，处理器(例如，微处理器)从非暂时性计算机可读介质(例如，存储器等)接收指令，并执行那些指令，从而执行一个或多个过程(包括本文所描述的一个或多个过程)。可以使用多种已知的计算机可读介质中的任一种来存储和/或传输这样的指令。
计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性介质。这种介质可以采用多种形式，包括但不限于非易失性介质和/或易失性介质。非易失性介质可以包括例如光盘或磁盘和其他持久性存储器。易失性介质可以包括例如动态随机存取存储器(“DRAM”)，其通常构成主存储器。计算机可读介质的常见形式包括例如磁盘、硬盘、磁带、任何其他磁介质、光盘只读存储器(“CD-ROM”)、数字视频盘(“DVD”)、任何其他光学介质、随机存取存储器(“RAM”)、可编程只读存储器(“PROM”)、电可擦可编程只读存储器(“EPROM”)、FLASH-EEPROM、任何其他存储芯片或盒式存储器，或计算机从其可以读取的任何其他有形介质。
图16图示了示例性计算设备1600，该计算设备1600可以被具体地配置为执行本文所描述的一个或多个过程。如图16所示，计算设备1600可以包括经由通信基础设施1610通信地连接的通信接口1602、处理器1604、存储设备1606和输入/输出(“I/O”)模块1608。虽然示例性计算设备1600在图16中示出，但图16中所图示的部件并非旨在进行限制。在其他实施例中可以使用附加的或可替代的部件。现在将更详细地描述图16所示的计算设备1600的部件。
通信接口1602可以被配置为与一个或多个计算设备通信。通信接口1602的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
处理器1604通常表示能够处理数据或解释、执行和/或指导本文所描述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器1604可以根据诸如可以被存储在存储设备1606或另一计算机可读介质中的计算机可执行指令1612(例如，一个或多个应用程序)来指导操作的执行。
存储设备1606可以包括一个或多个数据存储介质、设备或配置并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1606可以包括但不限于硬盘驱动器、网络驱动器、闪存驱动器、磁盘、光盘、RAM、动态RAM、其他非易失性和/或易失性数据存储单元，或其组合或子组合。电子数据(包括本文所描述的数据)可以临时和/或永久存储在存储设备1606中。例如，表示被配置为引导处理器1604执行本文所描述的任何操作的可执行指令1612的数据可以被存储在存储设备1606内。在一些示例中，数据可以被安排在驻留在存储设备1606内的一个或多个数据库中。在某些实施方式中，指令1612可以包括处理系统100的指令106，处理器1604可以包括或实现处理设施104，并且存储设备1606可以包括或实现存储设施102。
I/O模块1608可以包括一个或多个I/O模块，其被配置为接收用户输入并提供用户输出。一个或多个I/O模块可以用于接收单个虚拟现实体验的输入。I/O模块1608可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1608可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。
I/O模块1608可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，I/O模块1608被配置为向显示器提供图形数据以呈现给用户。图形数据可以表示一个或多个图形用户界面和/或任何其他图形内容，以服务于特定实施方式。
显示器可以被配置为以任何合适的方式显示解剖结构的表示。解剖结构的所显示的表示可以代表解剖结构的一个或多个特征，例如单层解剖结构和/或非单层解剖结构。显示器可以进一步被配置为与解剖结构的表示、解剖结构中外科手术器械要横穿的潜在路径的表示一起显示。潜在路径的表示可以描绘潜在路径避开解剖结构的一个或多个解剖特征，例如单层解剖特征(例如，通过不接触、交叉或进入单层解剖特征的接近阈值内)。潜在路径的表示可以附加地或可替代地描绘潜在路径的至少一部分在解剖结构的解剖特征内，例如非单层解剖特征。
在某些示例中，显示器可以呈现图形用户界面，其包括本文所描述的视觉表示中的一个或多个。例如，图形用户界面可以呈现解剖结构的表示、解剖结构的单层解剖特征和/或解剖结构的非单层解剖特征的表示。单层解剖特征的表示可以被呈现为被解剖结构中外科手术器械要横穿的潜在路径避开的特征。非单层解剖特征的表示可以被呈现为被解剖结构中外科手术器械要横穿的潜在路径避开的特征，或者被呈现为解剖结构中外科手术器械要横穿的潜在路径的至少一部分的潜在通路。
在某些示例中，处理器1604可以被配置为通过图形用户界面接收用户输入。用户输入可以定义解剖结构中外科手术器械要横穿的潜在路径。例如，用户输入可以创建和/或修改解剖结构中外科手术器械要横穿的潜在路径。经定义的潜在路径的表示可以被显示在图形用户界面中并且可以有助于规划要对患者执行的医疗程序。
计算设备1600可以由计算机辅助外科手术系统实现或通信地连接到计算机辅助外科手术系统。作为示例，计算设备1600可以包括计算系统或由计算系统实现，例如可以通信地耦接到计算机辅助外科手术系统的外科手术程序规划计算机。作为另一个示例，计算设备1600可以集成在计算机辅助外科手术系统内。
在前面的描述中，已经参考附图描述了各种示例性实施例。然而，明显的是，可以对其进行各种修改和改变，并且可以实施附加的实施例，而不脱离所附权利要求中阐述的本发明的范围。例如，本文描述的一个实施例的某些特征可以与本文描述的另一个实施例的特征组合或替代本文描述的另一个实施例的特征。因此，描述和附图被认为是说明性的而非限制性的。

Claims (20)

1.一种系统，其包括：
存储器，其存储指令；和
处理器，其通信地耦接到所述存储器并被配置为执行所述指令以：
访问解剖结构的三维模型即3D模型；和
将检测过程应用于所述3D模型以检测所述解剖结构中的单层解剖特征，所述检测过程包括：
从所述3D模型中生成所述单层解剖特征的候选点的概率图；和
基于所述候选点的概率图，生成代表所述单层解剖特征的单层网格。
2.根据权利要求1所述的系统，其中生成代表所述单层解剖特征的所述单层网格包括：
将所述候选点缩减为候选点的子集；
对所述候选点的子集应用符号距离变换以生成符号距离图；和
连接所述符号距离图中的过零点以形成所述单层网格。
3.根据权利要求1所述的系统，其中生成代表所述单层解剖特征的所述单层网格包括：
基于所述概率图生成初始单层网格；和
基于所述初始单层网格生成细化单层网格。
4.根据权利要求3所述的系统，其中生成所述细化单层网格包括基于所述解剖特征的属性细化所述初始单层网格。
5.根据权利要求3所述的系统，其中生成所述细化单层网格包括以下项中的至少一项：
平滑所述初始单层网格；
填充所述初始单层网格中的孔；或者
基于所述解剖结构的所述3D模型，剪裁所述初始单层网格。
6.根据权利要求1所述的系统，其中所述单层解剖特征包括所述解剖结构的裂隙。
7.根据权利要求1所述的系统，其中所述处理器进一步被配置为执行所述指令以将不同于所述检测过程的附加检测过程应用于所述3D模型以检测所述解剖结构中的非单层解剖特征。
8.根据权利要求7所述的系统，其中所述附加检测过程包括分割过程以检测所述非单层解剖特征。
9.根据权利要求7所述的系统，其中所述非单层解剖结构包括一个或多个血管。
10.根据权利要求7所述的系统，其中所述非单层解剖结构包括一个或多个气道。
11.根据权利要求1所述的系统，其中所述处理器进一步被配置为执行所述指令以基于所述3D模型和在所述解剖结构中检测到的单层解剖特征来提供所述解剖结构的视觉表示。
12.一种系统，其包括：
处理器，其被配置为：
访问解剖结构的三维模型即3D模型；
将第一检测过程应用于所述3D模型以检测所述解剖结构中的单层解剖特征；
将不同于所述第一检测过程的第二检测过程应用于所述3D模型以检测所述解剖结构中的非单层解剖特征；和
基于所述3D模型、检测到的单层解剖特征和检测到的非单层解剖特征提供所述解剖结构的表示；和
显示器，其通信地耦接到所述处理器并且被配置为显示所述解剖结构的所述表示和所述解剖结构中外科手术器械要横穿的潜在路径的表示。
13.根据权利要求12所述的系统，其中：
所述解剖结构的所述表示代表所述检测到的单层解剖特征；和
所述潜在路径避开所述检测到的单层解剖特征。
14.根据权利要求12所述的系统，其中：
所述解剖结构的所述表示代表所述检测到的非单层解剖特征；和
所述潜在路径的至少一部分在所述检测到的非单层解剖特征内。
15.根据权利要求12所述的系统，其中：
所述单层解剖特征包括肺裂隙；和
所述非单层解剖特征包括气道。
16.根据权利要求12所述的系统，其中所述解剖结构中所述外科手术器械要横穿的所述路径的所述表示代表所述外科手术器械要横穿以获得肺结节的活组织检查的路径。
17.根据权利要求12所述的系统，其中所述处理器被配置为基于所述3D模型、所述检测到的单层解剖特征和所述检测到的非单层解剖特征来生成所述解剖结构中所述外科手术器械要横穿的所述潜在路径的所述表示，所述潜在路径避开所述检测到的单层解剖特征。
18.根据权利要求12所述的系统，其中：
所述显示器被配置为在图形用户界面中显示所述解剖结构的所述表示；和
所述处理器被配置为通过所述图形用户界面接收定义所述解剖结构中所述外科手术器械要横穿的所述潜在路径的用户输入。
19.根据权利要求18所述的系统，其中所述图形用户界面呈现所述解剖结构中所述外科手术器械要横穿的所述潜在路径要避开的所述单层解剖特征的表示。
20.根据权利要求18所述的系统，其中所述图形用户界面呈现作为所述解剖结构中所述外科手术器械要横穿的所述潜在路径的至少一部分的潜在通路的所述非单层解剖特征的表示。
CN202080051727.6A 2019-06-11 2020-06-09 检测和表示解剖结构的解剖特征 Pending CN114127781A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962860196P 2019-06-11 2019-06-11
US62/860,196 2019-06-11
PCT/US2020/036854 WO2020251958A1 (en) 2019-06-11 2020-06-09 Detecting and representing anatomical features of an anatomical structure

Publications (1)

Publication Number Publication Date
CN114127781A true CN114127781A (zh) 2022-03-01

Family

ID=71899949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080051727.6A Pending CN114127781A (zh) 2019-06-11 2020-06-09 检测和表示解剖结构的解剖特征

Country Status (3)

Country Link
US (1) US12067678B2 (zh)
CN (1) CN114127781A (zh)
WO (1) WO2020251958A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230054641A1 (en) * 2021-08-20 2023-02-23 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing method
WO2023056188A1 (en) 2021-09-28 2023-04-06 Intuitive Surgical Operations, Inc. Systems and methods for target nodule identification

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781557B2 (en) * 1999-08-11 2014-07-15 Osteoplastics, Llc Producing a three dimensional model of an implant
CA2405772A1 (en) * 2000-04-07 2001-10-18 Daniel Fritsch Systems and methods for tubular object processing
GB0521640D0 (en) * 2005-10-24 2005-11-30 Ccbr As Automatic quantification of a pathology indicating measure from cartilage scan data
JP5801379B2 (ja) * 2010-04-30 2015-10-28 ヴィユーコンプ インクVucomp, Inc. 確率密度関数推定器
US9042620B2 (en) * 2011-03-10 2015-05-26 Siemens Corporation Method and system for multi-organ segmentation using learning-based segmentation and level set optimization
EP2916738B1 (en) * 2012-09-13 2018-07-11 The Regents of the University of California Lung, lobe, and fissure imaging systems and methods
JP6143937B2 (ja) * 2013-03-12 2017-06-07 セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド 非接触マッピングのシステム及び方法
US10181191B2 (en) 2014-12-02 2019-01-15 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for identifying spine or bone regions in computed tomography image sequence
EP3410942B1 (en) * 2016-02-05 2020-05-27 Pulmonx Corporation Methods, systems, and devices for analyzing lung imaging data
WO2020123702A1 (en) * 2018-12-12 2020-06-18 Tornier, Inc. Bone density modeling and orthopedic surgical planning system
WO2020205245A1 (en) * 2019-03-29 2020-10-08 Tornier, Inc. Closed surface fitting for segmentation of orthopedic medical image data

Also Published As

Publication number Publication date
US12067678B2 (en) 2024-08-20
WO2020251958A1 (en) 2020-12-17
US20220254104A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
US10878573B2 (en) System and method for segmentation of lung
US10561466B2 (en) Automated planning systems for pedicle screw placement and related methods
US11744643B2 (en) Systems and methods facilitating pre-operative prediction of post-operative tissue function
US20190021677A1 (en) Methods and systems for classification and assessment using machine learning
JP6363800B2 (ja) 脊椎フィーチャーの識別
JP6129310B2 (ja) 画像処理装置および画像処理方法
US10460441B2 (en) Trachea marking
RU2711140C2 (ru) Редактирование медицинских изображений
US20190244363A1 (en) Segmentation of anatomic structures
Schumann et al. Visualization support for the planning of hepatic needle placement
US12067678B2 (en) Detecting and representing anatomical features of an anatomical structure
EP3855392A1 (en) System and method for linking a segmentation graph to volumetric data
US20230070249A1 (en) Medical imaging-based method and device for diagnostic information processing, and storage medium
JP7457011B2 (ja) 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法
Tan et al. Computer assisted system for precise lung surgery based on medical image computing and mixed reality
CN116912098A (zh) 用于介入手术医学影像处理方法、系统、装置及存储介质
CN115409835B (zh) 三维成像方法、装置、电子设备、系统和可读存储介质
EP4439476A1 (en) Method and system for surgical planning
WO2020161956A1 (ja) 開頭術シミュレーション装置、方法およびプログラム
Spinczyk Archiving and visualization of the patient’s anatomical model using B-spline curve and surface representation
CN117751384A (zh) 交互式3d分割

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination