CN108369736A - 用于根据2d/2.5d术中图像数据计算切除的组织体积的方法和系统 - Google Patents

用于根据2d/2.5d术中图像数据计算切除的组织体积的方法和系统 Download PDF

Info

Publication number
CN108369736A
CN108369736A CN201680073222.3A CN201680073222A CN108369736A CN 108369736 A CN108369736 A CN 108369736A CN 201680073222 A CN201680073222 A CN 201680073222A CN 108369736 A CN108369736 A CN 108369736A
Authority
CN
China
Prior art keywords
tissue
excision
image
arts
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680073222.3A
Other languages
English (en)
Other versions
CN108369736B (zh
Inventor
阿里·卡门
斯特凡·克卢克纳
托马斯·法伊弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN108369736A publication Critical patent/CN108369736A/zh
Application granted granted Critical
Publication of CN108369736B publication Critical patent/CN108369736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于根据术中图像流计算切除的组织的体积的方法和系统。接收患者的切除的组织的2D/2.5D术中图像流。相对于切除的组织以不同角度采集该流中的多个2D/2.5术中图像。在每个2D/2.5D术中图像中分割切除的组织的表面。拼接分割的切除的组织的表面以产生切除的组织的表面的3D点云表示。根据切除的组织的表面的3D点云表示产生切除的组织的表面的3D网格表示。根据切除的组织的表面的3D网格表示来计算切除的组织的体积。

Description

用于根据2D/2.5D术中图像数据计算切除的组织体积的方法 和系统
背景技术
本发明涉及估计手术治疗中切除的组织的体积，并且更具体地涉及根据2D/2.5D术中图像数据估计切除的组织的体积。
手术治疗通常涉及从患者体内切除和移除组织，尤其是移除癌症患者的肿瘤。在这种情况下，准确知道要去除的组织的范围至关重要。例如，神经外科手术中的患者存活结果与切除后的残余肿瘤体积相关，肝功能与肝脏手术中的肿瘤切除后剩余的存活肝组织相关，并且部分肾切除术后的肾功能与所保留的肾体积有关。对手术目标的体积测量通常在术前图像(诸如计算机断层扫描(CT)图像或核磁共振(MR)图像)上做出的，这有助于指导临床决策制定。对于大多数手术，对应的体积测量通常不在术中进行，这有可能是因为执行这种体积测量会对手术工作流程造成太大干扰。
发明内容
本发明提供了一种用于使用术中图像数据、诸如腹腔镜或内窥镜图像流来计算切除的组织的体积的方法和系统。本发明的实施例通过将手术治疗期间移除的切除的组织的2D/2.5D术中图像的序列拼接在一起来创建感兴趣的组织的3D模型。重建模型表示用于计算切除的组织的体积的组织几何形状的物理测量值。
在本发明的一个实施例中，接收已经从患者的周围组织中移除的患者的切除的组织的2D/2.5D术中图像流。2D/2.5D术中图像流包括相对于切除的组织以不同角度采集的多个2D/2.5图像。在多个2D/2.5D术中图像中的每一个中分割切除的组织的表面。分割的切除的组织的表面被拼接以产生切除的组织的表面的3D点云表示。根据切除的组织的表面的3D点云表示产生切除的组织的表面的3D网格表示。根据切除的组织的表面的3D网格表示计算切除的组织的体积。
通过参考以下详细描述和附图，本发明的这些和其它优点对于本领域一般技术人员将是显而易见的。
附图说明
图1示出了根据本发明的实施例的用于计算切除的组织的体积的方法；
图2示出了图1的方法步骤的示例性结果；并且
图3是能够实施本发明的计算机的高层级框图。
具体实施方式
本发明涉及一种用于根据术中图像数据、诸如腹腔镜或内窥镜图像数据来计算手术治疗中的切除的组织的体积的方法和系统。本发明的实施例在本文被描述为给出对用于根据术中图像数据计算切除的组织的体积的方法的直观理解。数字图像通常由一个或多个对象(或形状)的数字表示组成。本文通常在识别和操纵对象方面描述对象的数字表示。这种操纵是在计算机系统的存储器或其它电路/硬件中完成的虚拟操纵。因此，应该理解的是，可使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
越来越多的微创外科手术正在利用相机来执行，诸如内窥镜或腹腔镜。本发明的实施例使用这种术中成像来采集在外科手术期间移除的切除的组织的连续表面测量值。使用2D/2.5D深度数据，将来自多个术中图像(例如，内窥镜或腹腔镜视频的多个帧)的表面测量值组合以产生切除的组织的3D模型。3D模型表示切除的组织的3D几何形状并且提供切除的组织体积的测量值。本文描述的方法可用交互式响应时间来实施，并且因此可在外科手术期间实时或接近实时地执行。应当理解的是，术语“腹腔镜图像”和“内窥镜图像”在本文中可互换使用，并且术语“术中图像”是指在外科手术或介入期间采集的任何医学图像数据，包括腹腔镜图像和内窥镜图像。
图1说明了根据本发明的实施例的用于计算切除的组织的体积的方法。图1的方法可用于根据术中图像数据在计算手术治疗中切除的组织的体积。图1的方法将术中图像数据转换以产生切除的组织的3D模型，并且根据所产生的体积计算切除的组织的体积。
在步骤102处，组织在手术治疗中被切除。切除是指移除器官的一部分或其它身体结构的一部分。例如，可执行手术治疗以切除位于软组织器官(诸如脑、肝脏、肺等)中的肿瘤。因此，在示例性实施方式中，切除的组织对应于已经从患者体内的器官移除的肿瘤的组织。图2说明了图1的方法步骤的示例性结果。如图2的图像(a)中所示，切除的组织202是从脑200中移除的肿瘤。
在步骤104处，接收到了切除的组织的2D/2.5D术中图像流。术中图像流也可被称为视频，其中视频的每一帧均是术中图像。例如，术中图像流可为经由腹腔镜采集的腹腔镜图像流、经由内窥镜采集的内窥镜图像流或者使用手术显微镜采集的术中图像流。根据有利的实施例，术中图像流的每一帧均是2D/2.5D图像。即，术中图像序列的每一帧包括提供用于多个像素中的每一个的2D图像外观信息的2D图像通道，以及提供对应于2D图像通道中的多个像素中的每一个的深度信息的2.5D深度通道。例如，术中图像序列的每一帧可为RGB-D(红、绿、蓝+深度)图像，其包括RGB图像和深度图像(深度图)，在RGB图像中，每个像素具有RGB值，在深度图像中，每个像素的值对应于所考虑像素距图像采集装置(例如，腹腔镜、内窥镜或手术显微镜)的相机中心的深度或距离。用于采集术中图像的术中图像采集装置(例如腹腔镜、内窥镜或手术显微镜)可配备有相机或摄像机以采集每个时间帧的RGB图像以及飞行时间或者配备有结构化光传感器以采集每个时间帧的深度信息。
通过将术中图像采集装置瞄准切除的组织并且改变术中图像采集装置相对于切除的组织的表面的角度以使得从不同角度以不同的术中图像(帧)对切除的组织可视化来采集术中图像流。在有利的实施例中，术中图像流对应于由术中图像采集装置对完整的切除的组织的表面的扫描。一旦切除的组织从患者体内移除，或者可通过保持切除的组织于固定的位置并且相对于切除的组织旋转术中图像采集装置，或者通过保持术中图像采集装置于固定位置并且相对于术中图像采集装置旋转切除的组织来采集术中图像流。例如，如图2的图像(b)中所示，将切除的组织202从脑200中移除，保持在术中图像采集装置204的视场中，并且将其相对于术中图像采集装置204进行旋转。在一个可能的实施方式中，切除的组织或术中图像采集装置的旋转可由用户(例如，医师)手动执行。在这种情况下，用户可使用镊子或某个其它手术工具保持切除的组织，该手术工具尽可能少地阻碍对切除的组织的观察。在另一个可能的实施方式中，切除的组织或术中图像采集装置的旋转可在机器人辅助下执行。例如，一旦将切除的组织从患者体内移除，可将切除的组织放置在机械臂的端部处，该机械臂将切除的组织保持在术中图像采集装置的视场中。术中图像采集装置保留在固定位置，并且机械臂以预定速率旋转切除的组织。手术中图像流的帧可直接从图像采集装置接收。例如，在有利的实施例中，术中图像数据流的帧可在由术中图像采集装置采集它们时被实时地接收。或者，可通过加载存储在计算机系统的存储器或存储装置上的先前采集的切除的组织的术中图像来接收术中图像序列的帧。
在步骤106处，在2D/2.5D术中图像中，对切除的组织的表面进行分割。为了计算切除的组织的体积，切除的组织必须从术中图像中的场景的其余部分中分割出来。因此，可对每个2D/2.5术中图像(帧)执行二进制图像分割以区分切除的组织(前景)与术中图像的其余部分(背景)。
在第一实施例中，使用在2D/2.5D术中图像中捕获的深度值对每个术中图像中的切除的组织进行分割。在该实施例中，在采集术中图像期间，将切除的组织物理地从剩余组织上提起并且将其保持与其它结构在空间上分开。例如，可将切除的组织保持在剩余组织上方(例如，使用镊子或另一种手术工具，或在机械臂上)。因为该组织被从剩余组织中提起，所以存在可见的尖锐不连续性的情况下，切除的组织的表面在深度信息中与术中图像中的场景中的其余部分在几何上分开。这些不连续性用于在切除的组织与术中图像中的剩余组织之间执行自动图形-背景分割。在有利的实施例中，在图像收集期间这种自动分割方法假定该切除的组织在图像中心居中，并且随着距术中图像中心的距离的增加，通过搜索较大的深度不连续性来切割术中图像中的切除的组织的表面。例如，可使用基于距离和深度连续性的3D点流算法来提取每个术中图像中的切除的组织的表面。另外，基于机器学习的分类器技术可集成到自动切除的组织分割以将工具信息与切除的组织分开，从而改进体积估计。因为使用工具来保持切除的组织，所以该工具可具有与术中图像中的切除的组织类似的深度值。基于机器学习的分类器(例如，概率性增强树(PBT)分类器)可使用带注释的训练图像来训练，以基于从术中图像中的RGB和/或深度图像通道中提取的特征来检测工具。然后可自动地将检测到的工具从分割的切除的组织的表面中移除。
在第二实施例中，使用外观驱动分割基于均匀背景来对每个术中图像中的切除的组织进行分割。在该实施例中，术中图像是利用放置在具有均匀背景的表面上切除的组织来采集的，并且用于自动化组织分割的均匀背景是3D空间。2D/2.5D术中图像提供了多视图外观以及几何信息。先前的信息(诸如平坦背景的背景颜色和形状)被集成并且用于使术中图像中的二进制组织分割自动化。具体地，可使用各种公知的分割技术(诸如基于机器学习的分割、区域生长、图形切割等)基于对术中图像中的均匀背景和颜色(RGB)信息的先前的了解来实施分割。
在步骤108处，拼接分割的切除的组织的表面以产生完整的切除的组织的表面的3D点云表示。由于术中图像中的切除的组织分割的可用性(步骤106)，仅在3D空间中重建/缝合切除的组织。根据有利的实施方案，如下地执行3D重建(拼接)。首先，使用RGB图像数据来估计在单独的帧中的分割的切除的组织的表面之间的待估计的对应关系。使用RGB通道中的图像测量值比较单独的帧中的分割的切除的组织的表面，以估计具有分割的切除的组织的表面的重叠区域的对应帧。接下来，执行鲁棒姿态估计以估计单独的帧之间的相对姿态。可基于对应的图像测量值和/或基于对应的深度测量值来估计对应帧之间的相对姿态。然后，执行全局集束调整步骤以优化切除的组织的表面的3D结构。具体地，集束调整通过最小化在像素空间中或3D空间中定义的度量中的2D再投影误差，相对于2D图像中定义的误差度量来调整单独的帧之间的估计相对姿态的集合以及与帧相关联的原始相机姿态来优化切除的组织的最终几何结构，在该3D空间中，切除的组织的表面的对应3D点之间的3D距离被最小化。所估计的姿态与2.5D深度通道信息一起用于将2D/2.5D术中图像中的分割的切除的组织的表面拼接成切除的组织的一致的3D点云模型。图2的图像(c)示出了切除的组织202的3D点云表示206。
在步骤110处，根据切除的组织的表面的3D点云表示产生切除的组织的表面的3D网格表示。一旦使用拼接过程构造了表示对切除的组织的表面的描述的3D点云，3D点云则被转换为3D网格表示使得其体积可被计算。将网格技术应用于3D点云表示以产生切除的组织的表面的封闭的3D网格。例如，这样的网格划分技术可对3D点云执行三角化程序以将3D点云的点与光滑表面连接，并且然后用多边形(例如，四面体、六面体等)网格元素填充该表面。因为可见性信息对于每一个3D测量(即，相对于相机视图向量的3D点法线)是可用的，所以可将标准的公知的网格划分技术(诸如泊松三角化或移动立方体)应用于3D点云以产生光滑无缝的(封闭)3D网格。在示例性实施方式中，由于该技术保留了与自然结构的一致3D建模相关的光滑表面，所以使用泊松三角化来产生3D网格。取决于数据收集和分割策略，网格划分技术可利用诸如背景表面或一个或多个肿瘤形状先验等信息来提高为切除的组织产生的封闭3D网格表面的准确性。例如，可使用从术前成像数据(诸如患者的术前计算机断层扫描(CT)或磁共振(MR)图像)中提取的肿瘤形状先验来约束3D网格的构造。图2的图像(d)示出了切除的组织202的3D网格表示208。
在步骤112处，根据切除的组织的表面的3D网格表示估计切除的组织的体积。具体地，切除的组织的体积被计算为切除的组织的表面的3D网格表示的体积。在一个实施例中，在切除的组织的表面的3D网格表示是多边形网格的情况下，可通过在3D网格中的所有网格元素上对单独的多边形(例如四面体、六边形等)网格元素的体积进行积分来计算3D网格的体积。在另一个实施例中，因为3D网格表示是无缝(封闭)的表面网格，所以可使用散度定理算法来计算体积。在这种情况下，体积根据网格表面上的点的点列表被估计为：
其中i是指3D表面网格上的网格点，xi、yi和zi是点i的坐标，nxi、nyi和nzi是点i处的单位法向向量分量，Δai是点i处的差分表面积，并且kx、ky和kz是总和等于1的系数。系数kx、ky和kz被计算为点的总数的一部分，其中，这些点的梯度向量中的最大单位向量在系数下标的方向上。例如通过在计算机系统的显示装置上显示体积测量值(例如以cm3或任何其它体积单位表示)或者将体积测量值存储在计算机系统的存储装置或存储器中来输出切除图像的所计算的体积测量值。
在可能的实施例中，可基于术前医学成像数据(例如，CT或MR图像数据)来确定目标体积。例如，可在术前医学成像数据中检测待切除肿瘤，并且可基于术前医学图像数据估计肿瘤的体积。然后可将根据切除的组织的3D网格表示计算的体积测量值与目标体积进行比较，以确定切除是否成功移除了整个肿瘤。
如上所述，输出切除的组织的体积测量值。也可例如通过在显示装置上显示术中图像来输出在图1的步骤104中接收的术中图像。例如，术中图像流可作为视频在显示装置上输出。在图1的步骤106中由手术中图像的二进制分割产生的分割的切除的组织的表面、在图1的步骤108中产生的切除的组织的表面的3D点云表示和/或在图1的步骤110中产生的切除的组织的表面的3D网格表示也可例如通过在计算机系统的显示装置上显示这些步骤的结果来输出。
用于根据2D/2.5D术中图像数据来计算切除的组织的体积的上述方法可使用公知的计算机处理器、存储器单元、存储装置、计算机软件和其它部件在计算机上实施。图3中说明了这种计算机的高层级框图。计算机302包含处理器304，其通过执行定义这种操作的计算机程序指令来控制计算机302的整体操作。计算机程序指令可存储在存储装置312(例如，磁盘)中，并且在期望执行计算机程序指令时加载到存储器310中。因此，图1的方法的步骤可由存储在存储器310和/或存储装置312中的计算机程序指令来定义，并且由执行计算机程序指令的处理器304来控制。诸如腹腔镜、内窥镜或手术显微镜等术中图像采集装置320可连接到计算机302以将图像数据输入到计算机302。图像采集装置320和计算机302可通过网络进行无线通信。计算机302还包括一个或多个网络接口306，其用于经由网络与其它装置进行通信。计算机302还包括使得用户能够与计算机302(例如，显示器、键盘、鼠标、扬声器、按钮等)交互的其它输入/输出装置308。这样的输入/输出装置308可与计算机程序集合结合使用作为注释工具以注释从图像采集装置320接收到的体积。本领域技术人员将认识到，实际计算机的实施也可包含其它部件，并且图3是用于说明目的的这种计算机的一些部件的高层级表示。
前面的详细描述应被理解为在每个方面均是说明性和示例性的，而不是限制性的，并且本文公开的本发明的范围不是根据详细描述来确定，而是根据依据专利法允许的全部范围解译的权利要求来确定。应该理解的是，本文所示出和描述的实施例仅仅是对本发明原理的说明，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可实施各种修改。本领域技术人员可在不脱离本发明的范围和精神的情况下实施各种其它特征组合。

Claims (25)

1.一种用于根据术中图像流计算切除的组织的体积的方法，所述方法包括：
接收已经从患者的周围组织移除的所述患者的切除的组织的2D/2.5D术中图像流，其中，所述2D/2.5D术中图像流包括以相对于所述切除的组织的不同角度采集的多个2D/2.5术中图像；
在多个所述2D/2.5D术中图像中的每一个中分割切除的组织的表面；
拼接分割的所述切除的组织的表面以产生所述切除的组织的表面的3D点云表示；
根据所述切除的组织的表面的所述3D点云表示来产生所述切除的组织的表面的3D网格表示；以及
根据所述切除的组织的表面的所述3D网格表示来计算所述切除的组织的体积。
2.根据权利要求1所述的方法，其中，接收已经从患者的周围组织移除的所述患者的切除的组织的所述2D/2.5D术中图像流包括：
接收通过在静止的术中图像采集装置的视场中旋转所述切除的组织而采集的切除的图像的所述2D/2.5D术中图像流。
3.根据权利要求2所述的方法，其中，在采集所述2D/2.5D术中图像流期间，所述切除的组织由机械臂旋转。
4.根据权利要求1所述的方法，其中，接收已经从患者的周围组织中移除的所述患者的切除的组织的2D/2.5D术中图像流包括：
接收通过围绕所述切除的组织来旋转术中图像采集装置而采集的切除的图像的所述2D/2.5D术中图像流。
5.根据权利要求1所述的方法，其中，采集相对于所述周围组织在升高的位置的所述切除的组织的所述2D/2.5D术中图像流，并且在多个所述2D/2.5D术中图像中的每一个中分割所述切除的组织的表面包括：
基于多个所述2D/2.5D术中图像中的每一个的深度通道中的深度测量值的不连续性，在多个所述2D/2.5D术中图像中的每一个中分割所述切除的组织的表面。
6.根据权利要求5所述的方法，其中，在多个所述2D/2.5D术中图像中的每一个中分割切除的组织的表面进一步包括：
使用经训练的基于机器学习的分类器来检测将所述切除的组织保持在多个所述2D/2.5D术中图像中的每一个中的工具；以及
从多个所述2D/2.5D术中图像中的每一个中的分割的所述切除的组织的表面中移除检测到的所述工具。
7.根据权利要求1所述的方法，其中，采集在均匀背景上的所述切除的组织的所述2D/2.5D术中图像流，并且在多个所述2D/2.5D术中图像中的每一个中分割所述切除的组织的表面包括：
基于多个所述2D/2.5D术中图像中的每一个的图像通道中的均匀背景的颜色和颜色测量值，在多个所述2D/2.5D术中图像中的每一个中分割所述切除的组织的表面。
8.根据权利要求1所述的方法，其中，拼接分割的所述切除的组织的表面以产生所述切除的组织的表面的所述3D点云表示包括：
估计多个所述2D/2.5D术中图像中的多对分割的所述切除的组织的表面之间的对应关系；
基于估计的所述对应关系重建多个所述2D/2.5D术中图像中的分割的所述切除的组织的表面之间的相对3D姿态；以及
使用全局集束调整来调整分割的所述切除的组织的表面之间的所述相对3D姿态，以优化使用分割的所述切除的组织的表面之间的所述相对3D姿态产生的所述3D点云表示的3D结构。
9.根据权利要求1所述的方法，其中，根据所述切除的组织的表面的所述3D点云表示产生所述切除的组织的表面的所述3D网格表示包括：
通过使所述切除的组织的表面的所述3D点云表示中的点三角形化来产生光滑表面；以及
将多个多边形网格元素拟合到光滑表面上，从而得到封闭3D网格。
10.根据权利要求1所述的方法，其中，根据所述切除的组织的表面的所述3D点云表示产生所述切除的组织的表面的所述3D网格表示包括：
基于从所述患者的术前医学成像数据中提取的形状先验，产生受制于形状先验约束的所述切除的组织的表面的所述3D网格表示。
11.根据权利要求1所述的方法，其中，所述切除的组织的表面的所述3D网格表示是多边形网格，并且根据所述切除的组织的表面的所述3D网格表示来计算所述切除的组织的体积包括：
在所述切除的组织的表面的所述3D网格表示的所有多边形网格元素上，对单个所述多边形网格元素的体积进行积分。
12.根据权利要求1所述的方法，其中，根据所述切除的组织的表面的所述3D网格表示计算所述切除的组织的体积包括：
基于所述切除的组织的表面的所述3D网格表示的网格点的点列表使用散度定理算法来计算所述切除的组织的表面的所述3D网格表示的体积。
13.一种用于根据术中图像流计算切除的组织的体积的设备，包括：
用于接收已经从患者的周围组织移除的所述患者的切除的组织的2D/2.5D术中图像流的装置，其中，所述2D/2.5D术中图像流包括以相对于所述切除的组织的不同角度采集的多个2D/2.5术中图像；
用于在多个所述2D/2.5D术中图像中的每一个中分割切除的组织的表面的装置；
用于拼接分割的所述切除的组织的表面以产生所述切除的组织的表面的3D点云表示的装置；
用于根据所述切除的组织的表面的所述3D点云表示来产生所述切除的组织的表面的3D网格表示的装置；以及
用于根据所述切除的组织的表面的所述3D网格表示来计算所述切除的组织的体积的装置。
14.根据权利要求13所述的设备，其中，采集相对于所述周围组织在升高的位置的所述切除的组织的所述2D/2.5D术中图像流，并且用于在多个所述2D/2.5D术中图像中的每一个中分割切除的组织的表面的装置包括：
用于基于多个所述2D/2.5D术中图像中的每一个的深度通道中的深度测量值的不连续性在所述多个2D/2.5D术中图像中的每一个中分割所述切除的组织的表面的装置。
15.根据权利要求13所述的设备，其中，采集在均匀背景上的所述切除的组织的所述2D/2.5D术中图像流，并且用于在所述多个2D/2.5D术中图像中的每一个中分割所述切除的组织的表面的装置包括：
用于基于多个所述2D/2.5D术中图像中的每一个的图像通道中的所述均匀背景的颜色和颜色测量值在多个所述2D/2.5D术中图像中的每一个中分割所述切除的组织的表面的装置。
16.根据权利要求13所述的设备，其中，用于拼接所述分割的切除的组织的表面以产生所述切除的组织的表面的3D点云表示的装置包括：
用于估计多个所述2D/2.5D术中图像中的多对分割的所述切除的组织的表面之间的对应关系的装置；
用于基于估计的所述对应关系重建多个所述2D/2.5D术中图像中的分割的所述切除的组织的表面之间的相对3D姿态的装置；以及
用于使用全局集束调整来调整分割的所述切除的组织的表面之间的所述相对3D姿态以优化使用分割的所述切除的组织的表面之间的所述相对3D姿态产生的所述3D点云表示的3D结构的装置。
17.根据权利要求13所述的设备，其中，用于根据所述切除的组织的表面的所述3D网格表示来计算所述切除的组织的体积的装置包括：
用于估计所述切除的组织的表面的所述3D网格表示的体积的装置。
18.一种存储计算机程序指令的计算机可读介质，所述计算机程序指令用于根据术中图像流计算切除的组织的体积，所述计算机程序指令在由处理器执行时使所述处理器执行包括以下步骤的操作：
接收已经从患者的周围组织移除的所述患者的切除的组织的2D/2.5D术中图像流，其中，所述2D/2.5D术中图像流包括以相对于所述切除的组织的不同角度采集的多个2D/2.5术中图像；
在多个所述2D/2.5D术中图像中的每一个中分割切除的组织的表面；
拼接分割的所述切除的组织的表面以产生所述切除的组织的表面的3D点云表示；
根据所述切除的组织的表面的所述3D点云表示来产生所述切除的组织的表面的3D网格表示；以及
根据所述切除的组织的表面的所述3D网格表示来计算所述切除的组织的体积。
19.根据权利要求18所述的计算机可读介质，其中，采集相对于所述周围组织在升高的位置的所述切除的组织的所述2D/2.5D术中图像流，并且在多个所述2D/2.5D术中图像中的每一个中分割所述切除的组织的表面包括：
基于所述多个2D/2.5D术中图像中的每一个的深度通道中的深度测量值的不连续性，在所述多个2D/2.5D术中图像中的每一个中分割所述切除的组织的表面。
20.根据权利要求19所述的计算机可读介质，其中，在多个所述2D/2.5D术中图像中的每一个中分割切除的组织的表面进一步包括：
使用经训练的基于机器学习的分类器来检测将所述切除的组织保持在所述多个2D/2.5D术中图像中的每一个中的工具；以及
从多个所述2D/2.5D术中图像中的每一个中的分割的所述切除的组织的表面中移除检测到的所述工具。
21.根据权利要求18所述的计算机可读介质，其中，采集在均匀背景上的所述切除的组织的所述2D/2.5D术中图像流，并且在多个所述2D/2.5D术中图像中的每一个中分割所述切除的组织的表面包括：
基于多个所述2D/2.5D术中图像中的每一个的图像通道中的均匀背景的颜色和颜色测量值，在多个所述2D/2.5D术中图像中的每一个中分割所述切除的组织的表面。
22.根据权利要求18所述的计算机可读介质，其中，拼接分割的所述切除的组织的表面以产生所述切除的组织的表面的所述3D点云表示包括：
估计多个所述2D/2.5D术中图像中的多对分割的所述切除的组织的表面之间的对应关系；
基于估计的所述对应关系重建多个所述2D/2.5D术中图像中的分割的所述切除的组织的表面之间的相对3D姿态；以及
使用全局集束调整来调整分割的所述切除的组织的表面之间的所述相对3D姿态，以优化使用分割的所述切除的组织的表面之间的所述相对3D姿态产生的所述3D点云表示的3D结构。
23.根据权利要求18所述的计算机可读介质，其中，根据所述切除的组织的表面的所述3D点云表示产生所述切除的组织的表面的所述3D网格表示包括：
通过使所述切除的组织的表面的所述3D点云表示中的点三角形化来产生光滑表面；以及
将多个多边形网格元素拟合到光滑表面上，从而产生封闭3D网格。
24.根据权利要求18所述的计算机可读介质，其中，所述切除的组织的表面的所述3D网格表示是多边形网格，并且根据所述切除的组织的表面的所述3D网格表示来计算所述切除的组织的体积包括：
在所述切除的组织的表面的所述3D网格表示的所有多边形网格元素上，对单个所述多边形网格元素的体积进行积分。
25.根据权利要求18所述的计算机可读介质，其中，根据所述切除的组织的表面的所述3D网格表示来计算所述切除的组织的体积包括：
基于所述切除的组织的表面的所述3D网格表示的网格点的点列表使用散度定理算法来计算所述切除的组织的表面的所述3D网格表示的体积。
CN201680073222.3A 2015-10-14 2016-10-13 用于根据术中图像流计算切除的组织的体积的方法及设备 Active CN108369736B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/882,485 2015-10-14
US14/882,485 US10716457B2 (en) 2015-10-14 2015-10-14 Method and system for calculating resected tissue volume from 2D/2.5D intraoperative image data
PCT/US2016/056734 WO2017066378A1 (en) 2015-10-14 2016-10-13 Method and system for calculating resected tissue volume from 2d/2.5d intraoperative image data

Publications (2)

Publication Number Publication Date
CN108369736A true CN108369736A (zh) 2018-08-03
CN108369736B CN108369736B (zh) 2023-08-15

Family

ID=57208381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073222.3A Active CN108369736B (zh) 2015-10-14 2016-10-13 用于根据术中图像流计算切除的组织的体积的方法及设备

Country Status (4)

Country Link
US (1) US10716457B2 (zh)
EP (1) EP3362990A1 (zh)
CN (1) CN108369736B (zh)
WO (1) WO2017066378A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111513845A (zh) * 2019-02-04 2020-08-11 柯惠有限合伙公司 促进术后组织功能的术前预测的系统和方法
CN114820571A (zh) * 2022-05-21 2022-07-29 东北林业大学 一种基于dlpe算法的肺炎纤维化量化分析方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11026750B2 (en) * 2015-01-23 2021-06-08 Queen's University At Kingston Real-time surgical navigation
WO2017056775A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 プロジェクションマッピング装置
US10991070B2 (en) 2015-12-18 2021-04-27 OrthoGrid Systems, Inc Method of providing surgical guidance
US11386556B2 (en) 2015-12-18 2022-07-12 Orthogrid Systems Holdings, Llc Deformed grid based intra-operative system and method of use
US10380755B2 (en) * 2016-11-21 2019-08-13 University Of New Hampshire Whole object surface area and volume of partial-view 3-D models
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
EP3852645A4 (en) 2018-09-12 2022-08-24 Orthogrid Systems, SAS INTRAOPERATIVE ARTIFICIAL INTELLIGENCE SURGICAL GUIDANCE SYSTEM AND METHOD OF USE
US11540794B2 (en) 2018-09-12 2023-01-03 Orthogrid Systesm Holdings, LLC Artificial intelligence intra-operative surgical guidance system and method of use
US12026875B2 (en) * 2019-03-28 2024-07-02 Hoffmann-La Roche, Inc. Machine learning using distance-based similarity labels
DE102019208355A1 (de) 2019-06-07 2020-12-10 Siemens Healthcare Gmbh Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger
CN114514553A (zh) * 2019-10-04 2022-05-17 柯惠Lp公司 用于使用立体视觉和颜色变化放大来实现机器学习以进行微创机器人手术的系统和方法
WO2021126776A1 (en) * 2019-12-16 2021-06-24 Intuitive Surgical Operations, Inc. Systems and methods for determining a volume of resected tissue during a surgical procedure
US11875457B2 (en) * 2022-02-22 2024-01-16 Zebra Technologies Corporation 3D product reconstruction from multiple images collected at checkout lanes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102132320A (zh) * 2008-06-12 2011-07-20 弗兰克·塞巴斯蒂安·雷诺 图像处理，特别是医学图像处理的方法和设备
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20120307010A1 (en) * 2011-06-06 2012-12-06 Microsoft Corporation Object digitization
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback
CN103908258A (zh) * 2013-12-09 2014-07-09 天津天视科技有限公司 一种奶牛乳腺组织体积的测量方法
US20140330288A1 (en) * 2010-03-25 2014-11-06 Precision Automation And Robotics India Ltd. Articulating Arm for a Robotic Surgical Instrument System

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102132320A (zh) * 2008-06-12 2011-07-20 弗兰克·塞巴斯蒂安·雷诺 图像处理，特别是医学图像处理的方法和设备
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20140330288A1 (en) * 2010-03-25 2014-11-06 Precision Automation And Robotics India Ltd. Articulating Arm for a Robotic Surgical Instrument System
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback
US20120307010A1 (en) * 2011-06-06 2012-12-06 Microsoft Corporation Object digitization
CN103908258A (zh) * 2013-12-09 2014-07-09 天津天视科技有限公司 一种奶牛乳腺组织体积的测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CLAUDIO LOBOS等: "From Segmented Medical Images to Surface and Volume Meshes,Using Existing Tools and Algorithms", 《PROCEEDINGS OF THE VI INTERNATIONAL CONFERENCE ON ADAPTIVE MODELING AND SIMULATION》 *
ZHI-CHENG LI等: "Accurate kidney surface reconstruction from 3D ultrasonography for volume assessment: First clinical evaluation", 《2015 37TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY》 *
彭瑞云等: "《形态计量与图像分析学》", 31 August 2012, 军事医学科学出版社 *
王煜等: "《实用医学影像检查技术学》", 31 August 2011, 天津科学技术出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111513845A (zh) * 2019-02-04 2020-08-11 柯惠有限合伙公司 促进术后组织功能的术前预测的系统和方法
CN114820571A (zh) * 2022-05-21 2022-07-29 东北林业大学 一种基于dlpe算法的肺炎纤维化量化分析方法

Also Published As

Publication number Publication date
US20170105601A1 (en) 2017-04-20
CN108369736B (zh) 2023-08-15
WO2017066378A1 (en) 2017-04-20
EP3362990A1 (en) 2018-08-22
US10716457B2 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
CN108369736A (zh) 用于根据2d/2.5d术中图像数据计算切除的组织体积的方法和系统
KR101833364B1 (ko) 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
US9697639B2 (en) Three-dimensional model data generation device, method and program
US20180150929A1 (en) Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
JP5355074B2 (ja) ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム
CN104000655B (zh) 用于腹腔镜外科手术的组合的表面重构和配准
CN110189352A (zh) 一种基于口腔cbct图像的牙根提取方法
US20210353361A1 (en) Surgical planning, surgical navigation and imaging system
KR20140096919A (ko) 의료 영상 정합 방법 및 장치
JP2011125568A (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20110052026A1 (en) Method and Apparatus for Determining Angulation of C-Arm Image Acquisition System for Aortic Valve Implantation
KR102433473B1 (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
Karner et al. Single-shot deep volumetric regression for mobile medical augmented reality
Kang et al. Simulating liver deformation during respiration using sparse local features
WO2016131955A1 (en) Automatic 3d model based tracking of deformable medical devices with variable appearance
JP6391544B2 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
JP5904976B2 (ja) ３次元データ処理装置、３次元データ処理方法及びプログラム
Bas et al. Evaluation of shape from shading surface reconstruction quality for liver phantom
Saponaro et al. A Mixed Reality Guidance System for Robot Assisted Laparoscopic Radical Prostatectomy
Skurski et al. 3D graphic engine for medical images transformation and manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210317

Address after: Erlangen, Germany

Applicant after: Siemens Healthineers AG

Address before: Munich, Germany

Applicant before: SIEMENS AG

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240905

Address after: German Phu F Haim

Patentee after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen, Germany

Patentee before: Siemens Healthineers AG

Country or region before: Germany