CN112639887A - 图像处理系统及方法 - Google Patents

图像处理系统及方法 Download PDF

Info

Publication number
CN112639887A
CN112639887A CN201980056095.XA CN201980056095A CN112639887A CN 112639887 A CN112639887 A CN 112639887A CN 201980056095 A CN201980056095 A CN 201980056095A CN 112639887 A CN112639887 A CN 112639887A
Authority
CN
China
Prior art keywords
image
layer
lung
layer object
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980056095.XA
Other languages
English (en)
Other versions
CN112639887B (zh
Inventor
J·萨巴奇恩斯基
M·米勒
R·维姆科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112639887A publication Critical patent/CN112639887A/zh
Application granted granted Critical
Publication of CN112639887B publication Critical patent/CN112639887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

一种用于图像处理(IPS)的系统，具体地用于肺部成像的系统。所述系统(IPS)包括接口(IN)，其用于通过将受试者(PAT)暴露给第一询问信号来接收由成像装置(IA1)采集的受试者(PAT)的肺部(LG)的3D图像体积(VL)的至少部分。所述系统(IPS)的层定义器(LD)被配置为在3D图像体积中定义包括肺部(LG)的表面(S)的表示的层对象(LO)。所述系统(IPS)的呈现器(REN)被配置为以3D方式呈现在呈现视图(Vp)处的所述层对象(LO)的至少部分，以在显示设备(DD)上进行可视化。

Description

图像处理系统及方法
技术领域
本发明涉及一种图像处理系统、图像处理方法、计算机可读介质和计算机程序元件。
背景技术
肺部手术正变得越来越微创。对于不同类型的介入，不再需要开胸手术。这大大减少了患者的不适，因为开胸手术需要相当大的切口。相反，在“视频辅助胸腔镜手术(VATS)”(一种微创手术)中，通过小切口将内窥镜引入胸腔。然后外科医生被提供具有从内窥镜传输到监视器的视频图像，同时操作仪器，可以通过附加的小切口将所述仪器引入。
VATS可以用于肿瘤手术，例如用于恶性肿瘤的去除(肺叶切除术、节段切除术、楔形切除术等)，但也能够出于其他原因使用，例如用于处置严重COPD或其他病症的减容手术。
肺部手术，开胸手术和微创VATS二者的一个问题都是肺部放气(deflation)。通常，肺部充满胸腔。它们仅在胸腔容积增加时才能够自我膨胀和扩张。在正常情况下，肺部内的压力始终高于胸腔与肺部之间的胸膜空间内部的压力。当通过施加所述切口打开胸部时，胸腔内部的压力变得与气道内部的压力相同，并且弹性肺部组织塌陷。因此，在手术期间，肺部比手术前要小得多。
在许多其他外科学科(神经外科、骨科、脊柱外科、ENT外科等)以及介入放射学中，已经开发了用于引导外科医生或介入放射科医师达到目标的技术方法。这些导航方法可能依赖于术前成像(例如CT、MRI、3D X射线、PET等)或术中成像(超声、X射线等)。在这些方法中，当使用术前成像时，感兴趣解剖结构通常在成像和介入之间不会明显地改变，从而损害导航的准确性。
由于放气，肺部在术前成像和介入过程之间经历大规模变形。这使得基于例如术前CT的导航变得困难。
至少在开放式手术中，外科医生能够触诊肺部以发现病变。在VATS中，这是不可能的。
发明内容
因此，可能需要替代的系统或方法来支持肺部成像或肺部介入。
本发明的目的通过独立权利要求的主题解决，其中在从属权利要求中并入了其他实施例。应当注意，以下描述的本发明的方面等同地适用于图像处理方法、图像处理系统、计算机程序元件和计算机可读介质。
根据本发明的第一方面，提供一种用于图像处理的系统，包括：
输入接口，其被配置为接收：i)基于由第一成像模态采集的受试者的肺部的图像数据的3D图像体积的至少部分，以及ii)在肺部介入期间由第二成像模态采集的肺部的第二图像；
层定义器，其被配置为在3D图像体积中定义层对象，所述层对象包括表示肺部脉管和/或隔膜的图案，作为肺部的表面的表示；
呈现器，其被配置为以3D方式呈现在呈现视图处的层对象的至少部分以在显示设备上进行可视化，以及
匹配器，其被配置为指示呈现器呈现层对象的视图，以便基于表示性图案来匹配第二图像。
根据一个实施例，呈现限于层对象的至少部分，或者其中，呈现器被配置为以比体积的非层元素更高的贡献来呈现层对象。
已经发现，肺部表面上的某些图案(诸如源自外表面下方的隔膜的脉管或结构)是肺部上的某些空间视图的特征。在下文中，这种图案也被称为“表示性图案”。而且，已经发现所述图案在由肺部的放气导致的变形下在拓扑学上很大程度上是不变的。通过限制或至少强调层对象，能够更好地集中对比度，而不是拉伸对比度以覆盖处于太深而无法产生显著视觉贡献的组织。另外，通过使用穿透深度，能够进一步利用确实对肺部的视觉外观有贡献的结构。总之，获得了更可靠的基于图像的导航，这对于肺部介入是特别有益的。处于充气和放气状态的肺部的图像能够可靠且稳健地匹配，从而促进基于肺部图像的导航的可靠性。
根据一个实施例，层定义器被配置为基于第二成像模态的询问信号的穿透深度来定义所述层的厚度。该第二询问信号被用于通过暴露于第二询问信号来采集肺部的或其他相似的肺部的第二图像。
第二询问信号暴露可以从外部发生，第二询问信号通过患者皮肤中的开口传播到肺部。备选地，在已经通过开口将成像装置的探头引入患者体内并且相对于肺部适当定位之后，暴露可以从患者内部发生。
优选地，第一和第二成像模态或装置均可操作为采集同一患者的肺部的图像，但是在一些备选实施例中，第一成像模态或装置用于从一个患者的肺部采集术前图像，而术中第二图像由另一位患者的肺部的第二成像模态或装置来采集。
根据一个实施例，层定义器被配置为至少基于组织分割子体积来定义层对象。
根据一个实施例，层定义器被配置为基于到肺部分割子体积的预定义点的切面和切面沿着切面的局部法线方向的延伸来定义层对象。
层对象包括表示肺部脉管和/或隔膜的图案。然后，根据实施例，呈现器被配置为以不同于其周围的颜色或灰度值编码来呈现图案，其中，至少部分嵌入了图案。
根据一个实施例，呈现器被配置为设置所呈现的层对象的透明度，以便在给定呈现位置的情况下遮挡层对象的相对的远端部分，或者其中，层对象被修剪以从被呈现排除远端部分。呈现位置具体地描述概念上的相机的位置，通过将几何射线投射通过体积并投射到图像平面上从所述概念上的相机执行呈现，在所述图像平面上所呈现的视图被投影为(2D)图像。
根据一个实施例，系统包括显示设备接口，所述显示设备接口被配置为在显示设备DD或两个显示设备上实现所呈现的视图和第二图像的可视化的显示。
根据一个实施例，第二成像装置能够基于存在于肺部中的至少一种预定物质在第二图像中赋予对比度，呈现器被配置为对对应于物质的视图中的一部分进行颜色或灰度值编码。
根据一个实施例，系统包括第一或第二成像模态或装置和/或至少一个显示设备中的至少一个。
根据第二方面，提供一种图像处理方法，包括以下步骤：
接收i)基于由第一成像模态采集的图像数据的受试者的肺部的3D图像体积的至少部分，以及ii)由第二成像模态采集的肺部的第二图像；
在3D图像体积中定义层对象，所述层对象包括表示肺部脉管和/或隔膜的图案，作为肺部的表面的表示；
基于表示性图案，以3D方式呈现在呈现视图处的层对象的至少部分，以在显示设备上进行可视化，以便匹配第二图像。
根据一个实施例，呈现限于层对象的至少部分，或者以比体积的非层元素更高的贡献来完成层对象的呈现。
根据第三方面，提供一种计算机程序元件，当由至少一个处理单元运行时，所述计算机程序元件适于使处理单元执行根据前述实施例中的任何一个的方法。
根据第四方面，提供一种计算机可读介质，在其上已经存储有程序元件。
所提出的系统提供肺部介入中的导航和取向支持。尽管肺部在术前和在术中大范围变形，但是所提出的系统仍允许可靠地将术前图像信息(例如病变的位置和程度)与术中情况关联。
所提出的系统和方法可以用于不同类型的肺部介入，如通过开胸术以及胸骨切开术或微创手术(例如VATS)进行的开放式手术，对于肺部肿瘤成像或肺部介入是特别有利的。
定义
在下文中，将区分物理对象及其在相应图像中的表示。例如，作为物理实体的肺部可以由总体积中的体素子集(例如子体积)表示。子体积可以表示肺部。这样的表示性体素子集或子体积在本文中可以称为“对象”，例如，“肺部对象”是对体素子集或子体积而言的肺部的图像表示。因此，脉管对象是脉管的体积V的表示，依此类推。类似的约定可以用于2D图像中的像素对象。
“询问信号”是由第一和第二成像模态或装置发出的那些信号，以采集关于特定解剖结构的知识。信号由合适的发射器或源发出，然后与组织相互作用。在这种交互之后或在其期间，信号由检测器设备检测并被处理成图像。图像可以揭示有关解剖结构的细节。询问信号可以是诸如电磁的辐射形式，但是也可以设想诸如超声的其他信号类型。用于成像目的的范例性的基于辐射的询问信号包括X射线、射频脉冲、伽马辐射、可见光或红外光或其他。
“3D”、“2D”分别是空间三维和二维的简写。
附图说明
现在将参考以下附图描述本发明的范例性实施例，其中：
图1示出了成像布置的示意性框图。
图2示出了包括肺部的人类或哺乳动物呼吸系统各部分的矢状视图。
图3图示了图像体积的一部分的呈现操作。
图4示出了图像处理的流程图。
图5示出了图像处理方法的中间结果和最终结果；
图6示出了人类肺部的范例性呈现；以及
图7图示了针对不同物质的光谱吸收曲线。
具体实施方式
参考图1，示出了在实施例中本文所设想的成像布置IA的示意性框图。
成像装置IA具体地被配置用于对肺部LG介入的基于成像的支持。为此，成像布置IA包括优选地不同的两个成像模态IA1和IA2。
成像模态中的一个IA1，在本文中也称为术前成像模态IA1，其被配置为采集人类或动物患者PAT的优选体积VL图像集。体积图像VL具体地包括感兴趣区域ROI的表示，所述感兴趣区域ROI具体地包括肺部LG。当在本文中提及肺部LG时，应当解释为是指左肺部或右肺部或两者。可以在利用术前成像器IA1成像之前或期间将造影剂施用于患者。
第二成像模态IA2，称为术中成像模态IA2，其被配置为在肺部LG介入期间采集图像IM2。
广义上，成像布置被配置为支持VATS或类似的肺部介入。更具体地，成像布置IA支持操作者(即，实施介入的人)在介入期间导航肺部，以具体地找到特定的肺部部分，如病变或其他部分。布置IA可以具体地基于介入期间获得的术前图像VL和/或术中图像来支持所述导航。
在一个实施例中，术前成像器IA1被配置用于具有电离辐射的透射成像。这样的一个具体实施例是计算机断层摄影成像(CT)，包括锥形射束CT、扇形射束或任何其他变体。不同于透射成像，在备选实施例中还设想发射成像，如PET(正电子发射断层摄影)或SPECT(单光子发射计算机断层摄影)。然而，还设想采用非电离辐射的成像模态，如MRI(磁共振成像)或其他方式。
在实施例中的在本文主要设想的CT中，根据采集的患者PAT的图像数据(具体是投影图像)来重建体积图像数据VL。通过使X射线源和/或X射线检测器至少围绕感兴趣区域(在这种情况下为肺部LG)旋转来以旋转方式采集投影图像。在旋转期间，从多个方向采集ROI的投影图像。为此，X射线源在LG位于的患者上躯干区域周围绘制出不一定完整的弧线。弧线小于或等于180°通常就足够了。然后使用数学重建算法(如滤波后的反投影或其他算法)将投影图像处理为位于检查区域中的切片图像。检查区域是在成像期间感兴趣区域位于的空间的部分。通过沿着纵轴(成像轴Z)横向推进患者或X射线源以采集不同的投影图像集，能够从这样的不同平面中的多个切片图像中重建不同的投影图像集合，从而形成体积图像数据VL。患者的纵轴总体上与所述成像轴Z对齐。体积图像数据VL，在本文中也称为图像体积，包括肺部LG的3D图像表示。
成像体积VL的图像值以体素组织。每个体素由图像值和空间中的3D位置定义，其对应于检查区域中的点，因此对应于患者PAT中的点。每个图像值编码与成像模态中使用的询问信号的交互方式。对于CT或类似设备，询问信号是X射线信号，所述X射线信号穿过患者并与其中的物质相互作用，随后由投影图像中的检测器检测，然后按所述方法处理为体素值。在这种情况下，给定体素处的图像值可以与询问X射线信号所经历的衰减量有关。在其他成像模态下，询问信号是不同的，并且图像值表示其他相互作用原理。例如，在MRI中，询问信号由射频脉冲形成，在发射成像中，询问信号由患者体内示踪物质的衰变事件产生的伽马射线形成。
现在简要地转到术中成像模态IA2，这具体设想为内窥镜成像单元。这包括可引入患者内的探头PR。内窥镜成像单元IA2还可以包括以有线或无线连接方式与探头PR通信上耦合的操作单元OU。探头PR通过患者胸部内的优选的小的切口被引入患者内，以进入肺部LG。更具体地，探头PR被推进到肺部所处的胸腔内(更多信息在下面的图2中示出)。内窥镜成像单元随后可以操作为采集患者内部(具体为肺部LG)的图像。优选地，使用非电离辐射，如可见光、红外(IR)光或近红外(NIR)光或其他。例如，诸如可见光的光信号被用作针对第二成像模态IA2的询问信号。光信号由探头发射并与肺部组织相互作用。然后，光被至少部分反射回来并在探头处由探头中的合适的光检测器设备配准。一些光线可能会被组织吸收。光检测器设备也可以独立布置并远离探头PR。
然后，在检测器设备处检测到的反射出来的光信号可以被转发到操作单元OU中的处理单元，以将其处理为能够优选实时显示在显示设备DD上的图像。以这种方式，生成以合适的采样频率采集的帧流。与通过CT或术前成像设备获得的体积图像相反，术中图像通常不是3D的，因此被布置为像素值的二维阵列。同样，每个像素值被布置在成像平面中的相应位置处(可通过行和列x，y寻址)，而图像值描述与询问信号(如可见光、IR、NIR等)交互的方式。具体地，将反射回的光的量被配准并量化为相应的图像值。
应当理解，根据由内窥镜IA2使用的光的特征(如频率)，询问光具有一定的穿透深度d，以穿透到肺部组织中。因此，检测到的光还可以提供位于在肺部LG的最外表面S下方d个单元深度的结构信息。应当理解，不同于内窥镜设备，第二成像模态IA2可以被布置为超声(US)成像器或其他成像模态。
成像布置IA包括能够以硬件或软件实现的图像处理系统IPS。例如，图像处理系统可以在一个或多个处理器PU，如通用计算机、服务器或微控制器上运行。一个或多个处理器PU可以与术中IA2和/或术前成像模态IA1通信地耦合。图像处理系统IPS被配置为处理术前图像VL和术中图像IM2。广义地，并且如本文所提出的，在某些情况下由内窥镜IA2采集的术中图像IM2对应于肺部组织LG上的给定视图。然后通过匹配器M将该视图与在成像体积VL上并因此在如由体积VL所表示的肺部上的对应视图相匹配。
相应视图由呈现器REN计算。具体地，由呈现器REN呈现的视图在3D空间中对应于由术中成像器IA2提供的视图。这样计算出的视图VP是随后优选与术中图像IM2一起显示在相同显示单元DD上的不同窗格中或显示在优选布置在手术室中的两个或多个独立显示设备DD上的图像。
在更详细地解释成像布置IA的操作(具体地成像处理系统IPS的操作)之前，首先参考图2A、B，其涉及在本文中利用的肺部LG解剖学的一些方面。图2A是通过人类或动物肺部LG的矢状平面的截面图。
肺部LG包括左肺部LL和右肺部RL。肺部是呼吸系统的一部分。肺部在气体交换中起着重要作用，其中，由新陈代谢生成的二氧化碳被排出，同时血液被补充氧气，然后被供应到全身的各个部位。
呼吸系统具体地包括通过其吸入空气的气管TR。气管TR分支成右主支气管RPB和左主支气管LPB。每个主支气管分支都终止于在其中发生气体交换的空气袋或肺泡AL的精细网络。人类肺部LG由裂痕线FL构造成。人的左肺部LL由单个裂痕线FL构造成两个叶，而人的右肺部RL由两个裂痕线FL构造成三个叶。肺部LR、LL被布置在胸腔中。胸腔是由胸膜、胸腔上部衬里的薄膜和其下部的隔膜所界定的空间。通常，相对于胸腔中的周围压力，肺部处于充气状态，因为它们受到肺部内部空气的轻微加压。
主分支RPB、LPB各自终止的左肺部或右肺部中的肺泡AL赋予肺部组织的特征性海绵状质地。每个肺部RL、LL包括最外表面S。当在实施例中也设想执行开放气管切开术时，该最外表面S原则上可以由操作者触摸。肺泡AL被包括动脉和静脉的(血液)脉管的精细网络所包裹。动脉可操作为将富含氧气的血液从肺泡引导开进入系统中到其他器官，而静脉向肺泡提供氧气耗尽并富含二氧化碳的血液以影响气体交换。通过气管TR吸入的空气最终进入由肺泡形成的小气密室中。气体交换通过扩散穿过肺泡的薄皮肤并进入脉管，具体地进入肺部动脉和肺部静脉的毛细脉管而发生。
肺泡的结构使得出现被称为第二肺部小叶的群。每个这样的小叶由被称为腺泡的多个肺泡亚群组成。腺泡中的每一个可以包含约5-12个肺泡。这样的第二肺部小叶SPL的示意性横截面以放大方式在插图特写图2B中示出。每个SPL由肺部静脉PV和肺部动脉PA馈送。每个腺泡中的肺泡是末端细支气管TB的末端分支。SPL的整体形状是由被称为小叶隔膜SP的连接组织的壁所描绘的不规则多面体的形状。这些包含肺部静脉以及淋巴成分。SPL形成最大的肺部单元，所有气道都在其中参与气体交换。SPL的整体大小约为1-2.5厘米。
隔膜SP的结缔组织在肺部组织S的外表面上部分形成(不一定是六边形)蜂窝结构。当人在开放式气管切开术中看到肺部LG时或者当从体内摘除肺部时，肉眼可以看到这种不规则形状的多边形网络。然而，隔膜实际上没有升高表面S，而是位于下方较深的位置，但仍然可以看到，以赋予上述提到的不规则形状的多边形(蜂窝)网络结构。
陷入肺泡的脉管网络形成十字形图案，尤其是那些位于肺部外表面S上的脉管。有助于表达这种图案的一些脉管被放置成使得它们稍微升高外表面S，以给予其部分缓解的结构。
发明人已经观察到，由隔膜SPL或由脉管网络图案赋予的图案，具体地两个图案一起，对于给定视图是特征性的。因此，对于来自给定空间方向的肺部LG上的给定视图，能够将这些图案中的任何一个或两个都视为视觉签名(signature)。可以通过术中和术前图像中的适当图像结构来表达图案。在本文中提出利用这些签名图案找到在图像体积VL上的对应视图Vp。由呈现器REN找到并呈现体积VL上的视图Vp。视图Vp对应于由术中成像模态IA2提供的给定光学图像IA2。视图Vp在下文中将被简称为“图像Vp”，其中p是呈现参数，如将在下面更详细解释的。图案可以具体地由浅表脉管形成，即，那些位于足够靠近肺部外表面S以在其上压印缓解结构的脉管。
已经观察到，不仅能够通过由内窥镜提供的光学图像来捕获图案，而且能够通过以约100μm的适当尺寸的切片厚度采集的CT切片图像来捕获图案。具体地，在肺部的高分辨率图像中能够清楚地检测靠近肺部表面S的脉管。小叶间隔膜本身相对较薄(约100μm厚度)，因此在高分辨率CT中更难以直接看到。在锥形射束CT中，分辨率得到了改善，并且可以更好地定义结构。
具体地，观察到的脉管和/或小叶隔膜的图案适合于在图像结构匹配中的导航目的，因为已经发现它们在肺部变形下在拓扑上基本不变。更具体地，在介入期间，肺部在其在介入期间放气时(具体地当在胸腔中施加切口以允许探头PR的通道时)实质上是变形的。
通过识别术中图像模态的询问信号具有一定的穿透深度，所提出的术中图像与术前图像之间的基于图像的匹配的鲁棒性在本文中被增强。在范例性实施例中，可见光、IR或NIR光穿透肺部组织直到一定深度d，该深度d取决于光的频率。本文中提出，图像处理系统IPS在将视图呈现在图像体积上以与术中图像匹配时考虑到该穿透深度d。
已经发现，受限于对应于体积VL中的这种穿透深度的层对象LO的这种呈现增加了匹配的鲁棒性，并且因此出于至少两个原因而提供了更好的导航：首先，呈现中的图像对比度集中于重要区域上，即具有穿透深度的厚度的肺部的层。否则，图像对比度可能被无用地浪费在优选地基于非电离辐射的术中成像器IA2中无论如何都不可见的图像结构上。第二，能够提高图像匹配操作的鲁棒性，因为通过识别组织穿透深度，由术中成像模态提供的图像可以更充分地用作结构，所述结构远离最外层S但仍在与外表面S的距离为d处的穿透深度层内，其仍然对由术中成像模态提供的图像有贡献。匹配能够扩展为不仅考虑对应于表面的图像结构，而且还考虑表示从表面S向下d单位深度处的肺部组织的结构。
此外，能够加快呈现过程，因为需要处理的体素(即，层对象LO中的体素)更少(详情参见图3)，并且能够更早结束呈现。无需处理超出层L的体积中的更深的体素。
继续参考图1的框图，图像处理系统IPS包括层定义器LD，其优选通过图像处理来定义或识别总体积VL中的层对象LO。层对象LO或子体积具有厚度为d的层L或“壳”的几何结构。从拓扑上来说，粗略近似地，可以将已定义的厚度为d的层对象LO看作嵌入3D体积VL中的空心椭圆体。
层对象LO表示肺部组织LG，具体包括其外表面S，但也表示距表面S更深的肺部结构信息，直到由术中成像模态IA2的穿透深度给定的距离d。以这种方式，形成一个掏空的体积VL作为肺部层对象LO。
然后，广义上，在IPS的操作期间，在接口IN处接收术中图像IM2和术前图像体积VL的至少部分，但不必同时。层识别器LD随后通过分割或以其他方式识别体积VL中对应于外表面S的以及对应于从肺部LG的外层S直到d个单位深度的组织的层对象LO。给定术中图像IM2，匹配器M找到对应于当前术中图像IM2中的图像结构的层对象LO上的视图Vp。可以通过如下更改呈现参数p直到找到这种匹配来完成该匹配。这将在下面更详细地解释。由匹配器M尝试并评估匹配，并且一旦找到匹配项，对应的视图Vp优选作为图像与当前术中图像IM2一起输出。然后将两个图像Vp，IM2的图像值转发到图形驱动器DV，所述图形驱动器DV适当地实现两个图像Vp，IM2在一个或多个显示设备DD上的显示。
应当理解，层定义器LD的操作可以出现在比呈现器REN的呈现更早的阶段。图像处理系统IPS可以被布置在分布式环境中，具体地，由一个计算单元PU运行层定义器LD，而呈现发生在另一个计算单元PU’处。如果部件(具体为呈现器REN和层定义器LD)例如在云架构中的不同计算单元(如不同的服务器或其他计算单元)上运行，则在实施例中可以设想，这些部件仍然能够在合适的无线或有线网络上通过适当的通信接口进行通信。
备选地，IPS的所有的或实质上所有的部件都集成在同一计算单元上并在同一计算单元上运行。具体地，可以将层定义器LD和呈现器REN的功能融合到单个计算实体中。在这种集成实施例中，层定义器LD的层定义操作可以在呈现操作REN期间进行或与其同时进行。层定义可以被集成或构成呈现操作的一部分。
但是同样，备选地，这两种功能可以在时间上分离开，使得层定义器LD的层定义操作早于呈现出现。可以将层对象LO的定义作为适当的数据结构(如二进制掩码)提供给呈现器RN。可以在呈现阶段之前的准备阶段中，由呈现器REN运行层定义器LD的功能，并且可以将所定义的层对象LO的规范存储在合适的数据库中。当在介入期间匹配和呈现操作开始时，即在输入IN处接收术中图像时，根据需求检索所存储的对象层LO。
呈现操作可以作为在线操作实时完成，当在接口IN处的图像处理器IPS接收术中图像IM2的流的同时出现所述呈现操作。利用在术中图像IM2的流中捕获的每个新的帧来动态更新呈现器REN的呈现。网守单元(未示出)可以检查每个帧与先前的帧是否存在超过用户可定义的阈值的差异。可以根据两个连续的帧形成差分图像以量化所述差异。如果没有这种差异，则将当前呈现保持为安全的CPU时间。仅当网守判断差异超过阈值时，才可以触发呈现的重新计算。
现在参考图3，其图示了呈现器REN的操作。呈现总体上是这样一种操作，其中处理体积化体积VL中的体素以产生优选的平面图像，所述平面图像对应于体积的视图Vp，具体对应于层对象LO的视图，所述视图来自Vp已嵌入其中的虚拟空间中的概念上的相机CM的空间位置p。相机位置和空间二者都能够表示为存储在计算单元PU的存储器中的数据。呈现操作优选地由诸如GPU(图形处理单元)或TPU(张量处理单元)之类的多核处理器执行。相机CM的位置p由在体积V位于其中的公共坐标系CS中定义的位置矢量p示意性指示。
视图Vp是图像平面中的2D图像。通过从在p处的概念上的相机位置投射通过体积VL的几何射线gr(在图3中仅以虚线示出)来计算视图Vp。然后，根据转换函数T对与给定几何射线gr相交的体素值进行采样和处理，以产生针对像素位置PX处的视图Vp的相应图像值。根据图像Vp的期望大小以及图像平面与相机位置p之间的距离，能够定义涵盖所有几何射线的图像锥IC。锥体示意性地指示为一对或集中于一点的虚线。在计算视图Vp中的像素PX时，仅考虑体积中与图像锥IC相交的体素。然后，针对锥体IC中的所有射线gr的图像值形成视图Vp。
如上所述，转换函数T处理在呈现中与给定几何射线gr相交的体素。在一个实施例中，转换函数将颜色或灰度值和透明度分配给给定的体素值。这能够通过沿给定射线gr形成所有体素值的加权和来实现，可以将其在形式上写为：
Figure BDA0002951683000000121
其中，I是掩码(mask)的指示函数，
λ是透明度权重，以及
m(.)是颜色或灰度值映射。
即，每个体素值Vxi乘以表示体素值的透明度的权重λ。换言之，透明度λ定义相应体素值对视图Vp处的最终图像点PX的贡献的程度。本文中设想了实现不同呈现方案的宽范围的不同的转换函数T，如MIP、表面呈现、行进立方体算法等。肺部LG以矢状面横截面示出体积中。
如前所述，本文提出将呈现操作限制在位于上述引入的具有厚度d的层LO中的体素上。层对象LO中的体素表示位于外表面上并且从表面S直到深度d的肺部组织。层对象LO的厚度d对应于所使用的术中成像装置AI2的穿透深度。在实施例中，该成像装置是内窥镜，其穿透深度由用于产生图像的询问光的频率和强度定义。
位于层对象LO的内部区域IR中的体素在呈现中本质上会被忽略，因此，在给定的相机位置p的情况下，位于层对象LO的远端的远端体素Vxd也被忽略。只有其值对呈现有贡献的近端体素Vxp。应当理解，远端和近端体素的概念随着相机位置p而改变。换句话说，相对于给定相机位置是近端的相机位置可以是相对于另一相机位置p’的远端体素。如果在给定相机位置的情况下，所述部分将需要几何射线两次与层对象LO相交，以便穿过所述部分，则该部分可以被称为“远端”。
在给定相机位置p的呈现中，位于层对象LO外部和层对象LO的远端部分的体素都被忽略。层对象外部的体素称为非层体素。这些体素具体地包括在由对象层LO围绕的内部区域IR中的体素。确保层对象LO的远端部分中的远端体素和内部区域IR中的体素被忽略的一种方式是通过将其透明度设置为不透明。例如，这能够通过将相应体素乘以透明度系数λ＝0来完成，以在本质上消除其对视图Vp的平面中的像素PX的贡献。
然而，这是一种常规问题，可以使用其他数值方案来消除远端体素和内部区域体素。能够通过可由上述层定义器LD实现的层定义操作来预定义层对象LO内部的体素的识别。完成该操作的一种方式是定义二进制掩码。二进制掩码是一种包括0和1数据结构，其将零和一分配给相应体素位置。因此，二进制掩码是二进制标量字段。在一个掩码实施例中，呈现器将掩码的条目作为因子包括在转换函数T中，从而自动消除近端层对象LO外部的不想要的体素。这些条目被表示为集成在转换函数表达式eq(1)中的指示函数I(.)的值。
在另一个实施例中，在呈现来自给定相机位置P的层对象LO之前对其进行修剪。在该实施例中，简单地丢弃层对象的内部区域IR和远端部分，仅留下对象层LO的部分，即近端的一个，其位于要呈现的图像锥IC内。
在又一实施例中，由于穿透深度是已知的，因此在沿着每个几何射线给定多个体素(定义呈现长度)之后，呈现终止。可以根据已知的穿透深度(以适当的长度尺寸指明的，例如mm，cm等)和图像的分辨率、对应于穿透深度d的体素的数量来计算呈现长度。对于不垂直于对象层的外表面的射线gr，可能需要通过诸如cos(α)之类的因子来调整呈现长度，其中α是测量与法线入射的偏差的角度。
不同于如上所述的完全忽略非层体素，还设想该实施例的模糊版本。在该模糊化的实施例中，由呈现器REN给予非层体素和/或远端部分体素Vxd除“0”以外的至少一些贡献，但是其中，至少给予层对象LO的近端体素比非层体素和/或远端部分Vxd体素更高的贡献。
下面将具体地参考图4，在步骤S420中更详细地讨论用于定义对象层L0的许多不同的实施例。
具体地，图4示出了上述成像处理系统IPS的基础操作的图像处理方法的流程图。然而，应当理解，以下方法步骤也可以理解为单独的教导，而不必与上述图1中所述的图像处理系统IPS的结构联系在一起。
在步骤S410处，与由内窥镜、超声或其他基于非电离辐射的成像模态采集的术中图像IM2一起接收患者的术前体积图像VL，具体地患者PAT的肺部LG的术前体积图像VL。术中图像和术前图像不必同时接收和处理。
首先，参考下一步骤S420，如下对术前图像V进行处理，在步骤S420中，在体积中定义层对象LO，其具体地表示肺部LG的外表面以及位于离开外表面S并在外表面S下方直至d个长度单位的其他肺部组织的外表面。因此，层对象LO具有对应于d的皮肤厚度。厚度d对应于，即基本上等于，由诸如内窥镜的术中成像模态所使用的辐射的穿透深度d。备选地，层对象LO的厚度可以小于穿透深度。对象层外部的体素，即不位于厚度d内的体素，不构成对象层的部分。从这个意义上说，层对象(layer objection)可以被概念化为具有挖空的壳体结构的体素子体积。
在步骤S420的一个实施例中，执行将肺部组织分割成子体积的各个阶段，从中导出掩码图像，其识别具有所请求的厚度d的期望肺部对象LO。由于术前成像器IA1的分辨率是已知的，并且在合适的长度尺寸(即mm或cm)中的理论穿透深度也是已知的，因此所需的厚度可以容易地转换为对应的体素序列。因此，所述穿透深度能够由多个体素而不是物理长度尺寸来表达。
结合参考图5，能够更容易地理解这些步骤，图5中示出了范例性中间图像A)—F)，所述中间图像作为某些子步骤中的中间和最终结果而出现。更详细地，在实施例中，步骤S420包括以下子步骤1-5：
在子步骤1中，在CT图像中执行肺部L的分割以输出肺部对象。这可以通过创建肺部掩码来完成，其将“1”或“0”分配给体素位置。根据一种常规，“1”指示相应的体素确实表示肺部，而“0”指示其不表示肺部。可以使用其他常规代替。我们可以将这种掩码称为“肺部掩码”。
在子步骤2中，执行对肺部掩码的图像形态腐蚀，以移除表示非肺部组织(诸如不需要的胸部壁)的可能痕迹。
在子步骤3中，基于由术中模态IA2使用的术中询问信号(例如(可见)光、IR、NIR等)的穿透深度d，执行第二形态腐蚀，以创建第二个肺部掩码，其小于子步骤2中获得的肺部掩码。
在子步骤4中，从第一掩码减去第二掩码以获得表面层掩码(用于层对象的掩码)。这种差异掩码包括体素，当暴露于术中成像信号时，其有助于肺部的视觉外观。
子步骤5，然后将针对层对象LO的表面层掩码用于掩码原始CT图像的那些体素，其有助于视觉外观。
图5A示出了子步骤1的分割。该分割仍然可以包括胸部壁的残留物，然后通过如图5B所示的子步骤2的可选的后续分割来移除所述残留物。在子步骤3的腐蚀或“挖空”操作之后，壳体结构(局部视图)结果如图5C所示。子步骤4的结果示出在图5D中，其中层对象LO现在以所采集的穿透深度D出现，并且最终在最后的子步骤5之后，图5E和5F中示出了层对象LO的部分。图5E中的白色部分以及图5F中的黑色部分和白色部分表示不形成层对象LO的部分的非层体素。
除了基于子步骤1-5的用于肺部层对象定义的第一实施例之外或代替第一实施例，本文中还设想了使用体积重新格式化技术的其他实施例。更具体地，在标准格式化中，体积VL中的切片图像的平面垂直于成像轴Z。通过重新格式化算法，能够以将其重新格式化以生成新的切片图像，每个切片图像都位于与不同于轴线Z的任何期望方向Z’垂直的不同图像平面中。此外，切片图像可以不是必须位于平面中，而是可以位于相应的曲面中。因此，获得一系列弯曲的表面，这些弯曲表面能够被认为是沿着任何用户定义的法线方向(可能与Z不同)通过体积VL传播。
在第二实施例中设想了在初始体积VL内的弯曲表面上的这种重新格式化。更详细地，步骤S420的第二实施例具体包括以下一些或全部子步骤，这些子步骤可由诸如肺部定义器LD的硬件或软件部件来实施。
同样，如前所述，在第一子步骤1中，执行肺部分割以获得作为子体积的肺部对象。
在子步骤2中，识别在感兴趣位置(病变，例如肿瘤等)的某个邻域内的肺部对象的表面上的点。通过调整球体的直径或半径，由所述球体或类似形状定义的邻域可以是用户可定义的。在实施例中，表面上的点可以最接近感兴趣位置。
在子步骤3中，在围绕如在子步骤2中所识别的表面中心点的某个邻域(例如，球体)中创建曲线化的重新格式化的图像体积。这能够通过采用在中心点处的肺部壁的法线向量n，然后沿着垂直于法线向量n的正交方向u和v以弯曲方式跟随肺部表面来实现。然后，u、v跨过曲线化的重新格式化表面，使得二维重新格式化的每个点都是肺部对象表面的一部分。因此，能够将重新格式化平面中的每个点(u，v)映射到图像体积中的笛卡尔点(x，y，z)。
现在，已经定义了曲线化的平面，在子步骤4中，人们可以沿着图像体积中法线方向n的采样射线在重新格式化的平面中针对每个位置(u，v)对体素值采样几毫米，直到达到视觉穿透深度d。如本文所用，“采样”是指在(x，y，z)图像体积网格中查找最接近的体素的值，或者从最接近的体素的邻域内插入点值(例如三线或三次样条插值)的过程。沿着每个采样射线的所有值被组合(见下文)为单一的亮度和颜色，然后在曲线化的重新格式化中的位置(u，v)(采样射线的起点)处呈现所述亮度或颜色。
现在转到层对象LO呈现的步骤S430和所呈现的视图与术中图像匹配S440，所述呈现和匹配被一致地执行：换言之，以与在步骤S410处接收到的当前术中图像相匹配S440的方式，在步骤S430处呈现所定义的肺部对象LO上的视图或术中图像Vp。呈现操作S430的结果是肺部表面S的虚拟呈现，在实施例中包括浅脉管和小叶间隔膜的图案。以这种方式，赋予诸如脉管和/或隔膜结构之类的特征的图案可以以明显抵消可以以优选均质的周围颜色(诸如红色或其他颜色)呈现的其余肺部组织的颜色编码的颜色编码来呈现。因此，赋予结构(例如脉管和隔膜结构)的图案可以表现为至少部分嵌入背景中的分立元素，其对除隔膜结构和/或脉管以外的其余组织进行颜色编码。
在层对象LO的体积呈现中，优选地使用在视觉上匹配肺部LG的透明度和颜色。例如，对于可见光，体积中的深色体素可以被呈现为略带红色的肉色，而通常对应于脉管的体积中的明亮体素可以呈现为深色，例如黑色等。如以上在图3处所描述的那样执行呈现步骤S430。非层体素被忽略，因此呈现步骤能够区分层体素∈LO和非层体素
Figure BDA0002951683000000171
LO。如之前在图3中所解释的，除了非层体素外，在给定相机CM位置p的情况下，层LO的远端部分中的体素也被忽略。备选地，可以切割或修剪层以针对每个p移除相对的远端部分。然后，当更改p时，将修剪后的部分添加回LO，新的部分是远端部分，现在将该部分移除，依此类推。在备选实施例中，不同于忽略非层体素和/或远端部分体素，还设想如上结合图3上述提到的这种方案的模糊化。
呈现步骤S430可以包括呈现曲线化的重新格式化。能够在重新使用重新格式化体积的同时，在交互时间内调整呈现参数p。在以上任一实施例中，可以在适当的(u，v)位置处以不同的颜色执行诸如所讨论的肿瘤之类的感兴趣位置的叠加呈现，以便指示相对于表面图案的位置。
在呈现期间能够考虑到，不同的组织在所选光谱范围内具有不同的可见性。
在实施例中，能够将附加信息添加到该呈现。这种附加信息可以包括计划数据，诸如计划切割的平面、病变位置和病变程度等。由于手术计划以及肿瘤分割都是在原始CT图像上完成，因此可以不必进行这种呈现的配准。
可以通过沿着围绕层对象LO的概念圆形改变相机位置p，同时沿着该圆形以适当的增量行进来完成匹配操作S440。然后将这样采集的每个视图Vp与术中图像IM2进行比较。比较可以基于适当的相似性度量。相似性度量的实施例可以是基于欧几里得的范数，如平方和求和并且可能根据需要加权和/或归一化的单像素(pixel-wise)的差异。其他相似性度量，诸如基于概率的、像互信息的(具体基于熵的)信息论度量、交叉熵或离散Kullback-Leibler散度等也包括在本文内。
如果发现视图Vp与当前提供的术中图像偏离小于用户可定义的或固定的阈值，则在步骤S450处输出该视图并优选与术中图像IM2一起进行显示。视图Vp和图像IM2可以显示在单个显示单元上，或者分别显示在两个显示单元上。不同于如上所述的通过步进通过一组离散的相机图像位置pj逐步行进以找到最佳视图，还可以在基于参数p的目标函数方面将以上内容重新构造为优化问题。然后可以通过任何合适的优化算法来优化目标函数，以便优化(如最小化或最大化)目标函数。视图参数具体地定义相机CM在空间中的位置和/或图像锥IC的宽度。
目标函数F(·)具体可以像之前一样包括距离度量，所述距离度量测量当前术中图像IM2与参数化视图之间的差异或偏差。优化问题可以在形式上写为：
argminpF(p)＝d(IM2,Vp)+Reg (2)
参数p是要针对距离度量d(·,·)和可选的正则项Reg(·)进行优化的变量，Reg(·)可能取决于p或IM2。
可以通过基于特征描述符(FD)的表面特征检测算法来执行匹配。在实施例中，本文中设想的基于FD的算法包括SIFT(尺度不变特征变换)或SURF或其基于Hough转换的其他变体。其他实施例包括GLOH或HOG。这些基于FD的算法的一个优点是无需指定特定的对应对，因为在当前情况下，由于充气/放气引起肺部在术前和术中阶段之间严重变形，这种特征对方法很可能会失败。
FD类型算法的操作能够大致描述为两步方法：首先是检测步骤，其次是特征描述符提取步骤。在第一个步骤中，使用检测技术(例如，斑点检测器)来检测潜在感兴趣位置(本文中称为“候选位置”或“候选点”)的集合。然后在第二个步骤(特征提取)中，分析图像中这样收集的候选位置的图像邻域(例如，n维矩形或n维球体，n≥2)。在这种分析中，构造特征描述符，其捕获感兴趣的图像结构，如具体的图像值分布。特征描述符优选能够以合适的大小(或“强度”)量化，所述合适的大小优选在旋转和/或缩放下不变。然后将来自所呈现的视图Vp的特征描述符和当前术中图像IM2进行比较，以找到优选地最佳可能的匹配。即使所有各个候选位置的最佳可能匹配也具有某些残差(差异)。所有匹配的这些残差之和随后给出单个测试视图Vp的目标函数F(·)的值。对所有测试视图Vp重复匹配过程，以找到最佳视图Vp。
在所提出的方法的匹配中，肺部表面呈现Vp可以实质上被弯曲，以匹配当前术中图像，如2D内窥镜图像。如上所述，确定最佳弯曲的一个可能的实施例是匹配特征点对。但是，另一实施例工作能够完全在没有基于FD的点对，而是具有所谓的非参数2D图像配准的情况下工作。2D图像配准确定平滑的位移矢量场，使得能够将两个图像(Vp和IM2)覆盖到尽可能高的位置，例如相互信息或交叉熵。然后将其用作用于目标函数F(.)的值。最佳弯曲矢量场是在某些规则化边界条件下确定的，如平滑度和最小折弯能量(例如，所谓的薄板样条)。因此，在所提出的匹配中，可以不需要像在某些当前的基于图像配准的方法中那样提取特征点对。
然而，还设想其他实施例，不是必须如上所述是自动的，而是手动或半手动的。例如，用户简单地滚动不同的视图位置来调整最佳适合当前显示的术中图像的视图。在该实施例中，例如，观看者例如通过在显示当前呈现的触摸屏上执行诸如旋转或其他手势的触摸屏动作来改变相机位置并实现相应的呈现。可以使用诸如计算机鼠标之类的指针工具来触发各种呈现，直到根据操作者的临时判断找到最佳匹配为止。这些手动或半自动的实施例可以随后包括匹配器M或者匹配器可以仍然存在，并且操作用户找到要呈现的最佳匹配视图。可以发出视觉或听觉指示以指示已经找到匹配。例如，如在设备DD上显示的呈现Vp的边界部分可以闪烁或改变颜色以指示最佳匹配。可选择地或附加地，一旦已经找到匹配，就可以显示诸如“MATCH”等的文本。
在上述任一实施例中，可以例如在VATS期间将计划数据自动覆盖到术中图像和/或所呈现的视图Vp上。在介入期间，用户(例如，外科医生)可以访问呈现Vp，并且优选地可以访问来自术前计划阶段的附加信息。然后，用户可以在心理上将他或她能够直接在真实肺部上看到的表面结构与呈现进行匹配(“心理配准”)。因此，他能够根据计划执行介入，例如沿计划的切割线进行切割。手术计划数据，例如切割线可以覆盖在术中图像上。通常，这种2D表面信息就足够了，例如对于楔形切除术。如果需要3D计划信息，则能够基于空间中的表面特征的测量位置，将肺部通气的生物力学模型用于肺部的3D匹配。
图6示出了由步骤S420的第一实施例获得的范例性呈现Vp。能够看出，在肺部对象LO的呈现中，表面脉管结构清晰可见。
在所有实施例中，尽管非层状体素被忽略，但是在实施例中，用户仍然可以有请求更深的肺部结构的选择。然后可以与层对象的呈现交替显示或附加显示这些内容。除了诸如图6中所示的范例的层对象LO呈现之外，还可以示出其他解剖结构。
在内窥镜实施例中，不同于使用对可见光谱敏感的检测器设备，可以替代使用光谱的其他部分中的光线。例如，在实施例中，使用近红外(NIR)光，因为其具有在组织中的穿透深度d高于在可见光中的穿透深度的优点。所以，NIR图像因此能够捕获附加特征，从而导致以后更好的特征匹配。
为了增加对比度，人们能够例如通过使用用于照射的窄带IR LED来使用窄带IR光(代替白光)。
理想地，所使用的波长与重要结构的吸收最大值匹配。图7描绘了可见光和近红外区域中水和血红蛋白的吸收曲线。存在能够用于检测具有高对比度的脉管的清晰的吸收峰。由于氧合和脱氧血红蛋白的吸收曲线不同，因此还可能将静脉与动脉区分开。这种光谱成像能力可以用于在呈现Vp中或在内窥镜图像IM2的可视化中分别赋予静脉和动脉不同的对比度或颜色。因此，基于在成像期间存在的主要物质，如氧合和脱氧形式的血红蛋白，在视图Vp中和/或在术中图像IM2中分别将脉管区分为动脉和静脉。
在实施例中还设想各种其他细化和附加特征。外科医生/放射科医生可以使用术前图像体积IM1来识别或定位该图像中的病变或其他感兴趣的特征。
除了脉管和/或隔膜对象(如淋巴结)之外，还可以通过包括其他解剖特征来增强呈现Vp。
外科医生/放射科医生能够对介入进行计划，例如通过定义用于楔形切除术的病变边缘或切割线。重要标记(病变、边缘、切割线等)的位置可以基于所识别的表面特征来估计(“心理配准”)。对于外科医生的取向的提示，例如病变或计划的切割线的位置可以作为图形部件覆盖在术中图像IM2上，然后这些部件可以包括在呈现中。
图像处理系统IPS的部件可以实现为单个软件套装中的软件模块或例程，并且可以在通用计算单元PU上运行，如与成像器IA1或IA2相关联的工作站或与一组成像器IA1、IA2相关联的服务器计算机。可选择地，图像处理系统IPS的部件可以布置在分布式架构中并且被连接在合适的通信网络中。
备选地，一些或所有部件可以布置在硬件中，如适当编程的FPGA(现场可编程门阵列)或硬连线IC芯片。
本文所公开的IPS的一个或多个特征可以被配置或实施为在计算机可读介质内编码的电路/以在计算机可读介质内编码的电路来配置或实施，和/或它们的组合来配置和实施。电路可以包括分立和/或集成电路、专用集成电路(ASIC)、芯片上系统(SOC)、及其组合、机器、计算机系统、处理器和存储器、计算机程序。
在本发明的另一范例性实施例中，提供一种计算机程序或计算机程序元件，其特征在于适于在适当的系统上执行根据前述实施例之一的方法的方法步骤。
因此，计算机程序元件可以存储在计算机单元上，所述计算机单元也可能是本发明的实施例的一部分。该计算单元可以适于执行或促使执行上述方法的步骤。而且，它可以适于操作上述装置的部件。计算单元能够适于自动操作和/或执行用户的命令。可以将计算机程序加载到数据处理器的工作存储器中。数据处理器因此可以配备为执行本发明的方法。
本发明的该示例性实施例涵盖了从一开始就使用本发明的计算机程序和通过更新将现有程序转变为使用本发明的程序的计算机程序。
此外，计算机程序元件可能能够提供所有必要的步骤，以实现如上所述的方法的范例性实施例的过程。
根据本发明的另一范例性实施例，提出一种计算机可读介质，如CD-ROM，其中，计算机可读介质具有存储在其上的计算机程序元件，所述计算机程序元件由前面的部分描述。
计算机程序可以存储和/或分布在合适的介质(具体地但并非必须是非暂时性介质)上，如与其他硬件一起提供或作为其他硬件的一部分提供的光学存储介质或固态介质，但是也可以其他形式分布，如经由互联网或其他有线或无线电信系统。
然而，计算机程序也可以存在于类似万维网的网络上，并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的另一范例性实施例，提供一种用于使计算机程序元件可供下载的介质，所述计算机程序元件被布置为执行根据本发明的前述实施例之一的方法。
必须注意，参考不同的主题描述了本发明的实施例。具体地，参考方法类型权利要求描述了一些实施例，参考设备类型权利要求描述了其他实施例。然而，本领域普通技术人员将从以上和以下描述中得出，除非另有说明，否则除了属于一种类型的主题的特征的任何组合之外，与不同主题有关的特征之间的任何组合也被认为在本申请被公开。但是，能够组合所有特征以提供协同效果，所述协同效果不仅仅是这些特征的简单求和。
尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是示意性或范例性的而不是限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他元件或步骤，不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中列举的若干项的功能。在互不相同的从属权利要求中记载某些措施这一事实，并不表示不能有利地利用这些措施的组合。权利要求中的任何附图标记都不应被解释为限制范围。

Claims (14)

1.一种用于图像处理的系统(IPS)，包括：
输入接口(IN)，其被配置为接收i)基于由第一成像模态(IA1)采集的受试者(PAT)的肺部(LG)的图像数据的3D图像体积(VL)的至少部分和ii)由第二成像模态(IA2)采集的所述肺部(LG)的第二图像(IM2)；
层定义器(LD)，其被配置为在所述3D图像体积中定义层对象(LO)，所述层对象包括表示肺部脉管和/或隔膜的图案，作为所述肺部(LG)的表面(S)的表示；
呈现器(REN)，其被配置为以3D形式呈现在呈现视图(Vp)处的所述层对象(LO)的至少部分，以在显示设备(DD)上进行可视化；以及
匹配器(M)，其被配置为基于表示性图案来指示所述呈现器(REN)呈现所述层对象(LO)的所述视图(Vp)，从而匹配所述第二图像(IM2)。
2.根据权利要求1所述的系统，其中，所述呈现限于所述层对象(LO)的至少部分，或者其中，所述呈现器(REN)被配置为以比所述体积(VL)的非层元素更高的贡献来呈现所述层对象(LO)。
3.根据权利要求1或2所述的系统，其中，所述层定义器(LD)被配置为基于所述第二成像模态(IA2)的询问信号的穿透深度(d)来定义所述层的厚度(L)。
4.根据权利要求1-3中的任一项所述的系统，其中，所述层定义器(LD)被配置为至少基于肺部组织分割子体积来定义所述层对象(LO)。
5.根据权利要求1-4中的任一项所述的系统，其中，所述层定义器(LD)被配置为基于到肺部分割子体积的预定点的切表面及所述切表面沿所述切表面的局部法线方向的延伸来定义所述层对象(LO)。
6.根据权利要求1-5中的任一项所述的系统，其中，所述呈现器(REN)被配置为以不同于所述图案至少部分嵌入其中的图案周围的颜色或灰度值编码来呈现所述图案。
7.根据权利要求1-6中的任一项所述的系统，其中，所述呈现器(REN)被配置为设置所呈现的层对象(LO)的透明度，从而在给定呈现位置(p)的情况下遮挡所述层对象(LO)的相对的远端部分(Vxd)，或者其中，所述层对象(LO)被修剪为拒绝呈现所述远端部分。
8.根据权利要求1-7中的任一项所述的系统，包括显示设备接口(DV)，所述显示设备接口被配置为在所述显示设备DD上或在两个显示设备上实现所呈现的视图(Vp)和所述第二图像(IM2)的可视化。
9.根据权利要求1-8中的任一项所述的系统，其中，所述第二成像模态(IA2)能够基于存在于所述肺部中的至少一种预定义的物质在所述第二图像中(IM2)赋予对比度，所述呈现器(REN)被配置为用颜色或灰度值编码所述视图(Vp)中与所述物质相对应的部分。
10.根据前述权利要求中的任一项所述的系统，包括以下中的至少一个：所述第一或第二成像模态和/或所述至少一个显示设备(DD)。
11.一种图像处理方法，包括以下步骤：
接收(S410)i)基于由第一成像模态(IA1)采集的图像数据的受试者(PAT)的肺部(LG)的3D图像体积(VL)的至少部分，以及ii)由第二成像模态(IA2)采集的所述肺部(LG)的第二图像(IM2)；
在所述3D图像体积中定义(S420)层对象(LO)，所述层对象包括作为表示肺部脉管和/或隔膜的图案，作为所述肺部(LG)的表面(S)的表示；
基于表示性图案，以3D方式呈现(S430)在呈现视图(Vp)处的所述层对象(LO)的至少部分，以在显示设备(DD)上进行可视化，以匹配所述第二图像。
12.根据权利要求11所述的方法，其中，所述呈现(S430)限于所述层对象(LO)的至少部分，或者对所述层对象(LO)的呈现(S430)以比所述体积(VL)的非层元素更高的贡献来完成。
13.一种计算机程序单元，当由至少一个处理单元(PU)运行时，所述计算机程序单元适于使所述处理单元(PU)执行根据权利要求10或11所述的方法。
14.一种计算机可读介质，其具有存储在其上的根据权利要求13所述的程序单元。
CN201980056095.XA 2018-08-30 2019-08-22 图像处理系统及方法 Active CN112639887B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18191721.2 2018-08-30
EP18191721.2A EP3618005A1 (en) 2018-08-30 2018-08-30 Image processing system and method
PCT/EP2019/072436 WO2020043585A1 (en) 2018-08-30 2019-08-22 Image processing system and method

Publications (2)

Publication Number Publication Date
CN112639887A true CN112639887A (zh) 2021-04-09
CN112639887B CN112639887B (zh) 2024-05-14

Family

ID=63449379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980056095.XA Active CN112639887B (zh) 2018-08-30 2019-08-22 图像处理系统及方法

Country Status (6)

Country Link
US (1) US11694386B2 (zh)
EP (1) EP3618005A1 (zh)
JP (1) JP7407799B2 (zh)
CN (1) CN112639887B (zh)
DE (1) DE112019004302T5 (zh)
WO (1) WO2020043585A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117062569A (zh) * 2021-12-20 2023-11-14 皇家飞利浦有限公司 根据放射照相图像估计肺容量

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117355257A (zh) * 2021-05-25 2024-01-05 柯惠有限合伙公司 荧光镜扫描视频的体积过滤器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001037219A1 (en) * 1999-11-19 2001-05-25 General Electric Company Method and apparatus for reformatting tubular volumetric bodies
WO2001078005A2 (en) * 2000-04-11 2001-10-18 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
US20050134582A1 (en) * 2003-12-23 2005-06-23 Bernhard Erich Hermann Claus Method and system for visualizing three-dimensional data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4335817B2 (ja) 2005-01-07 2009-09-30 ザイオソフト株式会社 関心領域指定方法、関心領域指定プログラム、関心領域指定装置
JP2009028077A (ja) 2007-07-24 2009-02-12 Ge Medical Systems Global Technology Co Llc 画像作成方法および装置
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
CN102844794B (zh) * 2010-04-16 2016-07-06 皇家飞利浦电子股份有限公司 图像数据重定格式
US9020229B2 (en) * 2011-05-13 2015-04-28 Broncus Medical, Inc. Surgical assistance planning method using lung motion analysis
WO2013093761A2 (en) 2011-12-21 2013-06-27 Koninklijke Philips Electronics N.V. Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US10499992B2 (en) * 2014-10-30 2019-12-10 Edda Technology, Inc. Method and system for estimating a deflated lung shape for video assisted thoracic surgery in augmented and mixed reality
US9972081B2 (en) 2014-10-30 2018-05-15 Edda Technology, Inc. Method and system for estimating a deflated lung shape for video assisted thoracic surgery
JP7229155B2 (ja) * 2016-11-02 2023-02-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術のための連続的な位置合せのシステム及び方法
US11712205B2 (en) * 2017-08-22 2023-08-01 Albert Einstein College Of Medicine High resolution intravital imaging and uses thereof
US20190262076A1 (en) * 2018-02-23 2019-08-29 Galil Medical Inc. Volumetric imaging
US11107213B2 (en) * 2018-12-28 2021-08-31 Biosense Webster (Israel) Ltd. Correcting medical scans
KR20220048973A (ko) * 2019-05-29 2022-04-20 스티븐 비. 머피 수술에서 증강 현실을 이용하기 위한 시스템들 및 방법들
US11669984B2 (en) * 2020-02-14 2023-06-06 The Johns Hopkins University Method and system for registering multiple structures in medical images
EP4161432A1 (en) * 2020-06-09 2023-04-12 Stryker Leibinger GmbH & Co. KG Spatially-aware displays for computer-assisted interventions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001037219A1 (en) * 1999-11-19 2001-05-25 General Electric Company Method and apparatus for reformatting tubular volumetric bodies
WO2001078005A2 (en) * 2000-04-11 2001-10-18 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
US20120219200A1 (en) * 2000-04-11 2012-08-30 Cornell Research Foundation, Inc. System and Method for Three-Dimensional Image Rendering and Analysis
US20050134582A1 (en) * 2003-12-23 2005-06-23 Bernhard Erich Hermann Claus Method and system for visualizing three-dimensional data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNJI UENO等: "Three-dimensional imaging of thoracic diseases with multi-detector row CT", 《THE JOURNAL OF MEDICAL INVESTIGATION》 *
WILLIAM E. HIGGINS等: "3D CT-Video Fusion for Image-Guided Bronchoscopy", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS PERGAMON PRESS, NEW YORK, NY, US》, pages 1 - 6 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117062569A (zh) * 2021-12-20 2023-11-14 皇家飞利浦有限公司 根据放射照相图像估计肺容量

Also Published As

Publication number Publication date
US20210319616A1 (en) 2021-10-14
JP2021536279A (ja) 2021-12-27
DE112019004302T5 (de) 2021-05-27
EP3618005A1 (en) 2020-03-04
CN112639887B (zh) 2024-05-14
WO2020043585A1 (en) 2020-03-05
JP7407799B2 (ja) 2024-01-04
US11694386B2 (en) 2023-07-04

Similar Documents

Publication Publication Date Title
US9495794B2 (en) Three-dimensional image display apparatus, method, and program
US10083515B2 (en) Method and system for segmenting medical imaging data according to a skeletal atlas
CN110211215B (zh) 医用图像处理装置以及医用图像处理方法
US8942455B2 (en) 2D/3D image registration method
US8923590B2 (en) Method and system for 3D cardiac motion estimation from single scan of C-arm angiography
US8953856B2 (en) Method and system for registering a medical image
Pernus 3D-2D registration of cerebral angiograms: A method and evaluation on clinical images
Jones Facial Reconstruction Using Volumetric Data.
CN106573150A (zh) 图像中血管结构的遮盖
CN112639887B (zh) 图像处理系统及方法
Fu et al. Local incompressible registration for liver ablation surgery assessment
Nakao et al. Deformation analysis of surface and bronchial structures in intraoperative pneumothorax using deformable mesh registration
CN111798468B (zh) 图像处理方法及装置、存储介质及电子终端
CN111145353A (zh) 通过图像分割和网格特征点提取算法生成3d点云的方法
Nakao et al. Analysis of heterogeneity of pneumothorax-associated deformation using model-based registration
Reinhardt et al. Pulmonary imaging and analysis
TWI773491B (zh) 肺功能鑑別方法
Gong et al. Segmentation of pulmonary blood vessels based on fractional differentiation in 3D chest CT images
Doherty et al. 3D Visualisation of Tumours and Blood Vessels in Human Liver.
Vijayaraj et al. Small cell lung tumour differentiation using F-18 (Fluorine-18) PET and smoothing using Gaussian 3D convolution operator
Schreyer et al. Surface rendering
Martínez et al. Tracking by means of geodesic region models applied to multidimensional and complex medical images
Skalski et al. 3D segmentation and visualisation of mediastinal structures adjacent to tracheobronchial tree from CT data
Zhou Computer aided diagnosis of lung ground glass opacity nodules and large lung cancers in CT
Gorbunova Image registration of lung CT scans for monitoring disease progression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant