CN110073409A - 经由遮挡形状重建和鲁棒点匹配的cbct到mr配准 - Google Patents

经由遮挡形状重建和鲁棒点匹配的cbct到mr配准 Download PDF

Info

Publication number
CN110073409A
CN110073409A CN201780073607.4A CN201780073607A CN110073409A CN 110073409 A CN110073409 A CN 110073409A CN 201780073607 A CN201780073607 A CN 201780073607A CN 110073409 A CN110073409 A CN 110073409A
Authority
CN
China
Prior art keywords
image
cbct
liver
preoperative
anatomical organs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780073607.4A
Other languages
English (en)
Other versions
CN110073409B (zh
Inventor
J·特雷亚尔
S·斯莫尔卡
M·D·林
J-F·格施温德
J·邓肯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Yale University
Original Assignee
Koninklijke Philips Electronics NV
Yale University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV, Yale University filed Critical Koninklijke Philips Electronics NV
Publication of CN110073409A publication Critical patent/CN110073409A/zh
Application granted granted Critical
Publication of CN110073409B publication Critical patent/CN110073409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

在一种图像引导方法中,使用锥形束计算机断层摄影(CBCT)成像设备(34)来采集解剖器官的CBCT图像的串流。对于每幅CBCT图像(44),对所述CBCT图像中的所述器官的表面进行分割,以生成所述CBCT图像中的所述解剖器官的分割表面(70)。使用统计形状先验(68)的遮挡形状重建(66)可以用来重建缺失表面部分或遮挡表面部分。所述解剖器官的术前医学图像(12)和所述CBCT图像通过使用所述术前医学图像中的所述器官的分割表面(30)与所述CBCT图像中的所述器官的所述分割表面的点集配准将所述图像中的一种图像扭曲到所述图像中的另一种图像来空间地配准。显示将经扭曲的图像与所述另一种图像进行组合的融合图像(82)。

Description

经由遮挡形状重建和鲁棒点匹配的CBCT到MR配准
技术领域
下文总体上涉及图像引导的医学流程领域、医学成像领域、肝癌处置领域、以及相关的领域。
背景技术
肝癌是最常见的癌症之一。全世界每年诊断大于800000个肝细胞癌(HCC,原发性肝癌)每年的新案例和大于300000个转移性疾病的案例。经导管动脉化学栓塞(TACE)是多于70%的这些患者中的处置的支柱。TACE是x-射线图像引导的介入肿瘤学流程,其中化疗药物从肝动脉中的导管被局部地递送到肿瘤本身。该流程通常通过使用造影剂的锥形束计算机断层摄影(CBCT)成像来引导,所述造影剂被施予动脉内以便最有效地成像正在供给肿瘤的动脉脉管系统。二维(2D)荧光透视也可以用来提供实时的引导成像。
典型的TACE处置工作流如下。基线多相对比增强的MRI(CE-MRI)使用静脉内造影剂注射来执行以诊断肝癌。TACE流程此后使用C型臂CBCT成像设备来执行(例如,在一些常见的时间线中,在诊断之后的4-6周),以提供用于流程内导管引导的引导成像。在TACE流程期间,术前CE-MRI图像被显示作为参考,而CBCT图像被显示以提供几乎实时的引导成像。CBCT图像更新能够被快速地执行,例如在一些商用的CBCT设备中每五秒一个240°图像扫掠。流程内CBCT成像提供了关于TACE流程期间的造影剂(并且引申开来是化疗药物)沉积的位置和密度的实时反馈。任选地,尽管仅以2D方式,但是荧光透视能够提供甚至更加最新的图像引导。在TACE流程后,后续的CE-MRI经常被执行以评价对TACE治疗的患者响应,并且额外的TACE流程可以如通过进展评价保证的那样被执行。
TACE流程是复杂的外科手术流程,其成功执行需要外科医生并行地整合许多信息源(例如参考CE-MRI、CBCT图像通过、2D荧光透视成像、来自导管的触觉反馈)。通常,来自多种成像模态的信息被独立地提供。特别地,在将由介入前CE-MRI提供的复杂的三维(3D)信息与由流程内CBCT提供的对应的3D信息进行合并中,外科医生没有被提供帮助。
下文公开了解决上面提及的问题以及其他问题的新的且改进的系统和方法。
发明内容
在一个所公开的方面中,公开了一种图像引导设备,包括锥形束计算机断层摄影成像(CBCT)设备、电子处理器、显示器、以及至少一个非瞬态存储介质,所述非瞬态存储介质存储能由所述电子处理器读取并运行以通过执行空间配准过程来将在术前医学图像中成像的肝脏与在由所述CBCT成像设备采集的CBCT图像中成像的所述肝脏空间地配准的指令。所述空间配准过程包括:对所述CBCT图像中的所述肝脏的表面进行分割,以生成所述CBCT图像中的所述肝脏的分割表面;通过使用所述术前医学图像中的所述肝脏的分割表面与所述CBCT图像中的所述肝脏的所述分割表面的点集配准将所述术前医学图像和所述CBCT图像中的一种图像扭曲到所述术前医学图像和所述CBCT图像中的另一种图像来将所述术前医学图像与所述CBCT图像空间地配准;以及在所述显示器上显示将所述术前医学图像和所述CBCT图像中的经扭曲的一种图像与所述术前医学图像和所述CBCT图像中的所述另一种图像进行组合的融合图像。
在另一个所公开的方面中,一种非瞬态存储介质存储能由电子处理器读取并运行以通过执行空间配准过程来将在术前医学图像中成像的解剖器官与在锥形束计算机断层摄影(CBCT)图像中成像的所述解剖器官空间地配准的指令,所述空间配准过程包括:通过对所述CBCT图像中的所述解剖器官的表面进行分割来生成所述CBCT图像中的所述解剖器官的分割表面,并且使用针对所述解剖器官的统计形状先验来执行遮挡形状重建以重建所述CBCT图像中的所述解剖器官的所述分割表面的一部分;以及通过使用所述术前医学图像中的所述解剖器官的分割表面与所述CBCT图像中的所述解剖器官的所述分割表面的点集配准将所述术前医学图像和所述CBCT图像中的一种图像扭曲到所述术前医学图像和所述CBCT图像中的另一种图像来将所述术前医学图像与所述CBCT图像空间地配准。
在另一个所公开的方面中,公开了一种图像引导方法。使用锥形束计算机断层摄影(CBCT)成像设备来采集解剖器官的CBCT图像的串流。对于所述串流中的每幅CBCT图像,使用电子处理器和显示器来执行空间配准过程。所述空间配准过程包括:对所述CBCT图像中的所述解剖器官的表面进行分割,以生成所述CBCT图像中的所述解剖器官的分割表面;通过使用所述解剖器官的术前医学图像中的所述解剖器官的分割表面与所述CBCT图像中的所述解剖器官的所述分割表面的点集配准将所述术前医学图像和所述CBCT图像中的一种图像扭曲到所述术前医学图像和所述CBCT图像中的另一种图像来将所述术前医学图像与所述CBCT图像空间地配准;以及在所述显示器上显示将所述术前医学图像和所述CBCT图像中的经扭曲的一种图像与所述术前医学图像和所述CBCT图像中的另一种图像进行组合的融合图像。
一个优点在于提供了将锥形束计算机断层摄影(CBCT)引导图像与术前医学图像进行组合的融合图像。
另一优点在于针对CBCT引导图像的串流中的每幅CBCT图像执行这样的图像融合,以便生成以CBCT引导图像的串流的更新速率更新的融合图像。
另一优点在于提供了CBCT引导图像中的肝脏或其他解剖器官与术前医学图像中的肝脏或其他解剖器官的空间配准,包括将在CBCT引导图像中被遮挡或未被成像的解剖器官的表面的部分空间地配准。
另一优点在于提供了CBCT引导图像的串流与术前磁共振图像(MRI)或多探测器计算机断层摄影(MDCT)术前医学图像的视觉整合。
给定的实施例可以提供前述优点中的零个、一个、两个或更多个,并且/或者可以提供在阅读并理解本公开后对于本领域普通技术人员来说将变得显而易见的其他优点。
附图说明
本发明可以采取各种部件和部件的布置,以及各种步骤和步骤的安排的形式。附图仅出于说明优选实施例的目的,并且不应被解释为对本发明的限制。
图1图解性地示出了用于肝癌的基于成像的诊断并且用于执行用于处置肝癌的经导管动脉化学栓塞(TACE)流程的说明性系统。
图2示出了图1中示出的各种图像和分割的放大视图和图解性工作流连接。
图3图解性地示出了如本文中描述的一些实验结果。
具体实施方式
一种提供由锥形束计算机断层摄影(CBCT)引导图像和参考术前医学图像(通常是MRI图像或MDCT图像)体现的信息的直观合并的方式将是将CBCT图像与术前医学图像空间地配准,并且然后将它们显示为融合图像,例如其中一种图像作为部分透明的叠加图像被显示在另一种图像的顶上。
然而,由于若干原因,流程内CBCT图像到基线MRI或MDCT术前医学图像的配准是有挑战的问题。一个难点在于,相比于用于基线MRI或MDCT术前医学图像的常见矩形FOV,CBCT视场(FOV)通常在形状上是圆柱形的。另一难点在于,在许多情况下肝脏在CBCT FOV中是完全不可见的。此外,CBCT引导图像经常具有低质量,并且易于产生伪影。这是诸如不完整成像弧(例如,在C型臂构造中臂可以转动大约240°而非将提供完整成像数据集的完整360°)和实现几乎实时的CBCT成像的短扫描时间(例如,单弧通过可以在大约5秒内被执行)的因素的结果。在MRI术前医学图像的情况下,成像模态的差异导致相异的对比特性,例如,相比于MRI成像,CBCT成像不提供软组织对比。这降低了试图对齐肝内解剖结构的基于强度的配准的效力。
更进一步地,造影剂递送通路经常是不同的。术前医学成像通常采用静脉内递送的造影剂,用于其的摄取至少最初进入静脉系统中。相比之下,经导管动脉化学栓塞(TACE)流程从导管将化疗药物局部地递送到肝动脉中到达肿瘤本身。为了最大化用于TACE的成像,因此,通常切实可行的是,在动脉内递送CBCT造影剂,有时使用在执行TACE流程中采用的同一动脉导管。因此,用于CBCT引导图像的摄取至少最初进入动脉系统中。(用于术前医学图像的静脉内造影剂递送对比用于CBCT引导图像的动脉内造影剂递送)的这种差异进一步使图像配准复杂化,因为对比增强的脉管系统不是相同的。
在本文中公开的方法中,流程内CBCT图像被配准到基线MRI或MDCT术前医学图像(通常,但是也预见到术前图像到CBCT图像的配准)。这通过重建的肝脏表面的点集配准来完成。换言之,肝脏表面在相应的CBCT和术前图像中的每幅中进行分割,并且每个肝脏表面通过点集来表示,其可以例如被布置为散布在每个分割的肝脏表面上的等间距的点的非平面网格。一种图像中的肝脏表面的点集被扭曲以匹配另一种图像中的肝脏表面的点集,由此一种图像被扭曲以与另一种图像配准。这种点配准便于在动态反馈的基础上对处置策略的流程内调整以评估(一个或多个)目标病变中的充足药物沉积,这增加了流程内CBCT成像的相关性和实用性。
虽然参考对肝脏执行的TACE流程进行描述,但是更一般地,所公开的用于将流程内CBCT引导图像与术前医学图像空间地配准的方法可以基本上用于任何解剖器官(例如肝脏、前列腺、心脏等),并且将发现有用于提供用于TACE或其他图像引导的介入流程的图像引导中。
所公开的方法部分地基于本文中做出的如下观察:肝脏的形状和其内部结构的对应空间组织在基线MRI、MDCT、或其他术前医学成像与随后的流程内CBCT成像之间基本上保持不变。为了便于肝脏成像,具体地,肝脏的大体积确保其形状、尺寸和取向即使在肿瘤生长、实质改变和炎性过程的影响下也保持大致不变。因此,在基线术前医学图像和流程内CBCT图像两者上分割的肝脏表面的点配准具有鲁棒地对齐内部肝结构(诸如HCC病变)的效果,该内部肝结构的空间位置和取向在成像模态之间保持一致。此外,通过在肝脏表面的对齐上假定空间配准,不相关的且可能产生反效果的且令人误解的信息从配准过程中被排除,诸如胃肠(GI)道、肺和其他周围解剖结构的尺寸、位置和取向。
另一难点在于整个肝脏经常在CBCT图像中未被完全成像。这通常是由于CBCT成像与术前医学成像相比通常更小的圆柱形FOV和不完整的扫描弧(例如,在一些采用C型臂构造的CBCT成像设备中大约为240°)。为了解决肝脏从CBCT FOV中被部分地排除的情况,公开了采用利用统计肝脏形状先验的遮挡表面重建来重建CBCT图像中的肝脏表面的缺失部分或遮挡部分。然后,该整个分割的肝脏表面(包括重建部分)与术前医学图像中的对应肝脏表面一起被使用于点配准中。在备选实施例中,不执行重建,并且代替地,点集配准被限制于将在CBCT图像中实际成像的肝脏的表面的部分与术前医学图像中的肝脏的表面的对应部分进行匹配。
因此,本文中公开的是经由流程内CBCT图像与(例如通过MRI或MDCT成像采集的)术前医学图像中的分割肝脏表面的点集配准解决对两种图像的多模态配准的有挑战的问题。如果肝脏在CBCT FOV不是完全可见的,在其全局形状任选地通过整合使用针对肝脏的统计形状先验的遮挡形状重建来重建。在一些说明性范例中,以下工作流被采用。肝脏表面在MRI或MDCT术前医学图像中进行分割(手动地或自动地)。肝脏表面也在每幅CBCT图像中进行分割(手动地或自动地)。如果肝脏在CBCT FOV不是完全可见的,则任选地采用使用统计肝脏形状先验的遮挡形状重建来重建肝脏的全局表面。从CBCT分割/重建的肝脏表面到从MR分割的肝脏表面的点配准(例如,鲁棒点匹配)然后被应用以将CBCT图像非刚性地配准到术前医学图像。备选地,预见到类似地将术前医学图像配准到CBCT图像。融合图像然后根据经空间配准的图像来生成。为了以此方式提供几乎实时的CBCT引导成像,前述流程优选地针对由CBCT成像设备采集的CBCT图像的串流中的每幅CBCT图像进行重复。
现在参考图1,示出了用于肝癌的基于成像的诊断并且用于执行用于处置肝癌的经导管动脉化学栓塞(TACE)流程的说明性系统。在使用医学成像设备14采集医学图像12的医学成像10的帮助下进行初始肝癌诊断。为了肝癌诊断,诊断医学成像设备14通常是磁共振成像(MRI)成像设备,但是多探测器计算机断层摄影(MDCT)成像设备也可以被使用。假设TACE治疗跟随,则这些初始诊断图像也能够被认为是术前医学图像12,并且该术语将大体在下文中使用。术前医学成像10一般使用造影剂来执行,并且更具体地,静脉内造影剂16通常被采用。一般地,造影剂16可以是能够被施予静脉内并增强x-射线对比的任何药物。
术前医学图像12由电子处理器20(诸如说明性计算机22)来进行处理。这种处理可以包括图像重建步骤,例如重建由成像设备14(包括生成MRI图像的MRI设备)采集的原始k-空间数据;或重建由成像设备14(包括生成MDCT图像的MDCT成像设备)采集的原始x-射线吸收数据。备选地,这种图像重建可以由与成像设备14一体的电子处理器来执行。在任一情况下,得到的术前医学图像12在肝脏分割操作24中进行分割,该肝脏分割操作可以是自动图像分割过程(例如,检测肝脏表面作为高图像梯度表面)、手动分割过程或半自动分割过程。在手动或半自动分割中,用户(例如放射科医生或肿瘤科医生)操作显示术前医学图像12的选定切片(例如,轴向、矢状和/或冠状切片,和/或由用户选择的倾斜切片)的表面标记用户接口(UI)26,并且使得用户能够例如使用鼠标28或其他指点设备沿着肝脏表面点击点来提供肝脏表面标志,UI 26然后使用样条曲线或其他插值来连接这些点以勾画肝脏表面。肝脏分割操作24的结果是术前医学图像12中的肝脏的分割表面30。
术前医学成像10在TACE流程之前被执行。在一些常见的临床工作流中,术前医学成像10可以在TACE流程之前的几天或几周被执行,但是其他时间间隔也被预见到。通常,肝脏分割24也将在TACE流程的开始之前被执行。
继续参考图1,在TACE流程的当天,使患者准备好进行外科手术,并且将患者装载到锥形束计算机断层摄影(CBCT)成像设备34中。说明性CBCT成像设备34是具有C型臂36的飞利浦XperCTTM CBCT成像设备,所述C型臂在一端上承载x-射线源并且在C型臂36的相对端上承载x-射线探测器,x-射线探测器被取向为使得由x-射线源发射的x-射线锥形束撞击到x-射线探测器射线上。说明性C型臂36被安装在头顶上的导轨38上,以在将C型臂36定位在被布置在外科手术台(未示出)上的患者上中提供灵活性;然而,其他和/或额外的支撑结构/构造也被预见到。在TACE流程期间,CBCT成像40被执行。为了提供摄取对比,在CBCT成像之前,患者被施予x-射线造影剂42,所述x-射线造影剂通常被施予动脉内以便最大化到供给恶性组织的动脉脉管系统中的摄取。任选地,造影剂42使用被外科医生用来执行TACE流程的同一动脉导管(未示出)来递送。流程内CBCT成像40采集CBCT图像的串流,说明性的一幅CBCT图像44被示出。
如在图1中进一步图示的,每幅CBCT图像44由电子处理器50(诸如具有显示器54(例如LCD显示器、等离子显示器等等)的说明性计算机52)来进行处理。更一般地,显示器54与电子处理器50可操作地连接,使得电子处理器能够操作显示器54显示图像或其他信息56。任选地,电子处理器50可以执行CBCT图像重建步骤,例如重建使用C型臂36上的x-射线探测器采集的原始x-射线吸收数据来生成CBCT图像。备选地,这种图像重建可以由与CBCT成像设备34一体的电子处理器来执行。在任一情况下,得到的CBCT图像44在肝脏分割操作58中进行分割,该肝脏分割操作可以是自动图像分割过程(例如,检测肝脏表面作为高图像梯度表面)、手动分割过程或半自动分割过程。在手动或半自动分割中,用户(例如TACE外科医生或外科手术助手)操作显示术前CBCT图像44的选定切片(例如,轴向、矢状和/或冠状切片,和/或由用户选择的倾斜切片)的表面标记用户接口(UI)60,并且使得用户能够例如使用鼠标62或其他指点设备沿着肝脏表面点击点来提供肝脏表面标志,UI 60然后使用样条曲线或其他插值来连接这些点以勾画肝脏表面。因为CBCT成像40一般以快速更新速率生成CBCT图像44的串流,例如在一些实施方式中每5秒,该串流中的每幅CBCT图像44的完全手动分割一般是不切实际的;然而,手动地为该串流中的第一幅CBCT图像44分配肝脏表面标志并且此后在患者在TACE流程期间保持不动的假设下使用该标志作为用于该串流中的随后的CBCT图像的自动分割的近似初始开始点可以是切实可行的。备选地,如已经提及的,肝脏分割58可以是完全自动的,在此情况下表面标记UI 60可以被省略。肝脏分割操作58的结果是CBCT图像44中的肝脏的分割表面64。
如果整个肝脏未被成像在CBCT图像44中,例如因为肝脏的一部分位于CBCT FOV之外,那么任选地肝脏表面的缺失部分能够通过使用统计肝脏形状先验68的遮挡形状重建操作66来重建,所述统计肝脏形状先验例如被生成为在针对多个不同人采集的CBCT图像上平均的肝脏的形状。遮挡形状重建66可以例如需要使统计肝脏形状先验68变形,使得变形的统计肝脏形状先验68与通过肝脏分割58生成的分割肝脏表面相匹配,其中匹配分割表面的变形被约束为采用某些变换,诸如统计肝脏形状先验68的均匀放大/缩小、统计肝脏形状先验68的刚性旋转和/或平移、等等。以此方式,与CBCT图像44中缺失或遮挡的肝脏表面的部分相对应的变形的统计肝脏形状先验68的部分充当该缺失表面部分或遮挡表面部分的相当准确的近似。跟随有遮挡形状重建66的肝脏分割58的结果是CBCT图像44中的肝脏的分割表面70。
继续参考图1,操作80通过将术前医学图像12和CBCT图像44中的一种图像扭曲到术前医学图像12和CBCT图像44中的另一种图像来将术前医学图像12与CBCT图像44空间地配准。通常,CBCT图像44被扭曲以与术前医学图像12空间地配准,这具有当CBCT图像的串流被处理时它们被扭曲以匹配静态术前医学图像12的优点。空间配准80使用术前医学图像12中的肝脏的分割表面30与CBCT图像44中的肝脏的分割表面70的点集配准。这需要定义跨分割表面30散布的点集、跨分割表面70散布的对应点集,并且确定将CBCT图像44中的肝脏的分割表面70上的点匹配到术前医学图像12的分割表面30上的点的空间变换(通常但不一定是非刚性或非线性变换)。(这假设CBCT图像44要被扭曲到术前医学图像12)。用于确定变换的多种点集配准方法是已知的,诸如(通过非限制性的说明性示例的方式)鲁棒点匹配。所确定的空间变换然后被应用于正被扭曲的图像的体素以产生期望的扭曲。
遮挡形状重建操作66提供某些优点,包括提供更完整的分割肝脏表面70以用于匹配到由术前医学图像12提供的完整的肝脏表面30。然而,备选地预见到省略遮挡形状重建操作66,如在图1中通过虚线箭头图解性地指示的那样将分割表面64输入到点配准操作80中。在这种情况下,点集配准合适地采用仅在分割表面64上的点集,省略肝脏表面的任何缺失部分,并且在来自术前医学图像12的分割表面30上的点集仅在也在CBCT图像44中捕获的肝脏表面的部分上延伸。
得到的空间配准的图像优选地在显示器54上被显示为将术前医学图像和CBCT图像中的经扭曲的一种图像与术前医学图像和CBCT图像中的另一种图像进行组合的融合图像82。在说明性范例中,融合图像82通过将经扭曲的CBCT图像示出为显示在参考术前医学图像的顶部上的叠加来将经扭曲的CBCT图像与术前医学图像进行组合,其中,该叠加具有受透明度因子α控制的部分透明度。
电子处理器20、50可以例如被体现为运行从存储指令的一个或多个非瞬态电子存储介质(例如一个或多个硬盘驱动器、光盘、固态驱动器或其他电子数字存储设备、其各种组合、等等)读取的指令的相应计算机22、52(例如台式计算机、基于网络的服务器计算机、专用的成像设备控制计算机、其各种组合、等等)。在TACE流程期间使用的计算机52包括至少一个显示器54(例如LCD显示器、等离子显示器、等等)或具有对其的可操作访问。说明性范例包括分别用于术前医学图像分割和TACE流程图像引导支持的单独的计算机22、52。这反映了医院或其他医学设施处的常见实施方式,其中术前医学成像10在放射学实验室处(例如在MRI室中)被执行,而TACE流程在不同的设施(例如手术室、图像引导的医学流程设施、等等)处被执行。设施之间的通信可以是通过影像归档和通信系统(PACS)、放射学信息系统(RIS)、等等(未示出)。此外,预见到两个单独的计算机22、52由执行术前成像和TACE流程图像引导操作两者的单个计算机或其他单个电子处理器来代替。
参考图2,在图1中示出的各种图像12、44、82和分割表面30、64、70以放大形式被再现。图2中的注释“#1:分割”对应于图1的操作24、58。图2中的注释“#2:CBCT重建”对应于图1的操作66。图2中的注释“#3:点配准”对应于图1的操作80。
参考图3,图示了与其他类型的图像配准相比,所公开的图像配准方法的实施例的良好性能。图3中的左侧图像示出了使用基于强度的刚性配准获得的融合图像。图3的中心图像示出了使用基于强度的仿射配准获得的融合图像。图3的最右侧图像示出了使用如本文中公开的肝脏表面的点配准获得的融合图像。如在图3中看出的,基于强度的配准方法(左侧和中间融合图像)全面失败,而所公开的肝脏表面的点配准(右侧图像)以高保真度对齐内部分割的HCC。
尽管利用对将肝脏的术前图像与CBCT图像进行融合(其对提供TACE图像引导特别有用)的说明性参考进行了公开,但是备选地预见到采用所公开的方法用于将另一解剖器官(诸如前列腺)的术前图像与CBCT图像进行融合。
已经参考优选实施例描述了本发明。他人在阅读和理解以上具体实施方式的情况下可以想到修改或更改。本文旨在将本发明解释为包括所有这种修改和更改,只要它们落入权利要求书及其等价方案的范围之内。

Claims (21)

1.一种图像引导设备,包括:
锥形束计算机断层摄影(CBCT)成像设备(34);
电子处理器(20、50);
显示器(54);以及
至少一个非瞬态存储介质,其存储能由所述电子处理器读取并运行以通过执行空间配准过程来将在术前医学图像(12)中成像的肝脏与在由所述CBCT成像设备采集的CBCT图像(44)中成像的所述肝脏空间地配准的指令,所述空间配准过程包括:
对所述CBCT图像中的所述肝脏的表面进行分割,以生成所述CBCT图像中的所述肝脏的分割表面(70);
通过使用所述术前医学图像中的所述肝脏的分割表面(30)与所述CBCT图像中的所述肝脏的所述分割表面的点集配准(80)将所述术前医学图像和所述CBCT图像中的一种图像扭曲到所述术前医学图像和所述CBCT图像中的另一种图像来将所述术前医学图像与所述CBCT图像空间地配准;以及
在所述显示器上显示将所述术前医学图像和所述CBCT图像中的经扭曲的一种图像与所述术前医学图像和所述CBCT图像中的所述另一种图像进行组合的融合图像(82)。
2.根据权利要求1所述的图像引导设备,其中,对所述CBCT图像(44)中的所述肝脏的所述表面的所述分割包括:
使用统计肝脏形状先验(68)来执行遮挡形状重建(66)以重建所述CBCT图像中的所述肝脏的所述分割表面的一部分。
3.根据权利要求1-2中的任一项所述的图像引导设备,其中,对所述CBCT图像(44)中的所述肝脏的所述表面的所述分割包括:
提供用户接口(60),经由所述用户接口接收指示所述CBCT图像中的所述肝脏的所述表面的肝脏表面标志;以及
至少部分地基于所述肝脏表面标志来生成所述CBCT图像中的所述肝脏的所述分割表面。
4.根据权利要求1-3中的任一项所述的图像引导设备,其中:
所述CBCT成像设备(34)包括C型臂(36),所述C型臂被操作用于以更新速率流传输CBCT图像,并且
所述指令能由所述电子处理器读取并运行以针对所述串流的每幅CBCT图像(44)重复所述空间配准过程,从而在所述显示器(54)上显示以所述更新速率更新的所述融合图像(82)。
5.根据权利要求1-4中的任一项所述的图像引导设备,其中,所述术前医学图像(12)是磁共振成像(MRI)图像或多探测器计算机断层摄影(MDCT)图像。
6.根据权利要求1-5中的任一项所述的图像引导设备,其中,所述空间配准过程还包括:
对所述术前医学图像(12)中的所述肝脏的所述表面进行分割,以生成所述术前医学图像中的所述肝脏的所述分割表面(30)。
7.根据权利要求1-6中的任一项所述的图像引导设备,其中,所述空间配准包括:
使用所述术前医学图像中的所述肝脏的所述分割表面(30)与所述CBCT图像中的所述肝脏的所述分割表面(70)的点集配准将所述CBCT图像(44)扭曲到所述术前医学图像(12)。
8.根据权利要求1-7中的任一项所述的图像引导设备,其中,显示所述融合图像(82)包括:
显示所述术前医学图像(12)和所述CBCT图像(44)中的经扭曲的一种图像到所述术前医学图像和所述CBCT图像中的另一种图像上的叠加,其中,所述叠加具有受透明度因子(α)控制的部分透明度。
9.一种非瞬态存储介质,存储能由电子处理器(20、50)读取并运行以通过执行空间配准过程来将在术前医学图像(12)中成像的解剖器官与在锥形束计算机断层摄影(CBCT)图像(44)中成像的所述解剖器官空间地配准的指令,所述空间配准过程包括:
通过对所述CBCT图像中的所述解剖器官的表面进行分割来生成所述CBCT图像中的所述解剖器官的分割表面(70),并且使用针对所述解剖器官的统计形状先验(68)来执行遮挡形状重建(66)以重建所述CBCT图像中的所述解剖器官的所述分割表面的一部分;以及
通过使用所述术前医学图像中的所述解剖器官的分割表面与所述CBCT图像中的所述解剖器官的所述分割表面的点集配准将所述术前医学图像和所述CBCT图像中的一种图像扭曲到所述术前医学图像和所述CBCT图像中的另一种图像来将所述术前医学图像与所述CBCT图像空间地配准。
10.根据权利要求9所述的非瞬态存储介质,其中,所述解剖器官是肝脏,并且所述统计形状先验(68)是针对所述肝脏的统计形状先验。
11.根据权利要求9-10中的任一项所述的非瞬态存储介质,其中,对所述CBCT图像(44)中的所述肝脏的所述表面的所述分割包括:
提供用户接口(60),经由所述用户接口接收指示所述CBCT图像中的所述肝脏的所述表面的肝脏表面标志;以及
至少部分地基于所述肝脏表面标志来生成所述CBCT图像中的所述肝脏的所述分割表面。
12.根据权利要求9-11中的任一项所述的非瞬态存储介质,其中,所述空间配准过程还包括:
对所述术前医学图像(12)中的所述解剖器官的所述表面进行分割,以生成所述术前医学图像中的所述解剖器官的所述分割表面(30)。
13.根据权利要求9-12中的任一项所述的非瞬态存储介质,其中,所述空间配准包括:
使用所述术前医学图像中的所述解剖器官的所述分割表面(30)与所述CBCT图像中的所述解剖器官的所述分割表面(70)的点集配准将所述CBCT图像(44)扭曲到所述术前医学图像(12)。
14.根据权利要求9-13中的任一项所述的非瞬态存储介质,其中,所述空间配准过程还包括:
在与所述电子处理器(20、50)可操作地连接的显示器(54)上显示将所述术前医学图像(12)和所述CBCT图像(44)中的经扭曲的一种图像与所述术前医学图像和所述CBCT图像中的所述另一种图像进行组合的融合图像(82)。
15.根据权利要求14所述的非瞬态存储介质,其中,所述融合图像(82)包括采用透明度混合(α)的叠加图像。
16.根据权利要求14-15中的任一项所述的非瞬态存储介质,其中,所述指令能由所述电子处理器(20、50)读取并运行以针对CBCT图像的串流中的每幅CBCT图像(44)重复所述空间配准过程,从而显示以所述串流的更新速率更新的所述融合图像(82)。
17.一种图像引导方法,包括:
使用锥形束计算机断层摄影(CBCT)成像设备(34)来采集解剖器官的CBCT图像的串流;以及
对于所述串流中的每幅CBCT图像(44),使用电子处理器(20、50)和显示器(54)执行空间配准过程,所述空间配准过程包括:
对所述CBCT图像中的所述解剖器官的表面进行分割,以生成所述CBCT图像中的所述解剖器官的分割表面(70);
通过使用所述解剖器官的术前医学图像(12)中的所述解剖器官的分割表面(30)与所述CBCT图像中的所述解剖器官的所述分割表面的点集配准将所述术前医学图像和所述CBCT图像中的一种图像扭曲到所述术前医学图像和所述CBCT图像中的另一种图像来将所述术前医学图像与所述CBCT图像空间地配准;以及
在所述显示器上显示将所述术前医学图像和所述CBCT图像中的经扭曲的一种图像与所述术前医学图像和所述CBCT图像中的所述另一种图像进行组合的融合图像(82)。
18.根据权利要求17所述的图像引导方法,其中,对所述CBCT图像(44)中的所述解剖器官的所述表面的所述分割包括:
使用针对所述解剖器官的统计形状先验(68)来执行遮挡形状重建(66)以重建所述CBCT图像中的所述解剖器官的所述分割表面的一部分。
19.根据权利要求17-18中的任一项所述的图像引导方法,其中,所述采集包括:
使用所述CBCT成像设备(34)来采集所述解剖器官的CBCT图像的所述串流,所述CBCT成像设备具有在小于360度弧内扫描所述解剖器官的C型臂(36)。
20.根据权利要求17-19中的任一项所述的图像引导方法,其中,所述解剖器官是肝脏。
21.根据权利要求1-7中的任一项所述的图像引导设备,其中,显示所述融合图像(82)包括使用部分透明的叠加来生成所述融合图像。
CN201780073607.4A 2016-09-29 2017-09-28 经由遮挡形状重建和鲁棒点匹配的cbct到mr配准 Active CN110073409B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662401375P 2016-09-29 2016-09-29
US62/401,375 2016-09-29
PCT/EP2017/074727 WO2018060393A1 (en) 2016-09-29 2017-09-28 Cbct to mr registration via occluded shape reconstruction and robust point matching

Publications (2)

Publication Number Publication Date
CN110073409A true CN110073409A (zh) 2019-07-30
CN110073409B CN110073409B (zh) 2023-11-14

Family

ID=60138330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073607.4A Active CN110073409B (zh) 2016-09-29 2017-09-28 经由遮挡形状重建和鲁棒点匹配的cbct到mr配准

Country Status (5)

Country Link
US (1) US11288846B2 (zh)
EP (1) EP3520075B1 (zh)
JP (1) JP7177770B2 (zh)
CN (1) CN110073409B (zh)
WO (1) WO2018060393A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419343A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 用于图像分割的系统和方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017085529A1 (en) * 2015-11-19 2017-05-26 Eos Imaging Method of preoperative planning to correct spine misalignment of a patient
WO2024024495A1 (ja) * 2022-07-27 2024-02-01 国立大学法人筑波大学 臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1864633A (zh) * 2005-05-19 2006-11-22 西门子公司 扩大对象区域的立体图像的显示范围的方法
JP2008012027A (ja) * 2006-07-05 2008-01-24 Shimadzu Corp 断層撮影装置および断層撮影方法
CN101779224A (zh) * 2007-08-03 2010-07-14 皇家飞利浦电子股份有限公司 使血管的cpr视图的观察方向与3d管状结构的被绘制体素体积上的观察角和/或与3d旋转血管造影设备的c臂系统的c臂几何结构相耦合
US20120155734A1 (en) * 2009-08-07 2012-06-21 Ucl Business Plc Apparatus and method for registering two medical images
CN103402453A (zh) * 2011-03-03 2013-11-20 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
CN103886581A (zh) * 2012-11-15 2014-06-25 西门子公司 利用生物力学模型仿真配准术前和术中图像的系统和方法
US20140241600A1 (en) * 2013-02-25 2014-08-28 Siemens Aktiengesellschaft Combined surface reconstruction and registration for laparoscopic surgery
US20150063668A1 (en) * 2012-03-02 2015-03-05 Postech Academy-Industry Foundation Three-dimensionlal virtual liver surgery planning system
CN105190692A (zh) * 2013-05-09 2015-12-23 皇家飞利浦有限公司 用于网格分割和网格配准的方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909794B2 (en) 2000-11-22 2005-06-21 R2 Technology, Inc. Automated registration of 3-D medical scans of similar anatomical structures
EP1565884A2 (en) 2002-11-18 2005-08-24 Koninklijke Philips Electronics N.V. Method and device for image registration
US7481545B2 (en) * 2005-10-13 2009-01-27 Avago Technologies Fiber Ip (Singapore) Pte. Ltd. Method of forming and mounting an angled reflector
GB201004084D0 (en) 2010-03-11 2010-04-28 Ucl Business Plc Apparatus and method for registering medical images containing a tubular organ
EP2566392A4 (en) * 2010-05-04 2015-07-15 Pathfinder Therapeutics Inc SYSTEM AND METHOD FOR MATCHING ABDOMINAL SURFACES USING PSEUDO-CHARACTERISTICS
JP6482250B2 (ja) 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1864633A (zh) * 2005-05-19 2006-11-22 西门子公司 扩大对象区域的立体图像的显示范围的方法
JP2008012027A (ja) * 2006-07-05 2008-01-24 Shimadzu Corp 断層撮影装置および断層撮影方法
CN101779224A (zh) * 2007-08-03 2010-07-14 皇家飞利浦电子股份有限公司 使血管的cpr视图的观察方向与3d管状结构的被绘制体素体积上的观察角和/或与3d旋转血管造影设备的c臂系统的c臂几何结构相耦合
US20120155734A1 (en) * 2009-08-07 2012-06-21 Ucl Business Plc Apparatus and method for registering two medical images
CN103402453A (zh) * 2011-03-03 2013-11-20 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
US20140193053A1 (en) * 2011-03-03 2014-07-10 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
US20150063668A1 (en) * 2012-03-02 2015-03-05 Postech Academy-Industry Foundation Three-dimensionlal virtual liver surgery planning system
CN103886581A (zh) * 2012-11-15 2014-06-25 西门子公司 利用生物力学模型仿真配准术前和术中图像的系统和方法
US20140241600A1 (en) * 2013-02-25 2014-08-28 Siemens Aktiengesellschaft Combined surface reconstruction and registration for laparoscopic surgery
CN105190692A (zh) * 2013-05-09 2015-12-23 皇家飞利浦有限公司 用于网格分割和网格配准的方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419343A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 用于图像分割的系统和方法

Also Published As

Publication number Publication date
US11288846B2 (en) 2022-03-29
CN110073409B (zh) 2023-11-14
WO2018060393A1 (en) 2018-04-05
EP3520075A1 (en) 2019-08-07
US20190251711A1 (en) 2019-08-15
JP7177770B2 (ja) 2022-11-24
JP2019528971A (ja) 2019-10-17
EP3520075B1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US10650513B2 (en) Method and system for tomosynthesis imaging
US9754390B2 (en) Reconstruction of time-varying data
Preim et al. Visual computing for medicine: theory, algorithms, and applications
RU2627147C2 (ru) Отображение в реальном времени видов сосудистой сети для оптимального перемещения устройства
US7450743B2 (en) Method and system of affine registration of inter-operative two dimensional images and pre-operative three dimensional images
CN109381805B (zh) 确定组织的局部的组织功能的方法,计算单元,医学成像设备和计算机可读的数据载体
US20060052690A1 (en) Contrast agent imaging-driven health care system and method
US9600885B2 (en) Temporal anatomical target tagging in angiograms
Abi-Jaoudeh et al. Image fusion during vascular and nonvascular image-guided procedures
GB2533632A (en) Method and system for obtaining low dose tomosynthesis and material decomposition images
CN110073409A (zh) 经由遮挡形状重建和鲁棒点匹配的cbct到mr配准
JP2021520236A (ja) 解剖学的構造に基づくフレームレス二次元/三次元画像レジストレーション
US20140015836A1 (en) System and method for generating and displaying a 2d projection from a 3d or 4d dataset
US8938107B2 (en) System and method for automatic segmentation of organs on MR images using a combined organ and bone atlas
DE112019007533T5 (de) Berechnung einer atemkurve für medizinische anwendungen
US11317875B2 (en) Reconstruction of flow data
US8358874B2 (en) Method for displaying computed-tomography scans, and a computed-tomography system or computed-tomography system assembly for carrying out this method
US11950947B2 (en) Generation of composite images based on live images
US9786069B2 (en) Refined reconstruction of time-varying data
US20080317318A1 (en) Method for visualizing a three-dimensional image data record from an x-ray CT examination and workstation for carrying out the method
US20180360405A1 (en) Ct perfusion protocol targeting
Reinertsen et al. The essential role of open data and software for the future of ultrasound-based neuronavigation
Royalty 4D DSA: New Methods and Applications for 3D Time-Resolved Angiography for C-arm CT Interventional Imaging
Limmer et al. Computer-Assisted visualization of central lung tumours based on 3-dimensional reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant