CN108496205A - 身体部分的三维模型 - Google Patents

身体部分的三维模型 Download PDF

Info

Publication number
CN108496205A
CN108496205A CN201680077227.3A CN201680077227A CN108496205A CN 108496205 A CN108496205 A CN 108496205A CN 201680077227 A CN201680077227 A CN 201680077227A CN 108496205 A CN108496205 A CN 108496205A
Authority
CN
China
Prior art keywords
models
blood vessel
vessel structure
body part
modeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680077227.3A
Other languages
English (en)
Other versions
CN108496205B (zh
Inventor
V·M·A·奥夫雷
R·弗洛朗
R·I·M-B·戈里奥
A·格罗特
J·威斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN108496205A publication Critical patent/CN108496205A/zh
Application granted granted Critical
Publication of CN108496205B publication Critical patent/CN108496205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种用于提供身体部分的患者特异性3D模型的装置。该装置被描述为提供(210)至少一幅2D X射线图像，所述至少一幅2D X射线图像包括患者的身体部分的血管结构的2D X射线图像数据。提供(220)所述身体部分的3D模型，所述3D模型包括3D建模的血管结构，其中，至少一个参数控制所述3D建模的血管结构的外观。将所述3D建模的血管结构与所述血管结构的所述2D X射线图像数据进行对照(230)来确定所述至少一个参数。所述3D模型根据所确定的至少一个参数来更新(240)。医学报告基于根据所述3D模型确定的信息来生成(250)。

Description

身体部分的三维模型
技术领域
本发明涉及用于提供通常用于医学介入报告的身体部分的患者特异性3D模型的装置、用于提供通常用于医学介入报告的身体部分的患者特异性3D模型的医学系统、以及用于提供通常用于医学介入报告的身体部分的患者特异性3D模型的方法，以及计算机程序单元和计算机可读介质。
背景技术
在血管处置中，例如在用于处置心脏狭窄的经皮腔内冠状动脉血管成形术(PTCA)中，与血管处置有关的信息需要被提供。血管处置的重要发现通过注释冠状动脉的变平的示意图来记载。具体地，临床医师必须描述哪个狭窄被处置，例如，通过将它们定位到冠状动脉和其严重性的变平的示意性曲线图上。
US2010/0098309A1描述了分析和使用患者的体积数据的系统和方法被公开。表征患者的体积数据使用成像模态(诸如计算机断层摄影设备(CT)、磁共振成像器(MR)或其他断层摄影模态)来获得。将从数据导出的体积数据或图像切片与来自解剖图集的解剖图像或模型数据进行比较，以便将患者数据与身体结构相关联。解剖关联被用作数据库中的搜索项，以检索在患者的诊断或处置中可以有用的信息。
然而，冠状动脉的变平的示意性曲线图远离如在血管造影图像中观察到的实际血管结构，并且因此临床医生将血管造影图像内的特征与冠状动脉的示意性曲线图上的那些特征进行匹配不是简单直接的。这在跨群体的冠状动脉树中的变化性也被考虑时尤其如此。
发明内容
具有用于解读血管造影片的改进的技术将会是有利的。
本发明的目的利用独立权利要求的主题来解决，其中，进一步实施例被并入在从属权利要求中。应当注意，本发明的以下所描述的方面还适于用于提供身体部分的患者特异性3D模型的装置、用于提供身体部分的患者特异性3D模型的医学系统、用于提供身体部分的患者特异性3D模型的方法，并且还适用于计算机程序单元和计算机可读介质。
根据第一方面，提供了一种用于提供身体部分的患者特异性3D模型的装置，所述装置包括：
-输入单元；以及
-处理单元。
所述输入单元被配置为提供至少一幅2D X射线图像，所述至少一幅2D X射线图像包括患者的身体部分的血管结构的2D X射线图像数据。所述输入单元还被配置为提供所述身体部分的3D模型，所述3D模型包括3D建模的血管结构，其中，至少一个参数控制所述3D建模的血管结构的外观。所述3D模型是所述身体部分的通用模型。所述处理单元被配置为将所述3D建模的血管结构与所述血管结构的所述2D X射线图像数据进行对照来确定所述至少一个参数。所述处理单元还被配置为根据所确定的至少一个参数来更新所述3D模型。所述处理单元被配置为基于根据所述3D模型确定的信息来生成医学报告。
换言之，在身体部分是心脏的范例中，依赖冠状动脉的潜在3D模型，并且基于观察到的血管造影序列来逐渐地调整冠状动脉的潜在3D模型。换言之，3D建模的血管结构(例如分支结构)的外观(诸如节段的长度、哪些分支存在、哪些分支从哪个和哪里(分支的位置)分支出来、分支(换言之，针对心脏的范例，冠状动脉结构)的取向和曲率)能够通过调整至少一个参数来修改，直到3D建模的血管结构的外观表示患者的心脏。因此，调整至少一个参数能够涉及改变分支的位置、长度、取向和曲率，并且因此调整能够被认为包括缩放因子的应用。与这样的“内部”模型参数有关的缩放因子能够包括仿射变换。换言之，不仅身体部分的模型能够在尺寸上被一致地改变，而且它能够跨身体部分的模型被不同地缩放；缩放因子可以跨身体部分的模型线性地增大，使得在身体部分的模型的一个末端处，身体部分在尺寸上不被改变，但是在身体部分的模型的另一末端处，身体部分已经在尺寸上被改变。身体部分的模型的中间部分然后能够在两个末端之间被线性地或非线性地缩放。因此，不仅冠状动脉树的结构能够被调整为匹配患者的结构，而且模型尺寸能够改变以考虑患者之间的身体部分的不同尺寸。以此方式，血管结构的2D X射线图像数据(血管造影片)连同身体部分的通用3D模型一起用于生成身体部分的患者特异性3D模型。术语“血管造影片”涉及对患者的心脏区域的血管和/或心脏外部的血管结构的可视化。
换言之，通过将3D建模的血管结构与2D X射线图像数据(例如血管造影片)进行对照，能够确定控制或定义3D建模的血管结构的外观的一个或多个参数。所确定的(一个或多个)参数然后能够被用于提供身体部分的改进的3D模型。通过将3D建模的血管结构与在通过身体部分的不同角度处采集的多幅不同的2D X射线图像进行对照，身体部分的3D模型能够被逐渐地改进，直到身体部分的患者特异性3D模型已经被提供，或者能够在将多幅图像同时与3D模型进行对照时基于单个计算来改进。
以此方式，身体部分的通用3D模型能够被用于通过基于身体部分的一个或多个血管造影片确定管控3D模型的外观的至少一个参数来创建身体部分的患者特异性3D模型。以此方式，身体部分的2D X射线图像(诸如患者的心脏的血管造影片)能够在医学流程期间的不同时间处被采集，并且被分开几秒或几分钟，并且被用于生成身体部分的患者特异性3D模型。在不同日、或在一个医院或不同医院的患者的处置的过程中采集的2D X射线图像能够被用于生成表示患者的当前状况的身体部分的3D模型，当(例如心脏的)一个或多个新的血管造影片变得可用时，所述身体部分的3D模型基于(例如心脏的)一个或多个新的血管造影片来细化。
以此方式，身体部分的患者特异性3D模型已经被确定而无需体积图像采集(诸如CT扫描)必须被执行，其中3D模型仅根据2D影像来确定。为了进一步对此进行解释，随着扫描仪围绕患者旋转，CT或C型臂CT采集一系列2D图像，并且3D体积根据该系列来计算；换言之，CT导出的体积仅仅根据2D图像来导出。在当前情形下，提供了身体部分的3D模型，所述身体部分的3D模型可以是通用的患者非特异性3D模型或患者的旧3D模型，并且3D模型基于可以在不同日被采集或被分开几秒或几分钟的2D X射线图像来更新，并且3D模型通过将2D图像与模型的3D血管结构进行对照来更新。
身体部分的患者特异性3D模型然后能够在多个医学流程内被用于例如帮助或增强在对患者特异性3D模型的生成中使用的2D X射线图像数据的报告。在一些范例中，患者特异性模型仅需要近似的模型来提供这样的功能。
换言之，X射线图像(诸如来自血管造影片序列的血管造影片)能够与从患者特异性3D模型导出的建模的血管树(例如冠状动脉树)的2D投影相关联，其中，建模的血管树的2D投影从与在血管造影片的采集期间被应用的视角类似的视角被呈现。
换言之，身体部分的患者特异性3D模型能够被生成，对于该患者特异性3D模型，血管结构的所有分支结构都是已知的。3D模型然后能够被适当地操纵，使得3D建模的血管结构的2D投影以与在血管造影片的采集期间使用的角度相同的角度被呈现。然后，因为3D模型中的3D血管结构是已知的，即，血管树的组成部分是已知的并且能够被命名，3D模型血管结构的2D投影能够使得2D血管造影片内的结构能够被更容易地解读。此外，因为3D建模的血管结构的2D投影具有已知的结构，临床医生能够通过参考3D建模的血管结构的2D投影来容易地确定血管造影片中的血管结构的各部分的身份。通过参考3D模型的匹配的2D投影，临床医生能够通过其解剖名称容易地识别血管造影片中的动脉，所述3D模型的匹配的2D投影示出了建模的血管结构的2D投影，好像心脏的3D模型本身已经经受来自与被用于采集血管造影片的方向相同的方向的X射线分析。
换言之，通过自动利用在检查期间采集的血管造影，心脏的患者特异性3D模型能够被生成，所述患者特异性3D模型能够被使用以便适配冠状动脉示意图，使它也变得是患者特异性的。这将减小存在于观察到的血管造影与冠状动脉示意图之间的间隙，从而允许更直观且更准确的注释，并且避免对特定解剖结构的手动选择。此外，对这样的报告的解读将是更容易的，并且导致更少的误解。这通过依赖于冠状动脉的3D几何模型来完成，所述冠状动脉的3D几何模型连续地或同时地与观察到的血管造影序列进行对照。换言之，得到的患者特异性冠状动脉模型能够被变换为适合于报告的形式。它能够是具有正确的解剖结构、分支和节段显著性的变平的2D模型。或者在用户能够旋转模型的数字报告的情况下，它能够直接是经调整的3D模型。
在一范例中，所述处理单元被配置为将所述3D建模的血管结构与所述血管结构的所述2D X射线图像数据进行对照。所述处理单元被配置为确定所述身体部分的所述3D模型的2D投影，所述身体部分的所述3D模型的所述2D投影包括所述3D建模的血管结构的2D投影。所述处理单元被配置为调整所述至少一个参数，使得经调整的3D建模的血管结构的2D投影表示所述患者的身体部分的所述血管结构的所述2D X射线图像数据。经调整的至少一个参数形成所确定的至少一个参数。
换言之，所采集的血管造影序列的血管造影片将与(从相同视角)再投影的3D模型进行对照。控制3D模型(并且因此其2D投影)的外观的参数被调整，以便减少在血管造影图像与所投影的模型之间观察到的差异。这能够涉及姿态估计，即，当获取血管造影片时合适地匹配身体部分(例如心脏)的取向的3D模型的取向的估计。姿态能够在模型内部参数之前或与模型内部参数一起被估计(导致2D再投影中的大的差异的姿态参数能够在得到更精细差异的姿态参数之前或与其一起被设定)。
如果需要的话，对每个血管造影序列连续地执行这种调整，这意味着每个血管造影片被使用或仅可用血管造影片的子集被使用。
换言之，对3D模型的至少一个参数执行优化过程，使得该模型的2D投影匹配观察到的血管造影。
在一范例中，所述处理单元被配置为修改所述至少一个参数，直到经修改的3D建模的血管结构的所述2D投影表示所述血管结构的所述至少2D X射线图像数据。以此方式，所述至少一个参数被调整。
换言之，3D模型的参数被改变，以便扭曲3D模型和3D血管结构的其2D投影，直到3D血管结构的经扭曲的2D投影最佳地匹配实际的血管造影。3D模型的新参数现在是改进的模型的所确定的参数。该过程然后能够根据从不同的视角获取的血管造影片来执行，并且其中，该模型然后从相同的视角进行观察。它能够备选地在不同的血管造影片上同时被执行。
在一范例中，所述处理单元被配置为将所述3D建模的血管结构与所述血管结构的所述2D X射线图像数据进行对照。所述处理单元被配置为变换所述身体部分的所述3D模型。对所述身体部分的所述3D模型的所述变换包括对所述身体部分的所述3D模型的姿态的确定。
换言之，所述处理单元被配置为(通过例如对3D模型的旋转和/或平移)变换3D模型，直到模型的2D投影中的血管结构匹配或至少最接近地匹配实际采集的血管造影中的血管结构。换言之，3D模型被变换，直到模型的2D投影中的血管结构与血管造影片中的血管结构的2D X射线图像数据最接近地相关。3D模型然后被定位在与当血管造影片被采集时患者的心脏相同的取向中，并且至少一个参数然后能够被调整为使3D模型与患者的身体部分(例如心脏)一致。
在一范例中，所述输入单元被配置为提供与被用于采集所述至少一幅2D X射线图像的X射线采集单元的几何配置有关的信息，并且其中，对所述身体部分的所述3D模型的所述变换包括对与所述X射线采集单元的所述几何配置有关的所述信息的利用。
换言之，与X射线源和探测器相对于患者的定位使得X射线穿过身体部分的方向被近似地知晓有关的消息能够被使用，以便将3D模型定位和取向在相对于患者的身体部分的对应位置中，使得3D模型的2D投影将已经接近地类似2D血管造影片。
换言之，3D冠状动脉模型能够以对应于考虑的血管造影的C型臂角度被投影(得到对应于手头上的视图的2D示意图)。然后，能够对3D几何参数执行优化过程，使得2D示意图将匹配观察到的血管造影。
在一范例中，所述处理单元被配置为使得用户能够注释与所述身体部分的经变换的3D模型相关联的所述3D建模的血管结构的所述至少一个2D投影，并且其中，所述处理单元被配置为将所述注释应用于所述身体部分的所述3D模型的所述3D建模的血管结构。
换言之，使得临床医生能够透明地且准确地填写他的发现。临床医生能够选择他想要使用血管造影图像(2D X射线图像)/2D示意图(3D建模的血管结构的2D投影)对中的哪个来注释冠状动脉树。编辑示意图中的一个(例如以定位狭窄)将更新它们中的全部(因为它们呈现同一对象(通用3D模型)的所有特定视图)。
在一范例中，所述处理单元被配置为使得用户能够选择报告格式以用于报告与所述身体部分的经变换的3D模型相关联的所述3D建模的血管结构的所述至少一个2D投影、和/或与所述身体部分的经变换的3D模型相关联的所述3D建模的血管结构、和/或所述身体部分的经变换的3D模型。
换言之，使得临床医生能够选择他想要将该信息呈现在报告中的格式。一种简单直接的方式是将血管造影/再投影的2D示意图对中的一些导出到报告中。这将允许将阅读报告的临床医生直观地且准确地理解检查的发现的本质。用户也将能够以更简洁又紧凑的方式总结他的发现的其他图形。他可以求助于(根据3D建模的血管结构构建的)变平的示意性2D示意图，或者求助于在数字报告中他旋转的3D树(3D建模的血管结构)。在一范例中，以上示意图中的一个或多个能够被注释。
以此方式，为临床医生提供了填写他的发现的能力(例如通过点击2D图像、再投影的3D模型或3D模型，如果需要的话，将它们输入在不同的2D图像或投影上)。
换言之，临床医生或用户能够选择他想要将他的发现呈现在报告中的格式。他可以求助于血管造影/2D投影的模型注释的示意图对中的一些，和/或生成紧凑的示意性表示(变平的2D示意图、数字报告中的可编辑3D示意图)。
在一范例中，所述处理单元被配置为将所述3D建模的血管结构与所述血管结构的所述2D X射线图像数据进行对照。所述处理单元被配置为指示所述血管结构的所述至少一幅2D X射线图像中的所述血管结构的至少一个节段。所述处理单元被配置为对所述至少一个节段执行至少一个测量，并且将所述血管结构的所述至少一幅2D X射线图像中的所述血管结构的所述至少一个节段与所述3D建模的血管结构的对应的至少一个节段相关联。所述处理单元被配置为根据所述至少一个测量来调整所述至少一个参数。经调整的至少一个参数形成所确定的至少一个参数。
在一范例中，所述至少一幅2D X射线图像包括多幅图像；其中，所述处理单元被配置为从所述多幅图像选择良好注射的2D X射线图像。
在一范例中，被用于采集所述至少一幅2D X射线图像的X射线采集单元在所述至少一幅2D X射线图像被采集时是静态的。
以此方式，规则的X射线序列能够在检查期间例如通过静态C型臂采集单元来采集，而无需那些图像必须以特定的协议或以特定的顺序来采集。换言之，当至少一个X射线图像包括多幅图像时，那些图像能够在临床医生已经将C型臂系统定位为采集特定图像时进行采集，并且因此能够被分开几秒或几分钟，并且甚至能够被应用于在不同日内的不同检查期间采集的图像。
根据第二方面，提供了一种用于提供身体部分的患者特异性3D模型的医学系统，所述系统包括：
-X射线图像采集单元；
-根据先前范例和方面中的任一项所述的用于提供身体部分的患者特异性3D模型的装置；以及
-输出单元。
所述X射线图像采集单元被配置为提供所述至少一幅2D X射线图像。所述输出单元被配置为输出表示所述身体部分的所述患者特异性3D模型的数据。
通过提供用于提供身体部分的患者特异性3D模型的医学系统，自动为临床医生提供患者的身体部分而非通用身体部分的准确的3D模型，并且这可用于准备例如与已经发生的身体部分的任何介入相关联的所需的报告信息。例如，通过使用3D模型的2D投影(其中该2D投影具有与心脏(身体部分的范例)的血管造影片相同的角度)，为临床医生提供关于患者的冠状动脉树的各部分的名称的信息，从而实现对要被执行的介入的完整且准确的报告和对已经被执行的介入的报告两者。以此方式，临床医生能够在未来容易地审查血管造影片并理解它们的空间背景，并且不同的临床医生能够审查血管造影片并且被自动提供有与在血管造影片内观察到的血管结构有关的信息而无需解读图像。还为临床医生提供各种血管造影之间的对应性。
根据第三方面，提供了一种用于提供身体部分的患者特异性3D模型的方法，所述方法包括：
a)提供至少一幅2D X射线图像，所述至少一幅2D X射线图像包括患者的身体部分的血管结构的2D X射线图像数据；
b)提供所述身体部分的3D模型，所述3D模型包括3D建模的血管结构，其中，至少一个参数控制所述3D建模的血管结构的外观，并且其中，所述3D模型是所述身体部分的通用模型；
c)将所述3D建模的血管结构与所述血管结构的所述2D X射线图像数据进行对照来确定所述至少一个参数；
d)根据所确定的至少一个参数来更新所述3D模型；并且
e)基于根据所述3D模型确定的信息来生成医学报告。
根据另一方面，提供了一种控制如先前所描述的装置的计算机程序单元，当所述计算机程序单元由处理单元运行时，所述计算机程序单元适于执行如先前所描述的方法的步骤。
根据另一方面，提供了一种计算机可读介质，其存储有如先前所描述的计算机单元。
有利地，由以上方面中的任何提供的益处同样地适用于所有其他方面并且反之亦然。
以上方面和范例将参考在下文中所描述的实施例变得显而易见并且得到阐述。
附图说明
将参考以下附图在下文中描述示范性实施例：
图1示出了用于提供身体部分的患者特异性3D模型的装置的范例的示意性设置；
图2示出了用于提供身体部分的患者特异性3D模型的医学系统的范例的示意性设置；
图3示出了用于提供身体部分的患者特异性3D模型的方法的范例；
图4示出了变平的冠状动脉示意图的范例；
图5示出了其中2D节段标记已经被应用作为提供身体部分的患者特异性3D模型的部分的范例影像；
图6示出了与在图5中示出的相同但是其中图像由示意图表示代替的信息。
图7示出了针对图8的方法的工作流的范例的图示，示出了用于提供血管结构的合成表示的方法的工作流的范例的图示。
图8示出了身体部分的3D模型的范例。
具体实施方式
图1示出了用于提供身体部分的患者特异性3D模型的装置10的范例。该装置包括输入单元20和处理单元30。输入单元20被配置为向处理单元30提供至少一幅2D X射线图像，所述至少一幅2D X射线图像包括患者的身体部分的血管结构2D X射线图像数据。输入单元20还被配置为向处理单元30提供身体部分的3D模型，所述3D模型包括3D建模的血管结构，其中，至少一个参数控制3D建模的血管结构的外观。处理单元30被配置为将3D建模的血管结构与血管结构的2D X射线图像数据进行对照来确定至少一个参数。处理单元30还被配置为根据所确定的至少一个参数来更新3D模型。处理单元30被配置为基于根据3D模型确定的信息来生成医学报告。
在一范例中，身体部分是心脏，并且3D模型是冠状动脉的几何模型。在一范例中，3D建模的血管结构的外观能够被认为涉及3D模型的血管结构的分支关系。在一范例中，3D建模的血管结构的外观涉及以下项中的任何或全部或任何组合：一个分支相对于另一个分支的角度；特定分支是否存在；哪个分支源自于哪个分支；分支长度；分叉的位置(定义每个分支的不同节段)；关于节段的半径的精度；以及关于不同节段的曲率的精度。换言之，3D建模的血管结构的外观例如定义心脏、冠状动脉结构。在一范例中，通过将3D建模的血管结构与血管结构的2D X射线图像数据进行对照，至少一个参数的(一个或多个)默认值能够被修正，以便提供身体部分的患者特异性3D模型。换言之，至少一个参数控制例如：哪个节段被链接到哪个节段；节段的长度(其能够被解读为它们被分支的方式)；每个节段的外观：厚度，取向，弯曲度；以及模型的取向的姿态。
在一范例中，关于正对照的不同2D X射线图像数据、关于(例如对于心脏)在通过心脏的不同角度处的血管造影片和/或在通过心脏的相同角度处但是其中血管结构的不同部分已经被注射有造影剂并且因此正以可见的且截然不同的方式进行观察的血管造影片来逐渐地更新所述至少一个参数。
在一范例中，将在通过例如心脏的不同取向的多幅2D X射线图像同时与3D建模的血管结构进行对照，并且至少一个参数被确定。以此方式，单个计算被用于确定至少一个参数，并且3D模型不一定需要被逐渐地更新。
在一范例中，进行对照包括核对和/或比较。
在一范例中，3D模型中的3D血管结构是已知的，即，血管树的组成部分中的全部(或至少一些)是已知的，并且能够被命名(注释)。
在一范例中，所述处理单元被配置为确定身体部分的3D模型的2D投影，所述身体部分的2D投影包括3D建模的血管结构的2D投影。
在一范例中，以心脏作为身体部分的范例，2D X射线图像中的血管结构则对应于2D冠状动脉树，并且在该范例中，2D冠状动脉树被分割。基于用于构建(连续)血管能量图(其然后被阈值化以得到分割)的一些滤波器的扩展的图像处理方法的范例能够在以下参考文献中找到：“Improved vessel enhancement for fully automatic coronarymodelling”(V.Auvray，U.Jandt，R.Florent，SPIE Medical imaging 2009)。在一范例中，身体部分的3D模型在分割中被额外地用来传达关于血管的预期位置以及关于血管的“不可能”位置的信息。
在一范例中，2D X射线图像中的血管结构的良好定义的分支被识别。在一范例中，2D X射线图像中的血管结构的良好定义的分支被识别，并且其余分支从根据该2D X射线图像(血管造影片)的进一步分析中被移除。
在一范例中，所述处理单元被配置为确定身体部分的3D模型的2D投影，所述2D投影包括3D建模的血管结构的2D投影。以此方式，当3D模型被适当地取向为使得其姿态在X射线检查(例如血管造影)期间与身体部分(例如心脏)的姿态相同时，则2D投影提供具有将对应于血管造影片中的血管结构的血管结构的可容易解读的建模的输出。
在一范例中，所述处理单元被配置为生成身体部分(例如心脏)的3D模型，所述3D模型能够被插入到数字医学报告中。以此方式，在数字报告内，例如当阅读者观察血管造影片时，心脏的相关联的3D模型能够使其本身取向为与当获取血管造影片时的心脏相同的取向。在数字报告内，3D模型还能够生成3D模型的2D投影，所述2D投影匹配正被观察的血管造影片使得血管造影片中的血管结构能够更容易地从2D建模的投影进行解读。
根据一范例，所述处理单元被配置为将3D建模的血管结构与血管结构的2D X射线图像数据进行对照。所述处理单元被配置为确定身体部分的3D模型的2D投影，所述身体部分的3D模型的2D投影包括3D建模的血管结构的2D投影。所述处理单元被配置为调整至少一个参数，使得经调整的3D建模的血管结构的2D投影表示患者的身体部分的血管结构的2D X射线图像数据。经调整的至少一个参数形成所确定的至少一个参数。
在一范例中，所述处理单元被配置为基于经调整的至少一个参数来调整3D模型，并且调整3D血管结构，并且确定身体部分的经调整的3D模型的2D投影。
在一范例中，改变3D模型的参数(包括如上面讨论的姿态)，以便扭曲3D血管结构的3D模型和其2D投影，直到3D血管结构的经扭曲的2D投影最佳地匹配实际的血管造影片。3D模型的新参数现在是改进的模型的所确定的参数。该过程然后能够根据从不同视角获取的血管造影片来执行，并且其中，模型然后从该相同的视角进行观察。备选地，参数能够被改变，并且立即与2D血管造影片的整个汇集进行对照。产生最佳对齐的参数集将会被选择。在这样的情况下，模型的“内部”参数能够对于每个血管造影片是相同的，但是“外部”姿态参数能够对于每个血管造影是不同的。
换言之，对3D模型的至少一个参数执行优化过程，使得该模型的2D投影匹配观察到的血管造影。换言之，该优化过程类似于用于3D/2D配准的过程。与模型的2D投影到血管造影片的匹配有关的信息能够在以下两个参考文献中找到：1)“Projection.based motioncompensation and reconstruction of coronary segments and cardiac implantabledevices using rotational X-ray angiography”(Gert Schoonenberg，Raoul Florent，Pierre Lelong，Onno Wink，Daniel Ruijters，John Carroll，Bart ter Haar Romeny，Medical Image Analysis，第13卷，第5期，2009年10月，第785-792页)；以及2)“Model-based segmentation of the left main coronary bifurcation from 2D angiograms”(R.Lacroix，R.Florent，V.Auvray，ISBI 2012)。
在一范例中，调整至少一个参数包括定义表征3D建模的血管结构的当前2D投影多好地匹配血管结构的2D X射线图像数据(例如血管造影片中的冠状动脉树)的能量函数。
在一范例中，定义能量函数包括通过对血管造影片进行滤波来计算血管能量图，并且对与3D建模的血管结构的2D投影交叠的血管能量进行求和。如果3D模型的至少一个参数为使得3D建模的血管结构的2D投影很好地对应于血管造影中的血管，则能量将是高的，然而如果3D模型的至少一个参数与血管造影片不一致，则将不存在这样的对应性并且能量将是低的。应注意，该能量能够同时在不同的血管造影片上被计算(沿着血管造影片血管能量上的再投影中心线进行求和)。
在一范例中，至少一个参数的所有可能配置(由采样因子决定)都被研究，其中，3D模型血管结构的相关联的2D投影被生成，并且给出最高能量的一种可能配置对应于具有最佳的至少一个参数的3D模型。
在一范例中，能量关于至少一个参数是可微分的，其中，能量导数指示至少一个参数应当被调整以便改进对齐的方向。然后，梯度下降将快速地得到至少一个参数的(局部)最佳选择。以此方式，所需的至少一个参数能够比针对所有可能参数都被研究的情况更快速地被确定。
在一范例中，血管能量图通过对高斯滤波的应用来进行调整。以此方式，这种简单的调整使能量图变模糊，以便考虑使用通用3D模型来考虑患者3D冠状动脉树而引起的不确定性。随着模型调整行进，模糊的水平能够被降低，并且当前模型更靠近患者的实际的3D冠状动脉树。
血管能量图的计算例如在以下文章中进行了描述：“Improved vesselenhancement for fully automatic coronary modelling”(V.Auvray，U.Jandt，R.Florent，SPIE Medical imaging 2009)。
在一范例中，将身体部分的3D模型的2D投影与血管结构的2D X射线图像数据对齐包括通过纯2D图像处理来识别血管造影片中的一些特定点(例如分支点)。这些点然后用作锚定物以设定针对3D模型的至少一个参数，使得3D建模的血管结构的2D投影中的选择的点匹配血管造影片中的对应特定点。换言之，特定方法被设计为将3D建模的血管结构的2D投影与血管造影片对齐。这种特定方法的范例在以下文章中进行了描述：“Model-basedsegmentation of the left main coronary bifurcation from 2D angiograms”(R.Lacroix，R.Florent，V.Auvray，ISBI 2012)。
在一范例中，所述处理单元被配置为通过对图像处理单元的使用来确定身体部分的3D模型的2D投影。
在一范例中，所述处理单元被配置为扭曲3D建模的血管结构的2D投影，使得其表示血管结构的2D X射线图像数据，以调整至少一个参数。
换言之，模型本身的2D投影通过扭曲2D投影来使用，直到2D建模的血管结构匹配血管造影片中的血管结构。在扭曲中使用的运动参数然后将被直接转化成3D模型的至少一个参数，其将得到3D建模的血管结构的经扭曲的2D投影，由此使得经调整的至少一个参数能够被确定。
根据一范例，所述处理单元被配置为修改至少一个参数，直到经修改的3D建模的血管结构的2D投影表示血管结构的至少2D X射线图像数据，以调整至少一个参数。
在一范例中，所述处理单元被配置为将身体部分的3D模型的2D投影与血管结构的2D X射线图像数据进行配准，以调整至少一个参数。
在一范例中，对身体部分的3D模型的2D投影的配准包括对3D建模的血管结构的2D投影与血管结构的2D X射线图像数据的配准。
术语“配准”涉及身体部分的3D模型的变换，使得3D建模的血管结构的2D投影具有在空间上对应于血管结构的2D X射线图像数据中的血管树的血管树。换言之，至少一个参数被改变或调整，直到3D建模的血管结构的2D投影中的血管结构最佳地类似于血管结构的2D X射线图像数据的血管结构，或换言之，实际的X射线图像和建模的图像两者中的血管尽可能类似。
在一范例中，所述处理单元被配置为调整至少一个参数，使得经调整的3D建模的血管结构的2D投影中的血管结构的第一部分与血管结构的2D X射线图像数据中的血管结构的对应的第一部分对齐，并且经调整的3D建模的血管结构的2D投影中的血管结构的至少第二部分与血管结构的2D X射线图像数据中的血管结构的对应的至少第二部分对齐。
例如，3D建模的血管结构的2D投影中的位置被转化成对应的血管造影图像中的位置。在一范例中，将3D建模的血管结构的2D投影中的至少一些特征(例如A、B、C)与至少一幅2D X射线图像(血管造影片)中的至少一些类似特征(例如A’、B’、C’)对齐或被投影到至少一幅2D X射线图像(血管造影片)中的至少一些类似特征(例如A’、B’、C’)上。3D建模的血管结构的2D投影中的特征A、B、C最初可以不与血管造影片中的特征A’、B’、C’匹配，并且至少一个参数然后被调整直到特征确实匹配。这将导致更接近地匹配患者的心脏中的分支结构的3D模型中的分支结构的变化。换言之，3D建模的血管结构的外观将更接近地匹配患者的心脏的外观。在一范例中，对齐可以包括3D建模的血管结构的2D投影的区域被放置在至少一幅2D X射线图像(血管造影片)的等效区域的顶部上。
根据一范例，被配置为将3D建模的血管结构与血管结构的2D X射线图像数据进行对照的处理单元包括被配置为变换身体部分的3D模型的处理单元，其中，对身体部分的3D模型的变换包括对身体部分的3D模型的姿态的确定。
在一范例中，对3D模型的姿态的确定被执行，直到经变换的3D建模的血管结构的2D投影表示患者的身体部分的血管结构的2D X射线图像数据。
以此方式，然后能够将3D建模的血管结构与血管结构的2D X射线图像数据进行对照来确定至少一个参数，以关于以与血管造影片的角度相同的角度取向和定位的3D模型改进该模型。换言之，3D模型可能需要在空间中被旋转和/或被平移，使得通过3D模型的观察类似于在创建血管结构的2D X射线图像数据(血管造影片)中X射线穿过身体部分的路线。在一范例中，在对3D模型的变换后，使得其以具有与针对血管造影片(血管结构的2D X射线图像数据)的角度相同的角度被定位，3D建模的血管结构的2D投影然后能够通过控制3D模型的外观的至少一个参数的适当调整被扭曲，以匹配血管结构的2D X射线图像数据。另一血管造影片(血管结构的2D X射线图像数据)然后能够被选择，其能够涉及X射线已经从与第一血管造影片不同的方向穿过心脏。最初改进的3D模型然后能够被类似地变换(在空间中被旋转和/或被平移)，使得3D模型血管结构的2D投影类似于另一血管造影片(3D模型处在与针对新血管造影片的心脏相同的角度)，并且最初改进的3D模型能够通过如上面讨论的至少一个参数的改变来扭曲，以便进一步改进3D模型。该过程能够针对从到心脏的各个方向获取的血管造影片进行重复，从而得到心脏的患者特异性3D模型。
换言之，3D模型的“内部参数”能够被确定，以便3D模型匹配患者的身体部分(例如心脏)，并且姿态(即，涉及3D模型的取向的“外部参数”)能够被确定，以便患者特异性模型能够被适当地取向以用于提供用于插入到医学报告中的信息。例如，以与当获取血管造影片时患者的心脏的姿态相同的姿态提供3D模型，使得3D模型的2D投影提供合成血管结构，该合成血管结构是患者特异性的并且匹配血管造影片中的血管结构。这能够被用于解读血管造影片。或，姿态能够涉及提供能够被插入到数字报告中的3D模型，并且其中，例如建模的心脏的取向在数字报告内自动将其本身取向为正被检查的血管造影片的取向。
在一范例中，在血管造影的采集期间，随着每个血管造影片在扫描期间被采集，3D模型能够被逐渐地调整。
在一范例中，当患者特异性3D模型被确定时，针对患者的所有血管造影片都将已经被采集。在这样的范例中，当至少一个参数被确定时，所有血管造影片都能够被考虑。以此方式，能够更快速地到达最佳值，并且可以存在落入实际上不表示全局最佳值的局部最小值中的更少几率。
换言之，在一范例中，身体部分的3D模型能够被变换，诸如被旋转和/或被平移，使得3D模型的3D血管结构的2D投影看起来尽可能类似于血管造影片的2D投影(血管结构的2DX射线图像)。以此方式，当获取血管造影片时患者的心脏处于与3D模型的位置和取向类似的位置和取向，得到3D建模的血管结构的2D投影。这意味着，调整至少一个参数使得经调整的3D建模的血管结构的2D投影表示血管结构的2D X射线图像数据得到与患者的心脏中的血管结构的外观更接近地相关的模型的血管结构的外观的变化。
在一范例中，以身体部分是心脏的范例，心脏的血管造影片仅可以以可见的且截然不同的方式示出血管结构的区域，因为造影剂仅被注射在该位置处，或者因为注射的区域的子部分显现混杂，因为不同的血管交叠。在这种情况下，正被调整使得经调整的3D模型血管结构的2D投影表示血管结构的2D X射线图像数据的至少一个参数可以仅涉及定义在血管结构以可见的且截然不同的方式呈现的区域内的3D建模的血管结构(冠状动脉结构)的外观的(一个或多个)参数。在与第一血管造影片相同的角度处获取的另一血管造影片可以具有造影剂，所述造影剂已经被注射到血管结构的另一区域中使得该区域的血管造影片以可见的且截然不同的方式呈现，并且从不同视角获取的血管造影片能够在某些情况下以可见的且截然不同的方式示出混杂在另一视图中的子树。定义在该位置处3D建模的血管结构的外观的参数然后能够被调整。以此方式，处于相同角度和不同角度的血管造影片能够被用于逐渐地调整至少一个参数，以便朝向身体部分的患者特异性3D模型逐渐地改进该模型。换言之，在一范例中，一个血管造影片可以涉及左侧冠状动脉树的注射，并且处于相同角度的第二血管造影片涉及右侧冠状动脉树的注射。
在一范例中，所述处理单元被配置为通过对图像处理单元的使用来变换身体部分的3D模型。
在一范例中，所述变换包括所述处理单元被配置为将2D X射线图像数据中的血管结构的至少一个部分与3D模型血管结构的2D投影中的血管结构的对应的至少一个部分对齐。例如，3D建模的血管结构的2D投影中的位置被转化成对应的血管造影图像中的位置。在一范例中，将3D建模的血管结构的2D投影中的至少一些特征(例如A、B、C)与至少一幅2D X射线图像(血管造影片)中的至少一些类似特征(例如A’、B’、C’)对齐或被投影到至少一幅2D X射线图像(血管造影片)中的至少一些类似特征(例如A’、B’、C’)上。在一范例中，对齐可以包括3D建模的血管结构的2D投影的区域被放置在至少一幅2D X射线图像(血管造影片)的等效区域的顶部上。
在一范例中，3D模型的姿态的细化包括逐渐地仿射3D模型的3D位置，使得当在2DX射线图像(血管造影片)上观察到冠状动脉树时，3D建模的血管结构的2D投影尽可能好地匹配冠状动脉树。
在一范例中，仿射包括定义表征3D建模的血管结构的当前2D投影多好地匹配血管造影中的冠状动脉树的能量函数。
在一范例中，定义能量函数包括通过对血管造影进行滤波来计算血管能量图，并且对与3D建模的血管结构的2D投影交叠的血管能量进行求和。如果3D模型的姿态为使得3D建模的血管结构的2D投影很好地对应于血管造影片中的血管，能量将是高的，然而如果3D模型的姿态没有得到正确取向的3D模型，则将不存在这样的对应性并且能量将是低的。
在一范例中，所有可能姿态(由采样因子决定)都被研究，其中，3D模型血管结构的相关联的2D投影被生成，并且给出最高能量的一种可能姿势对应于具有最佳姿态的3D模型。
在一范例中，能量关于姿态参数(平移和旋转)是可微分的，其中，能量导数指示姿态参数应当被调整以便改进对齐的方向。换言之，梯度下降将快速地得到姿态的(局部)最佳选择。以此方式，所需的姿态能够比针对其中所有可能姿态都被研究的情况更快速地被确定。
在一范例中，血管能量图通过对高斯滤波的应用来调整。以此方式，这种简单的调整使能量图变模糊，以便集成模型关于实际的冠状动脉树的不准确性。
在一范例中，对身体部分的3D模型的2D投影与血管结构的2D X射线图像数据的配准包括通过纯2D图像处理来识别血管造影片中的一些特定点(例如分支点)。这些点然后用作锚定物以设定针对3D模型的姿态参数，使得3D建模的血管结构的2D投影中的点匹配血管造影片中的对应的特定点。换言之，特定方法被设计为将3D模型与血管造影片对齐。
在一范例中，身体部分的3D模型的变换包括身体部分的3D模型的旋转。在一范例中，旋转包括围绕x、y或z轴的旋转。在一范例中，对身体部分的3D模型的变换包括对身体部分的3D模型的平移。在一范例中，平移包括沿着x、y或z轴的平移。
根据一范例，输入单元被配置为提供与被用于采集至少一幅2D X射线图像的X射线采集单元40的几何配置有关的信息，并且其中，对身体部分的3D模型的变换包括对与X射线采集单元的几何配置有关的信息的利用。
在一范例中，与几何配置有关的信息包括X射线采集单元的角度和源到图像距离SID。在一范例中，3D模型例如根据C型臂几何结构最初被定位在等中心点处。
在一范例中，对身体部分的3D模型的变换包括对身体部分的3D模型的2D投影与血管结构的2D X射线图像数据的配准。在一范例中，对身体部分的3D模型的2D投影的配准包括对3D建模的血管结构的2D投影与血管结构的2D X射线图像数据的配准。术语“配准”此处涉及对身体部分的3D模型的变换，使得3D建模的血管结构的2D投影具有在空间上对应于血管结构的2D X射线图像数据中的血管树的血管树。换言之，3D模型被旋转和/或被平移，直到3D建模的血管结构的2D投影中的血管结构类似于血管结构的2D X射线图像数据的血管结构，或换言之，对于该模型，实际的X射线图像和合成的建模的图像两者中的血管尽可能类似。此时，3D模型具有关于其2D投影的取向和位置，关于其2D投影的取向和位置表示得到血管造影片的心脏的取向和位置。以此方式，然后能够将3D建模的血管结构与2D X射线图像进行对照来确定至少一个参数。
根据一范例，所述处理单元被配置为使得用户能够注释与身体部分的经变换的3D模型相关联的3D建模的血管结构的至少一个2D投影，并且其中，所述处理单元被配置为将注释应用于身体部分的3D模型的3D建模的血管结构。
在一范例中，注释单元50或注释模块50被配置为使得用户能够注释与身体部分的经变换的3D模型相关联的3D建模的血管结构的至少一个2D投影，并且其中，所述处理单元或所述注释单元或注释模块被配置为将注释应用于身体部分的3D模型的3D建模的血管结构。
根据一范例，所述处理单元被配置为使得用户能够选择报告格式以用于报告与身体部分的经变换的3D模型相关联的3D建模的血管结构的至少一个2D投影、和/或与身体部分的经变换的3D模型相关联的3D建模的血管结构、和/或身体部分的经变换的3D模型。
在一范例中，报告单元60或报告模块60被配置为使得用户能够选择报告格式以用于报告至少一幅2D X射线图像、和/或与身体部分的经变换的3D模型相关联的3D建模的血管结构的2D投影、和/或与身体部分的经变换的3D模型相关联的3D建模的血管结构、和/或身体部分的经变换的3D模型。
在一范例中，所述处理单元被配置为关于被观察的血管造影片自动旋转3D模型，使得3D模型以与正被观察的血管造影片的角度相同的角度被呈现。
根据一范例，所述处理单元被配置为将3D建模的血管结构与血管结构的2D X射线图像数据进行对照。所述处理单元被配置为指示血管结构的至少一幅2D X射线图像中的血管结构的至少一个节段。所述处理单元被配置为对至少一个节段执行至少一个测量，并且将血管结构的至少一幅2D X射线图像中的血管结构的至少一个节段与3D建模的血管结构的对应的至少一个节段相关联。所述处理单元被配置为根据至少一个测量来调整至少一个参数。经调整的至少一个参数形成所确定的至少一个参数。
在一范例中，在血管造影上可见的血管节段被识别，以便将它们与模型的节段显式地相关联。
换言之，对于2D X射线图像上的这些节段执行一些测量(节段长度、厚度、弯曲度)，这继而允许模型参数(至少一个参数)针对所考虑的节段被设定(调整)。在一范例中，不需要身体部分的3D模型的2D投影。在一范例中，不需要图像配准。
在一范例中，血管造影片中的冠状动脉节段被识别。在一范例中，进行血管造影片的2D血管分割。在一范例中，进行血管造影片的2D血管分割的标记。关于执行血管分割的信息能够例如在以下文章中找到：“Areview of vessel extraction techniques andalgorithms”(C.Kirbas和F.Quek，ACM Computing surveys，第36卷，第2号，pp.81-121，2004)。
在一范例中，对血管造影片的2D血管分割包括通过血管增强方法对血管造影片(血管结构的2D X射线图像)进行滤波，然后对其进行阈值化。血管增强方法的范例能够例如在以下文章中找到：“Improved vessel enhancement for fully automatic coronarymodelling”(V.Auvray，U.Jandt，R.Florent，SPIE Medical imaging 2009)。
在一范例中，识别血管结构的2D X射线图像中的节段(例如血管造影片中的冠状动脉节段)包括对机器学习的利用。
在一范例中，对机器学习的使用包括度量与血管结构的2D X射线图像(血管造影片)中的血管点的关联。度量能够包括：血管能量；血管造影片中的位置；当采集血管造影片时系统的角度；血管厚度；相邻的血管。在一范例中，指定每个血管点属于哪个分支的真值被确定。在一范例中，对机器学习的利用包括将血管结构的2D X射线图像中的冠状动脉节段与度量相关。在一范例中，相关导致对学习的规则的生成。以此方式，当新的血管造影片被考虑时，学习的规则被应用于所有分割的点以便决定哪个节段存在于血管造影片中的哪里。然后简单直接的是，计算3D建模的血管结构中的分叉之间的距离，决定不同的分支备选，并且设定得到更新的3D模型的分支取向，如果更新的3D模型被取向为使得它具有与针对血管造影的角度相同的角度，则该3D模型的2D投影现在与考虑中的血管造影片一致。
在一范例中，被配置为指示血管结构的至少一幅2D X射线图像中的血管结构的至少一个节段的处理单元包括利用机器学习以沿着血管的中心线的位置进行分类。
在一范例中，所述至少一个测量包括对以下项中的一个或多个的测量：节段长度；节段厚度；节段弯曲度；节段如何被一起分支；以及分叉在主要动脉上位于哪里。
在一范例中，所述处理单元被配置为注释至少一幅2D X射线图像和/或相关联的3D建模的血管结构的2D投影，并且其中，所述处理单元被配置为将注释应用于身体部分的3D模型的3D建模的血管结构。
根据一范例，至少一幅2D X射线图像包括多幅图像；其中，所述处理单元被配置为从所述多幅图像中选择良好注射的2D X射线图像。
在一范例中，造影剂在良好注射的2D X射线图像的采集期间存在。例如，造影剂已经被注射到血管结构的至少一部分内，以便以可见的且截然不同的方式提供血管结构的图像数据。换言之，在良好注射的图像中，注射的动脉(例如冠状动脉)是精细可见的。关于血管结构的至少一部分的术语“可见的且截然不同的”涉及血管结构的至少一部分被呈现使得血管结构能够被手动地或自动地定位和/或识别和/或勾画。由于造影剂已经在图像采集时(例如在X射线血管造影期间)被注射到血管结构中，影像能够是可见的且截然不同的。
在一范例中，至少一幅2D X射线图像包括多幅图像；其中，所述处理单元被配置为从所述多幅图像中选择第一2D X射线图像和第二2D X射线图像，其中，所述处理单元被配置为选择第二2D X射线图像作为是关于第一2D X射线图像的相关图像的图像。
术语“相关图像”涉及对第二2D X射线图像的选择，使得其关于第一2D X射线图像相关。例如，第一2D X射线图像和第二2D X射线图像能够关于心脏循环相关。换言之，将预期到身体部分(例如心脏)在两幅图像之间处于类似的状态。这导致得到第一2D X射线图像的心脏与得到第二2D X射线图像的心脏之间的空间上对应的血管树。换言之，能够涉及通过心脏的不同角度的2D X射线图像然后可最佳地用于使得至少一个参数能够在将3D模型与血管结构的2D X射线图像进行对照时被确定。这提供了简化，因为心脏的3D模型然后不需要在随着心脏循环改变方面是动态的，因为能够选择涉及心脏循环、呼吸循环等内的固定时刻的X射线图像。
在一范例中，被用于采集至少一幅2D X射线图像的X射线采集单元40在至少一幅2D X射线图像被采集时是静态的。
在一范例中，该装置包括输出单元，其中，输出单元被配置为输出表示至少一幅2DX射线图像的数据，并且被配置为输出表示3D建模的血管结构的2D投影的数据。
图2示出了用于提供身体部分的患者特异性3D模型的医学系统100的范例。该系统包括X射线图像采集单元40、根据上面描述的图1的用于提供身体部分的患者特异性3D模型的装置10、以及输出单元110。X射线图像采集单元40被配置为经由通信线缆120向所述装置提供至少一幅2D X射线图像。装置10经由适当的通信线缆与输出单元110进行通信，并且输出单元110被配置为输出表示身体部分的患者特异性3D模型的数据。
在一范例中，输出单元被配置为输出表示3D建模的血管结构的2D投影的数据。在一范例中，输出单元被配置为输出表示2D X射线图像的数据。在一范例中，输出单元被配置为输出至少一幅2D X射线图像，并且输出3D建模的血管结构的2D投影的图像。
在一范例中，X射线图像采集单元包括X射线成像设备。在一范例中，X射线图像采集单元包括荧光检查成像设备，例如，荧光检查低剂量X射线设备。在一范例中，X射线图像采集单元包括血管造影成像设备。
在一范例中，输出数据可用于使得临床医生能够确定血管处置或介入是否是成功的。
在一范例中，该系统用于导管实验室中的经皮腔内冠状动脉血管成形术(PTCA)，以处置心脏狭窄。
图3以其基本步骤示出了用于提供身体部分的患者特异性3D模型的方法200的范例。该方法包括以下：
在第一提供步骤210(也被称为步骤a))中，提供包括患者的身体部分的血管结构的2D X射线图像数据的至少一幅2D X射线图像。
在第二提供步骤220(也被称为步骤b))中，提供身体部分的3D模型，所述3D模型包括3D建模的血管结构，其中，至少一个参数控制3D建模的血管结构的外观。
在对照步骤230(也被称为步骤c))中，将3D建模的血管结构与血管结构的2D X射线图像数据进行对照来确定至少一个参数。
在更新步骤240(也被称为步骤d))中，根据所确定的至少一个参数来更新3D模型。
在生成步骤250(也被称为步骤e))中，基于根据3D模型确定的信息来生成医学报告。
在一范例中，步骤c)包括确定260身体部分的3D模型的2D投影，所述身体部分的3D模型的2D投影包括3D建模的血管结构的2D投影，并且步骤c)进一步包括调整270至少一个参数，使得经调整的3D建模的血管结构的2D投影表示患者的身体部分的血管结构的2D X射线图像数据，其中，经调整的至少一个参数形成所确定的至少一个参数。
在一范例中，调整至少一个参数包括修改至少一个参数，直到经修改的3D建模的血管结构的2D投影表示血管结构的2D X射线图像数据。在一范例中，调整至少一个参数包括将身体部分的3D模型的2D投影与血管结构的2D X射线图像数据进行配准。
在一范例中，步骤c)包括变换280身体部分的3D模型，包括对身体部分的3D模型的姿态的细化。
在一范例中，步骤c)包括提供290于被用于采集至少一幅2D X射线图像的X射线采集单元的几何配置有关的信息。在一范例中，将3D建模的血管结构与血管结构的2D X射线图像数据进行对照包括对与X射线采集单元的几何配置有关的信息的利用。在一范例中，变换身体部分的3D模型包括对与X射线采集单元的几何配置有关的信息的利用。
在一范例中，步骤c)包括指示300血管结构的至少一幅2D X射线图像中的血管结构的至少一个节段，并且对至少一个节段执行至少一个测量，并且将血管结构的至少一幅2D X射线图像中的血管结构的至少一个节段与3D建模的血管结构的对应的至少一个节段相关联；其中，调整至少一个参数根据至少一个测量来执行；并且其中，经调整的至少一个参数形成所确定的至少一个参数。
在一范例中，该方法包括步骤e)使得310用户能够选择报告格式以用于报告至少一幅2D X射线图像、和/或3D建模的血管结构的2D投影、和/或3D建模的血管结构、和/或身体部分的3D模型。
在一范例中，至少一幅2D X射线图像包括多幅图像；并且其中，该方法包括从所述多幅图像中选择良好注射的2D X射线图像。
在一范例中，至少一幅2D X射线图像包括多幅图像；并且其中，该方法包括从所述多幅图像中选择第一2D X射线图像和第二2D X射线图像，其中，第二2D X射线图像被选择作为是关于第一2D X射线图像的相关图像的图像。
现在将结合图4-8更详细地描述用于提供身体部分的患者特异性3D模型的装置和方法的范例。
正被解决的问题通过参考图4来回顾。图4示出了变平的冠状动脉示意图的范例。为了能够表示本质上复杂的3D结构的每个可能的冠状动脉树，冠状动脉示意图必须是非常示意性的。例如，右侧冠状动脉树和左侧冠状动脉树被变平并且被并排地呈现。次要分支(边缘、中隔、对角线…)的路线主要由对通过避免交叠来保持示意图可读的需要来指示。这种表示是本质上示意性的，并且因此远离实际结构和如在血管造影图像上观察到的动脉的路线。
因此，将这样的通用动脉模型与观察到的血管造影图像相关不是简单直接的。当临床医生需要在内心将他在检查序列上观察到的注射的血管投影到解剖(示意性)模型上并且然后投影回到通用示意图上时，填写示意图需要来自临床医生的努力。
继续参考正参考图4解决的问题，通用动脉模型与真实性(观察到的血管造影图像)之间的最强偏差考虑冠状动脉分支的结构：
后降支(PDA)能够被附接到右侧冠状动脉(65％的情况)、左侧冠状动脉(10％)或两者(共显性，25％的情况)；
第三分支(岔支)在15％的情况下存在；
圆锥分支可以直接产生于主动脉(20-30％的情况)，产生于旋动脉(10％)或产生于右侧冠状动脉(60-70％)；
许多其他异常认为多于1％的患者。
此外，接合不同血管节段的分叉的位置从一个患者到另一个患者改变许多。例如：
第一对角线能够靠近以虚拟三叉方式改变的Circ/LAD分叉，或它能够相距Circ/LAD分叉许多厘米；
LM能够在Circ和LAD能够直接从主动脉开始的长度上改变如此多。
此外，分支(尤其是次级血管)能够显著地改变很多。例如，在一些情况下，第二对角线能够具有与远端LAD相当的厚度，同时它在其他患者上显现出精细和薄。
因此，临床医生需要在第一步骤中手动地使通用动脉模型调整到患者解剖结构的实际结构。然后，为了将他的发现填写在报告中，他需要在内心将他在检查序列上观察到的注射的血管投影到很通用的示意图中，其中分叉位置和血管显著性是不正确的。该过程是繁琐的，并且能够导致误差。此外，当第二临床医生将在他将需要阅读并理解报告时(尤其是当狭窄的精确位置的详细理解将被需要时)执行逆向任务时，会出现模糊不清。
如参考图4概述的问题能够通过自动地利用在检查期间采集的血管造影序列以便适配冠状动脉示意图使其成为患者特异性的来解决。这减小了存在于观察到的血管造影与冠状动脉示意图之间的间隙，从而允许更直观且更准确的注释。此外，对这样的报告的解读是更容易的，并且导致更少的误解。最后，这使临床医生无需对特定解剖结构的手动选择。应注意，通过依赖于在检查期间采集的血管造影序列，患者的心脏的CT不必被采集(这在临床例程中是少见的)。
代替显示一个人为变平的完整2D示意图，利用血管结构的完整3D示意图，其被再投影到类似于所采集的血管造影的一系列2D示意图上。
更详细地，利用冠状动脉的3D几何模型。它在与图4的2D变平的模型相同的解剖节段中分解了动脉树。在图8中示出了身体部分(在该范例中为心脏)的3D模型的范例。关于身体部分的3D模型的更多信息能够在以下报告中找到：“Intrathoracic spatial locationof specified coronary segments on the normal human heart.Applications inquantitative arteriography,assessment of regional risk and contraction,andanatomic display”(J.T.Dodge Jr，B.G.Brown，E.L.Bolson和H.T.Dodge，Circulation，第78卷，第5号，p.1167，1988)。
然而，能够使身体部分的通用3D模型在通过依赖于冠状动脉的潜在3D模型提供准确信息中更可用，所述潜在3D模型基于观察到的血管造影序列来逐渐地更新。
更精确地，将所采集的血管造影序列中的每个与来自再投影的3D模型(来自相同视角)的2D合成图像进行对照。控制3D模型(并且因此其2D投影)的外观的参数被调整，以便减少在血管造影图像与3D模型的2D投影之间观察到的差异。对每个血管造影序列连续地执行这种调整，或可以对不同的血管造影序列同时执行这种调整。
最后，得到的患者特异性冠状动脉模型将被变换为适合于报告的形式。它能够是变平的2D模型，具有正确的解剖结构、分支和节段显著性。或者，在用户能够旋转模型的数字报告的情况下，它能够直接是经调整的3D模型。
潜在3D模型
如上面讨论的，该过程是基于冠状动脉的3D几何模型，其包括例如：
分支关系(哪个分支源自于哪个分支)。这强烈地受解剖结构约束，但是如我们提到的，一些变化性存在(冠状动脉树显性、圆锥支和岔支的位置)。
分支长度。
分叉的位置(定义每个分支内的不同节段)。
关于节段的半径的精度。
关于不同节段的曲率的精度。
换言之，存在定义或控制或指定冠状动脉树的3D模型的外观的参数，该参数以及上面讨论的“内部”参数能够涉及诸如3D模型的位置、取向或姿态的“外部”参数，所述“外部”参数使得3D模型能够在其3D状态下或当获得2D投影时被用于帮助对医学数据(诸如血管造影片)的解读。换言之，当参数被正确地确定时，3D模型变成关于患者并且当医学图像数据(诸如血管造影片)被采集时患者如何被定位或被取向的3D患者特异性模型。模型参数通过将当模型站在该处理点时的模型与新采集的血管造影序列进行对照来确定或估计，对于通用3D模型，所述模型参数最初被设定为一些默认值。
通过与一幅血管造影图像的比较来更新模型
不同的方法能够被用于设定3D几何参数，使得3D模型与一个给出血管造影一致：
能够投影3D冠状动脉模型以形成2D合成血管造影片，其中C型臂角度对应于所考虑的血管造影片(产生对应于手头上的视图的2D示意图)。换言之，X射线源和探测器针对特定血管造影片的定位的知识被用于取向3D模型，使得其取向或姿态与当血管造影被采集时患者的心脏(关于图像采集系统)的取向或姿态类似或相同。然后，对3D几何参数执行优化过程，使得2D示意图匹配观察到的血管造影。与用于3D/2D配准的优化过程类似的优化过程能够被执行。
然而，如果3D模型未被足够详细描述，则存在3D模型的再投影的2D示意图与实际血管造影片相比仍然会是相当示意性的可能性。这可以导致被不好地调节的优化过程。另一方法因此是识别在血管造影上可见的血管节段，以便将它们与3D模型的节段显式地相关联。然后执行针对血管造影图像上的这些节段的测量(例如，节段长度、厚度、弯曲度)，这继而使得能够针对所考虑的节段设定3D模型的参数。
第二方法既不需要对3D模型的任何投影，也不需要对图像的配准。另一方面，它需要对冠状动脉节段的识别，所述识别呈现2D血管分割以及其标记。血管造影片能够通过血管增强方法来滤波，并且然后被阈值化。关于对不同节段的识别，机器学习技术能够被使用。在(大的)学习数据库上，大量度量被关联到血管的每个点(血管能量、图像中的位置、当采集所述图像时系统的角度、厚度、相邻的血管等)，并且告诉每个血管点属于哪个分支的真值被给出。然后，运行将学习如何将结果(解剖节段)与特征相关(通过组合它们、对它们进行阈值化和线性地相加)的机器学习算法(随机森林、深度学习、SVM…)。在图5和6中示出了这样的2D节段标记的结果。
现在，当新的图像被考虑时，学习的规则被应用于所有分割点，以便节决定哪个节段存在于图像中的哪里。然后简单直接的是，计算分叉之间的(再投影的)距离，决定不同的分支备选，设定分支取向。
如上面讨论的，能够被确定为使其患者特异性的3D模型的参数能够包括3D模型的取向或姿态。现在，对于每个血管造影序列：
一个良好注射的图像从序列中被自动选择(其中注射的冠状动脉是精细可见的，并且如果帧属于相同的心脏相位，则它是被选择的该给定心脏相位的最佳注射的)。当更新如上面讨论的“内部”模型参数时，这样的良好注射的图像能够被使用；
3D几何模型被投影以产生2D表示，其根据(由其角度到其源到图像的距离SID定义的)C型臂几何结构最初被定位在等中心点处；
3D几何模型的姿态被细化，使得它尽可能多地对应于实际观察的注射的冠状动脉树。在一范例中，改进的估计针对模型在空间中的位置(3个平移参数)并且针对轻微旋转(3个参数)进行计算。
从初始姿态开始(第二步骤)，该方法要逐渐地仿射3D模型位置，使得当在2D图像(血管造影片)上观察到冠状动脉树时，其2D再投影尽可能好地匹配冠状动脉树。这能够通过定义详细描述当前再投影模型如何好地匹配观察到的冠状动脉的能量函数来完成。例如，血管能量图能够通过对观察到的图像进行滤波来计算，并且对与再投影的3D模型交叠的血管能量进行求和。如果其姿态很好地对应于血管，则能量将是高的；如果它在血管外，则能量将是低的。
为了获得最佳可能姿态的确定性，所有可容许的变换能够被计算(平移、旋转和缩放)，或至少其采样的版本，并且给出最高能量的一个变换被选择。备选地，能量能够被计算，使得其关于姿态参数是可微分的，使得能量导数将指示姿态参数应当在哪个方向上被调整以便改进对齐。以此方式，梯度下降将快速地得到姿态的(局部)最佳选择。应注意，在一范例中，对模型的内部参数的调整能够在可微分能量的基础上以相同或类似的方式被执行，其中2D再投影被利用。
调整是要(通过高斯滤波)使能量图变模糊，以便将模型中(关于对应患者的实际3D冠状动脉树)的任何不精确转化成我们的匹配准则上的不准确，以便促进对最佳可能姿态的确定。
备选地，将3D模型与血管造影片对齐的特定方法能够被设计，这涉及通过纯2D图像处理来显式地识别血管造影片中的一些特定点(例如分支点)。这几个点然后将用作锚定物来设定3D模型(使得再投影的分支点匹配从血管造影片提取的分支点)。
清楚的是，对3D模型的姿态的确定能够通过对3D模型适当地进行取向在帮助对3D模型的内部参数的确定中使用。例如，与用于特定图像的X射线图像采集设备的位置相关的信息可以不是已知的，或者如果已知，它可以不具有所需的信息的保真度来使得3D模型的正确取向能够被确定。在该情况下，姿态能够被确定为确定D模型的内部参数(诸如冠状动脉结构的分支关系)的过程的一部分。此外，用于确定3D模型的姿态的上述过程能够用于已经通过上面描述的过程被确定为患者特异性的3D模型。这是因为，3D模型的姿态能够被确定以便其2D投影将匹配血管造影片的姿态，或者3D模型本身能够例如在数字报告中被正确地取向，使得当血管造影片被数字地观察到时，3D模型自动将其本身取向为如X射线图像采集单元将已经观察到它那样呈现心脏的3D模型。
以此方式，3D模型然后能够被利用在两个模块中：
注释模块，其允许临床医生透明地且准确地填写他的发现。
临床医生能够选择血管造影图像以及他想要用来注释冠状动脉树的3D模型的相关联的2D投影的示意图。编辑示意图中的一个(例如以定位狭窄)将更新它们中的全部(因为它们呈现相同对象(通用3D模型)的所有特定视图)。
用户能够选择最相关的视图来报告他关于冠状动脉树的发现。
实质上，用户能够选择其中狭窄能够被最清楚地看见(几乎没有透视短缩，几乎没有交叠混杂)以准确地定位它们的视图。
报告模块，其允许临床医生选择他想要将该信息呈现在报告中的格式。
血管造影片或一系列血管造影片、和/或3D模型的相关联的(一个或多个)2D投影能够被导出到报告中。这将允许将阅读报告的临床医生直观地且准确地理解检查的发现的本质。换言之，这将具有帮助将阅读该报告的第二临床医生更快且更准确地理解该检查的发现的额外益处；
用户也将能够生成以更简洁又紧凑的方式总结他的发现的其他图形。
他能够求助于3D建模的血管结构的2D投影，这具有在一个独特示意图内呈现所有信息的优点，或者
他能够求助于在数字报告中他旋转的注释的3D树。
在一范例中，数字报告中的3D建模的血管结构自动旋转到与模型一起提及的血管造影片的角度，当不同的血管造影在数字报告中进行观察时连同3D模型一起改变。以此方式，例如在后续检查的情况下，咨询报告的临床医生能够使其自由旋转，帮助他理解这些动脉的3D几何结构。
全局上，本发明使示意图填写更透明且更不乏味，并且允许到以后将阅读报告的其他临床医生的更顺滑的信息传输。
图7示出了用于提供身体部分的患者特异性3D模型以及对用于在医学报告中使用的该3D模型的利用的详细工作流。该过程包括四个主要步骤A-D：
血管造影分割
在第一中，2D冠状动脉树需要被分割。不同的图像处理方法能够被使用，例如基于在上面提及的文章中在该主题上描述的脊波滤波器的扩展。3D冠状动脉模型已经可以在此时被采用。即使它还不能很好地适配于患者，它也已经能够传达关于血管的预期位置(和血管的“不可能”位置)的信息。这是迭代过程，并且因此此时在特定迭代步骤内一些误差是可接受的。
可利用的分支确定
不是冠状动脉树的每个分支都可以在所考虑的血管造影上很好地可见。首先，一些分支可能被不好地注射，或根本未被注射。其次，经常发生一些分支叠加。因此，其在血管造影上的投影是模糊不清的，并且它对根据该血管造影确定其几何参数将是危险的。因此，识别良好定义的分支，并且从根据该一个血管造影执行的分析中移除未良好定义的其他分支。由于临床医生在检查的过程中检查每个分支，连续地选择允许它们中的每个被清楚地观察到的角度，在研究当前血管造影时被忽视的分支稍后将被处理(并且其几何参数被估计)。
血管造影分支确定和标记
为了将冠状动脉模型与经分割的冠状动脉树(二值掩码)进行匹配，经分割的分支被标记。即，冠状动脉树被再分割成不同的分支，并且节段被命名。这能够通过首先将模型投影到采集的角度中并且然后将二值分割与(不完美的)模型对齐来实现。这相当于如在标题“通过与一幅血管造影图像的比较来更新模型”下讨论的方法1。
备选地，一些机器学习可以被利用以对沿着血管中心线的位置进行分类。这相当于如在标题“通过与一幅血管造影图像的比较来更新模型”下讨论的方法2。此外，此时在过程的第一次迭代期间一些误差是可接受的。
模型参数调整
在3D模型的显式投影和扭曲(方法1)的情况下，所估计的运动参数将直接转化成经调整的3D几何参数。
在方法2的情况下，对所标记的节段执行一些测量以更好地定义几何模型。然后能够确定节段如何被分支在一起，以及分叉在主要动脉上位于哪里。其长度以及其宽度和弯曲度参数能够被估计。
注意，模型已经被调整，重迭代使得步骤A-C能够以更高的准确性来解决。因此，该过程能够在移动到下一个血管造影序列之前被重迭代许多次。然而，迭代不是必要的。
为了清楚起见，步骤A-D被分开描述。它们实际上能够被更紧密地链接，并且为了最高效率，甚至可能被合并。例如，投影的模型与经分割的血管造影之间的对齐(C)也可以包括模型参数调整(D)，因为它将丰富模型能够经历以与经分割的树对齐的相关变换的空间。
能够进行对全局方案的重迭代，在血管造影序列上进行循环。其例如能够是，基于第一血管造影执行的模型调整不完美，因为它从粗糙的平均模型开始。然而，误差能够通过利用在n(通常10)个血管造影序列已经被处理之后可用的好得多(更患者特异性)的模型来考虑或修正。
结果呈现
然后存在将3D模型用于提供信息以进入医学报告中的许多不同的方式：
2D示意性模型(类似于在图4中示出的2D示意性模型)能够被生成，其中示意性地示出了没有交叠的血管结构。然而，患者特异性3D模型将被用于确保示意图具有与患者的分支一致的正确分支(PDA被准确地附接，岔支和圆锥支被正确地定位)；
3D模型的一系列2D投影能够被生成，与在相同角度处采集的相关联的血管造影片配对。合成血管造影片然后将具有正确的分支系统、正确的分支长度和沿着所述分支的分叉位置。可以存在血管结构的交叠，或不同的分支能够在分开的示意图内被呈现，然而合成血管造影片内的分支结构本身将是已知的，并且能够被适当地注释；
患者特异性3D模型可以以3D方式被直接呈现(参见图8)。用户将能够旋转它，编辑它，以及从他喜欢的视角再投影它。
在另一示范性实施例中，提供了计算机程序或者计算机程序单元，其特征在于被配置为根据前述实施例(适当的系统)之一运行方法的方法步骤。
计算机程序单元因此可以被存储在计算机单元上，所述计算机单元还可以是实施例的部分。该计算单元可以配置为执行以上描述的方法的步骤或诱发以上描述的方法的步骤的执行。此外，其可以被配置为操作以上描述的装置的部件。所述计算单元能够被配置为自动地操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。所述数据处理器由此可以被装备为执行根据前述实施例之一的方法。
本发明的该示范性实施例涵盖从一开始就使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。
更进一步地，所述计算机程序单元能够提供实现如以上所描述的方法的示范性实施例的流程的所有必需步骤。
根据本发明的另一示范性实施例，提出了一种计算机可读介质，例如CD-ROM，其中，所述计算机可读介质具有存储在所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面部分描述。
计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序可也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。
然而，所述计算机程序也可以存在于诸如万维网的网络上并能够从这样的网络中下载到数据处理器的工作存储器中。根据本发明的另一示范性实施例，提供了一种用于使得计算机程序单元可用于下载的介质，其中，所述计算机程序单元被布置为执行根据本发明的之前描述的实施例之一所述的方法。
必须指出，本发明的实施例参考不同主题加以描述。具体而言，一些实施例参考方法类型的权利要求加以描述，而其他实施例参考设备类型的权利要求加以描述。然而，本领域技术人员将从以上和下面的描述中了解到，除非另行指出，除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被认为由本申请公开。然而，所有特征能够被组合以提供超过特征的简单加和的协同效应。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求，本领域的技术人员在实践请求保护的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他单元或步骤，并且，词语“一”或“一个”并不排除多个。单个处理器或其他单元可以履行权利要求书中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (14)

1.一种用于提供身体部分的患者特异性3D模型的装置(10)，所述装置包括：
-输入单元(20)；以及
-处理单元(30)；
其中，所述输入单元被配置为提供至少一幅2D X射线图像，所述至少一幅2D X射线图像包括患者的身体部分的血管结构的2D X射线图像数据；
其中，所述输入单元被配置为提供所述身体部分的3D模型，所述3D模型包括3D建模的血管结构，其中，至少一个参数控制所述3D建模的血管结构的外观，并且其中，所述3D模型是所述身体部分的通用模型；
其中，所述处理单元被配置为将所述3D建模的血管结构与所述血管结构的所述2D X射线图像数据进行对照来确定所述至少一个参数；
其中，所述处理单元被配置为根据所确定的至少一个参数来更新所述3D模型；并且
其中，所述处理单元被配置为基于根据所述3D模型确定的信息来生成医学报告。
2.根据权利要求1所述的装置，其中，所述处理单元被配置为确定所述身体部分的所述3D模型的2D投影，所述身体部分的所述3D模型的所述2D投影包括所述3D建模的血管结构的2D投影，并且所述处理单元被配置为调整所述至少一个参数，使得经调整的3D建模的血管结构的2D投影表示所述患者的身体部分的所述血管结构的所述2D X射线图像数据；并且其中，经调整的至少一个参数形成所确定的至少一个参数。
3.根据权利要求2所述的装置，其中，所述处理单元被配置为修改所述至少一个参数，直到经修改的3D建模的血管结构的所述2D投影表示所述血管结构的所述至少2D X射线图像数据，以调整所述至少一个参数。
4.根据权利要求2-3中的任一项所述的装置，其中，所述处理单元被配置为变换所述身体部分的所述3D模型，其中，对所述身体部分的所述3D模型的所述变换包括对所述身体部分的所述3D模型的姿态的确定。
5.根据权利要求4所述的装置，其中，所述输入单元被配置为提供与被用于采集所述至少一幅2D X射线图像的X射线采集单元(40)的几何配置有关的信息，并且其中，对所述身体部分的所述3D模型的所述变换包括对与所述X射线采集单元的所述几何配置有关的所述信息的利用。
6.根据权利要求2-5中的任一项所述的装置，其中，所述处理单元被配置为使得用户能够注释与所述身体部分的经变换的3D模型相关联的所述3D建模的血管结构的所述至少一个2D投影，并且其中，所述处理单元被配置为将所述注释应用于所述身体部分的所述3D模型的所述3D建模的血管结构。
7.根据权利要求2-6中的任一项所述的装置，其中，所述处理单元被配置为使得用户能够选择报告格式以用于报告与所述身体部分的经变换的3D模型相关联的所述3D建模的血管结构的所述至少一个2D投影、和/或与所述身体部分的经变换的3D模型相关联的所述3D建模的血管结构、和/或所述身体部分的经变换的3D模型。
8.根据权利要求1所述的装置，其中，所述处理单元被配置为指示所述血管结构的所述至少一幅2D X射线图像中的所述血管结构的至少一个节段，并且对所述至少一个节段执行至少一个测量，并且将所述血管结构的所述至少一幅2D X射线图像中的所述血管结构的所述至少一个节段与所述3D建模的血管结构的对应的至少一个节段相关联；其中，所述处理单元被配置为根据所述至少一个测量来调整所述至少一个参数；并且其中，经调整的至少一个参数形成所确定的至少一个参数。
9.根据权利要求1-8中的任一项所述的装置，其中，所述至少一幅2DX射线图像包括多幅图像；其中，所述处理单元被配置为从所述多幅图像中选择良好注射的2D X射线图像。
10.根据权利要求1-9中的任一项所述的装置，其中，被用于采集所述至少一幅2D X射线图像的X射线采集单元(40)在所述至少一幅2D X射线图像被采集时是静态的。
11.一种用于提供身体部分的患者特异性3D模型的医学系统(100)，所述系统包括：
-X射线图像采集单元(40)；
-根据前述权利要求中的任一项所述的用于提供身体部分的患者特异性3D模型的装置(10)；以及
-输出单元(110)；
其中，所述X射线图像采集单元被配置为提供所述至少一幅2D X射线图像；并且
其中，所述输出单元被配置为输出表示所述身体部分的所述患者特异性3D模型的数据。
12.一种用于提供身体部分的患者特异性3D模型的方法(200)，所述方法包括：
a)提供(210)至少一幅2D X射线图像，所述至少一幅2D X射线图像包括患者的身体部分的血管结构的2D X射线图像数据；
b)提供(220)所述身体部分的3D模型，所述3D模型包括3D建模的血管结构，其中，至少一个参数控制所述3D建模的血管结构的外观，并且其中，所述3D模型是所述身体部分的通用模型；
c)将所述3D建模的血管结构与所述血管结构的所述2D X射线图像数据进行对照(230)来确定所述至少一个参数；
d)根据所确定的至少一个参数来更新(240)所述3D模型；并且
e)基于根据所述3D模型确定的信息来生成(250)医学报告。
13.一种用于控制根据权利要求1至11中的任一项所述的装置的计算机程序，所述计算机程序当由处理器运行时被配置为执行根据权利要求12所述的方法。
14.一种计算机可读介质，存储有根据权利要求13所述的程序单元。
CN201680077227.3A 2015-12-30 2016-12-21 身体部分的三维模型 Active CN108496205B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15307184.0 2015-12-30
EP15307184 2015-12-30
PCT/EP2016/082044 WO2017114700A1 (en) 2015-12-30 2016-12-21 Three dimensional model of a body part

Publications (2)

Publication Number Publication Date
CN108496205A true CN108496205A (zh) 2018-09-04
CN108496205B CN108496205B (zh) 2023-08-15

Family

ID=55085517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680077227.3A Active CN108496205B (zh) 2015-12-30 2016-12-21 身体部分的三维模型

Country Status (5)

Country Link
US (1) US11200750B2 (zh)
EP (1) EP3398170B1 (zh)
JP (1) JP6878439B2 (zh)
CN (1) CN108496205B (zh)
WO (1) WO2017114700A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112955927A (zh) * 2018-10-26 2021-06-11 皇家飞利浦有限公司 用于针对血管造影-ffr的2d脉管分割的取向检测

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9814433B2 (en) * 2012-10-24 2017-11-14 Cathworks Ltd. Creating a vascular tree model
WO2017199246A1 (en) 2016-05-16 2017-11-23 Cathworks Ltd. Vascular selection from images
EP3457930B1 (en) 2016-05-16 2023-11-15 Cathworks Ltd. System for vascular assessment
DE102016215971A1 (de) * 2016-08-25 2018-03-01 Siemens Healthcare Gmbh Segmentierung einer Angiographie unter Verwendung einer bestehenden dreidimensionalen Rekonstruktion
EP3564961A1 (en) * 2018-05-03 2019-11-06 Koninklijke Philips N.V. Interactive coronary labeling using interventional x-ray images and deep learning
WO2020030331A1 (en) * 2018-08-07 2020-02-13 Siemens Healthcare Gmbh 3d depth reconstruction of vessels in 2d medical images
US11010896B2 (en) * 2018-12-17 2021-05-18 Bodygram, Inc. Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
JP7341667B2 (ja) * 2019-02-08 2023-09-11 キヤノンメディカルシステムズ株式会社 医用画像処理装置、ｘ線診断装置及び医用情報処理システム
EP4033964A1 (en) * 2019-09-23 2022-08-03 Cathworks Ltd. Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
WO2021087425A1 (en) * 2019-10-31 2021-05-06 Bodygram, Inc. Methods and systems for generating 3d datasets to train deep learning networks for measurements estimation
WO2021154389A1 (en) 2020-01-29 2021-08-05 Covidien Lp System and methods for identifying vessels within tissue
CN117642776A (zh) * 2021-05-05 2024-03-01 哈特弗罗公司 用于处理电子图像以确定平面映射的系统和方法
JP7112140B1 (ja) 2021-12-21 2022-08-03 株式会社 マイネ 撮像支援方法、撮像支援プログラム、撮像支援システム
JP2024032079A (ja) 2022-08-29 2024-03-12 富士通株式会社 病変検出方法および病変検出プログラム
WO2024083538A1 (en) * 2022-10-20 2024-04-25 Koninklijke Philips N.V. Three-dimensional coronary tree reconstruction

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123606A1 (en) * 2001-12-19 2003-07-03 Sabine Mollus Method of assisting orientation in a vascular system
US20050249327A1 (en) * 2002-06-04 2005-11-10 Onno Wink Rotational angiography based hybrid 3-d reconstruction of coronary arterial structure
US20060188139A1 (en) * 2004-12-20 2006-08-24 Ali Khamene Tree structure based 2D to 3D registration
WO2007026598A1 (ja) * 2005-08-31 2007-03-08 Gifu University 医用画像処理装置及び画像処理方法
US20100098309A1 (en) * 2008-10-17 2010-04-22 Joachim Graessner Automatic classification of information in images
WO2012063204A1 (en) * 2010-11-12 2012-05-18 Koninklijke Philips Electronics N.V. Identifying individual sub-regions of the cardiovascular system for calcium scoring
DE102011076233A1 (de) * 2011-02-09 2012-08-09 Siemens Ag Verfahren und Computersystem zur automatischen Erzeugung eines statistischen Modells
US20130116551A1 (en) * 2010-07-19 2013-05-09 Koninklijke Philips Electronics N.V. 3d-originated cardiac roadmapping
US20130266123A1 (en) * 2012-04-09 2013-10-10 Toshiba Medical Systems Corporation X-ray diagnostic apparatus
US20130308844A1 (en) * 2011-02-07 2013-11-21 Koninklijke Philips N.V. Medical imaging device for providing an image representation supporting the accurate positioning of an invention device in vessel intervention procedures
US20150094567A1 (en) * 2013-09-30 2015-04-02 Marcus Pfister Angiographic Examination Method for a Vascular System
CN105103191A (zh) * 2013-04-03 2015-11-25 皇家飞利浦有限公司 血管分割

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003144B2 (en) 2000-02-11 2006-02-21 The United States Of America As Represented By The Department Of Health And Human Services Vessel delineation in magnetic resonance angiographic images
WO2005004724A1 (en) * 2003-07-10 2005-01-20 Koninklijke Philips Electronics N.V. Apparatus and method for navigating an instrument through an anatomical structure
US7197170B2 (en) 2003-11-10 2007-03-27 M2S, Inc. Anatomical visualization and measurement system
US20060098010A1 (en) 2004-03-09 2006-05-11 Jeff Dwyer Anatomical visualization and measurement system
US7639847B2 (en) 2004-09-08 2009-12-29 Ge Medical Systems Information Technologies, Inc. Coronary artery tree imaging system and method
US7702137B2 (en) 2004-11-10 2010-04-20 M2S, Inc. Anatomical visualization and measurement system
DE102005036564A1 (de) 2005-08-03 2007-02-22 Siemens Ag Betriebsverfahren für eine bildgebende medizintechnische Anlage und hiermit korrespondierende Gegenstände
US8494227B2 (en) * 2007-04-17 2013-07-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to identify individuals
US10045755B2 (en) * 2008-03-17 2018-08-14 Koninklijke Philips N.V. Perfusion imaging system with a patient specific perfusion model
WO2011018727A1 (en) * 2009-08-12 2011-02-17 Koninklijke Philips Electronics N.V. Generating object data
US9888973B2 (en) * 2010-03-31 2018-02-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3D mapping and visualization systems
DE102011005847B4 (de) * 2011-03-21 2017-04-27 Siemens Healthcare Gmbh Röntgeneinrichtung
KR20150000450A (ko) * 2011-08-26 2015-01-02 이비엠 가부시키가이샤 혈관혈류 시뮬레이션 시스템, 그 방법 및 컴퓨터 소프트웨어 프로그램
US8867822B2 (en) 2011-10-14 2014-10-21 Fujifilm Corporation Model-based coronary artery calcium scoring
WO2013112586A1 (en) 2012-01-24 2013-08-01 Smith & Nephew, Inc. Porous structure and methods of making same
EP2779090B1 (en) * 2013-03-11 2018-09-19 Siemens Healthcare GmbH Assignment of localisation data
WO2015061639A1 (en) * 2013-10-25 2015-04-30 Volcano Corporation Devices, systems, and methods for vessel assessment
US20150254043A1 (en) 2014-03-04 2015-09-10 Sung Jae Hwang Display property determination
US10470732B2 (en) * 2014-09-30 2019-11-12 Siemens Healthcare Gmbh System and method for generating a time-encoded blood flow image from an arbitrary projection

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123606A1 (en) * 2001-12-19 2003-07-03 Sabine Mollus Method of assisting orientation in a vascular system
US20050249327A1 (en) * 2002-06-04 2005-11-10 Onno Wink Rotational angiography based hybrid 3-d reconstruction of coronary arterial structure
US20060188139A1 (en) * 2004-12-20 2006-08-24 Ali Khamene Tree structure based 2D to 3D registration
WO2007026598A1 (ja) * 2005-08-31 2007-03-08 Gifu University 医用画像処理装置及び画像処理方法
JP4139869B2 (ja) * 2005-08-31 2008-08-27 国立大学法人岐阜大学 医用画像処理装置
US20100098309A1 (en) * 2008-10-17 2010-04-22 Joachim Graessner Automatic classification of information in images
US20130116551A1 (en) * 2010-07-19 2013-05-09 Koninklijke Philips Electronics N.V. 3d-originated cardiac roadmapping
WO2012063204A1 (en) * 2010-11-12 2012-05-18 Koninklijke Philips Electronics N.V. Identifying individual sub-regions of the cardiovascular system for calcium scoring
US20130230225A1 (en) * 2010-11-12 2013-09-05 Koninklijke Philips Electronics N.V. Identifying individual sub-regions of the cardiovascular system for calcium scoring
US20130308844A1 (en) * 2011-02-07 2013-11-21 Koninklijke Philips N.V. Medical imaging device for providing an image representation supporting the accurate positioning of an invention device in vessel intervention procedures
DE102011076233A1 (de) * 2011-02-09 2012-08-09 Siemens Ag Verfahren und Computersystem zur automatischen Erzeugung eines statistischen Modells
US20130266123A1 (en) * 2012-04-09 2013-10-10 Toshiba Medical Systems Corporation X-ray diagnostic apparatus
CN105103191A (zh) * 2013-04-03 2015-11-25 皇家飞利浦有限公司 血管分割
US20150094567A1 (en) * 2013-09-30 2015-04-02 Marcus Pfister Angiographic Examination Method for a Vascular System

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GROHER M ET AL.: "Deformable 2D-3D registration of vascular structures in a one view scenario", 《IEEE》 *
JULIEN JOMIER ET AL.: "3D/2D model-to-image registration applied to TIPS surgery", 《MEDICAL IMAGE COMPUTING AND COMPUTER》 *
JURGEN WEESE ET AL.: "The generation of patient-specific heart models for disgnosis and interventions", 《STATISTICAL ATLASES AND COMPUTATIONAL MODELS OF THE HEART》 *
SABINE MOLLUS ET AL.: "Model-to-image based 2D-3D registration of angiographic data", 《PROCEEDINGS SPIE》 *
马炘 等: "改进的血管三维建模算法", 《计算机辅助设计与图形学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112955927A (zh) * 2018-10-26 2021-06-11 皇家飞利浦有限公司 用于针对血管造影-ffr的2d脉管分割的取向检测

Also Published As

Publication number Publication date
EP3398170A1 (en) 2018-11-07
WO2017114700A1 (en) 2017-07-06
EP3398170B1 (en) 2019-10-30
US20190019347A1 (en) 2019-01-17
JP2019500146A (ja) 2019-01-10
CN108496205B (zh) 2023-08-15
JP6878439B2 (ja) 2021-05-26
US11200750B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
CN108496205A (zh) 身体部分的三维模型
US9662083B2 (en) Medical image display apparatus and medical image display system
JP6220310B2 (ja) 医用画像情報システム、医用画像情報処理方法及びプログラム
RU2627147C2 (ru) Отображение в реальном времени видов сосудистой сети для оптимального перемещения устройства
CN103379861B (zh) 用于在血管介入程序中提供支持介入设备的准确定位的图像表示的医学成像设备
US7286866B2 (en) Method, system and computer product for cardiac interventional procedure planning
JP4728627B2 (ja) Ｃｔ血管造影法における構造を領域分割する方法及び装置
RU2589383C2 (ru) Двухрежимное формирование изображения, включающее в себя метрики качества
US10825257B2 (en) Synthetic representation of a vascular structure
US20110060755A1 (en) Method of selectively and interactively processing data sets
CN105849773A (zh) 解剖结构的基于模型的分割
DE102010012797B4 (de) Rechnergestützte Auswertung eines Bilddatensatzes
JP2020199328A (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
US20150260819A1 (en) Transfer of validated cad training data to amended mr contrast levels
US20240078676A1 (en) Interactive coronary labeling using interventional x-ray images and deep learning
CN107752979A (zh) 对人工投影的自动生成
CN108430376A (zh) 提供投影数据集
WO2013121679A1 (ja) 領域抽出処理システム
US20170322684A1 (en) Automation Of Clinical Scoring For Decision Support
US20110242096A1 (en) Anatomy diagram generation method and apparatus, and medium storing program
US20170365059A1 (en) Adaptive segmentation for rotational c-arm computed tomography with a reduced angular range
US20210158970A1 (en) Disease simulation and identification in medical images
CN112790778A (zh) 采集错误对齐
JP6956514B2 (ja) Ｘ線ｃｔ装置及び医用情報管理装置
CN115546174B (zh) 图像处理方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant