CN111476791B - 图像处理方法、图像处理装置和非暂时性计算机可读介质 - Google Patents

图像处理方法、图像处理装置和非暂时性计算机可读介质 Download PDF

Info

Publication number
CN111476791B
CN111476791B CN202010434156.6A CN202010434156A CN111476791B CN 111476791 B CN111476791 B CN 111476791B CN 202010434156 A CN202010434156 A CN 202010434156A CN 111476791 B CN111476791 B CN 111476791B
Authority
CN
China
Prior art keywords
vessel
tree
image
centerline
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010434156.6A
Other languages
English (en)
Other versions
CN111476791A (zh
Inventor
李育威
智英轩
刘树宝
尹游兵
曹坤琳
宋麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keya Medical Technology Co Ltd
Original Assignee
Keya Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keya Medical Technology Co Ltd filed Critical Keya Medical Technology Co Ltd
Publication of CN111476791A publication Critical patent/CN111476791A/zh
Application granted granted Critical
Publication of CN111476791B publication Critical patent/CN111476791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及一种图像处理方法、图像处理装置和非暂时性计算机可读介质。其中方法包括：获取血管树的3D中心线；获取所述血管树的2D中心线和2D血管几何信息；将所述血管树的3D中心线配准到所述血管树的2D中心线；基于配准结果，将所述血管树的2D中心线上各个位置的2D血管几何信息转移到所述血管树的3D中心线上的相应位置，以构建所述血管树的3D模型。该方法在计算血流储备分数(FFR)时，结合血管树3D图像的整体空间信息和2D图像的血管几何信息，如此能够获得更加准确的血管树3D模型。

Description

图像处理方法、图像处理装置和非暂时性计算机可读介质
相关申请的交叉引用
本申请要求2019年5月21日提交的美国临时申请第62/851,067号的优先权，其全部内容通过引用结合在此。
技术领域
本公开涉及一种图像处理方法、图像处理装置和非暂时性计算机可读介质。
背景技术
当由于冠状动脉病变而使心脏供血不足时，可能会发生心肌缺血。病变信息可通过计算机断层扫描血管造影(CTA)或冠状X线血管造影(CAG)等放射学技术进行评估。在这些技术中，通常在捕获图像的同时将造影剂注入血流。造影剂突出显示冠状血管的管腔结构，然后可以进行医学图像分析以量化血管的几何形状。尽管这些技术提供了可视化血管几何形状的方法，但它们无法提供功能性血液供应和冠状动脉病变的血流动力学意义的评估。例如，来自血管几何形状的严重狭窄可能不会明显导致该血管向心肌块的血液供应不足。仅基于这种视觉解释的病变诊断可能会导致不必要的经皮冠状动脉介入治疗(PCI)。
血流分数储备(FFR)是基于压力的指数，也是目前评估冠状动脉病变在提供血液中的功能重要性的金标准。通过操纵压力线来测量冠状动脉近端和目标病变远端的压力值。两个压力值之间的比率提供了一种精确的方法来量化特定病变的功能重要性。有创FFR测量尚未在临床上得到广泛应用，部分是由于其成本高，以及并非所有患者都适合该手术中使用的药理学。为了克服这些限制，引入了虚拟FFR技术，即基于CTA或CAG的FFR仿真，无需进行有创压力测量。这些技术采用血管几何建模和血液动力学控制方程来求解血液动力学参数，包括计算FFR所需的压力值。
当前，可以从独立的CTA或CAG成像技术获得虚拟FFR评估，然而这两者都有其优势和局限性。
在CTA衍生的虚拟FFR中，从CTA体积数据中分割出与血管腔相对应的区域，并将其重建为3D冠状动脉树。在CTA中，每个体素都有固定的已知空间尺寸。因此，CTA保留了出色的空间完整性，从CTA重建的3D模型包含准确的位置信息。但是，由于分辨率的限制，CTA分割可能不足以进行精确的血管管腔尺寸(即假设血管呈管状结构的半径)的估算。另外，一些与CTA相关的成像问题(例如与严重钙化有关的运动伪影和泛光伪影)可能会严重妨碍邻近区域血管的精确分割，尤其是对于病变狭窄的准确重塑。最后，CTA成像不提供患者特定的血流信息，这对于FFR计算很重要。
在CAG衍生的虚拟FFR中，通常使用来自不同角度和预定义角度的两个或多个2D血管造影术序列来重建血管的3D模型。CAG图像是当前狭窄量化的黄金标准。由于X射线图像的分辨率更高，因此与CTA衍生的对应物相比，可以更准确地描绘血管边界，同时还能够提取患者特定的冠状动脉血流信息，例如，可以使用基于TIMI(心肌梗塞中的血栓溶解)帧计数方法的方法。基于CAG成像的虚拟FFR的主要局限性是从2D图像的多个视图进行3D重建时遇到的困难。首先，从数量有限的视图中重建3D模型时会存在固有的模糊性，尤其是在血管轮廓重叠的区域。其次，图像序列之间的视角必须大于特定的阈值(例如25度)，以允许在两个视图之间进行准确的重建，理想地，视角应垂直于感兴趣的血管，以便完全捕获其包括病变的真实几何形状。然而，在临床常规过程中，确保介入医师的这种精确操作是不切实际的。实际上，视角偏离直角的距离越多，发生的透视就越多，从而导致重建模型中血管的长度和半径的准确性越差。在血管重建过程中，至少需要两个视角来进行血管重建，这会给介入医师带来额外的干扰，这不可避免地增加了临床工作量和负担。
发明内容
提供本公开是为了克服上述技术缺陷。本公开引入了该方法在计算血流储备分数(FFR)时，结合血管树CTA图像的整体空间信息和CAG图像的血管几何信息的方法，如此能够获得更加准确的血管树3D模型，同时减少介入医师的临床工作量和负担。
在第一方面，本公开提供了一种图像处理方法，包括：获取血管树的3D中心线；获取所述血管树的2D中心线和2D血管几何信息；将所述血管树的3D中心线配准到所述血管树的2D中心线；基于配准结果，将所述血管树的2D中心线上各个位置的2D血管几何信息转移到所述血管树的3D中心线上的相应位置，以构建所述血管树的3D模型。
在第二方面，本公开提供了一种图像处理装置，包括：第一获取单元，被配置为获取血管树的3D中心线；第二获取单元，被配置为获取所述血管树的2D中心线和2D血管几何信息；中心线配准单元，被配置为将所述血管树的3D中心线配准到所述血管树的2D中心线；几何信息转移单元，被配置为基于配准结果，将所述血管树的2D中心线上各个位置的2D血管几何信息转移到所述血管树的3D中心线上相应位置，以构建所述血管树的3D模型。
在第三方面，本公开提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据本公开第一方面各实施例的图像处理方法。
如此，本公开的第一、第二、第三方面能够结合血管树CTA图像的整体空间信息和CAG图像的血管几何信息的方法，以获得更加准确的血管树3D模型，同时减少介入医师的临床工作量和负担。
应当理解，以上一般性描述和以下详细描述仅为示例性和说明性的，并不作为对要求保护的本发明的限制。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以描述不同视图中的类似部件。具有字母后缀或不同字母后缀的相同数字可表示类似部件的不同实例。附图通常通过示例而非通过限制的方式示出了各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是例证性的，而并非旨在作为本方法、装置、系统或其上存储有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他实施例。
图1a示出了根据本公开实施例的图像处理方法的流程图；
图1b示出了根据本公开实施例的中心线配准的流程图
图2a示出了根据本公开的实施例的CAG图像；
图2b示出了根据本公开的实施例的CAG图像的二元图；
图2c示出了根据本公开的实施例的中心线配准结果；
图3示出了根据本公开的实施例的半径转移后的血管图像；
图4示出了根据本公开的实施例的基于动态时间扭曲的中心线配准示意图；
图5示出了根据本公开的实施例的血管3D模型；
图6示出了根据本公开的实施例的图像处理装置的框图；以及
图7示出了根据本公开的另一实施例的图像处理装置的框图。
具体实施方式
本文中的表述“第一图像”和“第二图像”仅仅是对图像进行区分，并不旨在限定数量。本文中所描述的各个流程中，附图中所示的步骤顺序仅仅作为示例，在不影响各个步骤的逻辑关系的情况下，相关步骤可以采用与图示不同的顺序来灵活执行。
图1a示出了根据本公开实施例的图像处理方法的流程图。
在步骤S1中，获取血管树的3D中心线。步骤S1中对血管树的3D中心线的“获取”包含直接取得现成的3D中心线或者通过对第一图像的一系列处理来提取得到。在一些实施例中，可以通过以下方式来获取用于提取血管树的3D中心线的第一图像：计算机断层扫描造影(CTA)、灌注计算机断层扫描(CTP)、核磁共振成像(MRI)，以上方式仅仅作为示例，只要能够获取较为准确的血管树的3D空间结构信息的成像模态都可以结合于此，在此不做特别限定。
下文中以CTA图像作为示例进行说明。
在血管树的CTA成像装置中，通常在图像处理装置中安装有血管树的3D中心线的提取单元(软件模块)，用于提取血管树的3D中心线。步骤S1可以通过利用独立的获取单元与该提取单元交互以取得后者提取出的现成的3D中心线，也可以自主执行一系列提取步骤来得到血管树的3D中心线。在一些实施例中，从第一图像中提取血管树的3D中心线包括：接收所述第一图像；对所述第一图像进行血管分割；而可以采用常用的图像分割方式，在此不做出限定。在一些实施例中，血管树包括冠脉树，基于所述第一图像的分割结果，可以获取左冠状动脉(LCA)和右冠状动脉(RCA)的冠脉树，从冠脉树中可以提取其3D中心线。该3D中心线可以提供冠脉解剖结构的准确空间信息，以用于血管模型的重建，而这是传统的2D图像所无法提供的。
在一些实施例中，上述过程还可以同时获取血管树的3D血管几何信息，至少包括3D中心线上各个位置的半径，还可以包括直径、3D位置信息等。
在步骤S2中，获取所述血管树的2D中心线和2D血管几何信息。在一些实施例中，可以通过以下方式所得的第二图像来获取血管树的2D中心线和2D血管几何信息，包括但不限于X射线造影术(AG)的单个投影角度的、血管内超声成像技术(IVUS)、光学相干断层扫描(OCT)等。
本公开中以冠脉树和冠脉X射线造影术(CAG)图像作为示例进行说明。在传统的基于CAG图像重建血管树模型的过程中，通常使用不同投影角度的两个血管2D图像序列来重建血管树的3D模型，为了确保重建的效果，需要医师谨慎地选择两个2D图像序列的投影角度和夹角，以尽量消除缩短和变形；而且缩短和变形频繁发生，导致无法从基于CAG的3D重建中恢复完整的空间信息。
在本公开提供的方法中，只需要获取单个投影角度的第二图像，就可以实现血管树3D模型的准确重建，且对于单个投影角度的选择没有严格要求，这大大减轻了介入医师的工作负担。获取2个投影角度的血管树的CAG图像序列是心血管检查中的例行常见检查，也可以复用例行采集的2个投影角度的血管树的CAG图像序列中的任一投影角度的血管树的CAG图像，以执行根据本公开的准确的血管树的3D重建的流程。根据本公开的图像处理方法可以利用例行常见的心血管检查结果，来执行根据本公开的准确的血管树的3D重建的流程，从而实现成本低，且用户友好度较高。
步骤S2中所述血管树的2D中心线和2D血管几何信息的获取方式类似于3D中心线的获取方式，可以直接取得现成的2D中心线和2D血管几何信息(例如从CAG成像装置配套的2D提取软件模块获取)，或者通过对第二图像的一系列处理来提取得到。在一些实施例中，从第二图像中提取血管树的2D中心线和2D血管几何信息包括：接收所述第二图像；对所述第二图像进行血管分割；而可以采用常用的图像分割方式，如通过算法自动实现或者通过界标识别由介入医师指定要重建的关注的血管段的近端和远端来实现，在此不做出限定。在一些实施例中，血管树包括冠脉树，基于所述第一图像的分割结果，可以提取血管树的2D中心线和2D血管几何信息，常用的提取方法如基于深度卷积神经网络(例如但不限于U-net)的方法等，在此不做出限定。在一些实施例中，所述2D血管几何信息至少包括2D中心线上各个位置的半径，还可以包括直径、2D位置信息等。
图2a示出了根据本公开的实施例的CAG图像。如图2a所示，CAG图像能够提供准确的2D血管几何信息，相较于CTA图像其血管几何信息具有更好的准确性。
在步骤S3中，可以将所述血管树的3D中心线配准到所述血管树的2D中心线，以便整合来自CTA图像的3D中心线的整体3D空间信息和来自CAG图像的中心线的详细2D血管几何信息，从而实现准确的3D建模，所得的3D模型兼具准确的3D空间信息以及细节处准确的2D血管几何信息。可以采用各种方法来实现配准。
在一些实施例中，也可以引入机器学习算法来配准3D和2D的血管树中心线。再例如，配准过程可以包括步骤S301-S303，如图1b所示。具体说来，在S301，可以确定所述血管树的2D血管二元图，所述2D血管二元图中的二元值表示对应像素是否属于血管。在S302，可以利用所述3D血管几何信息，来构建用于将所述3D中心线投影到所述2D血管二元图的投影矩阵。以及，在S303，可以优化所述投影矩阵以最小化投影损失。在一些实施例中，可以采用刚性变换的方法来配准3D和2D的血管树中心线，刚性变换是指通过旋转和平移进行的空间变换。在一些实施例中，也可以通过结合基于刚性变换的投影矩阵的初始化以及后续优化算法(例如但不限于基于深度学习的优化、基于配准对象双方之间的相似性(例如互信息等指标)的优化等等)，如此可以在确保配准精确度的同时保持合理的计算负荷和计算耗时。
图2b示出了根据本公开的实施例的在步骤S301中所确定的所述血管树(例如冠脉树)的2D血管二元图，所述2D血管二元图中的二元值(黑色表示背景且白色表示血管)表示对应像素是否属于血管。可见，相比于图2a原始的CAG图像，图2b的二元图只显示出明显的血管主体，血管树中的分支和重叠的部分被忽略，也就是说血管树的空间结构信息在CAG图像中无法被准确地呈现，本公开的图像处理方法则有效利用CTA图像提供的3D空间信息对其进行弥补。
在步骤S302中，利用所述3D血管几何信息构建用于将所述3D中心线投影到所述2D血管二元图的投影矩阵。前述获取的3D血管几何信息作为构建投影矩阵的依据之一，初始投影矩阵的构建还可以根据CAG图像的DICOM元数据中存储的成像参数来构建，该成像参数包括但不限于成像角度、坐标系中的坐标值等等。所构建的投影矩阵旨在将CTA的3D中心线投影到CAG图像的2D血管图，在初始投影矩阵的基础上，可以通过步骤S303来优化投影矩阵以最小化投影损失，优化后的投影矩阵即可用于执行配准。
优化方法包括但不限于基于深度学习的方法以及基于3D中心线与2D血管二元图之间的相似度来进行优化的方法。如图2c所示，经过优化投影后的中心线配准结果，其能够显示出血管树中重叠和分支的血管空间结构。将3D血管中心线配准到2D血管图，能够有效地利用CTA图像提供的准确的血管树空间结构信息，以弥补CAG图像的空间信息模糊不全的缺陷，同时上述CAG图像为单个投影角度获取的图像，无需获取多个投影角度，这大大减轻了介入医师的工作负荷。
在步骤S4中，基于配准结果，即3D和2D的中心线对齐后，通过建立两条中心线上的各点之间的对应关系，可以将所述血管树的2D中心线上各个位置的2D血管几何信息转移到(赋值给)所述血管树的3D中心线上的相应位置，以构建所述血管树的3D模型。如上所述，CAG图像能够提供准确的2D血管几何信息，相较于CTA图像其血管集合信息具有更好的准确性。因此，将2D血管几何信息转移到血管树的3D中心线上的相应位置，能够使得转移后的血管既具备准确的3D空间结构信息，同时又具备准确且详细的2D血管几何信息，投影结果如图3所示，其中体现了具有准确半径信息(转移得到)的投影后的混合中心线的图像。
在一些实施例中，可以利用基于距离的线性插值和/或动态时间扭曲方法，来将所述血管树的2D中心线上各个位置的2D血管几何信息转移到所述血管树的3D中心线上相应位置。在一些实施例中，可以基于配准步骤所确定的点的对应关系，将对应的点的半径数据直接进行转移，也可以通过计算对应的点的相邻点的半径平均值(基于距离的线性差值法的示例)作为转移的半径数据。在一些实施例中，如图4所示，可以考虑到动态时间扭曲的曲线分布，来将两条中心线上的点对应起来(如虚线所连接的点)，从而实现半径信息转移；这种点的对应关系不同于配准步骤所确定的点的对应关系，前者考虑到了实际的动态时间扭曲效果，更符合解剖实践也更准确。
图5示出了2D血管几何信息转移后，使用CTA图像的3D中心线和CAD图像的2D血管几何信息重建的血管树3D模型，其相较于传统方法重建的血管3D模型，具有更准确的空间结构信息和血管几何信息，这为诸如血流储备分数(FFR)等心血管参数的计算提供了更加准确的血管模型和血流参数的基础。
在一些实施例中，基于CAG图像还能够确定准确的血流信息，例如可以采用心肌梗死溶栓治疗临床试验(TIMI)血流计帧法来确定患者特异性的当前的血流信息。
可以基于构建的所述血管树的3D模型，如图5所示，通过使用各种网格生成算法(例如但不限于OpenFoam或VMTK(血管建模工具包)等)形成网格，从而生成计算有限元模型。例如，基于CAG图像采用各种血流计帧法所确定的血流信息可以用作边界条件，来确定所述血管树各处的血流储备分数(FFR)。
综上，本公开第一方面提供的方法，结合了血管树CTA图像的整体空间信息和单个投影角度的CAG图像的血管几何信息，如此能够获得更加准确的血管树3D模型，同时减少介入医师的临床工作量和负担。基于空间位置关系和各处几何信息相较传统的CTA图像和CAG图像都更准确的血管树的3D模型可以生成更准确的计算有限元模型，还可以采用3D模型的构建所基于的患者的CAG图像来计算患者特异性的当前的血流信息作为边界条件，相较现有使用经验公式推断的血流信息作为边界条件，更符合患者当前的生理状况，能够计算出3D模型中各处的更准确的FFR。从医师角度来看，不仅可以根据几何窄化信息来评估血管病变的严重程度，还能够获得患者特异性的实时的定量功能信息，包括血管树各处的空间位置定位精准的FFR以及血流信息，使得医师能够更迅速更准确地进行临床决策。此外，根据本公开的各种实施例的图像处理方法，高效利用和融合了常见的心血管临床检查的结果，并不依赖于新的成像模态(新模态的成像装置)，由此适于在临床推广，用户友好度较高，成本也得到有效控制。
本公开的第二方面提供了一种图像处理装置，如图6所示，该装置包括第一获取单元601、第二获取单元602、中心线配准单元603、几何信息转移单元604以及血流储备分数确定单元605；其中第一获取单元601被配置为获取血管树的3D中心线；第二获取单元602被配置为获取所述血管树的2D中心线和2D血管几何信息；中心线配准单元603被配置为将所述血管树的3D中心线配准到所述血管树的2D中心线；几何信息转移单元604被配置为基于配准结果，将所述血管树的2D中心线上各个位置的2D血管几何信息转移到所述血管树的3D中心线上相应位置，以构建所述血管树的3D模型。该装置结合了血管树CTA图像的整体空间信息和单个投影角度的CAG图像的血管几何信息，如此能够获得更加准确的血管树3D模型，同时减少介入医师的临床工作量和负担。
在一些实施例中，所述第一获取单元601还被配置为基于利用计算机断层扫描造影(CTA)、灌注计算机断层扫描(CTP)、核磁共振成像(MRI)其中之一所得的第一图像来提取所述血管树的3D中心线；所述第二获取单元602还被配置为基于利用X射线造影术(AG)的单个投影角度、血管内超声成像技术(IVUS)、光学相干断层扫描(OCT)其中之一所得的第二图像来提取所述血管树的2D中心线和2D血管几何信息；所述2D血管几何信息包括2D中心线上各个位置的半径。在该实施例中仅需要获取单个投影角度的CAG图像，且对于单个投影角度的选择没有严格要求，这大大减轻了介入医师的工作负担
在一些实施例中，所述第一获取单元601还被配置为获取血管树的3D血管几何信息。
在一些实施例中，所述血管树包括冠脉树，所述中心线配准单元603还被配置为：确定所述血管树的2D血管二元图，所述2D血管二元图中的二元值表示对应像素是否属于血管；利用所述3D血管几何信息构建用于将所述3D中心线投影到所述2D血管二元图的投影矩阵；优化所述投影矩阵以最小化投影损失。血管树的二元图只显示出明显的血管主体，血管树中的分支和重叠的部分通常被忽略，本实施例可以有效地利用CTA图像提供的3D空间信息对其进行弥补。
在一些实施例中，初始的投影矩阵根据所述第二图像的DICOM元数据中存储的成像参数来构建。
在一些实施例中，所述中心线配准单元603还被配置为，基于深度学习或者所述3D中心线与所述2D血管二元图之间的相似度，来优化所述投影矩阵以最小化投影损失。
在一些实施例中，所述几何信息转移单元604还被配置为，基于配准结果，利用基于距离的线性插值和/或动态时间扭曲方法，来将所述血管树的2D中心线上各个位置的2D血管几何信息转移到所述血管树的3D中心线上相应位置。本实施例考虑到了实际的动态时间扭曲效果，更符合解剖实践也更准确。
在一些实施例中，所述图像处理装置还包括血流储备分数(FFR)计算单元605，被配置为：基于所述血管树的所述第二图像来确定血流信息；利用构建的所述血管树的3D模型生成计算有限元模型，使用所确定的血流信息作为边界条件，来确定所述血管树任一点处的FFR。本实施例为诸如血流储备分数(FFR)等心血管参数的计算提供了更加准确的血管模型和血流参数的基础。
在一些实施例中，所述第一获取单元601还被配置为，接收所述第一图像；对所述第一图像进行血管分割；基于所述第一图像的分割结果，来提取血管树的3D中心线以及3D血管几何信息；以及所述第二获取单元602还被配置为，获取所述血管树的2D中心线和2D血管几何信息包括：接收所述第二图像；对所述第二图像进行血管分割；基于所述第二图像的分割结果，来提取血管树的2D中心线和2D血管几何信息。
本公开第二方面提供的装置，结合了血管树CTA图像的整体空间信息和单个投影角度的CAG图像的血管几何信息，如此能够获得更加准确的血管树3D模型，同时减少介入医师的临床工作量和负担。
图7示出了根据本公开的另一实施例的图像处理装置的框图。所述图像处理装置可以包括网络接口707，借助于网络接口707，图像处理装置可以连接到网络(未示出)，例如但不限于医院中的局域网或互联网。网络可以将图像处理装置与诸如图像采集装置(未示出)的外部装置、医学图像数据库708、医学图像数据库709连接。图像采集装置可以是能够获取图像的任何装置，例如CTA成像装置、CAG成像装置、DSA成像设备、MRI成像设备、CT成像设备、PET成像设备、超声设备、荧光透视设备、SPECT成像设备或用于获得患者的医学图像的其他医学成像设备。例如，成像装置可以是肺部CT成像装置等。
在一些实施例中，图像处理装置可以是专用智能装置或通用智能装置，例如，为图像数据采集和图像数据处理任务定制的计算机，或者置于云端的服务器。图像处理装置可以被集成到图像采集装置中。可选地，该装置可以包括或者与3D重建单元协作，3D重建单元用于基于由图像采集装置采集的图像来重建3D图像。
图像处理装置可以包括图像处理器701和存储器704，并且可以额外包括输入/输出702和图像显示器703中的至少一个。
图像处理器701可以是包括一个或多个通用处理设备(诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等)的处理设备。更具体地说，图像处理器701可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。图像处理器701也可以是一个或多个专用处理设备，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等等。如本领域技术人员将理解的，在一些实施例中，图像处理器701可以是专用处理器，而不是通用处理器。图像处理器701可以包括一个或多个已知处理设备，诸如由英特尔公司制造的PentiumTM、CoreTM、XeonTM或ItaniumTM系列的微处理器，由AMD公司制造的TurionTM、AthlonTM、SempronTM、OpteronTM、FXTM、PhenomTM系列的微处理器或太阳微系统(Sun Microsystems)制造的各种处理器的任一种。图像处理器701还可以包括图形处理单元，诸如来自Nvidia公司制造的系列的GPU，由英特尔公司制造的GMA、IrisTM系列的GPU或者由AMD公司制造的RadeonTM系列GPU。图像处理器701还可以包括加速的处理单元，诸如AMD公司制造的桌面A-4(6,8)系列，英特尔公司制造的Xeon PhiTM系列。所公开的实施例不限于任何类型的处理器或处理器电路，这些处理器或处理器电路以其他方式被配置为满足如下计算需求：识别、分析、计算、维护和/或提供大量成像数据或操纵此类成像数据以与所公开的实施例一致。另外，术语“处理器”或“图像处理器”可以包括多于一个处理器，例如，多核设计或多个处理器，所述多个处理器中的每个处理器具有多核设计。图像处理器701可以执行存储在存储器704中的计算机程序指令的序列，以执行本文公开的各种操作、过程、方法。
图像处理器701可以通信地耦合到存储器704并且被配置为执行存储在其中的计算机可执行指令。存储器704可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如，闪存、静态随机存取存储器)等，其上以任何格式存储计算机可执行指令。在一些实施例中，存储器704可以存储一个或多个图像处理程序705的计算机可执行指令。计算机程序指令可以被图像处理器701访问，从ROM或者任何其他合适的存储位置读取，并加载到RAM中供图像处理器701执行。例如，存储器704可以存储一个或多个软件应用程序。存储在存储器704中的软件应用程序可以包括例如用于通用计算机系统的操作系统(未示出)以及软控制设备。此外，存储器704可以存储整个软件应用程序或仅存储软件应用程序的一部分(例如图像处理程序705)以能够由图像处理器701执行。另外，存储器704可以存储多个软件模块，用于实现与本公开一致的图像处理方法。例如，如图6中所示的第一获取单元601、第二获取单元602、中心线配准单元603、几何信息转移单元604以及血流储备分数确定单元605。
此外，存储器704可以存储在执行计算机程序时生成/缓存的数据，例如医学图像数据706，其包括从图像采集装置、医学图像数据库708、医学图像数据库709等发送的医学图像。图像处理器701可以执行图像处理程序705以实现用于本公开的图像处理方法。在一些实施例中，当执行图像处理程序705时，图像处理器701可以将图像处理过程中的数据以及最终生成的3D模型传输到存储器704，以便将其保留作为医学图像数据706。可选地，存储器704可以与医学图像数据库708通信以从中获得图像，以供其他医学图像处理装置视需要访问、获得和利用。
输入/输出702可以被配置为允许图像处理装置接收和/或发送数据。输入/输出702可以包括允许图像处理装置与用户或其他机器和设备通信的一个或多个数字和/或模拟通信设备。例如，输入/输出702可以包括允许用户提供输入的键盘和鼠标。
网络接口可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 9.0、闪电、无线网络适配器如WiFi适配器、电信(9G、4G/LTE等)适配器。装置900可以通过网络接口连接到网络。网络可以提供局域网(LAN)、无线网络、云计算环境(例如，作为服务的软件、作为服务的平台、作为服务的基础设施等)、客户端-服务器、广域网(WAN)等的功能。
除了显示医学图像之外，图像显示器703还可以显示其他信息，。图像显示器703可以是LCD、CRT或LED显示器。
这里描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。这样的内容可以是可直接执行(“对象”或“可执行”形式)的源代码或差异代码(“增量”或“块”代码)。软件代码或指令可以存储在计算机可读存储介质中，并且当被执行时，可以使机器执行所描述的功能或操作，并且包括用于以机器可访问的形式存储信息的任何机构(例如，计算设备，电子系统等)，诸如可记录或不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。
这里描述的示例性方法可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的计算机可读介质或机器可读介质，所述指令可操作以配置电子设备执行如以上示例中所述的方法。这种方法的实现可以包括软件代码，诸如微代码、汇编语言代码、更高级的语言代码等。各种程序或程序模块可以使用各种软件编程技术来创建。例如，可以使用Java、Python、C、C++、汇编语言或任何已知的编程语言来设计程序段或程序模块。一个或多个这样的软件部分或模块可以被集成到计算机系统和/或计算机可读介质中。这种软件代码可以包括用于执行各种方法的计算机可读指令。软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在一个示例中，软件代码可以诸如在执行期间或其他时间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光盘和数字视频盘)、磁带盒、存储卡或棒、随机存取存储器(RAM)，只读存储器(ROM)等。
本公开的第三方面提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据本公开第一方面各实施例的图像处理方法。
公开第三方面提供的非暂时性计算机可读介质，当其上存储的指令由处理器执行时，其执行的方法结合了血管树CTA图像的整体空间信息和单个投影角度的CAG图像的血管几何信息，如此能够获得更加准确的血管树3D模型，同时减少介入医师的临床工作量和负担。
此外，尽管在此描述了说明性实施例，但是范围包括具有基于本公开的等效要素、修改、省略、组合(例如，跨各种实施例的方案的组合)、调整或变更的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中或在本申请的存续期间描述的示例。此外，所公开的方法的步骤可以以任何方式进行修改，包括通过重新排序步骤或插入或删除步骤。因此，意图仅仅将描述视为例子，真正的范围由以下权利要求及其全部等同范围表示。
以上描述旨在是说明性的而非限制性的。例如，上述示例(或其一个或多个方面)可以彼此组合使用。在阅读以上描述之后，例如本领域普通技术人员可以使用其他实施例。而且，在以上详细描述中，可以将各种特征组合在一起以简化本公开。这不应被解释为意图未请求保护的公开特征对于任何权利要求是必不可少的。因此，以下权利要求作为示例或实施例结合到具体实施方式中，其中每个权利要求自身作为单独的实施例，并且可以预期这些实施例可以以各种组合或置换彼此组合。应参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定本发明的范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取血管树的3D中心线和3D血管几何信息，所述血管树的3D中心线和3D血管几何信息基于利用计算机断层扫描造影（CTA）、灌注计算机断层扫描（CTP）其中之一所得的第一图像来提取，所述3D血管几何信息包括3D位置信息；
获取所述血管树的2D中心线和2D血管几何信息，所述血管树的2D中心线和2D血管几何信息基于利用X射线造影术（AG）的单个投影角度所得第二图像来提取；
将所述血管树的3D中心线配准到所述血管树的2D中心线，具体包括：确定所述血管树的2D血管二元图，所述2D血管二元图中的二元值表示对应像素是否属于血管；利用所述3D血管几何信息构建用于将所述3D中心线投影到所述2D血管二元图的投影矩阵；优化所述投影矩阵以最小化投影损失，并将优化后的投影矩阵用于执行配准以得到配准结果，在所述配准结果中，所述2D中心线与所述3D中心线对齐；
基于所述配准结果，利用基于距离的线性插值和动态时间扭曲的方法，建立所述2D中心线上各个位置与所述3D中心线上的位置的对应关系，并将所述血管树的2D中心线上各个位置的2D血管几何信息转移到所述血管树的3D中心线上的相应位置，以构建所述血管树的3D模型，使得所述血管树的3D模型同时具备3D空间结构信息和2D血管几何信息。
2.根据权利要求1所述的图像处理方法，其特征在于，其中，
所述血管树的3D中心线基于核磁共振成像（MRI）所得的第一图像来提取；
所述血管树的2D中心线和2D血管几何信息基于血管内超声成像技术（IVUS）、光学相干断层扫描（OCT）其中之一所得第二图像来提取；
所述2D血管几何信息包括2D中心线上各个位置的半径。
3.根据权利要求1所述的图像处理方法，其特征在于，所述血管树包括冠脉树。
4.根据权利要求1所述的图像处理方法，其特征在于，初始的投影矩阵根据所述第二图像的DICOM元数据中存储的成像参数来构建。
5.根据权利要求1所述的图像处理方法，其特征在于，优化所述投影矩阵以最小化投影损失包括：基于深度学习或者所述3D中心线与所述2D血管二元图之间的相似度，来优化所述投影矩阵以最小化投影损失。
6.根据权利要求2所述的图像处理方法，其特征在于，还包括：
基于所述血管树的所述第二图像来确定血流信息；
利用构建的所述血管树的3D模型生成计算有限元模型，使用所确定的血流信息作为边界条件，来确定所述血管树各处的血流储备分数（FFR）。
7.根据权利要求1所述的图像处理方法，其特征在于，获取血管树的3D中心线包括：接收所述第一图像；对所述第一图像进行血管分割；基于所述第一图像的分割结果，来提取血管树的3D中心线以及3D血管几何信息；以及
获取所述血管树的2D中心线和2D血管几何信息包括：接收所述第二图像；对所述第二图像进行血管分割；基于所述第二图像的分割结果，来提取血管树的2D中心线和2D血管几何信息。
8.一种图像处理装置，其特征在于，包括：
第一获取单元，被配置为获取血管树的3D中心线和3D血管几何信息，所述血管树的3D中心线和3D血管几何信息基于利用计算机断层扫描造影（CTA）、灌注计算机断层扫描（CTP）其中之一所得的第一图像来提取，所述3D血管几何信息包括3D位置信息；
第二获取单元，被配置为获取所述血管树的2D中心线和2D血管几何信息，所述血管树的2D中心线和2D血管几何信息基于利用X射线造影术（AG）的单个投影角度所得第二图像来提取；
中心线配准单元，被配置为将所述血管树的3D中心线配准到所述血管树的2D中心线，具体包括：确定所述血管树的2D血管二元图，所述2D血管二元图中的二元值表示对应像素是否属于血管；利用所述3D血管几何信息构建用于将所述3D中心线投影到所述2D血管二元图的投影矩阵；优化所述投影矩阵以最小化投影损失，并将优化后的投影矩阵用于执行配准以得到配准结果，在所述配准结果中，所述2D中心线与所述3D中心线对齐；
几何信息转移单元，被配置为基于所述配准结果，利用基于距离的线性插值和动态时间扭曲的方法，建立所述2D中心线上各个位置与所述3D中心线上的位置的对应关系，并将所述血管树的2D中心线上各个位置的2D血管几何信息转移到所述血管树的3D中心线上相应位置，以构建所述血管树的3D模型，使得所述血管树的3D模型同时具备3D空间结构信息和2D血管几何信息。
9.根据权利要求8所述的图像处理装置，其特征在于，
所述第一获取单元，被配置为基于核磁共振成像（MRI）所得的第一图像来提取所述血管树的3D中心线；
所述第二获取单元，被配置为基于血管内超声成像技术（IVUS）、光学相干断层扫描（OCT）其中之一所得的第二图像来提取所述血管树的2D中心线和2D血管几何信息；
所述2D血管几何信息包括2D中心线上各个位置的半径。
10.根据权利要求8所述的图像处理装置，其特征在于，所述血管树包括冠脉树。
11.根据权利要求8所述的图像处理装置，其特征在于，初始的投影矩阵根据所述第二图像的DICOM元数据中存储的成像参数来构建。
12.根据权利要求8所述的图像处理装置，其特征在于，所述中心线配准单元还被配置为，基于深度学习或者所述3D中心线与所述2D血管二元图之间的相似度，来优化所述投影矩阵以最小化投影损失。
13.根据权利要求9所述的图像处理装置，其特征在于，所述图像处理装置还包括血流储备分数（FFR）确定单元，被配置为：
基于所述血管树的所述第二图像来确定血流信息；
利用构建的所述血管树的3D模型生成计算有限元模型，使用所确定的血流信息作为边界条件，来确定所述血管树任一点处的FFR。
14.根据权利要求8所述的图像处理装置，其特征在于，
所述第一获取单元还被配置为，接收所述第一图像；对所述第一图像进行血管分割；基于所述第一图像的分割结果，来提取血管树的3D中心线以及3D血管几何信息；以及
所述第二获取单元还被配置为，获取所述血管树的2D中心线和2D血管几何信息包括：接收所述第二图像；对所述第二图像进行血管分割；基于所述第二图像的分割结果，来提取血管树的2D中心线和2D血管几何信息。
15.一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据权利要求1-7中任一项所述的图像处理方法。
CN202010434156.6A 2019-05-21 2020-05-21 图像处理方法、图像处理装置和非暂时性计算机可读介质 Active CN111476791B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962851067P 2019-05-21 2019-05-21
US62/851,067 2019-05-21

Publications (2)

Publication Number Publication Date
CN111476791A CN111476791A (zh) 2020-07-31
CN111476791B true CN111476791B (zh) 2024-02-09

Family

ID=71763275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010434156.6A Active CN111476791B (zh) 2019-05-21 2020-05-21 图像处理方法、图像处理装置和非暂时性计算机可读介质

Country Status (1)

Country Link
CN (1) CN111476791B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631302A (zh) * 2021-04-30 2023-01-20 北京阅影科技有限公司 确定血管中心线真伪以及截断位置的方法与装置
CN114298934B (zh) * 2021-12-24 2022-12-09 北京朗视仪器股份有限公司 一种基于像素调节的面颊夹显影弱化方法、装置
CN114596311B (zh) * 2022-04-22 2022-08-12 深圳科亚医疗科技有限公司 基于血管图像的血管功能评估方法和血管功能评估装置
CN114732431B (zh) * 2022-06-13 2022-10-18 深圳科亚医疗科技有限公司 对血管病变进行检测的计算机实现方法、装置及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451983A (zh) * 2017-07-18 2017-12-08 中山大学附属第六医院 Ct图像的三维融合方法和系统
CN109300147A (zh) * 2018-09-17 2019-02-01 北京理工大学 血管二维中心线和三维中心线配准的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10433740B2 (en) * 2012-09-12 2019-10-08 Heartflow, Inc. Systems and methods for estimating ischemia and blood flow characteristics from vessel geometry and physiology
US9934566B2 (en) * 2015-07-14 2018-04-03 Siemens Healthcare Gmbh 3-D vessel tree surface reconstruction method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451983A (zh) * 2017-07-18 2017-12-08 中山大学附属第六医院 Ct图像的三维融合方法和系统
CN109300147A (zh) * 2018-09-17 2019-02-01 北京理工大学 血管二维中心线和三维中心线配准的方法及装置

Also Published As

Publication number Publication date
CN111476791A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476791B (zh) 图像处理方法、图像处理装置和非暂时性计算机可读介质
US11816837B2 (en) Vascular characteristic determination with correspondence modeling of a vascular tree
US11728037B2 (en) Diagnostically useful results in real time
US10580526B2 (en) System and method for calculating vessel flow parameters based on angiography
US9251585B2 (en) Coregistration and analysis of multi-modal images obtained in different geometries
US9471987B2 (en) Automatic planning for medical imaging
US10685438B2 (en) Automated measurement based on deep learning
US20230177677A1 (en) Method and system for performing vessel segmentation in a medical image
EP2554120A1 (en) Projection image generation device, projection image generation programme, and projection image generation method
CN111429502B (zh) 用于生成对象的中心线的方法和系统以及计算机可读介质
CN114596311B (zh) 基于血管图像的血管功能评估方法和血管功能评估装置
US20160005192A1 (en) Prior Image Based Three Dimensional Imaging
WO2008121367A1 (en) Lesion quantification and tracking using multiple modalities
CN112419484B (zh) 三维血管合成方法、系统及冠状动脉分析系统和存储介质
US11508460B2 (en) Method and system for anatomical tree structure analysis
US20230037338A1 (en) Method and system for anatomical tree structure analysis
WO2021011775A1 (en) Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data
Eulzer et al. Vessel Maps: A Survey of Map‐Like Visualizations of the Cardiovascular System
US11317875B2 (en) Reconstruction of flow data
CN111627023B (zh) 一种冠脉投影图像生成的方法、装置及计算机可读介质
US20230095242A1 (en) Method and system for multi-modality joint analysis of vascular images
CN114004835B (zh) 对医学图像进行对象分析的方法、装置和存储介质
CN114862850B (zh) 一种血管医学图像的目标检测方法、装置及介质
US11869142B2 (en) Methods and devices for three-dimensional image reconstruction using single-view projection image
EP3607527A1 (en) Quantitative evaluation of time-varying data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Applicant after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Applicant before: BEIJING CURACLOUD TECHNOLOGY Co.,Ltd.

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Applicant before: Beijing Keya ark Medical Technology Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant after: Keya Medical Technology Co.,Ltd.

Address before: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant before: Beijing Keya ark Medical Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant