CN109448072A - 使用造影图像进行三维血管重建的计算机实现方法及装置 - Google Patents

使用造影图像进行三维血管重建的计算机实现方法及装置 Download PDF

Info

Publication number
CN109448072A
CN109448072A CN201811353590.0A CN201811353590A CN109448072A CN 109448072 A CN109448072 A CN 109448072A CN 201811353590 A CN201811353590 A CN 201811353590A CN 109448072 A CN109448072 A CN 109448072A
Authority
CN
China
Prior art keywords
blood vessel
image
dimensional
path length
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811353590.0A
Other languages
English (en)
Other versions
CN109448072B (zh
Inventor
马斌
刘树宝
刘潇潇
宋麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunlun Beijing Medical Cloud Technology Co Ltd
Original Assignee
Kunlun Beijing Medical Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/106,077 external-priority patent/US10709399B2/en
Application filed by Kunlun Beijing Medical Cloud Technology Co Ltd filed Critical Kunlun Beijing Medical Cloud Technology Co Ltd
Publication of CN109448072A publication Critical patent/CN109448072A/zh
Application granted granted Critical
Publication of CN109448072B publication Critical patent/CN109448072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了使用血管造影图像进行三维血管重建的方法及装置。该方法包括:获取步骤:获取血管的在第一投射方向上的第一二维图像以及相应的重建的血管三维模型;模拟光程长度确定步骤:由处理器,基于所述血管三维模型确定其中血管至少一处在所述第一投射方向上的血管内的模拟光程长度;以及三维重建调整步骤:由所述处理器,基于所述血管的至少一处在所述第一投射方向上的所述模拟光程长度、所述第一二维图像上对应的血管至少一处的强度值、以及二维图像上血管各处的强度值与对应位置处的光程长度之间的关系,对所述血管三维模型的重建参数进行调整。该方法考虑了二维图像的强度值,能够对血管三维模型进行校准以提高血管三维模型的准确度。

Description

使用造影图像进行三维血管重建的计算机实现方法及装置
相关申请的交叉引用
本申请要求于2017年11月30日提交的美国临时申请第62/592,595号的优先权,其全部内容通过引用并入本文。
技术领域
本公开总体上涉及图像处理和分析。更具体地,本公开涉及用于使用造影图像进行三维血管重建的计算机实现方法及装置。
背景技术
旋转二维X射线血管造影图像提供了血管结构的有价值的几何信息,用于诊断各种血管疾病,例如冠心病和脑疾病。在造影剂(通常是不透X线的材料,例如碘)注入血管后,血管区域的强度对比度通常会增强。往往需要使用二维投影图像进行三维血管树重建,以揭示各种血管关注段的真实三维测量结果,包括直径、曲率和长度,以便进一步对目标血管区域进行功能上的评估。
现有的三维重建方法通常依赖于从来自不同成像投影角度(例如主角度和次角度)的多个X射线图像分割的二维血管结构。通常,首先从二元分割的血管区域中提取二维血管中心线,然后通过建立适当的投影成像系统几何结构来计算三维中心线。现有方法存在的一个技术挑战是短缩(foreshortening)问题。由于投影成像的特性,从不同角度观察时,血管长度略有不同,导致了短缩。通常,通过避免使用包含明显的短缩血管段(用较暗强度表示)的图像进行三维重建,可以减少短缩。然而,由于血管的弯曲的几何特性以及由于患者在成像过程期间的生理运动(例如,由于呼吸运动和心脏运动),某种程度的短缩会频繁发生。
发明内容
因此,本公开的实施例包括用于使用造影图像进行三维血管重建的计算机实现方法和装置,其可以独立使用或与传统的三维重建方法(例如,基于极线几何的方法)结合使用。本文中所谓的“用于使用造影图像进行三维血管重建的方法(装置)”,意味着可以与使用造影图像的三维血管重建方法(装置)一起使用或可以在其中整合该方法(装置)。
在一个方案中,本公开涉及一种使用造影图像进行三维血管重建的计算机实现方法。该方法包括获取步骤:获取血管在第一投射方向上的第一二维图像以及相应的重建的血管三维模型。该方法进一步包括模拟光程长度确定步骤:由处理器,基于所述血管三维模型确定其中血管至少一处在所述第一投射方向上的模拟光程长度。该方法进一步包括三维重建调整步骤:由所述处理器,基于所述血管至少一处在所述第一投射方向上的所述模拟光程长度、所述第一二维图像上对应的血管至少一处的强度值、以及二维图像上血管各处的强度值与对应位置处的光程长度之间的关系,对所述血管三维模型的重建参数进行调整以使用造影图像进行三维血管重建。
另一方案中,本公开还涉及使用造影图像进行三维血管重建的装置。该装置包括处理器、存储器及其上存储的计算机可执行指令,所述处理器执行所述计算机可执行指令时,实现上述的任何一种用于使用造影图像进行三维血管重建的计算机实现方法。
又一方案中,本公开还涉及一种计算机可读存储介质,其上存储有计算机可执行指令,所述计算机可执行指令在由处理器执行时实现上述的任何一种用于使用造影图像进行三维血管重建的计算机实现方法。
再一方案中,本公开还涉及使用造影图像进行三维血管重建的装置。该装置包括:接口,其被配置为接收血管的数个投影方向的造影图像,所接收的造影图像包括在第一投影方向上的第一二维图像;处理器,其被配置为:基于从所述接口接收的数个投影方向的造影图像利用重建参数来重建血管三维模型;并通过如下步骤来调整所述重建参数:基于所重建的血管三维模型确定其中血管至少一处在所述第一投射方向上的模拟光程长度;以及基于所述血管至少一处在所述第一投射方向上的所述模拟光程长度、所述第一二维图像上对应的血管至少一处的强度值、以及二维图像上血管各处的强度值与对应位置处的光程长度之间的关系,对所述血管三维模型的重建参数进行调整以使用造影图像进行三维血管重建。
这样的方法和装置可以充分利用通常被忽略的二维血管(当被造影剂充满时)的强度(例如灰度值)分布图案及其所隐含的三维投影路径信息,有效减少三维重建的短缩现象,从而提高三维血管树的重建准确性。本公开的方案通过考虑图像像素强度信息来辅助三维图像的重建,提高了重建准确度。
附图说明
在不一定按线性绘制的附图中,相同的附图标记可以在不同的视图中描述相似的部件。具有不同字母后缀的相同的附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例,并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候,在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的,而并非旨在作为本方法、装置或其上具有用于实现该方法的指令的非瞬时性计算机可读介质的穷尽或排他实施例。
图1示出根据本公开实施例的使用X射线造影图像进行三维血管重建的方法的示例性过程的流程图;
图2示意性示出了根据本公开实施例的三维血管模型中血管各处的光程的图示及其与二维图像中相应位置的灰度值之间的关系;
图3说明根据本公开实施例的测量光程长度的方法的示意图;
图4示出了血管各处的强度值被去除背景并对数处理所得的值与对应位置处的光程长度之间的线性关系;
图5(a)例示了第一二维图像IT;图5(b)例示了估计的背景图像IB;图5(c)示出了第一处理后图像ln(IT)-ln(IB);
图6描述了本公开另一实施例的使用X射线造影图像进行三维血管重建的方法的示例性过程的流程图;
图7为图示图6的实施例中的三维重建调整步骤的示意图;
图8描述了本公开再一实施例的使用X射线造影图像进行三维血管重建的方法的示例性过程的流程图;
图9为图示图8的实施例中的三维重建调整步骤的示意图;
图10例示了一种使用X射线造影图像进行三维血管重建的装置的框图;以及
图11例示了一种用于使用X射线造影图像进行三维血管重建的医学图像处理装置的框图。
具体实施方式
此处参考附图描述本公开的各种方案以及特征。通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本发明的这些和其它特性将会变得显而易见。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。注意的是,在说明书全文中,相同的附图标记指代相同或相似的元件,并省略不必要的重复描述。此外,具体实施例中,以单数形式出现的元件并不排除可以以多个(复数个)形式出现。本文中使用的技术术语“光程”表示射线在被摄体(并非真空)内传播的几何路程。技术术语“光程的长度”表示射线在被摄体内沿其传播的几何路程的长度。当提及“血管的至少一处在所述第一投射方向上的光程的长度”时,旨在表示射线沿第一投射方向经由该处在血管内传播的光程的长度。技术术语“模拟光程长度”旨在表示利用模型模拟得到的光程长度。
图1示出根据本公开实施例的使用X射线造影图像进行三维血管重建的方法的示例性过程100的流程图,其始于获取步骤102:获取在第一投射方向上的第一二维图像以及相应的重建的血管三维模型。血管三维模型可以使用例如但不限于基于极线几何的方法、定型重构(stereotype reconstruction)等传统三维模型重建技术而得到。例如,可以基于分别从至少两个不同投射方向成像的至少两幅二维图像进行血管三维模型的重建,从而得到血管三维模型。也可以从立体成像装置获取已经重构好的血管三维模型。在一些实施例中,区别于通过将三维模型在投影方向上投影所得到的模拟的二维投影图像,所述第一二维图像是通过对血管进行X射线造影成像使得透射的X射线入射到平板探测器(CCD、CMOS等)所得到的真实的二维图像,该二维图像上的灰度值的分布图案隐含了三维投影路径信息。
在一些实施例中,第一二维图像可以为重建的血管三维模型所基于的二维图像。即,当如上的两幅二维图像用于重建血管三维模型时,两幅二维图像中的任一幅二维图像可作为本公开所称的第一二维图像。
在另一些实施例中,第一二维图像是由成像装置拍摄的不同于血管三维模型在重建时所基于的二维图像。例如,当成像装置在第一投射方向、第二投射方向、第三投射方向分别拍摄三幅二维图像,其中分别在两个方向(例如第一投射方向和第二投射方向)上获得的两幅图像用于重构血管三维模型,而在另一方向(例如第三投射方向)上获得的另一图像(例如第三幅图像)作为本公开所称的第一二维图像。此外,例如当成像装置在第一投射方向上拍摄两幅二维图像,在第二投射方向上拍摄一幅二维图像时,将在第一投射方向上的两幅二维图像之一与第二投射方向上拍摄的该一幅二维图像用于重构血管三维模型,而将在第一投射方向上的另一幅二维图像作为第一二维图像来辅助血管三维模型的重建。此外,例如当成像装置在至少一个或多个投射方向上连续拍摄二维图像时,所获得的图像序列中的一幅可作为第一二维图像。
在一些实施例中,在获取步骤102之前,还可以包括:三维模型重建步骤101:基于分别来自不同投射方向上的两幅以上二维图像来重建血管三维模型。
在获取步骤102完成后,进行模拟光程长度确定步骤103:基于血管三维模型确定其中血管至少一处在第一投射方向上的模拟光程长度。
在一个实施例中,确定血管三维模型中所述血管至少一处在第一投射方向(第一X射线传输方向)的尺寸,作为所述血管至少一处的模拟光程长度。
例如,如图2所示,可以通过测量血管三维模型(三维几何)中血管多处在第一投射方向上的尺寸xC1、xC2、…、xCn,将测量出的各尺寸确定为血管相应各处的模拟光程长度。
在另一个实施例中,可以通过半径估计来获得模拟光程长度xC。如图3所示,箭头所指方向为第一投射方向(射束方向),首先,将血管三维模型在第一投射方向上进行投影,得到血管三维模型在第一投射方向上的第二二维图像(模拟二维投影图像),然后,根据该第二二维图像,测量血管上某一段的直径D,并且确定血管上该段的中心线与第一投射方向的夹角θ,然后,利用下面的公式(1)计算血管上该段的模拟光程长度xC
xC=D/sinθ 公式(1)
然后,进行到三维重建调整步骤104:基于血管各处在第一投射方向上的模拟光程长度xC1、xC2、…、xCn、第一二维图像上对应的血管各处的强度值、以及二维图像上血管各处的强度值与对应位置处的光程长度之间的关系,对血管三维模型的重建参数进行调整,以利用调整好的重建参数行三维血管重建,从而得到短缩校正后的血管三维模型。
本发明人发现,如图2所示,当X射线行进较长的路径时,存在更多的X射线衰减,透射射束强度值较小,相应地,像素的灰度值也更小。因此,本公开的实施例使用像素灰度值来导出造影剂中的光程(也就是血管内的光程)以推断局部血管几何形状。
本发明人发现,在同个患者的相同造影剂注射条件下,二维图像上血管各处的强度值与对应位置处的光程长度之间具有固有的关系。本发明人发现,将二维图像上血管各处的光程长度表示为xC,exp[xC]与二维图像上相应血管各处的强度值例如灰度值gC具有固有关系,例如近似线性关系。本发明人还发现,血管各处的强度值例如灰度值gC被去除背景并对数处理所得的值与对应位置处的光程长度xC之间成线性关系,如图4所示。
本发明人所发现的上述固有关系(例如线性关系)经过下述的近似推导,可以证实是合理且可靠的。
具体说来,X射线衰减与造影剂中光程之间的关系可以用下面的公式(2)定义。
其中II是入射光强度,IT是透射光强度,μ/ρ是质量衰减系数,x是光程。另外,下标c和o分别代表造影剂和器官(即,血管)。在没有造影剂的情况下,由于器官单独引起的X射线吸收,可以由公式(3)表示。
其中IB是仅具有背景的透射光强度。
将公式(3)代入公式(2),可以得到血管各处透射的光强度与对应位置处的光程长度xC之间的关系,参见公式(4)。
血管各处透射的光经由平板探测器得到灰度二维图像,并由此将血管各处透射的光的强度转换为二维图像上血管相应各处的强度值(例如灰度值),经本发明人验证,灰度转换并未破坏上述固有关系,上述血管各处透射的光强度与对应位置处的光程长度xC之间的固有关系在二维图像上血管各处的强度值与对应位置处的光程长度xC之间得以保留。因此,可以利用二维图像上血管各处的强度值指导三维模型的重建。相比于忽略了二维图像的强度值的现有三维重建技术,本公开考虑了上述关系,从而能够提高三维模型的重建准确度。在下文中,为了便利描述,忽略血管各处的透射光强度与二维图像中相应血管各处的强度值之间的转换,利用IT表示二维图像中血管各处的强度值,利用IB表示二维图像中对应的血管各处的背景强度值。
在一些实施例中,可以利用二维图像上血管各处的经处理后的强度值与对应位置处的光程长度xC之间的线性关系辅助三维图像的重建。通过将公式(4)两边同时求对数,可以得到下面的公式(5)。
可以看到,通过造影剂的光程xC与经处理的图像(即对图像去除背景且对数处理所得的图像)成比例,也就是,血管各处的强度值被去除背景且对数处理所得的值与对应位置处的光程长度xC之间成线性关系,如图4所示。
在一些实施例中,二维图像上血管各处的强度值被去除背景且对数处理所得的值ln(IT)-ln(IB)可以通过如下步骤得到:对血管各处的强度值求对数,得到第一处理后值ln(IT);对血管各处的背景强度值求对数,得到第二处理后值ln(IB);以及从第一处理后值减去第二处理后值,得到强度值被去除背景且对数处理所得的值ln(IT)-ln(IB)。
图5(a)~(c)例示了如何获得二维图像上血管各处的强度值被去除背景且对数处理所得的值的图像处理。其中,图5(a)例示了第一二维图像IT(即测量的X射线图像);图5(b)例示了例如利用图像修补技术为第一二维图像IT估计的背景图像IB;图5(c)示出了被去除了背景且对数处理所得的第一处理后图像ln(IT)-ln(IB)。2017年11月28日提交的美国临时专利申请第62/591,437号的方法可以用于进行上述图像处理,该美国临时专利申请的内容通过引用合并于此。例如,在一些实施例中,可以通过诸如图像修补等方法来估计背景。如上,去除背景后的图像的对数信号与光程具有线性相关性。
在一些实施例中,在同个患者的相同造影剂注射条件下的之前的血管造影和三维重建中预先建立二维图像上血管各处的强度值与对应位置处的光程长度之间的关系,或者,在同次血管造影和三维重建中针对部分血管预先建立该关系。在一些实施例中,在同次血管造影和三维重建中,可以使得该部分血管不发生或发生较少的短缩现象,这是容易实现的,由此基于该部分血管的重建三维模型能够得到准确的光程长度,从而预先建立二维图像上血管各处的强度值与对应位置处的光程长度之间的准确关系。在预先建立该关系后,满足与之相同的造影剂注射条件的后续应用场景下就可以直接调用该关系。
当针对特定患者进行三维模型的重建时,同一个患者的在前后次的血管造影中的生理特征(如血液粘度、呼吸运动、心脏运动等)和/或造影剂参数(如注射时间和注射量)等差异可能较小。因此,在之前的血管造影和三维重建中预先建立的该关系或者在同次血管造影和三维重建中针对部分血管预先建立该关系对于同一个患者是能够连续适用的,相比于利用对其他患者进行三维模型的重建时所获得的关系,更有利于提高对该特定患者的重建的血管三维模型的准确度。
在下面一个实施例中,如图6所示,描述了本公开另一实施例的使用X射线造影图像进行三维血管重建的方法的示例性过程500的流程图。示例性过程500包括如下步骤:
获取步骤502:获取重建的血管三维模型及对应于血管三维模型的在第一投射方向上的第一二维图像;
然后,进行模拟光程长度确定步骤503:基于血管三维模型确定其中血管至少一处在第一投射方向上的模拟光程长度;
然后,进行三维重建调整步骤。结合图6和图7,三维重建调整步骤包括步骤5041~5043。
在步骤5041,计算第一二维图像的被去除背景且对数处理所得的第一处理后图像。例如,在一些实施例中,计算第一处理后图像的步骤可以包括(未图示):对第一二维图像的各个像素的强度值求对数,得到第三对数处理后图像;然后,对第一二维图像的血管部分的强度值基于其周边的背景像素的强度值进行修补;然后,对修补后的第一二维图像的各个像素的强度值求对数,得到第四对数处理后图像;然后,从第三对数处理后图像减去第四对数处理后图像,得到第一处理后图像,图5(c)例示了这样的第一处理后图像;
步骤5042,基于第一处理后图像,利用前面提及的可以预先建立的线性关系,估计血管的至少一处的光程长度;
步骤5043,对血管的至少一处的光程长度与确定出的血管相应位置的模拟光程长度进行比较,并基于比较来伸长血管三维模型中血管相应位置在第一投射方向上的尺寸。
在一个实施例中,步骤5043可以包括:确定血管的至少一处的光程长度与血管相应位置的模拟光程长度的差异;如果差异大于第一预定阈值,则发出警告,否则,基于比较来伸长血管三维模型中血管相应位置的X射线传输方向的尺寸以消除差异。
第一预定阈值可以为本领域技术人员根据经验预先设定的值,该值用于反应了重建的三维模型的允许偏差程度。如果差异大于该第一预定阈值,则说明重建的三维模型的偏差较大,因此发出警告以引起用户(诸如外科医生等)的注意,如果差异小于或等于第一预定阈值,则直接修改(例如,伸长)血管三维模型中血管相应位置的X射线传输方向的尺寸以消除差异,由此生成了校准的血管三维模型。
在下面一个实施例中,如图8所示,描述了本公开再一实施例的使用X射线造影图像进行三维血管重建的方法的示例性过程700的流程图。示例性过程700包括如下步骤:
获取步骤702:获取重建的血管三维模型及对应于血管三维模型的在第一投射方向上的第一二维图像;
然后,进行模拟光程长度确定步骤703:基于血管三维模型确定其中血管各处在第一投射方向上的模拟光程长度;
然后,进行三维重建调整步骤。结合图8和图9,三维重建调整步骤包括如下步骤7041至步骤7043。
在步骤7041,计算第一二维图像的被去除背景且对数处理所得的第一处理后图像。计算第一处理后图像的过程可以参照示例性过程500中的那样进行。
步骤7042,基于所确定的模拟光程长度,利用线性关系,估计血管三维模型在第一投射方向上的第二二维图像的被去除背景且对数处理所得的第二处理后图像。也就是说,根据模拟光程长度和线性关系可以得到血管相应各位置(更具体地,血管区域的每个像素点)的处理后强度值(即,去除了背景的对数处理后值)。
步骤7043,对第一处理后图像和第二处理后图像进行比较,并基于比较对血管三维模型的重建参数进行调整以使用X射线造影图像进行三维血管重建。
具体地,将第一处理后图像上每个像素位置的像素值(即处理后强度值)与第二处理后图像的相应每个像素位置的处理后强度值进行比较,基于比较对血管三维模型的重建参数进行调整,从而利用调整后的重建参数进行三维血管重建。
在一些实施例中,设定代价函数为上述比较所得的差值,通过使代价函数为最小来调整血管三维模型的重建参数。
在另外一些实施例中,设定代价函数为上述的差值,三维血管重建和重建参数步骤可以迭代进行,可以计算代价函数并将其馈送到优化器中,以更新重建参数和相应的三维血管树几何结构(即,生成了校准的血管三维模型),例如可以利用牛顿迭代法等逐渐使代价函数下降来逐步更新重建参数,直到得到优化的重建参数,并利用优化的重建参数来重建准确的血管三维模型。
在还一些实施例中,步骤7043可以包括:确定第一处理后图像和第二处理后图像的差异;如果差异大于第二预定阈值,则发出警告,否则,基于比较对血管三维模型的重建参数进行调整以消除差异。
第二预定阈值可以是本领域技术人员根据经验预先设定的值,该值反应了重建的三维模型的允许偏差程度。如果差异大于该第二预定阈值,则说明重建的三维模型的偏差较大,因此发出警告以引起用户(诸如外科医生等)的注意,如果差异小于或等于第二预定阈值,则直接调整血管三维模型的重建参数,从而调整相应的三维血管树几何结构。
图10例示了一种使用X射线造影图像进行三维血管重建的装置900的框图。装置900包括:获取单元902,其配置为获取在第一投射方向上的第一二维图像以及相应的重建的血管三维模型;模拟光程长度确定单元903,其配置为基于血管三维模型确定其中血管至少一处在第一投射方向上的模拟光程长度;以及三维重建调整单元904,其配置为基于所述血管至少一处在第一投射方向上的模拟光程长度、第一二维图像上对应的血管各处的强度值、以及二维图像上血管各处的强度值与对应位置处的光程长度之间的关系,对血管三维模型的重建参数进行调整,从而使用X射线造影图像进行三维血管重建。
在一些实施例中,获取单元902可以从医学图像数据库935获取血管医学图像。获取的血管医学图像可以包括血管三维模型和/或对应于血管三维模型的在第一投射方向上的第一二维图像。在另一些实施例中,获取单元902可以从诸如医学图像采集装置(未示出)的外部装置直接获取血管三维模型和/或对应于血管三维模型的在第一投射方向上的第一二维图像。在还一些实施例中,获取单元902可以从图像数据存储装置(未示出)获取上述模型和/或图像。在一个变型实施例中,获取单元902可以从上述来源中的至少两个来获取所需的模型和图像。
在一个实施例中,装置900还可以包括三维模型重建单元901。三维模型重建单元901用于基于分别来自不同投射方向上的两幅以上二维图像来生成重建的血管三维模型,其中包括在第一投影方向上的所述第一二维图像。三维模型重建单元901可以连接到医学图像数据库935、图像采集装置和图像数据存储装置中的任一个,以获取重建所基于的二维图像。获取单元902可以从三维模型重建单元901获取重建的血管三维模型。在一个实施例中,获取单元902还可以从三维模型重建单元901获取重建的血管三维模型所基于的二维图像中的至少一幅图像,并且装置900将该至少一副图像用作第一二维图像。
获取单元902将获取到的血管三维模型及与其对应的在第一投射方向上的第一二维图像传输到模拟光程长度确定单元903。模拟光程长度确定单元903将确定出的模拟光程长度传输到三维重建调整单元904,使其能够基于血管各处在第一投射方向上的模拟光程长度、第一二维图像上对应的血管各处的强度值、以及二维图像上血管各处的强度值与对应位置处的光程长度之间的关系,对血管三维模型的重建参数进行调整,从而使用X射线造影图像进行三维血管重建。在一些实施例中,三维重建调整单元904可以输出校准的血管三维模型。
装置900的各单元的具体实现步骤和方法可以参考前述各方法实施例中详细阐明的相应步骤和方法,在此不再赘述。
图11例示了一种用于使用X射线造影图像进行三维血管重建的医学图像处理装置1000的框图。医学图像处理装置1000可以包括网络接口1001,借助于网络接口1001,装置1000可以连接到网络(未示出),例如但不限于医院中的局域网或互联网。网络可以将装置1000与诸如图像采集装置(未示出)的外部装置、医学图像数据库2000、图像数据存储装置3000连接。
可以构想的是,实施例中公开的装置和方法可使用计算机装置来实现。在一些实施例中,医学图像处理装置1000可以是专用智能装置或通用智能装置。例如,医学图像处理装置1000可以是为图像数据采集和图像数据处理任务定制的计算机,或者置于云中的服务器。例如,装置1000可以被集成到图像采集装置中。可选地,该装置可以包括或者与三维模型重建单元协作,三维模型重建单元用于基于由图像获取设备获取的二维图像来生成重建的三维模型。
医学图像处理装置1000可以包括图像处理器1002和存储器1003,并且可以额外包括输入/输出1004和图像显示器1005中的至少一个。
图像处理器1002可以是包括一个或多个通用处理设备(诸如微处理器,中央处理单元(CPU),图形处理单元(GPU)等)的处理设备。更具体地说,图像处理器1002可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。图像处理器1002也可以是一个或多个专用处理设备,例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等等。如本领域技术人员将理解的,在一些实施例中,图像处理器1002可以是专用处理器,而不是通用处理器。图像处理器1002可以包括一个或多个已知处理设备,诸如由英特尔公司制造的Pentium TM、Core TM、Xeon TM或Itanium TM系列的微处理器,由AMD公司制造的Turion TM、Athlon TM、Sempron TM、Opteron TM、FXTM、PhenomTM系列的微处理器或太阳微系统(Sun Microsystems)制造的各种处理器的任一种。图像处理器1002还可以包括图形处理单元,诸如来自Nvidia公司制造的系列的GPU,由英特尔TM制造的GMA、Iris TM系列的GPU或者由AMD公司制造的Radeon TM系列GPU。图像处理器1002还可以包括加速的处理单元,诸如AMD公司制造的桌面A-4(6,8)系列,英特尔公司制造的Xeon Phi TM系列。所公开的实施例不限于任何类型的处理器或处理器电路,这些处理器或处理器电路以其他方式被配置为满足识别、分析、维护、生成和/或提供大量成像数据或操纵此类成像数据以与所公开的实施例一致地校准血管三维模型或操纵任何其他类型的数据。另外,术语“处理器”或“图像处理器”可以包括多于一个处理器,例如,多核设计或多个处理器,每个处理器具有多核设计。图像处理器1002可以执行存储在存储器1003中的计算机程序指令的序列,以执行本文公开的各种操作、过程、方法。
图像处理器1002可以通信地耦合到存储器1003并且被配置为执行存储在其中的计算机可执行指令。存储器1003可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如,闪速存储器、静态随机存取存储器)等,在其上存储有任何格式的计算机可执行指令。在一些实施例中,存储器1003可以存储一个或多个图像处理程序923的计算机可执行指令以及当图像处理程序被执行时生成的数据。计算机程序指令可以被图像处理器1002访问,从ROM或者任何其他合适的存储位置读取,并加载到RAM中供图像处理器1002执行,以实现上述方法的每个步骤。图像处理器1002还可以向/从存储器1003发送/接收医学图像数据。例如,存储器1003可以存储一个或多个软件应用程序。存储在存储器1003中的软件应用程序可以包括例如用于通用计算机系统的操作系统(未示出)以及软控制设备。此外,存储器1003可以存储整个软件应用程序或仅存储软件应用程序的一部分(例如图像处理程序923)以能够由图像处理器1002执行。在一些实施例中,图像处理程序923可以包括图10中所示的模拟光程长度确定单元903和三维重建调整单元904作为软件单元,用于实现与本公开一致的使用X射线造影图像进行三维血管重建的方法或过程的各个步骤。在一些实施例中,图像处理程序923还可以包括图10中所示的三维模型重建单元901作为软件单元。此外,存储器1003可以存储在执行计算机程序时生成/缓存的数据,例如医学图像数据1004,其包括从图像采集装置、医学图像数据库2000、图像数据存储装置3000等发送的医学图像。这样的医学图像数据1004可以包括接收到的将要校正的三维血管模型以及与之对应的二维造影图像。此外,医学图像数据1004还可以包括校正后的三维血管模型、关于光程长度的偏差以及调整后的重建参数中的任何一种。
图像处理器1002可以执行图像处理程序923以实现用于使用X射线造影图像进行三维血管重建的方法。在一些实施例中,当执行图像处理程序923时,图像处理器1002可以将所获取的重建的血管三维模型与调整后的重建参数以及生成的校准的血管三维模型相关联,并将它们存储到存储器1003中。可选地,图像处理器1002可以将所获取的重建的血管三维模型与调整后的重建参数以及生成的校准的血管三维模型相关联,并经由网络接口1001将它们发送给医学图像数据库2000。
可以想到的是,该装置可以包括一个或多个处理器和一个或多个存储设备。(一个或多个)处理器和(一个或多个)存储设备可以以集中式或分布式的方式来配置。
该装置1000还可以包括一个或多个数字和/或模拟通信设备(输入/输出1004)。例如,输入/输出设备1004可以包括允许用户提供输入的键盘和鼠标。
装置1000可以通过网络接口1001连接到网络。网络接口1001可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 3.0、闪电、无线网络适配器如WiFi适配器、电信(3G、4G/LTE等)适配器。网络可以提供局域网(LAN)、无线网络、云计算环境(例如,作为服务的软件、作为服务的平台、作为服务的基础设施等)、客户端服务器、广域网(WAN)等的功能。
该装置1000可以进一步包括图像显示器1005。在一些实施例中,图像显示器1005可以是适合于显示血管造影图像及其三维重建结果的任何显示设备。例如,图像显示器1005可以是LCD、CRT或LED显示器。
这里描述了各种操作或功能,其可以被实现为软件代码或指令或被定义为软件代码或指令。这样的内容可以是可直接执行的源代码或差异代码(“增量”或“块”代码)(“对象”或“可执行”形式)。软件代码或指令可以存储在计算机可读存储介质中,并且当被执行时,可以使机器执行所描述的功能或操作,并且包括用于以机器可访问的形式存储信息的任何机构(例如,计算设备,电子系统等),诸如可记录或不可记录介质(例如,只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质,闪存设备等)。
尽管使用X射线图像进行了描述,但是所公开的装置和方法中的成像模态可以可替代地或附加地应用于其中像素强度随成像粒子行进的距离而改变的其他成像模态,诸如CT、锥形束计算机断层摄影(CBCT)、螺旋CT、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)等。
遵循存在已久的专利法惯例,当在包括权利要求书的本申请中使用时,术语“个”(不定冠词“a”或“an”)和“所述”是指“至少一个”。因此,例如,对“单元”的提及包括多个这样的单元,等等。
与“包括”、“包含”或“特征在于”同义的术语“包括”是非排他性的或者开放性的,不排除另外的、未叙述的要素或方法步骤。“包括”是权利要求语言中使用的本领域的术语,其意味着所命名的要素是必要的,但是能够添加其他要素并且仍然形成权利要求书的范围内的结构。
如本文所使用的,当在实体列表的上下文中使用术语“和/或”时,是指单独或组合出现的实体。因此,例如,短语“A,B,C、和/或D”分别包括A,B,C和D,但也包括A,B,C和D的任何和所有组合和子组合。
以上实施例仅为本发明的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (15)

1.一种用于使用血管造影图像进行三维血管重建的计算机实现方法,其特征在于,所述计算机实现方法包括:
获取步骤:获取血管的在第一投射方向上的第一二维图像以及相应的重建的血管三维模型;
模拟光程长度确定步骤:由处理器,基于所述血管三维模型确定其中血管的至少一处在所述第一投射方向上的血管内的模拟光程长度;以及
三维重建调整步骤:由所述处理器,基于所述血管的至少一处在所述第一投射方向上的所述模拟光程长度、所述第一二维图像上对应的血管至少一处的强度值、以及二维图像上血管各处的强度值与对应位置处的光程长度之间的关系,对所述血管三维模型的重建参数进行调整。
2.根据权利要求1所述的计算机实现方法,其特征在于,所述关系是:二维图像上血管各处的强度值被去除背景并对数处理所得的值与对应位置处的光程长度之间成线性关系。
3.根据权利要求1或2所述的计算机实现方法,其特征在于,所述模拟光程长度确定步骤包括:确定所述血管三维模型中所述血管的至少一处在第一投射方向上的尺寸,作为所述血管至少一处的所述模拟光程长度。
4.根据权利要求1或2所述的计算机实现方法,其特征在于,所述关系在同个患者的相同造影剂注射条件下的之前的血管造影和三维重建中预先建立,或者,所述关系在同次血管造影和三维重建中针对部分血管预先建立。
5.根据权利要求2所述的计算机实现方法,其特征在于,所述三维重建调整步骤包括:
通过从所述第一二维图像去除背景并执行对数处理,以计算出第一处理后图像;
由所述处理器,基于所述第一处理后图像,利用所述线性关系,估计血管的至少一处的光程长度;
由所述处理器,对血管的至少一处的光程长度与确定出的血管相应位置的所述模拟光程长度进行比较,并基于所述比较来伸长所述血管三维模型中血管相应位置在所述第一投射方向上的尺寸。
6.根据权利要求2所述的计算机实现方法,其特征在于,所述三维重建调整步骤包括:
通过对所述第一二维图像去除背景并进行对数处理,以计算出第一处理后图像;
由所述处理器,基于所确定的所述模拟光程长度,利用所述线性关系,为所述血管三维模型在所述第一投射方向上投影的第二二维图像估计对其去除背景并进行对数处理后的第二处理后图像;
由所述处理器,对所述第一处理后图像和所述第二处理后图像进行比较,并基于所述比较对所述血管三维模型的重建参数进行调整。
7.根据权利要求3所述的计算机实现方法,其特征在于,所述模拟光程长度确定步骤包括:
通过将所述血管三维模型在所述第一投射方向上投影得到第二二维图像;
根据所述第二二维图像确定血管段的直径(D);
确定所述血管段的中心线与所述第一投射方向的夹角θ,并利用下面的公式(1)计算所述血管段的模拟光程长度(xC):
xC=D/sinθ 公式(1)。
8.根据权利要求2所述的计算机实现方法,其特征在于,所述二维图像上血管各处的强度值被去除背景并对数处理所得的值通过如下步骤得到:
对所述血管各处的强度值求对数,得到第一处理后值;
对所述血管各处的背景强度值求对数,得到第二处理后值;以及
从所述第一处理后值减去所述第二处理后值。
9.根据权利要求5或6所述的计算机实现方法,其特征在于,计算所述第一处理后图像的步骤包括:
对所述第一二维图像的各个像素的强度值求对数,得到第三对数处理后图像;
对所述第一二维图像的血管部分的强度值基于其周边的背景像素的强度值进行修补;
对修补后的第一二维图像的各个像素的强度值求对数,得到第四对数处理后图像;以及
从所述第三对数处理后图像减去所述第四对数处理后图像。
10.根据权利要求5所述的计算机实现方法,其特征在于,对血管至少一处的光程长度与确定出的血管相应位置的所述模拟光程长度进行比较,并基于所述比较来伸长所述血管三维模型中血管相应位置在所述第一投射方向上的尺寸的步骤包括:
确定血管至少一处的光程长度与血管相应位置的模拟光程长度的差异;
如果差异大于第一预定阈值,则发出警告,否则,基于所述差异来伸长所述血管三维模型中血管相应位置的所述第一投射方向的尺寸以消除差异。
11.根据权利要求6所述的计算机实现方法,其特征在于,对所述第一处理后图像和所述第二处理后图像进行比较,并基于所述比较对所述血管三维模型的重建参数进行调整的步骤包括:
确定所述第一处理后图像和所述第二处理后图像的差异;
如果差异大于第二预定阈值,则发出警告,否则,基于所述比较对所述血管三维模型的重建参数进行调整以消除差异。
12.根据权利要求1所述的计算机实现方法,在所述获取步骤之前,还包括:
三维模型重建步骤:基于来自数个投射方向的二维图像来重建血管三维模型。
13.一种用于使用造影图像进行三维血管重建的装置,所述装置包括处理器、存储器及其上存储的计算机可执行指令,所述处理器执行所述计算机可执行指令时,实现根据权利要求1、2、5、6、8、10-12中任何一项所述的用于使用造影图像进行三维血管重建的计算机实现方法。
14.一种计算机可读存储介质,其上存储有计算机可执行指令,所述计算机可执行指令在由处理器执行时实现根据权利要求1、2、5、6、8、10-12中任何一项所述的用于使用造影图像进行三维血管重建的计算机实现方法。
15.一种用于使用造影图像进行三维血管重建的装置,包括:
接口,其被配置为接收血管的数个投影方向的造影图像,其中包括在第一投影方向上的第一二维图像;
处理器,其被配置为:
基于从所述接口接收的数个投影方向的造影图像利用重建参数来重建血管三维模型;
通过如下步骤来调整所述重建参数:
基于所重建的血管三维模型确定其中血管至少一处在所述第一投射
方向上的模拟光程长度;以及
基于所述血管至少一处在所述第一投射方向上的所述模拟光程长度、所述第一二维图像上对应的血管至少一处的强度值、以及二维图像上血管各处的强度值与对应位置处的光程长度之间的关系,对所述血管三维模型的重建参数进行调整。
CN201811353590.0A 2017-11-30 2018-11-14 使用造影图像进行三维血管重建的计算机实现方法及装置 Active CN109448072B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762592595P 2017-11-30 2017-11-30
US62/592,595 2017-11-30
US16/106,077 2018-08-21
US16/106,077 US10709399B2 (en) 2017-11-30 2018-08-21 Methods and devices for performing three-dimensional blood vessel reconstruction using angiographic images

Publications (2)

Publication Number Publication Date
CN109448072A true CN109448072A (zh) 2019-03-08
CN109448072B CN109448072B (zh) 2023-05-09

Family

ID=65552540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811353590.0A Active CN109448072B (zh) 2017-11-30 2018-11-14 使用造影图像进行三维血管重建的计算机实现方法及装置

Country Status (1)

Country Link
CN (1) CN109448072B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961508A (zh) * 2019-03-25 2019-07-02 东南大学 一种心脏静态三维模型重建方法
CN112155553A (zh) * 2020-09-27 2021-01-01 甘肃省人民医院 一种基于结构光3d测量的创面评估系统及方法
CN114072838A (zh) * 2019-07-17 2022-02-18 西门子医疗有限公司 根据2d医学图像进行3d血管中心线重建
CN115239892A (zh) * 2022-09-23 2022-10-25 天津远景科技服务有限公司 三维血管模型的构建方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040036838A1 (en) * 2002-06-28 2004-02-26 Podoleanu Adrian Gh. Optical mapping apparatus with adjustable depth resolution and multiple functionality
CN101156174A (zh) * 2005-04-07 2008-04-02 皇家飞利浦电子股份有限公司 用于血流成像的图像处理装置与方法
US20140313196A1 (en) * 2011-06-15 2014-10-23 Cms Medical, Llc System and method for four dimensional angiography and fluoroscopy
CN106963992A (zh) * 2017-03-22 2017-07-21 尚华 一种形状记忆合金海波管以及其在血管光纤导丝中的应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040036838A1 (en) * 2002-06-28 2004-02-26 Podoleanu Adrian Gh. Optical mapping apparatus with adjustable depth resolution and multiple functionality
CN101156174A (zh) * 2005-04-07 2008-04-02 皇家飞利浦电子股份有限公司 用于血流成像的图像处理装置与方法
US20140313196A1 (en) * 2011-06-15 2014-10-23 Cms Medical, Llc System and method for four dimensional angiography and fluoroscopy
CN106963992A (zh) * 2017-03-22 2017-07-21 尚华 一种形状记忆合金海波管以及其在血管光纤导丝中的应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
T J GERMONA等: "Changes in tissue oxyhaemoglobin concentration measured using multichannel near infrared spectroscopy during internal carotid angiography", 《JOURNAL OF NEUROLOGY》 *
徐建云等: "病理性近视眼底血管造影分析", 《南通医学院学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961508A (zh) * 2019-03-25 2019-07-02 东南大学 一种心脏静态三维模型重建方法
CN114072838A (zh) * 2019-07-17 2022-02-18 西门子医疗有限公司 根据2d医学图像进行3d血管中心线重建
CN112155553A (zh) * 2020-09-27 2021-01-01 甘肃省人民医院 一种基于结构光3d测量的创面评估系统及方法
CN112155553B (zh) * 2020-09-27 2023-05-23 甘肃省人民医院 一种基于结构光3d测量的创面评估系统及方法
CN115239892A (zh) * 2022-09-23 2022-10-25 天津远景科技服务有限公司 三维血管模型的构建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109448072B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
US11141122B2 (en) Methods and devices for performing three-dimensional blood vessel reconstruction using angiographic images
AU2019449137B2 (en) sCT image generation using cyclegan with deformable layers
JP7039153B2 (ja) 敵対的生成ネットワークを使用した画像強調
CN109448072A (zh) 使用造影图像进行三维血管重建的计算机实现方法及装置
EP3785230B1 (en) Posterior image sampling using statistical learning model
JP6437286B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法及び治療システム
CN104783825B (zh) 用于产生血管系统的二维投影图像的方法和装置
CN110268446A (zh) 用于实时成像的系统和方法
US20220036646A1 (en) Methods and devices for performing three-dimensional blood vessel reconstruction using angiographic image
WO1997049065A9 (en) Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
WO2021171394A1 (ja) 学習済みモデルの作成方法、画像生成方法および画像処理装置
CN111524200B (zh) 在投影图像中分割金属对象的方法、设备和介质
CN109255806A (zh) 医学影像的二维与三维图像配准方法、系统、存储介质、配准器
CN109350102A (zh) 用于确定血管容量和冠状血流量的方法、装置及系统
JP7164890B2 (ja) 3次元血管認識方法及び3次元血管認識装置
US20050185831A1 (en) Analysis of a multi-dimensional structure
US20080187090A1 (en) Tomographic Method
US11869142B2 (en) Methods and devices for three-dimensional image reconstruction using single-view projection image
EP4368109A1 (en) Method for training a scatter correction model for use in an x-ray imaging system
EP4123581A2 (en) Method for automatic segmentation of coronary sinus
CN115880418A (zh) 从单视图投影图像重建三维图像的方法和装置
Babaee et al. 3D reconstruction of vessels from two uncalibrated mammography images
Arso et al. Three-dimensional reconstruction and NURBS-based structured meshing of coronary arteries from the conventional X-ray angiography projection images
Bescos et al. Volume estimation of cerebral aneurysms from biplane DSA: a comparison with measurements on 3D rotational angiography data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Applicant before: BEIJING CURACLOUD TECHNOLOGY Co.,Ltd.

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant before: Beijing Keya ark Medical Technology Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant after: Keya Medical Technology Co.,Ltd.

Address before: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Applicant before: Beijing Keya ark Medical Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant