CN101053531A - 基于多模式增敏成像融合的早期肿瘤定位跟踪方法 - Google Patents

Abstract

一种基于多模式增敏成像融合的早期肿瘤定位跟踪方法，属于医学图像处理领域。本发明包括：获得肿瘤目标病灶成像增敏的术前医学图像；获得肿瘤目标病灶成像增敏的术中超声增敏图像；在图像导向治疗时，利用全局刚性变换和肿瘤目标病灶四周局部非刚性变换组合作为形变配准的几何变换模型，对术前和术中增敏图像进行基于联合显著区域的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域的三维可视化模型；利用上述形变配准方法，完成术前图像的运动形变补偿，进而自动完成肿瘤目标病灶的靶向跟踪。本发明可于肿瘤早期诊断、图像导向肿瘤早期干预、图像导向微创手术、图像导向物理治疗等多种场合。

Description

基于多模式增敏成像融合的早期肿瘤定位跟踪方法

技术领域

本发明涉及一种医学图像处理技术领域的方法，具体涉及一种基于多模式增敏成像融合的早期肿瘤定位跟踪方法。

背景技术

图像导向微创介入治疗，是现代生物医学工程、生物物理、生物化学、现代信息处理、微电子技术、分子医学及临床医学等交叉学科发展的产物，代表了临床疾病治疗技术的必然发展方向。图像导向治疗根本目的是用术前或术中医学图像指导目标病灶的靶向治疗，帮助医生在治疗过程中了解目标病灶及其周围组织的形状结构及相互关系。对肿瘤病灶的精确跟踪定位是图像导向治疗的核心问题，当前国际上图像导向治疗研究的发展趋势就是努力提高目标病灶的靶向定位跟踪精度，这也是衡量一个图像导向治疗系统性能优劣的根本指标。现阶段临床早期肿瘤的介入治疗对早期肿瘤的定位及靶向动态跟踪精度还很不足。由于受呼吸、术中软组织形变、体位改变等因素影响，术中肿瘤的位置会动态改变，因此治疗中需要实时精确定位及动态跟踪早期肿瘤及周围组织结构的位置变化。而提高早期肿瘤的靶向跟踪精度，需要解决术中和术前增敏多模式医学图像的配准及形变补偿问题。

在图像导向治疗系统中，国内外还没有报道使用多模式增敏成像融合的早期肿瘤定位跟踪方法，使其应用于图像导向治疗中，利用术前术中靶向成像增敏剂的作用，增强术前医学成像和术中超声成像对肿瘤等病灶的成像效果；再引入基于联合显著区域的非刚性形变配准融合，完成早期肿瘤干预过程中的靶向精确定位和跟踪。

经对现有技术文献的检索发现，美国专利公开号：US2001/0007919 A1，公开日：Jul.12，2001，专利名称：“Method and Apparatus for Volumetric ImageNavigation”。该专利强调了利用术前核磁共振、CT图像和术中被跟踪的内窥镜、超声图像进行配准，并结合图像分割和三维模型重建技术，用于手术导航。但该专利没有提到利用多种模式造影剂对肿瘤目标病灶进行术前和术中成像靶向增敏，在对肿瘤目标病灶的治疗过程中，也没有考虑基于肿瘤目标病灶感兴趣显著区域，对多模式图像进行非刚性配准，以准确实时地对肿瘤靶向区域的治疗改变进行动态跟踪。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于多模式增敏成像融合的早期肿瘤定位跟踪方法，使其应用于图像导向治疗中，利用术前术中成像增敏剂的作用，增强术前医学成像和术中超声成像对肿瘤等病灶的成像效果；再引入术前和术中增敏图像基于联合显著区域的形变配准融合方法，进而对肿瘤目标病灶感兴趣区域进行精确跟踪定位。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步，获得术前增敏图像

通过术前成像增敏剂与肿瘤的靶向结合，利用核磁共振医学成像手段，获得对目标病灶区域及周围组织结构进行成像增敏的术前核磁共振医学图像。选定该图像为配准的浮动图像；

第二步，获得术中增敏图像

术中增敏图像的获得是通过超声成像仪实现的。通过术中超声成像增敏剂与肿瘤的靶向结合，配合术中可控频率超声场对超声成像增敏剂的激发作用，获得能有效增敏目标病灶成像效果的术中三维超声图像；选定该图像为参考图像，用于实时跟踪术中目标病灶的改变；

第三步，在图像导向治疗时，利用全局刚性变换和肿瘤目标病灶四周局部非刚性变换组合作为形变配准的几何变换模型，对术前和术中增敏图像进行基于联合显著区域的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域的三维可视化模型，对术中肿瘤目标病灶进行精确治疗定位；

第四步，利用上述基于联合显著区域的形变配准方法，结合术中超声成像的运动分析手段，完成对术前核磁共振图像的运动形变补偿，实时更新术中超声成像和术前核磁共振图像的配准关系，实时显示三维超声成像和术前医学图像在肿瘤病灶及周围组织结构四周的成像融合效果，进而自动完成肿瘤目标病灶的靶向跟踪。

所述的术前成像增敏剂，是指根据所采用的术前成像方法，选用对肿瘤目标病灶进行成像增敏的不同模式造影剂。选用核磁共振成像，可以采用磁性物质组成的、能对肿瘤目标病灶进行成像增敏的核磁共振成像造影剂。

所述的术中超声成像增敏剂，是指微胶囊造影剂，包括蛋白质空气微胶囊超声造影剂、氟碳气体微胶囊超声造影剂、可生物降解高分子微胶囊超声造影剂；微泡超声造影剂；包膜超声造影剂等。该成像增敏剂都能与肿瘤病灶精确主动或被动靶向结合，并且能有效提高超声成像效果。

所述的术中可控频率超声场，是指由超声波发生器产生，频率小于5MHz的多频超声波。该可控频率多频超声场能激发超声造影剂产生局部可控谐振，超声回波特性改变、局部空化现象等物理化学作用，从而获得高对比度的三维超声成像效果。

所述利用全局刚性变换、和肿瘤目标病灶四周局部非刚性变换组合作为形变配准的几何变换模型，对术前和术中增敏图像进行基于联合显著区域的形变配准，是指：利用全局刚体变换和多层B样条自由形变模型组合构成形变的几何变换模型，然后利用术前和术中多模式成像灰度信息提取联合显著区域，再基于联合显著区域的灰度相似性测度，进行非刚性图像配准。具体实现如下：

(a)粗配准：利用图像体素为整体特征，采用传统的图像配准方法，对两幅图像进行粗配准，使图像的相互重叠程度尽可能大；

(b)获取多分辨率显著测度图：对获取的两种图像数据进行多分辨率金字塔构建，并选用一种测度度量显著性程度，得到待配准图像各自的联合显著图；

(c)对当前分辨率尺度，利用相似性分析度量术前和术中多分辨率显著测度图中公共显著区域的位置和程度，得到待配准图像之间的联合显著图。该联合显著图给出了两幅图像间的公共显著区域，本发明中公共显著区域即为术前和术中超声成像增敏后的肿瘤目标病灶区域。如果该位置点对应图像的公共显著区域，就被设定为目标感兴趣区域，接下来作为重点配准区域。

联合显著图的值域被归一化到[0，1](以下称为归一化联合显著值)，它在配准过程中的应用如下：如果归一化联合显著值接近于1，表示待配准图像在该点具有相似的显著特征分布，则认定该点是属于公共显著区域，本发明中肿瘤目标感兴趣区域属于公共显著区域，因此肿瘤目标感兴趣区域联合显著值应是一个趋于1的值，这些公共显著区域继续参与进一步的配准；如果归一化联合显著值接近于0，则表示在该点两幅图像没有相对应的显著特征分布，此点是异常信号，不属于公共显著区域，应当被排除参与下一步的配准过程。这样就实现了对包括肿瘤目标感兴趣区域在内的公共显著区域进行重点配准，该重点配准可自适应地排除全局异常信号。这些全局异常信号是没有在两幅图像中都有对应性表示的异常信号特征，这些异常信号包括只有在术前图像中有显示的图像特征，而这些图像特征由于手术或治疗改变就不再在术中图像中有对应性表示。或者这些全局异常信号只是出现在术中超声图像中的异常图像特征，这些术中异常特征同样没有在术前核磁共振图像中有对应性表示。

其中需要说明的是，可以设定一阈值，将待配准图像各自的显著测度值低于阈值的点在联合显著图中直接赋为0，因为低显著性的点意味着不包含显著性特征，无利于配准的进行。

(d)将(c)得到的联合显著图，融合到联合灰度直方图的统计中，可增强公共显著区域在联合直方图统计中的权重，再定义一个基于联合灰度直方图统计计算的灰度相似性测度，在多分辨率计算方案下得到联合显著图下的最优几何匹配参数；

联合显著图和联合灰度直方图具体的融合方法如下：在统计图像联合灰度直方图的过程中，由于它与配准变换参数相关，需要将其中一幅如浮动图像F变换后与参考图像R进行统计，如果变换后的位置不在参考图像规整坐标网格上，则需要插值计算出该位置处的参考图像灰度。本发明使用归一化联合显著值确定图像上的每对体素对联合灰度直方图的贡献权重，即在得到了浮动图像F与参考图像R的灰度对(f，r)后，用归一化联合显著值计入直方图频数h(f，r)中。如果其归一化联合显著权值很小，这些被判为异常信号或显著性很小的点就被自动地排除在联合灰度直方图的计算，进而也自适应的排除在配准过程之外。由于肿瘤目标病灶区域在两图像中都有显著测度表示，因此能将肿瘤目标病灶区域作为配准的重点感兴趣区域，进行自动集中配准。

(e)利用联合显著图对两幅图像进行配准。采用全局刚性变换组合多层B样条自由形变模型(multilevel B spines free form deformation)，这里每个体素点的局部形变是由多层次局部形变累加得到；

这样的非刚性变换每变动一次就计算联合显著图，再统计联合显著图加权的联合灰度直方图。通过不断改变变换参数，使得图像灰度相似性测度函数达到最优；

(f)配准后两种模式的图像在同一坐标系下将两幅图像的肿瘤病灶区域融合表达成三维的图像模型。

本发明通过利用术前术中成像增敏剂的作用，在提高术前、术中多模式医学影像技术对肿瘤病灶进行感兴趣增敏的基础上，利用多模医学图像形变配准技术实时更新术中肿瘤靶向位置改变，从而提高肿瘤等病灶在图像导向治疗空间中的靶向跟踪精度。在方法设计上，利用了成像增敏剂的造影功能和基于联合显著区域的形变配准技术的优点，对术中肿瘤靶向跟踪的鲁棒性、动态跟踪精度及实时效率都能满足实际需求。本发明可于肿瘤早期诊断、图像导向肿瘤早期干预、图像导向微创手术、图像导向物理治疗等多种场合的定位跟踪。

附图说明

图1是本发明的流程图。

图2是本发明基于联合显著区域的形变配准方法的流程图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本实例为应用于对肝脏肿瘤的术中定位跟踪，其流程图如图1所示：

第一步，获得术前增敏图像。通过对病人注射水溶性顺磁性分子——锰—DPDP核磁共振成像造影剂，是其与肿瘤病灶精确靶向结合；然后对病人在腹部进行核磁共振成像，获得对肝脏肿瘤增敏的术前医学图像，成像数据量为512*512*120，并确定该图像为浮动图像；

第二步，获得术中超声增敏图像。首先对病人注射微胶囊类增敏剂，经过一段时间后，使增敏剂和肝脏肿瘤病灶精确靶向结合。然后，启动术中超声成像设备配合术中可控频率超声场对增敏剂进行进一步激发，对病人采集术中增敏图像。超声波发生器的频率选择2～3MHz。选定该图像为参考图像，用于实时改变融合图像；

第三步，在图像导向治疗时，利用全局刚体变换和多层B样条自由形变模型组合构成形变的几何变换模型，对术前和术中增敏图像进行基于联合显著区域的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域的三维可视化模型，对术中肿瘤目标病灶进行精确治疗定位。具体实现如下：

(a)粗配准。采用基于互信息的图像配准方法，变换模型取刚体变换模型，优化算法选用单纯型法；

(b)获取多分辨率显著测度图。对获取的两种图像数据进行多分辨率金字塔构建；利用以下公式计算每个分辨率尺度下的显著测度图。

$E(v,l)={\mathrm{\Σ}}_{u\∈N_v}{(I(v,l)-I(u,l))}^2---\left(1\right)$

特别说明，v＝(x，y，z)是分辨率尺度l下的体素位置，N_v是多分辨率尺度l下的体素v的邻域，为了得到旋转不变性能量，本实例所施行的是圆周邻域，圆周半径取3，即3*3*3领域；I(v，l)为在分辨率尺度l下的体素v的灰度值，I(u，l)为在分辨率尺度l下体素v的邻域体素u的灰度值；E(v)即为v点对应的显著测度值，计算出每个体素位置对应的显著测度值，即可获取在一定分辨率尺度下参考图像和浮动图像各自的显著测度图；在高分辨率l尺度下的显著区域检测方法，是通过累加低分辨率尺度和当前分辨率下的显著区域图而得到。

(c)对当前分辨率尺度l，计算两粗配准图像的联合显著图。这里选取矩相似性分析作为产生联合显著图的方法。待配准两幅图像中每一对重叠体素位置的联合显著值，可在各自的显著区域图上通过矩分析得到各自的惯性矩阵主轴方向向量。如果该位置属于双方公共显著区域，则此对向量将具有相似性，在数学上表现为向量间的平行度或相关度。

具体实施过程如下：对于两幅图像中的每一对重叠体素，以该点为中心计算其邻域体素(采用(1)中的圆域系统)显著区域图的惯性矩阵及特征值和特征向量，记录最大特征值对应的特征向量。以下式计算得出归一化联合显著值：

$W\left(v\right)=\left|\frac{\mathrm{eig}{\left(v_f\right)}^T\mathrm{eig}\left(v_r\right)}{\sqrt{\mathrm{eig}{\left(v_f\right)}^T\mathrm{eig}\left(v_f\right)}\sqrt{\mathrm{eig}{\left(v_r\right)}^T\mathrm{eig}\left(v_r\right)}}\right|---\left(2\right)$

eig(v_f)和eig(v_r)分别代表浮动图像和参考图像对应点邻域的显著测度图主轴方向向量。这样依据(b)得到的多分辨率显著测度图，再通过计算显著测度图邻域特征向量的相关度，计算出每一对重叠体素点的归一化联合显著值，得到联合显著图其中将在显著图中低于0.005倍能量最高值的点直接赋予W(v)为0。

d)将(c)得到的联合显著图和联合灰度直方图融合，选取归一化互信息作为配准的相似性测度，计算该相似性测度值。在统计图像联合灰度直方图的过程中，采用主流的三线性内插方法，即在得到了浮动图像F与参考图像R的灰度对(f，r)。将(c)中得到的联合显著值计入直方图频数h(f，r)中。

(e)利用联合显著图对两幅图像进行配准。对两个数据集进行非刚性变换，采用全局刚性变换组合多层B样条自由形变模型，即每个体素位置的形变变换模型采用如下公式：

T(x，y，z)＝T_global(x，y，z)+T_olcal(x，y，z)           (3)

特别说明，其中T(x，y，z)为两幅图像的整体变换参数，T_global(x，y，z)为全局刚性变换参数，T_local(x，y，z)为局部非刚性变换参数。

这里每个点的局部形变利用一维三次B样条的三维张量积构成，在多分辨率计算框架下，这里的局部形变模型采用多层B样条自由形变模型，即：

$T_{\mathrm{local}}(x,y,z)=\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{T}_{\mathrm{local}}^h(x,y,z)---\left(4\right)$

特别说明，其中H是指B样条的层数，T_local ^h(x，y，z)为基于h层的B样条自由形变模型的非刚性变换参数。

这里每个体素点的局部形变是由多层次局部形变累加得到。

这样的非刚性变换每变动一次就计算联合显著图，再统计联合显著图加权的联合灰度直方图。通过不断改变变换参数，采用遗传算法使得图像灰度相似性测度函数达到最优；

实施例中采用前后两次所得到的最优配准参数的欧拉距离作为终止条件，选取0.00001。

(f)配准后两种模式的图像在同一坐标系下将肝脏中的肿瘤区域的肿瘤、大血管等有用信息表达成三维的图像模型。

第四步，利用上述形变配准方法，结合术中超声成像的运动分析手段，实时更新术中超声成像和术前核磁共振图像的配准关系，完成对术前图像的运动形变补偿，进而自动完成肿瘤目标病灶的靶向跟踪。

该实例通过对肝脏肿瘤的术中定位跟踪，说明该方法能满足对术中肿瘤靶向跟踪的鲁棒性、动态跟踪精度及实时效率的需求。利用对术前核磁共振图像和术中超声成像进行感兴趣增敏的基础上，利用全局刚体变换和多层B样条自由形变模型组合构成形变的几何变换模型，对术前和术中增敏图像进行基于联合显著区域的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域的三维可视化模型，对术中肿瘤目标病灶进行精确治疗定位。

Claims (10)

1.一种基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征在于，包括以下步骤：

第一步，获得术前增敏图像：通过术前成像增敏剂与肿瘤的靶向结合，利用核磁共振医学成像手段，获得对目标病灶区域及周围组织结构进行成像增敏的术前核磁共振医学图像，选定该图像为配准的浮动图像；

第二步，获得术中增敏图像：术中增敏图像是采用超声成像仪获得的，通过术中超声成像增敏剂与肿瘤的靶向结合，配合术中可控频率超声场对超声成像增敏剂的激发作用，获得能有效增敏目标病灶成像效果的术中三维超声图像，选定该图像为参考图像，用于实时跟踪术中目标病灶的改变；

第三步，在图像导向治疗时，利用全局刚性变换和肿瘤目标病灶四周局部非刚性变换组合作为形变配准的几何变换模型，对术前和术中增敏图像进行基于联合显著区域的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域的三维可视化模型，对术中肿瘤目标病灶进行定位；

第四步，利用上述基于联合显著区域的形变配准方法，结合术中超声成像的运动分析手段，完成对术前核磁共振图像的运动形变补偿，实时更新术中超声成像和术前图像的配准关系，实时显示三维超声成像和术前医学图像在肿瘤病灶及周围组织结构四周的成像融合效果，进而自动完成肿瘤目标病灶的靶向跟踪。

2.根据权利要求1所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征是，所述第三步中，利用全局刚体变换和多层B样条自由形变模型组合构成形变的几何变换模型，然后利用术前和术中多模式成像灰度信息提取联合显著区域，再基于联合显著区域的灰度相似性测度，进行非刚性图像配准。

3.根据权利要求2所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征是，所述的图像配准，具体实现如下：

(a)粗配准：利用图像体素为整体特征，采用传统的图像配准方法，对两幅图像进行粗配准；

(b)获取多分辨率显著测度图：对获取的两种图像数据进行多分辨率金字塔构建，并选用一种测度度量显著性程度，得到待配准图像各自的显著测度图；

(c)对当前分辨率尺度，利用相似性分析度量术前和术中多分辨率显著测度图中公共显著区域的位置和程度，得到待配准图像之间的联合显著图；

(d)利用(c)得到的联合显著图，融合到联合灰度直方图的统计中，增强公共显著区域在联合直方图统计中的权重，再定义一个基于联合灰度直方图统计计算的灰度相似性测度，得到联合显著图下的最优几何匹配参数；

(e)利用联合显著图对两幅图像进行配准；

(f)配准后两种模式的图像在同一坐标系下将两幅图像的肿瘤病灶区域融合表达成三维的图像模型。

4.根据权利要求3所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征是，所述联合显著图给出了两幅图像间的公共显著区域，公共显著区域即为术前和术中超声成像增敏后的肿瘤目标病灶区域，如果该位置点对应图像的公共显著区域，就被设定为目标感兴趣区域，接下来作为重点配准区域。

5.根据权利要求3或4所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征是，所述联合显著图，其值域被归一化到[0，1]，即归一化联合显著值，如果归一化联合显著值接近于1，表示待配准图像在该点具有相似的显著特征分布，则认定该点是属于公共显著区域，这些公共显著区域继续参与进一步的配准；如果归一化联合显著值接近于0，则表示在该点两幅图像没有相对应的显著特征分布，此点是异常信号，不属于公共显著区域，被排除参与下一步的配准过程。

6.根据权利要求5所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征是，在进行配准时，设定一阈值，将待配准图像各自的显著测度值低于阈值的点在联合显著图中直接赋为0。

7.根据权利要求1所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征是，所述的将联合显著图融合到联合灰度直方图的统计中，具体融合方法为：使用归一化联合显著值确定图像上的每对体素对联合灰度直方图的贡献权重，即在得到了浮动图像F与参考图像R的灰度对(f，r)后，用归一化联合显著值计入直方图频数h(f，r)中；如果其归一化联合显著权值很小，这些被判为异常信号或显著性很小的点就被自动地排除在联合灰度直方图的计算，进而也自适应的排除在配准过程之外。

8.根据权利要求3所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征是，所述利用联合显著图对两幅图像进行配准，是指：对两个数据集进行非刚性变换，采用全局刚性变换组合多层B样条自由形变模型，即每个体素位置的形变变换模型采用如下公式：

T(x，y，z)＝T_global(x，y，z)+T_local(x，y，z)，其中T(x，y，z)为两幅图像的整体变换参数，T_global(x，y，z)为全局刚性变换参数，T_local(x，y，z)为局部非刚性变换参数；

这里每个点的局部形变利用一维三次B样条的三维张量积构成，在多分辨率计算框架下，这里的局部形变模型采用多层B样条自由形变模型，即：

$T_{\mathrm{local}}(x,y,z)=\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{T}_{\mathrm{local}}^h(x,y,z)$ 其中，H是指B样条的层数，T_local ^h(x，y，z)为基于h层的B样条自由形变模型的非刚性变换参数；

这里每个体素点的局部形变是由多层次局部形变累加得到。

9.根据权利要求1所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征是，所述的术前成像增敏剂，是指：选用核磁共振成像，采用磁性物质组成的、能对肿瘤目标病灶进行成像增敏的核磁共振成像造影剂；

所述的术中超声成像增敏剂，是指蛋白质空气微胶囊超声造影剂、氟碳气体微胶囊超声造影剂、可生物降解高分子微胶囊超声造影剂、微泡超声造影剂、包膜超声造影剂中的一种。

10.根据权利要求1所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征是，所述的术中可控频率超声场，是由超声波发生器产生，频率小于5MHz的多频超声波。

Images