CN106683127A - 一种基于surf算法的多模态医学图像配准方法 - Google Patents

Abstract

一种基于SURF算法的多模态医学图像配准方法，它包括以下步骤：S1、利用SURF算法提取不同模态医学图像中的特征点；S2、确定各模态医学图像中特征点的主方向，并构造对应的SURF特征描述子；S3、对特征点的SURF特征描述子进行矩阵运算，获取转换矩阵；S4、使用转换矩阵完成不同模态医学图像配准。本发明的SURF算法相比于SIFT算法，计算速率大大提高了。利用GPU等并行化技术可以使得大分辨率图像的线性配准达到实时。

Description

一种基于SURF算法的多模态医学图像配准方法

技术领域

本发明涉及医疗图像处理领域，尤其是一种能够提高病灶或感兴趣部位的配准精度，有助于临床诊断、放射治疗计划的制定和评价的基于SURF算法的多模态医学图像配准方法。

背景技术

目前，随着计算机科学技术和医疗影响工程学的快速发展，世界上出现了许多先进的医疗成像设备，为临床医学诊断提供了多种模态的医学图像，这些图像从不同方面反映了人体结构、脏器和病变组织的不同信息。

比如CT(ComputedTomography)图像具有较强的空间分辨率和几何特性，对骨骼的成像非常清晰，它可对病灶定位提供较好的参照，但对软组织的对比度则相对较低。MR(MagneticResonance)图像可以清晰地反映软组织、器官、血管等的解剖结构，有利于确定病灶范围，但是MR图像对钙化点不敏感，且受到磁干扰会发生几何失真。SPEC、PET图像能得到人体任意角度断层面的放射性浓度分布，可以反映组织器官的代谢水平和血流状况，对肿瘤病变呈现“热点”，提供人体的功能信息，但是它们的分辨率差，很难得到精确的解剖结构，也不易分辨组织、器官的边界。由此可见，不同成像技术有着自身的优势也同时拥有一些局限性，这些图像对人体同一解剖结构所得到的形态和功能信息是互为差异、互为补充的。

在临床诊断中，单一模态的图像往往不能提供医生所需要的足够信息，因此，如果能将不同模态的医学图像进行适当的融合，使解剖信息和功能信息有机地结合起来，在一幅图像上同时综合地表达来自多种成像源的信息，以便医生了解病变组织或器官的综合情况，并做出更加准确的诊断或制定出更加科学优化的治疗方案，这必将推动现代医学临床技术的巨大进步。

由于从医学图像角度来看MR与CT图像的图像内容是不同的，因此我们在此发明中引入了基于改良的SURF算法的图像配准方法来介绍如何进行精准的MR与CT图像的配准。

发明内容

本发明的目的是针对多源图像间的配准问题，提出一种基于SURF算法的多模态医学图像配准方法。此种基于SURF算法的图像配准方法可以实现多模态医学图像融合过程中至关重要的一步——图像配准。此方法可实现精准图像配准，同时相比于类似的SIFT算法，此方法使用SURF算法可以快速完成图像配准过程。

本发明的技术方案是：

一种基于SURF算法的多模态医学图像配准方法，它包括以下步骤：

S1、利用SURF算法提取不同模态医学图像中的特征点；

S2、确定各模态医学图像中特征点的主方向，并构造对应的SURF特征描述子；

S3、对特征点的SURF特征描述子进行矩阵运算，获取转换矩阵；

S4、使用转换矩阵完成不同模态医学图像配准。

本发明的步骤S1中，利用SURF算法提取的不同模态医学图像中的特征点具体为：

S1.1、根据Hessian矩阵，计算特征值α，具体步骤如下：

S1.1-1、利用下述Hessian矩阵公式计算出不同模态医学图像中各个像素点的Hessian矩阵：

其中，x表示各模态医学图像中各个像素点的灰度值，L_xx(x,σ),L_xy(x,σ),L_yy(x,σ)表示当前像素在x，y方向上的二阶偏导数，也即二阶标准高斯函数对图像的卷积；

S1.1-2、对于各模态医学图像，分别采用下属公式计算各个像素点的Hessian矩阵行列式的近似值作为对应像素点的特征值α：

α＝L_xxL_yy-(0.9L_xy)²

S1.2、根据SURF算法特性构造高斯金字塔，根据像素点的特征值α是否为邻域极大值判断特征点，具体步骤为：

S1.2-1、构造SURF高斯金字塔，前述金字塔分为若干层，每一层均作为一个频度范围Octave，每个Octave尺度不同的图片，在SURF算法中图片大小即尺寸始终保持不变；

S1.2-2、在构造好的SURF高斯金字塔中，将经过步骤S1.1-1中Hessian矩阵处理过的每个像素点与其在SURF高斯金字塔中三维领域的26个点进行大小数值比较，若该像素点为这26个点中的最大值或最小值，则将像素点保留下来，作为初步的特征点，否则，采用三维线性插值算法得到亚像素级特征点。

本发明的步骤S1.2-1中，每一层Octave的获取方式是：通过对原始图片进行不同尺度的高斯模糊得到的，同一Octave中的各个图片也是通过不同高斯模糊尺度的模糊得到的。

本发明的步骤S2中，确定特征点主方向并构造SURF特征描述子，提取不同模态医学图像的特征点具体为：

S2.1、根据SURF算法特性统计特征点邻域内的Harr小波特征，选择最长矢量的方向为该特征点的主方向，具体步骤为：

S2.1-1、统计任一特征点领域内的Harr小波特征，即以特征点为中心，计算半径为6s的邻域内，s为特征点所在的尺度值，统计60°扇形内所有点在水平x和垂直y方向的Harr小波响应总和(Harr小波边长取4s，s为特征点所在的尺度值，并给这些Harr小波响应值赋上高斯权重系数，高斯权重系数由高斯模型在不同的角度和距离上确定，权重系数的和为1)；然后将60°范围内的响应相加以形成特征矢量(特征值加上方向信息即形成特征矢量)，遍历整个圆形区域，覆盖整个360°，选择最长矢量的方向为该特征点的主方向。

遍历所有的特征点，得到每个特征点的主方向。

S2.2、根据S2.1步骤中得到的方向构造对应特征点的SURF特征描述子，具体方法为：

S2.2-1、在特征点邻域范围内取一个正方形框，框的边长为20s(s是该特征点所在的尺度值)，该框的方向即为步骤S2.1得到的主方向；

S2.2-2、把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Harr小波特征，前述水平和垂直方向均为相对特征点的主方向而言。该Harr小波特征为：水平方向灰度值之和∑dx，水平方向灰度值绝对值之和∑|dx|，垂直方向灰度值之和∑dy，以及垂直方向灰度值绝对值之和∑|dy|，对于每个特征点，建立64维向量作为该特征点的SURF特征描述子，其中列向量对应16个子区域，行向量对应各子区域的4个Harr小波特征参数值。

本发明的步骤S3具体为：

S3.1对于各模态医学图像中相应位置的图像以遍历的方式计算两张图像所有特征点描述子的内积，

即对于来自两张图像的对应的两个特征点，计算64维特征向量的内积，按照数值从大到小进行排序，得到排序后的特征点序列，其中数值最大者为最匹配的点；

S3.2、对前述排序后的特征点序列进行矩阵运算，得到配准需要的3X3转换矩阵。

本发明的步骤S3还包括以下步骤：设定阈值，在排序后的特征点序列中，选择大于前述阈值的配对特征点进行矩阵运算。

本发明的阈值的设置方法为：通过对大量不同模态的医学图像的机器学习，设置特征点的评判阈值。

本发明的配准过程如下：

S4.1使用S3.3计算得到的转换矩阵对待配准图像进行卷积，得到每个像素点新的坐标，并使用双三次插值方法计算配准后的像素值。从而完成两幅不同模态图像的配准。

本发明的有益效果：

本发明的SURF算法相比于SIFT算法，计算速率大大提高了。利用GPU等并行化技术可以使得大分辨率图像的线性配准达到实时。

具体实施方式

下面结合实施例对本发明作进一步的说明。

一种基于SURF算法的多模态医学图像配准方法，它包括以下步骤：

S1、利用SURF算法提取不同模态医学图像中的特征点；步骤S1中，利用SURF算法提取的不同模态医学图像中的特征点具体为：

S1.1、根据Hessian矩阵，计算特征值α，具体步骤如下：

S1.1-1、利用下述Hessian矩阵公式计算出不同模态医学图像中各个像素点的Hessian矩阵：

其中，x表示各模态医学图像中各个像素点的灰度值，L_xx(x,σ),L_xy(x,σ),L_yy(x,σ)表示当前像素在x，y方向上的二阶偏导数，也即二阶标准高斯函数对图像的卷积；

S1.1-2、对于各模态医学图像，分别采用下属公式计算各个像素点的Hessian矩阵行列式的近似值作为对应像素点的特征值α：

α＝L_xxL_yy-(0.9L_xy)²

S1.2、根据SURF算法特性构造高斯金字塔，根据像素点的特征值α是否为邻域极大值判断特征点，具体步骤为：

S1.2-1、构造SURF高斯金字塔，前述金字塔分为若干层，每一层均作为一个频度范围Octave，每个Octave尺度不同的图片，在SURF算法中图片大小即尺寸始终保持不变；(其中：每一层Octave的获取方式是：通过对原始图片进行不同尺度的高斯模糊得到的，同一Octave中的各个图片也是通过不同高斯模糊尺度的模糊得到的)

S1.2-2、在构造好的SURF高斯金字塔中，将经过步骤S1.1-1中Hessian矩阵处理过的每个像素点与其在SURF高斯金字塔中三维领域的26个点进行大小数值比较，若该像素点为这26个点中的最大值或最小值，则将像素点保留下来，作为初步的特征点，否则，采用三维线性插值算法得到亚像素级特征点。

S2、确定各模态医学图像中特征点的主方向，并构造对应的SURF特征描述子，S2中，确定特征点主方向并构造SURF特征描述子，提取不同模态医学图像的特征点具体为：

S2.1、根据SURF算法特性统计特征点邻域内的Harr小波特征，选择最长矢量的方向为该特征点的主方向，具体步骤为：

S2.1-1、统计任一特征点领域内的Harr小波特征，即以特征点为中心，计算半径为6s的邻域内，s为特征点所在的尺度值，统计60°扇形内所有点在水平x和垂直y方向的Harr小波响应总和(Harr小波边长取4s，s为特征点所在的尺度值，并给这些Harr小波响应值赋上高斯权重系数，高斯权重系数由高斯模型在不同的角度和距离上确定，权重系数的和为1)；然后将60°范围内的响应相加以形成特征矢量(特征值加上方向信息即形成特征矢量)，遍历整个圆形区域，覆盖整个360°，选择最长矢量的方向为该特征点的主方向。

遍历所有的特征点，得到每个特征点的主方向。

S2.2、根据S2.1步骤中得到的方向构造对应特征点的SURF特征描述子，具体方法为：

S2.2-1、在特征点邻域范围内取一个正方形框，框的边长为20s(s是该特征点所在的尺度值)，该框的方向即为步骤S2.1得到的主方向；

S2.2-2、把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Harr小波特征，前述水平和垂直方向均为相对特征点的主方向而言。该Harr小波特征为：水平方向灰度值之和∑dx，水平方向灰度值绝对值之和∑|dx|，垂直方向灰度值之和∑dy，以及垂直方向灰度值绝对值之和∑|dy|，对于每个特征点，建立64维向量作为该特征点的SURF特征描述子，其中列向量对应16个子区域，行向量对应各子区域的4个Harr小波特征参数值。

S3、对特征点的SURF特征描述子进行矩阵运算，获取转换矩阵，步骤S3具体为：

S3.1对于各模态医学图像中相应位置的图像以遍历的方式计算两张图像所有特征点描述子的内积，

即对于来自两张图像的对应的两个特征点，计算64维特征向量的内积，按照数值从大到小进行排序，得到排序后的特征点序列，其中数值最大者为最匹配的点；

S3.2、对前述排序后的特征点序列进行矩阵运算，得到配准需要的3X3转换矩阵。

步骤S3还包括以下步骤：设定阈值，在排序后的特征点序列中，选择大于前述阈值的配对特征点进行矩阵运算；阈值的设置方法为：通过对大量不同模态的医学图像的机器学习，设置特征点的评判阈值。

S4、使用转换矩阵完成不同模态医学图像配准，配准过程如下：

S4.1使用S3.3计算得到的转换矩阵对待配准图像进行卷积，得到每个像素点新的坐标，并使用双三次插值方法计算配准后的像素值。从而完成两幅不同模态图像的配准。

本发明的SURF算法相比于SIFT算法，计算速率大大提高了。利用GPU等并行化技术可以使得大分辨率图像的线性配准达到实时。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (8)

1.一种基于SURF算法的多模态医学图像配准方法，其特征是它包括以下步骤：

S1、利用SURF算法提取不同模态医学图像中的特征点；

S2、确定各模态医学图像中特征点的主方向，并构造对应的SURF特征描述子；

S3、对特征点的SURF特征描述子进行矩阵运算，获取转换矩阵；

S4、使用转换矩阵完成不同模态医学图像配准。

2.根据权利要求1所述的基于SURF算法的多模态医学图像配准方法，其特征是所述的步骤S1中，利用SURF算法提取的不同模态医学图像中的特征点具体为：

S1.1、根据Hessian矩阵，计算特征值α，具体步骤如下：

S1.1-1、利用下述Hessian矩阵公式计算出不同模态医学图像中各个像素点的Hessian矩阵：

$H(x,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{xx}\left(x,\mathrm{\σ}\right)& L_{xy}\left(x,\mathrm{\σ}\right)\\ L_{xy}\left(x,\mathrm{\σ}\right)& L_{yy}\left(x,\mathrm{\σ}\right)\end{array}\right]$

其中，x表示各模态医学图像中各个像素点的灰度值，L_xx(x,σ),L_xy(x,σ),L_yy(x,σ)表示当前像素在x，y方向上的二阶偏导数，也即二阶标准高斯函数对图像的卷积；

S1.1-2、对于各模态医学图像，分别采用下属公式计算各个像素点的Hessian矩阵行列式的近似值作为对应像素点的特征值α：

α＝L_xxL_yy-(0.9L_xy)²

S1.2、根据SURF算法特性构造高斯金字塔，根据像素点的特征值α是否为邻域极大值判断特征点，具体步骤为：

S1.2-1、构造SURF高斯金字塔，前述金字塔分为若干层，每一层均作为一个频度范围Octave，每个Octave尺度不同的图片，在SURF算法中图片大小即尺寸始终保持不变；

S1.2-2、在构造好的SURF高斯金字塔中，将经过步骤S1.1-1中Hessian矩阵处理过的每个像素点与其在SURF高斯金字塔中三维领域的26个点进行大小数值比较，若该像素点为这26个点中的最大值或最小值，则将像素点保留下来，作为初步的特征点，否则，采用三维线性插值算法得到亚像素级特征点。

3.根据权利要求2所述的基于SURF算法的多模态医学图像配准方法，其特征是所述的步骤S1.2-1中，每一层Octave的获取方式是：通过对原始图片进行不同尺度的高斯模糊得到的，同一Octave中的各个图片也是通过不同高斯模糊尺度的模糊得到的。

4.根据权利要求1所述的基于SURF算法的多模态医学图像配准方法，其特征是所述的步骤S2中，确定特征点主方向并构造SURF特征描述子，提取不同模态医学图像的特征点具体为：

S2.1、根据SURF算法特性统计特征点邻域内的Harr小波特征，选择最长矢量的方向为该特征点的主方向，具体步骤为：

S2.1-1、统计任一特征点领域内的Harr小波特征，即以特征点为中心，计算半径为6s的邻域内，s为特征点所在的尺度值，统计60°扇形内所有点在水平x和垂直y方向的Harr小波响应总和(Harr小波边长取4s，s为特征点所在的尺度值，并给这些Harr小波响应值赋上高斯权重系数，高斯权重系数由高斯模型在不同的角度和距离上确定，权重系数的和为1)；然后将60°范围内的响应相加以形成特征矢量(特征值加上方向信息即形成特征矢量)，遍历整个圆形区域，覆盖整个360°，选择最长矢量的方向为该特征点的主方向。

遍历所有的特征点，得到每个特征点的主方向。

S2.2、根据S2.1步骤中得到的方向构造对应特征点的SURF特征描述子，具体方法为：

S2.2-1、在特征点邻域范围内取一个正方形框，框的边长为20s(s是该特征点所在的尺度值)，该框的方向即为步骤S2.1得到的主方向；

S2.2-2、把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Harr小波特征，前述水平和垂直方向均为相对特征点的主方向而言。该Harr小波特征为：水平方向灰度值之和∑dx，水平方向灰度值绝对值之和∑|dx|，垂直方向灰度值之和∑dy，以及垂直方向灰度值绝对值之和∑|dy|，对于每个特征点，建立64维向量作为该特征点的SURF特征描述子，其中列向量对应16个子区域，行向量对应各子区域的4个Harr小波特征参数值。

5.根据权利要求1所述的基于SURF算法的多模态医学图像配准方法，其特征是所述的步骤S3具体为：

S3.1对于各模态医学图像中相应位置的图像以遍历的方式计算两张图像所有特征点描述子的内积，

即对于来自两张图像的对应的两个特征点，计算64维特征向量的内积，按照数值从大到小进行排序，得到排序后的特征点序列，其中数值最大者为最匹配的点；

S3.2、对前述排序后的特征点序列进行矩阵运算，得到配准需要的3X3转换矩阵。

6.根据权利要求5所述的基于SURF算法的多模态医学图像配准方法，其特征是所述的步骤S3还包括以下步骤：设定阈值，在排序后的特征点序列中，选择大于前述阈值的配对特征点进行矩阵运算。

7.根据权利要求6所述的基于SURF算法的多模态医学图像配准方法，其特征是阈值的设置方法为：通过对大量不同模态的医学图像的机器学习，设置特征点的评判阈值。

8.根据权利提要求1所述的基于SURF算法的多模态医学图像配准方法，配准过程如下：

S4.1使用S3.3计算得到的转换矩阵对待配准图像进行卷积，得到每个像素点新的坐标，并使用双三次插值方法计算配准后的像素值。从而完成两幅不同模态图像的配准。