CN106097247A - 一种基于刚性变换的多模态图像融合方法 - Google Patents

Abstract

本发明公开了一种基于刚性变换的多模态图像融合方法，包括以下的步骤：S1：通过变换矩阵构建参考图像R与浮动图像F之间的刚性变换模型；S2：构建参考图像R与浮动图像F之间的相似度目标函数f；S3：利用模拟退火算法对相似度目标函数f进行全局寻优，得到相似度目标函数f全局最优解对应的变换矩阵；S4：将步骤S3得到的全局最优解对应的变换矩阵中的平移量及旋转量作为局部寻优的搜索起点，利用鲍威尔算法对相似度目标函数f进行局部寻优，得到相似度目标函数f局部最优解对应的变换矩阵，将局部最优解对应的变换矩阵代入步骤S1的刚性变换模型中，得到准确配准后的浮动图像F；S5：将参考图像R与准确配准后的浮动图像F进行加权融合。

Description

一种基于刚性变换的多模态图像融合方法

技术领域

本发明涉及图像融合方法，特别是涉及一种基于刚性变换的多模态图像融合方法。

背景技术

在临床应用中，经常需要综合多种设备采集到的影像以做出诊断，不同设备采集到的影像可以提供不同的信息，因此利用图像配准、融合的方法将多种设备上对同一部位采集到的影像进行融合有很重要的临床价值。

现有技术中的图像融合方法往往存在如下的缺陷：

1)很多医生利用手动去配准两幅图像，利用PS等工具做融合，手动意味着人为的因素存在，得到结果不可靠；

2)融合的关键在于配准，现有的配准技术使用基于特征点的配准方法，这种针对照相机照片的配准方法不适合做医学配准，医学图像中的特征点不可靠；

3)现有的融合方法配准精度不高，在医学图像中需要达到亚像素级别的精度。

发明内容

发明目的：本发明的目的是提供一种能够解决现有技术中存在的缺陷的基于刚性变换的多模态图像融合方法。

技术方案：为达到此目的，本发明采用以下技术方案：

本发明所述的基于刚性变换的多模态图像融合方法，包括以下的步骤：

S1：通过变换矩阵构建参考图像R与浮动图像F之间的刚性变换模型；

S2：构建参考图像R与浮动图像F之间的相似度目标函数f；

S3：利用模拟退火算法对相似度目标函数f进行全局寻优，得到相似度目标函数f全局最优解对应的变换矩阵；

S4：将步骤S3得到的全局最优解对应的变换矩阵中的平移量及旋转量作为局部寻优的搜索起点，利用鲍威尔算法对相似度目标函数f进行局部寻优，得到相似度目标函数f局部最优解对应的变换矩阵，将局部最优解对应的变换矩阵代入步骤S1的刚性变换模型中，得到准确配准后的浮动图像F；

S5：将参考图像R与准确配准后的浮动图像F进行加权融合。

进一步，所述步骤S1中的刚性变换模型如式(1)所示：

$\left[\begin{array}{c}{x}_f\\ y_f\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& x\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& y\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]---\left(1\right)$

式(1)中，x_r为浮动图像F中任意一点的横坐标，y_r为浮动图像F中该点的纵坐标，x_f为浮动图像F中该点变换到参考图像R中得到的相应点的横坐标，y_f为浮动图像F中该点变换到参考图像R中得到的相应点的纵坐标，x为浮动图像F的水平平移量，y为浮动图像F的垂直平移量，θ为浮动图像F的逆时针旋转角度，为变换矩阵。

进一步，所述步骤S2中的相似度目标函数f如式(2)所示：

$f\left(w\right)=NMI(R,F)=\frac{H\left(R\right)+H\left(F\right)}{H(R,F)}---\left(2\right)$

式(2)中，w＝(x,y,θ)，H(R)为参考图像R的熵，H(F)为浮动图像F的熵，H(R,F)为参考图像R和浮动图像F的联合熵。

进一步，所述步骤S3包括以下的步骤：

S3.1：将(x,y,θ)＝(0,0,0)作为初始解w₀，计算相应的相似度目标函数f(w₀)；

S3.2：利用扰动函数对w₀进行扰动，得到新解w，并计算相应的相似度目标函数f(w)；

S3.3：判断f(w)和f(w₀)的大小：如果f(w)>f(w₀)，则将w赋给w₀，然后继续进行步骤S3.4；如果f(w)<f(w₀)，则根据Metropolis准则决定是否接受w，如果接受，则将w赋给w₀，然后继续进行步骤S3.4，如果不接受，则进行步骤S3.5；

S3.4：判断是否达到最大迭代次数：如果已达到最大迭代次数，则跳至步骤S3.5；如果未达到最大迭代次数，则返回步骤S3.2；

S3.5：判断此时的相似度目标函数f是否满足要求：如果满足要求，则结束；如果不满足要求，则重新设定最大迭代次数，然后返回步骤S3.2。

进一步，所述步骤S4包括以下的步骤：

S4.1：将所述步骤S3中得到的全局最优解对应的变换矩阵中的水平平移量作为局部寻优的搜索起点x₀，设定初始搜索方向分别为d₁(1,0,0)、d₂(0,1,0)和d₃(0,0,1)；

S4.2：采用一维Brent方法顺次沿着d₁、d₂和d₃搜索相似度目标函数f的极大值，取得极大值的点分别为x₁、x₂和x₃；

S4.3：连接x₀和x₃得到新的方向d₄，沿着d₄搜索相似度目标函数f的极大值，取得极大值的点为x₄，判断是否用d₄替换d₁、d₂和d₃中的一个方向：如果替换，则确定用d₄替换d₁、d₂和d₃中的哪个方向，并将x₄作为新的搜索起点，然后进行步骤S4.4；如果不替换，则将x₄作为新的搜索起点，然后进行步骤S4.4；

S4.4：判断此时的相似度目标函数f是否满足要求：如果满足要求，则结束；如果不满足要求，则返回步骤S4.2。

进一步，所述步骤S4.3中的判断采用如下的准则：

设定F₀＝f(x₀)为起始点，F₂＝f(x₃)为终点，F₃＝f(x₄)为反射点，记f_i＝f(x_i)，Δ_i＝f_i-f_i-1，将Δ_i取得最大值时的i赋给m，如果式(2)和式(3)均成立，则用d₄替换d_m，并将x₄作为新的搜索起点，然后进行步骤S4.4；如果式(2)和式(3)中至少有一个不成立，则将x₄作为新的搜索起点，然后进行步骤S4.4；

F₃<F₀ (2)

(F₀-2F₂+F₃)(F₀-F₂-Δ_m)²<0.5Δ_m(F₀-F₃)² (3)。

进一步，所述步骤S5中，将参考图像R与准确配准后的浮动图像F按照式(4)进行加权融合：

I＝R*w₁+F*w₂ (4)

式(4)中，I为融合后的图像，w₁和w₂均为加权系数，且w₁+w₂＝1。

有益效果：与现有技术相比，本发明具有如下的有益效果：

1)将全局寻优跟局部寻优相结合，这种二阶段的寻优方法可以避免陷入局部最优；

2)该方法使用互信息作为目标函数，可以实现亚像素级别的配准，配准精度更高；

3)用户可以根据观察的侧重点不同，调节融合的权值。

附图说明

图1为本发明的方法流程图；

图2为本发明的步骤S3的流程图；

图3为本发明的步骤S4的流程图。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步的介绍。

本发明公开了一种基于刚性变换的多模态图像融合方法，如图1所示，包括以下的步骤：

S1：通过变换矩阵构建参考图像R与浮动图像F之间的刚性变换模型；

S2：构建参考图像R与浮动图像F之间的相似度目标函数f；

S3：利用模拟退火算法对相似度目标函数f进行全局寻优，得到相似度目标函数f全局最优解对应的变换矩阵；

S4：将步骤S3得到的全局最优解对应的变换矩阵中的平移量及旋转量作为局部寻优的搜索起点，利用鲍威尔算法对相似度目标函数f进行局部寻优，得到相似度目标函数f局部最优解对应的变换矩阵，将局部最优解对应的变换矩阵代入步骤S1的刚性变换模型中，得到准确配准后的浮动图像F；

S5：将参考图像R与准确配准后的浮动图像F进行加权融合。

步骤S1中的刚性变换模型如式(1)所示：

$\left[\begin{array}{c}{x}_f\\ y_f\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\&theta;}& -sin\mathrm{\&theta;}& x\\ sin\mathrm{\&theta;}& \cos \mathrm{\&theta;}& y\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]---\left(1\right)$

式(1)中，x_r为浮动图像F中任意一点的横坐标，y_r为浮动图像F中该点的纵坐标，x_f为浮动图像F中该点变换到参考图像R中得到的相应点的横坐标，y_f为浮动图像F中该点变换到参考图像R中得到的相应点的纵坐标，x为浮动图像F的水平平移量，y为浮动图像F的垂直平移量，θ为浮动图像F的逆时针旋转角度，为变换矩阵，水平平移量和垂直平移量统称为平移量，逆时针旋转角度称为旋转量。

步骤S2中的相似度目标函数f如式(2)所示：

$f\left(w\right)=NMI(R,F)=\frac{H\left(R\right)+H\left(F\right)}{H(R,F)}---\left(2\right)$

式(2)中，w＝(x,y,θ)，H(R)为参考图像R的熵，H(F)为浮动图像F的熵，H(R,F)为参考图像R和浮动图像F的联合熵。

如图2所示，步骤S3包括以下的步骤：

S3.1：将(x,y,θ)＝(0,0,0)作为初始解w₀，计算相应的相似度目标函数f(w₀)；

S3.2：利用扰动函数对w₀进行扰动，得到新解w，并计算相应的相似度目标函数f(w)；

S3.3：判断f(w)和f(w₀)的大小：如果f(w)>f(w₀)，则将w赋给w₀，然后继续进行步骤S3.4；如果f(w)<f(w₀)，则根据Metropolis准则决定是否接受w，如果接受，则将w赋给w₀，然后继续进行步骤S3.4，如果不接受，则进行步骤S3.5；

S3.4：判断是否达到最大迭代次数：如果已达到最大迭代次数，则跳至步骤S3.5；如果未达到最大迭代次数，则返回步骤S3.2；

S3.5：判断此时的相似度目标函数f是否满足要求：如果满足要求，则结束；如果不满足要求，则重新设定最大迭代次数，然后返回步骤S3.2。

如图3所示，步骤S4包括以下的步骤：

S4.1：将所述步骤S3中得到的全局最优解对应的变换矩阵中的水平平移量作为局部寻优的搜索起点x₀，设定初始搜索方向分别为d₁(1,0,0)、d₂(0,1,0)和d₃(0,0,1)；

S4.2：采用一维Brent方法顺次沿着d₁、d₂和d₃搜索相似度目标函数f的极大值，取得极大值的点分别为x₁、x₂和x₃；

S4.3：连接x₀和x₃得到新的方向d₄，沿着d₄搜索相似度目标函数f的极大值，取得极大值的点为x₄，判断是否用d₄替换d₁、d₂和d₃中的一个方向：如果替换，则确定用d₄替换d₁、d₂和d₃中的哪个方向，并将x₄作为新的搜索起点，然后进行步骤S4.4；如果不替换，则将x₄作为新的搜索起点，然后进行步骤S4.4；

S4.4：判断此时的相似度目标函数f是否满足要求：如果满足要求，则结束；如果不满足要求，则返回步骤S4.2。

步骤S4.3中的判断采用如下的准则：

设定F₀＝f(x₀)为起始点，F₂＝f(x₃)为终点，F₃＝f(x₄)为反射点，记f_i＝f(x_i)，Δ_i＝f_i-f_i-1，将Δ_i取得最大值时的i赋给m，如果式(2)和式(3)均成立，则用d₄替换d_m，并将x₄作为新的搜索起点，然后进行步骤S4.4；如果式(2)和式(3)中至少有一个不成立，则将x₄作为新的搜索起点，然后进行步骤S4.4；

F₃<F₀ (2)

(F₀-2F₂+F₃)(F₀-F₂-Δ_m)²<0.5Δ_m(F₀-F₃)² (3)。

步骤S5中，将参考图像R与准确配准后的浮动图像F按照式(4)进行加权融合：

I＝R*w₁+F*w₂ (4)

式(4)中，I为融合后的图像，w₁和w₂均为加权系数，且w₁+w₂＝1。

Claims (7)

1.一种基于刚性变换的多模态图像融合方法，其特征在于：包括以下的步骤：

S1：通过变换矩阵构建参考图像R与浮动图像F之间的刚性变换模型；

S2：构建参考图像R与浮动图像F之间的相似度目标函数f；

S3：利用模拟退火算法对相似度目标函数f进行全局寻优，得到相似度目标函数f全局最优解对应的变换矩阵；

S4：将步骤S3得到的全局最优解对应的变换矩阵中的平移量及旋转量作为局部寻优的搜索起点，利用鲍威尔算法对相似度目标函数f进行局部寻优，得到相似度目标函数f局部最优解对应的变换矩阵，将局部最优解对应的变换矩阵代入步骤S1的刚性变换模型中，得到准确配准后的浮动图像F；

S5：将参考图像R与准确配准后的浮动图像F进行加权融合。

2.根据权利要求1所述的基于刚性变换的多模态图像融合方法，其特征在于：所述步骤S1中的刚性变换模型如式(1)所示：

$\left[\begin{array}{c}{x}_f\\ y_f\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\&theta;}& -sin\mathrm{\&theta;}& x\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& y\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]---\left(1\right)$

式(1)中，x_r为浮动图像F中任意一点的横坐标，y_r为浮动图像F中该点的纵坐标，x_f为浮动图像F中该点变换到参考图像R中得到的相应点的横坐标，y_f为浮动图像F中该点变换到参考图像R中得到的相应点的纵坐标，x为浮动图像F的水平平移量，y为浮动图像F的垂直平移量，θ为浮动图像F的逆时针旋转角度，为变换矩阵。

3.根据权利要求1所述的基于刚性变换的多模态图像融合方法，其特征在于：所述步骤S2中的相似度目标函数f如式(2)所示：

$f\left(w\right)=NMI(R,F)=\frac{H\left(R\right)+H\left(F\right)}{H(R,F)}---\left(2\right)$

式(2)中，w＝(x,y,θ)，H(R)为参考图像R的熵，H(F)为浮动图像F的熵，H(R,F)为参考图像R和浮动图像F的联合熵。

4.根据权利要求1所述的基于刚性变换的多模态图像融合方法，其特征在于：所述步骤S3包括以下的步骤：

S3.1：将(x,y,θ)＝(0,0,0)作为初始解w₀，计算相应的相似度目标函数f(w₀)；

S3.2：利用扰动函数对w₀进行扰动，得到新解w，并计算相应的相似度目标函数f(w)；

S3.3：判断f(w)和f(w₀)的大小：如果f(w)>f(w₀)，则将w赋给w₀，然后继续进行步骤S3.4；如果f(w)<f(w₀)，则根据Metropolis准则决定是否接受w，如果接受，则将w赋给w₀，然后继续进行步骤S3.4，如果不接受，则进行步骤S3.5；

S3.4：判断是否达到最大迭代次数：如果已达到最大迭代次数，则跳至步骤S3.5；如果未达到最大迭代次数，则返回步骤S3.2；

S3.5：判断此时的相似度目标函数f是否满足要求：如果满足要求，则结束；如果不满足要求，则重新设定最大迭代次数，然后返回步骤S3.2。

5.根据权利要求1所述的基于刚性变换的多模态图像融合方法，其特征在于：所述步骤S4包括以下的步骤：

S4.1：将所述步骤S3中得到的全局最优解对应的变换矩阵中的水平平移量作为局部寻优的搜索起点x₀，设定初始搜索方向分别为d₁(1,0,0)、d₂(0,1,0)和d₃(0,0,1)；

S4.2：采用一维Brent方法顺次沿着d₁、d₂和d₃搜索相似度目标函数f的极大值，取得极大值的点分别为x₁、x₂和x₃；

S4.3：连接x₀和x₃得到新的方向d₄，沿着d₄搜索相似度目标函数f的极大值，取得极大值的点为x₄，判断是否用d₄替换d₁、d₂和d₃中的一个方向：如果替换，则确定用d₄替换d₁、d₂和d₃中的哪个方向，并将x₄作为新的搜索起点，然后进行步骤S4.4；如果不替换，则将x₄作为新的搜索起点，然后进行步骤S4.4；

S4.4：判断此时的相似度目标函数f是否满足要求：如果满足要求，则结束；如果不满足要求，则返回步骤S4.2。

6.根据权利要求5所述的基于刚性变换的多模态图像融合方法，其特征在于：所述步骤S4.3中的判断采用如下的准则：

设定F₀＝f(x₀)为起始点，F₂＝f(x₃)为终点，F₃＝f(x₄)为反射点，记f_i＝f(x_i)，Δ_i＝f_i-f_i-1，将Δ_i取得最大值时的i赋给m，如果式(2)和式(3)均成立，则用d₄替换d_m，并将x₄作为新的搜索起点，然后进行步骤S4.4；如果式(2)和式(3)中至少有一个不成立，则将x₄作为新的搜索起点，然后进行步骤S4.4；

F₃<F₀ (2)

(F₀-2F₂+F₃)(F₀-F₂-Δ_m)²<0.5Δ_m(F₀-F₃)² (3)。

7.根据权利要求1所述的基于刚性变换的多模态图像融合方法，其特征在于：所述步骤S5中，将参考图像R与准确配准后的浮动图像F按照式(4)进行加权融合：

I＝R*w₁+F*w₂ (4)

式(4)中，I为融合后的图像，w₁和w₂均为加权系数，且w₁+w₂＝1。