CN104331891A - 一种融合显性度量和隐性度量的多模图像配准方法 - Google Patents

Abstract

为解决基于特征映射的图像配准算法初始误差过大容易引起失配的问题，本发明提出了一种融合显性度量和隐性度量的分层图像配准方法。该方法首先采用互信息作为显性度量，利用粒子群算法获得初始的图像变换参数，对待配准图像进行变换后采用基于特征映射的配准算法进一步优化获取更精确的图像配准参数。为加快图像配准速度并提高配准精度，采用了图像金字塔结构进行分层优化求解。本发明提出的方法适用于多模图像配准，能够提高图像配准的成功率，减小了图像配准误差。

Description

一种融合显性度量和隐性度量的多模图像配准方法

技术领域

本发明属于图像配准技术领域，涉及一种融合显性度量和隐性度量的多模图像配准方法。

背景技术

图像配准就是将不同时间、不同传感器或不同视角下获取的两幅或多幅图像进行匹配、对齐、叠加的过程，是许多图像处理和计算机视觉应用的关键步骤之一，包括图像融合、图像拼接和视觉伺服等。用于图像配准常用的变换模型包括平移变换、相似变换、仿射变换和透视变换。

由于多模图像成像机理的差异，待配准图像间的灰度相关性不强，采用互相关系数等作为相似性度量很难获得满意的配准结果，如何提高多模图像配准的成功率，并减小图像配准误差，是国内外研究学者一直致力于解决的关键问题之一。基于显性度量的图像配准算法，采用的度量指标包括互信息，相关比，对齐度等像素分布统计特性，由于能够描述像素间的非线性映射关系，已成功应用于多模医学图像、可见光与红外图像配准领域。基于隐性度量的多模图像配准算法思想是参考图像中梯度幅值大的点，经过映射后在待配准图像中对应点的梯度幅值也比较大，所以配准过程中不直接利用图像灰度间的分布关系，而是通过待配准图像中特征显著点集的特征映射优化得到配准参数。

由于多源图像成像机理不同，上述假设有时会失效，此外当图像间变换参数较大时，可能造成优化算法发散，从而造成图像配准失效。通过融合多种具有不同特性的图像配准算法，并采用高效的优化算法，能够提高多模图像配准的成功率，减小图像配准的误差。

发明内容

本发明的目的是为提高多源图像配准算法的鲁棒性，提出了一种融合显性度量和隐性度量的图像配准方法，采用图像金字塔结构逐级获得更加精确的配准参数，有效解决了基于隐性度量的图像配准算法初始误差过大容易引起失配的问题。

为解决上述技术问题，本发明采用的技术方案包括以下步骤：

步骤(1).对原始图像进行一层高斯金字塔分解，获得低分辨率图像；

所述的原始图像包括参考图像、待配准图像；

步骤(2).在步骤(1)低分辨率图像中，首先采用基于显性度量的方法获得配准参数初始值p0，优化算法选用粒子群优化(PSO)算法；然后以p0作为初始值，采用基于隐性度量的方法获得配准参数值p1，优化算法选用融合粒子群优化(PSO)算法和方向加速(Powell)算法的优化策略；

步骤(3).对原始图像(即更高一层分辨率图像)进行配准，首先利用步骤(2)中获得的配准参数值p1对待配准图像进行变换，然后再采用步骤(2)中的方法基于参考图像和经过变换后的待配准图像计算得到更精准的配准参数值p2；

步骤(4).根据p1和p2计算最终的配准参数值p，并对待配准图像进行仿射变换，采用双线性插值法得到最终的配准图像。

本发明首先采用互信息作为显性度量，利用粒子群算法获得初始的图像变换参数，然后采用基于隐身度量的配准算法进一步优化获取更精确的图像配准参数。为加快图像配准速度并提高配准精度，采用了图像金字塔结构进行分层优化求解。本发明与现有技术相比，其显著优点为：(1)基于隐性度量的图像配准方法采用融合了智能随机优化(PSO)和共轭梯度直接优化(Powell)的优化策略，在进行参数寻优时，可有效避免陷入局部极大值的情况。(2)融合了两种具有不同机理的图像配准算法，基于显性度量的算法利用了图像全部像素的信息，而基于隐性度量的算法则利用了图像中显著特征点的信息，采用分层结构来逐步获得配准参数。经过先后两次配准会提高配准算法的鲁棒性和精度，解决基于隐性度量的图像配准算法初始误差过大容易引起失配的问题，提高了多模图像配准的成功率和精度。

附图说明

图1为融合显性度量和隐性度量的多模图像配准算法；

图2为仿射变换情况下可见光与可见光图像配准和融合结果，其中(a)为参考图像，(b)为待配准图像，(c)为最终的配准图像，(d)为融合图像；

图3为仿射变换情况下可见光与红外图像配准和融合结果，其中(a)为参考图像，(b)为待配准图像，(c)为最终的配准图像，(d)为融合图像；

图4为相似变换情况下可见光与红外图像配准和融合结果，其中(a)为参考图像，(b)为待配准图像，(c)为最终的配准图像，(d)为融合图像；

图5为Ku波段和P波段SAR图像配准和融合结果，其中(a)为参考图像，(b)为待配准图像，(c)为最终的配准图像，(d)为融合图像；

图6为P波段和X波段SAR图像配准和融合结果，其中(a)为参考图像，(b)为待配准图像，(c)为最终的配准图像，(d)为融合图像。

具体实施方式

以下结合附图对本发明作进一步说明。

由图1所示，本发明方法具体实施步骤如下：

步骤(1).对原始图像进行一层高斯金字塔分解，获得低分辨率图像；

所述的原始图像包括参考图像、待配准图像；

步骤(2).在步骤(1)低分辨率图像中，首先采用基于显性度量的方法获得配准参数初始值p0，优化算法选用粒子群优化(PSO)算法；然后以p0作为初始值，采用基于隐性度量的方法获得配准参数值p1，优化算法选用融合粒子群优化(PSO)算法和方向加速(Powell)算法的优化策略，具体如下：

2.1采用显性度量方法对步骤(1)低分辨率图像获取配准参数初始值p0，优化算法选用粒子群优化(PSO)算法；

所述的显性度量方法中用于图像配准的相似性度量包括互信息、相关比、对齐度等度量指标；本发明利用互信息通过统计方法描述两幅图像像素间的非线性分布，其公式为：

I(I₁,I₂)＝H(I₁)+H(I₂)-H(I₁,I₂)     式(1)；

其中，I(I₁,I₂)表示互信息，H(I₁)和H(I₂)分别表示图像I₁和I₂的熵，H(I₁,I₂)是两幅图像的联合熵，具体分别表示为：

$H\left(I_1\right)=-\underset{i}{\mathrm{\Σ}}{p}_{I_1}\left(i\right){\log }_2{p}_{I_1}\left(i\right)$     式(2)；

$H\left(I_2\right)=-\underset{j}{\mathrm{\Σ}}{p}_{I_2}\left(i\right){\log }_2{p}_{I_2}\left(i\right)$     式(3)；

$H(I_1,I_2)=-\underset{i,j}{\mathrm{\Σ}}{p}_{I_1{I}_2}(i,j){\log }_2{p}_{I_1{I}_2}(i,j)$     式(4)；

其中i∈I₁，j∈I₂，和分别是图像I₁和I₂中像素值为i和j的概率，是像素值为i和j的联合概率分布；

根据互信息作为判优依据，在仿射变换搜索空间中，利用粒子群优化(PSO)算法的搜索策略获得配准参数初始值p0；

本发明选用的图像配准变换模型为仿射变换模型，具体变换公式为：

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=T\left(p\right)\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$      式(5)；

待求解的配准参数写成向量形式为p＝[a b c d e f]^T。本发明选取图像中心(x_c,y_c)作为坐标原点，变换前像素点原始坐标(x₁,y₁)，x₁＝x₀-x_c，y₁＝y₀-y_c则变换后对应像素点坐标为(x'₂,y'₂)，其中，x'₂＝x₂+x_c，y'₂＝y₂+y_c；

采用粒子群优化(PSO)算法优化配准参数p0的具体步骤如下：

步骤(a).初始化：

设定粒子个数为m，迭代次数为T，每个粒子的位置初始值和粒子移动速度均为在一定区间范围内产生的随机数；

步骤(b).评价每一个粒子，计算粒子的适应度值：

设当前迭代次数为t，给定粒子K，对于基于显性度量的配准算法，首先基于式(5)对图像I₁进行变换，然后利用式(1)～式(4)计算得到互信息，将互信息作为该粒子的适应度；然后更新第k个粒子移动过程中适应度值取最大的位置，记作Pbest_i；最后计算所有粒子中适应度值最大的位置，记为Gbest；

步骤(c).粒子更新：

采用下式(6)和式(7)对每一个粒子的速度和位置进行更新；

$V_k^t=V_k^{t-1}+c_1\·\mathrm{rand}\left(\right)\·({\mathrm{Pbest}}_k-P_k^{t-1})+c_2\·\mathrm{rand}\left(\right)\·(\mathrm{Gbest}-P_k^{t-1})$      式(6)；

$P_k^t=P_k^{t-1}+V_k^t$     式(7)；

其中，c₁和c₂是加速常量，分别调节向全局最好粒子和个体最好粒子方向飞行的最大步长；rand()是0到1之间的随机数。

步骤(d).检验是否符合结束条件：

判断迭代次数是否达到了预设值，若是则停止迭代，输出最优解；若否则跳转执行步骤(b)；

2.2以2.1得到的配准参数p0作为初始值，采用基于隐性度量的方法获得配准参数值p1，优化算法选用融合粒子群优化(PSO)算法和方向加速(Powell)算法的优化策略，具体步骤如下：

步骤(a).初始点集检测，具体如下：

将图像I₁按行列分均匀分割成10*10个子图像，每个大小是其中(M,N)为图像I₁的宽度和高度；然后在每个子图像中采用式(8)逐像素点计算梯度值；选择每个子图像中梯度幅值前10％的像素点，构成特征点集S₁＝{v_i}_i＝1…m，其中v_i＝(x_i,y_i)：

$|\▿I(i,j)|=\sqrt{I_x^2(i,j)+I_y^2(i,j)}$      式(8)；

其中，I_x(i,j)＝0.5(I(i,j+1)-I(i,j-1))，I_y(i,j)＝0.5(I(i+1,j)-I(i-1,j))，I(i,j)表示图像第i行第j列的像素值；

步骤(b).特征点集映射，计算隐性度量值，具体如下：

给定配准参数p0，利用式(5)对特征点集S₁里的每个坐标进行变换，得到点集S₂，采用式(9)计算该配准参数p0对应的隐性度量值；

$F\left(p\right)=\underset{v_i\∈S_2}{\mathrm{\Σ}}{\mathrm{\ω}}_i{\left|{\▿I}_2\left(v_i\right)\right|}^2$     式(9)；

其中，0≤ω_i≤1是自适应权重。

步骤(c).配准参数优化求解，采用融合PSO和Powell算法的优化策略求取参数p1，具体步骤如下：

1)采用p0作为初始值对粒子进行初始化，利用PSO算法对参数进行优化求解，此时采用式(9)计算隐性度量值，将其作为粒子的适应度值；

2)迭代结束后，采用Powell搜索法对全局最优粒子进行进一步寻优；Powell算法中参数寻优顺序为a→b→d→e→c→f，一维搜索方法选用牛顿迭代法；

3)配准参数p1输出。

步骤(3).对原始图像(即更高一层分辨率图像)进行配准，首先利用步骤(2)中计算得到的配准参数值p1对待配准图像进行仿射变换，然后再采用步骤(2)中的方法基于参考图像和变换后的配准图像计算得到更精准的配准参数p2；

步骤(4).计算配准参数，对待配准图像进行变换，采用双线性插值法得到最终的配准后图像，具体是：

已知第一层配准参数p1＝[a₁ b₁ c₁ d₁ e₁ f₁]^T和第二层配准参数p2＝[a₂ b₂ c₂ d₂ e₂ f₂]^T，则最终配准参数p3＝[a b c d e f]^T为

a＝a₂a₁+b₂d₁

b＝a₂b₁+b₂e₁

c＝a₂c₁+b₂f₁+c₂          式(10)；

d＝d₂a₁+e₂d₁

e＝d₂c₁+e₂e₁

f＝d₂c₁+e₂f₁+f₂

利用上述得到的最终配准结果p3对待配准图像进行仿射变换映射，采用双线性插值法计算变换后图像的像素值，从而得到最终的配准后图像。

所述的双线性插值法具体操作是：

假设参考图像通过反向映射得到待配准图像的坐标为(i+Δx,j+Δy)，其中i,j为正整数，Δx,Δy为[0,1]区间的纯小数，则f(i+Δx,j+Δy)待配准图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的四个像素值决定，即

f(i+Δx,j+Δy)＝(1-Δx)(1-Δy)f(i,j)+Δx(1-Δy)f(i,j+1)    式(11)；

+Δy(1-Δx)f(i+1,j)+ΔxΔyf(i+1,j+1)

为验证本发明的有效性，实验中PSO算法粒子一步移动的最大速度绝对值为V＝[0.02 0.02 1 0.02 0.02 1]^T，采用粒子个数为20，迭代次数为10；Powell算法迭代次数为5，搜索范围的绝对值为[0.05 0.05 5 0.05 0.05 5]。采用本发明提出的算法分别进行了可见光-可见光配准、可见光-红外配准、多波段SAR图像配准，图像配准及融合结果如附图2-附图6所示，配准参数及误差如表1所示。

表1 配准参数及误差

从表1中可以看出，在不同的变换模型下该算法成功实现了可见光与可见光图像、可见光与红外图像的配准，且配准误差较小。如图2-4所示，该方法应用于可见光-可见光图像配准时，配准成功率为100％，精度可达子像素级。可见光与红外图像由于成像机理不同，当初始误差较大时，会使配准成功率下降，采用本发明方法仍能成功实现配准，但配准误差较可见光与可见光图像配准大。从表1也可以看出，对于不同的变换参数，本方法也具有一定的鲁棒性。将其应用于多波段SAR图像配准时，将配准后的图像进行融合，如附图5和附图6所示，融合后图像没有出现因失配而产生模糊的情况。

本发明提出了一种融合显性度量和隐性度量的多模图像配准方法，通过建立图像金字塔逐步提高图像配准的精度。实验结果表明，本发明有效结合了两种度量的优点，提高了多模图像配准的成功率和配准精度。此外，本发明提出的配准方法框架在实现时，显性度量和隐性度量均具有多种选择方案，显性度量包括相关比、对齐度、归一化互信息等，隐性度量包括小波归一化系数、可调谐金字塔系数等。

Claims (3)

1.一种融合显性度量和隐性度量的多模图像配准方法，其特征在于该方法包括以下步骤：

步骤(1).对原始图像进行一层高斯金字塔分解，获得低分辨率图像；

所述的原始图像包括参考图像、待配准图像；

步骤(2).在低分辨率图像中，首先采用基于显性度量的方法获得配准参数初始值p0，优化算法选用粒子群优化PSO算法；然后以p0作为初始值，采用基于隐性度量的方法获得配准参数值p1，优化算法选用融合粒子群优化PSO算法和方向加速Powell算法的优化策略；

步骤(3).对原始图像进行配准，首先利用步骤(2)中获得的配准参数值p1对待配准图像进行变换，然后再采用步骤(2)中的方法基于参考图像和经过变换后的待配准图像计算得到更精准的配准参数值p2；

步骤(4).根据p1和p2计算最终的配准参数值p3，并对待配准图像进行仿射变换，采用双线性插值法得到最终的配准图像。

2.根据权利要求1所述的一种融合显性度量和隐性度量的多模图像配准方法，其特征在于步骤(2)具体包括以下步骤：

2.1采用显性度量方法对低分辨率图像获取配准参数初始值p0，优化算法选用粒子群优化PSO算法，具体是：

2.1.1首选利用显性度量方法中互信息通过统计方法描述两幅图像像素间的非线性分布，其公式为：

I(I₁,I₂)＝H(I₁)+H(I₂)-H(I₁,I₂)    式(1)；

其中，I(I₁,I₂)表示互信息，H(I₁)和H(I₂)分别表示图像I₁和I₂的熵，H(I₁,I₂)是两幅图像的联合熵，具体分别表示为：

$H\left(I_1\right)=-\underset{i}{\mathrm{\Σ}}{p}_{I_1}\left(i\right){\log }_2{p}_{I_1}\left(i\right)$     式(2)；

$H\left(I_2\right)=-\underset{j}{\mathrm{\Σ}}{p}_{I_2}\left(j\right){\log }_2{p}_{I_2}\left(j\right)$     式(3)；

$H(I_1,I_2)=-\underset{i,j}{\mathrm{\Σ}}{p}_{I_1{I}_2}(i,j){\log }_2{p}_{I_1{I}_2}(i,j)$     式(4)；

其中i∈I₁，j∈I₂，和分别是图像I₁和I₂中像素值为i和j的概率，是像素值为i和j的联合概率分布；

2.1.2根据互信息作为判优依据，在仿射变换搜索空间中，利用粒子群优化PSO算法的搜索策略获得配准参数初始值p0，具体如下：

选用图像配准变换模型为仿射变换模型，具体变换公式为：

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=T\left(p\right)\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right]\·\begin{array}{}\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]\end{array}$     式(5)；

待求解的配准参数写成向量形式为p＝[a b c d e f]^T；选取图像中心(x_c,y_c)作为坐标原点，变换前像素点原始坐标(x₁,y₁)，x₁＝x₀-x_c，y₁＝y₀-y_c则变换后对应像素点坐标为(x'₂,y'₂)，其中x'₂＝x₂+x_c，y'₂＝y₂+y_c；

采用粒子群优化PSO算法优化配准参数的具体步骤如下：

步骤(a).初始化：

设定粒子个数为m，迭代次数为T，每个粒子的位置初始值和粒子移动速度均为在一定区间范围内产生的随机数；

步骤(b).评价每一个粒子，计算粒子的适应度值：

设当前迭代次数为t，给定粒子K，对于基于显性度量的配准算法，首先基于式(5)对图像I₁进行变换，然后利用式(1)～式(4)计算得到互信息，将互信息作为该粒子的适应度；然后更新第k个粒子移动过程中适应度值取最大的位置，记作Pbest_i；最后计算所有粒子中适应度值最大的位置，记为Gbest；

步骤(c).粒子更新：

采用下式(6)和式(7)对每一个粒子的速度和位置进行更新；

$V_k^t=V_k^{t-1}+c_1\·\mathrm{rand}\left(\right)\·({\mathrm{Pbest}}_k-P_k^{t-1})+c_2\·\mathrm{rand}\left(\right)\·(\mathrm{Gbest}-P_k^{t-1})$     式(6)；

$P_k^t=P_k^{t-1}+V_k^t$     式(7)；

其中，c₁和c₂是加速常量，分别调节向全局最好粒子和个体最好粒子方向飞行的最大步长；rand()是0到1之间的随机数；

步骤(d).检验是否符合结束条件：

判断迭代次数是否达到了预设值，若是则停止迭代，输出最优解；若否则跳转执行步骤(b)；

2.2以2.1得到的配准参数p0作为初始值，采用基于隐性度量的方法获得配准参数值p1，优化算法选用融合粒子群优化PSO算法和方向加速Powell算法的优化策略，具体步骤如下：

步骤(a).初始点集检测：

将图像I₁按行列分均匀分割成10*10个子图像，每个大小是其中(M,N)为图像I₁的宽度和高度；然后在每个子图像中采用式(8)逐像素点计算梯度值；选择每个子图像中梯度幅值前10％的像素点，构成特征点集S₁＝{v_i}_i＝1...m，其中v_i＝(x_i,y_i)：

$|\▿I(i,j)|=\sqrt{I_x^2(i,j)+I_y^2(i,j)}$     式(8)；

其中，I_x(i,j)＝0.5(I(i,j+1)-I(i,j-1))，I_y(i,j)＝0.5(I(i+1,j)-I(i-1,j))，I(i,j)表示图像第i行第j列的像素值；

步骤(b).特征点集映射，计算隐性度量值：

给定配准参数初始值p0，利用式(5)对特征点集S₁里的每个坐标进行变换，得到点集S₂，采用式(9)计算该配准参数p0对应的隐性度量值；

$F\left(p\right)=\underset{v_i\∈S_2}{\mathrm{\Σ}}{\mathrm{\ω}}_i{\left|{\▿I}_2\left(v_i\right)\right|}^2$     式(9)；

其中，0≤ω_i≤1是自适应权重；

步骤(c).配准参数优化求解，采用融合PSO和Powell算法的优化策略求取参数p1：

1)采用p0作为初始值对粒子进行初始化，利用PSO算法对参数进行优化求解，此时采用式(9)计算隐性度量值，将其作为粒子的适应度值；

2)迭代结束后，采用Powell搜索法对全局最优粒子进行进一步寻优；Powell算法中参数寻优顺序为a→b→d→e→c→f，一维搜索方法选用牛顿迭代法。

3.根据权利要求1所述的一种融合显性度量和隐性度量的多模图像配准方法，其特征在于步骤(4)具体是：

由步骤(2)得到的第一层配准参数p1＝[a₁ b₁ c₁ d₁ e₁ f₁]^T，以及第二层配准参数p2＝[a₂ b₂ c₂ d₂ e₂ f₂]^T，由公式(10)得到最终配准参数p3＝[a b c d e f]^T：

a＝a₂a₁+b₂d₁

b＝a₂b₁+b₂e₁

c＝a₂c₁+b₂f₁+c₂    式(10)；

d＝d₂a₁+e₂d₁

e＝d₂c₁+e₂e₁

f＝d₂c₁+e₂f₁+f₂

利用上述得到的最终配准结果p3对待配准图像进行仿射变换映射，采用双线性插值法计算变换后图像的像素值，从而得到最终的配准后图像。