CN101976434A - 一种用于图像配准的频域加权的相关方法 - Google Patents

Abstract

本发明公开了一种用于图像配准的频域加权的相关方法，包括：对两幅待配准图像经加窗处理得到抑制频谱泄露的图像；将上述图像做离散傅里叶变换得到频谱，将频谱经过低通滤波器去除图像频谱的高频部分；将上述剩余频谱带入相位加权的相关式，将得到的相关峰频域表达式做离散傅里叶逆变换得到像素域的相关峰，找到最大值的坐标得到整像素的位移值；对峰值周围做一次二元四次的曲面拟合，拟合后经过插值计算得到亚像素位移值，整像素和亚像素位移值相加后得到两幅图像间的亚像素精度的配准位移。本发明的用于图像配准的频域加权的相关方法，对数字图像具有很高的配准精度，而且对场景和信噪比具有很强的鲁棒性，适用于各种数字图像处理领域。

Description

一种用于图像配准的频域加权的相关方法

技术领域

本发明涉及计算机图像配准技术领域，尤其涉及一种用于图像配准的频域加权的相关方法。

背景技术

获取两幅图像间相对位移是图像配准的重要研究内容，它广泛的应用于各种数字图像处理领域，如图像拼接、遥感图像的超分辨率重建、高动态对比度(HDR)图像构建、实时稳像技术、运动模糊图像复原等。

随着数字图像处理技术的发展涌现出许多的图像配准方法，归纳起来，这些方法大致可分为：直接方法(Irani M，Anandan P.About Direct Methods.Lecture notes in computer science.Springer.1999：267-277)和基于特征的方法(Torr P H S，Zisserman A.Feature based methods for structure and motion estimation.Lecture notes in computer science.Springer.1999：278-294)。一般而言，直接方法虽然只能处理平移运动的情况，但却能获得很高的匹配精度。而基于特征的方法，如SIFT算法等，能够适用于平移、旋转以及尺度缩放等各种情况，但精度却不如直接的方法，且计算复杂度也要高很多。所以在需要高精度实时配准的场合，直接方法更受青睐。

直接方法中常用到相位相关算法，传统的相位相关算法一般方法为：对于两幅有相对位移的图像以f(x，y)和g(x，y)表示，并且有g(x，y)＝f(x-x₀，y-y₀)，在频率域可以表示为：G(u，v)＝F(u，v)exp(-i(ux₀+vy₀))其中，F(u，v)和G(u，v)分别为f(x，y)和g(x，y)经过离散傅里叶变换(DFT)后在频率域的表达，相位相关函数C(u，v)就可以表示为：

$C(u,v)=\frac{F^{\′}(u,v){G^{\′}}^{*}(u,v)}{\left|F^{\′}(u,v)\right|\left|{G^{\′}}^{*}(u,v)\right|}=\exp \left(i({\mathrm{ux}}_0+v{y}_0)\right)---\left(1\right)$

由式(1)可知，C(u，v)经过傅里叶逆变换后就可以得到空域的狄拉克函数δ(x+x₀，y+y₀)，该函数最大值的位置(-x₀，-y₀)就是两幅图像间的整像素位移，因为δ函数的单峰值性，传统相位相关算法具有很高的探测精度。

但是上述推导是基于理想条件的，没有考虑到噪声和非理想采样对方法的影响。对于实拍的图像，由于存在噪声和非理想采样引起的频率混叠以及频谱泄露，传统相位相关算法的精度会受很大的影响。尤其是非理想采样对精度影响巨大，有时甚至会让算法完全失效。传统相位相关算法有以下几个方面的缺陷：(1)计算两幅图像频域的相位差时，不同频率的权重相同，而没有考虑频域的能量分布情况，对于一般的自然图像，频谱能量主要分布在低频，表现在图像上就是低频代表了大部分的信息；在(1)式中，由于归一化分母的存在，不同频率点计算出的相位差权重都是一样的，即无论高频分量还是低频分量，它们的相位差对最后结果的影响都是一致的，这显然背离了图像内容的分布规律。而且，幅度小的频率分量更容易受噪声和频率混叠的影响，不利于算法的鲁棒性。(2)算法没有对可能存在的频率混叠加以处理，这种误差最后都计入到了相关结果中。因为在实际成像中，景物一般不会是理想的频率有限信号，所以不会满足奈奎斯特采样的条件，图像或多或少都存在频率混叠问题。尤其是对于感光器件像元尺寸较大的相机，由于其空间采样率低，混叠的现象更加严重。(3)作为一种基于频率域处理的图像算法，没有考虑到像素域矩形截断引发的频域频谱泄露问题。在信号理论中，在时域/空间域的信号截断相当于乘以了一个矩形窗，而矩形窗在频域对应的sinc函数具有主瓣宽，旁瓣衰减慢的特点，对频谱造成了更加严重的泄露。

目前，消除混叠的方法有两种：(1)提高采样频率F，即缩小采样间隔。然而实际的信号处理系统不可能达到很大的采样频率，处理不了很多的数据。另外，许多信号本身可能含有全频带的频率成分，不可能将采样频率提高到无穷大。所以，通过采样频率避免混叠是有限制的。(2)采用抗混叠滤波器，在采用频率F一定的前提下，通过低通滤波器滤掉高频成分，通过低通滤波器的信号可减轻频率混叠现象。

发明内容

本发明提供了一种对数字图像配准精度高、对场景和信噪比具有很强的鲁棒性的用于图像配准的频域加权的相关方法。

一种用于图像配准的频域加权的相关方法，包括：

(1)将输入的两幅待配准图像f(x，y)和g(x，y)进行加窗处理，得到抑制频谱泄露的图像f′(x，y)和g′(x，y)；

(2)将步骤(1)得到的抑制频谱泄露的图像作离散傅里叶变换得到f′(x，y)和g′(x，y)对应的频谱F(u，v)和G(u，v)，再将所得的频谱经过低通滤波器，去除图像频谱的高频部分，得到频谱F(u，v)和G(u，v)对应的剩余频谱F′(u，v)和G′(u，v)，其中，u、v表示频谱中各频率的坐标值；

(3)将得到的F′(u，v)和G′(u，v)带入相位加权的相关式，得到相关峰的频域表达式；

所述的相位加权的相关式为：

$C(u,v)=w(u,v)\frac{F^{\′}(u,v){G^{\′}}^{*}(u,v)}{\left|F^{\′}(u,v)\right|\left|{G^{\′}}^{*}(u,v)\right|}---\left(2\right)$

其中，是G′(u，v)的复共轭；

|F′(u，v)|、分别为F′(u，v)、

的模；

w(u，v)为权重矩阵，表达式为：

$w(u,v)=\frac{\left|F^{\′}(u,v)\right|+\left|G^{\′}(u,v)\right|}{2};$

C(u，v)为相位加权的相关函数；

(4)对步骤(3)得到的相关峰频域表达式做离散傅里叶逆变换得到像素域的相关峰，在其中找到最大峰值所在的坐标(x_m，y_m)，即为整像素的位移值；再取出(x_m，y_m)周围的8个相关值以及最大峰值一共9个值做二元四次的曲面拟合，得到二元四次曲面方程，通过插值法求二元四次曲面方程的最大值即为亚像素的位移值，整像素的位移值和亚像素的位移值相加后就是两幅图像间的亚像素精度的配准位移，利用配准位移对图像进行配准。

在待配准图像做离散傅里叶变换(DFT)变换前，可以通过加窗处理改善频率泄露的问题，优选的窗函数为Blackman窗、Hamming窗或Kaiser窗，相比于矩形窗，Blackman窗、Hamming窗或Kaiser窗的主瓣窄，旁瓣衰减快的特点，对频谱造成的泄露相对较轻。通过对比试验发现，上述窗函数进行加窗处理能够有效抑制图像的频率泄露问题。

加窗处理以后的图像经过离散傅里叶变换就得到图像的频域表达F(u，v)和G(u，v)，但由于频谱层叠的存在，在很多频率分量(u，v)处，不再满足G(u，v)＝F(u，v)exp(-i(ux₀+vy₀))的关系，所以如果不加处理直接用传统的相位相关式(式(1)所示)计算，则算法将对频率层叠十分敏感。由采样理论可知，高频分量更容易受频谱层叠的影响，所以本文算法通过低通滤波将高频分量去除，低通滤波器的截止频率视层叠严重程度变化。经过低通滤波以后的待配准图像剩余频谱可以表示为：

$F^{\′}(u,v)=\left\{\begin{array}{cc}F(u,v)& \mathrm{if\; u}\≤u_0,v\≤v_0\\ 0& \mathrm{else}\end{array}\right.$

$G^{\′}(u,v)=\left\{\begin{array}{cc}G(u,v)& \mathrm{if\; u}\≤u_0,v\≤v_0\\ 0& \mathrm{else}\end{array}\right.$

式中u₀和v₀是为图像两个方向的截断频率；频域低通滤波处理，提高了图像频域的分辨力和抗噪声性能，尽量的减少非理想成像对后续相关运算的不良影响。

经过以上处理，基本消除了非理想采样在频域引起的误差，但F′(u，v)和G′(u，v)的部分分量依然会受到噪声和残余层叠的影响。考虑到能量高的频率分量信噪比高的优势，上述的噪声和残余层叠对这些分量的影响有限，如果在计算相关峰时能提高这部分分量的权重，则能直接的提高整个算法的鲁棒性和精度。经过相位加权的相关式可以表示为：

$C(u,v)=w(u,v)\frac{F^{\′}(u,v){G^{\′}}^{*}(u,v)}{\left|F^{\′}(u,v)\right|\left|{G^{\′}}^{*}(u,v)\right|}---\left(2\right)$

式中w(u，v)为权重矩阵，为了和频率分量的幅值成正相关，本发明提出的权重矩阵可以表示为：

$w(u,v)=\frac{\left|F^{\′}(u,v)\right|+\left|G^{\′}(u,v)\right|}{2}$

即(u，v)处的权重等于两幅图像的频谱在该处幅值的均值，此时某频率处所乘的权重和图像频域在该频率处的幅值有关，幅值越大则权重越大，在计算相关峰时所占的比重也越大。本发明中权重矩阵选取主要考虑到：对于一般的噪声(如高斯白噪声)它们在频域呈均匀分布，和频率无关，所以对于有噪声干扰的图像频谱来说，某频率处的信噪比就和该处的幅值成正相关，提高幅值大的频率处的权重，就能间接的提高相关峰的抗噪性能。式(2)经过离散傅里叶逆变换(IDFT)后就可以得到频域加权的相关峰。本发明的相关峰既在精度上具有单峰性的特点，又可以得到一个鲁棒性强的粗壮尖峰。最后本发明通过取出相关峰值附近的8个点，连同峰值一起做二元四次的曲面拟合，得到面型参数后通过插值计算得到亚像素的位移。

本发明的用于图像配准的频域加权的相关方法，对数字图像具有很高的配准精度，而且对场景和信噪比具有很强的鲁棒性，适用于各种数字图像处理领域，如图像拼接、遥感图像的超分辨率重建、高动态对比度(HDR)图像构建、实时稳像技术、运动模糊图像复原等。

附图说明

图1为本发明的图像配准的频域加权的相关方法的流程图；

图2为实施例1中输入的两幅256×256像素的待配准图像；

图3为实施例1所加Blackman窗函数在像素域的形状；

图4为实施例1所加Blackman窗函数在频率域的一维频谱；

图5为图2中的图像在像素域点乘Blackman窗后的图像；

图6为实施例1获得的像素域的相关峰；

图7为实施例1中最终获得的配准后的图像；

图8为精度测试例1中用到场景内容不同的高分辨率图像；

图9为精度测试例1中未加噪声情况下仿真实验的配准误差统计图；

图10为精度测试例1中加入高斯噪声后仿真实验的配准误差统计图；

图11为精度测试例2中使用的一帧图像；

图12为图11经配准前后的实拍视频峰值信噪比变化图。

具体实施方式

实施例1

首先将输入的两幅待配准图像f(x，y)和g(x，y)，原始大小为256×256像素，如图2所示，在像素域点乘以Blackman窗，Blackman窗如图3和4所示，得到抑制频谱泄露的图像f′(x，y)和g′(x，y)，如图5所示。

将上一步骤得到的抑制频谱泄露的图像f′(x，y)和g′(x，y)做离散傅里叶变换(DFT)得到f′(x，y)和g′(x，y)对应的频谱F(u，v)和G(u，v)，再将所得的频谱经过低通滤波器，去除图像频谱的高频部分，得到频谱F(u，v)和G(u，v)对应的剩余频谱F′(u，v)和G′(u，v)；经过低通滤波以后的待配准图像频域可以表示为：

$F^{\′}(u,v)=\left\{\begin{array}{cc}F(u,v)& \mathrm{if\; u}\≤u_0,v\≤v_0\\ 0& \mathrm{else}\end{array}\right.$

$G^{\′}(u,v)=\left\{\begin{array}{cc}G(u,v)& \mathrm{if\; u}\≤u_0,v\≤v_0\\ 0& \mathrm{else}\end{array}\right.$

式中u₀和v₀是为图像两个方向的截断频率，在这个实施例中u₀和v₀等于0.25π，经过以上处理，基本消除了非理想采样在频域引起的误差。

接着将得到的两幅图像的剩余频谱F′(u，v)和G′(u，v)带入相位加权的相关式，得到相关峰的频域表达式，相位加权的相关式表示如下：

$C(u,v)=w(u,v)\frac{F^{\′}(u,v){G^{\′}}^{*}(u,v)}{\left|F^{\′}(u,v)\right|\left|{G^{\′}}^{*}(u,v)\right|}---\left(2\right)$

是G′(u，v)的复共轭；

|F′(u，v)|、

分别为F′(u，v)，

的模；

u、v表示频谱中各频率的坐标值；

w(u，v)为权重矩阵，可表示为：

$w(u,v)=\frac{\left|F^{\′}(u,v)\right|+\left|G^{\′}(u,v)\right|}{2};$

所得的C(u，v)就是相关峰在频域的表达式；最后对它进行离散傅里叶逆变换(IDFT)就可以得到像素域的相关峰，如图6所示，在其中找到最大峰值所在的坐标(134，134)，换算为整像素平移位置即为(5，5)；再取出相关峰矩阵中(134，134)周围的8个值，一共9个值：

$\left[\begin{array}{ccc}3.5438e-002& 3.5542e-002& 3.5482e-002\\ 3.5590e-002& 3.5649e-002& 3.5533e-002\\ 3.5484e-002& 3.5486e-002& 3.5325e-002\end{array}\right],$

将这9个值做二元四次的曲面拟合，曲面方程表示为：

S(x，y)＝ax²y²+bx²y+cx²+dxy²+

         exy+fx+gy²+hy+i

由于从相关峰中取出的9个值代入上式可以得到9条方程，正好可以通过最小二乘法解出式中的曲面拟合参数

$\left[\begin{array}{c}\mathrm{abc}\\ \mathrm{def}\\ \mathrm{ghi}\end{array}\right]=\left[\begin{array}{ccc}5.6995e-006& -1.1036e-007& -8.7496e-005\\ 1.3363e-007& 5.0567e-005& -2.8737e-005\\ -1.3521e-004& 2.7796e-005& 3.5649e-002\end{array}\right];$

得到曲面拟合参数后，通过插值计算就可以得到S(x，y)面上的最大值位置(-0.076，-0.142)，其所在的位置即为亚像素位移。整像素和亚像素平移值相加后就是两幅图像间的亚像素精度位移(4.924，4.858)，即图2所示的两幅图像f(x，y)和g(x，y)之间有(4.924，4.858)像素的平移，对图2所示的两幅图进行配准，配准后的结果如图7所示。

精度测试例1

为了进一步说明本发明的效果，首先设计了一组配准亚像素位移的仿真实验。试验中互相之间有亚像素相对位移的图像时这样产生的：首先输入一副高分辨率图像，将这幅图像移动整像素个距离，然后进行采样，根据需求加入或不加入噪声，最后得到低分辨率但有亚像素位移的图像。由于单次探测的误差具有一定的随机性，所以这里通过大量实验的统计结果来评价发明的探测精确度。我们选择了图8所示的三种不同场景内容的高分辨图像，仿真了从-1到+1，间隔为0.25个像素的亚像素位移情况，即每幅图像有81种位移情况，一共243组有相对位移的图像，图像大小为256×256像素。图9是不加噪声情况下配准误差的分布统计结果。统计图中横坐标为算法探测值与实际位移值的距离误差，即

其中(x，y)为按照实施例1的相关方法探测出的位移值，(x₀，y₀)为实际位移值。图10是加入值为0，方差为0.003(图像像素值分布从0到1)的Gaussian噪声后的配准误差统计。由仿真实验结果表明：本发明在弱噪声的情况下配准精度可达0.01像素，在强噪声情况下，精度仍可达到0.1像素。由图9和图10可知，本发明的用于图像配准的频域加权的相关方法对于各种图像均具有较高配准精度，对场景和信噪比具有很强的鲁棒性，实用性较强。

精度测试例2

接着通过一组实拍实验来测试算法的有效性，场景如图11所示，图像大小为320×240像素。这段视频由我们手持录像机对着打印的遥感图像录制。因为相对运动是由人为手动引起的，所以真实的位移值是未知的。为了评价配准的精度，可以用峰值信噪比(PSNR)这种间接的评价方法。PSNR值的计算公式如下：

$\mathrm{PSNR}=10\·{\log }_{10}\left(\frac{{M_I}^2}{\mathrm{MSE}}\right)$

式中，M_I是该图像可能的最大值，MSE是两幅图像的均方误差(Mean Squared Error)。所以两幅图像经过同实施例1相同的方法配准后PSNR值应该变大且保持相对的稳定。图12是这组实拍的视频经过位移补偿后的PSNR值变化，从中可以看到，经过本发明配准后，视频图像序列的PSNR值有很大提高，且相对比较稳定，之所以仍有小波动，是因为本发明的补偿的是平移运动，手持拍摄时不可避免的转动和离焦会导致PSNR值波动。

通过仿真和实拍实验，本发明的用于图像配准的频域加权的相关方法的有效性和精确性得到了充分的验证。

Claims (3)

1.一种用于图像配准的频域加权的相关方法，包括：

(1)将输入的两幅待配准图像f(x，y)和g(x，y)进行加窗处理，得到抑制频谱泄露的图像f′(x，y)和g′(x，y)；

(2)将步骤(1)得到的抑制频谱泄露的图像作离散傅里叶变换得到f′(x，y)和g′(x，y)对应的频谱F(u，v)和G(u，v)，再将所得的频谱经过低通滤波器，去除图像频谱的高频部分，得到频谱F(u，v)和G(u，v)对应的剩余频谱F′(u，v)和G′(u，v)，其中，u、v表示频谱中各频率的坐标值；

(3)将得到的F′(u，v)和G′(u，v)带入相位加权的相关式，得到相关峰的频域表达式；

所述的相位加权的相关式为：

$C(u,v)=w(u,v)\frac{F^{\′}(u,v){G^{\′}}^{*}(u,v)}{\left|F^{\′}(u,v)\right|\left|{G^{\′}}^{*}(u,v)\right|}---\left(2\right)$

式(2)中，

是G′(u，v)的复共轭；

|F′(u，v)|、分别为F′(u，v)、

的模；

w(u，v)为权重矩阵，其表达式为：

$w(u,v)=\frac{\left|F^{\′}(u,v)\right|+\left|G^{\′}(u,v)\right|}{2};$

C(u，v)为相位加权的相关函数；

(4)对步骤(3)得到的相关峰频域表达式做离散傅里叶逆变换得到像素域的相关峰，在其中找到最大峰值所在的坐标(x_m，y_m)，(x_m，y_m)为整像素的位移值；再取出(x_m，y_m)周围的8个相关值，加上最大峰值一共9个值做二元四次的曲面拟合，得到相应的二元四次曲面方程，求二元四次曲面方程的最大值得到亚像素的位移值，整像素的位移值和亚像素的位移值相加后就是两幅图像间的亚像素精度的配准位移，利用配准位移对图像进行配准。

2.根据权利要求1所述的用于图像配准的频域加权的相关方法，其特征在于，所述的加窗处理使用的加窗函数为Blackman窗、Hamming窗或Kaiser窗。

3.根据权利要求1所述的用于图像配准的频域加权的相关方法，其特征在于，所述的亚像素的位移值是通过对得到的二元四次曲面方程进行插值计算得到。

Images