CN103559722A - 基于灰度线性建模的序列图像抖动量计算方法 - Google Patents

Abstract

基于灰度线性建模的序列图像抖动量计算方法，属于图像处理技术领域。所述方法为：步骤1：对输入序列图像进行参考帧和待配准帧选定；步骤2：在参考帧内搜索梯度最大块；步骤3：对步骤2中梯度最大块的像素灰度进行线性建模；步骤4：根据待配准帧各像素点灰度值以及所建线性模型计算待配准帧相对参考帧的抖动量。本发明利用自然场景所具备的灰度值相关的特性，提出了一种基于灰度线性建模的序列图像抖动量计算方法。通过对背景进行线性建模，再利用待配准帧中各像素的灰度值，可以直接计算得到待配准帧相对参考帧的抖动量，抖动量的估计精度可达到0.1个像素。

Description

基于灰度线性建模的序列图像抖动量计算方法

技术领域

本发明属于图像处理技术领域，涉及一种序列图像抖动量计算方法，具体涉及一种基于灰度线性建模的序列图像抖动量计算方法，适用于监视图像的抖动量计算以及动平台下序列图像的配准量计算。

背景技术

图像配准作为图像分析中一项重要的预处理技术，广泛地应用于图像融合、高分辨率重建、计算机视觉以及目标识别等领域。

目前图像配准的算法有很多，主要有基于灰度相关的配准算法和基于特征相关的配准算法，可分别在频域或空域进行。对于红外遥感云图，在空间分布上具有一定的相关性，这将导致基于特征的配准算法配准效果不佳，因此考虑利用灰度信息对图像进行配准。

现有的基于灰度的配准算法一般流程是预先给出搜索空间，确定搜索策略，再利用某种相似性度量函数来确定抖动量，各种算法的区别主要表现在不同的搜索策略和相似性度函数上，然而搜索空间的大小通常制约着最大抖动量的幅值和计算复杂度，而且抖动量的计算结果为像素大小的整数倍，无法实现更精确的抖动量估计。

发明内容

本发明的目的在于针对现有序列图像抖动量计算算法的不足，提出一种基于灰度线性建模的序列图像抖动量计算方法，通过对背景灰度线性建模，可以实现抖动量的直接计算，并且可以实现亚像素级的抖动估计。

本发明的基于灰度线性建模的序列图像抖动量计算方法，包括以下步骤：

步骤1：对输入序列图像进行参考帧和待配准帧选定；

步骤2：在参考帧内搜索梯度最大块；

步骤3：对步骤2中梯度最大块的像素灰度进行线性建模；

步骤4：根据待配准帧各像素点灰度值以及所建线性模型计算待配准帧相对参考帧的抖动量。

所述步骤1中，可认为存在抖动的序列图像中的第1帧图像为参考帧，其余帧相对参考帧存在抖动，为待配准帧。

所述步骤2中，梯度最大块的定义为：计算参考帧图像的梯度图像，将大于图像梯度最大值4/5的梯度对应的像素逻辑值标记为1，否则标记为0，形成的图像称为逻辑值图像。然后选择适当大小的窗口在逻辑值图像滑动，含1最多的窗口对应的块称为梯度最大块。

通过比较滑动窗口中的最大值来确定梯度最大块的位置。

所述步骤3中，对步骤2中梯度最大块对应的参考帧图像块B₀进行灰度线性建模的过程如下：

步骤3-1，对于(i，j)位置的像素(1≤i≤p，1≤j≤q)，利用下式对该像素的灰度值建模：

${\tilde{B}}_0(i+k,j+m)=a_{\mathrm{ij}}+g_{\mathrm{ij}}\·m+h_{\mathrm{ij}}\·k;$

其中，{(k，m)＝(0，0)，(0，-1)，(0，+1)，(-1，0)，(+1，0)}，(a_ij，g_ij，h_ij)为对每个像素建立的模型的三个参数。

步骤3-2，通过下式利用最小二乘法计算每个像素模型的三个参数a_ij，g_ij，h_ij的估计值

$\begin{array}{c}({\hat{a}}_{\mathrm{ij}},{\hat{g}}_{\mathrm{ij}},{\hat{h}}_{\mathrm{ij}})=\underset{a_{\mathrm{ij}},g_{\mathrm{ij}},h_{\mathrm{ij}}}{\arg \min }\underset{k,m}{\mathrm{\Σ}}{[B_0(i+k,j+m)-{\tilde{B}}_0(i+k,j+m)]}^2\\ =\underset{a_{\mathrm{ij}},g_{\mathrm{ij}},h_{\mathrm{ij}}}{\arg \min }\underset{k,m}{\mathrm{\Σ}}{[B_0(i+k,j+m)-(a_{\mathrm{ij}}+g_{\mathrm{ij}}\·m+h_{\mathrm{ij}}\·k)]}^2;\end{array}$

其中B₀(i+k，j+m)表示(i+k，j+m)位置处的像素灰度值。

所述步骤4中，根据待配准帧各像素灰度值以及所建线性模型计算抖动量的过程为：

步骤4-1，B₀在参考帧图像中的位置由步骤2已知，将在其余序列帧图像中同样位置处的图像块记为B_n(n为帧序数，n＝1，2，...N)。

步骤4-2，假设B_n相对于B₀在x，y方向的抖动量分别为

那么

的估计值由下式计算得到：

$({\widehat{\mathrm{\δ}}}_x^n,{\widehat{\mathrm{\δ}}}_y^n)=\underset{({\mathrm{\δ}}_x^n,{\mathrm{\δ}}_y^n)}{\arg \min }\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{[B_n(i,j)-({\hat{a}}_{\mathrm{ij}}+{\hat{g}}_{\mathrm{ij}}{\mathrm{\δ}}_y^n+{\hat{h}}_{\mathrm{ij}}{\mathrm{\δ}}_x^n)];}^2$

B_n(i，j)-B_n中位于(i，j)位置的像素灰度值。

本发明对比已有配准算法，具有以下创新点：

利用自然场景所具备的灰度值相关的特性，提出了一种基于灰度线性建模的序列图像抖动量计算方法。通过对背景进行线性建模，再利用待配准帧中各像素的灰度值，可以直接计算得到待配准帧相对参考帧的抖动量，抖动量的估计精度可达到0.1个像素。

附图说明

图1为抖动量计算方法的整体框架；

图2为参考帧图像；

图3为梯度最大块图像；

图4为对于某两个像素的线性建模结果；

图5为序列图像亚像素抖动估计之x方向真实抖动量与计算抖动量对比图；

图6为序列图像亚像素抖动估计之y方向真实抖动量与计算抖动量对比图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

如图1所示，本发明提出一种基于灰度线性建模的序列图像抖动量计算方法，适用于多帧图像的配准，其具体实施步骤如下：

步骤一：对输入序列图像进行参考帧和待配准帧选定。

针对凝视探测器拍摄的512×512大小的50帧图像序列，选择第1帧为参考帧(如图2所示)，其余帧为待配准帧。

步骤二：在参考帧内搜索梯度最大块。

计算参考帧图像的梯度图像，将大于图像梯度最大值4/5的梯度对应的像素逻辑值标记为1，否则标记为0。然后选择100×100(p＝100，q＝100)大小的窗口在逻辑值图像滑动，含1最多的窗口对应的块确定为梯度最大块，搜索结果如图3所示。记录梯度最大块的左上角坐标。

步骤三：对步骤二中梯度最大块的像素灰度进行线性建模(图4)。

梯度最大块对应的参考帧图像块为B₀，对于该图像中(i，j)位置的像素(1≤i≤100，1≤j≤100)，利用下式对该像素的灰度值建模：

${\tilde{B}}_0(i+k,j+m)=a_{\mathrm{ij}}+g_{\mathrm{ij}}\·m+h_{\mathrm{ij}}\·k;$

其中，{(k，m)＝(0，0)，(0，-1)，(0，+1)，(-1，0)，(+1，0)}，为对每个像素建立的模型的三个参数。

通过下式计算每个像素模型的三个参数a_ijxg_ij，h_ij的估计值

${\hat{a}}_{\mathrm{ij}},{\hat{g}}_{\mathrm{ij}},{\hat{h}}_{\mathrm{ij}}:$ $\begin{array}{c}({\hat{a}}_{\mathrm{ij}},{\hat{g}}_{\mathrm{ij}},{\hat{h}}_{\mathrm{ij}})=\underset{a_{\mathrm{ij}},g_{\mathrm{ij}},h_{\mathrm{ij}}}{\arg \min }\underset{k,m}{\mathrm{\Σ}}{[B_0(i+k,j+m)-{\tilde{B}}_0(i+k,j+m)]}^2\\ =\underset{a_{\mathrm{ij}},g_{\mathrm{ij}},h_{\mathrm{ij}}}{\arg \min }\underset{k,m}{\mathrm{\Σ}}{[B_0(i+k,j+m)-(a_{\mathrm{ij}}+g_{\mathrm{ij}}\·m+h_{\mathrm{ij}}\·k)]}^2;\end{array}$

其中B₀(i+k，j+m)表示(i+k，j+m)位置处的像素灰度值。

这个问题可以利用最小二乘法计算，计算过程如下：

记 $f=\underset{k,m}{\mathrm{\Σ}}{[B_0(i+k,j+m)-(a_{\mathrm{ij}}+g_{\mathrm{ij}}\·m+h_{\mathrm{ij}}\·k)]}^2,$

求解f最小时的a_ij，g_ij，h_ij，分别对a_ij，g_ij，h_ij求偏导，并令之为零，得：

$\begin{array}{c}\frac{\∂f}{{\∂a}_{\mathrm{ij}}}=\underset{k,m}{\mathrm{\Σ}}2\·[B_0(i+k,j+m)-(a_{\mathrm{ij}}+g_{\mathrm{ij}}m+h_{\mathrm{ij}}k)]\·(-1)=0\\ \frac{\∂f}{{\∂g}_{\mathrm{ij}}}=\underset{k,m}{\mathrm{\Σ}}2\·[B_0(i+k,j+m)-(a_{\mathrm{ij}}+g_{\mathrm{ij}}m+h_{\mathrm{ij}}k)]\·(-m)=0\\ \frac{\∂f}{{\∂h}_{\mathrm{ij}}}=\underset{k,m}{\mathrm{\Σ}}2\·[B_0(i+k,j+m)-(a_{\mathrm{ij}}+g_{\mathrm{ij}}m+h_{\mathrm{ij}}k)]\·(-k)=0\end{array},$

整理可以得：

$\left(\begin{array}{c}\underset{k,m}{\mathrm{\Σ}}{B}_0(i+k,j+m)\\ \underset{k,m}{\mathrm{\Σ}}m\·B_0(i+k,j+m)\\ \underset{k,m}{\mathrm{\Σ}}k\·B_0(i+k,j+m)\end{array}\right)=\left(\begin{array}{ccc}\underset{K,M}{\mathrm{\Σ}}1& \underset{K,M}{\mathrm{\Σ}}m& \underset{k,m}{\mathrm{\Σ}}k\\ \underset{k,m}{\mathrm{\Σ}}m& \underset{k,m}{\mathrm{\Σ}}{m}^2& \underset{k,m}{\mathrm{\Σ}}k\·m\\ \underset{k,m}{\mathrm{\Σ}}k& \underset{k,m}{\mathrm{\Σ}}k\·m& \underset{k,m}{\mathrm{\Σ}}{k}^2\end{array}\right)\left(\begin{array}{c}{a}_{\mathrm{ij}}\\ g_{\mathrm{ij}}\\ h_{\mathrm{ij}}\end{array}\right)=A\·\left(\begin{array}{c}{a}_{\mathrm{ij}}\\ h_{\mathrm{ij}}\\ h_{\mathrm{ij}}\end{array}\right),$

其中， $A=\left(\begin{array}{ccc}5& 0& 0\\ 0& 2& 0\\ 0& 2& 0\end{array}\right),$ 则

$\left(\begin{array}{c}{a}_{\mathrm{ij}}\\ g_{\mathrm{ij}}\\ h_{\mathrm{ij}}\end{array}\right)=A^{-1}\·\left(\begin{array}{c}\underset{k,m}{\mathrm{\Σ}}{B}_0(i+k,j+m)\\ \underset{k,m}{\mathrm{\Σ}}m\·B_0(i+k,j+m)\\ \underset{k,m}{\mathrm{\Σ}}k\·B_0(i+k,j+m)\end{array}\right).$

图4给出了梯度最大块中的两个像素(20，60)及(70，25)的灰度线性建模结果，其中像素灰度最小值为0，最大值为1。

步骤四：根据待配准帧中各像素点灰度值以及所建背景模型计算抖动量(图5-6)。

B0在参考帧图像中的位置由步骤2已知，将在其余序列帧图像中同样位置处的图像块记为B_n(n＝1，2，...49)。假设B_n相对于B₀在x，y方向的抖动量分别为

那么

的估计值由下式计算得到：

$({\widehat{\mathrm{\δ}}}_x^n,{\widehat{\mathrm{\δ}}}_y^n)=\underset{({\mathrm{\δ}}_x^n,{\mathrm{\δ}}_y^n)}{\arg \min }\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{[B_n(i,j)-({\hat{a}}_{\mathrm{ij}}+{\hat{g}}_{\mathrm{ij}}{\mathrm{\δ}}_y^n+{\hat{h}}_{\mathrm{ij}}{\mathrm{\δ}}_x^n)]}^2$

B_n(i，j)-B_n中位于(i，j)位置的像素灰度值；

利用最小二乘法来计算

得到整帧图像的最佳抖动量，具体过程为：

设 $I_n=\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{[B_0(i,j)-({\hat{a}}_{\mathrm{ij}}+{\hat{g}}_{\mathrm{ij}}{\mathrm{\δ}}_y^n+{\hat{h}}_{\mathrm{ij}}{\mathrm{\δ}}_x^n)]}^2,$ 求使I_n最小的δ_x，δ_y：

$\begin{array}{c}\frac{{\∂I}_n}{{\∂\mathrm{\δ}}_y^n}=2\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}[B_0(i,j)-({\hat{a}}_{\mathrm{ij}}+{\hat{g}}_{\mathrm{ij}}{\mathrm{\δ}}_y^n+{\hat{h}}_{\mathrm{ij}}{\mathrm{\δ}}_x^n)]\·{\hat{g}}_{\mathrm{ij}}=0\\ \frac{{\∂I}_n}{{\∂\mathrm{\δ}}_x^n}=2\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}[B_0(i,j)-({\hat{a}}_{\mathrm{ij}}+{\hat{g}}_{\mathrm{ij}}{\mathrm{\δ}}_y^n+{\hat{h}}_{\mathrm{ij}}{\mathrm{\δ}}_x^n)]\·{\hat{h}}_{\mathrm{ij}}=0\end{array}.$

整理得到：

$\left(\begin{array}{c}\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}[B_n(i,j)\·{\hat{g}}_{\mathrm{ij}}-{\hat{a}}_{\mathrm{ij}}\·{\hat{g}}_{\mathrm{ij}}]\\ \underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}[B_n(i,j)\·{\hat{h}}_{\mathrm{ij}}-{\hat{s}}_{\mathrm{ij}}\·{\hat{h}}_{\mathrm{ij}}\end{array}\right)=\left(\begin{array}{c}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{\hat{g}}_{\mathrm{ij}}^2\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{\hat{g}}_{\mathrm{ij}}{\hat{h}}_{\mathrm{ij}}\\ \underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{\hat{g}}_{\mathrm{ij}}{\hat{h}}_{\mathrm{ij}}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{\hat{h}}_{\mathrm{ij}}^2\end{array}\right)\left(\begin{array}{c}{\mathrm{\δ}}_y^n\\ {\mathrm{\δ}}_x^n\end{array}\right).$

通过求解方程，得到：

$\left(\begin{array}{c}{\mathrm{\δ}}_y^n\\ {\mathrm{\δ}}_x^n\end{array}\right)={\left(\begin{array}{c}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{\hat{g}}_{\mathrm{ij}}^2\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{\hat{g}}_{\mathrm{ij}}{\hat{h}}_{\mathrm{ij}}\\ \underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{\hat{g}}_{\mathrm{ij}}{\hat{h}}_{\mathrm{ij}}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{\hat{h}}_{\mathrm{ij}}^2\end{array}\right)}^{-1}\·\left(\begin{array}{c}\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}[B_n(i,j)\·{\hat{g}}_{\mathrm{ij}}-{\hat{a}}_{\mathrm{ij}}\·{\hat{g}}_{\mathrm{ij}}]\\ \underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}[B_n(i,j)\·{\hat{h}}_{\mathrm{ij}}-{\hat{a}}_{\mathrm{ij}}\·{\hat{h}}_{\mathrm{ij}}]\end{array}\right).$

Claims (6)

1.基于灰度线性建模的序列图像抖动量计算方法，其特征在于所述方法为：

步骤1：对输入序列图像进行参考帧和待配准帧选定；

步骤2：在参考帧内搜索梯度最大块；

步骤3：对步骤2中梯度最大块的像素灰度进行线性建模；

步骤4：根据待配准帧各像素点灰度值以及所建线性模型计算待配准帧相对参考帧的抖动量。

2.根据权利要求1所述的基于灰度线性建模的序列图像抖动量计算方法，其特征在于所述步骤1中，存在抖动的序列图像中的第1帧图像为参考帧，其余帧相对参考帧存在抖动，为待配准帧。

3.根据权利要求1所述的基于灰度线性建模的序列图像抖动量计算方法，其特征在于所述步骤2中，梯度最大块的定义为：计算参考帧图像的梯度图像，将大于图像梯度最大值4/5的梯度对应的像素逻辑值标记为1，否则标记为0，形成的图像称为逻辑值图像，然后选择适当大小的窗口在逻辑值图像滑动，含1最多的窗口对应的块称为梯度最大块。

4.根据权利要求1所述的基于灰度线性建模的序列图像抖动量计算方法，其特征在于所述步骤2中，通过比较滑动窗口中的最大值来确定梯度最大块的位置。

5.根据权利要求1所述的基于灰度线性建模的序列图像抖动量计算方法，其特征在于所述步骤3中，对步骤2中梯度最大块对应的参考帧图像块B0进行灰度线性建模的过程如下：

步骤3-1，对于(i，j)位置的像素1≤i≤p，1≤j≤q)，利用下式对该像素的灰度值建模：

${\tilde{B}}_0(i+k,j+m)=a_{\mathrm{ij}}+g_{\mathrm{ij}}\·m+h_{\mathrm{ij}}\·k;$

其中，{(k，m)＝(0，0)，(0，-1)，(0，+1)，(-1，0)，(+1，0)}，(a_ij，g_ij，h_ij)为对每个像素建立的模型的三个参数；

步骤3-2，通过下式利用最小二乘法计算每个像素模型的三个参数a_ij，g_ij，h_ij的估计值

$\begin{array}{c}({\hat{a}}_{\mathrm{ij}},{\hat{g}}_{\mathrm{ij}},{\hat{h}}_{\mathrm{ij}})=\underset{a_{\mathrm{ij}},g_{\mathrm{ij}},h_{\mathrm{ij}}}{\arg \min }\underset{k,m}{\mathrm{\Σ}}{[B_0(i+k,j+m)-{\tilde{B}}_0(i+k,j+m)]}^2\\ =\underset{a_{\mathrm{ij}},g_{\mathrm{ij}},h_{\mathrm{ij}}}{\arg \min }\underset{k,m}{\mathrm{\Σ}}{[B_0(i+k,j+m)-(a_{\mathrm{ij}}+g_{\mathrm{ij}}\·m+h_{\mathrm{ij}}\·k)]}^2;\end{array}$

其中B₀(i+k，j+m)表示(i+k，j+m)位置处的像素灰度值。

6.根据权利要求1所述的基于灰度线性建模的序列图像抖动量计算方法，其特征在于所述步骤4中，根据待配准帧各像素灰度值以及所建线性模型计算抖动量的过程为：

步骤4-1，B₀在参考帧图像中的位置由步骤2已知，将在其余序列帧图像中同样位置处的图像块记为B_n(n为帧序数，n＝1，2，...N)；

步骤4-2，假设B_n相对于B₀在x，y方向的抖动量分别为

那么

的估计值由下式计算得到：

$({\widehat{\mathrm{\δ}}}_x^n,{\widehat{\mathrm{\δ}}}_y^n)=\underset{({\mathrm{\δ}}_x^n,{\mathrm{\δ}}_y^n)}{\arg \min }\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{[B_n(i,j)-({\hat{a}}_{\mathrm{ij}}+{\hat{g}}_{\mathrm{ij}}{\mathrm{\δ}}_y^n+{\hat{h}}_{\mathrm{ij}}{\mathrm{\δ}}_x^n)];}^2$

B_n(i，j)-B_n中位于(i，j)位置的像素灰度值。

Images