CN106023206A - 基于动平台的视频图像配准方法 - Google Patents

Abstract

本发明公开了一种基于动平台的视频图像配准方法，即在采集当前视频序列图像后，采用SIFT算法提取视频图像特征点，在马尔可夫场模型框架下求解视频图像匹配模型的最大后验概率估计，并通过最小平方差方法计算匹配图像之间的变换矩阵，完成动平台下视频序列图像的配准。本发明不仅考虑了相邻帧像素间的关系而且还考虑了帧内像素局部邻域之间的约束关系，匹配的特征融入了局部信息的相关性约束，提升了视频特征点匹配的准确率。

Description

基于动平台的视频图像配准方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于动平台的视频图像配准方法。

背景技术

基于视频图像的配准技术被广泛地应用于遥感图像处理、图像重建、图像融合、图像拼接、机器人视觉等众多图像分析领域，是图像处理领域中的研究热点。图像配准是寻找在不同时间点、不同的视角下或由不同传感器拍摄的关于同一场景的两幅图像或多幅图像之间的空间变换关系，并对其中的一幅或多幅进行匹配和叠加的过程。在实际的应用中，基于特征点的视频图像配准算法中大多采用对提取后的特征点进行匹配方法，以求取匹配图像之间的变换矩阵。但是，随着配准过程的不断进行，场景的动态变化会对特征点的提取和匹配产生不利的影响，导致视频图像的错误配准，无法进行后续图像高层次的理解分析。针对动平台视频序列图像配准中的特征点误匹配问题如何找到一种动平台下适用的和有效的视频图像配准方法，是机载光电探测系统视频智能分析软件设计的首要任务。

发明内容

针对上述现有技术存在的缺陷，设计一种基于动平台的视频图像配准方法，实现动平台下视频序列图像的有效配准。

本发明提供的基于动平台的视频图像配准方法，其改进之处在于，在采集当前视频序列图像后，采用SIFT算法提取视频图像特征点，在马尔可夫场模型框架下求解视频图像匹配模型的最大后验概率估计，并通过最小平方差方法计算匹配图像之间的变换矩阵，完成动平台下视频序列图像的配准。

优选的，所述在马尔可夫场模型框架下求解视频图像匹配模型的最大后验概率估计是指求解能量函数，再通过Gibbs采样算法计算最优匹配特征点的最大后验概率估计，从而确定最优匹配特征点；

所述能量函数为：E＝ψ(m)+λφ(m) (5)

所述计算最优匹配特征点的公式为：

其中：φ(m)为先验能量分布，ψ(m)为条件概率分布，λ为重因子。

较优选的，计算所述最大后验概率估计的公式为：

$\begin{array}{c}\hat{y}=\arg \underset{y}{\max }P(Y=y|F=f)\\ =\arg \underset{y}{\max }P(F=f|Y=y)P(Y=y)\\ =\arg \underset{y}{\max }\frac{1}{Z}\exp \[-\frac{1}{T}E\]\\ =\arg \underset{y}{\max }E\end{array}---\left(3\right)$

$P(Y=y|F=f)=\frac{\underset{s\∈S}{\Π}\[P\left(f_s\right|m_s)\]P(Y=y)}{P(F=f)}---\left(2\right)$

$P(Y=y|F=f)=\frac{P(F=f|Y=y)P(Y=y)}{P(F=f)}---\left(1\right)$

其中：标记场Y＝y为基于观察场F＝f的特征点匹配结果，P(F＝f|Y＝y)为已知标记场后图像的条件概率；P(Y＝y)为标记的先验分布；P(Y＝y|F＝f)为匹配标记的后验概率表示；P(F＝f)为观测数据的先验分布。

较优选的，将所述计算最优匹配特征点的公式转换为寻找特征点向量之间的最小欧几里德距离，则得到特征点向量之间的最小欧计算公式为：

$\hat{j}\left(i\right)=\arg {\min }_j\left|\right|D_1\left(i\right)-D_2\left(i\right)|{|}_2---\left(7\right)$

其中：设视频图像I₁为参考图像，I₂为待配准图像；D₁(i)和D₂(j)分别为图像I₁和I₂中第i和j个特征点处的特征点向量，且

较优选的，所述条件概率分布ψ(m)的计算公式为：

$\mathrm{\ψ}\left(m\right)=\underset{j\∈I_{D1}}{\Σ}\mathrm{\ψ}(i,m_i),\mathrm{\ψ}(i,i^{\′})=\left|\right|D_1\left(i\right)-D_2\left(i^{\′}\right)\left|\right|---\left(8\right).$

较优选的，所述先验能量分布φ(m)的计算公式为：

$\mathrm{\φ}\left(m\right)=\underset{i\∈I_{D1}}{\Σ}\underset{j\∈I_{D1}}{\Σ}\mathrm{\φ}(i,j;m_i,m_j)---\left(9\right)$

其中x_D1(i)和x_D2(i)为相应第i特征点在图像中的位置；x_D1(j)和x_D2(j')为相应第j特征点在图像中的位置。

较优选的，通过最小平方差方法计算匹配图像之间的变换矩阵时，采用奇异值分解的方法进行求解，得到变换矩阵和参数。

较优选的，在计算出变换矩阵参数，通过图像的灰度双线性内插背景补偿变换获取视频配准图像。

本发明的技术方案中，公式5—公式9通过在马尔可夫场模型框架下求解视频图像匹配模型的最大后验概率估计，将最优匹配问题转化为先验能量分布和条件概率概率分布，得到最大后验概率估计；马尔可夫场框架下视频图像最优匹配的求解不仅考虑了相邻帧像素间的关系而且还考虑了帧内像素局部邻域之间的约束关系，匹配的特征融入了局部信息的相关性约束，提升了视频特征点匹配的准确率。而且本方法利用无人机载平台采集的可见光序列图像进行试验，证明了该算法具有良好的特征点匹配效率，特征点匹配正确率可达90％以上，能够实现动平台下视频序列图像的有效配准。

附图说明

图1为本发明提供的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

本发明提出的基于动平台的视频图像配准方法，其流程图如图1所示，在采集当前视频序列图像后，采用SIFT算法提取视频图像特征点，在马尔可夫场模型框架下求解视频图像匹配模型的最大后验概率估计，并通过最小平方差方法计算匹配图像之间的变换矩阵，完成动平台下视频序列图像的配准。

实现视频序列图像的配准需要通过匹配特征点求取变换矩阵。视频序列图像特征点匹配问题可以看作是对视频序列图像中不同帧特征点进行分类的过程，利用Hammersley-Clifford定理，可以构造不同的马尔可夫场来描述问题，对于一幅图像的特征点集为S，且满足S＝{s₁,s₂,...,s_k}。假设得到观测的特征点的观察场为F,F是一个随机变量，那么F的任何一次实现可以记为标记场Y＝y表示基于观察场F＝f的特征点匹配结果，所以特征点最优匹配即为在图像特征点和某种约束条件下得到标记场。根据贝叶斯准则，匹配问题可以描述为：

$P(Y=y|F=f)=\frac{P(F=f|Y=y)P(Y=y)}{P(F=f)}---\left(1\right)$

其中P(F＝f|Y＝y)表示已知标记场后图像的条件概率，表示已知标记条件下图像的统计，其描述了特征点的观察过程和获取过程。P(Y＝y)是标记的先验分布，P(F＝f)是观测数据的先验分布，当数据给定后为常数，P(Y＝y|F＝f)为匹配标记的后验概率。

假设特征点集是独立同分布的，则匹配标记的后验概率又可表示为：

$P(Y=y|F=f)=\frac{\underset{s\∈S}{\Π}\[P\left(f_s\right|m_s)\]P(Y=y)}{P(F=f)}---\left(2\right)$

其中由最大化后验概率准则我们可以得到：

$\begin{array}{c}\hat{y}=\arg \underset{y}{\max }P(Y=y|F=f)\\ =\arg \underset{y}{\max }P(F=f|Y=y)P(Y=y)\\ =\arg \underset{y}{\max }\frac{1}{Z}\exp \[-\frac{1}{T}E\]\\ =\arg \underset{y}{\max }E\end{array}---\left(3\right)$

则得整个系统的能量函数为：

U(Y＝y|F＝f)＝U(Y＝y)+U(F＝f|Y＝y) (4)

即E＝y(m)+lf(m) (5)

其中φ(m)为先验能量分布，ψ(m)为条件概率分布，l为权重因子，因此视频序列图像中的特征点最优匹配问题可以转化为：

$\hat{m}=\underset{m}{\arg \min }\left(\mathrm{\ψ}\right(m)+\mathrm{\λ}\mathrm{\φ}(m\left)\right)---\left(6\right)$

假设视频图像I₁为参考图像，I₂为待配准图像，D₁(i)和D₂(j)分别为图像I₁和I₂中第i和j个特征点处的特征点向量，x_D1(i)和x_D2(i)为相应特征点在图像中的位置，匹配问题即为在图像I₂中的特征点在图像I₁中寻找到与之匹配的特征点，所以最优匹配问题可以归结为寻找特征点向量之间的最小欧：

$\hat{j}\left(i\right)=\arg {\min }_j\left|\right|D_1\left(i\right)-D_2\left(i\right)|{|}_2---\left(7\right)$

其中则：

$\mathrm{\ψ}\left(m\right)=\underset{j\∈I_{D1}}{\Σ}\mathrm{\ψ}(i,m_i),\mathrm{\ψ}(i,i^{\′})=\left|\right|D_1\left(i\right)-D_2\left(i^{\′}\right)\left|\right|---\left(8\right)$

设I_D1为图像I₁中的特征点向量的集合，为图像I₁到图像I₂中匹配特征点向量的索引向量，即m_i为图像I₂中与图像I₁中i点匹配的索引：

$\mathrm{\φ}\left(m\right)=\underset{i\∈I_{D1}}{\Σ}\underset{j\∈I_{D1}}{\Σ}\mathrm{\φ}(i,j;m_i,m_j)---\left(9\right)$

其中

设(x_i,y_i)表示前一帧图像中第i个特征点坐标，(x′_i,y′_i)表示当前帧图像中与前一帧图像中第i个特征点相对应的特征点的坐标，则求解仿射模型六参数的方程组可表示为:

$\left[\begin{array}{cccccc}{x}_1& y_1& 1& 0& 0& 0\\ 0& 0& 0& x_1& y_1& 1\\ x_2& y_2& 1& 0& 0& 0\\ 0& 0& 0& x_2& y_2& 1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ x_n& y_n& 1& 0& 0& 0\\ 0& 0& 0& x_n& y_n& 1\end{array}\right]\·\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\\ a_4\\ a_5\\ a_6\end{array}\right]=\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ x_2^{\′}\\ y_2^{\′}\\ .\\ .\\ .\\ x_n^{\′}\\ y_n^{\′}\end{array}\right]---\left(10\right)$

设A为方程组10左边的系数矩阵，它的维数为n×6，X＝(a₁,a₂,a₃,a₄,a₅,a₆)^T为未知的参数向量，b表示方程组右边的n维列向量，则公式10可写为：

AX＝b (11)

式(11)中n为选取的特征点的个数，用最小平方差法来求解此方程组，则方程组(11)中向量X的问题就可近似转化为求下面方程组的问题：

A^TAX＝A^Tb (12)

方程组12可以采用奇异值分解的方法求解，估计出空间变换矩阵参数，并通过图像的灰度双线性内插背景补偿变换获取视频配准图像。

将本实施例的具体应用到对象为机载光电探测系统中的图像处理软件分系统，本实施例提出的算法在VC6.0平台下采用C++语言编程实现，为了实现在动平台下的视频图像有效配准，拟采取以下步骤：

1)在拍摄设备飞行状态下采集当前视频序列图像；

2)采用SIFT算法提取视频图像特征点；

3)根据公式7、公式8、公式9得到公式5的能量函数；

4)根据公式5，采用Gibbs采样算法计算公式6的最大后验概率估计，得到最优匹配特征点；

5)根据得到的最优匹配特征点，采用最小平方差法求解公式10和11，并采用奇异值分解的方法求解公式12,得到空间变换矩阵和参数；

6)采用图像的灰度双线性内插背景补偿变换获取视频配准图像。

根据上述步骤，本方法在贝叶斯框架下提出的MRF-SIFT方法，引入特征点的几何约束信息使得特征点匹配时在空间上考虑了局部像素之间的区域一致性，传统的特征点匹配方法往往忽略了邻域像素之间的关系，因此本方法的特征点匹配精度更高，特征点匹配的准确率可达90％以上。特征点匹配的准确性，提升了经过特征点求取变换矩阵参数的准确性，最终通双线性内差背景补偿获取更优的视频图像配准结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.基于动平台的视频图像配准方法，其特征在于，在采集当前视频序列图像后，采用SIFT算法提取视频图像特征点，在马尔可夫场模型框架下求解视频图像匹配模型的最大后验概率估计，并通过最小平方差方法计算匹配图像之间的变换矩阵，完成动平台下视频序列图像的配准。

2.如权利要求1所述的视频图像配准方法，其特征在于，所述在马尔可夫场模型框架下求解视频图像匹配模型的最大后验概率估计是指求解能量函数，再通过Gibbs采样算法计算最优匹配特征点的最大后验概率估计，从而确定最优匹配特征点；

所述能量函数为：E＝ψ(m)+λφ(m) (5)

所述计算最优匹配特征点的公式为：其中：φ(m)为先验能量分布，ψ(m)为条件概率分布，λ为重因子。

3.如权利要求1或2任一所述的视频图像配准方法，其特征在于，计算所述最大后验概率估计的公式为：

$\begin{array}{c}\hat{y}=\arg \underset{y}{\max }P(Y=y|F=f)\\ =\arg \underset{y}{\max }P(F=f|Y=y)P(Y=y)\\ =\arg \underset{y}{\max }\frac{1}{Z}\exp \[-\frac{1}{T}E\]\\ =\arg \underset{y}{\max }E\end{array}---\left(3\right)$

$P(Y=y|F=f)=\frac{\underset{s\∈S}{\Π}\[P\left(f_s\right|m_s)\]P(Y=y)}{P(F=f)}---\left(2\right)$

$P(Y=y|F=f)=\frac{P(F=f|Y=y)P(Y=y)}{P(F=f)}---\left(1\right)$

其中：标记场Y＝y为基于观察场F＝f的特征点匹配结果，P(F＝f|Y＝y)为已知标记场后图像的条件概率；P(Y＝y)为标记的先验分布；P(Y＝y|F＝f)为匹配标记的后验概率表示；P(F＝f)为观测数据的先验分布。

4.如权利要求2所述的视频图像配准方法，其特征在于，将所述计算最优匹配特征点的公式转换为寻找特征点向量之间的最小欧几里德距离，则得到特征点向量之间的最小欧计算公式为：

$\hat{j}\left(i\right)={\mathrm{argmin}}_j\left|\right|D_1\left(i\right)-D_2\left(i\right)|{|}_2---\left(7\right)$

其中：设视频图像I₁为参考图像，I₂为待配准图像；D₁(i)和D₂(j)分别为图像I₁和I₂中第i和j个特征点处的特征点向量，且

5.如权利要求4所述的视频图像配准方法，其特征在于，所述条件概率分布ψ(m)的计算公式为：

$\mathrm{\ψ}\left(m\right)=\underset{j\∈I_{D1}}{\Σ}\mathrm{\ψ}(i,m_i),\mathrm{\ψ}(i,i^{\′})=\left|\right|D_1\left(i\right)-D_2\left(i^{\′}\right)\left|\right|---\left(8\right).$

6.如权利要求5所述的视频图像配准方法，其特征在于，所述先验能量分布φ(m)的计算公式为：

$\mathrm{\φ}\left(m\right)=\underset{i\∈I_{D1}}{\Σ}\underset{j\∈I_{D1}}{\Σ}\mathrm{\φ}(i,j;m_i,m_j)---\left(9\right)$

其中x_D1(i)和x_D2(i)为相应第i特征点在图像中的位置；x_D1(j)和x_D2(j')为相应第j特征点在图像中的位置。

7.如权利要求1所述的视频图像配准方法，其特征在于，通过最小平方差方法计算匹配图像之间的变换矩阵时，采用奇异值分解的方法进行求解。

8.如权利要求7所述的视频图像配准方法，其特征在于，在计算出变换矩阵参数，通过图像的灰度双线性内插背景补偿变换获取视频配准图像。