CN105427310A - 一种基于局部线性约束的稀疏特征匹配的图像配准方法 - Google Patents

Abstract

本发明提供了一种基于局部线性约束的稀疏特征匹配的图像配准方法，首先推断假定匹配集，然后利用位移函数定义变换Z，利用对角矩阵指出匹配可信度，求解权值矩阵，得到能量函数，最后采用确定性退火技术优化求解能量函数得到变换Z，并通过变换Z结合双线性插值执行图像配准。本发明提供的一种基于局部线性约束的稀疏特征匹配的图像配准方法，针对遥感图像存在地形起伏导致非刚性形变的问题，对点匹配进行局部线性约束，能够在图像变换后保护特征集中的局部结构，从而提高图像配准精度。

Description

一种基于局部线性约束的稀疏特征匹配的图像配准方法

技术领域

本发明涉及一种基于局部线性约束的稀疏特征匹配的图像配准方法，属于图像处理技术领域。

背景技术

图像配准是遥感领域中的一个根本性和挑战性问题，也是很多广泛应用(包含地形重建、环境监测、变化探测、图像镶嵌、图像融合及地图更新等)中的一个先决条件。

图像配准旨在建立不同时间不同视角或通过不同探测器获取同一场景的两幅图像之间像素的对应关系。配准问题可依据具体应用和数据形式分为刚性或非刚性。刚性配准(仅涉及少量参数)相对容易，且已得到了广泛研究。相比而言，非刚性配准较为困难，由于潜在非刚性变换模型通常无法事先获知且较为复杂，难以建模。尽管如此，非刚性配准对遥感图像而言仍非常重要，因为遥感图像通常存在一些因地貌变化或成像视角变换导致的局部非刚性形变，而这些形变无法基于简单刚性模型实现“精确配准”。

一种早期广泛使用的非刚性图像配准算法为光流法。其直接通过最小化像素间灰度的差异来计算一个全局稠密的位移场，通常适用于对两幅非常相似的图像进行配准，例如视频序列中的相邻帧图像。光流法的典型假设包含光照恒定，以及像素位移场应具有分段光滑性。然而，由于光照变化、视角变换和噪声干扰，像素灰度值往往变得不太可靠。近年来，Liu等人提出了可容忍高度类内变化的SIFT流配准算法。与光流法匹配像素灰度值不同的是，SIFT流算法匹配图像中稠密采样像素的SIFT描述子。该算法在复杂场景情况下展现出令人满意的配准效果，但对大尺度缩放和旋转的鲁棒性依然较差。

然而，各种局部鲁棒特征的涌现与发展为图像配准带来了新的解决途径。这类方法通过匹配从图像中提取出的局部特征信息，估计稀疏特征位置之间的空间变换函数并用其来拟合图像对之间的真实几何变换关系，从而实现对原始图像的配准。这类方法中采用的特征可由不同层次的简单几何实体来描述，包括点、线段、轮廓和区域等。通常，较高层次的特征很难被准确地提取；点特征是最简单的特征形式，同时也是最常见的特征形式，由于高层次特征例如线和轮廓可被描述为点的集合。从这层意义上来说，配准问题可简化为找出两个提取的特征点集之间的对应关系及潜在的空间变换。这种基于特征的方法对典型表观变化和场景位移具有较强的鲁棒性，且在正确实施的情况下，拥有更快的速度。他们在刚性场景(例如：在图像拼接领域)和轻度非刚性场景(例如：在医学成像领域)匹配中取得了很大成就，但在处理高度非刚性(例如：在地形重建领域)情形时无法取得满意效果。其本质在于算法没有充分利用图像局部区域的空间约束关系。例如人脸为一个非刚性模型，但是由于脸部肌肉的控制，眼、鼻、嘴等器官的相对位置并不会因为非刚性形变而发生改变。而这个局部空间约束往往对配准能起到很大的作用。

发明内容

为了解决现有技术的不足，本发明提供了一种基于局部线性约束的稀疏特征匹配的图像配准方法，针对遥感图像存在地形起伏导致非刚性形变的问题，对点匹配进行局部线性约束，能够在图像变换后保护特征集中的局部结构，从而提高图像配准精度。

本发明为解决其技术问题所采用的技术方案是：提供了一种基于局部线性约束的稀疏特征匹配的图像配准方法，包括以下步骤：

(1)采用特征探测法推断得到待配准的两个图像的假定匹配集x_n与y_n分别表示待配准的两幅图像中特征点空间位置的二位列向量；所述假定匹配集S包含错误匹配和正确匹配，其中正确匹配根据带匹配的两个图像之间的几何变换Z确定，即如果(x_n,y_n)是一个正确的匹配，则y_n＝Z(x_n)是一个正确的匹配；

(2)初始位置加位移函数v将定义变换Z：Ζ(x)＝x+v(x)，其中v在函数空间H中模拟，所述函数空间H为向量值的再生核希尔伯特空间，通过矩阵值的核Γ:R²×R²→R^2×2与对角线高斯核定义得到，其中R为实数空间，I为单位矩阵，x_i和x_j为实数空间中两个特征点的空间位置，β为高斯窗参数，参数β为设置值，范围为0.01～1.1，则变换Z通过以下形式表示：

$Z\left(x\right)=x+v\left(x\right)=x+\underset{n=1}{\overset{N}{\Σ}}\mathrm{\Γ}(x,x_n)c_n,$

其中，x表示任意一个图像点的空间位置，c_n表示一个2×1维待求解的向量系数；

(3)利用对角元素{p_n}组成的对角矩阵P指出匹配可信度，对角矩阵P中的任意元素p_n∈[0,1]为0到1之间的实数，当p_n＝1时表示(x_n,y_n)为一个正确的匹配，当p_n＝0时表示(x_n,y_n)为一个错误的匹配；

(4)创建大小为N×N的权值矩阵W，且使当x_j不属于x_i的K邻域时，W中的元素W_ij＝0，x_i的K邻域指欧氏距离最近的K个元素；在约束下通过代价函数最小化基于局部线性约束的重构误差，并采用最小二乘求解出W，得到以下能量函数：

$\mathrm{\ϵ}(P,Z)=\underset{n=1}{\overset{N}{\Σ}}{p}_n\left|\right|y_n-Z\left(x_n\right)|{|}^2-\mathrm{\η}\underset{n=1}{\overset{N}{\Σ}}{p}_n+T\underset{n=1}{\overset{N}{\Σ}}{p}_n{\mathrm{logp}}_n+\mathrm{\λ}\underset{i=1}{\overset{N}{\Σ}}{p}_i||Z\left(x_i\right)-\underset{j=1}{\overset{N}{\Σ}}{W}_{ij}Z\left(x_j\right)|{|}^2,$

其中，参数T表示确定性退火的初始温度，η表示对错误匹配的惩罚，λ表示正则化参数基于局部线性约束的正则化参数，参数T、η和λ均为设置值，T的范围为0.05～5.5，η的范围为0.01～1.1，λ的范围为100～10000；

(5)采用确定性退火技术求解能量函数得到变换Z，通过变换Z结合双线性插值执行图像配准。

步骤(2)所述的高斯窗参数β为0.1。

步骤(4)中，T＝0.5，η＝0.1，λ＝1000。

步骤(5)所述的采用确定性退火技术求解能量函数得到变换Z，通过变换Z结合双线性插值执行图像配准，包括以下过程：通过确定性退火技术逐渐减小温度T和正则化参数λ，迭代求解变换Z和匹配可信度P，通过变换Z执行图像配准。

本发明基于其技术方案所具有的有益效果在于：

(1)本发明的基于局部线性约束的稀疏特征匹配的图像配准方法，针对遥感图像存在地形起伏导致非刚性形变的问题，对点匹配进行局部线性约束，能够在图像变换后保护特征集中的局部结构，从而提高图像配准精度；

(2)本发明的基于局部线性约束的稀疏特征匹配的图像配准方法，基于稀疏特征匹配求解图像空间变换，对图像对中可能存在的大尺度场景缩放、大角度视场变换及旋转等恶劣条件下具有很好的鲁棒性；

(3)本发明的基于局部线性约束的稀疏特征匹配的图像配准方法，采用一个稀疏特征点集来表述整幅图像，能够大大提高图像配准效率，减小配准难度。

具体实施方式

下面结合实施例对本发明作进一步说明。

本发明提供了一种基于局部线性约束的稀疏特征匹配的图像配准方法，包括以下步骤：

(1)采用特征探测法推断得到待配准的两个图像的假定匹配集x_n与y_n分别表示待配准的两幅图像中特征点空间位置的二位列向量；所述假定匹配集S包含错误匹配和正确匹配，其中正确匹配根据带匹配的两个图像之间的几何变换Z确定，即如果(x_n,y_n)是一个正确的匹配，则y_n＝Z(x_n)是一个正确的匹配；

(2)初始位置加位移函数v将定义变换Z：Ζ(x)＝x+v(x)，其中v在函数空间H中模拟，所述函数空间H为向量值的再生核希尔伯特空间，通过矩阵值的核Γ:R²×R²→R^2×2与对角线高斯核定义得到，其中R为实数空间，I为单位矩阵，x_i和x_j为实数空间中两个特征点的空间位置，β为高斯窗参数，参数β为范围为0.01～1.1的设置值，本实施例中可设置为0.1，则变换Z通过以下形式表示：

$Z\left(x\right)=x+v\left(x\right)=x+\underset{n=1}{\overset{N}{\Σ}}\mathrm{\Γ}(x,x_n)c_n,$

其中，x表示任意一个图像点的空间位置，c_n表示一个2×1维待求解的向量系数；

(3)利用对角元素{p_n}组成的对角矩阵P指出匹配可信度，对角矩阵P中的任意元素p_n∈[0,1]为0到1之间的实数，当p_n＝1时表示(x_n,y_n)为一个正确的匹配，当p_n＝0时表示(x_n,y_n)为一个错误的匹配；

(4)创建大小为N×N的权值矩阵W，且使当x_j不属于x_i的K邻域时，W中的元素W_ij＝0，x_i的K邻域指欧氏距离最近的K个元素；在约束下通过代价函数最小化基于局部线性约束的重构误差，并采用最小二乘求解出W，得到以下能量函数：

$\mathrm{\ϵ}(P,Z)=\underset{n=1}{\overset{N}{\Σ}}{p}_n\left|\right|y_n-Z\left(x_n\right)|{|}^2-\mathrm{\η}\underset{n=1}{\overset{N}{\Σ}}{p}_n+T\underset{n=1}{\overset{N}{\Σ}}{p}_n{\mathrm{logp}}_n+\mathrm{\λ}\underset{i=1}{\overset{N}{\Σ}}{p}_i||Z\left(x_i\right)-\underset{j=1}{\overset{N}{\Σ}}{W}_{ij}Z\left(x_j\right)|{|}^2,$

其中，参数T表示确定性退火的初始温度，η表示对错误匹配的惩罚，λ表示正则化参数基于局部线性约束的正则化参数，参数T、η和λ均为设置值，T的范围为0.05～5.5，η的范围为0.01～1.1，λ的范围为100～10000，本实施例中，T＝0.5，η＝0.1，λ＝1000；

(5)采用确定性退火技术求解能量函数得到变换Z，通过变换Z结合双线性插值执行图像配准。

步骤(5)所述的采用确定性退火技术求解能量函数得到变换Z，通过变换Z结合双线性插值执行图像配准，包括以下过程：通过确定性退火技术逐渐减小温度T和正则化参数λ，迭代求解变换Z和匹配可信度P，通过变换Z执行图像配准。

Claims (4)

1.一种基于局部线性约束的稀疏特征匹配的图像配准方法，其特征在于包括以下步骤：

(1)采用特征探测法推断得到待配准的两个图像的假定匹配集x_n与y_n分别表示待配准的两幅图像中特征点空间位置的二位列向量；所述假定匹配集S包含错误匹配和正确匹配，其中正确匹配根据带匹配的两个图像之间的几何变换Z确定，即如果(x_n,y_n)是一个正确的匹配，则y_n＝Z(x_n)是一个正确的匹配；

(2)初始位置加位移函数v将定义变换Z：Ζ(x)＝x+v(x)，其中v在函数空间H中模拟，所述函数空间H为向量值的再生核希尔伯特空间，通过矩阵值的核Γ:R²×R²→R^2×2与对角线高斯核定义得到，其中R为实数空间，I为单位矩阵，x_i和x_j为实数空间中两个特征点的空间位置，β为高斯窗参数，参数β为设置值，范围为0.01～1.1，则变换Z通过以下形式表示：

$Z\left(x\right)=x+v\left(x\right)=x+\underset{n=1}{\overset{N}{\Σ}}\mathrm{\Γ}(x,x_n)c_n,$

其中，x表示任意一个图像点的空间位置，c_n表示一个2×1维待求解的向量系数；

(3)利用对角元素{p_n}组成的对角矩阵P指出匹配可信度，对角矩阵P中的任意元素p_n∈[0,1]为0到1之间的实数，当p_n＝1时表示(x_n,y_n)为一个正确的匹配，当p_n＝0时表示(x_n,y_n)为一个错误的匹配；

(4)创建大小为N×N的权值矩阵W，且使当x_j不属于x_i的K邻域时，W中的元素W_ij＝0，x_i的K邻域指欧氏距离最近的K个元素；在约束下通过代价函数最小化基于局部线性约束的重构误差，并采用最小二乘求解出W，得到以下能量函数：

$\mathrm{\ϵ}(P,Z)=\underset{n=1}{\overset{N}{\Σ}}{p}_n\left|\right|y_n-Z\left(x_n\right)|{|}^2-\mathrm{\η}\underset{n=1}{\overset{N}{\Σ}}{p}_n+T\underset{n=1}{\overset{N}{\Σ}}{p}_n\log p_n+\mathrm{\λ}\underset{i=1}{\overset{N}{\Σ}}{p}_i||Z\left(x_i\right)-\underset{j=1}{\overset{N}{\Σ}}{W}_{ij}Z\left(x_j\right)|{|}^2,$

其中，参数T表示确定性退火的初始温度，η表示对错误匹配的惩罚，λ表示正则化参数基于局部线性约束的正则化参数，参数T、η和λ均为设置值，T的范围为0.05～5.5，η的范围为0.01～1.1，λ的范围为100～10000；

(5)采用确定性退火技术求解能量函数得到变换Z，通过变换Z结合双线性插值执行图像配准。

2.根据权利要求1所述的基于局部线性约束的稀疏特征匹配的图像配准方法，其特征在于：步骤(2)所述的高斯窗参数β为0.1。

3.根据权利要求2所述的基于局部线性约束的稀疏特征匹配的图像配准方法，其特征在于：步骤(4)中，T＝0.5，η＝0.1，λ＝1000。

4.根据权利要求1所述的基于局部线性约束的稀疏特征匹配的图像配准方法，其特征在于：步骤(5)所述的采用确定性退火技术求解能量函数得到变换Z，通过变换Z结合双线性插值执行图像配准，包括以下过程：通过确定性退火技术逐渐减小温度T和正则化参数λ，迭代求解变换Z和匹配可信度P，通过变换Z执行图像配准。