CN108805916B - 一种基于分数阶变分光流模型及对偶优化的图像配准方法 - Google Patents

Abstract

本发明提供一种基于分数阶变分光流模型及对偶优化的图像配准方法，涉及图像融合及图像分析技术领域。一种基于分数阶变分光流模型及对偶优化的图像配准方法，首先构建分数阶变分光流模型，再采用对偶优化的方法最小化所构建的分数阶变分光流模型，最后采用金字塔框架结构和扭曲对齐法处理图像配准过程中图像帧间的像素大位移问题，完成图像的精准配准。本发明提供的基于分数阶变分光流模型及对偶优化的图像配准方法不仅可以获得更高的图像配准准确度，并且可以处理帧间像素大位移的状况，使图像配准质量得到较大改进。

Description

一种基于分数阶变分光流模型及对偶优化的图像配准方法

技术领域

本发明涉及图像融合及图像分析技术领域，尤其涉及一种基于分数阶变分光流模型及对偶优化的图像配准方法。

背景技术

图像配准是图像融合及图像分析的基础。图像配准是指从不同视角，不同时间对两个或更多副图像进行比对。图像配准方法是找到一个几何变换矩阵来实现一个图像的像素点与另一个图像的像素点的对齐。图像配准在图像分析、图像融合、图像拼接、图像运动估计以及图像识别领域都有广泛的应用。近些年，图像配准技术已经得到了快速的发展，这些技术可以被分类为基于灰度的方法和基于特征的方法。基于灰度的方法采用图像灰度强度来进行比对，而基于特征的方法使用特征图像来进行比对，如点、线、角。另一种分类方法可以分类为单模态方法和多模态方法；单模态方法从单一的传感器采集图像，而多模态方法从不同的传感器采集图像。图像配准的方法还可以按照图像变换模型，即刚性、非刚性进行分类；刚性的变换是全局的，包括旋转、比例、扭曲等变换，但是它很难处理两幅图像的局部的几何变换，而非刚性变换能够处理两幅图像间像素的不规则变化，包括径向基函数、大变形模型、物理连续模型。

然而现在仍然有很多待解决的问题存在于非刚性的图像配准中，例如大尺寸位移情况下图像配准精度低的问题。

发明内容

针对现有技术的缺陷，本发明提供一种基于分数阶变分光流模型及对偶优化的图像配准方法，实现图像的配准。

基于分数阶变分光流模型及对偶优化的图像配准方法，包括以下步骤：

步骤1、构建分数阶变分光流模型，具体方法为：

设定序列图像为I(x，y，t)，其中(x，y)表示图像的空间位置，t表示时间，I(x，y，t)同时表示图像的密度函数；

根据亮度恒定性假设，序列图像I(x，y，t)随时间变化的恒定强度函数如下公式所示：

对上述公式应用泰勒展开，并只考虑一阶项，得到如下所示公式：

定义序列图像的偏差向量为u，则偏差向量u的增量如下公式所示：

序列图像I(x，y，t)的空间域梯度如下公式所示：

序列图像I(x，y，t)的时间域导数如下公式所示：

将偏差向量u的增量、序列图像I(x，y，t)的空间域梯度及时间域导数代入到应用泰勒展开的序列图像I(x，y，t)随时间变化的恒定强度函数中，得到经典的光流约束，如下公式所示：

考虑到序列图像上像素点的异常值和运动不连续性，从左到右依次构建正则项和保真项，得到分数阶变分光流模型，如下公式所示：

其中，

为正则项，

为保真项，α为阶次，λ为平衡分数变分光流模型中正则项和保真项的权重系数；

步骤2、为了使构建的分数阶变分光流模型获得最优的配准精度，即获得最优的解，采用对偶优化的方法最小化步骤1构建的分数阶变分光流模型，具体方法为：

步骤2.1、将分数阶变分光流模型转换为共轭空间并计算凸函数的最小值；

Legendre-Fenchel共轭已经被证明是凸的且可微分的，其凸共轭的变分模型定义，如下公式所示：

其中，p＝u*为偏差向量u的对偶变量，且满足如下所示公式：

因此，将分数阶变分光流模型的最优解问题转化为如下公式所示的对偶鞍点问题：

从上述公式，通过迭代获得参数u和p的解，如下两个公式所示：

所述迭代过程计算如下：

uⁿ⁺¹＝shrink(uⁿ-τdivpⁿ⁺¹)

其中，n为迭代次数，σ为方差，τ为调整系数，算子Prox为

设定

获得参数u的更新，如下公式所示：

步骤2.2、采用矩阵离散的方法来计算

设定t_k＝kh，k＝0、1…、N是在区间[a，b]中步长为h的等距节点，且满足t₀＝a，t_N＝b，根据分数阶G-L的定义，在点t_k处采用后向分数阶差分的近似算法计算α-th，得到如下所示公式：

将上述公式中的N+1项写成矩阵形式，如下公式所示：

则矩阵

为左侧分数阶α阶差分的离散近似解；

其右侧分数阶倒数定义如下：

类似左侧分数阶差分，右侧分数阶差分的数字解定义为如下矩阵：

根据左侧分数阶差分，得到：

步骤3、采用金字塔框架结构和扭曲对齐法处理图像配准过程中图像帧间的像素大位移问题，具体方法为：

采用从粗到精的金字塔框架结构计算不同比例下多分辨率图像光流；金字塔框架结构从低分辨率层到高分辨率层依次采用光流估计、中值滤波和上采样算法进行计算，具体方法为：

将凸优化后的分数阶光流模型应用于金字塔框架结构中；

为了减少上采样，即比例放大导致的误差累积，选择上采样比例因子_s在0.7-0.9之间；

为了消除在低粗超度的异常值，即在低分辨阶段的光流估计，同时为保持精度，中值滤波器首先用于上采样的光流场；

在金字塔框架结构中，为了提供较高的图像质量以及较低的运算量，从低分辨率到高分辨率的上采样过程使用双三次插值算法(bicubic)进行计算；为了能够在模糊和错误率之间获得较好的平衡，高斯卷积核参数设定为0.25；

在低分辨率到高分辨率的处理过程中，使用扭曲对齐法使第一帧图像逐渐对齐第二帧图像，减少两幅图像间的配准偏差；

所述扭曲对齐法的数学表达如下公式所示：

u¹＝u⁰+du⁰

u＝{u₁，u₂}。

由上述技术方案可知，本发明的有益效果在于：本发明提供的一种基于分数阶变分光流模型及对偶优化的图像配准方法，光流函数的一阶泰勒近似展开用来计算两幅图像的运动，并使用金字塔迭代及扭曲对齐的方法来计算偏差变量，不仅可以获得更高的图像配准准确度，并且可以处理帧间像素大位移的状况，分数阶作为整数阶方法的扩展在图像配准质量上得到较大改进。

附图说明

图1为本发明实施例提供的一种基于分数阶变分光流模型及对偶优化的图像配准方法的流程图；

图2为本发明实施例提供的金字塔框架(金字塔迭代)原理示意图；

图3为本发明实施例提供的豆袋图帧间配准实验结果分析图，其中，(a)为第一帧图像，(b)为第二帧图像，(c)为时的扭曲对齐，(d)为时的扭曲对齐，(e)为偏差向量网格图，(f)为偏差向量网格图的局部放大图，(g)为光流图；

图4为本发明实施例提供的后院图帧间配准实验结果分析图，其中，(a)为第一帧图像，(b)为第二帧图像，(c)为时的扭曲对齐，(d)为时的扭曲对齐，(e)为偏差向量网格图，(f)为偏差向量网格图的局部放大图，(g)为光流图；

图5为本发明实施例提供的篮球图帧间配准实验结果分析图，其中，(a)为第一帧图像，(b)为第二帧图像，(c)为时的扭曲对齐，(d)为时的扭曲对齐，(e)为偏差向量网格图，(f)为偏差向量网格图的局部放大图，(g)为光流图；

图6为本发明实施例提供的七叶图帧间配准实验结果分析图，其中，(a)为第一帧图像，(b)为第二帧图像，(c)为时的扭曲对齐，(d)为时的扭曲对齐，(e)为偏差向量网格图，(f)为偏差向量网格图的局部放大图，(g)为光流图；

图7为本发明实施例提供的迷你车图帧间配准对比实验结果分析图，其中，(a)为第一帧图像，(b)为第二帧图像，(c)为α＝0.3时的扭曲对齐，(d)为使用经典光流法进行配准时的扭曲对齐，(e)为采用分数阶进行配准的偏差向量网格图，(f)为使用经典光流法进行配准的偏差向量网格图；

图8为本发明实施例提供的陆军图帧间配准对比实验结果分析图，其中，(a)为第一帧图像，(b)为第二帧图像，(c)为α＝0.3时的扭曲对齐，(d)为使用经典光流法进行配准时的扭曲对齐，(e)为采用分数阶进行配准的偏差向量网格图，(f)为使用经典光流法进行配准的偏差向量网格图；

图9为本发明实施例提供的步行图帧间配准对比实验结果分析图，其中，(a)为第一帧图像，(b)为第二帧图像，(c)为α＝0.3时的扭曲对齐，(d)为使用经典光流法进行配准时的扭曲对齐，(e)为采用分数阶进行配准的偏差向量网格图，(f)为使用经典光流法进行配准的偏差向量网格图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例使用最流行的米德尔伯里(middlebury)数据库中的数据，采用本发明的一种基于分数阶变分光流模型及对偶优化的图像配准方法进行图像配准。

基于分数阶变分光流模型及对偶优化的图像配准方法，如图1所示，包括以下步骤：

步骤1、构建分数阶变分光流模型，具体方法为：

设定序列图像为I(x，y，t)，其中(x，y)表示图像的空间位置，t表示时间，I(x，y，t)同时表示图像的密度函数；

根据亮度恒定性假设，序列图像I(x，y，t)随时间变化的恒定强度函数如下公式所示：

对上述公式应用泰勒展开，并只考虑一阶项，得到如下所示公式：

定义序列图像的偏差向量为u，则偏差向量u的增量如下公式所示：

序列图像I(x，y，t)的空间域梯度如下公式所示：

序列图像I(x，y，t)的时间域导数如下公式所示：

将偏差向量u的增量、序列图像I(x，y，t)的空间域梯度及时间域导数代入到应用泰勒展开的序列图像I(x，y，t)随时间变化的恒定强度函数中，得到经典的光流约束，如下公式所示：

考虑到序列图像上像素点的异常值和运动不连续性，从左到右依次构建正则项和保真项，得到分数阶变分光流模型，如下公式所示：

其中，

为正则项，

为保真项，α为阶次，λ为平衡分数变分光流模型中正则项和保真项的权重系数；

步骤2、为了使构建的分数阶变分光流模型获得最优的配准精度，即获得最优的解，采用对偶优化的方法最小化步骤1构建的分数阶变分光流模型，具体方法为：

步骤2.1、将分数阶变分光流模型转换为共轭空间并计算凸函数的最小值；

Legendre-Fenchel共轭已经被证明是凸的且可微分的，其凸共轭的变分模型定义，如下公式所示：

其中，p＝u^*为偏差向量u的对偶变量，且满足如下所示公式：

因此，将分数阶变分光流模型的最优解问题转化为如下公式所示的对偶鞍点问题：

从上述公式，通过迭代获得参数u和p的解，如下两个公式所示：

所述迭代过程计算如下：

uⁿ⁺¹＝shrink(uⁿ-τdivpⁿ⁺¹)

其中，n为迭代次数，σ为方差，τ为调整系数，算子Prox为

设定

获得参数u的更新，如下公式所示：

步骤2.2、采用矩阵离散的方法来计算

设定t_k＝kh，k＝0、1…、N是在区间[a，b]中步长为h的等距节点，且满足t₀＝a，t_N＝b，根据分数阶G-L的定义，在点t_k处采用后向分数阶差分的近似算法计算α-th，得到如下所示公式：

将上述公式中的N+1项写成矩阵形式，如下公式所示：

则矩阵

为左侧分数阶α阶差分的离散近似解；

其右侧分数阶倒数定义如下：

类似左侧分数阶差分，右侧分数阶差分的数字解定义为如下矩阵：

根据左侧分数阶差分，得到：

步骤3、采用如图2所示的金字塔框架结构和扭曲对齐法处理图像配准过程中图像帧间的像素大位移问题，具体方法为：

采用从粗到精的金字塔框架结构计算不同比例下多分辨率图像光流；金字塔框架结构从低分辨率层到高分辨率层依次采用光流估计、中值滤波和上采样算法进行计算，具体方法为：

将凸优化后的分数阶光流模型应用于金字塔框架结构中；

为了减少上采样，即比例放大导致的误差累积，选择上采样比例因子s在0.7-0.9之间；

为了消除在低粗超度的异常值，即在低分辨阶段的光流估计，同时为保持精度，中值滤波器首先用于上采样的光流场；

在金字塔框架结构中，为了提供较高的图像质量以及较低的运算量，从低分辨率到高分辨率的上采样过程使用双三次插值算法(bicubic)进行计算；为了能够在模糊和错误率之间获得较好的平衡，高斯卷积核参数设定为0.25；

在低分辨率到高分辨率的处理过程中，使用扭曲对齐法使第一帧图像逐渐对齐第二帧图像，减少两幅图像间的配准偏差；

所述扭曲对齐法的数学表达如下公式所示：

u¹＝u⁰+du⁰

u＝{u₁，u₂}。

本实施例使用的米德尔伯里(middlebury)数据库包括两部分，一部分是具有隐藏的标定好的真实数据集；另一部分是可以用于训练的公开标定好的真实数据集。在本实施例中，使用数据库中的7种两帧图像：陆军，后院，篮球，七叶，豆袋，迷你车和步行来进行图像配准。

本实施例提供了测试不同分数阶次α下，使用本发明的基于分数阶变分光流模型及对偶优化的图像配准方法对数据库中的豆袋、后院、篮球和七叶四种两帧图像进行图像配准。

根据经验分数阶次α值范围设定在0.3-1.1之间。分数阶变差模型构建分数导数调节项，可以提供更为精确和准确的偏差向量解u(x，y)，类似于多比例的计算。另外，权重系数λ对配准精度至关重要，其值太小会导致较大配准误差，其值较大会导致偏差向量的不连续。在本实施例中，其值设定为0.9，这样能更好的平衡分数变分光流模型中的正则项和保真项。

本实施例得到的豆袋、后院、篮球和七叶四种两帧图像的配准结果如图3-图6所示，其中，每个图中的(a)为第一帧图像，(b)为第二帧图像，(c)为α＝0.7时的扭曲对齐，(d)为α＝0.3时的扭曲对齐，(e)为偏差向量u的网格图，(f)为偏差向量u的网格图的局部放大图，(g)为光流图。

本实施例还提供了使用不同方法对数据库中的迷你车、陆军和步行三种两帧图像进行图像配准。配准结果如图7-图9所示，其中，每个图中的(a)为第一帧图像，(b)为第二帧图像，(c)为α＝0.3时的扭曲对齐，(d)为使用经典光流法进行配准时的扭曲对齐，(e)为采用分数阶进行配准的偏差向量网格图，(f)为使用经典光流法进行配准的偏差向量网格图。

本实施例中，为了测试两幅图像间的配准误差，本实施例还按照两个配准图像的结构相似度和根均值方差对采用经典的光流法、一阶的对偶方法以及Harris-Sift方法进行图像配准做了定量分析，结果表1所示，从表中可以看出，的所使用的分数阶的图像配准方法为模型提供了额外的自由度，有能力处理大位移的运动估计，因此本发明方法比其它的方法更加的优越。

表1不同方法进行图像配准的结果对比

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种基于分数阶变分光流模型及对偶优化的图像配准方法，其特征在于：包括以下步骤：

步骤1、构建分数阶变分光流模型；

步骤2、为了使构建的分数阶变分光流模型获得最优的配准精度，即获得最优的解，采用对偶优化的方法最小化步骤1构建的分数阶变分光流模型；

步骤3、采用金字塔框架结构和扭曲对齐法处理图像配准过程中图像帧间的像素大位移问题；

所述步骤1的具体方法为：

设定序列图像为I(x,y,t)，其中(x,y)表示图像的空间位置，t表示时间，I(x,y,t)同时表示图像的密度函数；

根据亮度恒定性假设，序列图像I(x,y,t)随时间变化的恒定强度函数如下公式所示：

对上述公式应用泰勒展开，并只考虑一阶项，得到如下所示公式：

定义序列图像的偏差向量为u，则偏差向量u的增量如下公式所示：

序列图像I(x,y,t)的空间域梯度如下公式所示：

序列图像I(x,y,t)的时间域导数如下公式所示：

将偏差向量u的增量、序列图像I(x,y,t)的空间域梯度及时间域导数代入到应用泰勒展开的序列图像I(x,y,t)随时间变化的恒定强度函数中，得到经典的光流约束，如下公式所示：

考虑到序列图像上像素点的异常值和运动不连续性，从左到右依次构建正则项和保真项，得到分数阶变分光流模型，如下公式所示：

其中，

为正则项，

为保真项，α为阶次，λ为平衡分数变分光流模型中正则项和保真项的权重系数；

所述步骤2的具体方法为：

步骤2.1、将分数阶变分光流模型转换为共轭空间并计算凸函数的最小值；

步骤2.2、采用矩阵离散的方法来计算

所述步骤2.1的具体方法为：

Legendre-Fenchel共轭已经被证明是凸的且可微分的，其凸共轭的变分模型定义，如下公式所示：

其中，p＝u^*为偏差向量u的对偶变量，且满足如下所示公式：

因此，将分数阶变分光流模型的最优解问题转化为如下公式所示的对偶鞍点问题：

从上述公式，通过迭代获得参数u和p的解，如下两个公式所示：

所述迭代过程计算如下：

uⁿ⁺¹＝shrink(uⁿ-τdivpⁿ⁺¹)

其中，n为迭代次数，σ为方差，τ为调整系数，算子Prox为

设定

获得参数u的更新，如下公式所示：

所述步骤2.2的具体方法为：

设定t_k＝kh，k＝0、1…、N是在区间[a,b]中步长为h的等距节点，且满足t₀＝a，t_N＝b，根据分数阶G-L的定义，在点t_k处采用后向分数阶差分的近似算法计算α-th，得到如下所示公式：

将上述公式中的N+1项写成矩阵形式，如下公式所示：

则矩阵

为左侧分数阶α阶差分的离散近似解；

其右侧分数阶倒数定义如下：

类似左侧分数阶差分，右侧分数阶差分的数字解定义为如下矩阵：

根据左侧分数阶差分，得到：

2.根据权利要求1所述的基于分数阶变分光流模型及对偶优化的图像配准方法，其特征在于：所述步骤3的具体方法为：

采用从粗到精的金字塔框架结构计算不同比例下多分辨率图像光流；金字塔框架结构从低分辨率层到高分辨率层依次采用光流估计、中值滤波和上采样算法进行计算，具体方法为：

将凸优化后的分数阶光流模型应用于金字塔框架结构中；

为了减少上采样，即比例放大导致的误差累积，选择上采样比例因子s在0.7-0.9之间；

为了消除在低粗超度的异常值，即在低分辨阶段的光流估计，同时为保持精度，中值滤波器首先用于上采样的光流场；

在金字塔框架结构中，为了提供较高的图像质量以及较低的运算量，从低分辨率到高分辨率的上采样过程使用双三次插值算法进行计算；为了能够在模糊和错误率之间获得较好的平衡，高斯卷积核参数设定为0.25；

在低分辨率到高分辨率的处理过程中，使用扭曲对齐法使第一帧图像逐渐对齐第二帧图像，减少两幅图像间的配准偏差；

所述扭曲对齐法的数学表达如下公式所示：

u¹＝u⁰+du⁰

u＝{u₁,u₂}。

Images