CN107862706B - 一种基于特征向量的改进光流场模型方法 - Google Patents

Abstract

本发明公开了一种基于特征向量的改进光流场模型方法：分别构建参考图像和浮动图像的高斯金字塔图像层，分别提取参考图像层和浮动图像层的特征向量；采用特征向量守恒代替传统光流场模型中的亮度守恒假设，构建基于特征向量守恒的能量函数；在每层图像中最小化能量函数，利用光流迭代求解参考图像和浮动图像之间的运动位移场；依据得到的运动位移场，对浮动图像进行矫正，得到配准图像。本发明针对传统的光流场模型无法对大位移形变进行有效配准，以及光流估计中容易出现过平滑问题进行了改进，提高非刚性图像的配准精度，可对存在较大位移形变的非刚性图像进行自动配准，可广泛应用于医学图像处理、图像融合、模式识别等领域。

Description

一种基于特征向量的改进光流场模型方法

技术领域

本发明属于计算机视觉领域，更具体的说，是涉及一种基于特征向量的改进光流场模型方法。

背景技术

图像配准是将不同获取时间、不同传感器、不同获取条件下的同一目标的两幅或多幅图像进行物理坐标上的对齐，实现信息的共享和互补，可以使研究人员在面对研究对象时获得更加全面的信息和理解。由于成像条件的不同，同一物体的多幅图像在分辨率、成像模式、灰度属性等方面存在差异。因此对这些图像进行配准，是图像处理研究领域中的一个典型问题和技术难点。

图像配准在航天领域、医学图像处理领域、遥感图像领域、模式识别领域等有着广泛的应用，具有重要的研究价值及意义。图像配准主要分为2大类：刚性图像配准，主要依据参考图像和浮动图像之间的特征点集，建立两幅图像之间的匹配关系，然后利用刚性变换模型，矫正浮动图像，实现参考图像和浮动图像物理坐标上的对齐，该算法目前已经较为成熟；另外一类是非刚性图像配准，非刚性形变具有非线性特征明显、局部变形严重，变换模型不统一等特点，对齐进行配准具有较高的难度。然而在实际中，大多数图像存在非刚性形变，因此提高现有非刚性图像配准算法的性能或进一步寻找更加高效的非刚性图像配准算法是近年来图像配准领域的一个热门研究课题。

光流场算法是一种基于像素的非刚性图像配准算法，通过估计图像中像素点的位移来矫正浮动图像，是一种稠密的位移估计方法，具有较高的估计精度。由于其能量函数需要满足较强的亮度守恒假设，因此对存在大位移形变图像的配准效果不够理想，估计得到的位移场存在较大的误差。

发明内容

本发明的目的是为了克服现有技术中的不足，提供了一种基于特征向量的改进光流场模型方法，针对传统的光流场模型无法对大位移形变进行有效配准,以及光流估计中容易出现过平滑问题进行了改进，用来估计图像中的大位移运动，以提高非刚性图像的配准精度，可对存在较大位移形变的非刚性图像进行自动配准，可广泛应用于医学图像处理、图像融合、模式识别等领域。

本发明的目的是通过以下技术方案实现的。

一种基于特征向量的改进光流场模型方法，包括以下步骤：

步骤一，分别构建参考图像和浮动图像的高斯金字塔图像层，分别提取参考图像层和浮动图像层的特征向量；

步骤二，采用特征向量守恒代替传统光流场模型中的亮度守恒假设，构建基于特征向量守恒的能量函数；在每层图像中最小化能量函数，利用光流迭代求解参考图像和浮动图像之间的运动位移场；

步骤三，依据得到的运动位移场，对浮动图像进行矫正，得到配准图像。

步骤一中特征向量的提取过程：以图像中的每一个像素点(x,y)为中心，取 8×8的邻域窗口，然后在每4×4的小块上计算8个方向的梯度方向直方图，形成 4个种子点，构建32维的特征向量；

每个像素点的幅值和方向按以下公式计算：

式中，I(x,y)表示点(x,y)处像素值；g(x,y)、θ(x,y)分别代表点(x,y)处的幅度和方向。

步骤二中利用光流迭代求解参考图像和浮动图像之间的运动位移场时，对每层图像得到的位移场进行双边滤波，保留图像的细节特征信息。

步骤二中能量函数定义为：

式中，S₁(X)、S₂(X)分别代表参考图像I₁和浮动图像I₂的特征向量；W＝(x,y)^T代表参考图像和浮动图像之间的位移场；X＝(x,y)^T代表图像区域Ω中的一点；α是正则项的权重系数，取1.2；鲁棒性函数

ε＝0.001，s＝(x,y)^T关于横纵坐标x、y的变量；

是空间梯度算子，u、v分别代表水平位移和垂直位移。

步骤二中运动位移场的求解过程：通过对能量函数极小化来求解参考图像I₁和浮动图像I₂之间的最优位移场，即：

W^*＝arg min E(W)

能量函数E(W)分别对u、v求导，并令其导数为0，得下式所示的 Euler-Lagrange方程：

其中，

式中：Ψ′(s²)是Ψ(s²)的一阶偏导；

是对x求偏导，

是对y求偏导，

是对x求两次偏导，

是先对x求偏导再对y求偏导，

是对y求两次偏导。

与现有技术相比，本发明的技术方案所带来的有益效果是：

(1)本发明采用特征向量守恒代替亮度守恒假设，由于特征向量的匹配没有配准距离的限制，可以对非刚性图像的大位移形变进行矫正，具有较高的配准精度。本发明构建的特征向量采用邻域信息联合得到，对于光照变化以及噪声具有较强的鲁棒性，利用改进的光流场模型能够对光照变化不均匀的图像进行处理，仍然能够获得较好的匹配精度；同时，像素点的特征向量由邻域梯度方向信息得到，具有较好的独特性。

(2)与传统方法相比，利用本发明方法估计得到的位移场更加准确，可以实现对非刚性图像大位移形变的有效配准。对于每层金字塔图像利用光流迭代求解参考图像和浮动图像之间的运动位移场时，对每层图像得到的运动位移场进行双边滤波，可以保留图像的边缘细节特征，有效的防止光流估计中出现过平滑现象，同时对于光照的变化具有较强的鲁棒性，去除图像的噪声，防止误差的累积传递，提高光流估计的精度。

(3)本发明较好的解决了非刚性图像配准中的大位移形变问题以及光流过平滑现象，能够得到较好的配准结果，具有较强的鲁棒性，有着广泛的应用前景。

附图说明

图1为特征点描述的示意图。

图2是遥感图像配准结果及差值图像示意图。

图3是医学图像配准结果及差值图像示意图。

图4是柔性图像配准结果及差值图像示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明的基于特征向量的改进光流场模型方法，主要由4部分组成：特征向量的提取、能量函数的构建、最优位移场的求解、浮动图像的矫正。本发明利用特征向量守恒代替光流模型中的亮度守恒假设。由于特征向量的匹配可以扩展至整幅图像，因此，基于特征向量守恒的光流模型有助于矫正非刚性图像的大位移形变，提高图像的配准精度；同时，对光流迭代过程中的每层图像得到的位移场进行双边滤波，保留图像的边缘细节特征，防止误差的累积传递。具体的步骤及原理如下：

(一)分别构建参考图像和浮动图像的高斯金字塔图像层，分别提取参考图像层和浮动图像层的特征向量。

将图像的像素点全部看作是图像的特征点，对每一个像素点计算一个梯度方向，利用当前像素点邻域像素的梯度方向分布为当前像素点，指定它的方向参数。特征向量S(X)可通过以下方法获得：以图像中的每一个像素点(x,y)为中心，取 8×8的邻域窗口，然后在每4×4的小块上计算8个方向的梯度方向直方图，形成 4个种子点，构建32维的特征向量。特征向量的匹配没有配准距离的限制，可以对非刚性图像的大位移形变进行矫正。本发明构建的特征向量采用邻域信息联合得到，对于光照变化以及噪声具有较强的鲁棒性；同时，像素点的特征向量由邻域梯度方向信息得到，具有较好的独特性。

每个像素点的幅值和方向按以下公式计算：

式中，I(x,y)表示点(x,y)处像素值；g(x,y)、θ(x,y)分别代表点(x,y)处的幅度和方向。

图1(a)的中央为当前像素点的位置，每个小格代表当前像素点邻域空间的一个像素，利用公式(1)、(2)分别求得每个像素点的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，箭头长度代表梯度幅值，然后利用高斯窗口对其进行加权运算。图1中的圆圈代表高斯加权的范围，越靠近当前像素点的邻域像素梯度方向信息的贡献值越大。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图1(b)所示。一个像素点由2×2共4个种子点组成，每个种子点有8个方向的向量信息，因此可以构建得到32维的特征向量S(X)。

(二)采用特征向量守恒代替传统光流场模型中的亮度守恒假设，构建基于特征向量守恒的能量函数；在每层图像中最小化能量函数，利用光流迭代求解参考图像和浮动图像之间的运动位移场，进而矫正浮动图像与参考图像之间的大位移非刚性形变。在利用光流迭代求解参考图像和浮动图像之间的运动位移场的过程中，对每层图像得到的位移场进行双边滤波，保留图像的细节特征信息，避免过平滑；同时滤除噪声，防止误差的累积传递，提高光流估计的精度。

本发明利用特征向量守恒假设代替传统光流模型中的亮度守恒假设，将其作为能量函数的数据项。由于特征向量的匹配可以扩展到整幅图像，对配准距离没有限制，因此可以矫正非刚性图像配准中较大位移的形变。同时，由于特征向量对光照变化以及噪声有较强的鲁棒性，能够得到更好的光流估计结果。本发明采用鲁棒性函数

ε＝0.001，该函数可有效来减少传统H-S模型中因平方函数放大溢出而导致的点位移估计误差。基于特征向量一致性准则建立光流场模型，其能量函数定义为：

式中，S₁(X)、S₂(X)分别代表参考图像I₁和浮动图像I₂的特征向量；W＝(x,y)^T代表参考图像和浮动图像之间的位移场；X＝(x,y)^T代表图像区域Ω中的一点；α是正则项的权重系数，在本发明中取1.2；鲁棒性函数

ε＝0.001， s＝(x,y)^T关于横纵坐标x、y的变量；

是空间梯度算子，u＝(x,y)^T代表水平位移，v＝(x,y)^T代表垂直位移。

非刚性形变经常会在局部出现较大的位移运动，极端情况下其形变范围甚至可扩大至整幅图像。为保证图像的整体配准效果，本发明采用由粗到细的金字塔图像迭代的方法，逐层矫正浮动图像，求解运动位移场。在每层金字塔图像上提取图像的特征向量，极小化能量函数，迭代求解每层金字塔图像的运动位移场，逐层传递；利用双边滤波对位移场进行滤波处理，保留图像的边缘信息，防止误差的累积传递，直至得到最终的运动位移场。

运动位移场的求解过程：本发明通过对能量函数极小化来求解参考图像I₁和浮动图像I₂之间的最优位移场，即：

W^*＝arg min E(W) (4)

能量函数E(W)分别对u、v求导，并令其导数为0，可得下式所示的 Euler-Lagrange方程：

其中，

式中：Ψ′(s²)是Ψ(s²)的一阶偏导；

是对x求偏导，

是对y求偏导，

是对x求两次偏导，

是先对x求偏导再对y求偏导，

是对y求两次偏导。

(三)依据得到的运动位移场，对浮动图像的像素点进行位移变换矫正，得到最终的配准图像。

实施例

下面结合具体的实例对本发明的技术方案做进一步详细描述。实验结果均在 CPU为Intel i5-4590，3.3GHz，内存为8G的台式电脑上运行所得，操作系统为 Windows 7，仿真软件为64位Matlab R2015b。主要参数设置为α＝1.2，迭代次数为60次。图2 ～4 为本发明与传统光流场模型算法的配准实验结果对比。

图2是遥感图像配准结果及差值图像示意图，其中，(a)为参考图像和浮动图像，(b)为H-S算法的配准结果及差值图像，(c)为Xu算法的配准结果及差值图像， (d)为LDOF算法的配准结果及差值图像，(e)为Sun算法的配准结果及差值图像，(f) 为本发明的配准结果及差值图像。从图2 中可以看出，传统H-S算法对图像中存在的大位移形变几乎没有矫正效果，配准后的图像与参考图像的差值较大，并且出现了严重模糊的现象。利用Xu算法，遥感图像下半部分的小位移形变得到了矫正，但位于图像上半部分的大位移形变仍然存在。Sun算法在全局上对浮动图像有一定程度上的矫正作用，但是对于边界区域和大位移区域的配准效果依然不够理想。LDOF算法配准效果有较大程度的改善，但对于浮动图像中的小位移细节区域矫正效果仍然不够理想。本发明算法采用特征向量守恒作为数据项的约束条件，由于特征向量的匹配可以扩展到整幅图像，可以矫正大位移形变。因此，本发明算法得到的配准结果明显优于其它几种算法。同时，由于采用双边滤波对每层图像的位移场进行滤波，很好的保留了图像的边缘特征，避免光流迭代出现过平滑现象。

图3是医学图像配准结果及差值图像示意图，其中，(a)为参考图像和浮动图像，(b)为H-S算法的配准结果及差值图像，(c)为Xu算法的配准结果及差值图像， (d)为LDOF算法的配准结果及差值图像，(e)为Sun算法的配准结果及差值图像， (f)为本发明的配准结果及差值图像。从图3 中可以看出，利用H-S算法得到的配准结果，边界扩散严重，其配准结果与参考图像之间的差值较大；Xu算法较好地校正了浮动图像，但在边缘区域存在比较明显的误匹配；Sun算法基本对齐了大位移形变，但在配准图像的内部及边缘区域存在严重的过平滑现象，导致配准结果不精确。LDOF算法实现了非刚性图像的大位移形变的自动矫正，但是丢失了图像内部的局部细节信息。而本发明方法则取得了比较理想的配准效果，配准图像与参考图像之间的差值几乎可以忽略。此外，由于引入了双边滤波，图像的边缘区域得到了很好的保持。

图4是柔性图像配准结果及差值图像示意图，其中，(a)为参考图像和浮动图像，(b)为H-S算法的配准结果及差值图像，(c)为Xu算法的配准结果及差值图像， (d)为LDOF算法的配准结果及差值图像，(e)为Sun算法的配准结果及差值图像， (f)为本发明的配准结果及差值图像。从图4 中可以看出，利用H-S算法得到的配准结果，在图像的边界及内部区域扩散严重，配准效果较差；Xu算法较好地矫正了浮动图像，但是图像内部的某些像素区域没有展开，存在误匹配；LDOF算法实现了大位移形变的自动矫正，但图像的内部区域出现了过平滑现象；Sun算法基本对齐了大位移形变，但是在局部的图像区域中存在误匹配。从图4中可以看出，本发明算法较好的矫正了浮动图像的非刚性变形，估计得到的位移场精度较高，配准效果比较好。此外，双边滤波的加入，使图像的边缘区域得到了很好的保持。

表1对比了H-S算法、Xu算法、LDOF算法、Sun算法以及本文算法得到的配准结果与参考图像之间的峰值信噪比。从表中可以看出，本发明算法得到的 PSNR值最高，说明本发明算法得到的配准结果图像与参考图像之间的误差最小。可见，本发明算法得到的配准结果最好，与仿真实验得到的结果相一致。

表1不同算法峰值信噪比对比(单位：dB)

尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护之内。

Claims (2)

1.一种基于特征向量的改进光流场模型方法，其特征在于，包括以下步骤：

步骤一，分别构建参考图像和浮动图像的高斯金字塔图像层，分别提取参考图像层和浮动图像层的特征向量；

其中，特征向量的提取过程：以图像中的每一个像素点(x,y)为中心，取8×8的邻域窗口，然后在每4×4的小块上计算8个方向的梯度方向直方图，形成4个种子点，构建32维的特征向量；

每个像素点的幅值和方向按以下公式计算：

式中，I(x,y)表示点(x,y)处像素值；g(x,y)、θ(x,y)分别代表点(x,y)处的幅度和方向；

步骤二，采用特征向量守恒代替传统光流场模型中的亮度守恒假设，构建基于特征向量守恒的能量函数；在每层图像中最小化能量函数，利用光流迭代求解参考图像和浮动图像之间的运动位移场；其中，利用光流迭代求解参考图像和浮动图像之间的运动位移场时，对每层图像得到的位移场进行双边滤波，保留图像的细节特征信息；

其中，能量函数定义为：

式中，S₁(X)、S₂(X)分别代表参考图像I₁和浮动图像I₂的特征向量；W＝(x,y)^T代表参考图像和浮动图像之间的位移场；X＝(x,y)^T代表图像区域Ω中的一点；α是正则项的权重系数，取1.2；鲁棒性函数

s＝(x,y)^T关于横纵坐标x、y的变量；

是空间梯度算子，u、v分别代表水平位移和垂直位移；

步骤三，依据得到的运动位移场，对浮动图像进行矫正，得到配准图像。

2.根据权利要求1所述的基于特征向量的改进光流场模型方法，其特征在于，

步骤二中运动位移场的求解过程：通过对能量函数极小化来求解参考图像I₁和浮动图像I₂之间的最优位移场，即：

W^*＝arg min E(W)

能量函数E(W)分别对u、v求导，并令其导数为0，得下式所示的Euler-Lagrange方程：

其中，

式中：Ψ′(s²)是Ψ(s²)的一阶偏导；

是对x求偏导，

是对y求偏导，

是对x求两次偏导，

是先对x求偏导再对y求偏导，

是对y求两次偏导。

Images