CN109584282B - 一种基于sift特征与光流模型的非刚性图像配准方法 - Google Patents

Abstract

本发明涉及一种基于SIFT特征与光流模型的非刚性图像配准方法，包括以下步骤：1)图像分割；2)尺度不变特征变换SIFT特征提取与匹配；3)区域匹配；4)局部粗配准；5)构建光流能量函数；6)利用光流法进行精配准：以粗配准获得的变换位移场为初始值，结合由粗到精的金字塔分层迭代策略求解位移场，在每一层通过最小化能量函数求解位移场，并对获得的位移场进行加权中值滤波，将滤波后的位移场作为下一层图像的光流估计的初始值，根据获得的最终位移场，对待配准图像进行变化插值，获得最终的配准图像，实现配准。

Description

一种基于SIFT特征与光流模型的非刚性图像配准方法

技术领域

本发明属于计算机视觉领域，涉及一种结合SIFT特征匹配与光流模型的图像配准算法。

图像配准是针对含同一对象在不同条件下获得的两幅和多幅图像，求取其空间变换，使得图像的对应点达到空间上的一致，在计算机视觉，遥感图像分析，医学图像处理等领域中有着广泛的应用。

图像配准方法大致可以分为基于灰度的方法和基于特征的方法。基于特征的配准方法利用图像包含重要信息的特征，通过对这些特征进行匹配，选取适当的模型，求解配准参数完成配准，其中SIFT(尺度不变特征变换)特征点由于其良好的特性，经常被用于图像配准。基于灰度的配准方法是利用图像灰度来计算图像的空间变化。基于光流的方法便是假设图像像素的灰度值在很短时间的间隔内保持不变。

光流场指的是图像灰度模式的表观运动，它包含了各像素的瞬时运动信息。

Horn和Schunck提出光流约束方程，并附加全局平滑假设，给出了光流的基本计算方法。通过构建一个能量函数并对其进行最小化求解，获得图像间的光流场。该光流场其实便是图像各像素的位移场，利用该位移场即可对待配准图像进行矫正，完成配准。

发明内容

本发明的目的是提供一种基于SIFT特征与光流模型的非刚性图像配准算法，以解决传统光流模型无法对大位移的运动进行精确估计的问题，提高非刚性图像配准的精度与鲁棒性。本发明的目的是通过以下技术方案实现的。

一种基于SIFT特征与光流模型的非刚性图像配准方法，包括以下步骤：

1)图像分割

对参考图像I₁与浮动图像I₂进行分割，得到对应的分割图像R₁(i)，R₂(j)，其中i代表图像I₁中的分割区域编号，j代表图像I₂中的分割区域编号；

2)尺度不变特征变换SIFT特征提取与匹配

提取参考图像I₁与浮动图像I₂的SIFT特征，并对特征进行匹配；

3)区域匹配，方法如下

第一步：以步骤1)得到的分割结果与步骤2)得到的SIFT特征匹配对为基础，利用

计算I₁中的分割区域i与I₂中的分割区域间的匹配程度，其中，#matches_in为区域i与区域j相互匹配的特征匹配对数，#matches_total表示包括区域i与I₂的匹配对，以及区域j与I₁的匹配对总数；

第二步：根据设定的阈值ε，当d(i,j)＞ε且匹配对数大于等于4时代表区域i与区域j初步匹配成功，若d(i,j)＞ε但匹配对数小于4则需根据层次分割结果分别将区域i，区域j与各自相似邻域聚合，对于d(i,j)≤ε的两区域，认为匹配失败；

第三步：对初步匹配成功的区域，通过求解d(i,j)的最大值得到区域i在I₂中的最佳匹配区域；逆向搜索图像I₂中的区域j在图像I₁中的最佳匹配区域，当正向匹配与逆向匹配结果一致时，认为两区域最终相互匹配；

4)局部粗配准，方法如下：

第一步：以匹配区域为基础，建立仿射变换模型，根据匹配区域中的SIFT特征匹配对建立方程，求解匹配区域的仿射变换参数；

第二步：根据仿射变换参数，计算匹配区域的运动位移场；

第三步：以获得的匹配区域的运动位移场为基础，通过插值得到稠密的完整的运动位移场，称之为变换位移场，完成粗配准；

5)构建光流能量函数

6)利用光流法进行精配准

以粗配准获得的变换位移场为初始值，结合由粗到精的金字塔分层迭代策略求解位移场，在每一层通过最小化能量函数求解位移场，并对获得的位移场进行加权中值滤波，将滤波后的位移场作为下一层图像的光流估计的初始值，根据获得的最终位移场，对待配准图像进行变化插值，获得最终的配准图像，实现配准。

优选地，1)中，利用gPb-OWT-UCM图像分割技术对参考图像与浮动图像进行图像分割。

3)中，所设定的阈值ε＝0.8。

构建光流能量函数E(W)＝E_D(W)+E_S(W)，其中，

为数据项，数据项中的第一项为灰度守恒项，第二项为梯度守恒项，式中β为梯度守恒项的权重系数；X＝(x,y)^T代表图像空间域Ω中的某点；W＝(u,v)^T，u和v分别为光流水平位移与垂直位移，代表图像I₁和I₂之间的变换位移场，

是空间梯度算子，

ξ＝0.001，为惩罚函数；

为正则项，其中

式中，α_g代表全局平滑因子，α_l代表局部平滑因子；

分别为u、v的梯度，

是关于图像梯度

的单调递减函数；γ为正常数；

与现有技术相比，本发明的技术方案所带来的有益效果是：

(1)本发明利用SIFT特征匹配稳定且不受距离限制的特点，通过分割技术与SIFT匹配获取一个初始位移场，为后续光流估计提供一个可靠的初值，提高了光流估计精度，有效解决大位移形变的配准问题。

(2)本发明采用自适应正则项代替原始光流模型中的采用一致平滑策略的正则项，保护图像的边缘特征与细节特征。

附图说明

图1为本发明的一种基于SIFT特征与光流模型的非刚性图像配准算法流程图。

图2为本发明与经典光流法的配准结果对比，其中，(a)为参考图像，(b)为待配准图像，(c)为H-S算法的配准结果图，(d)为H-S算法配准结果与参考图像的差值图像，(e)为Brox算法配准结果图，(f)为Brox算法配准结果与参考图像的差值图像，(g)为SIFT Flow算法配准结果图，(h)为SIFT Flow算法配准结果与参考图像的差值图像，(i)为本发明的配准结果图，(j)为本发明的配准结果与参考图像的差值图像。

图3、图4为采用本发明对存在大位移形变的非刚性图像的配准效果图。其中(a)为参考图像，(b)为浮动图像。(c)为采用本发明实现的配准结果图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明利用图像分割与SIFT匹配获的一个初始位移场作为后续光流估计的初始值，解决了大位移形变图像的配准问题，通过最终的位移场对待配准图像进行矫正，实现图像配准，具体过程如下：

(1)利用图像分割和SIFT特征匹配获得初始位移场

首先利用gPb-OWT-UCM^[1,2]图像分割技术对参考图像与浮动图像进行图像分割，gPb-OWT-UCM分割算法包括3个步骤：1)利用全局概率边界检测器(gPb)提取图像的轮廓；2)对提取的轮廓进行有向分水岭变换(OWT)得到图像的细分割；3)通过合并区域构建超度量轮廓图(UCM)，完成层次分割。

然后，对参考图像和浮动图像进行SIFT特征提取与匹配。

以上述的分割结果与SIFT特征匹配为基础进行区域匹配。区域匹配是以SIFT匹配对为依据，利用数学统计的手段计算区域间的匹配度。设I₁,I₂分别为参考图像与浮动图像，根据步骤一的分割方法得到分割图像R₁(i)，R₂(j)，其中i，j分别代表图像I₁与图像I₂中的分割区域编号。可通过下式计算2个分割区域的相似度：

其中，#matches_in为I₁的分割区域i与I₂的分割区域j相互匹配的特征匹配对数，#matches_total表示包括区域i与I₂的匹配对和区域j与I₁的匹配对的匹配总数。2个区域的匹配程度随着d(i,j)的增大而提高，设定一阈值ε＝0.8，若d(i,j)＞ε，则表示两个区域i与区域j匹配成功。区域i的最佳匹配区域m(i)可通过求解d(i,j)的最大值得到：

为了提高区域匹配的稳定性，逆向搜索图像I₂中的区域j在图像I₁中的最佳匹配区域，当正向匹配与逆向匹配结果一致才认为两区域最终相互匹配。为了保证匹配对数，忽略匹配对数过少的匹配区域或根据层次分割结果将其与相似邻域聚合。

区域匹配完成后，利用匹配区域的SIFT匹配对，以匹配区域为基础，分别求取各区域的仿射变换参数，利用放射变换参数得到匹配区域间的变换位移场，在此基础上进行插值从而获得稠密的变换位移场，完成粗配准。

(二)构建光流模型的能量函数

传统的光流场模型仅采用灰度守恒项，无法较好的处理灰度不均的区域，本发明在数据项中增加梯度守恒项。并且为了增强数据的抗噪性，采用一个非平方形式的惩罚函数以增加对溢出点的惩罚力度

式中，I₁和I₂为待配准的2幅图像；β为梯度守恒项的权重系数；X＝(x,y)^T代表图像空间域Ω中的某点；W＝(u,v)^T(u和v分别为光流水平位移与垂直位移)代表图像I₁和I₂之间的运动位移场。

是空间梯度算子，代表图像梯度，为了提高数据项对奇异值的鲁棒性，采用了非平方形式的惩罚函数

传统的光流场模型正则项采用一致平滑策略，光流估计过程中容易造成过平滑现象导致配准过程中出现图像边缘模糊，为了保护边缘，本发明为正则项添加一个权函数，正则项E_S定义如下：

式中，α_g代表全局平滑因子，α_l代表局部平滑因子；

分别为u、v的梯度，

是关于图像梯度

的单调递减函数；γ为正常数。

最终的能量函数定义如下：

E(W)＝E_D(W)+E_S(W)

(三)利用光流法进行精配准

以粗配准获得的变换位移场为初始值，结合由粗到精的金字塔分层迭代策略^[3]求解位移场，在每一层通过最小化能量函数求解位移场，并对获得的位移场进行加权中值滤波，将滤波后的位移场作为下一层图像的光流估计的初始值。根据获得的最终位移场，对待配准图像进行变化插值，获得最终的配准图像，实现配准。

下面结合具体的实例对本发明的技术方案做进一步详细描述。

图2是本发明本发明与传统H-S算法，Brox算法，SIFT Flow算法的配准结果对比。其中,(a)为参考图像，(b)为待配准图像，(c)为H-S配准结果图，(d)为H-S算法配准结果与参考图像的差值图像，(e)为Brox算法配准结果图，(f)为Brox算法配准结果与参考图像的差值图像，(g)为SIFT Flow算法配准结果图，(h)为SIFT Flow算法配准结果与参考图像的差值图像，(i)为本发明的配准结果图，(j)为本发明的配准结果与参考图像的差值结果。从图2可以看出，传统H-S算法对图像有一定的纠正作用，但图像整体边界模糊，配准效果不理想；Brox算法配准结果优于H-S算法，结构保持较完整，但图像上半部分存在边缘模糊现象；SIFT Flow算法配准结果局部配准精度不高；而本发明由于引入初始光流场且采用自适应正则项，在图像细节保持及配准精度方面明显优于传统算法，配准效果较为理想。配准差值图像同样显示出本发明的配准精度高于比较算法。

图3、图4是采用本发明对存在大位移形变的非刚性图像的配准效果图。其中(a)为参考图像，(b)为浮动图像。(c)为采用本发明实现的配准结果图像。从图中可以看出，浮动图像相对于参考图像存在明显的大位移形变，而利用本发明进行配准较好地纠正了浮动图像，在图像结构与纹理细节上均实现了较好的配准效果。

Claims (2)

1.一种基于SIFT特征与光流模型的非刚性图像配准方法，包括以下步骤：

1)图像分割

对参考图像I₁与浮动图像I₂进行分割，得到对应的分割图像R₁(i)，R₂(j)，其中i代表图像I₁中的分割区域编号，j代表图像I₂中的分割区域编号；

2)尺度不变特征变换SIFT特征提取与匹配

提取参考图像I₁与浮动图像I₂的SIFT特征，并对特征进行匹配；

3)区域匹配，方法如下

第一步：以步骤1)得到的分割结果与步骤2)得到的SIFT特征匹配对为基础，利用

计算I₁中的分割区域i与I₂中的分割区域间的匹配程度，其中，#matches_in为区域i与区域j相互匹配的特征匹配对数，#matches_total表示包括区域i与I₂的匹配对，以及区域j与I₁的匹配对总数；

第二步：根据设定的阈值ε，ε＝0.8，区域i与区域j的匹配程度随着d(i,j)的增大而提高，若d(i,j)＞ε，则表示两个区域i与区域j初步匹配成功；

第三步：对初步匹配成功的区域，通过求解d(i,j)的最大值得到区域i在I₂中的最佳匹配区域；逆向搜索图像I₂中的区域j在图像I₁中的最佳匹配区域，当正向匹配与逆向匹配结果一致时，认为两区域最终相互匹配；

4)局部粗配准，方法如下：

第一步：以匹配区域为基础，建立仿射变换模型，根据匹配区域中的SIFT特征匹配对建立方程，求解匹配区域的仿射变换参数；

第二步：根据仿射变换参数，计算匹配区域的运动位移场；

第三步：以获得的匹配区域的运动位移场为基础，通过插值得到稠密的完整的运动位移场，称之为变换位移场，完成粗配准；

5)构建光流能量函数E(W)＝E_D(W)+E_S(W)，其中，

为数据项，数据项中的第一项为灰度守恒项，第二项为梯度守恒项，式中β为梯度守恒项的权重系数；X＝(x,y)^T代表图像空间域Ω中的某点；W＝(u,v)^T，u和v分别为光流水平位移与垂直位移，代表图像I₁和I₂之间的变换位移场，

是空间梯度算子，

ξ＝0.001，为惩罚函数；

为正则项，其中

式中，α_g代表全局平滑因子，α_l代表局部平滑因子；

分别为u、v的梯度，

是关于图像梯度

的单调递减函数；γ为正常数；

6)利用光流法进行精配准

以粗配准获得的变换位移场为初始值，结合由粗到精的金字塔分层迭代策略求解位移场，在每一层通过最小化能量函数求解位移场，并对获得的位移场进行加权中值滤波，将滤波后的位移场作为下一层图像的光流估计的初始值，根据获得的最终位移场，对待配准图像进行变化插值，获得最终的配准图像，实现配准。

2.根据权利要求1所述的非刚性图像配准方法，其特征在于，1)中，利用gPb-OWT-UCM图像分割技术对参考图像与浮动图像进行图像分割。

Images