CN104156933A - 一种基于光流场的图像配准方法 - Google Patents

Abstract

本发明公开了一种基于光流场分析的准确的图象自动配准方法。本发明的新颖之处在于将图像的配准分为背景配准和目标配准两个过程。背景的配准采用计算的全局光流场完成；目标配准采用由粗到细的层级匹配算法实现，通过提取待配准两帧图像的特征点集，由最小二乘法计算出运动目标的变换参数，完成运动目标的配准。

Description

一种基于光流场的图像配准方法

技术领域

本发明与计算机视觉、图像理解和计算机图形学有关，随着视频流的广泛应用，需要实现图像序列中帧间图像之间的配准，特别是摄像机运动情况下图像之间的配准问题，本发明涉及一种基于光流场的图像配准方法，有效地解决摄像机运动和大运动目标的配准问题。

背景技术

图象配准是在两幅图象中寻找对应于相同物理区域的像素点之间最佳匹配的过程，在摄像机的校正、多传感器的数据融合、遥感图象的拼接、运动目标的跟踪和医用图象的分析等许多应用中，图象配准都是一个不可回避的重要问题.

       图象配准方法可以广义地分为人工配准和自动配准，人工配准方法单调，人为的干扰不可避免，准确率低。自动配准方法可分为基于区域的自动配准技术和基于特征点的自动配准技术，由于基于特征的配准技术有更好的可靠性和鲁棒性，目前研究的更为广泛; 基于光流场分析的图象配准方法具有很大的灵活性，如对整幅运动图象进行配准时，可利用全局光流场来进行；对图象中的运动目标配准时，可利用特征光流场求取配准参数。当对大运动图象进行配准时，基于光流场的配准方法还具有很好的鲁棒性等特点.

      不同于其它研究方法，本发明将图像的配准分为背景配准和目标配准两个过程，背景配准过程采用计算的全局光流场完成；目标配准过程通过提取待配准两帧图像的特征点集，由最小二乘法计算出运动目标的变换参数，完成运动目标的配准。

发明内容

本发明建立一种基于光流场的图像配准方法. 该方法可分为两个过程：第一是利用前一幅图象的全局光流场完成两幅图象的背景区域的配准；第二是完成运动目标的配准; 在第二个过程中首先采用基于光流场分割和Canny边缘提取的融合算法检测运动目标，建立目标模板，并提取运动目标上良好的特征点集；然后利用层级匹配算法获得第二幅图象的特征点集；最后根据两组相对应的特征点集由最小二乘法计算出运动目标的变换参数.

      本发明的基本原理如下:

      一、本发明提出一种多尺度框架下的微分光流算法，来计算图像之间的光流场, 基于一阶时空梯度的微分光流算法引入了对光流场的全局均匀平坦性附加约束，光流场的计算归结为求如下方程的解  

   (1)

式中，为在点图像上点处分别沿方向的流速，为图像序列的简写，表示时刻的图像在点处的亮度，为在点处分别沿方向的偏导数。是用流速梯度描述的流速在图像平面上的平滑程度，为控制平滑程度的权值，最后可以得到松弛迭代形式的流速解

       (2)

       (3)

是分别对的估计值，本发明重点考虑在这种更新过程中的特性，假设在时刻的，若有速度，则可得到在时刻的相应估计，那么

        (4)

由泰勒级数展开

      (5)

             (6)

将(5)、(6)式带入(4)式右端前两项，可以得到

  (7)

将(7)式代入(2)、(3)中得到改进的迭代算法：

  (8)

   (9)

现在，可以清晰地看出，随着的迭代更新，则不断地趋近于时刻的真实图像.

      二、本发明建立一种透视投影下的图象变换模型，假设为关于时间测量的3D空间坐标，是经透视投影到象平面的坐标，透视投影等式定义为

，         (10)

式中是摄像机的焦距，图象间的关系可由一个刚体模型描述

      (11)

这里是比例变换因子，是两幅图象的旋转角，是图象之间沿方向的平移量.

三、基于计算的光流场实现图像背景的配准，由光流场多分辨分层算法，求得相邻两幅图象中第一幅图象的全局光流场，和反映了图象在像素点处相对于另一幅图象的运动速度, 如果运动速度（背景和目标的运动）满足微分算法的约束条件，那么由该光流场可以准确地对两幅图象进行配准

            (12)

但是，作大机动的运动目标的配准要单独完成

    四、提取运动目标的特征点，若灰值图象用二元函表示，，经过适当的坐标变换，可以把的二阶导数矩阵转化为对角阵

         (13)

其中，为主曲率，由于行列式是坐标变换的不变量，有

        (14)

称为高斯曲率，角点定义为高斯曲率等于零的点，即在局域内求取高斯曲率的正、负极值，沿着正、负极值点对的连线求取使高斯曲率过零的点，即为角点，为获得真实的角点和提高运算速度，本发明作了两点改进：

  一是孤立角点区域提高运算速度的预处理，从实验中可知，角点几乎都分布在边缘上，且在边缘的“拐弯”处，除了“拐弯”处及其邻域，如果某边缘点与其它点有一致的边缘方向，则该点不做角点候选点；

  二是消除虚假角点的后处理，由于噪声的存在，检测结果中存在虚假角点，虚假角点大部分也发生在边缘上，这是因为高斯曲率容易在边缘上产生极值，这一点是由高斯曲率的物理特性决定的，从微几何学知，曲面上一点的主曲率是曲面在这点所有法曲率中的最大值和最小值，这样，在边界上如果正、负高斯曲率的极值存在，其相应的主方向基本上能够保持一致，而真正的角点则不然，用数学式子来表示如下

或       (15)

其中分别为正、负高斯曲率极值点的旋转角，旋转角由下式确定

             (16)

这样，可以利用和之差的绝对值作为角检测器的一个约束条件，以消除边界上可能出现的虚假角点，得到特征点集

   五、采用分层迭代匹配算法提取第二幅图象的对应特征点。假设图象序列中某特征点从时刻的图象运动到时刻的图象，为特征点分别沿和轴的偏移量，最佳偏移量的计算可以通过最小化灰度的差值平方和得到

      (17)

为以为中心的窗，计算误差分别相对于、的偏导数，令它们为零，可以解出

   (18)

其中，分别为、的简写，上标为矩阵的转置，上标-1为矩阵的逆。为获得的估计，可以通过对的初始化，由牛顿-拉富生迭代算法得到

 (19)

上标表示次迭代，表示

   六、计算图像配准变换参数，得到匹配的特征点集后，将相应特征点的坐标代入图像配准变换模型，可以得到如下公式

  (20)

其中，为匹配的坐标对点数，由最小二乘法解得图象之间的变换参数、、和

本发明的技术效果：

本发明不同于其它在先研究方法，具有如下特点，本发明将图像的配准分为背景配准和目标配准两个过程，背景配准过程采用计算的全局光流场完成；目标配准过程通过提取待配准两帧图像的特征点集，由最小二乘法计算出运动目标的变换参数，完成运动目标的配准。利用全局光流场实现图像背景的配准能够有效地消除摄像机运动带来的背景偏差；采用由粗到细的层级匹配算法实现目标的配准能够有效地实现大机动目标的配准。

    附图说明：

图1为本发明给出的Car 图像序列第1帧与第4帧

图2为本发明根据Car 序列中的第1帧和第4帧计算的光流场

图3为本发明给出的背景没有配准和背景已配准的图象

图4为本发明根据Car 序列中的第1帧和第2帧计算的光流场

图5为本发明分割出的运动目标和在目标区域上提取出的目标特征点集 

图6为本发明在待配准目标上提取的特征点集以及最后配准的图象。

    具体实施方式：

    本实施方式结合图1-6对本发明进行具体介绍：

    1、首先计算图像之间的光流场，这种方法的过程如下：基于一阶时空梯度的微分光流算法归结为求如下方程的解 

   (1)

式中，为在点图像上点处分别沿方向的流速，为图像序列的简写，表示时刻的图像在点处的亮度，为在点处分别沿方向的偏导数，是用流速梯度描述的流速在图像平面上的平滑程度，为控制平滑程度的权值，最后可以得到松弛迭代形式的流速解

       (2)

       (3)

是分别对的估计值。考虑更新过程中的特性，假设在时刻的，若有速度，则可得到在时刻的相应估计，那么

        (4)

由泰勒级数展开

      (5)

             (6)

将(5)、(6)式带入(4)式右端前两项，可以得到

  (7)

将(7)式代入(2)、(3)中得到改进的迭代算法，流速的估计值由公式(8)、(9)来计算

  (8)

   (9)

    2、建立一种透视投影下的图象变换模型，假设为关于时间测量的3D空间坐标，是经透视投影到象平面的坐标，透视投影等式定义为

，         (10)

式中是摄像机的焦距，图象间的关系可由一个刚体模型描述

      (11)

这里是比例变换因子，是两幅图象的旋转角，是图象之间沿方向的平移量

    3、利用计算的光流场实现图像背景的配准，由光流场多分辨分层算法，求得相邻两幅图象中第一幅图象的全局光流场，和反映了图象在像素点处相对于另一幅图象的运动速度，如果运动速度（背景和目标的运动）满足微分算法的约束条件，那么由该光流场可以准确地对两幅图象进行配准

            (12)

但是，作大机动的运动目标的配准要单独完成

    4、提取运动目标的特征点，若灰值图象用二元函表示，，经过适当的坐标变换，可以把的二阶导数矩阵转化为对角阵

         (13)

其中，为主曲率，由于行列式是坐标变换的不变量，有

        (14)

称为高斯曲率，角点定义为高斯曲率等于零的点，即在局域内求取高斯曲率的正、负极值，沿着正、负极值点对的连线求取使高斯曲率过零的点，即为角点，为获得真实的角点和提高运算速度，本发明作了两点改进：一是孤立角点区域提高运算速度的预处理；二是消除虚假角点的后处理；真正的角点用数学式子来表示如下

或       (15)

其中分别为正、负高斯曲率极值点的旋转角，旋转角由下式确定

             (16)

这样，可以利用和之差的绝对值作为角检测器的一个约束条件，以消除边界上可能出现的虚假角点，得到特征点集

    5、采用分层迭代匹配算法提取第二幅图象的对应特征点，假设图象序列中某特征点从时刻的图象运动到时刻的图象，为特征点分别沿和轴的偏移量。最佳偏移量的计算可以通过最小化灰度的差值平方和得到

      (17)

为以为中心的窗，计算误差分别相对于、的偏导数，令它们为零，可以解出

   (18)

其中，分别为、的简写，上标为矩阵的转置，上标-1为矩阵的逆。为获得的估计，可以通过对的初始化，由牛顿-拉富生迭代算法得到

  (19)

上标表示次迭代，表示，当目标的运动在相对较小的范围时，利用这种方法不但可以降低匹配过程中的搜索范围，减少匹配时间，而且具有很高的匹配精度，但是当目标作大的运动时，在单一分辨率层上运用这种匹配算法获得匹配特征点对的鲁棒性将降低，这是因为选择小的匹配窗口，容易漏匹配，而选择大的匹配窗口，易产生误匹配，匹配过程的搜索时间又很长，为此，本发明提出了分层迭代匹配算法的思想，具体步骤如下：

对图象和图象进行精度递减的层分解得到和，其中

(1) 令，初始化；

(2) 在上由公式(18)计算出；

(3) 判断，如果，，则结束；   

(4) ，为抽样算子；

(5) ，返回(2) 

   具体实施过程中，可选择，特征窗为，最小流速门限为0.1pixel/帧。最后在上可以计算出各特征点的偏移量，同时得到同相匹配的特征点集

    6、计算图像配准变换参数，得到匹配的特征点集后，将相应特征点的坐标代入图像配准变换模型，可以得到如下公式

  (20)

其中，为匹配的坐标对点数，由最小二乘法解得图象之间的变换参数、、和

7、本发明采用一组图像序列来说明上述实施过程，图1（a）为从红外图象序列Car中抽取的第1帧，其中的场景向右上方运动，小汽车以2~4像素/帧向左下方做机动转弯。为图像背景配准的重要性，抽取该序列的第4帧（见图1（b））作为待配准的第2帧图象；图2是第1帧和第4帧利用分层的微分光流算法计算出的全局光流场，由于此时目标的运动速度很大(>10像素/帧)，运动目标区域的光流场是错误的，但背景区域的光流反映了图象之间的场景运动情况；图3（a）为没有配准进行叠加的图象；图3（b）为利用该全局光流场进行配准后得到的图象，可以明显看出图3（b）的背景配准效果很好，但运动目标需要单独配准；图3（a）的背景配准和目标区域配准效果都不好；图4是根据Car序列中的第1帧和第2帧计算的光流场，由于目标的运动满足光流算法的条件，这个光流场反映了目标的运动情况；图5(a)为基于图4的光流场分割出的运动目标，将其作为目标模板；图5（b）为根据改进的D-N角检测器提取的目标上的特征点集；图6（a）为利用分层匹配迭代算法得到的与相对应的特征点集；图6（b）为背景和运动目标均配准后的图象。

Claims (9)

1.本发明提出一种多尺度框架下的微分光流算法，来计算图像之间的光流场. 基于一阶时空梯度的微分光流算法引入了对光流场的全局均匀平坦性附加约束，光流场的计算归结为求如下方程的解  

   (1)

式中，为在点图像上点处分别沿方向的流速，为图像序列的简写，表示时刻的图像在点处的亮度，为在点处分别沿方向的偏导数。

2.是用流速梯度描述的流速在图像平面上的平滑程度，为控制平滑程度的权值，最后可以得到松弛迭代形式的流速解

       (2)

       (3)

是分别对的估计值。

3.本发明重点考虑在这种更新过程中的特性，假设在时刻的，若有速度，则可得到在时刻的相应估计，那么

        (4)

由泰勒级数展开

      (5)

             (6)

将(5)、(6)式带入(4)式右端前两项，可以得到

  (7)

将(7)式代入(2)、(3)中得到改进的迭代算法：

  (8)

   (9)

现在，可以清晰地看出，随着的迭代更新，则不断地趋近于时刻的真实图像。

4.    本发明建立一种透视投影下的图象变换模型，假设为关于时间测量的3D空间坐标，是经透视投影到象平面的坐标，透视投影等式定义为

，         (10)

式中是摄像机的焦距，图象间的关系可由一个刚体模型描述

      (11)

这里是比例变换因子，是两幅图象的旋转角，是图象之间沿方向的平移量。

5.基于计算的光流场实现图像背景的配准，由光流场多分辨分层算法，求得相邻两幅图象中第一幅图象的全局光流场，和反映了图象在像素点处相对于另一幅图象的运动速度, 如果运动速度（背景和目标的运动）满足微分算法的约束条件，那么由该光流场可以准确地对两幅图象进行配准

            (12)

但是，作大机动的运动目标的配准要单独完成。

6.  提取运动目标的特征点，若灰值图象用二元函表示，，经过适当的坐标变换，可以把的二阶导数矩阵转化为对角阵

         (13)

其中，为主曲率，由于行列式是坐标变换的不变量，有

        (14)

称为高斯曲率，角点定义为高斯曲率等于零的点，即在局域内求取高斯曲率的正、负极值，沿着正、负极值点对的连线求取使高斯曲率过零的点，即为角点，为获得真实的角点和提高运算速度，本发明作了两点改进： 一是孤立角点区域提高运算速度的预处理，从实验中可知，角点几乎都分布在边缘上，且在边缘的“拐弯”处，除了“拐弯”处及其邻域，如果某边缘点与其它点有一致的边缘方向，则该点不做角点候选点；二是消除虚假角点的后处理，由于噪声的存在，检测结果中存在虚假角点，虚假角点大部分也发生在边缘上，这是因为高斯曲率容易在边缘上产生极值，这一点是由高斯曲率的物理特性决定的，从微几何学知，曲面上一点的主曲率是曲面在这点所有法曲率中的最大值和最小值，这样，在边界上如果正、负高斯曲率的极值存在，其相应的主方向基本上能够保持一致，而真正的角点则不然，用数学式子来表示如下

或       (15)

其中分别为正、负高斯曲率极值点的旋转角，旋转角由下式确定

             (16)

这样，可以利用和之差的绝对值作为角检测器的一个约束条件，以消除边界上可能出现的虚假角点，得到特征点集。

7. 采用分层迭代匹配算法提取第二幅图象的对应特征点，设图象序列中某特征点从时刻的图象运动到时刻的图象，为特征点分别沿和轴的偏移量，最佳偏移量的计算可以通过最小化灰度的差值平方和得到

      (17)

为以为中心的窗，计算误差分别相对于、的偏导数，令它们为零，可以解出

   (18)

其中，分别为、的简写，上标为矩阵的转置，上标-1为矩阵的逆。

8.为获得的估计，可以通过对的初始化，由牛顿-拉富生迭代算法得到

 (19)

上标表示次迭代，表示。

9.  计算图像配准变换参数，得到匹配的特征点集后，将相应特征点的坐标代入图像配准变换模型，可以得到如下公式

  (20)

其中，为匹配的坐标对点数，由最小二乘法解得图象之间的变换参数、、和。