CN106485731B - 一种基于改进霍夫变换的图像位置配准方法 - Google Patents

Abstract

一种基于改进霍夫变换的图像位置配准方法，本发明涉及图像位置配准方法。本发明是要解决现有技术算法复杂、实时性差、计算量大以及算法鲁棒性差的问题，而提出的一种基于改进霍夫变换的图像位置配准方法。该方法是通过步骤一、得到当前灰度图像。步骤二、对步骤一得到的当前灰度图像中均匀选择m个匹配块；并对得到的匹配块进行筛选；步骤三、得到每个匹配块的局部运动估计矢量；步骤四、得到霍夫变换筛选后的局部运动估计矢量；步骤五、求取局部运动估计矢量平均值作为运动估计结果；依据运动估计结果，得到当前图像和基准图像的位置配准关系等步骤实现的。本发明应用于图像位置配准领域。

Description

一种基于改进霍夫变换的图像位置配准方法

技术领域

本发明涉及图像位置配准方法，特别涉及一种基于改进霍夫变换的图像位置配准方法。

背景技术

图像配准技术是将不同视角下，对同一场景采集得到的两幅或多幅图像进行位置配准的过程，是图像处理领域的基本问题之一。同时，图像配准技术也是立体视觉、运动分析、图像融合等技术的基础，因此有着重要的应用价值。

图像位置配准旨在寻求图像之间的平移运动关系。现有学者已经针对不同应用环境提出了多种图像位置配准方法，并在时效性、鲁棒性和配准精度等方面取得了明显效果。根据图像配准理论，可将现有的图像位置配准算法分为如下三类：

(1)基于特征点跟踪的图像位置配准方法。该类方法的基本原理是在当前图像和基准图像上分别选取一系列的特征点作为标识，基于已建立的特征点对应关系，来求解图像之间的位置变换参数。

(2)基于光流的图像位置配准方法。该方法是利用图像灰度在时间与空间上的相关性，建立由图像每个像素瞬时运动矢量所组成的光流场，进而得到图像运动矢量。

(3)基于灰度信息匹配的图像位置配准方法。该类方法是使用最广泛的图像位置配准方法，其核心思想是在当前图像上以一定的方式选取某一类型的灰度信息，以一定的匹配准则在基准图像上寻找最佳匹配位置，进而确定图像位置运动信息。

然而，目前的图像位置配准方法中仍然存在如下问题：

(1)基于特征点跟踪的图像位置配准方法和基于光流的图像位置配准方法虽然配准精度较高，但算法复杂、计算量大，无法适用于对配准实时性要求较高的场合。

基于灰度信息匹配的图像位置配准方法虽然有着计算复杂度低、易于硬件实现的优点，但对于灰度信息单一或存在运动前景的图像，其算法鲁棒性差。

发明内容

本发明的目的是为了解决现有技术算法复杂、实时性差、计算量大以及算法鲁棒性差的问题，而提出的一种基于改进霍夫变换的图像位置配准方法。

上述的发明目的是通过以下技术方案实现的：

步骤一、对相机采集到的分辨率为M*N的图像进行灰度化，得到当前灰度图像；

步骤二、对步骤一得到的当前灰度图像中均匀选择m个匹配块；并对得到的匹配块进行筛选；其中，匹配块的大小为s*t像素；

步骤三、基于图像金字塔和改进六边形搜索算法确定步骤二得到的筛选后的每个匹配块在基准图像上的最佳匹配位置，得到每个匹配块的局部运动估计矢量；

步骤四、对步骤三得到的每个局部运动估计矢量，采用改进霍夫变换方法，对错误的局部运动估计矢量进行剔除得到霍夫变换筛选后的局部运动估计矢量；

步骤五、对经过步骤四得到的霍夫变换筛选后的局部运动估计矢量，求取局部运动估计矢量平均值作为运动估计结果；依据运动估计结果，得到当前图像和基准图像的位置配准关系。

发明效果

1)由于采用图像金字塔和改进的六边形搜索算法，本发明提出的图像位置配准算法的有效运动估计范围可达到45像素。

2)在Intel Core i5-5200U，C++编程环境下，针对分辨率为480X640的灰度图像，本发明提出的图像位置配准算法的配准时间优于50ms，满足了实时配准要求。相对于其他位置配准算法，本发明提出的算法相对简单易于实现。

附图说明

图1是具体实施方式一中基于改进霍夫变换的图像位置配准方法的流程图；

图2是具体实施方式三中利用降采样的方法对原始图像建立的三层灰度金字塔示意图。

图3是具体实施方式三中，在基准图像上，采用改进六边形搜索算法，寻找与当前图像中各个待匹配块的最佳匹配位置的搜索过程示意图。

具体实施方式

具体实施方式一：结合图1本实施方式的一种基于改进霍夫变换的图像位置配准方法，具体是按照以下步骤制备的：

步骤一、对相机采集到的分辨率为M*N的图像进行灰度化，得到当前灰度图像。

步骤二、对步骤一得到的当前灰度图像中均匀选择m个匹配块；并对得到的匹配块进行筛选。其中，匹配块的大小为s*t像素；

步骤三、基于图像金字塔和改进六边形搜索算法确定步骤二得到的筛选后的每个匹配块在基准图像上的最佳匹配位置，得到每个匹配块的局部运动估计矢量；

步骤四、对步骤三得到的每个局部运动估计矢量，采用改进霍夫变换方法，对错误的局部运动估计矢量进行剔除得到霍夫变换筛选后的局部运动估计矢量；

步骤五、对经过步骤四得到的霍夫变换筛选后的局部运动估计矢量，求取局部运动估计矢量平均值作为运动估计结果；依据运动估计结果，得到当前图像和基准图像的位置配准关系。

本实施方式效果：

由于采用图像金字塔和改进的六边形搜索算法，本实施方式提出的图像位置配准算法的有效运动估计范围可达到45像素。

在Intel Core i5-5200U，C++编程环境下，针对分辨率为480X640的灰度图像，本实施方式提出的图像位置配准算法的配准时间优于50ms，满足了实时配准要求。相对于其他位置配准算法，本实施方式提出的算法相对简单易于实现。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二中对步骤一得到的当前灰度图像中均匀选择m个匹配块，并对得到的匹配块进行筛选的具体步骤如下：

步骤二一、在当前灰度图像上均匀选择m个匹配块；均匀选择原则如下：块匹配位置应该均匀分布于图像平面，匹配块的大小为s*t；数量m按如下数学表达式进行选择：

步骤二二、求取其步骤二一得到的每一个匹配块的均方根对比度；

步骤二三、将步骤二二得到的每个匹配块的均方根对比度与预设阈值0.01进行比较，如果匹配块的均方根对比度大于预设阈值，则将该匹配块保留；否则，则剔除该匹配块。其它步骤及参数与具体实施方式一相同。

具体实施方式三：结合图2和图3本实施方式与具体实施方式一或二不同的是：步骤二二中所述均方根对比度的数学表达式为：

式中，I(u+i,v+j)为匹配块在位置(u+i,v+j)处的灰度值，坐标(u,v)表示当前图像中待匹配块的中心位置，表示匹配块内像素灰度的平均值,i和j分别表示-t/2到t/2和-s/2到s/2之间的整数。其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤二中s*t＝31*31。其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤三中基于图像金字塔和改进六边形搜索算法确定步骤二得到的筛选后的每个匹配块在基准图像上的最佳匹配位置，得到每个匹配块的局部运动估计矢量的具体处理方法和步骤如下：

步骤三一、利用降采样的方法建立当前图像和基准图像的三层灰度金子塔，其中，底层图像为原图像，而构建中间层图像和顶层图像的数学表达式如下：

式中，f^(l)(x,y)表示第l层图像中位置(x,y)处的像素灰度值p,q；p,q取0或1。

步骤三二、对步骤三一得到的当前图像和基准图像的顶层图像，采用改进六边形搜索算法，在基准图像上，寻找与当前图像中各个待匹配块的灰度相关性最大的位置，即为最佳匹配位置。

步骤三三、将上一步得到的各个匹配块在基准图像顶层上的最佳匹配位置传递给基准图像中间层，得到匹配块在基准图像中间层中的粗匹配位置；并在粗匹配位置的3像素邻域范围内进行搜索，确定各匹配块在基准图像中间层上灰度相关性最大的位置，即为中间层的最佳匹配位置。

步骤三四、将步骤三三得到的各个匹配块在基准图像中间层上的最佳匹配位置传递给基准图像底部层，得到匹配块在基准图像中间底层中的粗匹配位置；并在粗匹配位置的3像素邻域范围内进行搜索，确定各匹配块在基准图像底层上灰度相关性最大的位置，即为底层的最佳匹配位置。

步骤三五、利用步骤三四得到的底层的最佳匹配位置，求取当前图像与基准图像的每一个对应匹配块的局部运动估计矢量；

步骤三六、利用步骤三四得到的底层的最佳匹配位置，求取当前图像与基准图像的每一个对应匹配块的局部运动估计矢量的数学表达式如下：

(△x_i,△y_i)＝(u-u′,v-v′)

式中，(△x_i,△y_i)表示第i个匹配块的局部运动估计矢量。其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：步骤三二中所述改进后的六边形搜索算法的具体为：首先，采用相邻搜索位置的距离为12像素的九宫格模板对顶层图像的匹配位置进行粗定位；将九个位置中的最佳位置(最佳的位置根据灰度相关性，由上面的计算公式确定)定位作为初始位置；最后，采用六边形搜索法(六边形搜索算法是已知的一种搜索算法，它是通过计算初始位置周围六边形上的灰度相关性并将计算结果与初始位置比较，找出最大相关性的位置，将此位置重新设置为初始位置，重复执行，直到找出最佳位置)进行搜索，找到待匹配块的最佳匹配位置。其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：步骤三二中待匹配块的灰度相关性的数学表达式如下：

式中，I_pre为当前图像，I_ref为基准图像；坐标(u,v)表示当前图像中待匹配块的中心位置，(u′,v′)表示基准图像中被搜索的位置；r为匹配块的半径；表示当前图像中待匹配块内像素灰度的平均值，表示基准图像中被搜索匹配块内的像素灰度平均值；I_ref(u+a,v+b)为基准图像I_ref第u+a行第v+b列位置上的灰度值；I_pre(u+a,v+b)为当前图像I_pre第u+a行第v+b列位置上的灰度值。其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：步骤四中对步骤三得到的每个局部运动估计矢量，采用改进霍夫变换方法，对错误的局部运动估计矢量进行剔除具体处理方法和步骤如下：

步骤四一、对步骤三得到的各匹配块的局部运动估计矢量(△x_i,△y_i)，求取△x_i的最大值△x_max和最小值△x_min，以及△y_i的最大值△y_max和最小值△y_min。

步骤四二、利用步骤四一得到的局部运动估计矢量各分量的最大值和最小值，建立以△x和△y为参数的二维平面坐标系，并将范围为△x_min≤△x≤△x_max，△y_min≤△y≤△y_max的平面细分为固定大小的单元格；

步骤四三、利用步骤四二得到的单元格，将每一个局部运动估计矢量归类到相应的单元格里，并统计各单元格中局部运动估计矢量的个数；保留个数最大的单元格中的局部运动估计矢量，其余的直接剔除。其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是：步骤四二中单元格的尺寸为：2×2像素。其它步骤及参数与具体实施方式一至八之一相同。

Claims (8)

1.一种基于改进霍夫变换的图像位置配准方法，该方法具体是按照以下步骤进行的：

步骤一、对相机采集到的分辨率为M*N的图像进行灰度化，得到当前灰度图像；

步骤二、对步骤一得到的当前灰度图像中均匀选择m个匹配块；并对得到的匹配块进行筛选；其中，匹配块的大小为s*t像素；

步骤三、基于图像金字塔和改进六边形搜索算法确定步骤二得到的筛选后的每个匹配块在基准图像上的最佳匹配位置，得到每个匹配块的局部运动估计矢量；

步骤四、对步骤三得到的每个局部运动估计矢量，采用改进霍夫变换方法，对错误的局部运动估计矢量进行剔除得到霍夫变换筛选后的局部运动估计矢量；

步骤五、对经过步骤四得到的霍夫变换筛选后的局部运动估计矢量，求取局部运动估计矢量平均值作为运动估计结果；依据运动估计结果，得到当前图像和基准图像的位置配准关系；

其特征在于：步骤二中对步骤一得到的当前灰度图像中均匀选择m个匹配块，并对得到的匹配块进行筛选的具体步骤如下：

步骤二一、在当前灰度图像上均匀选择m个匹配块；均匀选择原则如下：块匹配位置应该均匀分布于图像平面，匹配块的大小为s*t；数量m按如下数学表达式进行选择：

步骤二二、求取其步骤二一得到的每一个匹配块的均方根对比度；

步骤二三、将步骤二二得到的每个匹配块的均方根对比度与预设阈值0.01进行比较，如果匹配块的均方根对比度大于预设阈值，则将该匹配块保留；否则，则剔除该匹配块。

2.根据权利要求1所述一种基于改进霍夫变换的图像位置配准方法，其特征在于：步骤二二中所述均方根对比度的数学表达式为：

式中，I(u+i,v+j)为匹配块在位置(u+i,v+j)处的灰度值，坐标(u,v)表示当前图像中待匹配块的中心位置，表示匹配块内像素灰度的平均值,i和j分别表示-t/2到t/2和-s/2到s/2之间的整数。

3.根据权利要求2所述一种基于改进霍夫变换的图像位置配准方法，其特征在于：步骤二中s*t＝31*31。

4.根据权利要求1所述一种基于改进霍夫变换的图像位置配准方法，其特征在于：步骤三中基于图像金字塔和改进六边形搜索算法确定步骤二得到的筛选后的每个匹配块在基准图像上的最佳匹配位置，得到每个匹配块的局部运动估计矢量的具体处理方法和步骤如下：

步骤三一、利用降采样的方法建立当前图像和基准图像的三层灰度金子塔，其中，底层图像为原图像，而构建中间层图像和顶层图像的数学表达式如下：

式中，f^(l)(x,y)表示第l层图像中位置(x,y)处的像素灰度值；

步骤三二、对步骤三一得到的当前图像和基准图像的顶层图像，采用改进六边形搜索算法，在基准图像上，寻找与当前图像中各个待匹配块的灰度相关性最大的位置，即为最佳匹配位置；

步骤三三、将上一步得到的各个匹配块在基准图像顶层上的最佳匹配位置传递给基准图像中间层，得到匹配块在基准图像中间层中的粗匹配位置；并在粗匹配位置的3像素邻域范围内进行搜索，确定各匹配块在基准图像中间层上灰度相关性最大的位置，即为中间层的最佳匹配位置；

步骤三四、将步骤三三得到的各个匹配块在基准图像中间层上的最佳匹配位置传递给基准图像底部层，得到匹配块在基准图像中间底层中的粗匹配位置；并在粗匹配位置的3像素邻域范围内进行搜索，确定各匹配块在基准图像底层上灰度相关性最大的位置，即为底层的最佳匹配位置；

步骤三五、利用步骤三四得到的底层的最佳匹配位置，求取当前图像与基准图像的每一个对应匹配块的局部运动估计矢量；

步骤三六、利用步骤三四得到的底层的最佳匹配位置，求取当前图像与基准图像的每一个对应匹配块的局部运动估计矢量的数学表达式如下：

(Δx_i,Δy_i)＝(u-u′,v-v′)

式中，(Δx_i,Δy_i)表示第i个匹配块的局部运动估计矢量；坐标(u,v)表示当前图像中待匹配块的中心位置，(u′,v′)表示基准图像中被搜索的位置。

5.根据权利要求4所述一种基于改进霍夫变换的图像位置配准方法，其特征在于：步骤三二中所述改进后的六边形搜索算法的具体为：首先，采用相邻搜索位置的距离为12像素的九宫格模板对顶层图像的匹配位置进行粗定位；将九个位置中的最佳位置定位作为初始位置；最后，采用六边形搜索法进行搜索，找到待匹配块的最佳匹配位置。

6.根据权利要求5所述一种基于改进霍夫变换的图像位置配准方法，其特征在于：步骤三二中待匹配块的灰度相关性的数学表达式如下：

式中，I_pre为当前图像，I_ref为基准图像；(u′,v′)表示基准图像中被搜索的位置；r为匹配块的半径；表示当前图像中待匹配块内像素灰度的平均值，表示基准图像中被搜索匹配块内的像素灰度平均值；I_ref(u+a,v+b)为基准图像I_ref第u+a行第v+b列位置上的灰度值；I_pre(u+a,v+b)为当前图像I_pre第u+a行第v+b列位置上的灰度值。

7.根据权利要求1所述一种基于改进霍夫变换的图像位置配准方法，其特征在于：步骤四中对步骤三得到的每个局部运动估计矢量，采用改进霍夫变换方法，对错误的局部运动估计矢量进行剔除具体处理方法和步骤如下：

步骤四一、对步骤三得到的各匹配块的局部运动估计矢量(Δx_i,Δy_i)，求取Δx_i的最大值Δx_max和最小值Δx_min，以及Δy_i的最大值Δy_max和最小值Δy_min；

步骤四二、利用步骤四一得到的局部运动估计矢量各分量的最大值和最小值，建立以Δx和Δy为参数的二维平面坐标系，并将范围为Δx_min≤Δx≤Δx_max，Δy_min≤Δy≤Δy_max的平面细分为固定大小的单元格；

步骤四三、利用步骤四二得到的单元格，将每一个局部运动估计矢量归类到相应的单元格里，并统计各单元格中局部运动估计矢量的个数；保留个数最大的单元格中的局部运动估计矢量。

8.根据权利要求7所述一种基于改进霍夫变换的图像位置配准方法，其特征在于：步骤四二中单元格的尺寸为：2×2像素。