CN104166977A - 一种图像匹配相似性测度方法及其图像匹配方法 - Google Patents

Abstract

本发明涉及一种图像匹配相似性测度方法及其图像匹配方法，对尺寸相同的两幅图像A和B，分别计算它们在x和y方向上的梯度图，并提取相应的边缘图像，然后计算x方向上图像A和B的边缘图像之间的Hausdorff距离xMatch，以及y方向上图像A和B的边缘图像之间的Hausdorff距离yMatch，将作为最终的相似性测度结果。本发明在原有的Hausdorff距离匹配方法的基础上，进一步考虑了梯度矢量方向，利用了边缘的方向信息，丰富了参与匹配的信息维度，对图像匹配增加了有效的方向约束，有效提高了准确率和匹配精度，并对不同的图像具有更强的鲁棒性。

Description

一种图像匹配相似性测度方法及其图像匹配方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种图像匹配相似性测度方法及其图像匹配方法。

背景技术

图像匹配是指把不同的传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准，或根据已知模式到另一幅图中寻找相应的模式。

图像匹配技术是计算机视觉中相当重要的一门技术。它的应用领域极其广阔,如图像分析、目标识别、立体视觉、图像导航、运动分析以及三维重建等。

图像匹配相似性测度是度量图像匹配的标准：即通过比较图像I与其它若干图像的匹配相似性测度，可以判定I的最佳匹配图像；通过比较图像I与图像K中不同图像区域的匹配相似性测度，可以得到图像I在图像K中的最佳匹配位置。

图像匹配方法主要可分为基于点特征的图像匹配方法、基于边缘轮廓特征的图像匹配方法和基于区域特征的图像匹配方法。其中，基于边缘轮廓特征的匹配方法，由于边缘特征具有在不同成像条件下相对稳定、易于提取等特点，应用广泛，尤其在异类传感器图像匹配中是目前最常见的手段。

Hausdorff距离是描述两组点集之间相似程度的一种量度，它是两个点集之间距离的一种定义形式，非常适用于边缘图像等二值特征图像匹配。基于Hausdorff距离的边缘匹配方法具有以下优点：1）Hausdorff距离本身具备部分匹配的性质，从而对边缘残缺等具有良好的鲁棒性；2）Hausdorff距离具有较强的抗干扰能力，从而对边缘噪声等图像中小的扰动不敏感；3）不需要对边缘构造额外的描述；4）计算简单，匹配速度快。然而，该方法的缺陷在于，它仅仅利用了边缘点的位置信息，信息的单薄，使图像匹配容易产生错误和偏差。

发明内容

本发明的目的是提出一种图像匹配相似性测度方法，使图像匹配能更加准确有效，同时提供一种利用该图像匹配相似性测度方法的图像匹配方法。

为实现上述目的，本发明提供的图像匹配相似性测度方法的步骤如下：

（1）选定尺寸相同的图像A和B；

（2）分别计算图像A和B x方向和y方向上的梯度，从而分别得到两幅图像在x、y方向上的梯度图xGradA、xGradB、yGradA、yGradB，所述x方向和y方向是任意两个相互垂直的方向；

（3）分别提取梯度图xGradA、xGradB、yGradA、yGradB依次对应的二值化边缘图像xEdgeA、xEdgeB、yEdgeA和yEdgeB；

（4）计算二值化边缘图像xEdgeA和xEdgeB之间的Hausdorff距离xMatch；计算yEdgeA和yEdgeB之间的Hausdorff距离yMatch；

（5）计算[xMatch，yMatch]到[0，0]的距离nMatch，将其作为图像A和B最终的相似性测度，其计算公式如下： $\mathrm{nMatch}=\sqrt{{\mathrm{xMatch}}^2+{\mathrm{yMatch}}^2}.$

所述步骤（2）中x、y方向梯度的计算是采用梯度算子计算得到。

所述步骤（2）中x方向和y方向分别为水平方向和竖直方向。

所述步骤（3）是采用Canny算法对各梯度图进行非极大值抑制、双阈值分割和边缘细化，得到各梯度图对应的二值边缘图。

本发明提供的图像匹配方法的步骤如下：

1）按照目标图像A的大小在待匹配图像C中滑窗截取与目标图像A尺寸相同的图像B；

2）分别计算图像A和B x方向和y方向上的梯度，从而分别得到两幅图像在x、y方向上的梯度图xGradA、xGradB、yGradA、yGradB，所述x方向和y方向是任意两个相互垂直的方向；

3）分别提取梯度图xGradA、xGradB、yGradA、yGradB依次对应的二值化边缘图像xEdgeA、xEdgeB、yEdgeA和yEdgeB；

4）计算二值化边缘图像xEdgeA和xEdgeB之间的Hausdorff距离xMatch；计算yEdgeA和yEdgeB之间的Hausdorff距离yMatch；

5）计算[xMatch，yMatch]到[0，0]的距离nMatch，将其作为图像A和B最终的相似性测度，其计算公式如下： $\mathrm{nMatch}=\sqrt{x{\mathrm{Match}}^2+{\mathrm{yMatch}}^2},$ 并记录该相似性测度值；

6）重复步骤1）～5），直至滑窗遍历待匹配图像C中任意位置，得到一组各滑窗位置下的相似性测度值；

7）比较该组所有的相似性测度值，其中最小的相似性测度值对应的图像B即为匹配图像。

所述步骤2）中x、y方向梯度的计算是采用梯度算子计算得到。

所述步骤2）中x方向和y方向分别为水平方向和竖直方向。

所述步骤3）是采用Canny算法对各梯度图进行非极大值抑制、双阈值分割和边缘细化，得到各梯度图对应的二值边缘图。

本发明的图像匹配相似性测度方法通过计算两图像x、y方向上的梯度，再分别提取其二值化边缘图像并计算Hausdorff距离，综合两个方向上的Hausdorff距离作为最终的相似性测度。本发明在基于Hausdorff距离边缘匹配的基础上，考虑并利用了边缘的方向信息，丰富了参与匹配的信息维度，为图像匹配增加了方向约束，可以获得更好的匹配准确率和匹配精度，并对不同的图像具有更强的鲁棒性。另外，本发明还可用于图像识别、图像跟踪、图像导航等领域。

附图说明

图1为本发明图像匹配相似性测度方法流程示意图；

图2-1为实施例1仿真图像A；

图2-2为实施例1仿真图像B；

图3-1为实施例1图像A^x方向上的梯度图xGradA；

图3-2为实施例1图像B^x方向上的梯度图xGradB；

图3-3为实施例1图像A^y方向上的梯度图yGradA；

图3-4为实施例1图像B^y方向上的梯度图yGradB；

图4-1为实施例1图像A^x方向上的边缘图像xEdgeA；

图4-2为实施例1图像B^x方向上的边缘图像xEdgeB；

图4-3为实施例1图像A^y方向上的边缘图像yEdgeA；

图4-4为实施例1图像B^y方向上的边缘图像yEdgeB；

图5-1为实施例2仿真图像A2；

图5-2为实施例2仿真图像B2；

图5-3为实施例2的匹配结果示意图；

图6-1为实施例3仿真图像A3；

图6-2为实施例3仿真图像B3；

图6-3为实施例3的匹配结果示意图；

图7-1为实施例4仿真图像A4；

图7-2为实施例4仿真图像B4；

图7-3为实施例4的匹配结果示意图。

具体实施方式

本发明图像匹配相似性测度方法的流程如图1所示，具体步骤如下：

（1）选定尺寸相同的图像（或图像块、图像区域）A和B；

（2）分别计算它们x方向上的梯度图xGradA、xGradB，以及y方向上的梯度图yGradA、yGradB；x和y是任意两个相互垂直的方向；通常采用水平和竖直两个方向；x和y方向梯度的计算是采用梯度算子计算得到，也可以采用小波变换等其它方法，无论是哪种方法只要能够得到相应的梯度，都不影响本发明整体效果的实现；

（3）分别提取梯度图xGradA、xGradB、yGradA、yGradB依次对应的二值化边缘图像xEdgeA、xEdgeB、yEdgeA和yEdgeB；这里可采用Canny算法对各梯度图进行非极大值抑制、双阈值分割和边缘细化，得到各梯度图对应的二值边缘图像；

（4）计算二值化边缘图像xEdgeA和xEdgeB之间的Hausdorff距离xMatch；计算yEdgeA和yEdgeB之间的Hausdorff距离yMatch；这里所说的Hausdorff距离，并不只限于原始的Hausdorff距离定义，还包括从原始的Hausdorff距离衍生出来的部分Hausdorff距离、平均Hausdorff距离、加权Hausdorff距离、LTS Hausdorff距离等所有的广义上的Hausdorff距离形式；

（5）计算[xMatch，yMatch]到[0，0]的距离nMatch，将其作为图像A和B最终的相似性测度，其计算公式如下： $\mathrm{nMatch}=\sqrt{{\mathrm{xMatch}}^2+{\mathrm{yMatch}}^2}.$

下面以一个具体的实施案例1进行说明：

（1）选定尺寸相同的图像（或图像块、图像区域）A和B，如图2-1、2-2所示；

（2）使用Sobel梯度算子计算图像水平（x）和竖直（y）方向上的梯度。Sobel算子有两个3×3的卷积核，分别用于计算水平方向的和竖直方向的梯度分量：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

分别得到两幅图像在x、y方向上的梯度幅值图，图像A在x和y方向上的梯度图分别为xGradA、yGradA，图像B在x和y方向上的梯度图分别为xGradB、yGradB；如图3-1、3-2、3-3、3-4所示；

（3）采用Canny算法（参见CANNY J.A computational approach to edge detection[J].IEEETransactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.）对各梯度图进行非极大值抑制、双阈值分割和边缘细化，得到各梯度图xGradA、yGradA、xGradB、yGradB依次对应的二值边缘图xEdgeA、yEdgeA、xEdgeB和yEdgeB，如图4-1、4-2、4-3、4-4所示；

（4）计算xEdgeA和xEdgeB之间的Hausdorff距离xMatch，，本实施例xMatch=4.3549；以及yEdgeA和yEdgeB之间的Hausdorff距离yMatch，本实施例yMatch=3.3656；

这里Hausdorff距离采用LTS－HD的定义（参见Sim D G,Kwon O K,Park R H.Objectmatching algorithm using robust Hausdorff distance measures[J].IEEE Transactions on ImageProcessing,1999,8(3):425～429）；

（5）计算[xMatch，yMatch]到[0，0]的距离nMatch，将其作为图像A和B最终的相似性测度，其计算公式如下：根据该公式计算最终得到本实施例图像A和图像B相似性测度结果nMatch=5.5038。

利用上述图像匹配相似性测度方法的图像匹配方法，该匹配方法是在图像匹配相似性测度方法的基础上，根据目标图像A的大小在待匹配图像C中滑窗截取与目标图像A尺寸相同的图像B；直至滑窗遍历待匹配图像C中任意位置，计算得到一组各滑窗位置下的相似性测度值；比较该组所有的相似性测度值，其中最小的相似性测度值对应的图像B即为匹配图像。如图5～图7为本发明图像匹配方法的三组实施例的仿真示例，直观展示了本发明图像匹配方法的过程。

最后所应说明的是：以上实施例仅用以说明而非限定本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解；依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种图像匹配相似性测度方法，其特征在于，该方法的步骤如下：

（1）选定目标图像A和与其尺寸相同的图像B；

（2）分别计算图像A和B x方向和y方向上的梯度，从而分别得到两幅图像在x、y方向上的梯度图xGradA、xGradB、yGradA、yGradB，所述x方向和y方向是任意两个相互垂直的方向；

（3）分别提取梯度图xGradA、xGradB、yGradA、yGradB依次对应的二值化边缘图像xEdgeA、xEdgeB、yEdgeA和yEdgeB；

（4）计算二值化边缘图像xEdgeA和xEdgeB之间的Hausdorff距离xMatch；计算yEdgeA和yEdgeB之间的Hausdorff距离yMatch；

（5）计算[xMatch，yMatch]到[0，0]的距离nMatch，将其作为图像A和B最终的相似性测度，其计算公式如下： $\mathrm{nMatch}=\sqrt{{\mathrm{xMatch}}^2+{\mathrm{yMatch}}^2}.$

2.根据权利要求1所述的图像匹配相似性测度方法，其特征在于：所述步骤（2）中x、y方向梯度的计算是采用梯度算子计算得到。

3.根据权利要求1所述的图像匹配相似性测度方法，其特征在于：所述步骤（2）中x方向和y方向分别为水平方向和竖直方向。

4.根据权利要求1-3中任一项所述的图像匹配相似性测度方法，其特征在于：所述步骤（3）是采用Canny算法对各梯度图进行非极大值抑制、双阈值分割和边缘细化，得到各梯度图对应的二值边缘图。

5.一种利用权利要求1所述图像匹配相似性测度方法的图像匹配方法，其特征在于，该方法的步骤如下：

1）按照目标图像A的大小在待匹配图像C中滑窗截取与目标图像A尺寸相同的图像B；

2）分别计算图像A和B x方向和y方向上的梯度，从而分别得到两幅图像在x、y方向上的梯度图xGradA、xGradB、yGradA、yGradB，所述x方向和y方向是任意两个相互垂直的方向；

3）分别提取梯度图xGradA、xGradB、yGradA、yGradB依次对应的二值化边缘图像xEdgeA、xEdgeB、yEdgeA和yEdgeB；

4）计算二值化边缘图像xEdgeA和xEdgeB之间的Hausdorff距离xMatch；计算yEdgeA和yEdgeB之间的Hausdorff距离yMatch；

5）计算[xMatch，yMatch]到[0，0]的距离nMatch，将其作为图像A和B最终的相似性测度，其计算公式如下：并记录该相似性测度值；

6）重复步骤1）～5），直至滑窗遍历待匹配图像C中任意位置，得到一组各滑窗位置下的相似性测度值；

7）比较该组所有的相似性测度值，其中最小的相似性测度值对应的图像B即为匹配图像。

6.根据权利要求5所述的图像匹配方法，其特征在于：所述步骤2）中x、y方向梯度的计算是采用梯度算子计算得到。

7.根据权利要求5所述的图像匹配方法，其特征在于：所述步骤2）中x方向和y方向分别为水平方向和竖直方向。

8.根据权利要求5-7中任一项所述的图像匹配方法，其特征在于：所述步骤3）是采用Canny算法对各梯度图进行非极大值抑制、双阈值分割和边缘细化，得到各梯度图对应的二值边缘图。