CN101833762A - 基于对象间粗大边缘和拟合的异源图像匹配的方法 - Google Patents

Abstract

本发明公开了一种基于对象间粗大边缘和拟合的异源图像匹配的方法，根据可见光、红外和雷达等异源图像中对象间的粗大边缘具有可匹配的共性特点，提出了基于对象间粗大边缘的异源图像匹配的方法，现有基于边缘的匹配方法容易受到边缘局部突变点、毛刺、变形和残缺影响，采用基于道格拉斯-普克拟合的方法以去除这些影响，对保留的边缘点构建二维几何特征不变量，以此进行相似性的度量和边缘点的匹配。本发明实现了可见光、红外与雷达异源图像的匹配。

Description

基于对象间粗大边缘和拟合的异源图像匹配的方法

技术领域

本发明涉及一种遥感、模式识别、导航制导、医学诊断、计算机视觉等领域中的异源图像匹配方法，属于图像匹配技术领域。

背景技术

图像匹配是图像处理的基本任务之一，用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的关于同一目标或场景的两幅或多幅图像进行(主要是几何意义上的)匹配的过程。

现有的研究绝大多数是针对同源图像的，而近年来，随着各种类型成像传感器的出现，多源图像匹配技术有着众多领域的重要而广泛应用，比如可见光、红外和雷达图像间的自动高可靠匹配是当前国际的一个重大需求和迫切要解决的热点和难题问题。

发明内容

本发明的目的是提供一种基于对象间粗大边缘和拟合的异源图像匹配的方法，以实现异源图像的配准。

本发明是采取以下的技术方案来实现的：基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于根据可见光、红外和雷达等异源图像中对象间的粗大边缘具有可匹配的共性特点，提出了基于对象间粗大边缘的异源图像匹配的方法，采用基于道格拉斯-普克拟合的方法以去除边缘局部突变点、毛刺、变形和残缺的影响，这些影响，对保留的边缘点构建二维几何特征不变量，以此进行相似性的度量和边缘点的匹配

基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于包括以下步骤：

(1)为了能得到图像中比较完整的长边缘，对图像进行融合颜色和纹理特征的图像聚类分割；

(2)利用边缘检测算法对聚类后的图像进行边缘检测，并采用边界跟踪算法对边缘检测的结果进行断点连接和边缘跟踪，得到原图像的边缘点序列；

(3)采用基于道格拉斯-普克多边形拟合的算法对边缘曲线进行拟合，以克服噪声和变形的影响；

(4)对拟合的边缘点构建二维几何特征不变量，用于相似性的度量并利用该描述子进行边缘点的匹配。

在所述步骤(1)中，前述的对图像进行融合颜色和纹理特征的图像聚类分割过程，包括以下步骤：

(1)建立图像的3D直方图，通过无监督的峰值查找算法，得到其局部极值点，对应的颜色量化值作为图像的近似主色成分；

(2)以熵图像作为图像纹理特征的度量，得到纹理图像；

(3)根据(1)、(2)两步的结果构建4维特征空间，综合图像的颜色和纹理特征描述，并在该特征空间对图像像素点进行K均值聚类，从而得到整幅图像的聚类分割。

前述的针对3D直方图的无监督的峰值查找算法，包括以下步骤：

(1)对3D直方图中的每个颜色标记点，在其26邻域内比较对应的像素个数，得到26邻域内的局部极大值点集P₁；

(2)从P₁中剔除频率值较小的极值点，即对P₁中的点，如果原图中与该点颜色值近似的像素数小于某一阈值，则予以剔除，从而得到一个新的点集P₂，其中对应点的颜色量化值即作为图像的主色成分。

前述的阈值取为图像长宽的较小值×0.4。

在所述步骤(3)中，前述的基于道格拉斯-普克多边形拟合的算法对边缘曲线进行拟合过程，假设给定一条由一系列点逼近的曲线，从中找出一个原始点的子集，来近似表达曲线，从而达到消除原边缘曲线局部突变点以及毛刺的影响，而只保留其主要形状特征的目的。具体步骤如下：

(1)对每一条曲线的首末点虚连一条直线，求所有点与直线的距离，并找出最大距离值dmax；

(2)用dmax与限差D相比，若dmax＜D，这条曲线上的中间点全部舍去；若dmax≥D，保留dmax对应的坐标点，并以该点为界，把曲线分为两部分，对这两部分重复使用该方法。

前述的限差D，限差D越大，则保留的点越少，原边缘与近似边缘的差异度也就越大。所以，对于不同分辨率的两幅图像，限差D₁与限差D₂的比等于两幅图像的缩放比例。

前述的两幅图像的缩放比例，其特征在于：当已知获得两幅图像的焦距和物距时，缩放比例T的计算是：

$T=\frac{s_1/f_1}{s_2/f_2}=\frac{s_1{f}_2}{s_2{f}_1}---\left(1\right)$

其中，s₁、s₂分别表示两幅图像拍摄目标距离，f₁、f₂分别表示两幅图像光学系统焦距。

当未知获得两幅图像的焦距和物距时，缩放比例T为两幅图像提取边缘的外接矩形长边的边长比。

在所述步骤(4)中，对拟合的边缘点构建了二维几何特征不变量过程中，特征点p₂的距离特征量表示为：

$\mathrm{dist}\left(P_2\right)=\frac{\max \left\{\right|\stackrel{\→}{P_2{P}_1}|,|\stackrel{\→}{P_2{P}_3}\left|\right\}}{\min \left\{\right|\stackrel{\→}{P_2{P}_1}|,|\stackrel{\→}{P_2{P}_3}\left|\right\}}---\left(2\right)$

其中，p₁、p₃表示与特征点p₂相邻的两个特征点。

特征点p₂的角度特征量表示为：

$\mathrm{\α}\left(P_2\right)=\arccos \frac{(x_1-x_2)(x_3-x_2)+(y_1-y_2)(y_3-y_2)}{\left|\stackrel{\→}{P_2{P}_1}\right|\left|\stackrel{\→}{P_2{P}_3}\right|}---\left(3\right)$

其中，(x₁，y₁)、(x₂，y₂)、(x₃，p₁)分别表示特征点p₁、p₂、p₃的坐标。

在所述步骤(4)中，前述的根据特征描述子进行边缘点的匹配，对第一幅图像中的每个边缘点，遍历另一幅图像中的所有边缘点，比较两个点间的特征描述子差异，如果两个特征量差值均在一定范围内，则认为是正确的匹配对。

至此，一个完整的基于边缘的不同分辨率图像匹配过程执行完毕。

本发明通过对图像提取的粗大边缘进行配准，实现不同分辨率(4倍缩放关系)图像边缘点的正确匹配，并且对旋转、平移等变化也有很好的鲁棒性，同时可以应用于不同源的可见光与红外图像的匹配。

附图说明

图1为本发明基于边缘的图像匹配算法流程图；

图2为本发明融合多特征的图像分割算法流程图；

图3道格拉斯-普克算法原理；

图4几何特征不变量的构建示意图。

具体实施方式

下面结合具体实施方式对本发明做进一步的详细说明。

参照图1，基于边缘的图像匹配算法包括以下步骤：

第一步，为了获得图像的粗大边缘，对图像进行融合颜色和纹理特征的图像聚类分割；

第二步，利用Canny边缘检测算法对聚类后的图像进行边缘检测，并采用边界跟踪算法对边缘检测的结果进行断点连接和边缘跟踪，得到原图像的边缘点序列；

第三步，采用基于道格拉斯-普克多边形拟合的算法对边缘曲线进行拟合，以克服噪声和变形的影响；

第四步，对拟合的边缘点构建了二维几何特征不变量，以用于相似性的度量并利用该描述子进行边缘点的匹配。

为了准确地对彩色图像自动分割，自适应地确定聚类个数，并且与人眼对图像的视觉感受一致，很好地再现图像的概貌特征，对图像进行了融合颜色和纹理特征的图像聚类分割，融合多特征的图像分割算法流程见图2。具体来说，包括以下步骤：

第一步，建立图像的3D直方图，通过无监督的峰值查找算法，得到其局部极值点，对应的颜色量化值作为图像的近似主色成分；

第二步，以熵图像作为图像纹理特征的度量，得到纹理图像；

第三步，构建4维特征空间，综合图像的颜色和纹理特征描述，并在该特征空间对图像像素点进行K均值聚类，从而得到整幅图像的聚类分割。

利用Canny边缘检测算法对聚类后的图像进行边缘检测，采用边界跟踪算法对边缘检测的结果进行断点连接和边缘跟踪，得到原图像的边缘点序列。为了克服噪声和变形的影响，采用了基于道格拉斯-普克多边形拟合的算法对边缘曲线进行拟合。参照图3其算法原理为：假设给定一条由一系列点逼近的曲线，从中找出一个原始点的子集，来近似表达曲线，从而达到消除原边缘曲线局部突变点以及毛刺的影响，而只保留其主要形状特征的目的。具体步骤如下：

第一步，对每一条曲线的首末点虚连一条直线，求所有点与直线的距离，并找出最大距离值dmax；

第二步，用dmax与限差D相比，若dmax＜D，这条曲线上的中间点全部舍去；若dmax≥D，保留dmax对应的坐标点，并以该点为界，把曲线分为两部分，对这两部分重复使用该方法。

参照图4，对拟合的边缘点构建了二维几何特征不变量，特征点p₂的距离特征量表示为：

$\mathrm{dist}\left(P_2\right)=\frac{\max \left\{\right|\stackrel{\→}{P_2{P}_1}|,|\stackrel{\→}{P_2{P}_3}\left|\right\}}{\min \left\{\right|\stackrel{\→}{P_2{P}_1}|,|\stackrel{\→}{P_2{P}_3}\left|\right\}}---\left(1\right)$

其中，p₁、p₃表示与特征点p₂相邻的两个特征点。

特征点p₂的角度特征量表示为：

$\mathrm{\α}\left(P_2\right)=\arccos \frac{(x_1-x_2)(x_3-x_2)+(y_1-y_2)(y_3-y_2)}{\left|\stackrel{\→}{P_2{P}_1}\right|\left|\stackrel{\→}{P_2{P}_3}\right|}---\left(2\right)$

其中，(x₁，y₁)、(x₂，y₂)、(x₃，p₁)分别表示特征点p₁、p₂、p₃的坐标。

根据上述的特征描述子进行边缘点的匹配。即对第一幅图像中的每个边缘点，遍历另一幅图像中的所有边缘点，比较两个点间的特征描述子差异，如果两个特征量差值均在一定范围内，则认为是正确的匹配对。

综上所述，本发明通过对图像中提取的粗大边缘进行配准，实现不同分辨率(4倍缩放关系)图像边缘点的正确匹配，并且对旋转、平移等变化也有很好的鲁棒性，同时可以应用于异源的可见光与红外图像的匹配。

上述具体实施方式不以任何形式限制本发明的技术方案，凡是采用等同替换或等效变换的方式所获得的技术方案均落在本发明的保护范围。

以上已以较佳实施例公开了本发明，然其并非用以限制本发明，凡采用等同替换或者等效变换方式所获得的技术方案，均落在本发明的保护范围之内。

Claims (9)

1.基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于，包括以下步骤：

(1)为了能得到图像中比较完整的长边缘，对图像进行融合颜色和纹理特征的图像聚类分割；

(2)利用边缘检测算法对聚类后的图像进行边缘检测，并采用边界跟踪算法对边缘检测的结果进行断点连接和边缘跟踪，得到原图像的边缘点序列；

(3)采用基于道格拉斯-普克多边形拟合的算法对边缘曲线进行拟合，以克服噪声和变形的影响；

(4)对拟合的边缘点构建二维几何特征不变量，用于相似性的度量并利用该描述子进行边缘点的匹配。

2.根据权利要求1所述的基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于：在所述步骤1)中，对图像进行融合颜色和纹理特征的图像聚类分割过程包括以下步骤：

(1)建立图像的3D直方图，通过无监督的峰值查找算法，得到其局部极值点，对应的颜色量化值作为图像的近似主色成分；

(2)以熵图像作为图像纹理特征的度量，得到纹理图像；

(3)根据(1)、(2)两步的结果构建4维特征空间，综合图像的颜色和纹理特征描述，并在该特征空间对图像像素点进行K均值聚类，从而得到整幅图像的聚类分割。

3.根据权利要求2所述的基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于：针对3D直方图的无监督的峰值查找算法，包括以下步骤：

(1)对3D直方图中的每个颜色标记点，在其26邻域内比较对应的像素个数，得到26邻域内的局部极大值点集P₁；

(2)从P₁中剔除频率值较小的极值点，即对P₁中的点，如果原图中与该点颜色值近似的像素数小于某一阈值，则予以剔除，从而得到一个新的点集P₂，其中对应点的颜色量化值即作为图像的主色成分。

4.根据权利要求3所述的基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于：所述阈值取为图像长宽的较小值×0.4。

5.根据权利要求1所述的基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于：在所述步骤(3)中，基于道格拉斯-普克多边形拟合的算法对边缘曲线进行拟合过程为：

(1)对每一条曲线的首末点虚连一条直线，求所有点与直线的距离，并找出最大距离值dmax；

(2)用dmax与限差D相比，若dmax＜D，这条曲线上的中间点全部舍去；若dmax≥D，保留dmax对应的坐标点，并以该点为界，把曲线分为两部分，对这两部分重复使用该方法。

6.根据权利要求5所述的基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于：限差D越大，则保留的点越少，原边缘与近似边缘的差异度也就越大，对于不同分辨率的两幅图像，限差D₁与限差D₂的比等于两幅图像的缩放比例。

7.根据权利要求6所述的基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于：当已知获得两幅图像的焦距和物距时，两幅图像缩放比例T的计算式为：

$T=\frac{s_1/f_1}{s_2/f_2}=\frac{s_1{f}_2}{s_2{f}_1}---\left(1\right)$

其中，s₁、s₂分别表示拍摄目标距离，f₁、f₂分别表示光学系统焦距；

当未知获得两幅图像的焦距和物距时，缩放比例T为两幅图像提取边缘的外接矩形长边的边长比。

8.根据权利要求1所述的基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于：在所述步骤(4)中，对拟合的边缘点构建二维几何特征不变量过程中，特征点p₂的距离特征量表示为：

$\mathrm{dist}\left(P_2\right)=\frac{\max \left\{\right|\stackrel{\→}{P_2{P}_1}|,|\stackrel{\→}{P_2{P}_3}\left|\right\}}{\min \left\{\right|\stackrel{\→}{P_2{P}_1}|,|\stackrel{\→}{P_2{P}_3}\left|\right\}}---\left(2\right)$

其中，p₁、p₃表示与特征点p₂相邻的两个特征点；

特征点P₂的角度特征量表示为：

$\mathrm{\α}\left(P_2\right)=\arccos \frac{(x_1-x_2)(x_3-x_2)+(y_1-y_2)(y_3-y_2)}{\left|\stackrel{\→}{P_2{P}_1}\right|\left|\stackrel{\→}{P_2{P}_3}\right|}---\left(3\right)$

其中，(x₁，y₁)、(x₂，y₂)、(x₃，p₁)分别表示特征点p₁、p₂、p₃的坐标。

9.根据权利要求1所述的基于对象间粗大边缘和拟合的异源图像匹配的方法，其特征在于：在所述步骤(4)中，根据特征描述子进行边缘点的匹配过程中，对第一幅图像中的每个边缘点，遍历另一幅图像中的所有边缘点，比较两个点间的特征描述子差异，如果两个特征量差值均在一定范围内，则认为是正确的匹配对。

Images