CN103544706A - 一种面向海洋数据可视化的图像序列匹配方法 - Google Patents

Abstract

本发明公开一种面向海洋数据可视化的图像序列匹配方法，其包括步骤：融合点和区域的关键区域检测与描述；以及关键区域匹配。该关键区域匹配的步骤进一步包括基于欧式距离的匹配；以及排除误检匹配。该排除误检匹配的步骤包括基于平均运动距离的粗匹配和基于随机抽样一致性的精确匹配。本发明能适应于多样化的图像数据，具有明显视觉特征，精确度高，且匹配效率高。

Description

一种面向海洋数据可视化的图像序列匹配方法

技术领域

本发明涉及图像处理领域，特别涉及一种面向海洋数据可视化的图像序列匹配方法。

背景技术

图像序列数据在海洋数据中占有较大比例，直接通过图像序列数据展示海洋信息不够直观。因此，研究者通常使用基于全景图技术或基于三维重建技术对海洋信息进行展示。在由图像序列数据获得全景图和三维信息的过程中，图像序列的匹配问题是其关键。

早期的技术人员直接使用图像的颜色信息来匹配图像，但是由于光照的变化，视角的多样性等影响，使得其匹配准确率不高。近年来技术人员提出了基于局部特征的图像匹配方法，该方法的核心技术主要包括两部分：关键区域的检测和关键区域的描述。在检测部分，通常仅使用点的检测或区域的检测，不能满足多样性的海洋数据的需求；在基于点的检测方法中，现在应用最广泛的是尺度不变特征变换(SIFT，Scale Invariant Feature Transform)检测子，该类方法使用的特征点不具有明显的视觉特性，在海洋数据可视化的应用中受到一定的限制；在误匹配的排除过程中，通常直接使用随机抽样一致性（RANSAC，RANdom Sample Consensus）方法，时间复杂度较高。

现有技术有如下缺点：

（1）关键区域仅使用点检测或区域检测得到，较单一，影响匹配准确率且不能适应多样化的图像数据。

（2）所使用的特征点不具有视觉特性。

（3）精确匹配过程耗时较长。

发明内容

本发明主要解决的技术问题是提供一种面向海洋数据可视化的图像序列匹配方法，解决现有基于特征的图像匹配方法中所使用关键区域较单一，不能适应于多样化的图像数据，不具有明显视觉特征，精确度不高，耗时较长的问题。

为解决上述技术问题，本发明采用的技术方案是：提供一种面向海洋数据可视化的图像序列匹配方法，其包括步骤：融合点和区域的关键区域检测与描述；以及关键区域匹配。该关键区域匹配的步骤进一步包括基于欧式距离的匹配；以及排除误检匹配。该排除误检匹配的步骤包括基于平均运动距离的粗匹配和基于随机抽样一致性的精确匹配。

在本发明一个较佳实施例中，所述融合点和区域的关键区域检测包括如下步骤：输入图像；对输入图像进行点检测，所使用的点检测方法为Harris角点，得到角点集合；对角点集合进行筛选，取特征最明显的前1/4角点构成的角点集作为构成关键区域的部分之一；对输入图像进行区域检测，所使用的区域检测方法为最稳定极值区域检测，得到区域集合；对区域集合进行筛选，将周围区域纹理不明显的区域排除，得到区域集作为构成关键区域的部分之一；以及由角点集和区域集构成最终的关键区域集合。

在本发明一个较佳实施例中，所述融合点和区域的关键区域描述包括Harris角点方向描述和最稳定极值区域描述。

在本发明一个较佳实施例中，所述Harris角点方向描述方法包括如下步骤：选择Harris角点周围3*3邻域的点；计算邻域内点的梯度大小和方向；通过直方图统计法对邻截至内的点进行投影；以及累加值最大的三个方向描述角点方向。

在本发明一个较佳实施例中，选择Harris角点周围3*3邻域的9个点；分别对该9个点利用公式m(x,y)＝{(L(x+1),y）-L(x-1,y))²+(L(x,y+1)-L(x,y-1))²}^1/2和θ(x,y)＝tan^-1(((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))计算梯度大小和方向，其中，m(x，y)为梯度大小，θ（x,y）为梯度方向，（x,y）为角点对应的坐标，L(x,y)为对应于点(x,y)的灰度值；通过直方图统计法，将角点3*3邻域内的9个点投影到0-360度平均分成的具有36个柱的直方图中。

在本发明一个较佳实施例中，所述最稳定极值区域通过椭圆拟合方法对其进行拟合，然后进行椭圆归一化将其归一化为圆；且以梯度累加值最大的第一个方向作为最稳定极值区域的方向。

在本发明一个较佳实施例中，所述关键区域匹配过程包括：基于欧式距离的匹配；以及排除误检匹配；其中，排除误检匹配步骤进一步包括基于平均运动距离的粗匹配和基于随机抽样一致性的精确匹配。

在本发明一个较佳实施例中，所述基于欧式距离的匹配步骤中，通过欧式距离对关键区域进行匹配得到最原始的匹配结果，欧式距离的计算方法如下式所示：

$D=\sqrt{{(x_1-{x\text{'}}_1)}^2+{(x_2-{x\text{'}}_2)}^2+...+{(x_{128}-{x\text{'}}_{128})}^2}$

其中，(x₁,x₂...x₁₂₈)，(x′₁,x′₂...x′₁₂₈)为待匹配的两个关键区域对应的特征向量；D越小，匹配程度越高。

在本发明一个较佳实施例中，所述基于平均运动距离的粗匹配包括如下子步骤：使用欧氏距离公式计算图像中关键区域的运动距离；

其中（X1,Y1），(X2,Y2)为两幅图中关键区域中心的坐标；计算所有关键区域的平均运动距离，

其中，

为关键点运动距离平均值，n为两幅图像的关键区域的总数；排除两幅图像中距离边缘小于

的关键区域；以及排除两幅图像中距离满足

或

的关键区域，其中，t1=0.5，t2=1.5。

本发明的有益效果是：首先，提出融合点（Harris角点）和区域（MSER区域）的关键区域检测方法，以实现对多样化图像数据的适应性，有效实现了对具有明显视觉特征的点—角点的方向特征描述。然后，在对关键区域描述的过程中，针对Harris角点，提出方向特征的描述方法。最后，在匹配时，提出两步法，通过基于平均距离的方法完成粗匹配，在粗匹配的结果上，通过RANSAC方法完成精确匹配，以提高匹配的效率。本发明有效解决现有基于特征的图像匹配方法中所使用关键区域较单一，不能适应于多样化的图像数据，不具有明显视觉特征，精确度不高，耗时较长的问题。

附图说明

图1是本发明所述面向海洋数据可视化的图像序列匹配方法较佳实施方式的融合点和区域的关键区域检测流程图；

图2是本发明所述面向海洋数据可视化的图像序列匹配方法较佳实施方式的基于直方图统计的Harris角点方向描述方法的流程图；

图3是本发明所述面向海洋数据可视化的图像序列匹配方法较佳实施方式的关键区域匹配流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

本发明目的在于提出一种面向海洋数据可视化的图像序列匹配方法，主要包括两个部分：融合点和区域的关键区域检测与描述，关键区域匹配。

如图1所示，其为融合点和区域的关键区域检测流程图。融合点和区域的关键区域检测的具体过程包括如下步骤：

步骤S10：输入图像。

步骤S11：对输入图像进行点检测，所使用的点检测方法为Harris角点，得到角点集合。

步骤S12：对角点集合进行筛选，取特征最明显的前1/4角点构成的角点集SET-CORNER作为构成关键区域的部分之一。

步骤S13：对输入图像进行区域检测，所使用的区域检测方法为最稳定极值区域（MSER，Maximally Stable Extremal Region）区域检测，得到区域集合。

步骤S14：对区域集合进行筛选，将周围区域纹理不明显的区域排除，得到区域集SET-REGION作为构成关键区域的部分之一。

步骤S15：由角点集SET-CORNER和区域集SET-REGION构成最终的关键区域集合SET-KEY。

进一步地，融合点和区域的关键区域描述包括Harris角点方向描述和MSER区域描述。

其中，对于Harris角点，为了适应旋转等变化的影响，提出基于直方图统计的Harris角点的方向描述方法。在得到角点方向后，通过尺度不变的特征变换(SIFT，Scale-invariant feature transform)描述子对角点进行描述。

如图2所示，其为基于直方图统计的Harris角点方向描述方法的流程图。基于直方图统计的Harris角点方向描述方法的具体计算方法如下：

步骤S21：选择Harris角点周围3*3邻域的9个点。

步骤S22：计算邻域内点的梯度大小和方向。分别对该9个点计算梯度大小和方向，方法如下式所示:

m(x,y)＝{(L(x+1),y）-L(x-1,y))²+(L(x,y+1)-L(x,y-1))²}^1/2

θ(x,y)＝tan^-1(((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

其中，m(x，y)为梯度大小，θ（x,y）为梯度方向，（x,y）为角点对应的坐标，L(x,y)为对应于点(x,y)的灰度值。

步骤S23：通过直方图统计法对邻域内的点进行投影。通过直方图统计法，将角点3*3邻域内的9个点投影到0-360度平均分成的具有36个柱的直方图中。投影方法为：梯度方向在同一个柱内的值按梯度大小累加。

步骤S24：累加值最大的三个方向描述角点方向。即，根据harris角点特性，找出直方图中梯度累加值最大的前三个方向作为角点的方向。

对于MSER区域，通过椭圆拟合方法对其进行拟合，然后进行椭圆归一化将其归一化为圆，使用与Harris角点类似的方法对MSER区域进行描述，所不同的是，对于MSER区域，只取上面步骤S24中梯度累加值最大的第一个方向作为MSER区域的方向。

上述已得到关键区域及其描述。

请进一步参考图3，其为关键区域匹配流程图。关键区域匹配过程包括如下步骤：

步骤S31：基于欧式距离的匹配。通过欧式距离对关键区域进行匹配得到最原始的匹配结果，欧式距离的计算方法如下式所示：

$D=\sqrt{{(x_1-{x\text{'}}_1)}^2+{(x_2-{x\text{'}}_2)}^2+...+{(x_{128}-{x\text{'}}_{128})}^2}$

其中，(x₁,x₂...x₁₂₈)，(x′₁,x′₂...x′₁₂₈)为待匹配的两个关键区域对应的特征向量。D越小，说明匹配程度越高。

针对原始匹配结果中存在误匹配问题，本发明还包括图3中标示为S32的排除误检匹配步骤，其通过两步法来进行，包括步骤S321：基于平均运动距离的粗匹配；和步骤S322：基于RANSAC的精确匹配。

步骤S321：基于平均运动距离的粗匹配方法。该步骤由如下子步骤实现：

1)使用欧氏距离公式计算图像中关键区域的运动距离，如下式所示，其中（X₁,Y₁），(X₂,Y₂)为两幅图中关键区域中心的坐标。

$\mathrm{Dis}\tan \mathrm{ce}=\sqrt{{(X_1-X_2)}^2+{(Y_1-Y_2)}^2}$

2)计算所有关键区域的平均运动距离，如下式所示，其中，

为关键点运动距离平均值，n为两幅图像的关键区域的总数。

$\stackrel{\‾}{D}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{Dis}\tan \mathrm{ce}}_i$

排除两幅图像中距离边缘小于

的关键区域。

3)排除两幅图像中距离满足下式的关键区域，其中，t₁=0.5，t₂=1.5。

${\mathrm{Dis}\tan \mathrm{ce}}_i=<t_1\stackrel{\&OverBar;}{D}$ 或 ${\mathrm{Dis}\tan \mathrm{ce}}_i>t_2\stackrel{\&OverBar;}{D}$

步骤S322：在粗匹配的基础上，使用RANSAC方法对关键区域进行精确匹配。

综上所述，本发明所述的面向海洋数据可视化的图像序列匹配方法，首先提出融合点（Harris角点）和区域（MSER区域）的关键区域检测方法，以实现对多样化图像数据的适应性，有效实现了对具有明显视觉特征的点—角点的方向特征描述。然后，在对关键区域描述的过程中，针对Harris角点，提出方向特征的描述方法。最后，在匹配时，提出两步法，通过基于平均距离的方法完成粗匹配，在粗匹配的结果上，通过RANSAC方法完成精确匹配，以提高匹配的效率。本发明有效解决现有基于特征的图像匹配方法中所使用关键区域较单一，不能适应于多样化的图像数据，不具有明显视觉特征，精确度不高，耗时较长的问题。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种面向海洋数据可视化的图像序列匹配方法，其包括步骤：

融合点和区域的关键区域检测与描述；以及

关键区域匹配，该步骤进一步包括：

基于欧式距离的匹配；以及

排除误检匹配，该步骤包括基于平均运动距离的粗匹配和基于随机抽样一致性的精确匹配。

2.如权利要求1所述的面向海洋数据可视化的图像序列匹配方法，其特征在于，所述融合点和区域的关键区域检测包括如下步骤：

输入图像；

对输入图像进行点检测，所使用的点检测方法为Harris角点，得到角点集合；

对角点集合进行筛选，取特征最明显的前1/4角点构成的角点集作为构成关键区域的部分之一；

对输入图像进行区域检测，所使用的区域检测方法为最稳定极值区域检测，得到区域集合；

对区域集合进行筛选，将周围区域纹理不明显的区域排除，得到区域集作为构成关键区域的部分之一；以及

由角点集和区域集构成最终的关键区域集合。

3.如权利要求1所述的面向海洋数据可视化的图像序列匹配方法，其特征在于，所述融合点和区域的关键区域描述包括Harris角点方向描述和最稳定极值区域描述。

4.如权利要求3所述的面向海洋数据可视化的图像序列匹配方法，其特征在于，所述Harris角点方向描述方法包括如下步骤：

选择Harris角点周围3*3邻域的点；

计算邻域内点的梯度大小和方向；

通过直方图统计法对邻截至内的点进行投影；以及

累加值最大的三个方向描述角点方向。

5.如权利要求4所述的面向海洋数据可视化的图像序列匹配方法，其特征在于，所述步骤中，选择Harris角点周围3*3邻域的9个点；分别对该9个点利用公式m(x,y)＝{(L(x+1),y）-L(x-1,y))²+(L(x,y+1)-L(x,y-1))²}^1/2和θ(x,y)＝tan^-1(((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))计算梯度大小和方向，其中，m(x，y)为梯度大小，θ（x,y）为梯度方向，（x,y）为角点对应的坐标，L(x,y)为对应于点(x,y)的灰度值；通过直方图统计法，将角点3*3邻域内的9个点投影到0-360度平均分成的具有36个柱的直方图中。

6.如权利要求4所述的面向海洋数据可视化的图像序列匹配方法，其特征在于，所述最稳定极值区域通过椭圆拟合方法对其进行拟合，然后进行椭圆归一化将其归一化为圆；且以梯度累加值最大的第一个方向作为最稳定极值区域的方向。

7.如权利要求5所述的面向海洋数据可视化的图像序列匹配方法，其特征在于，所述最稳定极值区域通过椭圆拟合方法对其进行拟合，然后进行椭圆归一化将其归一化为圆；且以梯度累加值最大的第一个方向作为最稳定极值区域的方向。

8.如权利要求1所述的面向海洋数据可视化的图像序列匹配方法，其特征在于，所述关键区域匹配过程包括如下步骤：

基于欧式距离的匹配；以及

排除误检匹配；其中，排除误检匹配步骤进一步包括基于平均运动距离的粗匹配和基于随机抽样一致性的精确匹配。

9.如权利要求8所述的面向海洋数据可视化的图像序列匹配方法，其特征在于，所述基于欧式距离的匹配步骤中，通过欧式距离对关键区域进行匹配得到最原始的匹配结果，欧式距离的计算方法如下式所示：

$D=\sqrt{{(x_1-{x\text{'}}_1)}^2+{(x_2-{x\text{'}}_2)}^2+...+{(x_{128}-{x\text{'}}_{128})}^2}$

其中，(x₁,x₂...x₁₂₈)，(x′₁,x′₂...x′₁₂₈)为待匹配的两个关键区域对应的特征向量；D越小，匹配程度越高。

10.如权利要求8所述的面向海洋数据可视化的图像序列匹配方法，其特征在于，所述基于平均运动距离的粗匹配包括如下子步骤：

使用欧氏距离公式计算图像中关键区域的运动距离；其中（X₁,Y₁），(X₂,Y₂)为两幅图中关键区域中心的坐标；

计算所有关键区域的平均运动距离，

其中，

为关键点运动距离平均值，n为两幅图像的关键区域的总数；排除两幅图像中距离边缘小于

的关键区域；以及

排除两幅图像中距离满足

或

的关键区域，其中，t₁=0.5，t₂=1.5。

Images