CN104008542A - 一种针对特定平面图形的快速角点匹配方法 - Google Patents

Abstract

本发明提供了一种针对特定平面图形的快速角点匹配方法，包括步骤：（1）制作特定棋盘格图纸，布置在单色环境的平面上。（2）对图像进行灰度化及相应预处理工作。（3）通过harris角点检测算子进行角点检测，分别获取两张图像的角点坐标。（4）通过自定义的方向向量和先验匹配点坐标差范围进行角点匹配。（5）以SSD作为相似度评价指标，进一步提高匹配角点的精度。该方法具有匹配速度快，精度高，误匹配率低的优点。本发明可用于求取双目摄像机针对该平面的单应矩阵。

Description

一种针对特定平面图形的快速角点匹配方法

技术领域

本发明涉及图像配准领域，具体涉及一种针对特定平面图形的特征点匹配方法。

背景技术

图像配准属于计算机视觉领域的一个研究热点问题，是对摄像机在不同时间、不同视角等条件下获取的两幅或多幅图像进行匹配融合。其中常用的方法有基于灰度的图像配准和基于特征的图像配准。基于特征的图像配准中，特征主要针对点特征。基于点特征的图像配准，其实现步骤主要分为特征点的提取和特征点的匹配，再通过匹配点对来建立空间几何变换模型，实现图像配准。

在多视觉几何应用中，常常需要计算两台或多台摄像机基于同一平面的单应矩阵，以此来确定摄像机之间的几何位置关系。若使用DLT(直接线性变换)算法计算单应矩阵，则首先需要已知若干对基于某一外平面的匹配点。因此，需要一种简单易实现、匹配精度高、误匹配率低的方法来完成特征点的匹配工作。

为了自动完成两台摄像机针对同一外平面的特征点匹配工作，本发明设计了一种便于角点提取的特殊棋盘格平面图形，通过角点检测算法提取角点，并使用自定义的方向向量和先验坐标差进行角点匹配，再使用SSD(差的平方和)作为相似度检测标准，对初匹配的坐标点进行优化，得到更精确的匹配点坐标对。

发明内容

本发明提出了一种针对特定平面图形的快速角点匹配方法，与现有的特征点匹配方法相比，具有简单易实现、匹配精度高、误匹配率低的特点。本发明至少采用如下技术方案之一实现。

一种针对特定平面图形的快速角点匹配方法，其包括如下步骤：

(1)制作一张棋盘格平面图形，布置在单色环境的平面上；该平面图形被划分成若干个大小相同的白色矩形区域，并以黑色线条间隔之；拍摄图像时，使棋盘格平面图形尽量多的充满拍摄图像画面；

(2)对拍摄的两张平面图像进行灰度化及相应预处理工作，具体包括：

(2a)若摄像机拍摄的图像存在畸变现象，则应首先进行畸变矫正工作；

(2b)若摄像机拍摄的图像为彩色图像，则需要对图像进行灰度化处理；

(3)使用harris角点检测算子，通过预设阈值和非最大值抑制的方法，分别对获取的两张灰度图像即图像1和图像2进行角点检测，得到两张图像的备选角点坐标序列；

(4)通过自定义的方向向量和先验匹配点坐标差范围进行角点匹配，具体包括：

(4a)方向向量是利用周围领域的颜色值进行计算的，向量仅存在4个值，不能计算出方向向量的角点被删掉，从而筛选出存在方向向量的角点并记录其方向向量；

(4b)从步骤(4a)筛选出的两张图像的角点中，随机选择5对匹配点坐标对，计算其坐标值之差的均值，确定为两张图像间的近似坐标差均值E_c；遍历步骤(4a)得到图像1的角点，利用方向向量相等和abs(E-E_c)<Threshold两个条件作为匹配成功的条件，到图像2的角点中进行搜索，得到匹配点坐标对；

(5)以SSD作为相似度评价指标，将步骤(4b)得到的匹配点对进行坐标微调，进一步提高匹配角点的精度。

作为优化的，所述步骤(1)中所述黑色线条在图像上所占的宽度大于10个像素值。

作为优化的，所述步骤(1)中拍摄的图像中所述黑色线条为横平竖直的状态，即水平黑色线条的倾斜程度不超过15°，竖直黑色线条的倾斜程度也不超过15°。

作为优化的，步骤(4a)中所述的方向向量的确定方法如下：

遍历步骤(3)得到的备选角点，以角点位置为中心，设置一个7*7的方形区域，查询方形四个顶点位置的颜色值，若三个颜色值为黑色，一个颜色值为白色，则规定指向白色顶点的方向作为该角点的方向；并规定数字1,2,3,4分别作为指向左上、右上、左下、右下的方向向量。

作为优化的步骤(4b)中所述的abs(E-E_c)<Threshold中，

E为当前待检测的角点间对坐标差(X₁–X₂,Y₁–Y₂)；

E_c作为两张图像匹配角点间的近似平均坐标差；

Threshold作为E与E_c差值的上限；

将abs(E-E_c)<Threshold作为角点匹配的一个必要条件，且用于计算E_c的角点要在图像上分布均匀。

作为优化的，所述步骤(5)具体实现方法如下：

假设匹配点P₁、P₂分别来自图像1和图像2，即对应左图和右图；以P₁为中心确定一个大小可配置的区域A₁，如5*5；以P₂为中心，确定一个搜索区域，如5*5，该搜索区域中的每个点，均能确定一个与以P₁为中心所确定区域相同大小的区域A₂；将A₁与搜索区域中每一个A₂作比较，使用SSD作为判据，计算其相似度；在以P₂为中心的搜索区域中，SSD响应值最小的点被确定为与P₁匹配度最高的点；从而以该SSD响应值最小的点作为新坐标代替P₂的坐标，确定更加精确的匹配关系。

作为优选的，步骤(3)使用harris角点检测算子，分别获取两幅图像的角点坐标。具体实现步骤如下：

(3.1)计算图像的方向导数I_x,I_y，并计算方向导数的乘积II_xy，得到五个与图像大小相同的矩阵；

(3.2)然后对I_xy进行高斯滤波，计算图像中每个点的自相关矩阵M， $M(x,y)=\left[\begin{array}{cc}{I}_{x^2}(x,y)*W& I_{\mathrm{xy}}(x,y)*W\\ I_{\mathrm{xy}}(x,y)*W& I_{y^2}(x,y)*W\end{array}\right];$

(3.3)计算响应函数R，R(x,y)＝det(M(x,y))-k*trace(M(x,y))²，并且保留R(x,y)中的最大值，记为R_max；

(3.4)设定阈值t，利用响应函数R(x,y)＞t*R_max，以及非最大值抑制做判断，得到若干备选角点坐标；

优选的，步骤(4b)计算近似坐标差的均值E_c、近似坐标差的标准差σ_c。从两幅图像的备选角点坐标中，人工选取5对左右的匹配点坐标，需要均匀覆盖图像的公共区域，计算其坐标差的平均值记作两幅图像间的近似坐标差均值E_c；计算其坐标差的标准差记作两幅图像间的近似坐标差标准差σ_c。

(4.3)利用方向向量和近似坐标差均值进行角点匹配。遍历视角1包含的角点坐标P_i，到视角2包含的角点组P_i'中进行搜索，寻找匹配点坐标。方向向量相同以及abs(E-E_c)＜Threshold作为匹配成功的条件，其中Threshold可以设置为标准差的三倍，即3σ_c。若搜索失败，则认为视角1中的角点P_i在视角2中没有匹配点。

与现有技术相比，本发明具有如下优点和效果：

(1)sift(尺度不变特征转换)及其衍生算法是当前特征点匹配的主流算法，研究者众多。与之相比，本发明针对特殊平面图像，具有算法复杂度低、误匹配率低的优势。

(2)特殊的平面图形制作简单，并且将标定板摆放在合适的位置，本发明具有简单易实现的特点，可用于求取双目相机关于某一外平面的单应矩阵。

附图说明

图1是本发明一种实施例的系统流程图。

图2是本发明一种实施例的harris算子提取角点坐标子流程图。

图3是本发明一种实施例的角点匹配子流程图。

图4a图4b分别是实施例中视角1和视角2特定平面图像的角点检测及匹配效果图。

具体实施方式

以下结合附图和实例对本发明的具体实施作进一步说明，但本发明的实施不限于此。

本发明提出了一种针对特定平面图形的快速角点匹配方法，系统流程图如图1所示：制作好特定的平面图形，并摆放在恰当的位置，两台摄像机拍摄一对图像。首先，对图像进行必要的预处理工作，然后，分别对两张经过预处理过程的图像进行角点检测，提取角点坐标。之后，计算角点的方向向量和两张图像的近似坐标差，并以此作为角点匹配的判据。最后，使用SSD作为角点相似度评价指标，对上述步骤得到的匹配坐标进行优化，得到最终的角点匹配关系。具体实现包括如下几个步骤：

1.准备实验环境：

本发明提出首先需要制作一张用于角点匹配的平面图形，该平面图像被划分成若干个大小相同的白色矩形区域，并以黑色线条间隔之。然后将其布置在单色环境下的平面上。摄像机对该平面进行拍摄时，需将调整好平面的位置，保证拍摄的图像满足以下要求：

(1)两个相机的公共区域保证不低于图像面积的1/3，并要求平面图像的有效区域尽可能多的落在公共区域内。

(2)摄像机拍摄的图像，需保证黑线条的宽度不低于10个像素，且黑线条应尽量保证横平竖直。

2.图像预处理：

若镜头存在畸变现象，则首先应对图像进行畸变矫正处理。主要解决偏心畸变和径向畸变对图像的印象。若图像时彩色图像，则需要对图像进行灰度化处理。接下来的操作是针对灰度图像进行的。

3.harris算子提取角点坐标(以下符号未作说明的，均为harris角点检测算子中现有的惯用符号)：

两条边沿的相交处被称作角点，在两幅图像的公共区域存在着若干这样的角点。本发明使用harris角点检测算子分别对两幅图像的角点进行提取。

步骤按图2所示的子流程图进行：

(3.1)若图像的公共区域不足图像面积的1/2，则首先设置两幅图像的角点检测区域，既可提高计算速度，又可以一定程度上避免检测到不必要的角点；若公共区域较大，则以整张图像作为搜索区域。

(3.2)计算图像的方向导数I_x,I_y，并计算方向导数的乘积I_xy，得到五个与图像大小相同的矩阵；

(3.3)然后对I_xy进行高斯滤波，计算图像中每个点的自相关矩阵M， $M(x,y)=\left[\begin{array}{cc}{I}_{x^2}(x,y)*W& I_{\mathrm{xy}}(x,y)*W\\ I_{\mathrm{xy}}(x,y)*W& I_{y^2}(x,y)*W\end{array}\right];$ W为harris角点检测算子采用的高斯函数；

(3.4)计算响应函数R，R(x,y)＝det(M(x,y))-k*trace(M(x,y))²，并且保留R(x,y)中的最大值，记为R_max；

(3.5)设定阈值t，一般t＝0.02～0.06。利用响应函数R(x,y)＞t*R_max，以及非最大值抑制两个条件做判断，得到若干备选角点坐标；

4.对两幅图像的角点进行匹配：

本发明选用的角点匹配包含两条：首先是方向向量相同，然后是待匹配角点间的坐标差E与近似平均坐标差E_c之间的绝对值之差小于设定的阈值。即abs(E-E_c)＜Threshold。

步骤按图3所示的子流程图进行：

(4.1)计算方向向量，并删除误选角点。遍历上一步得到的备选角点，以角点位置为中心，设置一个7*7的方形领域，查询方形四个顶点位置的颜色值，若三个颜色值为黑色，一个颜色值为白色，则规定角点坐标位置指向白色顶点位置的方向作为该角点的方向。并将指向左上、右上、左下、右下的方向向量分别赋值为1,2,3,4。若四个顶点坐标不满足3黑1白的规律，则删除该角点。从而得到的角点都具有一个方向向量。

(4.2)计算近似坐标差的均值E_c、近似坐标差的标准差σ_c。从两幅图像的备选角点坐标中，人工选取5对左右的匹配点坐标，需要均匀覆盖图像的公共区域，计算其坐标差的平均值记作两幅图像间的近似坐标差均值E_c；计算其坐标差的标准差记作两幅图像间的近似坐标差标准差σ_c。

(4.3)利用方向向量和近似坐标差均值进行角点匹配。遍历视角1包含的角点坐标P_i，到视角2包含的角点P_i'中进行搜索，寻找匹配点坐标。方向向量相同以及abs(E-E_c)＜Threshold作为匹配成功的条件，其中Threshold可以设置为标准差的三倍，即3σ_c。若搜索失败，则认为视角1中的角点P_i在视角2中没有匹配点。

5.对已匹配的角点坐标进行微调：

经过试验验证，上述步骤，基本能满足角点之间不出现误匹配。但由于角点检测的精度不稳定，有必要对匹配点坐标的精度。本发明选用SSD(差的平方和)作为相似度评价指标，以视角1角点检测的坐标为准，对与之匹配的来自视角2中的角点坐标位置进行微调。假设匹配点P_i,P_i'分别来自视角1和视角2。设视角1获取的图像为左图，视角2获取的图像为右图。在左图中，以P_i为中心确定一个大小可配置的邻域A1，如5*5；在右图中，以P_i'为中心，确定一个搜索区域，如5*5，该搜索区域中的每个点，均可确定一个与P₁所确定邻域A₁大小相同的领域A₂。将A₁与搜索区域中每一个A₂作比较，使用SSD(差的平方和)作为判据，计算其相似度。

在以P_i'为中心的搜索区域中，若存在SSD响应值最小的点P_c'，则确定其为与P_i匹配度最高的点。从而以P_c'代替P_i'，确定更加精确的匹配关系。

表1

本实例中，采用两台640*480分辨率的摄像机，经过上述步骤，得到角点检测的结果。如图4a、图4b所示，一对摄像机正对特定棋盘格图形拍摄的图像(视角1和视角2)，并在匹配成功的角点处，打上了圆点标记。实验结果一共找到64对匹配点，具体坐标值，如表1所示，表中的数据“(X1Y1)(X2Y2)”表示一对匹配点分别来自视角1和视角2。

Claims (6)

1.一种针对特定平面图形的快速角点匹配方法，包括如下步骤：

（1）制作一张棋盘格平面图形，布置在单色环境的平面上；该平面图形被划分成若干个大小相同的白色矩形区域，并以黑色线条间隔之；拍摄图像时，使棋盘格平面图形尽量多的充满拍摄图像画面；

（2）对拍摄的两张平面图像进行灰度化及相应预处理工作，具体包括：

（2a） 若摄像机拍摄的图像存在畸变现象，则应首先进行畸变矫正工作；

（2b） 若摄像机拍摄的图像为彩色图像，则需要对图像进行灰度化处理；

（3）使用harris角点检测算子，通过预设阈值和非最大值抑制的方法，分别对获取的两张灰度图像即图像1和图像2进行角点检测，得到两张图像的备选角点坐标序列；

（4）通过自定义的方向向量和先验匹配点坐标差范围进行角点匹配，具体包括：

（4a）方向向量是利用周围领域的颜色值进行计算的，向量仅存在4个值，不能计算出方向向量的角点被删掉，从而筛选出存在方向向量的角点并记录其方向向量；

（4b）从步骤（4a）筛选出的两张图像的角点中，随机选择5对匹配点坐标对，计算其坐标值之差的均值，确定为两张图像间的近似坐标差均值E_c；遍历步骤（4a）得到图像1的角点，利用方向向量相等和abs( E-E_c) < Threshold两个条件作为匹配成功的条件，到图像2的角点中进行搜索，得到匹配点坐标对；

（5）以SSD作为相似度评价指标，将步骤（4b）得到的匹配点对进行坐标微调，进一步提高匹配角点的精度。

2.根据权利要求1所述的快速角点匹配方法，其特征在于所述步骤（1）中所述黑色线条在图像上所占的宽度大于10个像素值。

3.根据权利要求1所述的快速角点匹配方法，其特征在于所述步骤（1）中拍摄的图像中所述黑色线条为横平竖直的状态，即水平黑色线条的倾斜程度不超过15°，竖直黑色线条的倾斜程度也不超过15°。

4.根据权利要求1所述的快速角点匹配方法，其特征在于步骤（4a）中所述的方向向量的确定方法如下：

遍历步骤（3）得到的备选角点，以角点位置为中心，设置一个7*7的方形区域，查询方形四个顶点位置的颜色值，若三个颜色值为黑色，一个颜色值为白色，则规定指向白色顶点的方向作为该角点的方向； 并规定数字1,2,3,4分别作为指向左上、右上、左下、右下的方向向量。

5.根据权利要求1所述的快速角点匹配方法，其特征在于步骤（4b）中所述的abs( E-E_c) < Threshold中，

E为当前待检测的角点间对坐标差（X₁ – X₂,Y₁ – Y₂）；

E_c作为两张图像匹配角点间的近似平均坐标差 ； 

Threshold作为E与E_c差值的上限；

将abs( E-E_c) < Threshold作为角点匹配的一个必要条件，且用于计算E_c的角点要在图像上分布均匀。

6.根据权利要求1所述的快速角点匹配方法，其特征在于所述步骤（5）具体实现方法如下：

假设匹配点P_1  、P₂ 分别来自图像1和图像2，即对应左图和右图；以P₁为中心确定一个大小可配置的区域A₁，以P₂为中心，确定一个搜索区域，该搜索区域中的每个点，均能确定一个与以P₁为中心所确定区域相同大小的区域A₂；将A₁与搜索区域中每一个A₂作比较，使用SSD作为判据，计算其相似度；在以P₂为中心的搜索区域中，SSD响应值最小的点被确定为与P₁匹配度最高的点；从而以该SSD响应值最小的点作为新坐标代替P₂的坐标，确定更加精确的匹配关系。