CN104091324A - 一种基于连通域分割的棋盘格图像快速特征匹配算法 - Google Patents

Abstract

本发明公开了一种基于连通域分割的棋盘格图像快速特征匹配算法，该算法包含以下步骤：(1)人工设计一幅带有标识图形的棋盘格图像，使用双目摄像头拍摄两幅棋盘格图像；(2)对拍摄的两幅图像进行二值化分割；(3)对二值化分割后的图像进行一次膨胀操作；(4)对经过膨胀操作之后的图像，将左右两视角图像进行分割，并对每个分割块进行编号标记；(5)对分割之后的棋盘格图像进行遍历搜索，将标识图形填充为黑色，准备下一步的特征匹配；(6)检测两幅原始棋盘格图像的角点，并存储角点坐标；(7)通过棋盘格上的标识图形质心坐标和SSD度量因子，对所检测的角点进行实时匹配。本发明具有匹配速度快和鲁棒性高等优点。

Description

一种基于连通域分割的棋盘格图像快速特征匹配算法

技术领域

本发明涉及一种计算机视觉技术，特别涉及一种基于连通域分割的棋盘格图像快速特征匹配算法，本发明是双目视觉领域一种基于连通域分割的棋盘格图像快速特征匹配算法。

背景技术

双目摄像头的标定是双目视觉领域的一个基本问题，广泛应用于计算机视觉、图像处理、模式识别领域，例如图像拼接、双目测距、立体深度获取、三维重建、手势控制、虚拟现实等。

双目摄像头的标定原理描述：通过获取双目摄像头所拍摄图像之间的对应关系，求解出双目摄像头之间的运动模型。目前有很多双目标定的方法，包括应用SSD、SAD、NCC等相似性度量因子的基于内容的方法、基于变换域的相位相关方法以及基于特征的方法等。其中，基于特征的方法是近年来研究较多的方法之一。

目前，基于特征的匹配方法，主要有基于Harris角点的匹配方法和基于SIFT特征的匹配方法。

基于Harris角点的匹配方法是，通过Harris角点检测算子检测出目标特征点集，以特征点为中心一个大小为n×n的块，计算匹配点之间的SSD或者NCC相似性度量因子来实现角点之间的匹配。

基于SIFT特征的匹配方法是通过高斯差分算子在图像的各个尺度空间检测极值，得到目标特征点集，根据极值点的方向向量来实现特征点之间的匹配。从算法复杂度方面分析，基于Harris角点的算法复杂度较低，但从算法匹配效果和鲁棒性方面，SIFT明显优于Harris。

针对棋盘格图像的双目标定，现有的匹配算法会有一个共同的问题：由于棋盘格图像的纹理重复度高，相同或高度相似的角点反复出现，很容易出现误匹配，仅从棋盘格角点特征进行角点匹配，难以保证匹配结果的稳定性，因此，本发明提出设置参考点来区分这些重复出现的纹理特征的方法，从而实现棋盘格图像匹配的快速性和鲁棒性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于连通域分割的棋盘格图像快速特征匹配算法，该匹配算法实现了棋盘格图像匹配的快速性和鲁棒性。

本发明的目的通过下述技术方案实现：一种基于连通域分割的棋盘格图像快速特征匹配算法，包含以下步骤：

(1)人工设计一幅带有标识图形的棋盘格图像，其中，标识图形位于棋盘格图像几何中心附近的某一个黑色方格中心，作为定位标识；然后使用待标定的双目摄像头拍摄两幅棋盘格图像；

(2)对拍摄的两幅图像进行二值化分割，二值化分割阈值可采用最大类间方差法获取，也可手动给定；

(3)选取5*5的对称结构元素，对二值化分割后的图像进行一次膨胀操作，使得黑色块互相独立，白色块互相连通；经过膨胀操作之后的图像，白色块仅剩下标识图形和一个由所有棋盘格白色块连通得到的大的白色块组成；

(4)对上一步经过膨胀操作之后的图像，采用基于连通域的分割算法，将左右两视角图像进行分割，并对每个分割块进行编号标记；

(5)对分割之后的棋盘格图像进行遍历搜索，统计所有白色块的大小，即像素数，并记录对应的块标记，块大小较小的白色块即为目标标识图形，计算并保存标识图形的质心坐标，然后将标识图形填充为黑色，避免其影响后面的匹配过程；

(6)通过Harris角点检测算子检测两幅原始棋盘格图像的角点，并存储角点坐标。然后通过SSD相似性度量因子和标识图形的质心坐标进行角点匹配，利用得到的匹配对，求出Homography矩阵，实现双目摄像头的标定；

步骤(1)中标识图形的形状为圆形、方形、正多边形，大小约为棋盘格方格的1/3，颜色为白色，标识图形的作用是为后续匹配提供参考坐标点；通过连通域分割算法，可将标识图形分割出来，拍摄棋盘格图像时，需要保证图像背景为白色，或者尽量使得棋盘格布满整幅图像，以保证分块结果的稳定性；图2给出了本发明具体实施例中的人工设计图；

步骤(2)对图像二值化是为了图像分块做进一步的准备工作。棋盘格图像本身的特殊性使得拍摄得到的图像主要分为白色和黑色两种颜色。但也有可能曝光差异、成像处理差异、假彩色等原因，拍摄得到的图像不完全是黑色和白色，因此需要对图像做二值化分割；

二值化分割阈值可以手动给定，实际经验值为80～128。若拍摄的图像仅包含棋盘格，没有其他物体的干扰，在光照条件良好的条件下，棋盘格图像上所有的白色方块灰度值接近255，黑色方块的灰度值接近0；手动给定上述范围内的灰度分割阈值，可以取得良好的二值化效果。但在光照条件比较差的条件下，白色块会比较暗，因此，二值化分割阈值需要调整到较小的范围；若采用类似最大类间方差法进行自动二值化分割，需要判断所求的分割阈值是否落在上述范围。二值化分割之后，白色的棋盘格和标识图形的灰度值为255，黑色棋盘格的灰度值为0；

步骤(3)的膨胀操作是本方法的关键之一，由于棋盘格图像黑白交错，经过膨胀操作后，可将所有的白色块连通起来，并同时保证落在黑色棋盘格方格内部的标识图形自连通，这样，所有白色方块均能连通，而标识图形独立成块，在此条件下，只需对棋盘格图像按照连通域进行分块，便可确定出大的白色块和标志图形所在的白色块，从而定位出标识图形，作为后续特征匹配的参考；

图4给出了具体实施例中二值化图像经过膨胀操作之后的连通情况，黑色方格之外的白色均完全连通起来，标识图形处于黑色方格之内，整幅棋盘格图像仅外部连通的大的白色块和标识图形；

另外，若所设计的棋盘格图像标识图形是位于白色块内部的黑色标识，对应的，膨胀操作修改为腐蚀操作，搜索定位目标更改为黑色标识图形；

步骤(4)中的连通域分割算法已在权利要求书中详细描述，其特征为基于灰度值是否相等的连通条件。连通条件为：灰度值是否相等；按照这样的法则，可将左右两视角的二值化棋盘格图像进行分块，并逐一标记；

图5给出了实施例膨胀后的图像经过连通域分割之后的效果，分割结果通过随机颜色进行标记，同一标记的块颜色相同；

步骤(5)通过扫描图像来搜索白色块，并通过块大小来判断出标识图形所对应的块。然后通过所找到的块标记，求得标识图形的质心坐标，两幅图像中标识图形的质心坐标构成了一对匹配点，为下一步角点匹配提供参考；

步骤(6)对未进行膨胀操作的二值化棋盘格图像进行Harris角点检测。

Harris角点检测方法主要包含以下步骤：

1)计算输入图像的方向导数I_x、I_y。然后根据计算结果进一步计算I_x ²、I_xI_y、I_y ²三个矩阵。

2)对I_x ²、I_xI_y、I_y ²进行高斯滤波，计算图像中每个点的自相关矩阵M。

$M={\exp }^{-\frac{u^2+v^2}{{2\mathrm{\σ}}^2}}\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right],---\left(1\right)$

3)根据上述自相关矩阵M计算角点响应函数R，如式(2)所示；

R(x,y)＝det(M(x,y))-k*trace(M(x,y))²，      (2)

其中k＝0.05，trace为矩阵M的迹。记录R中的最大值，简记为R_max；

4)设置角点检测阈值T，将满足大于阈值和局部非极大值抑制两个条件的点确定为角点。

对两幅图像检测得到的角点，采用SSD相似性度量因子和质心坐标与角点坐标之间的方向向量进行角点匹配。

$\mathrm{SSD}=\underset{x,y\∈w}{\mathrm{\Σ}}{[I_1(x,y)-I_2(x,y)]}^2,---\left(3\right)$

其中，I₁(x,y)和I₂(x,y)分别为左右两幅二值化图像角点周围5*5范围内的像素块。

对左图像上的每一个待匹配角点，取SSD最小的角点作为候选匹配点。

对上述按照SSD进行匹配得到的备选匹配点，进一步判断两角点与各自图像上的标识图形质心坐标之间的方向向量之间的方向和夹角，对所匹配的备选点进一步判断，满足如式(4)所示的条件即为目标匹配点；

$\left\{\begin{array}{c}\mathrm{abs}(\frac{{y^l}_i-{y^l}_c}{{x^l}_i-{x^l}_c}-\frac{{y^r}_i-{y^r}_c}{{x^r}_i-{x^r}_c})<\mathrm{abs}\left(\frac{{y^l}_i-{y^l}_c}{{x^l}_i-{x^l}_c}\right)\\ ({x^l}_i-{x^l}_c)({y^r}_i-{y^r}_c)-({y^l}_i-{y^l}_c)({x^r}_i-{x^r}_c)<T_k\end{array}\right.,---\left(4\right)$

其中，(x^l _c,y^l _c)、(x^r _c,y^r _c)分别是左右两幅图像上的标识图形质心坐标，(x^l _i,y^l _i)、(x^r _i,y^r _i)分别为左右两幅图像上备选的待匹配角点坐标，T_k为向量共线判断阈值。式(4)中的第一个条件排除旋转180度的两个方向向量共线的情况；第二个条件判断两个方向向量之间的夹角小于阈值T_k。

本发明的原理：本发明人工设计带有标识图形的棋盘格图像，对双目摄像头拍摄的两幅图像进行二值化分割，并对二值化图像进行膨胀操作；通过连通域分割算法定位标识图形，计算标识图形的质心坐标；利用Harris角点算子检测出鲁棒的二值化棋盘格图像的交叉坐标点；通过棋盘格上的标识图形质心坐标和SSD相似性度量因子，对所检测得到的棋盘格交叉点进行实时匹配。

本发明相对于现有技术具有如下的优点及效果：

A、本发明提出了一种有效可行的棋盘格标识图形定位算法，能够鲁棒地定位出棋盘格上的标识图形，为双目匹配提供了重要的参考点坐标。

B、本发明通过结合Harris角点和连通域分割得到的参考点，为基于棋盘格图像的标定提供了一种具备有效剔除重复纹理特征功能的鲁棒匹配方法。

附图说明

图1为本发明的算法流程图。

图2为本发明实施例所设计的棋盘格图像。

图3为本发明适用的平行双目摄像头结构图。

图4为本发明适用的汇聚双目摄像头结构图。

图5为本发明适用的发散双目摄像头结构图。

图6为本发明实施例二值化图像经过膨胀操作后的实际效果示例图。

图7为本发明实施例连通域分割后经彩色块标记的实际效果示例图。

图8为本发明实施例通过定位标识图形进行角点匹配的左视图图像。

图9为本发明实施例通过定位标识图形进行角点匹配的右视图图像。

具体实施方式

下面结合实施例及图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，为本发明所提出的一种基于连通域分割的棋盘格图像快速特征匹配算法的流程框图。

如图2所示，为本发明实施例所采用的棋盘格设计图，其中标识图形选择圆形。

如图3所示，为本发明实施例所采用的平行光轴双目摄像头结构。

如图4所示，为本发明可应用的双目汇聚结构。

如图5所示，为本发明可应用的双目发散结构。

三种机构的双目摄像头尽量保持正对棋盘格图像进行图像拍摄，满足“正对拍摄”的条件，有利于匹配结果的稳定性。

接下来，具体实施例对图3所示的平行光轴结构的双目摄像头进行说明。

(1)采用图3中平行光轴结构的双目摄像头拍摄左右两张原始图像P_l、P_r，拍摄时保证棋盘格图像中的标识图形完整出现在P_l和P_r的重叠区内。

(2)手动给定分割阈值为100，将图像P_l和P_r进行二值化分割，得到二值图像P_lbi和P_rbi。

(3)采用5*5的对称结构元素，对上述二值化分割后的图像P_lbi和P_rbi进行膨胀操作一次，得到膨胀后的图像P_ldi和P_rdi。

如图6所示，为本发明实施例所采用的棋盘格图像经过膨胀操作之后的图像，其中标号1表示标识图形，即为本实施例中的圆形，结果表明，膨胀操作之后的图像黑色方块互相独立；除了标识图形，其他的白色方块均连通成一个大的白色块。

(4)利用连通域分割算法，对图像P_ldi和P_rdi进行分块，具体的分割方法描述如下：

1)新建一幅和输入棋盘格图像相同分辨率大小的单通道标记矩阵，并全部初始化为0，初始化标记Label＝1；

2)逐行扫描图像Image，以当前处理像素点Index_o为中心，分别判断中心点周围四连通域{(-1,0),(0,-1),(1,0),(0,1)}内的像素点Index_adj，若四个点中某一个点处的灰度值与当前像素点相等，即Image[Index_o]＝Image[Index_adj],则采用当前Label值进行标记。以找到的坐标点Index_adj作为新的中心点，递归搜索新的中心点周围四连通区域，递归结束条件为最新找到的中心点周围四连通邻域都没有与当前像素点灰度值相等的点。

3)当前扫描点结束后，Label加1；按照前一次扫描的顺序，对没有更新标记的点重新扫描，直到所有的像素点均被标记后循环结束，此时，对源图像的每一个像素点，都有一个对应标记值，Label最终的值便是分割块的数目，记录每个块的大小，并将其存储在一个数组BlockNum[Label]中。

(5)通过比较数组BlockNum[Label]中数值大小，找出所有块中最大的块，并返回最大块对应的下标MaxBlockLabel，即为该块的标记号，然后重新扫描图像P_ldi和P_rdi，满足P_ldi(i,j)＝255且Label！＝MaxBlockLabel的所有点即为左视图图像目标标识图形所在的位置；同理可以找到右视图图像标识图形所在的位置。

如图7所示，为本发明实施例连通域分割后经彩色块标记的实际效果示例图，其中标号1表示分割出来的标识图形，其他带有点状云的分块表示不同的颜色块。

统计满足上述条件的所有点的坐标均值(x^l _c,y^l _c)和(x^r _c,y^r _c)，即分别为左右两视图图像标识图形的质心坐标。

(6)采用Harris角点检测算子，按照上述步骤检测二值化图像P_lbi和P_rbi的角点，调整角点响应阈值，使得所检测到的角点仅包含棋盘格交叉坐标点。然后通过计算左视图每一个待匹配点周围5*5的块与右视图图像角点块的SSD度量因子值，确定候选特征匹配点集。

对候选特征匹配点集，利用式(4)进一步筛选，从而决定最终的匹配点。

如图8和图9所示，为本发明实施例根据备选角点坐标与标识图形质心坐标之间构成的方向向量进行角点匹配的原理图。如图所示，FlagL和FlagR分别为左右两视图图像上的标识图形，对应的质心坐标即为上述坐标(x^l _c,y^l _c)、(x^r _c,y^r _c)。图8中左视图图像上的角点L1，经SSD相似性度量因子进行角点匹配，图9中R1、R2、R3等点均进入候选匹配点集。接下来需要通过左视图图像中的标识图形质心坐标与左视图图像的角点L1所构成的方向向量，与右图中备选匹配角点集与右图中的标识图形质心坐标之间的方向向量进行比较。由于双目摄像头水平正对拍摄图像，因此可以求得左视图图像角点L1与右视图图像中备选匹配角点中的R2，与对应的标识图形之间构成的方向向量共线，以此作为筛选条件，可从上述由SSD确定的匹配点集中筛选出最佳匹配点，这样就完成了针对候选特征点集进一步匹配。

根据所确定出的匹配点，可以求出双目摄像头基于平面棋盘格图像之间的Homography矩阵，实现双目摄像头的标定。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于连通域分割的棋盘格图像快速特征匹配算法，包含以下步骤：

(1)人工设计一幅带有标识图形的棋盘格图像，其中，标识图形位于棋盘格图像几何中心附近的某一个黑色方格中心，作为定位标识；然后使用待标定的双目摄像头拍摄两幅棋盘格图像；

(2)对拍摄的两幅图像进行二值化分割，二值化分割的阈值采用最大类间方差法获取或通过手动给定；

(3)选取5*5的对称结构元素，对二值化分割后的图像进行一次膨胀操作，目标图像dst每一点的像素值由下式表示：

$\mathrm{dst}(x,y)=\underset{(x^{\&prime;},y^{\&prime;}):\mathrm{element}(x^{\&prime;},y^{\&prime;})\&NotEqual;0}{\max }\mathrm{src}(x+x^{\&prime;},y+y^{\&prime;}),$

其中，src为输入的源图像，dst为输出图像，为膨胀操作所采用的模板的坐标范围，膨胀操作之后，黑色的棋盘格方块互相独立，白色方格块互相连通，经过膨胀操作之后的图像，仅含有两个白色块，一个是标识图形构成的白色块，另一个由所有棋盘格白色块连通得到的白色块；

(4)对步骤(3)中经过膨胀操作之后的图像，采用基于连通域的分割算法，将左右两视角图像进行分割，并对每个分割块进行编号标记；

(5)对分割之后的棋盘格图像进行遍历搜索，统计步骤(3)中的白色块经过连通操作之后，所有连通白色块的大小，即连通白色块包含的像素数，并记录对应的块标记，像素数较少的白色块即为目标标识图形，计算并保存标识图形的质心坐标，然后将标识图形填充为黑色，准备下一步的特征匹配；

(6)通过Harris角点检测算子检测两幅原始棋盘格图像的角点，并存储角点坐标；

所述Harris角点检测算子的检测方法主要包含以下步骤：

1)计算输入图像的方向导数I_x、I_y，然后根据计算结果进一步计算I_x ²、I_xI_y、I_y ²三个矩阵；

2)对I_x ²、I_xI_y、I_y ²进行高斯滤波，计算图像中每个点的自相关矩阵M：

$M={\exp }^{-\frac{u^2+v^2}{{2\mathrm{\&sigma;}}^2}}\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right],$

3)根据步骤(2)中的自相关矩阵M计算角点响应函数R，如下式所示：

R(x,y)＝det(M(x,y))-k*trace(M(x,y))²，

其中k＝0.05，trace为矩阵M的迹，记录R中的最大值，简记为R_max；

4)设置角点检测阈值T，将满足大于阈值和局部非极大值抑制两个条件的点确定为角点；

通过SSD相似性度量因子和标识图形的质心坐标对所检测到的角点进行匹配，利用得到的匹配对，求出基于棋盘格标定板的Homography矩阵，实现双目摄像头的标定。

2.根据权利要求1所述的基于连通域分割的棋盘格图像快速特征匹配算法，其特征在于，在步骤(1)中，所述标识图形的形状为圆形、方形或正多边形，图形的直径大小约为棋盘格方格的1/3，颜色为白色。

3.根据权利要求1所述的基于连通域分割的棋盘格图像快速特征匹配算法，其特征在于，在步骤(2)中，所述二值化分割阈值通过人工给定或采用最大类间方差法自动获取，所述人工给定的分割阈值范围是80～128；所述采用自动化阈值获取方法中，把阈值门限设置为80～128。

4.根据权利要求1所述的基于连通域分割的棋盘格图像快速特征匹配算法，其特征在于，在步骤(3)中，经过膨胀操作之后的棋盘格图像，所有的白色块互相连通，标识图形位于黑色块内部，独立于外部的连通白色块。

5.根据权利要求1所述的基于连通域分割的棋盘格图像快速特征匹配算法，其特征在于，在步骤(4)中，所述连通域分割的方法包括以下步骤：

(1)新建一幅和输入棋盘格图像相同分辨率大小的单通道标记矩阵，并全部初始化为0，初始化标记Label＝1；

(2)逐行扫描图像Image，以当前处理像素点Index_o为中心，分别判断中心点周围四连通域{(-1,0),(0,-1),(1,0),(0,1)}内的像素点Index_adj，若四个点中某一个点处的灰度值与当前像素点相等，即Image[Index_o]＝Image[Index_adj],则采用当前Label值进行标记，以找到的坐标点Index_adj作为新的中心点，递归搜索新的中心点周围四连通区域，递归结束条件为最新找到的中心点周围四连通邻域都没有与当前像素点灰度值相等的点；

(3)当前扫描点结束后，Label加1；按照前一次扫描的顺序，对没有更新标记的点重新扫描，直到所有的像素点均被标记后循环结束，此时，对源图像的每一个像素点，都有一个对应标记值，Label最终的值便是分割块的数目。

6.根据权利要求1所述的基于连通域分割的棋盘格图像快速特征匹配算法，其特征在于，在步骤(5)中，定位标识图形的方法是统计所有白色块的块大小，块数目较小的便是标识图形。

7.根据权利要求1所述的基于连通域分割的棋盘格图像快速特征匹配算法，其特征在于，在步骤(6)中，所述Harris角点匹配的准则为SSD相似度因子和角点坐标与质心坐标之间的方向向量；

所述Harris角点匹配的匹配方法包括以下步骤：

(1)对两幅二值化图像I₁(x,y)和I₂(x,y)，采用SSD相似性度量因子对所检测到的Harris角点进行匹配，如下式所示：

$\mathrm{SSD}=\underset{x,y\&Element;w(n,n)}{\mathrm{\&Sigma;}}{[I_1(x,y)-I_2(x,y)]}^2,$

对n×n窗口范围内，选取SSD值较小的若干个候选匹配点集；

(2)采用如下式所描述的准则，从上述候选匹配点集中筛选最终的匹配点，

$\left\{\begin{array}{c}\mathrm{abs}(\frac{{y^l}_i-{y^l}_c}{{x^l}_i-{x^l}_c}-\frac{{y^r}_i-{y^r}_c}{{x^r}_i-{x^r}_c})<\mathrm{abs}\left(\frac{{y^l}_i-{y^l}_c}{{x^l}_i-{x^l}_c}\right)\\ ({x^l}_i-{x^l}_c)({y^r}_i-{y^r}_c)-({y^l}_i-{y^l}_c)({x^r}_i-{x^r}_c)<T_k\end{array}\right.,$

其中，(x^l _c,y^l _c)、(x^r _c,y^r _c)分别是左右两幅图像上的标识图形质心坐标，(x^l _i,y^l _i)、(x^r _i,y^r _i)分别为左右两幅图像上备选的待匹配角点坐标，T_k为向量共线判断阈值；

式中的第一个条件排除旋转180度的两个方向向量共线的情况；第二个条件判断两个方向向量之间的夹角小于阈值T_k。

8.根据权利要求1所述的基于连通域分割的棋盘格图像快速特征匹配算法，其特征在于；所设计的棋盘格图像标识图形的是位于白色块内部的黑色标识，即：把步骤(3)中的膨胀操作修改为腐蚀操作，把步骤(5)中的定位目标更改为黑色标识图形。

9.根据权利要求1所述的基于连通域分割的棋盘格图像快速特征匹配算法，其特征在于，所提出的双目标定方法适用于正对棋盘格拍摄图像的以下三种结构：双目平行光轴结构，双目汇聚结构和双目发散结构。