CN111709954A - 一种围棋机器人视觉系统的标定方法 - Google Patents

Abstract

本发明公开了一种围棋机器人视觉系统的标定方法。该方法首先基于分水岭分割算法识别定位棋盘外边框；然构建棋盘参考模型，并根据外边框的四个角点，使用投影变换从复杂背景中提取出完整的棋盘,从而去除棋盘以外的复杂背景；其次，使用霍夫变换正确检测棋盘的棋盘线并记录棋盘线的交点。最后我们将所有棋盘线的交点转换到棋盘参考模型中，并保留匹配到的正确角点，将所有正确的角点投影到真实图像中。实验结果表明，该方法在检测精度和计算效率上均优于目前流行的FAST，改进的SUSAN，Harris棋盘格角点检测方法。并且可用于围棋机器人视觉系统的标定。

Description

一种围棋机器人视觉系统的标定方法

技术领域

本发明涉及机器视觉与图像处理领域，更具体地说是一种围 棋机器人视觉系统的标定方法。

背景技术

围棋是一种中国棋子游戏，历史悠久，爱好者遍布世界各地， 每年都会举行国际围棋比赛。随着图像处理技术和人工智能的发展， 越来越多的娱乐机器人进入我们的家庭生活中，其中包括围棋机器人。 对围棋机器人视觉系统进行有效标定，可以实现运动与目标的准确定 位。机器人一般会在下棋前进行精确标定，但在下棋过程中，机器人 视觉系统可能会出现故障，或者根据实际环境需要对相机的焦距、光 圈进行重新调节；另外机器人在应用过程中，可能会导致其相机的相 对位置发生改变，这都需要对其视觉系统进行重新标定。

棋盘角点检测是当前流行的基于棋盘图形的视觉系统标定 技术的一个必要步骤，也是围棋机器人视觉系统的基础和关键。由于 棋盘图像所处的环境复杂，摄像设备像素分辨率较低，拍摄距离与角 度不佳，光照不均衡等原因，图像普遍存在畸变，噪声干扰等问题。 而且人们对围棋游戏中每一步动作的自动记录，棋子定位，博弈算法 也进行了越来越多的研究。因此，围棋棋盘格角点检测是构建围棋机 器人视觉系统的重要基础。

目前已有大量研究者对摄像机标定展开了深入研究，现今最 流行的标定方法为平面棋盘格角点检测的方法。最早的标定方法是人 工手动选择棋盘四个顶角角点，然后根据先验知识计算其他值。然而 这种方法效率低下，且难以自动化。其次是Susan，Harris角点检测 及其改进的算法等。但这两种方法在某些情况下都存在角点误检率较 高的问题，当输入图像含有噪声、复杂背景和棋子落在棋盘的角点时， 误检率会大大提高。基于卷积神经网络的检测方法虽然提高了检测精 度，但是它不仅需要大量的数据集，且在计算复杂度上要远远高于我 们的算法。Tavares和Vaz等人提出了一种基于Hilbert变换的棋盘 角点检测器。该算法为角点检测提供了一种有效的机制，但在提取真 正的棋盘角点时，可能会检测到背景中不正确的点。该问题需要通过 手工提取棋盘面板区域来解决，从而增加了计算复杂度。

发明内容

本发明的目的在于：为了解决背景环境恶劣以及拍摄条件差 等因素导致的棋盘格角点检测误检率高使得视觉系统标定失败的问 题。提出了一种用于围棋机器人视觉系统标定的棋盘角点检测算法。 该方法克服了复杂环境干扰以及棋子遮挡带来的困难问题，并可以精 确地识别棋盘上的所有角点，在围棋机器人视觉系统的标定工作中具 有重要帮助。

为了实现上述目的，本发明采用了如下技术方案：

步骤(1)、基于分水岭分割算法定位棋盘，并计算四角坐标；

步骤(2)、构建棋盘参考模型，结合步骤(1)中的四角坐标位 置进行投影变换；

步骤(3)、使用霍夫变换检测棋盘线并记录棋盘线的交叉点 坐标。

步骤(4)、将所有交叉点转换到参考模型，并保留匹配到的 正确角点，将所有正确的角点投影到真实图像中。

与现有技术相比，本发明有益效果体现在：

1、由于传统的分割算法大多数只能分割出棋盘，而无法分 割出棋盘边界线以内的区域，本发明提出的基于分水岭分割的改进方 法，它相当于是一个自适应的多阈值分割算法，能有效的解决上述问 题，并能够精确定位棋盘边界，为接下来的投影变换提供了大大帮助。

2、在确定棋盘边界后，进行投影变换，有助于本发明完整 的提取棋盘图像，我们可以删除所有背景以及噪音等不利信息。此步 骤非常重要，因为这将决定接下来步骤的准确性。如果这一步是好的， 棋盘线的检测仅与棋盘相互作用，它们不受噪声和一些其他信息的影 响。

3、本发明通过引入参考图像进行角点匹配，可以有效地检 测出被棋子遮挡的角点，进而提高角点检测的准确率。

附图说明

图1为本发明方法流程图；

图2为本发明采集的部分围棋图像。

具体实施方式

本实施例中，一种围棋机器人视觉系统的标定方法分别基于 棋盘识别与棋盘角点检测来进行标定。如图1所示，具体地说是按如 下步骤进行：

步骤(1)、基于分水岭分割算法定位棋盘，并计算四角坐标；

步骤(1.1)、高帽变换及低帽变换：

首先本发明将输入图像转化为灰度图像，通过设计结构元素 C，利用原始图像与原始图像开操作的结果进行图像减操作实现高帽 变换，得到原始图像的灰度峰值；利用原始图像闭操作的结果与原始 图像进行图像减操作实现低帽变换，得到原始图像的灰度谷值。设A 为输入图像，C为采用的结构元素，则高帽变换用下式表示：

T_hat＝A-(A℃) (1)

低帽变换用下式表示：

B_hat＝A-(A·C) (2)

将高帽变换后的图像与原始图像相加后再与低帽变换后的 图像相减，对图像实现去噪增强。

步骤(1.2)、为了进一步抑制过分割，需要将梯度图像作为 分水岭变换的输入图像，为了有效的兼顾大小尺度元素各自的优点， 本发明提出了一种多尺度形态梯度算子，如公式(3)所示：

其中，MIG(f)为新求得的梯度图像，ψ_i为各尺度对应的权值， B_i(0≤i≤n)为一组正方形的结构元素，B_i的取值为(2i+1)×(2i+ 1)像素点。

通过计算梯度图像的谷值，用来修改图像梯度幅值，使其只 在特定的要求位置有局部极小值。将修改局部极小值的梯度图像用

表示，则有：

lmmin(·)代表形态学极小值标定操作。

分水岭分割算子在图像

上进行。

代表二值标记 图像。分割结果记为H_new，用Watershed(·)表示分水岭分割运算， 则有：

最后，将分割出的结果使用霍夫变换检测棋盘的四个外边界。

步骤(2)、构建棋盘参考模型，结合步骤(1)中的四角坐标位 置进行投影变换；

步骤(2.1)、构建棋盘参考模型：

首先定义一个525×525的参考图像，然后需要获取参考图 像中线的预测交点。参考图像的交叉点坐标(x′,y′)由坐标矩阵(x_i,y_i) 计算获得，如下公式所示：

S_i＝S/18 (6)

x′＝(x_i-1)*S_i+1 (7)

y′＝(y_i-1)*S_i+1 (8)

步骤(2.2)、投影变换：

投影变换就是将图片投影到一个新的视平面。是一种齐次坐 标下的非奇异线性变换，它的矩阵形式为：

由于两个平面之间的投影变换可以由4对匹配点决定。所以， 首先通过点对点匹配计算求取变换公式，随后通过变换公式将原图像 投影到参考模型图像中。设一对匹配点x和x′的非齐次坐标分别为 (x,y)和(x′,y′)，则投影变换可写为如下非齐次形式：

将原图的四个角点映射到参考模型的四个外角点即可求得 变换矩阵H，根据变换矩阵，就能求出投影变换后的结果。

步骤(3)、使用霍夫变换检测棋盘线并记录棋盘线的交叉点 坐标。

步骤(3.1)、霍夫变换：

霍夫变换在于利用点与线的对偶性，将原始图像空间给定的 曲线通过曲线表达形式变为参数空间中的一个点。Hough变换根据如 下公式：

ρ＝x cos(θ)+y sin(θ) (11)

θ为变换角度，且-90°≤θ≤90°；ρ为变换半径。

通过对图像进行Hough变换，可以得到一个返回值为H的 Hough变换矩阵，在H矩阵中设置适应的阈值和非最大抑制，以滤除 弱线并去除太靠近较强线的线。然后在H矩阵中寻找最值，该最值可 以用于定位直线段。

步骤(3.2)、定位棋盘线的交点：

在找到所有棋盘线后，需要找到所有的棋盘线的交点。根据 围棋棋盘的特点:同一方向的直线平行，其他方向的直线垂直于另一 半。已知两点(x₁,y₁),(x₂,y₂)的直线方程为：

两条直线(a₁x+b₁y＝c₁,a₂x+b₂y＝c₂)的交点为：

根据上述公式可以确定棋盘中横竖线的交叉点，并记录交叉 点坐标。

步骤(4)、将所有交叉点转换到参考模型，并保留匹配到的 正确角点，将所有正确的角点投影到真实图像中。

该阶段主要找到输入图像中的点和参考图像中的点的对应关 系。由于本发明在之前的投影变换中已经将图像映射到了参考模型上， 所以接下来再将霍夫变换检测到的所有交叉点转换到参考模型上。将 参考模型的每个交叉点的检测半径D设为5。如果真实图像的角点和 参考图像的角点之间的距离小于D，则将其计为匹配，并计算匹配点 的平均误差。在匹配数量和最小误差方面，保持目前找到的最佳组合。 对于每个参考模型中的点，找到最接近参考模型的点即为检测到的图 像点。全部检测完以后，将检测到的图像点投影到原图像中。

Claims (6)

1.一种围棋机器人视觉系统的标定方法，其特征在于：包括如下步骤：

步骤(1)、基于分水岭分割算法定位棋盘；并计算四角坐标；

步骤(2)、构建棋盘参考模型，其次基于四角位置进行投影变换，去除复杂背景的干扰；

步骤(3)、使用霍夫变换检测棋盘线并记录棋盘线的交叉点坐标；

步骤(4)、最后，将所有交叉点转换到参考模型，并保留匹配到的正确角点，将所有正确的角点投影到真实图像中，即可对围棋机器人视觉系统进行标定；

所述步骤(1)中基于分水岭分割算法定位棋盘的过程分为以下几步：

步骤(1.1)、首先将输入图像转化为灰度图像；

步骤(1.2)、利用原始图像与原始图像开操作的结果进行图像减操作实现高帽变换，得到原始图像的灰度峰值；利用原始图像闭操作的结果与原始图像进行图像减操作实现低帽变换，得到原始图像的灰度谷值；

步骤(1.3)、将高帽变换后的图像与原始图像相加后再与低帽变换后的图像相减，对图像实现去噪增强；

步骤(1.4)、使用一种多尺度形态梯度算子抑制图像过分割，需要将梯度图像作为分水岭变换的输入图像；

步骤(1.5)、最后，将分割出的结果使用霍夫变换检测棋盘的四个外边界。

2.根据权利要求1所述的一种围棋机器人视觉系统的标定方法，其特征在于：所述步骤(1.4)中一种多尺度形态梯度算子由公式(1)所示：

其中，MIG(f)为新求得的梯度图像，ψ_i为各尺度对应的权值，B_i(0≤i≤n)为一组正方形的结构元素，B_i的取值为(2i+1)×(2i+1)像素点。

3.根据权利要求1所述的一种围棋机器人视觉系统的标定方法，其特征在于：所述步骤(2)中使用投影变换去除复杂背景的内容包括：

首先将原图的四个角点映射到参考模型的四个外角点；

随后点对点匹配计算求取变换公式；

最后通过变换公式将原图像投影到参考模型图像中。

4.根据权利要求1所述的一种围棋机器人视觉系统的标定方法，其特征在于：所述步骤(3)中使用霍夫变换检测棋盘线并记录棋盘线的交叉点坐标内容还包括：

首先使用Canny边缘检测器自适应的选择检测器的阈值用于查找棋盘的边缘点；

获得边缘图像后，使用霍夫变换来检测棋盘线；

通过对图像进行Hough变换，可以得到一个返回值为H的Hough变换矩阵，在H矩阵中设置适应的阈值和非最大抑制，以滤除弱线并去除太靠近较强线的线，然后在H矩阵中寻找最值，该最值可以用于定位直线段；

根据围棋棋盘的特点:同一方向的直线平行，其他方向的直线垂直于另一半求得棋盘线的交叉点。

5.根据权利要求3所述的一种围棋机器人视觉系统的标定方法，其特征在于：所述步骤(2)中投影变换的矩阵形式用公式(2)表示：

用非齐次形式表示为：

6.根据权利要求4所述的一种围棋机器人视觉系统的标定方法，其特征在于：所述步骤(3)中的霍夫变换用公式(4)表示：

ρ＝xcos(θ)+ysin(θ) (4)

θ为变换角度，且-90°≤θ≤90°；ρ为变换半径；

所述步骤(3)中的棋盘线的交点方程用公式(5)表示：

根据上述公式可以确定棋盘中横竖线的交叉点，并记录交叉点坐标。

Images