CN110096999B

CN110096999B - 棋盘识别方法、棋盘识别装置、电子设备和可存储介质

Info

Publication number: CN110096999B
Application number: CN201910355460.9A
Authority: CN
Inventors: 杨文超; 王恺; 廉士国
Original assignee: Cloudminds Beijing Technologies Co Ltd
Current assignee: Cloudminds Beijing Technologies Co Ltd
Priority date: 2019-04-29
Filing date: 2019-04-29
Publication date: 2021-07-30
Anticipated expiration: 2039-04-29
Also published as: CN110096999A

Abstract

本发明实施例涉及图像识别领域，公开了一种棋盘识别方法、棋盘识别装置、电子设备和可存储介质。本发明中提供的棋盘识别方法，包括：从采集到的图像中识别出棋盘的外框，采集到的图像中至少包括三维图像；获取外框的空间位置；根据外框的空间位置计算棋盘中十字交叉点投射于二维平面上的坐标；识别各十字交叉点上是否存在棋子，以定位棋盘上各棋子，使得在摄像设备和棋盘相对位置变化时，也能准确识别出棋盘和棋子的位置，提高识别的鲁棒性。

Description

棋盘识别方法、棋盘识别装置、电子设备和可存储介质

技术领域

本发明实施例涉及图像识别领域，特别涉及棋盘识别方法、棋盘识别装置、电子设备和可存储介质。

背景技术

机器人时代已经来临，AlphaGo战胜世界围棋冠军引发人工智能技术热潮，但人工智能只是大脑，完成机器人自主下围棋任务，还需要视觉识别围棋棋盘、定位棋子坐标等任务。现有ABB机器人公司的机器人家族中就曾展示过下围棋的机器人，通过YuMi机器人灵活的关节展示机器人吸起棋子准确放到棋盘的落子点处，因为YuMi机器人高精度的机械控制，演示效果很完美。

本申请的发明人发现，围棋机器人的摄像头固定，棋盘也保持不动，两者相对位置不变时，确实可以准确落子，但如果棋盘移动了、旋转了、倾斜了或者只能看到一半棋盘，机器人就会无法识别或识别出错，使得棋盘识别的鲁棒性较差。

发明内容

本发明实施方式的目的在于提供一种棋盘识别方法、棋盘识别装置、电子设备和可存储介质，使得在摄像设备和棋盘相对位置变化时，也能准确识别出棋盘和棋子的位置，提高识别的鲁棒性。

为解决上述技术问题，本发明的实施方式提供了一种棋盘识别方法，包括：从采集到的图像中识别出棋盘的外框，所述采集到的图像中至少包括三维图像；获取所述外框的空间位置；根据所述外框的空间位置计算所述棋盘中十字交叉点投射于二维平面上的坐标；识别各所述十字交叉点上是否存在棋子，以定位所述棋盘上各棋子。

本发明的实施方式还提供了一种棋盘识别装置，包括：外框识别模块，从采集到的图像中识别出棋盘的外框，所述采集到的图像中至少包括三维图像；空间还原模块，获取所述外框的空间位置；投射模块，根据所述外框的空间位置计算所述棋盘中十字交叉点投射于二维平面上的坐标；棋子识别模块，识别各所述十字交叉点上是否存在棋子，以定位所述棋盘上各棋子。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的棋盘识别方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的棋盘识别方法。

本发明实施方式相对于现有技术而言，主要区别及其效果在于：先从三维图像上识别出棋盘外框，进一步获取外框的空间位置，之后计算三维空间中的棋盘投射至二维平面时的坐标，确定十字交叉位置，再对十字交叉位置识别，从而定位出所有棋子。可以看出整个过程是从棋盘的外框特征至十字交叉的位置确认，再识别棋子位置的分步识别，最终获得棋盘的整体，避免现有从棋盘整体特征入手进行识别造成的方位固定问题。同时，由于根据拍摄方位不同，拍到的二维图像中的棋盘边线和交叉线的畸变会不同，所以本申请基于三维图上获得棋盘外框的三维空间位置，空间位置可以表达外框的真实姿态，这样在计算十字交叉点位置时不受畸变影响，更加准确，十字交叉点识别不准的问题。可见，上述方案可以使得在摄像设备和棋盘相对位置变化时，也能准确识别出棋盘和棋子的位置，提高识别的鲁棒性。

作为进一步改进，所述棋盘外框预设有可视化特征，所述采集到的图像还包括：与所述三维图像对应的二维图像；所述从采集到的图像中识别出棋盘的外框，具体为：根据所述可视化特征从所述二维图像上识别出所述棋盘的外框；所述获取所述外框的空间位置，具体为：根据识别出的棋盘外框，从与所述二维图像对应的所述三维图像上确定所述外框的空间位置。上述方案通过二维图像和三维图像的结合，既保证作为识别依据的图像的清晰度，又保证确认出的空间位置准确。

作为进一步改进，所述外框的各边线对应有不同的可视化特征；所述根据所述可视化特征从所述二维图像上识别出所述棋盘的外框，包括：根据所述不同的可视化特征分别识别出所述棋盘的外框的各边线。上述方案对各边线分别识别，使得确定出的外框的空间位置携带有棋盘的摆放方向特征。

作为进一步改进，所述可视化特征包括：边线的颜色，和/或边线中嵌入的色块。

作为进一步改进，所述根据所述可视化特征从二维图像上识别出所述棋盘的外框，包括：提取所述二维图像中的连续边缘点集；对所述连续边缘点集进行曲线拟合，根据拟合结果确定出所述棋盘外框。上述方案利用连续点集的方法确认，使得即时棋盘被遮挡，只采集到部分棋盘，也能确认出部分外框从而定位出外框，无需完整外框，使有遮挡时也能识别。

作为进一步改进，所述获取所述外框的空间位置，包括：根据从所述二维图像中识别出的外框，以所述外框为范围，从所述三维图像中扣取三维数据；利用扣取出的所述三维数据，计算所述棋盘的外框的空间位置。

作为进一步改进，所述根据所述外框的空间位置计算所述棋盘中十字交叉点投射于二维平面上的坐标，包括：对计算出的坐标进行校正和/或亚像素化操作。上述方案可以提高坐标精度。

作为进一步改进，所述识别各所述十字交叉点上是否存在棋子，包括：根据相邻两个十字交叉点的间距，估算一棋子在二维图像上投射的尺寸；根据所述尺寸和所述十字交叉点周围的像素颜色确定是否有棋子。上述方案明确棋子的识别方法。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式至第三实施方式中棋盘识别方法的流程图；

图2是根据本发明第一实施方式中棋盘识别方法的棋盘和摄像头的位置关系的示意图；

图3是根据本发明第二实施方式中棋盘识别方法中棋盘的边框特征示意图；

图4是根据本发明第三实施方式中棋盘识别方法中棋盘重建的原理示意图；

图5是根据本发明第四实施方式中棋盘识别装置的示意图；

图6是根据本发明第五实施方式中电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的第一实施方式涉及一种棋盘识别方法。本实施方式应用于一种包含图像采集装置的电子设备，如下棋机器人，机器人在下棋时，需要对棋盘进行持续识别，同时，要识别出棋子位置，才能顺利完成看棋盘、下棋等一系列操作。在识别过程中，摄像装置10可能会移动，或改变拍摄方位，如如图2所示的位置1、2、3。

本实施方式中的棋盘识别方法流程如图1示，具体如下：

步骤101，从采集到的图像中识别出棋盘的外框。

具体的说，采集到的图像中至少包括三维图像，三维图像可以是深度图，在一个例子中，棋盘外框预设有可视化特征，采集到的图像还包括：与三维图像对应的二维图像。本步骤具体可以利用特征识别的方式从图像中识别出外框，特征可以包括棋盘的基本特征，如方形框、交叉线等。

步骤102，获取外框的空间位置。

具体的说，从三维图像中获取外框区域的三维数据，如三维图像为点云深度图时，可以获取外框区域的点云数据，然后计算出棋盘平面在摄像头坐标系下的表示方程，重建出整个棋盘平面的坐标。其中，计算棋盘平面方程如下：

Ax+By+Cz+D＝0，平面方程表达式；

其中，S为棋盘点云图像上的点；

上面公式中，S为扣取的属于棋盘平面的部分点集合，dis为S中的点到拟合平面距离之和，当dis最小时，将拟合出的平面作为棋盘平面ABCD，这样即使在扣取点云数据时，扣取到棋盘平面之外的点，也可以尽量排除误差。其中，dis最小的问题可以基于最小二乘法、特征值法、RANSAC算法等得到最优解。

继续说明，在得到棋盘平面ABCD后，可以根据识别出的棋盘外框的端点确定出整个棋盘的空间位置。

步骤103，根据外框的空间位置计算棋盘中十字交叉点投射于二维平面上的坐标。

具体的说，在重建整个棋盘框区域之后，可以根据投射公式，计算棋盘投射于摄像头成像平面的坐标，又由于棋子必须位于十字交叉点，而十字交叉点的位置和外框的边线有特定的位置关系，如一种棋盘，在两条边线之间有特定数量的平行线，以围棋棋盘为例，整个棋盘中有一定两组平行线，每组19条，两组平行线相互交叉，一共有361个十字交叉点。所以根据边线和十字交叉点的关系，相应的每个十字交叉点的坐标也可以计算得到，将这些3D坐标投影到2D图像上，投影公式：

可以发现，本实施方式中通过计算得到十字交叉点位置的坐标，而非直接识别十字交叉点，避免当棋子遮挡十字交叉点时十字交叉点的交叉位置的特征点被遮挡而无法识别的问题。

在一个例子中，得到所有十字交叉点的在2D图像上的坐标之后，可以根据图像上识别“十字交叉”坐标，对这些坐标进行进一步矫正或亚像素化操作，或矫正和亚像素化操作的结合。

步骤104，识别各十字交叉点上是否存在棋子，以定位棋盘上各棋子。

具体的说，为使棋子可以合适地摆放到棋盘中，棋子的大小和相邻十字交叉点的间距有关，所以可以根据相邻十字交叉点的间距估算棋子的尺寸，从而根据棋子的颜色等特征结合棋子尺寸进行识别，确定各个十字交叉点上是否有棋子。

以围棋的棋子为例，围棋棋子一般为圆形黑白子，具体可以在定位的每个十字交叉点坐标处检验是否有棋子，步骤如下：

Step1：计算棋子在2D图像上的半径r，根据相邻十字交叉点点之间的平均间距来计算：

Step2：在十字交叉点P(x,y)处判断半径r·ε(ε∈(0,1])范围内RGB图像是否为相同颜色(黑或白)；如果是，执行Step4；如果否，则记录颜色与P点不同的像素坐标集合T；

Step3：根据集合T中的坐标，计算偏移方向向量n，公式如下，然后将P沿着n移动δ单位长度，重复Step2；

其中m为T集合的点的个数；

Step4：如果集合T为空，则判断P点颜色为白色还是黑色，对应为白子、黑子，否则为无子状态。

可见，本实施方式相对于现有技术而言，主要区别及其效果在于：先从三维图像上识别出棋盘外框，进一步获取外框的空间位置，之后计算三维空间中的棋盘投射至二维平面时的坐标，确定十字交叉位置，再对十字交叉位置识别，从而定位出所有棋子。可以看出整个过程是从棋盘的外框特征至十字交叉的位置确认，再识别棋子位置的分步识别，最终获得棋盘的整体，避免现有从棋盘整体特征入手进行识别造成的方位固定问题。同时，由于根据拍摄方位不同，拍到的二维图像中的棋盘边线和交叉线的畸变会不同，所以本申请基于三维图上获得棋盘外框的三维空间位置，空间位置可以表达外框的真实姿态，这样在计算十字交叉点位置时不受畸变影响，更加准确，十字交叉点识别不准的问题。可见，本实施方式可以使得在摄像设备和棋盘相对位置变化时，也能准确识别出棋盘和棋子的位置，提高识别的鲁棒性。

本发明的第二实施方式涉及一种棋盘识别方法。本实施方式具体明确了一种识别棋盘的外框的方法。

本实施方式中的棋盘识别方法的流程图如图1所示，具体如下：

步骤101，从采集到的图像中识别出棋盘的外框。

具体的说，棋盘外框预设有可视化特征。更具体的说，外框的各边线对应有不同的可视化特征。在一个例子中，在根据可视化特征从二维图像上识别出棋盘的外框时，提取二维图像中的连续边缘点集，对连续边缘点集进行曲线拟合，根据拟合结果确定出棋盘外框。

本实施方式以外框的可视化特征为以黑色为外框颜色，且外框的每条边线嵌入不同的白色色块为例进行说明，如图3所示，本步骤对二维图像(如RGB图像)进行处理，提取图像上连续边缘点集，用曲线拟合的方法得到边缘点的关键点描述，通过判断前后相邻的3个关键点夹角如果是90°，则可能是棋盘外框的图像，提取黑边区域图像编码信息与预存的“编码后的棋盘”进行比对确认是哪一条边，公式描述如下：

此为判断曲线P为直角

黑边I与模板T匹配值R

之后，判断黑边与模板每条边的匹配值R，如果R足够大则匹配成功。

本实施方式中步骤102至步骤104和第一实施方式中步骤102至步骤104相类似，在此不再赘述。

可见，本实施方式中通过二维图像和三维图像的结合，既保证作为识别依据的图像的清晰度，又保证确认出的空间位置准确。

本发明的第三实施方式涉及一种棋盘识别方法。本实施方式在第二实施方式的基础上进一步优化，在得到棋盘平面ABCD后，通过计算的方式得到各个端点，使得即使棋盘有部分被遮挡，也可以准确还原出整个棋盘，拓宽了本发明的应用场景。

本实施方式中棋盘识别方法的流程图如图1所示，具体如下：

步骤101，从采集到的图像中识别出棋盘的外框。

具体的说，在棋盘有部分被遮挡时，可能无法识别到完整外框，根据边缘点集和曲线拟合之后，至少可以确定出一条边线，再根据各边线的可视化特征，确定出该边线为棋盘外框的哪条边线。

步骤102，获取外框的空间位置。

具体的说，本实施方式中先从三维图像中扣取点云数据，根据以下公式计算出棋盘所在平面：

Ax+By+Cz+D＝0，平面方程表达式；

其中，S为棋盘点云图像上的点；

上面公式中，S为扣取的属于棋盘平面的部分点集合，dis为S中的点到拟合平面距离之和，当dis最小时，即可获得棋盘平面ABCD，这样即使在扣取点云数据时，扣取到棋盘平面之外的点，也可以尽量排除误差。其中，dis最小的问题可以基于最小二乘法、特征值法、RANSAC算法等得到最优解。

上述过程和第一实施方式中的步骤102相类似，之后根据棋盘平面所在的位置和识别出的部分外框进行整个棋盘的重建，结合图4所示的位置关系，具体步骤如下：

Step1：取识别到的边线T的相邻的两条边线可见部分点3D坐标分别为A、B。

Step2：分别将A、B投影到平面ABCD上以尽量减少取点时的误差，保证投影后的点位于棋盘平面，再计算两条边线所在的直线LineA、LineB。

其中，获得A、B投影到平面ABCD上的坐标的公式如下：

其中(x_i,y_i,z_i)为平面外一点，(x,y,z)为平面上投影点；

计算边线所在直线的公式如下：

其中，n为直线L上点的个数。

Step3：根据已识别到的边线T，求出边线长度。

具体的说，因为3D空间棋盘框的长度关系保持不变，同时围棋四条边长相同，所以可以获得LineA、LineB方向上边线的实际长度dA，dB。

Step4：根据已识别的边线T的两端点坐标处，沿着LineA、LineB方向取dA、dB长度得到另外两个端点坐标P1、P2，从而得到棋盘整个区域坐标。

还需说明的是，本实施方式中直接在识别出外框后进行外框各顶点的计算，避免判断外框是否完整，由于计算机对于已知公式的计算过程较快，所以减少的完整性判断的过程，即使增加棋盘各端点的计算过程，也可以加快棋盘重建过程的速度。

本实施方式中步骤103和步骤104与第一实施方式中的步骤103和步骤104相类似，在此不再赘述。

可见，本实施方式中通过已知的一条边线计算出外框其他顶点，使得即使在外框存在部分遮挡时也可以重建整个棋盘，且明确了计算公式，使得外框的重建速度加快，从而利于整个棋盘重建过程的速度加快。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第四实施方式涉及一种棋盘识别装置，如图5所示，包括：

外框识别模块，从采集到的图像中识别出棋盘的外框，采集到的图像中至少包括三维图像。

空间还原模块，获取外框的空间位置。

投射模块，根据外框的空间位置计算棋盘中十字交叉点投射于二维平面上的坐标。

棋子识别模块，识别各十字交叉点上是否存在棋子，以定位棋盘上各棋子。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第五实施方式涉及一种电子设备，如图6所示，包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一实施方式或第二实施方式中的棋盘识别方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

其中，处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims

1.一种棋盘识别方法，其特征在于，包括：

从采集到的图像中识别出棋盘的外框，所述采集到的图像中至少包括三维图像；

获取所述外框的空间位置；

根据所述外框的空间位置计算所述棋盘中十字交叉点投射于二维平面上的坐标；

识别各所述十字交叉点上是否存在棋子，以定位所述棋盘上各棋子。

2.根据权利要求1所述的棋盘识别方法，其特征在于，所述棋盘外框预设有可视化特征，所述采集到的图像还包括：与所述三维图像对应的二维图像；

所述从采集到的图像中识别出棋盘的外框，具体为：根据所述可视化特征从所述二维图像上识别出所述棋盘的外框；

所述获取所述外框的空间位置，具体为：根据识别出的棋盘外框，从与所述二维图像对应的所述三维图像上确定所述外框的空间位置。

3.根据权利要求2所述的棋盘识别方法，其特征在于，所述外框的各边线对应有不同的可视化特征；

所述根据所述可视化特征从所述二维图像上识别出所述棋盘的外框，包括：根据所述不同的可视化特征分别识别出所述棋盘的外框的各边线。

4.根据权利要求3所述的棋盘识别方法，其特征在于，所述可视化特征包括：边线的颜色，和/或边线中嵌入的色块。

5.根据权利要求2所述的棋盘识别方法，其特征在于，所述根据所述可视化特征从二维图像上识别出所述棋盘的外框，包括：

提取所述二维图像中的连续边缘点集；

对所述连续边缘点集进行曲线拟合，根据拟合结果确定出所述棋盘外框。

6.根据权利要求2所述的棋盘识别方法，其特征在于，所述获取所述外框的空间位置，包括：

根据从所述二维图像中识别出的外框，以所述外框为范围，从所述三维图像中扣取三维数据；

利用扣取出的所述三维数据，计算所述棋盘的外框的空间位置。

7.根据权利要求1所述的棋盘识别方法，其特征在于，所述根据所述外框的空间位置计算所述棋盘中十字交叉点投射于二维平面上的坐标，包括：

对计算出的坐标进行校正和/或亚像素化操作。

8.根据权利要求1所述的棋盘识别方法，其特征在于，所述识别各所述十字交叉点上是否存在棋子，包括：

根据相邻两个十字交叉点的间距，估算一棋子在二维图像上投射的尺寸；

根据所述尺寸和所述十字交叉点周围的像素颜色确定是否有棋子。

9.一种棋盘识别装置，其特征在于，包括：

外框识别模块，从采集到的图像中识别出棋盘的外框，所述采集到的图像中至少包括三维图像；

空间还原模块，获取所述外框的空间位置；

投射模块，根据所述外框的空间位置计算所述棋盘中十字交叉点投射于二维平面上的坐标；

棋子识别模块，识别各所述十字交叉点上是否存在棋子，以定位所述棋盘上各棋子。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的棋盘识别方法。

11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的棋盘识别方法。