CN107506701A - 一种基于视频识别技术的围棋自动记谱方法 - Google Patents

Abstract

本发明提供一种基于视频识别技术的围棋自动记谱方法，包括以下总体步骤：1)初始化，先通过摄像头获取一帧包含整个空白棋盘以及附加的四角定位标志的原始图像作为原始帧；2)棋盘定位，采用回字形定位标识的四角定位方法，在对原始帧进行棋盘定位，获得围棋棋盘361个点在图像中的具体为位置坐标；3)、取帧计算，将摄像头获取的视频根据以每秒10帧的速度取出，逐一的进行图像处理，采用矩阵式判断帧差方法，判断棋盘落子点变化状态；4)生成棋谱文件。该方法能有效去除棋盘周围不相干的图像干扰，大大简化了图像处理量；采用矩阵式判断帧差方法，经过四角定位切图后的图像能够通过判断整个图片的帧差大小判断棋盘落子点的状态。

Description

一种基于视频识别技术的围棋自动记谱方法

技术领域

本发明涉及围棋自动记谱方法技术领域，特别涉及一种基于视频识别技术的围棋自动记谱方法。

背景技术

围棋，起源于中国，是一种策略性两人棋类游戏，中国古时称“弈”，西方名称“Go”，可以说是棋之鼻祖，至今已有4000多年的历史。围棋，流行于东亚国家(中、日、韩、朝)，属琴棋书画四艺之一。传为帝尧作，春秋战国时期即有记载。隋唐时经朝鲜传入日本，流传到欧美各国。围棋蕴含着中华文化的丰富内涵，是中国文化与文明的体现。

围棋使用方形格状棋盘及黑白二色圆形棋子进行对弈，棋盘上有纵横各19条直线将棋盘分成361个交叉点，棋子走在交叉点上，双方交替行棋，落子后不能移动，以围地多者为胜。中国古代围棋是黑白双方在对角星位处各摆放两子(对角星布局)，是为座子制，由白棋先行。现代围棋由日本发展而来，取消了座子规则，黑先白后，使围棋的变化更加复杂多变。围棋也被认为是世界上最复杂的棋盘游戏。

目前围棋记谱工作，在全世界范围内都为人工记录。由于人工记录棋谱的成本过于巨大，在世界范围内，除大赛决赛阶段外的棋谱都无人记录。本发明是用来通过视频识别技术，自动记录棋谱的方法。

公开号为CN 104998405 A的中国专利公开了一种基于图像识别的围棋记谱处理方法，该方法采用了图像识别技术进行记谱，在此方法中，其采用了棋盘的天元位置进行棋盘定位，并且在棋盘状态判断中通过判断每个落子点周围是否存在“黑色条纹”来判断棋盘的落子状态。

本专利在棋盘定位识别和落子识别技术上提出了另一种解决方案。

发明内容

为了克服现有技术的不足，本发明提供一种基于视频识别技术的围棋自动记谱方法，采用在棋盘四角布置回字形图标作为棋盘定位的图像识别控制点，能够根据棋盘四个角落位置，计算棋盘中361个点的具体坐标，还能有效去除棋盘周围不相干的图像干扰，大大简化了图像处理量；采用矩阵式判断帧差方法，经过四角定位切图后的图像能够通过判断整个图片的帧差大小有效判断棋盘落子点状态是否有变化。

为了达到上述目的，本发明采用以下技术方案实现：

一种基于视频识别技术的围棋自动记谱方法，包括以下总体步骤：

步骤一、初始化，先通过摄像头获取一帧包含整个空白棋盘以及附加的四角定位标志的原始图像作为原始帧；初始化帧差与前帧差为0，参考帧为原始帧；

步骤二、棋盘定位，采用回字形定位标识的四角定位方法，在对原始帧进行棋盘定位，获得围棋棋盘361个点在图像中的具体为位置坐标；

步骤三、取帧计算，将摄像头获取的视频根据以每秒10帧的速度取出，逐一的进行图像处理，采用矩阵式判断帧差方法，判断棋盘落子点变化状态；

步骤四、生成棋谱文件，结束。

所述方法总体步骤中步骤二的棋盘定位是以四角定位标志为回字形图标为定位标识，具体包括如下步骤：

步骤201、通过摄像头获取一帧包含整个空白棋盘以及附加的四角定位标志的图像；

步骤202、将取出的图像装换成灰度图，再使用最大类间方差法找到图片的一个合适的阈值将图片二值化处理；

步骤203、初步筛选；在二值化处理过的图像矩阵中，逐行筛选个像素点；筛选该点是否在上下左右四个方向上半个格子的距离内颜色变化为黑白黑白；将所有符合要求的像素点记录再同图像一样大小的0矩阵内；若有相邻像素点符合要求，则以该处所有相邻点的中心点记录；

步骤204、验证标志；将初步筛选后的像素点逐一验证其黑色、白色、黑色的联通区域；看其是否符合回形标志大小的范围，若满足则记录为定位标志；

步骤205、判断获得的定位标志是否为4个；若是则找到的4个标志在图像中的坐标，即为围棋棋盘在图片中四个角落的位置；

步骤206、根据棋盘四个角落位置及棋盘横纵间隔标准，计算棋盘中361个点的具体坐标。

所述方法总体步骤中步骤三的取帧计算具体包括：

步骤301、将取出的一帧，进行平滑去燥，再将该帧与参考帧做帧差；参考帧为上一次记录棋谱后更新的帧，如若还没有记录过记谱则参考帧为原始帧；

步骤302、判断帧差与前帧差，帧差为第一步所做帧差，前帧差为上一次计算时第一步所做帧差；若帧差小于15，前帧差大于15，则表示该帧稳定，前一帧不稳定，则为关键帧；带着该帧进入第三步计算；否则返回第一步，再取一帧进行新的循环；

步骤303、将第二步过滤过来的帧与参考帧做比较，判断共有几处点发生变化；

步骤304、判断发生变化的共有几处点，若无变化或者变化处大于等于18处则认为无变化或者手部遮挡，返回第一步，继续取帧计算；若有发生变化且小于18处，则继续进入第五步判断棋谱；

步骤305、逐一对各个变化点进行处理，对所有变化点处理结束后，查看棋谱有无变化；若棋谱发生变化，则更新当前帧为参考帧，返回第一步，继续取帧计算；若棋谱并未发生变化，则直接返回第一步，继续取帧计算。

取帧计算中所述步骤302中两幅图的帧差的具体做法如下，

(1)首先将两幅图根据总体步骤的步骤二所得的四角坐标进行切图，将棋盘切割出来；

(2)将两幅图分别转换成为灰度图，转换为单通道矩阵；

(3)将两矩阵做差得到新的矩阵；

(4)将新的矩阵做高斯平滑，再将其进行二值化处理；

(5)以为元素结构矩阵，将得到的二值化矩阵进行灰度膨胀和灰度腐蚀，得到帧差矩阵；

(6)统计帧差矩阵内非零元素的个数即为帧差。

取帧计算中所述步骤303具体做法如下，

(1)首先将两幅图根据总体步骤的步骤二所得的四角坐标进行切图，将棋盘切割出来。

(2)将两幅图分别转换成为灰度图，转换为单通道矩阵。

(3)将两矩阵做差得到新的矩阵。

(4)将新的矩阵做高斯平滑，再将其进行二值化处理。

(5)以为元素结构矩阵，将得到的二值化矩阵进行灰度膨胀和灰度腐蚀，得到帧差矩阵。

(6)鉴定通过步骤二得到的361个点的坐标有无变化，记录共有几处点发生变化，并记录是某几个点发生变化。

取帧计算中所述步骤305具体做法如下：

通过步骤二得到的棋盘的四角所在位置；由于围棋棋盘是由横纵18*18个小正方形组合在一起构成的；可以计算出每个小正方形边长为a；某个点发生，则以变化点坐标为中心，取出一正方形小图片，令该正方形边长为1.8a；将小图片转换成灰度图，再在小图片内运用霍夫取圆，查看是否能取到圆；

如果未取到圆，查看现有棋谱内，该点是否有棋子；若有棋子，则在棋谱中记录提子，计算下一变化点；若没有棋子，则直接计算下一变化点；

如果取到圆，则判断圆心与图片中心距离是否小于圆半径，若不小于则判定该处无子，若小于则判定该处有子；

若判定无子，查看现有棋谱内，该点是否有棋子；若有棋子，则在棋谱中记录提子，计算下一变化点；若没有棋子，则直接计算下一变化点；

若判定有子，查看现有棋谱内，该点是否有棋子；若棋谱内有棋子，则直接计算下一变化点；若棋谱内该点没有棋子，需要判定子的颜色，再在棋谱中记录落子，同时记录颜色，计算下一变化点。

与现有技术相比，本发明的有益效果是：

1、本发明的一种基于视频识别技术的围棋自动记谱方法，采用在棋盘四角布置回字形图标作为棋盘定位的图像识别控制点，能够根据棋盘四个角落位置，计算棋盘中361个点的具体坐标，还能有效去除棋盘周围不相干的图像干扰，大大简化了图像处理量。

2、本发明的四角定位棋盘的方法，由于去除了棋盘周围不相干的图像，使图像仅剩下棋盘部分，为下一步的判断帧差提供了必要条件。

3、本发明采用矩阵式判断帧差方法，经过四角定位切图后的图像能够通过判断整个图片的帧差大小有效判断棋盘落子点状态是否有变化。

附图说明

图1是本发明的方法流程图；

图2是本发明的回字形四角定位标识图片；

图3是本发明的棋盘361个落子点的具体定位图片；

图4是本发明的视频装置取出的棋盘原始图片；

图5是本发明的视频原始图片经过四角定位切图后的棋盘图片；

图6是本发明方法中的提取棋子过程的图像处理过程图。

具体实施方式

以下结合附图对本发明提供的具体实施方式进行详细说明。

如图1所示，一种基于视频识别技术的围棋自动记谱方法，包括以下总体步骤：

步骤一、初始化，先通过摄像头获取一帧包含整个空白棋盘以及附加的四角定位标志的原始图像作为原始帧；初始化帧差与前帧差为0，参考帧为原始帧；

步骤二、棋盘定位，采用回字形定位标识的四角定位方法，在对原始帧进行棋盘定位，获得围棋棋盘361个点在图像中的具体为位置坐标；

步骤三、取帧计算，将摄像头获取的视频根据以每秒10帧的速度取出，逐一的进行图像处理，采用矩阵式判断帧差方法，判断棋盘落子点变化状态；

步骤四、生成棋谱文件，结束。

如图2所示，所述方法总体步骤中步骤二的棋盘定位是以四角定位标志为回字形图标为定位标识，具体包括如下步骤：

步骤201、通过摄像头获取一帧包含整个空白棋盘以及附加的四角定位标志的图像；

步骤202、将取出的图像装换成灰度图，再使用最大类间方差法找到图片的一个合适的阈值将图片二值化处理；

步骤203、初步筛选；在二值化处理过的图像矩阵中，逐行筛选个像素点；筛选该点是否在上下左右四个方向上半个格子的距离内颜色变化为黑白黑白；将所有符合要求的像素点记录再同图像一样大小的0矩阵内；若有相邻像素点符合要求，则以该处所有相邻点的中心点记录；

步骤204、验证标志；将初步筛选后的像素点逐一验证其黑色、白色、黑色的联通区域；看其是否符合回形标志大小的范围，若满足则记录为定位标志；

步骤205、判断获得的定位标志是否为4个；若是则找到的4个标志在图像中的坐标，即为围棋棋盘在图片中四个角落的位置；

步骤206、根据棋盘四个角落位置及棋盘横纵间隔标准，计算棋盘中361个点的具体坐标。

如图3所示，为棋盘361个落子点的具体定位图。

所述方法总体步骤中步骤三的取帧计算具体包括：

步骤301、将取出的一帧，进行平滑去燥，再将该帧与参考帧做帧差；参考帧为上一次记录棋谱后更新的帧，如若还没有记录过记谱则参考帧为原始帧；

步骤302、判断帧差与前帧差，帧差为第一步所做帧差，前帧差为上一次计算时第一步所做帧差；若帧差小于15，前帧差大于15，则表示该帧稳定，前一帧不稳定，则为关键帧；带着该帧进入第三步计算；否则返回第一步，再取一帧进行新的循环；

步骤303、将第二步过滤过来的帧与参考帧做比较，判断共有几处点发生变化；

步骤304、判断发生变化的共有几处点，若无变化或者变化处大于等于18处则认为无变化或者手部遮挡，返回第一步，继续取帧计算；若有发生变化且小于18处，则继续进入第五步判断棋谱；

步骤305、逐一对各个变化点进行处理，对所有变化点处理结束后，查看棋谱有无变化；若棋谱发生变化，则更新当前帧为参考帧，返回第一步，继续取帧计算；若棋谱并未发生变化，则直接返回第一步，继续取帧计算。

取帧计算中所述步骤302中两幅图的帧差的具体做法如下，

(1)首先将两幅图根据总体步骤的步骤二所得的四角坐标进行切图，将棋盘切割出来；

(2)将两幅图分别转换成为灰度图，转换为单通道矩阵；

(3)将两矩阵做差得到新的矩阵；

(4)将新的矩阵做高斯平滑，再将其进行二值化处理；

(5)以为元素结构矩阵，将得到的二值化矩阵进行灰度膨胀和灰度腐蚀，得到帧差矩阵；

(6)统计帧差矩阵内非零元素的个数即为帧差。

取帧计算中所述步骤303具体做法如下，

(1)首先将两幅图根据总体步骤的步骤二所得的四角坐标进行切图，将棋盘切割出来。

(2)将两幅图分别转换成为灰度图，转换为单通道矩阵。

(3)将两矩阵做差得到新的矩阵。

(4)将新的矩阵做高斯平滑，再将其进行二值化处理。

(5)以为元素结构矩阵，将得到的二值化矩阵进行灰度膨胀和灰度腐蚀，得到帧差矩阵。

(6)鉴定通过步骤二得到的361个点的坐标有无变化，记录共有几处点发生变化，并记录是某几个点发生变化。

取帧计算中所述步骤305具体做法如下：

通过步骤二得到的棋盘的四角所在位置；由于围棋棋盘是由横纵18*18个小正方形组合在一起构成的；可以计算出每个小正方形边长为a；某个点发生，则以变化点坐标为中心，取出一正方形小图片，令该正方形边长为1.8a；将小图片转换成灰度图，再在小图片内运用霍夫取圆，查看是否能取到圆；

如果未取到圆，查看现有棋谱内，该点是否有棋子；若有棋子，则在棋谱中记录提子，计算下一变化点；若没有棋子，则直接计算下一变化点；

如果取到圆，则判断圆心与图片中心距离是否小于圆半径，若不小于则判定该处无子，若小于则判定该处有子；

若判定无子，查看现有棋谱内，该点是否有棋子；若有棋子，则在棋谱中记录提子，计算下一变化点；若没有棋子，则直接计算下一变化点；

若判定有子，查看现有棋谱内，该点是否有棋子；若棋谱内有棋子，则直接计算下一变化点；若棋谱内该点没有棋子，需要判定子的颜色，再在棋谱中记录落子，同时记录颜色，计算下一变化点。

如图4所示，为摄像头取到的未经棋盘四角定位切图前的图片，图5为经过回字形定位标识图像处理后并进行切图处理后的图片，从两幅图的对比可以看出经四角定位后能准确判断棋盘位置和棋盘中361个点的具体坐标，同时，切图后能够去除图像中的不相干部分，大大简化了图像处理和计算的量。

本专利提出的一种基于视频识别技术的围棋自动记谱方法通过矩阵式判断帧差的方法，经过四角定位切图后的图像能够通过判断整个图片的帧差大小能够有效判断棋盘落子点状态是否有变化。通过图片帧差大小从总体上来判断棋盘中361个点的坐标是否发生了落子变化，不用单独判断361个坐标中每个点的状态，也大大节约了图像处理的数据计算量。

所述的矩阵式判断帧差方法中的矩阵为整个图像的矩阵图，其矩阵的点数根据图像的分辨率大小确定。

如图6所示，为本发明方法中的提取棋子的图像处理过程图，图片为以变化点坐标为中心，取出的小正方形图片，进行灰度处理后，进行取圆。

以上实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述的实施例。上述实施例中所用方法如无特别说明均为常规方法。

Claims (6)

1.一种基于视频识别技术的围棋自动记谱方法，其特征在于，包括以下总体步骤：

步骤一、初始化，先通过摄像头获取一帧包含整个空白棋盘以及附加的四角定位标志的原始图像作为原始帧；初始化帧差与前帧差为0，参考帧为原始帧；

步骤二、棋盘定位，采用回字形定位标识的四角定位方法，在对原始帧进行棋盘定位，获得围棋棋盘361个点在图像中的具体为位置坐标；

步骤三、取帧计算，将摄像头获取的视频根据以每秒10帧的速度取出，逐一的进行图像处理，采用矩阵式判断帧差方法，判断棋盘落子点变化状态；

步骤四、生成棋谱文件，结束。

2.根据权利要求1所述的一种基于视频识别技术的围棋自动记谱方法，其特征在于，所述方法总体步骤中步骤二的棋盘定位是以四角定位标志为回字形图标为定位标识，具体包括如下步骤：

步骤201、通过摄像头获取一帧包含整个空白棋盘以及附加的四角定位标志的图像；

步骤202、将取出的图像装换成灰度图，再使用最大类间方差法找到图片的一个合适的阈值将图片二值化处理；

步骤203、初步筛选；在二值化处理过的图像矩阵中，逐行筛选每个像素点；筛选该点是否在上下左右四个方向上半个格子的距离内颜色变化为黑白黑白；将所有符合要求的像素点记录在同图像一样大小的0矩阵内；若有相邻像素点符合要求，则以该处所有相邻点的中心点记录；

步骤204、验证标志；将初步筛选后的像素点逐一验证其黑色、白色、黑色的联通区域；看其是否符合回形标志大小的范围，若满足则记录为定位标志；

步骤205、判断获得的定位标志是否为4个；若是则找到的4个标志在图像中的坐标，即为围棋棋盘在图片中四个角落的位置；

步骤206、根据棋盘四个角落位置及棋盘横纵间隔标准，计算棋盘中361个点的具体坐标。

3.根据权利要求1所述的一种基于视频识别技术的围棋自动记谱方法，其特征在于，所述方法总体步骤中步骤三的取帧计算具体包括：

步骤301、将取出的一帧，进行平滑去燥，再将该帧与参考帧做帧差；参考帧为上一次记录棋谱后更新的帧，如若还没有记录过记谱则参考帧为原始帧；

步骤302、判断帧差与前帧差，帧差为第一步所做帧差，前帧差为上一次计算时第一步所做帧差；若帧差小于15，前帧差大于15，则表示该帧稳定，前一帧不稳定，则为关键帧；带着该帧进入第三步计算；否则返回第一步，再取一帧进行新的循环；

步骤303、将第二步过滤过来的帧与参考帧做比较，判断共有几处点发生变化；

步骤304、判断发生变化的共有几处点，若无变化或者变化处大于等于18处则认为无变化或者手部遮挡，返回第一步，继续取帧计算；若有发生变化且小于18处，则继续进入第五步判断棋谱；

步骤305、逐一对各个变化点进行处理，对所有变化点处理结束后，查看棋谱有无变化；若棋谱发生变化，则更新当前帧为参考帧，返回第一步，继续取帧计算；若棋谱并未发生变化，则直接返回第一步，继续取帧计算。

4.根据权利要求3所述的一种基于视频识别技术的围棋自动记谱方法，其特征在于，所述步骤302中两幅图的帧差的具体做法如下，

(1)首先将两幅图根据总体步骤的步骤二所得的四角坐标进行切图，将棋盘切割出来；

(2)将两幅图分别转换成为灰度图，转换为单通道矩阵；

(3)将两矩阵做差得到新的矩阵；

(4)将新的矩阵做高斯平滑，再将其进行二值化处理；

(5)以为元素结构矩阵，将得到的二值化矩阵进行灰度膨胀和灰度腐蚀，得到帧差矩阵；

(6)统计帧差矩阵内非零元素的个数即为帧差。

5.根据权利要求3所述的一种基于视频识别技术的围棋自动记谱方法，其特征在于，所述步骤303具体做法如下，

(1)首先将两幅图根据总体步骤的步骤二所得的四角坐标进行切图，将棋盘切割出来；

(2)将两幅图分别转换成为灰度图，转换为单通道矩阵；

(3)将两矩阵做差得到新的矩阵；

(4)将新的矩阵做高斯平滑，再将其进行二值化处理；

(5)以为元素结构矩阵，将得到的二值化矩阵进行灰度膨胀和灰度腐蚀，得到帧差矩阵；

(6)鉴定通过步骤二得到的361个点的坐标有无变化，记录共有几处点发生变化，并记录是某几个点发生变化。

6.根据权利要求3所述的一种基于视频识别技术的围棋自动记谱方法，其特征在于，所述步骤305具体做法如下：

通过步骤二得到的棋盘的四角所在位置；由于围棋棋盘是由横纵18*18个小正方形组合在一起构成的；可以计算出每个小正方形边长为a；某个点发生，则以变化点坐标为中心，取出一正方形小图片，令该正方形边长为1.8a；将小图片转换成灰度图，再在小图片内运用霍夫取圆，查看是否能取到圆；

如果未取到圆，查看现有棋谱内，该点是否有棋子；若有棋子，则在棋谱中记录提子，计算下一变化点；若没有棋子，则直接计算下一变化点；

如果取到圆，则判断圆心与图片中心距离是否小于圆半径，若不小于则判定该处无子，若小于则判定该处有子；

若判定无子，查看现有棋谱内，该点是否有棋子；若有棋子，则在棋谱中记录提子，计算下一变化点；若没有棋子，则直接计算下一变化点；

若判定有子，查看现有棋谱内，该点是否有棋子；若棋谱内有棋子，则直接计算下一变化点；若棋谱内该点没有棋子，需要判定子的颜色，再在棋谱中记录落子，同时记录颜色，计算下一变化点。