CN110399888B - 一种基于mlp神经网络和计算机视觉的围棋裁判系统 - Google Patents

Abstract

本发明请求保护一种基于MLP神经网络和计算机视觉的围棋裁判系统，其包括图像归一化处理模块、MLP神经网络模块和围棋裁判算法模块；图像归一化处理模块是通过通道变换、图像裁剪、均光处理、角点检测等手段对图像进行预处理，便于后续识别；MLP神经网络模块包括有棋盘识别模型和棋子识别模型，用于识别出棋盘以及黑白棋的位置，并将其信息保存于TXT文件中；后期围棋裁判算法模块，用于进行棋局胜负的判断，通过读取TXT文件中黑白棋的状态和位置信息，从而根据算法得出黑白棋的胜负状态，并将结果转换为SGF(围棋棋谱通用)图片显示给用户。

Description

一种基于MLP神经网络和计算机视觉的围棋裁判系统

技术领域

本发明属于MLP神经网络和图像识别技术，具体讲的是获取图像及图像处理技术。

背景技术

随着人工智能的发展，深度学习和图像识别技术的应用更加广泛，MLP神经网络作为深度学习的起点，在处理分类问题方面有一定的优势。在围棋领域中，由于举行一场大型围棋比赛，需要聘请大量的围棋裁判，耗资高，并且裁决速度慢，还可能判别出错。因此，有很多人开始研究算法，在通过图像采集，图像处理，再通过围棋判别算法进行判别胜负。在众多的方法中，都采用的是固定摄像头，不可移动，找一个近乎完美的拍摄角度，对硬件设备的要求很高，拍摄环境要求高，有很大的限制。

随着围棋的推动和发展，围棋的普及程度越来越高，围棋赛事也越来越多。每一场大型的比赛都需要聘请很多裁判人员，耗费多，并且人工判别错误率高，判别围棋胜负慢，耗时长。近年来，人工智能发展迅速，围棋人工智能AlphaGo成为第一个战胜世界冠军的人工智能程序，其核心算法就是深度学习。本发明将深度学习的前身——多层感知器MLP运用于围棋终局图像处理，从图片中获取棋子信息，例如棋子位置、黑白子、交叉点等等，用得到的信息进行围棋胜负的判别，以代替人工裁判，实现低错误率、速度快、准确率高、经济方便的围棋自动化裁判系统。

另外，现有的一些技术中，虽然能够降低对环境的要求，还可以不用特别严格的拍摄角度，进行预处理。但是，还是达不到人们想要的效果，最大的问题在于不可预见的影响因素较多，因此特定的方法不能适用于全部情况。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种降低拍摄照片的要求、适应性更广、实现人性化拍摄，得到更好的拍摄结果，达到人机交互的目的基于MLP神经网络和计算机视觉的围棋裁判系统。本发明的技术方案如下：

一种基于MLP神经网络和计算机视觉的围棋裁判系统，其包括图像归一化处理模块、MLP神经网络模块和围棋裁判算法模块；图像归一化是通过通道变换、图像裁剪、均光处理、角点检测等手段对图像进行预处理，使得所有输入图像的饱和度及整体亮度趋于正常化，初步筛选出棋盘；MLP神经网络模块(分类器)：用于对棋盘、背景的分类以及黑白棋的分类；

图像归一化处理具体包括：

统一输入图像的尺寸为227*227，通过均光算法处理，使图片整体的亮度趋于均匀，减小光照不均匀的程度，便于后续处理；而后使用通道变换、颜色查找、阈值分割识别出棋盘的大概区域，缩小识别范围，以减少杂物的对识别产生的干扰；

MLP神经网络模块(分类器)具体包括有两个分类模型：

(1)棋盘识别模型，是在图像归一化处理的基础上对棋盘和背景实现精确的分类；

(2)棋子识别模型，在已经识别到的棋盘上进行模型匹配，查找出黑棋、白棋和空点，并将其信息写入TXT文件内(信息包括有棋局黑子、白字、空点的状态及其位置)；训练过程为：在输入图片上分别标记黑棋、白棋、空点的多通道像素值使用恰当的特征生成函数来构建特征向量，将训练样本及特征向量输入MLP分类器中进行迭代训练生成模型。

后期围棋棋局裁判模块：

用于读取TXT文件中棋局的基本信息，生成19*19的数组，模拟棋盘的形状。按照从左到右，从上到下的顺序扫描整体棋盘，根据棋子所剩余的气将死子提掉并且计算出棋局中某一块棋活眼的个数(围棋中某一块棋的活眼个数大于等于2时可认为其一定存活)判断其状态的死活。而后识别棋盘上未落子的交叉点周围棋子的颜色，判断出此处交叉点是属于黑棋还是白棋又或是公气。最后将黑棋和白棋按照气的范围填充到棋局中，计算出黑白子的个数，按照围棋规则对黑子进行贴目，从而得出结果。最终生成围棋通用的SGF文件，显示给用户。

进一步的，所述围棋裁判系统功能的实现步骤如下：

第一步，首先用移动端打开可视化操作界面，对终局进行拍摄，拍摄完成后照片发送至服务器端进行统一像素大小、均光、通道转化、阈值分割等预处理，实现对棋盘的初步简单筛选；

第二步，将初步筛选后的图像输入含有棋盘识别模型的MLP神经网络中，实现对棋盘与其它杂物的分类，从而准确定位图像中棋盘的范围；

第三步，对已识别的棋盘区域进行开闭运算，消除region区域中因棋子遮挡而产生的空洞；

第四步，通过边缘检测，检测出棋盘的轮廓，而后通过滤波、计算轮廓近似回归线，对线条的筛选等处理，最终寻找出棋盘的四条外轮廓，从而计算出棋盘的四个角点坐标；

第五步，通过四个角点将棋盘从原图像中截取出来，并由角点建立透视变换矩阵，通过映射变换将截取的棋盘校正；

第六步，将校正后的棋盘图像进行均光处理，减小图像光照不均匀的程度。而后将此图像输入含有棋子识别模型的MLP神经网络中，实现对黑棋、白棋、和空点(背景)的分类；

第七步，识别出的棋子可能会有数个棋子连通为一个region的现象，通过距离变换以及分水岭算法实现对连通区域的打散，使棋子与棋子之间是无连接的；

第八步，按照从上到下，从左到右的顺序依次记录棋盘每个交叉点上棋子的存在情况，并且将信息按照19*19数组的形式存入TXT文件中(模拟棋盘的形状)；

第九步，读取TXT文件内信息，将TXT文件转换为SGF图片(围棋棋谱通用格式)，并显示给用户，由用户确认识别是否有误。有误则重新拍照，无误则继续以下步骤；

第十步，读取TXT文件中棋局的基本信息，生成19*19的数组，模拟棋盘的形状。按照从左到右，从上到下的顺序扫描整体棋盘，根据棋子所剩余的气将死子提掉并且计算出棋局中某一块棋活眼的个数(围棋中某一块棋的活眼个数大于等于2时可认为其一定存活)判断其状态的死活。而后识别棋盘上未落子的交叉点周围棋子的颜色，判断出此处交叉点是属于黑棋还是白棋又或是公气。最后将黑棋和白棋按照气的范围填充到棋局中，计算出黑白子的个数，按照围棋规则对黑子进行贴目，从而得出结果；

第十一步，最终结果生成围棋通用的SGF图片，显示给用户，流程结束。

进一步的，在进行所述MLP棋盘识别模型与MLP棋子识别模型的训练时，将色彩饱和度及整体灰度值接近的图片分类为同一组样本，进行多样本多梯度样本训练。

进一步的，本文所述的MLP神经网络由三层组成：

具有3个输入变量的输入层(单元，神经元)；具有七个神经元的隐藏层；具有3个输出变量的输出层；且层与层之间是全连接的，MLP根据输入数据(特征向量)计算隐藏单元的激活情况；

进一步的，所述MLP神经网络的输入层为由样本图片上黑棋、白棋和空点位置的多通道像素值所生成的特征向量，然后输入隐藏层进行计算；MLP的隐藏层包含有数据权重和激活函数：

使用MLP进行分类训练时，就必须调整网络权重，通过使用已知类别的图像(本发明已知图像为照片中的棋盘和棋子)去训练MLP网络形成处理单元。数据插入输入层经过隐藏单元(hidden units)处理，输出与期望的结果比对，若不匹配则需要调整网络权重(network weights)。

激活函数则使用softmax，这种类型的激活函数应该用于多个互斥类作为输出的常见分类问题。特别的，softmax必须用于像素数据的分类。而本发明的输入数据则是由像素组成的特征向量，与softmax激活函数完美契合。

最终输出层输出分类结果。

本发明的优点及有益效果如下：

本发明的创新点如下：

1)运用MLP神经网络实现对棋盘和棋子的分类识别。其优点在于所需训练样本少、生成的神经网络模型体积小、训练速度快、运行快，结合传统图像处理可以达到很高的识别精度。

2)自主独立研发的围棋裁判算法，在识别出黑白棋子的前提下通过裁判算法可以得出准确的胜负结果。胜负判断速度快、判断结果的准确度高；

附图说明

图1是MLP神经网络1应用图；

图2是MLP神经网络2应用图；

图3是本发明的工作流程图；

图4是MLP神经网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

参照图1所示，示出了本发明的神经网络1应用图，这是MLP人工神经网络的训练过程，用来寻找棋盘的特征，以确定传入图片中的棋盘。具体地，把图片输入训练模型中：

1)标记出输入图像中的棋盘范围。

2)将标记的范围的多通道像素值作为特征值，生成特征向量。

3)迭代训练生成棋盘识别模型，将待识别图像输入神经网络，经过特征比较后输出分类结果。

参照图4所示，示出了本发明的神经网络2，同神经网络1的思路，用来确定黑白棋及其位置坐标。具体地，会把校正并去阴影的图片输入训练成功的神经网络2中进行处理：

1)标记出输入图像中的黑白棋和空点的范围。

2)将标记的范围的多通道像素值作为特征值，生成特征向量。

3)迭代训练生成黑白棋子识别模型，将校正去阴影后的图像输入神经网络，经过特征比较后输出黑棋、白棋、空点的分类结果。

本发明基于MLP神经网络的可视化交互图像识别方法，主要包括两个大部分，分别是前期和后期。

前期：神经网络1、神经网络2的训练。

第一步，制作和下载训练数据集；神经网络1、2的训练是基于大量的围棋终局图片。图片来自于实际围棋比赛。

第二步，对训练数据集中的图片进行预处理；神经网络1、2的训练需要特定规格的图片，需将每一张图片缩放到统一的标准尺寸图像，并在图像上标记出棋子和棋盘背景。

第三步，构建和训练卷积网络模型。

在完成上述步骤1，2后，开始构建以及训练神经网络1、2的神经网络模型。所述MLP神经网络的输入层为由样本图片上黑棋、白棋和空点位置的多通道像素值所生成的特征向量，然后输入隐藏层进行计算；MLP的隐藏层包含有数据权重和激活函数：

使用MLP进行分类训练时，就必须调整网络权重，通过使用已知类别的图像(本发明已知图像为照片中的棋盘和棋子)去训练MLP网络形成处理单元。数据插入输入层经过hidden units处理，输出与期望的结果比对，若不匹配则需要调整网络权重(networkweights)。

激活函数则使用softmax，这种类型的激活函数应该用于多个互斥类作为输出的常见分类问题。特别的，softmax必须用于像素数据的分类。而本发明的输入数据则是由像素组成的特征向量，与softmax激活函数完美契合。

后期：神经网络的连接以及必要功能的实现

图3为本发明的工作流程：

第一步，首先用移动端打开可视化操作界面，对终局进行拍摄，拍摄完成后照片发送至服务器端进行统一像素大小、均光、通道转化、阈值分割等预处理，实现对棋盘的初步简单筛选。

第二步，将初步筛选后的图像输入含有棋盘识别模型的MLP神经网络中，实现对棋盘与其它杂物的分类，从而准确定位图像中棋盘的范围。

第三步，对已识别的棋盘区域进行开闭运算，消除region区域中因棋子遮挡而产生的空洞。

第四步，通过边缘检测，检测出棋盘的轮廓，而后通过滤波、计算轮廓近似回归线，对线条的筛选等处理，最终寻找出棋盘的四条外轮廓，从而计算出棋盘的四个角点坐标。

第五步，通过四个角点将棋盘从原图像中截取出来，并由角点建立透视变换矩阵，通过映射变换将截取的棋盘校正。

第六步，将校正后的棋盘图像进行均光处理，减小图像光照不均匀的程度。而后将此图像输入含有棋子识别模型的MLP神经网络中，实现对黑棋、白棋、和空点(背景)的分类。

第七步，识别出的棋子可能会有数个棋子连通为一个region的现象，通过距离变换以及分水岭算法实现对连通区域的打散，使棋子与棋子之间是无连接的。

第八步，按照从上到下，从左到右的顺序依次记录棋盘每个交叉点上棋子的存在情况，并且将信息按照19*19数组的形式存入TXT文件中(模拟棋盘的形状)。

第九步，读取TXT文件内信息，将TXT文件转换为SGF图片(围棋棋谱通用格式)，并显示给用户，由用户确认识别是否有误。有误则重新拍照，无误则继续以下步骤。

第十步，读取TXT文件中棋局的基本信息，生成19*19的数组，根据围棋裁判算法得出结果，并将结果转换为SGF图片显示给用户。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种基于MLP神经网络和计算机视觉的围棋裁判系统，其包括图像归一化处理模块、MLP神经网络模块和围棋裁判算法模块；图像归一化是通过通道变换、图像裁剪、均光处理、角点检测在内的步骤对图像进行预处理，使得所有输入图像的饱和度及整体亮度趋于正常化，初步筛选出棋盘；MLP神经网络模块：用于对棋盘、背景的分类以及黑白棋的分类；

MLP神经网络模块具体包括有两个分类模型：

（1）棋盘识别模型，是在图像归一化处理的基础上对棋盘和背景实现精确的分类；

（2）棋子识别模型，在已经识别到的棋盘上进行特征匹配，查找出黑棋、白棋和空点，并将其信息写入TXT文件内，写入TXT文件的信息包括有棋局黑子、白子、空点的状态及其位置；训练过程为：在输入图片上分别标记黑棋、白棋、空点的多通道像素值使用特征生成函数来构建特征向量，将训练样本及特征向量输入MLP分类器中进行迭代训练生成模型；

后期围棋棋局裁判模块，用于读取TXT文件中棋局的基本信息，生成19*19的数组，模拟棋盘的形状，按照从左到右，从上到下的顺序扫描整体棋盘，根据棋子所剩余的棋子将死子剔除掉并且计算出棋局中某一块棋活眼的个数，围棋中某一块棋的活眼个数大于等于2时可认为其一定存活，判断其状态的死活，而后识别棋盘上未落子的交叉点周围棋子的颜色，判断出此处交叉点是属于黑棋还是白棋又或是公棋，最后将黑棋和白棋按照气的范围填充到棋局中，计算出黑白子的个数，按照围棋规则对黑子进行贴目，从而得出结果，最终生成围棋通用的SGF文件，显示给用户；

具体实现分为以下十个步骤：

第一步，首先用移动端打开可视化操作界面，对终局进行拍摄，拍摄完成后照片发送至服务器端进行统一像素大小、均光、通道转化、阈值分割预处理，实现对棋盘的初步简单筛选；服务器包括数字图像处理系统和MLP神经网络模型，数字图像处理系统用于实现数据预处理、裁剪、畸形矫正处理、均光处理以及生成SGF文件；MLP神经网络模型包括棋盘识别模型和棋子识别模型；

第二步，将初步筛选后的图像输入含有棋盘识别模型的MLP神经网络中，实现对棋盘与其它杂物的分类，从而准确定位图像中棋盘的范围；

第三步，对已识别的棋盘区域进行开闭运算，消除region区域中因棋子遮挡而产生的空洞；

第四步，通过边缘检测，检测出棋盘的轮廓，而后通过滤波、计算轮廓近似回归线，对线条的筛选处理，最终寻找出棋盘的四条外轮廓，从而计算出棋盘的四个角点坐标；

第五步，通过四个角点将棋盘从原图像中截取出来，并由角点建立透视变换矩阵，通过映射变换将截取的棋盘校正；

第六步，将校正后的棋盘图像进行均光处理，减小图像光照不均匀的程度；而后将此图像输入含有棋子识别模型的MLP神经网络中，实现对黑棋、白棋、和空点的分类；

第七步，识别出的棋子可能会有数个棋子连通为一个region的现象，通过距离变换以及分水岭算法实现对连通区域的打散，使棋子与棋子之间是无连接的；

第八步，按照从上到下，从左到右的顺序依次记录棋盘每个交叉点上棋子的存在情况，并且将信息按照19*19数组的形式存入TXT文件中；

第九步，读取TXT文件内信息，将TXT文件转换为SGF图片，并显示给用户，由用户确认识别是否有误，有误则重新拍照，无误则继续以下步骤；

第十步，读取TXT文件中棋局的基本信息，生成19*19的数组，模拟棋盘的形状；按照围棋裁判步骤得出结果。

2.根据权利要求1所述的一种基于MLP神经网络和计算机视觉的围棋裁判系统，其特征在于，所述MLP神经网络的棋盘和棋子识别模型的训练需要在每一张训练图片上对已知目标即黑白棋和空点打上标记，并按照图像的色彩饱和度及光照强度将图像分组，便于训练。

3.根据权利要求1-2之一所述的一种基于MLP神经网络和计算机视觉的围棋裁判系统，其特征在于，所述棋盘识别模型和棋子识别模型的神经网络由三层组成：具有3个输入变量的输入层即神经元；具有七个神经元的隐藏层；具有3个输出变量的输出层；且层与层之间是全连接的，MLP根据输入数据即特征向量计算隐藏单元的激活情况。

4.根据权利要求3所述的一种基于MLP神经网络和计算机视觉的围棋裁判系统，其特征在于，所述MLP神经网络的输入为由样本图片上黑棋、白棋和空点位置的多通道像素值所生成的特征向量，然后输入隐藏层进行计算；MLP的隐藏层包含有数据权重和激活函数：

使用MLP进行分类训练时，就必须调整网络权重，通过使用已知类别的图像即照片中的棋盘和棋子去训练MLP网络形成处理单元；数据插入输入层经过隐藏单元处理，输出与期望的结果比对，若不匹配则需要调整网络权重；

激活函数则使用softmax， softmax用于像素数据的分类，输入数据则是由像素组成的特征向量，与softmax激活函数完美契合；

最终输出层输出分类结果。

Images