CN104874173A - 基于深度信念网络的桥牌叫牌自动识别方法及识别系统 - Google Patents

Abstract

基于深度信念网络的桥牌叫牌自动识别方法及识别系统，涉及图像识别。提供可自动准确实时地识别牌手的叫牌信息，无需改变牌手的传统叫牌习惯，实施成本低，且具有很好通用性的一种基于深度信念网络的桥牌叫牌自动识别方法。1)利用摄像头获取叫牌过程的视频数据，通过网络将视频数据实时传至计算机；2)应用图像处理技术定位推盘位置和放牌区；3)接着建立深度信念网络模型进行叫牌卡片的识别。基于深度信念网络的桥牌叫牌自动识别系统设有：摄像头、方形桌、推盘、叫牌卡片、椅、电脑，电脑通过网线与摄像头视频信号输出端连接。通过摄像头自动实时地识别和记录牌手的叫牌过程，可解放人力资源，同时减少因工作人员失误造成的错误。

Description

基于深度信念网络的桥牌叫牌自动识别方法及识别系统

技术领域

本发明涉及图像识别，尤其是涉及一种基于深度信念网络的桥牌叫牌自动识别方法及识别系统。

背景技术

桥牌是一种广受欢迎的扑克游戏，它与围棋、国际象棋一起并称世界三大智力运动，在国际国内上有很多的专业比赛。为了推广桥牌，主办方往往会将桥牌比赛过程放在网络或电视上进行直播，这就需要实时识别和记录每位牌手的叫牌和出牌过程。

叫牌卡方式叫牌是目前桥牌运动中最主要的叫牌方式。叫牌卡片由5种不同的花色(黑桃、红心、方块、梅花和无将NT)，1～7的数字，加上一些特殊的符号牌，如“PASS”、“X”(加倍)、“XX”(再加倍)和“STOP”等构成，牌手以出示叫牌卡的方式完成叫牌过程,图1展示了比赛中的叫牌卡。叫牌卡叫牌过程的记录，目前主要采用人工方式，即工作人员将牌手的叫牌过程信息，人工识别，手工录入到系统。这种方式不仅耗费大量的人力，而且还会因工作人员的失误造成错误。

针对传统叫牌卡方式的缺点，已有采用其他装置改进叫牌方式的一些工作。专利“电子桥牌叫牌器”(中国专利CN2147022)由键盘和安装在其上的局框键、级别键、花色键，以及局框电路、局框显示器、叫品电路、叫品显示器和开叫顺序指示灯组成；采用机电一体化方式将上述组成部分连接成一薄形方箱，内部为电路及其元件，表面为按键及显示。专利“桥牌叫牌计分器”(中国专利CN2537435)由一个点阵式显示器、四个牌手键盘和一个中央处理器组成；牌手通过专用键盘进行叫牌，可自动控制叫牌次序和叫牌计时。发明专利“一种桥牌智能叫牌与记分装置”(中国专利CN100358602C)采用微处理器、可擦写存储器、串行通信接口、键盘、显示器和发声器等组成叫牌与计分装置，牌手通过键盘进行叫牌，能一定程度克服叫牌过程中的舞弊和越序叫牌等违规行为，并具有计时功能。

上述工作虽然在某些方面改进了叫牌卡叫牌方式，但其共同缺点是都采用特定装置进行叫牌，改变了牌手的叫牌习惯，让牌手不适应。众所周知，叫牌卡方式是最流行、牌手最喜欢的叫牌方式。此外，采用特定装置，增加了比赛组织者的成本。随着计算机视觉技术的发展，特别是2006年深度学习(Deep Learning)被提出后，图像处理技术又得到了进一步的发展，深度学习获得了非常多成功的应用。摄像头采集桥牌比赛视频，利用深度学习方法，实时自动地识别牌手的叫牌和出牌过程，是完全可行的。该方法无需改变叫牌方式，牌手仍用传统的叫牌卡卡方式叫牌，没有不适应问题。此外，该方法只需一个摄像头，投入成本低。进一步地，只要牌手叫牌和出牌的信息被正确识别，那么比赛的算分与计分即可自动完成。

发明内容

本发明的目的是提供可自动准确实时地识别牌手的叫牌信息，无需改变牌手的传统叫牌习惯，实施成本低，且具有很好通用性的一种基于深度信念网络的桥牌叫牌自动识别方法及识别系统。

所述基于深度信念网络的桥牌叫牌自动识别方法，包括以下步骤：

1)利用摄像头获取叫牌过程的视频数据，通过网络将视频数据实时传至计算机；

2)应用图像处理技术定位推盘位置和放牌区；

3)接着建立深度信念网络模型进行叫牌卡片识别。

在步骤1)中，所述利用摄像头获取叫牌过程的视频数据的方法可为：利用摄像头的SDK文件，应用API采集到现场的原码流并解码为YUV420格式的视频流，根据YUV转为RGB的公式把YUV420视频流转化为一帧帧的RGB图像。

在步骤2)中，所述应用图像处理技术定位推盘位置和放牌区的具体方法可为：推盘和放牌区的定位跟踪是设计一图案并贴在推盘上，通过识别该图案建立极坐标系，根据该图案的初始化信息定位放牌区。

在步骤3)中，所述叫牌卡片识别的方法可为：利用深度信念网络提取样本的特征，并交给BP分类器建立分类模型；叫牌的顺序和识别结果显示是在运行界面显示每位牌手当前叫牌卡片的中文和英文，每位牌手历史叫牌的记录。

基于深度信念网络的桥牌叫牌自动识别系统设有：

摄像头，摄像头用于获取自动实时识别和记录牌手叫牌过程的视频信号；

方形桌，方形桌中间设有挡板，用于隔开同一比赛队的两家牌手；方形桌桌面正上方安置摄像头，摄像头离方形桌桌面的距离可为0.8～1.2m；

推盘，推盘上贴有用于定位桥牌位置的若干个图案，推盘上设有4个矩形框，所述矩形框用于每位玩家的放牌位置；推盘在方形桌上可移动或旋转；推盘上设有放牌区，放牌区上分别贴上E、W、S、N四个字母的图案，在推盘的内部贴上1、2、3数字的图案；

叫牌卡片，叫牌卡片设有5种不同的花色、1～7的数字、符号牌等，所述5种不同的花色可为黑桃、红心、方块、梅花和无将NT；所述符号牌可采用“PASS”、“X”(加倍)、“XX”(再加倍)和“STOP”等；叫牌卡片放置在推盘上；

椅，为比赛牌手提供座位；

电脑，电脑通过网线与摄像头视频信号输出端连接。

本发明由摄像头视频流获取，推盘定位跟踪，桥牌叫牌卡片识别等模块组成。传统叫牌卡方式的叫牌信息目前主要采用人工方式录入系统，这种方式耗费大量的人力。而本系统通过摄像头自动实时地识别和记录牌手的叫牌过程，可解放人力资源，同时减少因工作人员失误造成的错误。由于深度信念网络具有强大的特征表达能力，本发明在研究深度信念网络的基础上，将其应用在桥牌叫牌的识别中。桥牌叫牌识别过程主要分为推盘定位和叫牌卡片识别。首先，设计若干个特殊图案，将它们贴在比赛推盘上，通过对这些图案的识别，来定位桥牌位置。在得到桥牌的位置后，应用深信度神经网络提取桥牌卡片样本的特征建立分类模型。实验结果显示，我们训练的深度信念网络模型在叫牌卡的识别上，取得了与人工识别相当的准确率。该桥牌识别系统可以应用到实际桥牌比赛中去，以实现自动识别、记录和直播比赛。

附图说明

图1为基于深度信念网络的桥牌叫牌自动识别系统的叫牌卡片示意图。

图2为基于深度信念网络的桥牌叫牌自动识别系统的方形桌与椅示意图。

图3为基于深度信念网络的桥牌叫牌自动识别系统的两种推盘示意图。

图4为YUV三种采样方式。

图5为推盘上贴上特殊图案。

图6为RBM网络结构。

图7为卡片样本。

图8为程序运行界面。

图9为叫牌过程界面。

图10为桥牌叫牌自动识别系统程序流程图。

图11为基于深度信念网络的桥牌叫牌自动识别系统的摄像头与电脑的连接关系示意图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

基于深度信念网络的桥牌叫牌自动识别系统实施例设有：

摄像头，摄像头用于获取自动实时识别和记录牌手叫牌过程的视频信号；

方形桌，方形桌中间设有挡板，用于隔开同一比赛队的两家牌手；方形桌桌面正上方安置摄像头，摄像头离方形桌桌面的距离可为0.8～1.2m；

推盘，推盘上贴有用于定位桥牌位置的若干个图案，推盘上设有4个矩形框，所述矩形框用于每位玩家的放牌位置；推盘在方形桌上可移动或旋转；推盘上设有放牌区，放牌区上分别贴上E、W、S、N四个字母的图案，在推盘的内部贴上1、2、3数字的图案；

叫牌卡片，叫牌卡片设有5种不同的花色、1～7的数字、符号牌等，所述5种不同的花色可为黑桃、红心、方块、梅花和无将NT；所述符号牌可采用“PASS”、“X”(加倍)、“XX”(再加倍)和“STOP”等；叫牌卡片放置在推盘上；

椅，为比赛牌手提供座位；

电脑，电脑通过网线与摄像头视频信号输出端连接。

1、桥牌识别系统的场景

桥牌比赛中的四个牌手，分为东、南、西、北四个方位，东西为合作一方，南北为合作一方。图2所示为桥牌比赛的一个常见场景，四人坐在一个方形桌子旁，桌子中间用挡板把同一队的两家隔开。摄像头安置于桌面正上方约1m。

叫牌卡片由5种不同的花色(黑桃、红心、方块、梅花和无将NT)，1～7的数字，加上一些特殊的符号牌，如“PASS”、“X”(加倍)、“XX”(再加倍)和“STOP”等构成，如图1所示。桥牌叫牌卡片的外观比较规范化，不同厂家生产的牌基本上都一样。

在整个桥牌比赛过程中，所有的牌都必须放在推盘上，图3展示了两个不同厂家生产的推盘。每位牌手的牌只能放在推盘上固定的位置，图3中推盘上的4个矩形框就是每位玩家的放牌位置。在整个比赛过程中推盘在桌上会被移动，有时会发生一定角度的旋转。

2、摄像头视频流的获取

视频流的获取是利用摄像头的SDK文件，应用API从摄像头采集到一帧帧现场的原码流，再分离出视频流(原码流有音频流和视频流)，通过API解码得到YUV420格式的视频流。

YUV，分为三个分量，Y表示明亮度，也是灰度值；而U和V表示色度。YUV码流的采样方式有三种：YUV4∶4∶4，YUV4∶2∶2，YUV4∶2∶0，根据采样方式从码流中还原每个像素点的YUV值，图4直观的表示采样的方式，以黑点表示采样该像素点的Y分量，以空心圆圈表示采用该像素点的UV分量。本系统采用YUV420，YUV420对每行扫描线来说，只有一种色度分量以2∶1的抽样率存储，进行隔行扫描，相邻的扫描行存储不同的色度分量。再把YUV420转化为RGB的图像。

3、推盘和放牌区的定位跟踪

在一张很大分辨率的图像中找到放牌区是非常困难的，如1920×1080中的放牌区是150×150。本发明在推盘上贴上若干易于定位和识别的特殊图案，通过识别定位这些特殊图案来定位放牌区。在推盘的放牌区分别贴上E、W、S、N四个字母的图案，在推盘的内部贴上1、2、3数字的图案，如图5所示。

任意两个数字连成的直线就可以构成一个极坐标系，如图5所示。比赛最开始的时候记录下4个字母在极坐标系中的角度和距离，在比赛过程中，无论推盘在图像中处于任何位置、任何角度，由于字母和数字之间的相对位置是不会变化，我们可以通过定位其中两个数字来定位其他字母，从而确定放牌区。

4、基于深度信念网络的叫牌卡片识别

深度信念网络(Deep Belief Nets,DBN)是Hinton等人于2006年提出，并给出该模型的高效学习算法CD-k。DBN是由若干个受限波尔兹曼(Restricted BlotzmannMachines,RBM)组成。RBM是一类具有两层结构、层间全连接、层内无连接的随机神经网络模型，如图6所示。RBM是一种有效的特征提取方法，DBN具有更强大的学习能力，能提取数据中复杂抽象的特征。

DBN的训练由低到高逐层训练RBM，每层之间的训练是相互独立:

1)底部RBM以输入原始数据训练

2)将底部RBM提取的特征作为下一层RBM的输入数据进行训练

本系统中分类模型是由两层RBM的深度信念网络和一层BP分类器构成。第一层RBM输入是样本数据二值化后连通块的像素值，样本二值化如图7所示。第一层RBM训练提取低级的特征，如边缘，轮廓，将提取的特征输入下一层RBM，第二层RBM提取更高级的特征，如目标的形状。再把提取的特征交给BP分类器建立分类模型。

5、系统运行界面显示

1)实施过程需要的设备：

一张桌子(上面有挡板和架子可以悬挂摄像头)，四个椅子(牌手使用)，摄像头,一条网线，一台电脑。

2)实时识别显示

启动系统后需要大概3min加载深度信念网络模型参数。系统启动后进入显示界面，如图8所示，最上面的显示为每位牌手当前出牌的英文显示，中间是每位牌手当前出牌的中文显示，最下面是每位牌手整个打牌过程的记录。图9展示了一个叫牌场景和系统自动识别的记录情况。图10是桥牌叫牌自动识别系统程序流程图。图11是基于深度信念网络的桥牌叫牌自动识别系统的摄像头A与电脑B的连接关系示意图。

本发明主要在于推盘和放牌区的定位跟踪，桥牌叫牌卡片的识别。

桥牌的定位跟踪是基于桥牌比赛的特定环境，提出了一种创新的桥牌定位方法。本发明设计了若干个特殊的图案并贴在比赛推盘上，通过对这些图案的识别，根据极坐标系原理定位放牌区，取得了较高的定位准确率。其次，将深度信念网络应用于桥牌卡片的识别，取得与人工识别相当的准确率。

本发明设计并识别特殊图案，建立极坐标系定位放牌区。

本发明的卡片识别是应用深度信念网络建立分类模型，深度信念网络有三层网络，两层RBM提取低级特征(边缘轮廓)和高级特征(图形形状)，最后一层是BP分类器进行特征分类。

Claims (9)

1.基于深度信念网络的桥牌叫牌自动识别方法，其特征在于包括以下步骤：

1)利用摄像头获取叫牌过程的视频数据，通过网络将视频数据实时传至计算机；

2)应用图像处理技术定位推盘位置和放牌区；

3)接着建立深度信念网络模型进行叫牌卡片识别。

2.如权利要求1所述基于深度信念网络的桥牌叫牌自动识别方法，其特征在于在步骤1)中，所述利用摄像头获取叫牌过程的视频数据的方法为：利用摄像头的SDK文件，应用API采集到现场的原码流并解码为YUV420格式的视频流，根据YUV转为RGB的公式把YUV420视频流转化为一帧帧的RGB图像。

3.如权利要求1所述基于深度信念网络的桥牌叫牌自动识别方法，其特征在于在步骤2)中，所述应用图像处理技术定位推盘位置和放牌区的具体方法为：推盘和放牌区的定位跟踪是设计一图案并贴在推盘上，通过识别该图案建立极坐标系，根据该图案的初始化信息定位放牌区。

4.如权利要求1所述基于深度信念网络的桥牌叫牌自动识别方法，其特征在于在步骤3)中，所述叫牌卡片识别的方法为：利用深度信念网络提取样本的特征，并交给BP分类器建立分类模型。

5.如权利要求1所述基于深度信念网络的桥牌叫牌自动识别方法，其特征在于在步骤3)中，叫牌的顺序和识别结果显示是在运行界面显示每位牌手当前叫牌卡片的中文和英文，每位牌手历史叫牌的记录。

6.基于深度信念网络的桥牌叫牌自动识别系统，其特征在于设有：

摄像头，摄像头用于获取自动实时识别和记录牌手叫牌过程的视频信号；

方形桌，方形桌中间设有挡板，用于隔开同一比赛队的两家牌手；方形桌桌面正上方安置摄像头；

推盘，推盘上贴有用于定位桥牌位置的若干个图案，推盘上设有4个矩形框，所述矩形框用于每位玩家的放牌位置；推盘在方形桌上可移动或旋转；推盘上设有放牌区，放牌区上分别贴上E、W、S、N四个字母的图案，在推盘的内部贴上1、2、3数字的图案；

叫牌卡片，叫牌卡片设有5种不同的花色、1～7的数字、符号牌；叫牌卡片放置在推盘上；

椅，为比赛牌手提供座位；

电脑，电脑通过网线与摄像头视频信号输出端连接。

7.如权利要求6所述基于深度信念网络的桥牌叫牌自动识别系统，其特征在于所述摄像头离方形桌桌面的距离为0.8～1.2m。

8.如权利要求6所述基于深度信念网络的桥牌叫牌自动识别系统，其特征在于所述5种不同的花色为黑桃、红心、方块、梅花和无将NT。

9.如权利要求6所述基于深度信念网络的桥牌叫牌自动识别系统，其特征在于所述符号牌采用PASS，X即加倍，XX即再加倍，STOP。