CN108764447A - 一种群机器人麻将博弈智动化系统及麻将识别学习算法 - Google Patents

一种群机器人麻将博弈智动化系统及麻将识别学习算法 Download PDF

Info

Publication number
CN108764447A
CN108764447A CN201810468316.1A CN201810468316A CN108764447A CN 108764447 A CN108764447 A CN 108764447A CN 201810468316 A CN201810468316 A CN 201810468316A CN 108764447 A CN108764447 A CN 108764447A
Authority
CN
China
Prior art keywords
mahjong
robot
game
majiang
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810468316.1A
Other languages
English (en)
Inventor
韩九强
刘思若
吕红强
刘俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810468316.1A priority Critical patent/CN108764447A/zh
Publication of CN108764447A publication Critical patent/CN108764447A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/34Betting or bookmaking, e.g. Internet betting

Abstract

本发明提供了一种群机器人麻将博弈智动化系统及麻将识别学习算法,系统包括双目视觉机器人麻将博弈区、监控计算机以及用于通信的无线模块。启动群机器人麻将博弈智动化系统,触发视觉机器人采集图像,机器人使用麻将识别学习算法和麻将决策算法实现揭牌和出牌操作,并将揭牌和出牌信息广播给所有机器人和监控计算机,同时监控计算机实时显示包含全局场景信息的虚拟博弈界面;本发明可一键启动停止,机器人可自主智能作业,为进一步研究群机器人的智能自动化智动化系统作业奠定了基础,具有很强的扩展性强、与抗干扰能力强和可移植性强的特点,适用于不同工作环境,同时提出的麻将识别学习算法速度快、准确率高、鲁棒性强。

Description

一种群机器人麻将博弈智动化系统及麻将识别学习算法
技术领域
本发明属于人工智能与机器人技术领域,特别涉及一种群机器人麻将博弈智动化系统及麻将识别学习算法。
背景技术
随着中国制造业的快速发展,“工业4.0”和“中国制造2025”等概念深入人心,制造业向智能自动化发展已是必然趋势。作为工业、农业、国防和科学技术现代化的重要条件和显著标志的自动化技术也要向智能自动化方向发展。但是目前智能自动化没有形成完整成熟的系统,仍处于研究阶段,公司和高校都迫切需要可以进行实验学习和验证的智能自动化系统作为研究对象。
随着人工智能领域的快速发展,AlphaGo在围棋上战胜人类,计算机博弈领域再次引起广泛的关注。目前的麻将博弈系统已经可以与人类玩家同台竞技,但仅是虚拟场景下的麻将博弈,尚未有机器人代替人类直接进行出牌等实际操作,即使是AlphaGo比赛时也需要人类进行场景认知识别以及实际操作,没有完整复现真实场景下的博弈。此外,现有的麻将识别分类算法采用传统的模板匹配方法,在不同光照条件下鲁棒性较低,当系统所在环境改变时,识别效果不佳。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种群机器人麻将博弈智动化系统及麻将识别学习算法,不仅可以实现群机器人之间的麻将博弈,还可以实现多人或单人与机器人之间的麻将博弈,具有一键启动和一键停止博弈的功能,而且在不同光照条件下的鲁棒性好,系统占空间较小,可作为智能自动化系统的模型系统进行深入研究,充分体现了群机器人协同作业的概念以及机器智能代替人工作业的概念,可扩展性强,为进一步研究群机器人智能自动化系统提供了基础。
为了实现上述目的,本发明采用的技术方案是:
一种群机器人麻将博弈系统,包括监控计算机1、双目视觉机器人麻将博弈区2以及无线模块3,其中,所述双目视觉机器人麻将博弈区2包括麻将存放区20,绕麻将存放区20设置有环形的传送装置21,沿传送装置21布置有参与麻将博弈的四个视觉机器人22、23、24、25,其中每个视觉机器人22、23、24、25布置有两个相机,分别为台面相机221、231、241、251和机器人末端相机222、232、242、252,其中机器人末端相机222、232、242、252固定于机器人末端,用于采集传送装置21上方的视觉图像,视觉机器人22、23、24、25执行麻将识别定位算法,并将图像中麻将的坐标按照一定比例关系转换获取机器人坐标系下的运动坐标,结合传送装置21的速度进行相应的抓取操作,抓取麻将后运动到固定于机器人所在台面上的台面相机221、231、241、251正上方,供其采集麻将牌面图像,并由视觉机器人22、23、24、25执行识别分类算法进行识别分类,使用麻将决策算法实现出牌操作,并通过无线模块3将揭牌和出牌信息广播给监控计算机1和所有视觉机器人。
所述每个视觉机器人22、23、24、25分别布置有一台显示器26、27、28、29,所述监控计算机1显示包含全局场景信息的虚拟博弈界面,四台显示器26、27、28、29分别显示对应机器人的局部场景信息的虚拟博弈界面。
所述台面相机221、231、241、251和机器人末端相机222、232、242、252的外壳表面两侧布置有两排LED光源,以有效平衡外界光照,提高麻将背面特征模板的普适性,最大化麻将正面区域与背景区域的色彩差异,有效提高获取的视觉图像的抗光照干扰能力。
所述麻将决策算法基于BDI推理模型,记忆集合存储已经发生的事件,包括当前机器人的手牌、其他机器人已出的牌和当前机器人未揭到的牌,行为集合是当前机器人可执行的行为包括出牌、碰牌、杠牌、过牌和胡牌,规则集合存储麻将博弈规则,状态集合是当前机器人对场景的认识,定义P=(m,n)表示一个序列,能够通过剔除m张牌和获取n张牌使该序列能组成x×AAA+y×ABC的形式,称P=(m,n)为出取对,每种花色i的状态表示如下:
si=<Ai,Ari,pi,Ari′,pi′>
其中,Ai为该花色牌的序列,Ari为该花色不是将牌花色时,采用重排算法按出牌优先级由低到高排列的序列,Pi为达到胜利状态的出取对;Ari′为该花色是将牌花色时,采用重排算法按出牌优先级由低到高排列的序列,Pi′为达到胜利状态的出取对,因此当前手牌的状态为每种花色牌的状态集合;
目标集合是可达到的某些理想状态,自主决策模块的执行过程是:
(a)通过感知环境信息更新记忆集合和行为集合;
(b)通过状态集合存储的对当前场景的认识,形成目标集合,对目标集合进行筛选得到具有共性的目标,即选择出取对P=(m,n)中参数m+n之和最小的花色;
(c)对目标进行分解,目标分解的方法是选择目标花色i后,对于不同于目标花色i的花色j,达到目标需要将Ar中后pj的出数张牌打出,并得到pj的取数张牌与该花色剩余的牌组成三张连续的牌或三张相同的牌的组合,对于花色i,达到目标需要将Ar′中后pi′的出数张牌打出,并得到pi′的取数张牌与该花色剩余的牌组成理想组合;
(d)目标分解后会得到所有可一步达到的状态,并将这些状态与行为集合中的行为相匹配,从而得到当前机器人的行为操作。
所述视觉机器人22、23、24、25之间以及与监控计算机1之间通信的无线模块3,是以无线路由器为中心的星型局域网,局域网中各个节点均通过无线路由器转发完成整个系统的通信,接收和发送的消息由字符串构成,字符串以“#”作为起始符,以“/”作为终止符,字符串内部传递的消息之间以“+”相隔。对消息的处理过程是首先遍历字符串,如果起始符和终止符不完整,说明消息不是完整命令;否则以“+”为边界进行分割,根据命令类型不同进入不同的处理模块,其中消息处理机制采用基于消息响应的异步机制,同时采用互斥锁的方法防止多个线程同时访问消息处理模块。
利用所述群机器人麻将博弈智动化系统的方法,包括如下步骤:
步骤1:启动群机器人麻将博弈智动化系统;
步骤2:四个双目视觉机器人22、23、24、25调用麻将识别学习模块分别从传送装置21上抓取和识别13张麻将,同时将揭牌信息进行广播,监控计算机1显示包含全局场景信息的虚拟博弈界面,四台显示器26、27、28、29分别显示对应机器人的局部场景信息的虚拟博弈界面,四个视觉机器人22、23、24、25均完成13张麻将的抓取识别后,进入步骤3;
步骤3:行动序列中当前行为者调用麻将识别学习模块,从传送装置21上抓取和识别1张麻将,同时将揭牌信息广播,更新各个虚拟博弈界面;
步骤4:四个双目视觉机器人22、23、24、25分别调用自主决策模块感知场景信息,判断是否有胡牌操作,如果有,则执行步骤7;
步骤5:如果当前机器人是由人类决策出牌,则人类感知相应显示器中虚拟场景并通过鼠标点击做出决策;如果当前机器人是由机器人自主决策出牌,则通过视觉机器人的自主决策模块做出决策,视觉机器人将决策信息广播,同时更新各个虚拟博弈界面;
步骤6:四个视觉机器人22、23、24、25判断是否有碰牌或过操作,如果有,则改变行动序列,执行步骤5;判断是否有杠牌操作,如果有,则改变行动序列,执行步骤3;
步骤7:所有麻将都被抓取完或者有机器人胡牌,则麻将博弈结束。
本发明还提供了用于所述系统的麻将识别学习算法,包括抓取麻将时的麻将识别定位算法和对抓取的麻将牌面的麻将识别分类算法,所述麻将识别分类算法步骤如下:
采集麻将牌面即其正面图像,麻将正面区域与背景区域色彩差异形成RGB颜色空间模型约束条件,根据该约束条件,采用轮廓检测算法检测麻将正面边缘,求取麻将正面边缘的外接矩形,得到有效的麻将正面区域;使用多张去除背景后的麻将正面图像作为训练样本,提取图像的HOG特征,训练SVM分类器,将待识别的去除背景麻将图像输入已训练的SVM分类器,提取输入图像的HOG特征作为分类器的特征向量,从而通过SVM分类器得到麻将牌面的识别分类。
所述训练样本的麻将正面图像进行归一化处理,得到的有效麻将正面彩色图像为64×48大小,提取样本图像的HOG特征共2592维,提取HOG特征的步骤如下:
(a)将彩色图像的RGB分量转化为灰度图,转化方法为:
Gray=0.3×R+0.59×G+0.11×B
R、G、B分别代表彩色图像的RGB分量,通过Gamma变换校正,解决图像照度不均匀的问题;
(b)对经过a预处理后的图像,计算其梯度幅值和方向;
(c)将灰度图划分为若干个细胞单元cell,每个cell包含8×8=64像素,在每个cell内统计梯度方向直方图,将所有梯度方向划分为9维特征向量作为直方图横轴,角度范围所对应的梯度累加值作为直方图纵轴;
(d)样本图像为64×48大小,利用一个32×24大小的滑动窗口在图像上以间隔10像素滑动,每个窗口中2×2个cell构成一个块block,block的滑动步长为8,从而得到整幅图像的特征向量共2592维。
利用提取的HOG特征向量训练SVM分类器,基于核函数的SVM分类器的求解步骤如下:
(a)选择高斯核函数构建训练样本,高斯核函数表示如下:
K(xi,xj)=exp(-xi-xj 22)
其中xi,xj表示特征空间中任意两个特征,σ表示高斯RMS宽值,假设给定样本为(x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(m),y(m)),其中x表示输入样本,y表示样本对应标签,m表示训练样本个数;设置l(1)=x(1),l(2)=x(2),...,l(m)=x(m),则可以由原来的输入特征得到新的特征:
f(1)=similarity(x,l(1))
f(2)=similarity(x,l(2))
...
f(i)=similarity(x,l(i))
...
f(m)=similarity(x,l(m))
(b)使用新的样本数据对SVM模型进行训练,得到使得代价函数最小时的θ值,代价函数如下:
其中C表示正则化参数,通过调整C,可以防止系统过拟合,cost1表示标签为1时候模型的误差,cost0表示标签为0时模型的误差,表示参数的控制项,配合C的使用,可以防止过拟合,T表示矩阵的转置符号,m表示训练样本个数。所述麻将识别定位算法步骤如下:采集麻将抓取区域上方的视觉图像,利用对麻将背面的多个特征构造的模型进行模板匹配,对于麻将目标,提取轮廓,获取轮廓的最小外接矩形,从而得到图像中麻将的坐标位置,所述特征包括颜色特征、形状特征和大小特征。
与现有技术相比,本发明的有益效果是:
本发明的群机器人麻将博弈系统充分体现群机器人智能自动化的概念,可以一键启动和停止博弈系统,可扩展性强,在此软件和硬件系统的基础上,可以进一步研究群机器人的智能自动化作业,提高生产效率,为高校和企业的相关研究奠定基础。系统抗环境干扰能力强,适用于各种工作环境,可移植性强。
本发明中视觉机器人代替人类的眼识别分类麻将,代替人类的手在真实环境中抓取麻将,代替人类的脑感知场景信息并自主决策出牌。
本发明提出的麻将识别学习算法引入人工智能中机器学习方法,速度快,准确率高,鲁棒性强。
附图说明
图1为本发明群机器人麻将博弈智动化系统的架构图。
图2为本发明群机器人麻将博弈过程的流程图。
图3为本发明麻将识别学习算法的流程图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如图1所示,本发明基于麻将识别学习算法的群机器人麻将博弈智动化系统,包括监控计算机1、双目视觉机器人麻将博弈区2以及承担监控计算机1和双目视觉机器人麻将博弈区2之间通信的无线模块3,通过物联网组成星型局域网。
如图1所示,视觉机器人麻将博弈区2包括一个环形的传送装置21,四个双目视觉机器人22、23、24、25,四台显示器26、27、28、29和麻将存放区20。沿传送装置21布置有参与麻将博弈的四个视觉机器人22、23、24、25和四台显示器26、27、28、29,在传送装置21的两侧长轴中间区域布置有麻将存放区20。其中传送装置21负责传送博弈所需的麻将211。所述视觉机器人22、23、24、25布置有两个相机,其中一个相机221、231、241、251固定于机器人所在台面上,另一个相机222、232、242、252固定于机器人末端。所述四台显示器26、27、28、29分别负责显示四个视觉机器人22、23、24、25对应的虚拟博弈场景界面。所述台面相机221、231、241、251和机器人末端相机222、232、242、252的外壳表面两侧布置有两排LED光源,LED光源发光效率高、耗电量少并且使用寿命长,能够有效提高获取的视觉图像的抗光照干扰能力,使系统识别环境保持在稳定的状态。视觉机器人22、23、24、25包括麻将识别学习模块、无线通信模块和自主决策模块。
如图2所示,基于麻将识别学习算法的群机器人麻将博弈系统运行的过程是:
首先,启动群机器人麻将博弈智动化系统,随后,四个视觉机器人22、23、24、25调用机器人的麻将识别学习模块,从传送装置21上抓取和识别13张麻将,同时将揭牌信息进行广播,四个视觉机器人22、23、24、25对应的显示器26、27、28、29分别实时显示包含当前机器人揭牌信息的虚拟博弈界面,监控计算机1显示包含全局场景信息的虚拟博弈界面。等待四个视觉机器人22、23、24、25均完成13张麻将的抓取识别后,进入博弈阶段。
对于揭牌操作,当前行动序列中当前行为者调用麻将识别学习模块,从环形装置21上抓取和识别1张麻将,同时将揭牌信息广播,更新监控计算机1和四个显示器26、27、28、29的虚拟博弈界面。
对于出牌操作,由于本发明可以进行人机博弈,即可以由人类决策出牌,因此决策出牌过程中如果是人类自主决策,则通过响应鼠标点击实现出牌操作;如果是机器人自主决策,则四个视觉机器人22、23、24、25分别调用自主决策模块感知场景信息,进行出牌决策操作。同时广播操作信息给其他终端,更新所有虚拟博弈界面。其中,操作信息是碰牌、杠牌和胡牌操作时,需要根据麻将规则,改变行动序列。
最后,所有麻将都被机器人抓取完或者有机器人胜利,则麻将博弈结束。此时,监控计算机1和四个显示器26、27、28、29,自动显示四个机器人的本局成绩。
如图3所示,视觉机器人22、23、24、25的麻将学习识别模块包括麻将识别定位和麻将识别分类两个部分。
其中麻将识别定位部分,视觉机器人22、23、24、25末端运动到传送装置21的正上方,利用固定在机器人末端的相机222、232、242、252采集视觉图像,根据麻将背面颜色阈值特征,将图像进行二值化处理,满足该颜色阈值的为前景,否则为背景(前景像素设为1,背景像素设为0)。采用Canny边缘检测算法检测二值图中白色连通域的轮廓。Canny边缘检测算法的步骤如下:
(a)使用高斯滤波器,滤除噪声,平滑图像。
(b)设平滑后图像为I,其相应的梯度幅值图像为G,梯度方向图像为θ,其中点(i,j)处两个方向偏导数Gx(i,j)和Gy(i,j):Gx(i,j)=(I(i,j+1)-I(i,j)+I(i+1,j+1)-I(i+1,j))/2Gy(i,j)=(I(i,j)-I(i+1,j)+I(i,j+1)-I(i+1,j+1))/2
则此时梯度幅值G(i,j)和方向θ(i,j):
(c)利用非极大值抑制法,精确定位边缘。
(d)利用双阈值法从候选边缘点中检测和连接出最终边缘。
筛选出满足麻将背面形状和大小特征的轮廓,定位出轮廓的最小外接矩形,求解出矩形的中心坐标,视觉机器人22、23、24、25将图像中坐标按照一定比例关系转换获取机器人坐标系下的运动坐标并结合传送装置21的传送速度,进行相应的抓取操作,然后运动到台面相机221、231、241、251正上方,进行麻将识别分类。
对于麻将识别分类部分,视觉机器人22、23、24、25利用固定在机器人所在台面的相机221、231、241、251采集抓取的麻将正面图像,麻将正面区域与背景区域色彩差异形成RGB颜色空间模型约束条件,根据该约束条件,采用Canny边缘检测算法检测麻将正面边缘,定位边缘的最小外接矩形,利用ROI区域裁剪原彩色图像并归一化为64×48大小,从而实现麻将正面区域的精确定位。使用去除背景后的麻将正面图像作为训练样本,提取样本图像的HOG特征共2592维,提取HOG特征的步骤如下:
(a)将彩色图像的RGB分量转化为灰度图,转化方法为:
Gray=0.3×R+0.59×G+0.11×B
通过Gamma变换校正,解决图像照度不均匀的问题。
(b)对经过(a)预处理后的图像,计算其梯度幅值和方向。
(c)将灰度图划分为若干个细胞单元cell,每个cell包含8×8=64像素。在每个cell内统计梯度方向直方图,将所有梯度方向划分为9维特征向量作为直方图横轴,角度范围所对应的梯度累加值作为直方图纵轴。
(d)样本图像为64×48大小,利用一个32×24大小的滑动窗口在图像上以间隔10像素滑动,每个窗口中2×2个cell构成一个块block,block的滑动步长为8。从而得到整幅图像的特征向量共2592维。
利用提取的HOG特征向量训练SVM分类器,基于核函数的SVM分类器的求解步骤如下:
(a)选择高斯核函数构建训练样本,高斯核函数表示如下:
K(xi,xj)=exp(-xi-xj 22)
其中xi,xj表示特征空间中任意两个特征,σ表示高斯RMS宽值,假设给定样本为(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m)),其中x表示输入样本,y表示样本对应标签,m表示训练样本个数。设置l(1)=x(1),l(2)=x(2),...,l(m)=x(m),则可以由原来的输入特征得到新的特征:
f(1)=similarity(x,l(1))
f(2)=similarity(x,l(2))
...
(b)使用新的样本数据对SVM模型进行训练,得到使得代价函数最小时的θ值,代价函数如下:
其中C表示的是正则化参数,通过调整C,可以防止系统过拟合。cost1表示的是标签为1时候模型的误差,类似的cost0表示的是标签为0时模型的误差。表示的是参数的控制项。配合C的使用,可以防止过拟合,T表示矩阵的转置符号,m表示训练样本个数;
训练完毕后,将待识别的去除背景噪声的麻将图像输入已训练的SVM分类器,提取输入图像的HOG特征作为分类器的特征向量,从而通过SVM分类器识别分类麻将。
本发明中四个视觉机器人22、23、24、25以及监控计算机1之间的无线模块3,是以无线路由器为中心的星型局域网,局域网中各个节点均通过无线路由器转发完成整个系统的通信。其中接收和发送的消息由字符串构成,字符串以“#”作为起始符,以“/”作为终止符,字符串内部传递的消息之间以“+”相隔。对消息的处理过程是首先遍历字符串,如果起始符和终止符不完整,说明消息不是完整命令;否则以“+”为边界进行分割,根据命令类型不同进入不同的处理模块。其中消息处理机制采用基于消息响应的异步机制,同时采用互斥锁的方法防止多个线程同时访问消息处理模块。
本发明中视觉机器人22、23、24、25所包含的自主决策模块基于BDI推理模型,定义记忆集合包括当前机器人的手牌、其他机器人已出的牌和当前机器人未揭到的牌。行为集合是当前机器人可执行的行为包括出牌、碰牌、杠牌、过牌和胡牌。规则集合存储麻将博弈规则。状态集合是当前机器人对场景的认识,对于一个序列,定义P=(m,n)表示一个序列可以通过剔除m张牌和获取n张牌使该序列能组成x×AAA+y×ABC的形式,在此称P=(m,n)为出取对。每种花色i麻将的状态表示如下:
si=<Ai,Ari,pi,Ari′,pi′>
其中,Ai为该花色牌的序列,Ari为该花色不是将牌花色时,采用重排算法按出牌优先级由低到高排列的序列,Pi为达到胜利状态的出取对;Ari′为该花色是将牌花色时,采用重排算法按出牌优先级由低到高排列的序列,Pi′为达到胜利状态的出取对。因此当前手牌的状态为每种花色牌的状态集合。
目标集合是可达到的某些理想状态,每个目标的实现难度不同。自主决策模块的执行过程是:首先通过感知环境信息更新记忆集合和行为集合,记忆集合存储已经发生的事件;然后通过状态集合存储的对当前场景的认识,形成目标集合,对目标集合进行筛选得到具有共性的目标,即选择出取对P=(m,n)中参数m+n之和最小的花色;接着对目标进行分解,目标分解的方法是选择目标花色i后,对于不同于目标花色i的花色j,达到目标需要将Ar中后pj的出数张牌打出,并得到pj的取数张牌与该花色剩余的牌组成三张连续的牌或三张相同的牌的组合,对于花色i,达到目标需要将Ar′中后pi′的出数张牌打出,并得到pi′的取数张牌与该花色剩余的牌组成理想组合。最后,目标分解后会得到所有可一步达到的状态,并将这些状态与行为集合中的行为相匹配,从而得到当前机器人的行为操作,同时将要执行的动作请求广播给其他终端。
通过以上方法,即可实现群机器人识别抓取麻将和自主决策出牌,并通过无线模块实现整个博弈过程的通信。本发明提出的麻将识别学习算法引入人工智能中机器学习方法,速度快,准确率高,鲁棒性强。本发明的群机器人麻将博弈系统,将虚拟麻将游戏场景真实化,无需人类参与,完全由机器人通过视觉感知真实场景,完成揭牌和出牌操作。本发明的群机器人麻将博弈系统,可一键启动和停止系统,体现了机器人的自主智能作业特点,可扩展性强,在此软件和硬件系统的基础上,可以进一步研究群机器人的智能自动化作业,提高生产效率。整套系统抗干扰能力强,适用于不同工作环境,可移植性强。
值得注意的是,上述的具体实施方式用于解释说明本发明,仅为本发明的优选实施方案,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明做出的任何修改、等同替换、改进等,都属于本发明的保护范围。

Claims (10)

1.一种群机器人麻将博弈系统,其特征在于,包括监控计算机(1)、双目视觉机器人麻将博弈区(2)以及无线模块(3),其中,所述双目视觉机器人麻将博弈区(2)包括麻将存放区(20),绕麻将存放区(20)设置有环形的传送装置(21),沿传送装置(21)布置有参与麻将博弈的四个视觉机器人(22、23、24、25),其中每个视觉机器人(22、23、24、25)布置有两个相机,分别为台面相机(221、231、241、251)和机器人末端相机(222、232、242、252),其中机器人末端相机(222、232、242、252)固定于机器人末端,用于采集传送装置(21)上方的视觉图像,视觉机器人(22、23、24、25)执行麻将识别定位算法,并将图像中麻将的坐标按照一定比例关系转换获取机器人坐标系下的运动坐标,结合传送装置(21)的速度进行相应的抓取操作,抓取麻将后运动到固定于机器人所在台面上的台面相机(221、231、241、251)正上方,供其采集麻将牌面图像,并由视觉机器人(22、23、24、25)执行识别分类算法进行识别分类,使用麻将决策算法实现出牌操作,并通过无线模块(3)将揭牌和出牌信息广播给监控计算机(1)和其余机器人。
2.根据权利要求1所述群机器人麻将博弈系统,其特征在于,所述每个视觉机器人(22、23、24、25)分别布置有一台显示器(26、27、28、29),所述监控计算机(1)显示包含全局场景信息的虚拟博弈界面,四台显示器(26、27、28、29)分别显示对应机器人的局部场景信息的虚拟博弈界面。
3.根据权利要求1所述群机器人麻将博弈系统,其特征在于,所述台面相机(221、231、241、251)和机器人末端相机(222、232、242、252)的外壳表面两侧布置有两排LED光源,以有效平衡外界光照,提高麻将背面特征模板的普适性,最大化麻将正面区域与背景区域的色彩差异。
4.根据权利要求1所述群机器人麻将博弈系统,其特征在于,所述麻将决策算法基于BDI推理模型,记忆集合存储已经发生的事件,包括当前机器人的手牌、其他机器人已出的牌和当前机器人未揭到的牌,行为集合是当前机器人可执行的行为包括出牌、碰牌、杠牌、过牌和胡牌,规则集合存储麻将博弈规则,状态集合是当前机器人对场景的认识,定义P=(m,n)表示一个序列,能够通过剔除m张牌和获取n张牌使该序列能组成x×AAA+y×ABC的形式,称P=(m,n)为出取对,每种花色i的状态表示如下:
si=<Ai,Ari,pi,Ari′,pi′>
其中,Ai为该花色牌的序列,Ari为该花色不是将牌花色时,采用重排算法按出牌优先级由低到高排列的序列,Pi为达到胜利状态的出取对;Ari′为该花色是将牌花色时,采用重排算法按出牌优先级由低到高排列的序列,Pi′为达到胜利状态的出取对,因此当前手牌的状态为每种花色牌的状态集合;
目标集合是可达到的某些理想状态,自主决策模块的执行过程是:
(a)通过感知环境信息更新记忆集合和行为集合;
(b)通过状态集合存储的对当前场景的认识,形成目标集合,对目标集合进行筛选得到具有共性的目标,即选择出取对P=(m,n)中参数m+n之和最小的花色;
(c)对目标进行分解,目标分解的方法是选择目标花色i后,对于不同于目标花色i的花色j,达到目标需要将Ar中后pj的出数张牌打出,并得到pj的取数张牌与该花色剩余的牌组成三张连续的牌或三张相同的牌的组合,对于花色i,达到目标需要将Ar′中后pi′的出数张牌打出,并得到pi′的取数张牌与该花色剩余的牌组成理想组合;
(d)目标分解后会得到所有可一步达到的状态,并将这些状态与行为集合中的行为相匹配,从而得到当前机器人的行为操作。
5.根据权利要求1所述群机器人麻将博弈系统,其特征在于,所述视觉机器人(22、23、24、25)之间以及与监控计算机(1)之间通信的无线模块(3),是以无线路由器为中心的星型局域网,局域网中各个节点均通过无线路由器转发完成整个系统的通信,接收和发送的消息由字符串构成,字符串以“#”作为起始符,以“/”作为终止符,字符串内部传递的消息之间以“+”相隔。对消息的处理过程是首先遍历字符串,如果起始符和终止符不完整,说明消息不是完整命令;否则以“+”为边界进行分割,根据命令类型不同进入不同的处理模块,其中消息处理机制采用基于消息响应的异步机制,同时采用互斥锁的方法防止多个线程同时访问消息处理模块。
6.利用权利要求5所述群机器人麻将博弈智动化系统的方法,其特征在于,包括如下步骤:
步骤1:启动群机器人麻将博弈智动化系统;
步骤2:四个双目视觉机器人(22、23、24、25)调用麻将识别学习模块分别从传送装置(21)上抓取和识别13张麻将,同时将揭牌信息进行广播,监控计算机(1)显示包含全局场景信息的虚拟博弈界面,四台显示器(26、27、28、29)分别显示对应机器人的局部场景信息的虚拟博弈界面,四个视觉机器人(22、23、24、25)均完成13张麻将的抓取识别后,进入步骤3;
步骤3:行动序列中当前行为者调用麻将识别学习模块,从传送装置(21)上抓取和识别1张麻将,同时将揭牌信息广播,更新各个虚拟博弈界面;
步骤4:四个双目视觉机器人(22、23、24、25)分别调用自主决策模块感知场景信息,判断是否有胡牌操作,如果有,则执行步骤7;
步骤5:如果当前机器人是由人类决策出牌,则人类感知相应显示器中虚拟场景并通过鼠标点击做出决策;如果当前机器人是由机器人自主决策出牌,则通过视觉机器人的自主决策模块做出决策,视觉机器人将决策信息广播,同时更新各个虚拟博弈界面;
步骤6:四个视觉机器人(22、23、24、25)判断是否有碰牌或过操作,如果有,则改变行动序列,执行步骤5;判断是否有杠牌操作,如果有,则改变行动序列,执行步骤3;
步骤7:所有麻将都被抓取完或者有机器人胡牌,则麻将博弈结束。
7.一种用于权利要求1所述群机器人麻将博弈智动化系统的麻将识别学习算法,包括抓取麻将时的麻将识别定位算法和对抓取的麻将牌面的麻将识别分类算法,其特征在于,所述麻将识别分类算法步骤如下:
采集麻将牌面即其正面图像,麻将正面区域与背景区域色彩差异形成RGB颜色空间模型约束条件,根据该约束条件,采用轮廓检测算法检测麻将正面边缘,求取麻将正面边缘的外接矩形,得到有效的麻将正面区域;使用多张去除背景后的麻将正面图像作为训练样本,提取图像的HOG特征,训练SVM分类器,将待识别的去除背景麻将图像输入已训练的SVM分类器,提取输入图像的HOG特征作为分类器的特征向量,从而通过SVM分类器得到麻将牌面的识别分类。
8.根据权利要求7所述麻将识别学习算法,其特征在于,所述训练样本的麻将正面图像进行归一化处理,得到的有效麻将正面彩色图像为64×48大小,提取样本图像的HOG特征共2592维,提取HOG特征的步骤如下:
(a)将彩色图像的RGB分量转化为灰度图,转化方法为:
Gray=0.3×R+0.59×G+0.11×B
R、G、B分别代表彩色图像的RGB分量,通过Gamma变换校正,解决图像照度不均匀的问题;
(b)对经过(a)预处理后的图像,计算其梯度幅值和方向;
(c)将灰度图划分为若干个细胞单元cell,每个cell包含8×8=64像素,在每个cell内统计梯度方向直方图,将所有梯度方向划分为9维特征向量作为直方图横轴,角度范围所对应的梯度累加值作为直方图纵轴;
(d)样本图像为64×48大小,利用一个32×24大小的滑动窗口在图像上以间隔10像素滑动,每个窗口中2×2个cell构成一个块block,block的滑动步长为8,从而得到整幅图像的特征向量共2592维。
9.根据权利要求7所述麻将识别学习算法,其特征在于,利用提取的HOG特征向量训练SVM分类器,基于核函数的SVM分类器的求解步骤如下:
(a)选择高斯核函数构建训练样本,高斯核函数表示如下:
K(xi,xj)=exp(-||xi-xj||22)
其中xi,xj表示特征空间中任意两个特征,σ表示高斯RMS宽值,假设给定样本为(x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(m),y(m)),其中x表示输入样本,y表示样本对应标签,m表示训练样本个数;
设置l(1)=x(1),l(2)=x(2),...,l(m)=x(m),则可以由原来的输入特征得到新的特征:
f(1)=similarity(x,l(1))
f(2)=similarity(x,l(2))
...
f(i)=similarity(x,l(i))
...
f(m)=similarity(x,l(m))
(b)使用新的样本数据对SVM模型进行训练,得到使得代价函数最小时的θ值,代价函数如下:
其中C表示正则化参数,通过调整C,可以防止系统过拟合,cost1表示标签为1时候模型的误差,cost0表示标签为0时模型的误差,表示参数的控制项,配合C的使用,可以防止过拟合,T表示矩阵的转置符号。
10.根据权利要求7所述麻将识别学习算法,其特征在于,所述麻将识别定位算法步骤如下:采集麻将抓取区域上方的视觉图像,利用对麻将背面的多个特征构造的模型进行模板匹配,对于麻将目标,提取轮廓,获取轮廓的最小外接矩形,从而得到图像中麻将的坐标位置,所述特征包括颜色特征、形状特征和大小特征。
CN201810468316.1A 2018-05-16 2018-05-16 一种群机器人麻将博弈智动化系统及麻将识别学习算法 Pending CN108764447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810468316.1A CN108764447A (zh) 2018-05-16 2018-05-16 一种群机器人麻将博弈智动化系统及麻将识别学习算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810468316.1A CN108764447A (zh) 2018-05-16 2018-05-16 一种群机器人麻将博弈智动化系统及麻将识别学习算法

Publications (1)

Publication Number Publication Date
CN108764447A true CN108764447A (zh) 2018-11-06

Family

ID=64007870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810468316.1A Pending CN108764447A (zh) 2018-05-16 2018-05-16 一种群机器人麻将博弈智动化系统及麻将识别学习算法

Country Status (1)

Country Link
CN (1) CN108764447A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685196A (zh) * 2018-12-13 2019-04-26 山东大学 基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法
CN111325345A (zh) * 2020-03-04 2020-06-23 西南交通大学 一种基于知识表示与推理的麻将牌局智能决策方法
CN112704882A (zh) * 2021-01-14 2021-04-27 广州云从鼎望科技有限公司 基于模型的棋牌游戏策略更新的方法、系统、介质及装置
CN115107041A (zh) * 2022-08-29 2022-09-27 四川天启智能科技有限公司 一种基于视听协同的麻将机器人系统及其使用方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064156A2 (en) * 2006-11-21 2008-05-29 Big Fish Games, Inc. Common interests affiliation network architecture
CN106023173A (zh) * 2016-05-13 2016-10-12 浙江工业大学 一种基于支持向量机的号码牌识别方法
CN106182006A (zh) * 2016-08-09 2016-12-07 北京光年无限科技有限公司 面向智能机器人的棋牌交互数据处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064156A2 (en) * 2006-11-21 2008-05-29 Big Fish Games, Inc. Common interests affiliation network architecture
CN106023173A (zh) * 2016-05-13 2016-10-12 浙江工业大学 一种基于支持向量机的号码牌识别方法
CN106182006A (zh) * 2016-08-09 2016-12-07 北京光年无限科技有限公司 面向智能机器人的棋牌交互数据处理方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
WEN-YUAN CHEN等: "mahjong image recognition scheme using fourier transform technique", 《2012 7TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS》 *
中国农业工程学会: "《2005年中国农业工程学会学术年会论文集 农业工程科技创新与建设现代农业 第3分册》", 31 December 2005 *
北京图像图形学学会: "《图像图形技术研究与应用》", 31 May 2009 *
华商报: "厉害了!西安交大这个"网红"机器人不仅会打麻将,还能下象棋!", 《华商网-华商报》 *
宓超等: "《装卸机器视觉及其应用》", 31 January 2016, 上海:上海科学技术出版社 *
徐玉朋等: "基于BDI推理模型的麻将游戏机器人设计", 《软件导刊》 *
王玲: "《数据挖掘学习方法》", 31 August 2017, 北京:冶金工业出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685196A (zh) * 2018-12-13 2019-04-26 山东大学 基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法
CN111325345A (zh) * 2020-03-04 2020-06-23 西南交通大学 一种基于知识表示与推理的麻将牌局智能决策方法
CN112704882A (zh) * 2021-01-14 2021-04-27 广州云从鼎望科技有限公司 基于模型的棋牌游戏策略更新的方法、系统、介质及装置
CN112704882B (zh) * 2021-01-14 2021-09-14 广州云从鼎望科技有限公司 基于模型的棋牌游戏策略更新的方法、系统、介质及装置
CN115107041A (zh) * 2022-08-29 2022-09-27 四川天启智能科技有限公司 一种基于视听协同的麻将机器人系统及其使用方法

Similar Documents

Publication Publication Date Title
Yan et al. Mirrornet: Bio-inspired camouflaged object segmentation
CN108764447A (zh) 一种群机器人麻将博弈智动化系统及麻将识别学习算法
US10430707B2 (en) Information processing device
CN109045676B (zh) 一种象棋识别学习算法和基于该算法的机器人智动化系统与方法
Wu et al. Early hierarchical contexts learned by convolutional networks for image segmentation
Žemgulys et al. Recognition of basketball referee signals from real-time videos
CN107648833B (zh) 一种基于机器视觉的非接触式人机对弈控制方法及系统
CN107516127A (zh) 服务机器人自主获取人穿携物品归属语义的方法及系统
CN106446862A (zh) 一种人脸检测方法及系统
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
Yin et al. Hand image segmentation using color and RCE neural network
Lewandowski et al. Deep orientation: Fast and robust upper body orientation estimation for mobile robotic applications
CN106228109A (zh) 一种基于骨骼运动轨迹的动作识别方法
CN106200971A (zh) 基于手势识别的人机交互系统装置及操作方法
CN108671534A (zh) 一种基于目标轮廓与骨架特征的机器人象棋开局摆棋方法和系统
CN109753962A (zh) 基于混合网络的自然场景图像中文本区域的处理方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN108614988A (zh) 一种复杂背景下的运动手势自动识别系统
CN108274476A (zh) 一种人形机器人抓取球体的方法
CN108830908A (zh) 一种基于人工神经网络的魔方颜色识别方法
CN105716609B (zh) 一种机器人室内视觉定位方法
Cohen Event-based feature detection, recognition and classification
CN207752527U (zh) 一种机器人动态抓取系统
Yaseen et al. A Novel Approach Based on Multi-Level Bottleneck Attention Modules Using Self-Guided Dropblock for Person Re-Identification
Herbst et al. Object segmentation from motion with dense feature matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181106