CN109760067A - 会打纸牌的智能机器人系统以及设备 - Google Patents

会打纸牌的智能机器人系统以及设备 Download PDF

Info

Publication number
CN109760067A
CN109760067A CN201910056514.1A CN201910056514A CN109760067A CN 109760067 A CN109760067 A CN 109760067A CN 201910056514 A CN201910056514 A CN 201910056514A CN 109760067 A CN109760067 A CN 109760067A
Authority
CN
China
Prior art keywords
module
playing cards
model library
card
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910056514.1A
Other languages
English (en)
Other versions
CN109760067B (zh
Inventor
刘慧�
王天一
陈泽源
田文斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Chinese Academy of Sciences
Original Assignee
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Chinese Academy of Sciences filed Critical University of Chinese Academy of Sciences
Priority to CN201910056514.1A priority Critical patent/CN109760067B/zh
Publication of CN109760067A publication Critical patent/CN109760067A/zh
Application granted granted Critical
Publication of CN109760067B publication Critical patent/CN109760067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Toys (AREA)

Abstract

本发明提供一种会打纸牌的智能机器人系统以及设备,包括:视觉模块、图形图像识别处理模块、打纸牌交互逻辑方法策略模块、驱动模块、运动模块以及模型库,视觉模块用于获得打纸牌场景视频图像,图形图像识别处理模块根据视频图像、模型库中的图像信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像信息,打纸牌交互逻辑方法策略模块根据打纸牌游戏进程数据、模型库以及交互逻辑,确定打牌决策,驱动模块根据所述打牌决策生成驱动信息,运动模块根据所述驱动信息执行对应的操作。本发明使会打纸牌的智能机器人设备实现了与用户的游戏互动,增强了用户体验,提高了娱乐性和便利性。

Description

会打纸牌的智能机器人系统以及设备
技术领域
本发明实施例涉及人工智能领域,尤其涉及一种会打纸牌的智能机器人系统以及设备。
背景技术
随着人工智能的飞速发展,越来越多的人工智能产品走进我们的生活。这在智能机器人上体现的更为迅速,智能机器人的市场呈现出一片蓝海。
与此同时,在经济高速发展的现在,人们对个性化的追求更高,在追求个性化过程中难免发生一些冲突。而成功的智能产品能很好的成为人与人交流的中转站。现有技术中,在一些咖啡厅、餐厅等休闲服务行业以及智能家居领域,能够见到人工智能的应用产品,例如点餐机器人、扫地机器人、智能音箱等。这些人工智能产品具备某种专用功能或者部分娱乐功能。
然而,这些人工智能产品不具备丰富的娱乐性,且交互能力有限,无法满足用户对于人工智能产品娱乐性的更高需求。
发明内容
本发明实施例提供一种会打纸牌的智能机器人系统以及设备,用于解决人工智能产品不具备丰富的娱乐性,且交互能力有限,无法满足用户对于人工智能产品娱乐性的更高需求。
第一方面,本发明提供一种会打纸牌的智能机器人系统,包括:
视觉模块、图形图像识别处理模块、打纸牌交互逻辑方法策略模块、驱动模块、运动模块以及模型库;
所述视觉模块用于获得打纸牌场景视频图像;
所述图形图像识别处理模块根据所述视频图像、所述模型库中的图像信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像信息,其中,所述图像信息包括图像和与所述图像对应的文字描述、符号说明、识别策略;
所述打纸牌交互逻辑方法策略模块根据所述打纸牌游戏进程数据、所述模型库以及所述交互逻辑,确定打牌决策,其中,所述游戏进程数据包括所述纸牌图像信息;
所述驱动模块根据所述打牌决策生成驱动信息;
所述运动模块根据所述驱动信息执行对应的操作。
在一种具体的实现方式中,所述系统还包括:
听觉模块、声音处理模块以及自然语言识别处理模块;
所述听觉模块用于获取用户的语音数据;
所述声音处理模块根据所述语音数据以及所述模型库,获取语音文字信息,该模块还用于图像、文字、符号、信号与声音之间的及时相互转化相关处理以及相关处理策略的生成、更新与存储;
所述自然语言识别处理模块根据所述语言文字信息、符号和信号、所述模型库中的语言文字信息、符号和信号,获取用户意图,该模块还用于对文字、符号和信号的识别处理相关策略的生成、更新与存储。
在一种具体的实现方式中,所述游戏进程数据包括所述用户意图;
所述打纸牌交互逻辑方法策略模块根据所述用户意图、所述模型库和/或所述交互逻辑,确定打牌决策;
进一步地,所述系统还包括:语音模块;
所述语音模块根据所述驱动信息播放语音语句。
在一种具体的实现方式中,所述系统还包括控制模块;
所述控制模块用于控制各模块之间、各模块与机械系统的信息交互和协调工作;
所述控制模块还用于控制各模块之间、各模块和各模型库之间互连互通连网配置:可通过总线和或专线相结合的方式互联互通,可通过有线和或无线的方式互联互通,互联互通采用的标准和或编码本发明不做限定,用户可自行设计标准和或编码,系统也具有默认标准和编码供用户选择。
在一种具体的实现方式中,所述系统还包括:
人机交互界面模块,所述人机交互界面模块包括接收模块、可视化模块以及会打纸牌的智能机器人App;
所述接收模块用于接收第一用户的操作指令;
所述操作指令用于与第二用户进行打纸牌游戏的操作指令,或者,用于与第一用户进行打纸牌游戏的操作指令;
所述可视化模块,用于显示游戏进展情况、系统网络拓扑情况、系统运行情况、各模块配置情况;
会打纸牌的智能机器人App,用户通过会打纸牌的智能机器人App连接各模块,并可编辑、编程、操控各模块,同时可协调各模块自动化运作进行打纸牌,该app可嵌入到人机交互界面模块,也可单独存在。
具体的,所述控制模块还用于:
根据场景需求控制对应的模块进行配置并进行对应的打纸牌游戏操作;
所述场景需求包括打纸牌功能需求、打纸牌种类需求、打纸牌模式需求中的至少一种;
所述打纸牌功能需求包括语音功能和听觉功能;
所述打纸牌种类需求包括游戏人数和纸牌游戏种类;
所述打纸牌模式需求包括有人远程操作模式或机器人自行打纸牌模式;
所述控制模块根据各模块实时工作状况,发送和接收控制信息协调各模块协同工作,同时可针对不同的纸牌游戏形成不同的控制方法和策略,存储到模型库,实现对控制方法的深度学习模型,有助于机器人实现适应不同打纸牌场景下的完全自主控制。
具体的,所述图形图像识别处理模块根据所述视频图像、所述模型库中的图像信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像信息,包括:
所述图形图像识别处理模块根据所述视频图像的相关联帧图像之间差别和或所述模型库中的图像信息,对所述视频图像整体和或局部进行匹配定位和编码标注;
根据匹配定位和编码标注的结果、所述模型库中的图像信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像信息;
所述图形图像识别处理模块还用于对打纸牌场景相关视频图像、文字、符号、信号之间的相互转化识别处理以及处理策略的生成、更新与存储。
可选的,所述模型库包括:场景模型库、纸牌模型库、图片模型库、语音模型库、符号模型库、信号模型库,且模型库之间可互连互通,也可独立存在。
第二方面,本发明提供一种会打纸牌的智能机器人设备,包括:存储器及至少一个处理器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令实现第一方面任一项所述的会打纸牌的智能机器人系统的功能。
本实施例提供的一种会打纸牌的智能机器人系统以及设备,其中,会打纸牌的智能机器人系统包括视觉模块、图形图像识别处理模块、打纸牌交互逻辑方法策略模块、驱动模块、运动模块以及模型库,视觉模块用于获得打纸牌场景视频图像,图形图像识别处理模块根据所述视频图像、所述模型库中的图像和相关信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像和相关信息,其中,所述相关信息包括与所述图像相关联的文字描述、符号说明、识别策略等信息,打纸牌交互逻辑方法策略模块根据打纸牌游戏进程数据、模型库以及交互逻辑,确定打牌决策,其中,所述游戏进程数据包括所述纸牌图像和相关信息,驱动模块根据打牌决策生成驱动信息,运动模块根据驱动信息执行对应的操作,实现了与用户的游戏互动,增强了用户体验,提高了娱乐性和便利性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的会打纸牌的智能机器人系统以及设备的应用场景示意图;
图2为本发明实施例提供的会打纸牌的智能机器人系统实施例一的结构示意图;
图3为本发明实施例提供的会打纸牌的智能机器人系统实施例二的结构示意图;
图4为本发明实施例提供的会打纸牌的智能机器人系统实施例三的结构示意图;
图5为本发明实施例提供的会打纸牌的智能机器人系统实施例四的结构示意图;
图6为本发明实施例提供的会打纸牌的智能机器人系统实施例五的流程示意图;
图7为本发明实施例提供的会打纸牌的智能机器人系统的流程结构示意图;
图8为本发明实施例提供的会打纸牌的智能机器人系统的结构模型示意图;
图9为本发明实施例提供的会打纸牌的智能机器人系统的互连互通结构示意图;
图10为本发明实施例提供的会打纸牌的智能机器人系统的部分内部结构示意图;
图11为本发明实施例提供的会打纸牌的智能机器人系统的打纸牌图像自动识别处理流程示意图;
图12为本发明实施例提供的会打纸牌的智能机器人系统的扑克牌纸牌图像预处理步骤示例;
图13为本发明实施例提供的会打纸牌的智能机器人系统的扑克牌纸牌图像深度学习网络参数设置示意图;
图14为本发明实施例提供的会打纸牌的智能机器人系统的扑克牌纸牌图像分类器的训练流程以及识别过程示意图;
图15为本发明实施例提供的会打纸牌的智能机器人设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的会打纸牌的智能机器人系统以及设备的应用场景示意图,如图1所示,本实施例的执行主体包括会打纸牌的机器人设备01和服务器02。其中,会打纸牌的智能机器人设备01可以为一种可移动的智能终端设备,其外形可以为一种接近人体结构的外形设计,也可为能满足打纸牌功能需求的任意形状结构外形设计的终端设备,本发明不做限制。本实施例对会打纸牌的智能机器人设备01的实现方式不做特别限制,只要该会打纸牌的智能机器人设备01能够通过有线或者无线的方式与网络连接,进行数据交互即可。服务器02用于实现模型库存储和/或运算处理,具体的,可以是一种存储服务器和/或一种算法服务器,或者可以是具备存储和处理能力的任意终端设备。可以理解的是,在实际应用中,服务器02可以有一个或者多个,该图1仅以一个作为示例。
会打纸牌的智能机器人设备01用于获取用户的语音、用户通过人机交互界面输入的指令、牌面图像,并将识别前与识别后的数据传递给服务器02,服务器02通过识别用户的语音和/或用户通过人机交互界面输入的指令和/或牌面图像,结合当前游戏的交互逻辑方法策略,确定游戏动作,并生成游戏动作指令,将该游戏动作指令传递给会打纸牌的智能机器人设备01,会打纸牌的智能机器人设备01根据该游戏动作指令执行对应的操作。应理解,服务器02中还存储了游戏的模型库,模型库与各个模块的互通互连,基于深度学习的方式,不断更新、扩展、积累模型库内容,以使游戏过程中会打纸牌的智能机器人设备的操作更加准确和多样化。
在一种具体的实现方式中,本实施例的执行主体可以仅包括会打纸牌的智能机器人设备01,由会打纸牌的智能机器人设备01完成相关存储和处理功能,该设备可以连接网络,也可以不连接网络。
图2为本发明实施例提供的会打纸牌的智能机器人系统实施例一的结构示意图。如图2所示,该会打纸牌的智能机器人系统10,包括:
视觉模块101、图形图像识别处理模块102、打纸牌交互逻辑方法策略模块103、驱动模块104、运动模块105以及模型库106;
视觉模块101用于获得打纸牌场景视频图像。
打纸牌场景视频图像是指游戏台面的整体图像及打纸牌的智能机器人的待出牌图像。
图形图像识别处理模块102根据视频图像、模型库106中的图像信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像信息,其中,所述图像信息包括图像和与所述图像相关联的文字描述、符号说明、识别策略等信息。
纸牌图像包括已出牌的纸牌图像及待出牌的纸牌图像。
打纸牌交互逻辑方法策略模块103根据打纸牌游戏进程数据、模型库106里的相关图像以及预设置的交互逻辑,确定打牌决策,其中,打牌策略包括出牌、发牌、洗牌以及待出牌的牌面信息。所述游戏进程数据包括所述纸牌图像信息。
驱动模块104根据打牌决策生成驱动信息。
运动模块105根据驱动信息执行对应的操作,包括出牌、发牌、洗牌等。
应理解,模型库至少包括:场景模型库、纸牌模型库、图片模型库、语音模型库、符号模型库、信号模型库中的一种或多种。
本实施例中,会打纸牌的智能机器人系统包括视觉模块、图形图像识别处理模块、打纸牌交互逻辑方法策略模块、驱动模块、运动模块以及模型库,视觉模块用于获得打纸牌场景视频图像,图形图像识别处理模块根据视频图像、模型库中的图像和相关信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像和相关信息,其中,所述相关信息包括与所述图像相关联的文字描述、符号说明、识别策略等信息,打纸牌交互逻辑方法策略模块根据打纸牌游戏进程数据、模型库以及交互逻辑,确定打牌决策,其中,游戏进程数据包括纸牌图像和相关信息,驱动模块根据打牌决策生成驱动信息,运动模块根据驱动信息执行对应的操作,实现了与用户的游戏互动,增强了用户体验,提高了娱乐性和便利性。
在一种具体的实现方式中,图形图像识别处理模块根据视频图像的相关联帧图像之间差别和或模型库中的图像和相关信息,对视频图像整体和或局部进行匹配定位和编码标注,根据匹配定位和编码标注的结果、模型库中的图像和相关信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像和相关信息。
在图2所示实施例的基础上,图3为本发明实施例提供的会打纸牌的智能机器人系统实施例二的结构示意图。如图3所示,该会打纸牌的智能机器人系统10,还包括:
听觉模块107、声音处理模块108以及自然语言识别处理模块109。
其中,听觉模块107用于获取用户的语音数据。
声音处理模块108根据语音数据以及模型库106,获取语音文字信息。
该模块还用于图像、文字、符号、信号与声音之间的及时相互转化相关处理以及相关处理策略的生成、更新与存储;
自然语言识别处理模块109根据所述语言文字信息、符号和信号、所述模型库106中的语言文字信息、符号和信号,获取用户意图,该模块还用于对文字、符号和信号的识别处理相关策略的生成、更新与存储。
声音处理模块获取听觉模块接收并发送的语音数据并根据语音数据及模型库获取语音数据中的语音文字信息。该模块还用于图像、文字、符号、信号与声音之间的及时相互转化相关处理以及相关处理策略的生成、更新与存储。自然语言识别处理模块根据语言文字、符号和信号信息及模型库中的语言文字、符号和信号信息获取用户意图。该模块还用于对文字、符号和信号的识别处理相关策略的生成、更新与存储。
在一种具体的实现方式中,游戏进程数据包括用户意图,打纸牌交互逻辑方法策略模块根据该用户意图、模型库和/或交互逻辑,确定打牌决策。
在上述实施例的基础上,图4为本发明实施例提供的会打纸牌的智能机器人系统实施例三的结构示意图。如图4所示,该会打纸牌的智能机器人系统10,还包括:
语音模块110,语音模块根据驱动模块生成的驱动信息播放语音语句,用于和用户完成语音交互。
驱动模块按照打牌决策生成驱动信息,语音模块根据驱动信息播放语音,完成和用户的语音交互。驱动信息可由图像、符号、文字、实物、软件、硬件、声音以及它们的混合等多种形式,本发明不做限制。驱动模块用于连接各模块进行数据和执行动作的自动交互,包括驱动软件和驱动硬件。
驱动模块实时工作状况以及驱动事件实时传递到控制模块,控制模块协调各模块实时更新状态、配置、策略等以精确完成相关执行动作。如图5所示。
在上述实施例的基础上,图5为本发明实施例提供的会打纸牌的智能机器人系统实施例四的结构示意图。如图5所示,该会打纸牌的智能机器人系统10,还包括:
控制模块111,用于控制各模块之间、各模块与机械系统的信息交互和协调工作。
控制模块还用于控制各模块之间、各模块和各模型库之间互连互通连网配置:可通过总线和或专线相结合的方式互联互通,可通过有线和或无线的方式互联互通,互联互通采用的标准和或编码本发明不做限定,用户可自行设计标准和或编码,系统也具有默认标准和编码供用户选择。
在一种具体的实现方式中,控制模块还用于:根据场景需求控制对应的模块进行配置并进行对应的打纸牌游戏操作。其中,场景需求包括打纸牌功能需求、打纸牌种类需求、打纸牌模式需求中的至少一种,打纸牌功能需求包括语音功能和听觉功能,打纸牌种类需求包括游戏人数和纸牌游戏种类,打纸牌模式需求包括有人远程操作模式或机器人自行打纸牌模式。
通过控制模块,用户可以选择操作机器人打牌或者和机器人打牌,也可以选择打牌的人数和打牌的种类,还可以选择是否启用语音及听觉功能。可以对打牌的场景进行个性化设置,使之符合用户的娱乐需求。
控制模块根据各模块实时工作状况,发送和接收控制信息协调各模块协同工作,同时可针对不同的纸牌游戏形成不同的控制方法和策略,存储到模型库,实现对控制方法的深度学习模型,有助于机器人实现适应不同打纸牌场景下的完全自主控制。
人机交互界面模块112,人机交互界面模块112包括接收模块、可视化模块以及会打纸牌的智能机器人App;
接收模块用于接收第一用户的操作指令;
操作指令用于与第二用户进行打纸牌游戏的操作指令,或者,用于与第一用户进行打纸牌游戏的操作指令;
可视化模块,用于显示游戏进展情况、系统网络拓扑情况、系统运行情况、各模块配置情况;
会打纸牌的智能机器人App,用户通过会打纸牌的智能机器人App连接各模块,并可编辑、编程、操控各模块,同时可协调各模块自动化运作进行打纸牌,该app可嵌入到人机交互界面模块,也可单独存在。
下面通过几个实施例对本方案提供的会打纸牌的智能机器人系统进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图6为本发明实施例提供的会打纸牌的智能机器人系统实施例五的流程示意图。如图6所示,本实施例会打纸牌的智能机器人系统以及设备包括如下步骤:
S101:根据场景需求选择和或配置会打纸牌的机器人系统的相关模块。
该系统主要包括:视觉模块、听觉模块、语音模块、图形图像识别处理模块、声音处理模块、自然语言识别处理模块、打纸牌交互逻辑方法策略模块、驱动模块、控制模块、运动模块和人机界面交互模块以及模型库。
具体地,根据场景需求选择和/或配置会打纸牌的机器人系统的相关模块包括:
根据场景需求,可以选择系统的部分模块和或全部模块进行打纸牌,可以配置所选模块使其具有所需功能;场景需求包括打纸牌功能需求、打纸牌种类需求、打纸牌模式需求等,其中打纸牌功能需求包括是否打开语音功能,是否打开听觉功能等,打纸牌种类需求包括需求总人数和纸牌游戏种类等,打纸牌模式需求包括有人远程操作模式或机器人自行打纸牌模式等。
视觉模块主要用于获取并存储打纸牌场景视频流和相关图片。
听觉模块主要用于获取并存储打纸牌场景的相关各种声音信息。
语音模块主要用于机器人根据图像、符号、文字和或声音的驱动信息发出声音与周围人语言交流。
图形图像识别处理模块主要用于对打纸牌场景相关视频图像图形进行图像匹配、定位、编码、标注、识别处理以及相关处理策略的生成、更新与存储。
声音处理模块主要用于图像、文字、符号与声音之间的及时相互转化相关处理以及相关处理策略的生成、更新与存储。
自然语言识别处理模块主要用于对文字和符号的识别处理以及相关处理策略的生成、更新与存储。
打纸牌交互逻辑方法策略模块主要用于打纸牌交互逻辑方法和策略的生成、更新和存储。
驱动模块主要用于连接各模块进行数据和执行动作的自动交互,包括驱动软件和驱动硬件。
运动模块主要控制和实现会打纸牌的机器人各相关部位的多自由度的各种动作运动。
人机界面交互模块主要有操作交互和功能交互两种情况,操作交互即是人与机器人的操作交互,通过交互人可以随时随地操作机器人与现场人和或其他机器人打纸牌,功能交互即是通过交互人可以现场和机器人一起打纸牌,并通过功能交互使得机器人具有满足现场打纸牌人所需要的各种功能。
操作交互是会打纸牌的机器人的附加功能,机器人本身在各模块完成相关功能配置的情况下,在无人进行操作交互的情况下,可自动完成与现场人打纸牌活动,即机器人自行打纸牌模式。
控制模块主要控制机器人系统各模块和相关机械系统协调工作,各模块均可与控制模块相关联,主要进行决策控制信息的交互,与其他模块发出的决策信息相比,控制模块发出的决策控制信息一般优先级设置较高,也可根据具体情况,设置不同的优先级。
模型库,机器人可通过对打纸牌场景自动学习的方法,建立打纸牌场景模型库,也可通过人为设定的方法,建立各种模型形成模型库,以供各模块学习参考。模型库包括场景模型库、纸牌模型库、图片模型库、语音模型库、符号模型库、信号模型库等类别;场景模型库与场景相关联的各个模型库均互联互通,若新建立的模型库与其他模型库暂无关联,则可根据模型库类别先分类到相应模型库类别,注明暂不关联原因,直到发现有关联再关联,若新建立的模型库是新的类别,则单列一模型库类别,注明暂不关联原因,直到发现有关联再关联。
S102:通过视觉模块和听觉模块获得打纸牌场景视频图像和用户的语音数据;然后通过图形图像识别处理模块、声音处理模块、自然语言识别处理模块根据模型库相关联图像和/或交互逻辑进行图像匹配定位,同时编码标注,进行纸牌图像识别和语言文字识别。
具体地,通过视觉模块和听觉模块获得打纸牌场景视频图像和语言文字信息;然后通过图形图像识别处理模块、声音处理模块、自然语言识别处理模块根据相关联图像和或交互逻辑进行图像匹配和定位,同时编码标注,进行纸牌图像识别和语言文字识别,还包括:
a.视场内整体图像匹配定位和编码标注:即整体牌面
若模型库有当前牌面的相关图像,则第一帧图像牌面可匹配定位,之后第二帧图像定位可根据前后两帧或多帧图像的差别进行当前帧图像的定位;若开始模型库无当前牌面的相关图像,则第一帧即是当前整个牌场,随着交互活动的开展,根据前后图像差别可定位第二帧图像,第三帧图像等后续图像。并依次编码标注定位的图像,方便使用。
b.视场内刚出牌的纸牌图像匹配定位和编码标注:即局部牌面
同理,根据前后两帧或多帧图像的差别可进行视场内刚出牌的纸牌图像匹配定位和编码标注,即局部牌面纸牌图像的匹配定位和编码标注。
c.编码标注方法:对所需标记帧图像的像素矩阵进行标记,整体牌面标记,如:游戏种类+T(Total)+第几轮+第几帧;局部牌面标记,如:游戏种类+L(local)+第几轮+第几帧+纸牌花色+纸牌数字。涉及数字可采用二进制数字进行标记。
d.对于不同纸牌颜色和花色的识别,常规情况下纸牌颜色识别不需要通过庞大的卷积神经网络得到,非常规情况下如不同光照下的纸牌牌面颜色识别我们可以设置通过深度学习的方法进行识别,智能机器人可具有选择不同方法识别的功能。通过深度学习和传统图像处理结合的识别技术对纸牌花色进行识别。不同光照下的纸牌牌面颜色识别可建立相类似的深度学习模型进行分类识别。可根据不同情况设置不同的深度学习模型,建立卷积神经网络输入矩阵、分类器、卷积层、池化层、输出矩阵等,可自动设定也可手动调节模型相关参数。通过深度学习模型提高对不同纸牌图像训练的速度和识别的准确率。
e.图形图像识别处理模块可将纸牌图形图像信息转化为文字描述语言,经自然语言识别处理模块处理,声音处理模块处理,可转化为机器人语音信息;同样,由听觉模块获得的语音信息可经声音处理模块处理,自然语言识别处理模块处理,转化为文字信息,为机器人打纸牌交互提供策略和决策信息,同时图形图像识别处理模块可将纸牌相关图形图像文字描述语言信息转化为纸牌相关图形图像,帮助机器人交互可视化。
S103:根据打纸牌交互逻辑方法策略模块进行打纸牌逻辑判断,做出打牌决策;打牌决策作用于驱动模块,驱动信息作用于运动模块、语音模块驱动机器人各种相关动作以及各种语音表达,同时运动模块和语音模块相关数据反馈传递到驱动模块,驱动信息作用于系统中对应的模块进行对应的信息处理和或执行对应的操作。
具体地,根据打纸牌交互逻辑方法策略模块进行打纸牌逻辑判断,做出打牌决策;决策信息作用于驱动模块,驱动信息作用于运动模块、语音模块驱动机器人各种相关动作以及各种语音表达,同时运动模块和语音模块相关数据反馈传递到驱动模块,驱动信息作用于系统相关模块进行相关信息处理和或相关动作执行,还包括:
打纸牌交互逻辑方法策略的实时更新、配置和存储。
驱动模块实时工作状况以及驱动事件实时传递到控制模块。
S104:控制模块主要控制机器人系统各模块和机械系统协调工作,模型库主要为各模块提供学习参考信息。
控制模块主要控制机器人系统各模块和相关机械系统协调工作,模型库主要为各模块提供学习参考信息,还包括:
控制模块根据各模块实时工作状况,发送和接收控制信息协调各模块协同工作,同时可针对不同的纸牌游戏形成不同的控制方法和策略,存储到模型库,实现对控制方法的深度学习模型,有助于机器人实现适应不同打纸牌场景下的完全自主控制。
S105:各模块之间、各模块和各模型库之间互连互通连网方式:可通过总线和或专线相结合的方式互联互通,可通过有线和或无线的方式互联互通,互联互通采用的标准和或编码本发明不做限定,用户可自行设计标准和或编码,系统也具有默认标准和编码供用户选择。互连互通接口采用网络IP和命名相结合的方式,登录互通方式可采用软件客户端和或类二维码标识扫描方式,可兼容适用于远程互连互通、嵌入式互连互通、移动互连互通等配置模式。
图7为本发明实施例提供的会打纸牌的智能机器人系统的流程结构示意图。如图7所示,如图7所示层次化结构,本实施例在图6所示方法的基础上,还包括:通过人机界面交互模块选择打纸牌交互逻辑方法策略并发送相应的控制指令,控制指令通过驱动模块可相应地驱动视觉模块、听觉模块、语音模块、运动模块等等,视觉模块、听觉模块、语音模块、运动模块等获取和或产生的数据通过图形图像识别处理模块、自然语言识别处理模块、声音处理模块的分析处理响应、反馈和驱动打纸牌交互逻辑方法策略和相应的控制指令,进而打纸牌交互逻辑方法策略根据打纸牌的现场进度和进程,形成下一步相应的控制指令并发送,驱动模块驱动语音模块和运动模块来完成机器人打纸牌的发音和相应打纸牌动作,继续打纸牌。在此期间,可设置人机界面交互模块发送的信息优先级最高,其可连通、配置和更改其他各个模块状态和内容,相应地其他各个模块也可具有相同和或不同的信息发送优先级。模型库为各个模块的正常运作存储和提供相关模型学习参考信息。图7仅是一种打纸牌的流程结构示例。在人机界面交互模块无人操作的情况下,可设置通过视觉模块、听觉模块、语音模块、运动模块等获取和或产生的数据通过图形图像识别处理模块、自然语言识别处理模块、声音处理模块的分析处理响应、反馈和驱动相应的打纸牌交互逻辑方法策略,进而打纸牌交互逻辑方法策略根据打纸牌的现场进度和进程,形成下一步相应的控制指令并发送,驱动模块驱动语音模块和运动模块来完成机器人打纸牌的发音和相应打纸牌动作,继续打纸牌。
图8为本发明实施例提供的会打纸牌的智能机器人系统的结构模型示意图。如图8所示结构模型,通过人机界面交互模块可以启动运作每一模块和或部分模块,并可联合打纸牌交互逻辑方法策略模块、控制模块形成决策信息,由驱动模块驱动相应各个模块协调运作,相互配合,同时每一模块也均可以单独配置运作。其中人机界面交互模块可通过APP软件或类似软件形式来实现,从而增强系统健壮性、稳定性、安全性和可操作性。该结构模型形式,代表系统模块可以采用分布式形式分布在各个不同的地域和时域,同时又可以采用总线和或专线的形式和或通过互联网连通的方式高效进行模块集群协同工作,有效拓展系统模块的分布,增强系统弹性和安全性。模型库提供各个模块相关的学习参考模型和信息,其分布、检索以及内容的编排均可以从快捷性、安全性、高效性等方面考虑采用多种方式方法,可分布在各个不同地方,通过网络互连互通,也可嵌入到系统内部等等。驱动模块同样也可根据不同的驱动对象、驱动事件、驱动时间等进行内容分类,可由一个驱动装置统一分类驱动,也可由多个驱动装置分类驱动,驱动装置根据需要可部署在不同地方,通过网络互连互通,也可嵌入到系统内部。
图9为本发明实施例提供的会打纸牌的智能机器人系统的互连互通结构示意图。如图9所示,各个模块通过总线高效互连互通,根据链路安全及备份需要,各个模块上和总线上均可在不同位置设置多个连接接口,如图9中控制模块、驱动模块和人机界面交互模块上与总线之间的连接线路所示。根据功能需要,互连互通接口之间采用网络IP和命名相结合的方式,可兼容适用于远程互连互通、嵌入式互连互通、移动互连互通等配置模式,提高系统灵活性、安全性和移动性。图9中各模块之间、各模块和各模型库之间可通过无线编码的方式互联互通,连接拓扑可为各种网络拓扑形式,互联互通采用的标准和或编码本发明不做限定,用户可自行设计标准和或编码,系统也具有默认标准和编码供用户选择。如标准和或编码可考虑各模块互联互通优先级、数据优先级、安全优先级、互联互通时间、时序、逻辑等内容。图9中各模块之间、各模块和各模型库之间登录互通方式也可采用软件客户端和或类二维码标识扫描方式,标识包括二维码、图画、器件等。如用户通过会打纸牌的智能机器人App连接各模块,并可编辑、编程、操控各模块,同时可协调各模块自动化运作进行打纸牌。
图10为本发明实施例提供的会打纸牌的智能机器人系统的部分内部结构示意图。如图10所示,视觉模块可以和图形图像识别处理模块、自然语言识别处理模块、声音处理模块以及相应的模型库通过总线与人机界面交互模块、打纸牌交互逻辑方法策略模块、驱动模块以及控制模块互通互连,人机界面交互模块、打纸牌交互逻辑方法策略模块、驱动模块以及控制模块也可通过设置其他总线互通互连,如图10所示,语音模块和运动模块同时也通过该总线与相关模块互通互连。图10中,图形图像识别处理模块、自然语言识别处理模块、声音处理模块、打纸牌交互逻辑方法策略模块与模型库相结合通过深度学习改进各自方式方法策略,提高识别准确度、策略正确性、算法快速性、运作精准性等,同时不断更新、扩展、积累模型库内容。同理其他模块也可与模型库相结合通过深度学习改进和提高系统各方面性能,例如,深度学习方法可加入到图9中各模块与模型库之间,形成如图10中所示的深度学习方式。图10只是一种模块组合连通工作的结构图实例,用其来说明本发明会打纸牌的智能机器人系统以及设备所采用的组合结构思路和深度学习思维。图10所示工作过程实例可如图7所描述:通过人机界面交互模块选择打纸牌交互逻辑方法策略并发送相应的控制指令,控制指令通过驱动模块可相应地驱动视觉模块,视觉模块获取和或产生的数据通过图形图像识别处理模块、自然语言识别处理模块、声音处理模块的分析处理响应、反馈和驱动打纸牌交互逻辑方法策略和相应的控制指令,进而打纸牌交互逻辑方法策略根据打纸牌的现场进度和进程,形成下一步相应的控制指令并发送,驱动模块驱动语音模块和运动模块来完成机器人打纸牌的发音和相应打纸牌动作,继续打纸牌。在此期间,可设置人机界面交互模块发送的信息优先级最高,其可连通、配置和更改其他各个模块状态和内容,相应地其他各个模块也可具有相同和或不同的信息发送优先级。模型库为各个模块的正常运作存储和提供相关模型学习参考信息。在人机界面交互模块无人操作的情况下,可设置通过视觉模块获取和或产生的数据通过图形图像识别处理模块、自然语言识别处理模块、声音处理模块的分析处理响应、反馈和驱动相应的打纸牌交互逻辑方法策略,进而打纸牌交互逻辑方法策略根据打纸牌的现场进度和进程,形成下一步相应的控制指令并发送,驱动模块驱动语音模块和运动模块来完成机器人打纸牌的发音和相应打纸牌动作,继续打纸牌。
图11为本发明实施例提供的会打纸牌的智能机器人系统的打纸牌图像自动识别处理流程示意图。如图11所示机器人打纸牌时图像自动识别处理方法流程,打纸牌事件包括拿牌、出牌、洗牌等活动,首先由视觉模块获得纸牌场景图像包括整体牌面和局部牌面的纸牌实时画面和静态纸牌图像;然后根据相关联图像和或交互逻辑进行图像匹配和定位,同时进行编码标注,同时对图像进行特征提取,通过深度学习,达到图像匹配识别,这部分可由图形图像识别处理模块与模型库相结合通过深度学习的方法实现,如图11所示,即如图10相关部分所示;然后由交互逻辑计算确定是否拿牌或洗牌或出牌结束等活动,这部分由打纸牌交互逻辑方法策略模块实现;最后由驱动模块根据决策信息驱动拿牌或洗牌或出牌等执行动作和或语音;若拿牌或出牌结束,则可通过人机界面交互模块提醒现场打牌人是否删除相关图像,默认情况下可选择不删除,进行记忆和存储。记忆和存储信息,除了图形图像视频及相关信息,还包括出牌、拿牌、洗牌等动作相应时间、交互逻辑等打纸牌场景信息,相关信息可存储到模型库相关部分以供学习参考。如图11所示机器人打纸牌时图像自动识别处理方法流程,只是其中一种组合流程示例说明。
图12、图13和图14具体联合说明了本发明一种基于深度学习的扑克牌纸牌图像自动识别的实例。与目前已有的纸牌图像识别较为成熟的解决方案进行对比。在识别目标上安设标记再将目标的信息存储在标记中,从标记中识别出目标及其它相关的内容,这种方案对硬件要求很高,而且价格昂贵,普及实用性不强。有其他研究人员基于模板匹配算法利用AForge.NET框架进行扑克牌的识别,他们的优点在于匹配算法清晰易懂且容易实现,但缺点在于对光线的变化十分敏感且经常出现常识性的识别错误。本发明中采用深度学习和传统图像处理结合的纸牌识别技术,相比较第一种方法的优势在于不需要给识别目标添加任何辅助设备就可以对其进行识别。应用到扑克纸牌识别当中,对目标信息的采集是非接触性的,可以实时识别,非人工操作,工作效率高。相比于第二种识别方法我们的方法鲁棒性更强且更少出现常识性识别错误。
图12为本发明实施例提供的会打纸牌的智能机器人系统的扑克牌纸牌图像预处理步骤示例。本发明基于深度学习的扑克牌纸牌图像自动识别的实例利用LINUX系统配合Caffe和MATLAB平台实现网络的训练。首先在Linux系统下安装Caffe框架,将其与MATLAB平台搭建。为了搭建我们自己的扑克牌识别体系,建立一组大样本数据,供网络训练以及检验。因为扑克牌为54张,其中共包含四个花色,每个花色十三个数字,以及多余的两张大小王。常规情况下扑克牌颜色识别不需要通过庞大的卷积神经网络得到,非常规情况下如不同光照下的扑克牌牌面颜色识别我们可以设置通过深度学习的方法进行识别,智能机器人可具有选择不同方法识别的功能。下面通过深度学习和传统图像处理结合的识别技术对扑克牌花色进行识别研究。不同光照下的扑克牌牌面颜色识别可建立相类似的深度学习模型进行分类识别。利用传统的图像处理步骤可以得到花色的识别,而对于不同花色且不同外形的花色(比如梅花和红心),我们首先通过传统图像处理手段,通过灰度处理,灰度变化,图像直方图增强,图像边缘检测,图像阈值分割后,得到一组二值化的样本数据,此数据应只包含扑克牌的花色形状。然后,建立一个小的贝叶斯网络(简单、速度快),选择一套梅花花色与一套红心花色以及一组方块花色作为训练样本,从而通过此分类器得到某张扑克牌属于哪个花色。
在通过简单分类得到扑克牌属于的花色后,已经将待分类的样本从54缩减到13此时通过神经网络建立深度学习模型则是可行且迅速的。以某个花色为例,比如红心,为了简化网络识别的速度,我们首先通过传统的图像处理手段筛选分割理想的待分类区域,如只包含图像数字区域的左上角。即预处理步骤如图12,我们对图12中的所有步骤包装为一个GUI界面统一处理。这个过程通过MATLAB建立一个系统的完整的可以流程化批量处理的GUI界面完成。
图13为本发明实施例提供的会打纸牌的智能机器人系统的扑克牌纸牌图像深度学习网络参数设置示意图。图12示例建立了完整的图像处理流程以完成扑克牌图像的预处理,经过这个过程处理后,原图像大小为1270x760像素的图像被分割为只包含图像数字区域的26*26像素大小的矩阵。
对预处理以后的数据,建立一个训练样本的数据集,按照每个数据四个样本的数量建立训练集,得到一个13*4的训练样本。为了满足Caffe深度学习的训练要求,将数据格式通过控制台转换为LMDB格式。而后在Caffe下建立名为pkp的文件夹,将其作为训练集放入其中。而后在Caffe中打开网络创建层建立我们的卷积神经网络(CNN)。
我们设置的网络深度为10,其中包含一个13*26的输入样本矩阵,一个13*1的输出矩阵,一个softmax的线性分类器,以及三个卷积层,四个池化层。网络的设置通过代码框架的形式填充。CNN网络参数设置如图8所示。
图14为本发明实施例提供的会打纸牌的智能机器人系统的扑克牌纸牌图像分类器的训练流程以及识别过程示意图。网络经过如图13示例设置后处于可训练状态,在Linux控制台通过代码形式编译指定文件夹下的pkp识别,经过约1min的训练完成网络的训练。经过训练的网络可以作为一个完美的分类器,其体积大小为内部权重参数以及少数文件属性。对于我们想让机器识别的数据,通过Camre读取的数据,传递到计算机内部,传递到GUI预处理后进行处理分割,得到可识别数据,识别得到期望样本。预处理后的图像数据处理流程我们概括如图14,预处理后的数据建立训练集,设置深度学习网络参数如图13示例,形成深度学习模型,得到训练好的分类器;从而对从视频流读取到的新图片,传递到GUI,经过预处理后,可通过深度学习训练好的分类器进行自动识别。
我们通过传统图像处理和深度学习结合的形式,大大减小了图像体量,由于输入样本数据量的减小,图像训练的速度和识别的准确率得到提高,同时也减小了计算机的负荷;通过贝叶斯分类网络经过初步分类,将分类目标从1270*760*54像素缩减到26*26*13像素,体量缩减将近6000倍,这个过程使得机器眼摄像头实时拍摄实时识别的过程得以识别。完整的完成了从机器视觉到机器识别的目标。
图15为本发明实施例提供的会打纸牌的智能机器人设备的硬件结构示意图。如图15所示,本实施例的会打纸牌的智能机器人设备60包括:处理器601以及存储器602;其中
存储器602,用于存储计算机执行指令;
处理器601,用于执行所述存储器存储的计算机执行指令,实现上述系统实施例中任一项所述的会打纸牌的智能机器人系统的功能。
可选地,存储器602既可以是独立的,也可以跟处理器601集成在一起。
当存储器602独立设置时,该会打纸牌的智能机器人设备还包括总线603,用于连接所述存储器602和处理器601。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上所述的会打纸牌的智能机器人设备侧的游戏交互方法。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。
应理解,上述处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称:ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种会打纸牌的智能机器人系统,其特征在于,包括:
视觉模块、图形图像识别处理模块、打纸牌交互逻辑方法策略模块、驱动模块、运动模块以及模型库;
所述视觉模块用于获得打纸牌场景视频图像;
所述图形图像识别处理模块根据所述视频图像、所述模型库中的图像信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像信息,其中,所述图像信息包括图像和与所述图像对应的文字描述、符号说明、识别策略;
所述打纸牌交互逻辑方法策略模块根据所述打纸牌游戏进程数据、所述模型库以及所述交互逻辑,确定打牌决策,其中,所述游戏进程数据包括所述纸牌图像信息;
所述驱动模块根据所述打牌决策生成驱动信息;
所述运动模块根据所述驱动信息执行对应的操作。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括:
听觉模块、声音处理模块以及自然语言识别处理模块;
所述听觉模块用于获取用户的语音数据;
所述声音处理模块根据所述语音数据以及所述模型库,获取语音文字信息,该模块还用于图像、文字、符号、信号与声音之间的及时相互转化相关处理以及相关处理策略的生成、更新与存储;
所述自然语言识别处理模块根据所述语言文字信息、符号和信号、所述模型库中的语言文字信息、符号和信号,获取用户意图,该模块还用于对文字、符号和信号的识别处理相关策略的生成、更新与存储。
3.根据权利要求2所述的系统,其特征在于,所述游戏进程数据包括所述用户意图;
所述打纸牌交互逻辑方法策略模块根据所述用户意图、所述模型库和/或所述交互逻辑,确定打牌决策。
4.根据权利要求1至3任一项所述的系统,其特征在于,所述系统还包括:语音模块;
所述语音模块根据所述驱动信息播放语音语句。
5.根据权利要求1所述的系统,其特征在于,所述系统还包括控制模块;
所述控制模块用于控制各模块之间、各模块与机械系统的信息交互和协调工作;
所述控制模块还用于控制各模块之间、各模块和各模型库之间互连互通连网配置:可通过总线和或专线相结合的方式互联互通,可通过有线和或无线的方式互联互通,互联互通采用的标准和或编码本发明不做限定,用户可自行设计标准和或编码,系统也具有默认标准和编码供用户选择。
6.根据权利要求1所述的系统,其特征在于,所述系统还包括:
人机交互界面模块,所述人机交互界面模块包括接收模块、可视化模块以及会打纸牌的智能机器人App;
所述接收模块用于接收第一用户的操作指令;
所述操作指令用于与第二用户进行打纸牌游戏的操作指令,或者,用于与第一用户进行打纸牌游戏的操作指令;
所述可视化模块,用于显示游戏进展情况、系统网络拓扑情况、系统运行情况、各模块配置情况;
会打纸牌的智能机器人App,用户通过会打纸牌的智能机器人App连接各模块,并可编辑、编程、操控各模块,同时可协调各模块自动化运作进行打纸牌,该app可嵌入到人机交互界面模块,也可单独存在。
7.根据权利要求5所述的系统,其特征在于,所述控制模块还用于:
根据场景需求控制对应的模块进行配置并进行对应的打纸牌游戏操作;
所述场景需求包括打纸牌功能需求、打纸牌种类需求、打纸牌模式需求中的至少一种;
所述打纸牌功能需求包括语音功能和听觉功能;
所述打纸牌种类需求包括游戏人数和纸牌游戏种类;
所述打纸牌模式需求包括有人远程操作模式或机器人自行打纸牌模式;
所述控制模块根据各模块实时工作状况,发送和接收控制信息协调各模块协同工作,同时可针对不同的纸牌游戏形成不同的控制方法和策略,存储到模型库,实现对控制方法的深度学习模型,有助于机器人实现适应不同打纸牌场景下的完全自主控制。
8.根据权利要求1所述的系统,其特征在于,所述图形图像识别处理模块根据所述视频图像、所述模型库中的图像信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像信息,包括:
所述图形图像识别处理模块根据所述视频图像的相关联帧图像之间差别和或所述模型库中的图像信息,对所述视频图像整体和或局部进行匹配定位和编码标注;
根据匹配定位和编码标注的结果、所述模型库中的图像信息和/或交互逻辑进行纸牌图像识别,得到纸牌图像信息;
所述图形图像识别处理模块还用于对打纸牌场景相关视频图像、文字、符号、信号之间的相互转化识别处理以及处理策略的生成、更新与存储。
9.根据权利要求1至3任一项所述的系统,其特征在于,所述模型库包括:场景模型库、纸牌模型库、图片模型库、语音模型库、符号模型库、信号模型库,且模型库之间可互连互通,也可独立存在。
10.一种会打纸牌的智能机器人设备,其特征在于,包括:存储器及至少一个处理器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令实现权利要求1至9任一项所述的会打纸牌的智能机器人系统的功能。
CN201910056514.1A 2019-01-22 2019-01-22 会打纸牌的智能机器人系统以及设备 Active CN109760067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910056514.1A CN109760067B (zh) 2019-01-22 2019-01-22 会打纸牌的智能机器人系统以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910056514.1A CN109760067B (zh) 2019-01-22 2019-01-22 会打纸牌的智能机器人系统以及设备

Publications (2)

Publication Number Publication Date
CN109760067A true CN109760067A (zh) 2019-05-17
CN109760067B CN109760067B (zh) 2021-05-07

Family

ID=66454906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910056514.1A Active CN109760067B (zh) 2019-01-22 2019-01-22 会打纸牌的智能机器人系统以及设备

Country Status (1)

Country Link
CN (1) CN109760067B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570851A (zh) * 2019-07-31 2019-12-13 中至数据集团股份有限公司 语音识别出牌控制方法、系统、移动终端及存储介质
CN110721471A (zh) * 2019-09-26 2020-01-24 腾讯科技(深圳)有限公司 一种虚拟应用对象输出方法、装置以及计算机存储介质
CN111729292A (zh) * 2020-06-28 2020-10-02 网易(杭州)网络有限公司 文字游戏中数据处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577675A (zh) * 2012-08-02 2014-02-12 永康市一德软件科技有限公司 一种网络游戏系统及其实现方法
WO2015083302A1 (ja) * 2013-12-06 2015-06-11 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置、出力装置、および情報処理方法
CN106182006A (zh) * 2016-08-09 2016-12-07 北京光年无限科技有限公司 面向智能机器人的棋牌交互数据处理方法及装置
CN108926835A (zh) * 2017-05-27 2018-12-04 句容大为网络科技有限公司 一种基于互联网的现实纸牌系统
CN109173234A (zh) * 2018-09-15 2019-01-11 刘井敏 智能棋盘
CN109200576A (zh) * 2018-09-05 2019-01-15 深圳市三宝创新智能有限公司 机器人投影的体感游戏方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577675A (zh) * 2012-08-02 2014-02-12 永康市一德软件科技有限公司 一种网络游戏系统及其实现方法
WO2015083302A1 (ja) * 2013-12-06 2015-06-11 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置、出力装置、および情報処理方法
CN106182006A (zh) * 2016-08-09 2016-12-07 北京光年无限科技有限公司 面向智能机器人的棋牌交互数据处理方法及装置
CN108926835A (zh) * 2017-05-27 2018-12-04 句容大为网络科技有限公司 一种基于互联网的现实纸牌系统
CN109200576A (zh) * 2018-09-05 2019-01-15 深圳市三宝创新智能有限公司 机器人投影的体感游戏方法、装置、设备和存储介质
CN109173234A (zh) * 2018-09-15 2019-01-11 刘井敏 智能棋盘

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡志恒: "非接触式手部运动识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570851A (zh) * 2019-07-31 2019-12-13 中至数据集团股份有限公司 语音识别出牌控制方法、系统、移动终端及存储介质
CN110721471A (zh) * 2019-09-26 2020-01-24 腾讯科技(深圳)有限公司 一种虚拟应用对象输出方法、装置以及计算机存储介质
CN110721471B (zh) * 2019-09-26 2023-10-31 腾讯科技(深圳)有限公司 一种虚拟应用对象输出方法、装置以及计算机存储介质
CN111729292A (zh) * 2020-06-28 2020-10-02 网易(杭州)网络有限公司 文字游戏中数据处理方法及装置
CN111729292B (zh) * 2020-06-28 2021-04-20 网易(杭州)网络有限公司 文字游戏中数据处理方法及装置

Also Published As

Publication number Publication date
CN109760067B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN106997236B (zh) 基于多模态输入进行交互的方法和设备
US20230326111A1 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
CN109637207B (zh) 一种学前教育互动教学装置及教学方法
WO2021184933A1 (zh) 一种人体三维模型重建方法
CN109760067A (zh) 会打纸牌的智能机器人系统以及设备
CN110163059A (zh) 多人姿态识别方法、装置及电子设备
CN110033505A (zh) 一种基于深度学习的人体动作捕捉与虚拟动画生成方法
WO2023185785A1 (zh) 一种图像处理方法、模型训练方法及相关装置
US20190102648A1 (en) Simple programming method and device based on image recognition
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
CN112733802B (zh) 图像的遮挡检测方法、装置、电子设备及存储介质
CN109905593A (zh) 一种图像处理方法和装置
CN112131908A (zh) 基于双流网络的动作识别方法、装置、存储介质及设备
CN108236784A (zh) 模型的训练方法和装置、存储介质、电子装置
CN109584992A (zh) 交互方法、装置、服务器、存储介质及沙盘治疗系统
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
CN109829537A (zh) 基于深度学习gan网络童装服装的风格转移方法及设备
CN110008961A (zh) 文字实时识别方法、装置、计算机设备及存储介质
CN108499107A (zh) 虚拟现实中虚拟角色的控制方法、装置及存储介质
CN110555896A (zh) 一种图像生成方法、装置以及存储介质
CN113633983B (zh) 虚拟角色表情控制的方法、装置、电子设备及介质
CN110288513A (zh) 用于改变人脸属性的方法、装置、设备和存储介质
CN114360018B (zh) 三维人脸表情的渲染方法及装置、存储介质及电子装置
CN115497149A (zh) 一种汽车座舱的音乐交互方法
CN112121419B (zh) 虚拟对象控制方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant