CN107875625A - 一种基于语音的象棋对弈装置 - Google Patents

一种基于语音的象棋对弈装置 Download PDF

Info

Publication number
CN107875625A
CN107875625A CN201711183683.9A CN201711183683A CN107875625A CN 107875625 A CN107875625 A CN 107875625A CN 201711183683 A CN201711183683 A CN 201711183683A CN 107875625 A CN107875625 A CN 107875625A
Authority
CN
China
Prior art keywords
chess
chessboard
voice
algorithm
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711183683.9A
Other languages
English (en)
Inventor
张奇
王直杰
李上培
吴文莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201711183683.9A priority Critical patent/CN107875625A/zh
Publication of CN107875625A publication Critical patent/CN107875625A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/00643—Electric board games; Electric features of board games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/00895—Accessories for board games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/02—Chess; Similar board games
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/00895—Accessories for board games
    • A63F2003/00899—Instruments for handling a playing piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于语音的象棋对弈装置，包括图像处理模块、语音处理模块、自学习模块和机械臂模块，所述图像处理模块用于进行图像的采集以及调用相关的图像处理算法对棋盘和棋盘中的各个象棋子进行识别，得到棋盘上每一个象棋子所在的位置；所述语音识别模块用于语音信号的采集以及调用相关的语音算法对语音信号进行识别并生成指令；所述机械臂模块用于执行响应的指令，对象棋子的位置进行移动；所述自学习模块用于在下棋的过程进行学习实现对算法进行优化。本发明可以实现全语音的控制让残疾人也能通过语音来进行对弈。

Description

一种基于语音的象棋对弈装置
技术领域
本发明涉及一种娱乐休闲装置，特别是涉及一种基于语音的象棋对弈装置。
背景技术
如果能够有一种通过语音就能控制的下棋装置，让残疾人可以摆脱肢体的束缚，能让他们能进行正常人一样的下棋活动以及需要健全的肢体才能进行的活动，无疑为他们的日常生活增加了很多乐趣。
发明内容
本发明所要解决的技术问题是提供一种基于语音的象棋对弈装置，能够根据棋手所说的话，将其转换成相关指令完成走棋的任务，以及通过自学习提高自己的下棋水平然后跟人进行对弈。
本发明解决其技术问题所采用的技术方案是：提供一种基于语音的象棋对弈装置，包括图像处理模块、语音处理模块、自学习模块和机械臂模块，所述图像处理模块用于进行图像的采集以及调用相关的图像处理算法对棋盘和棋盘中的各个象棋子进行识别，得到棋盘上每一个象棋子所在的位置；所述语音识别模块用于语音信号的采集以及调用相关的语音算法对语音信号进行识别并生成指令；所述机械臂模块用于执行响应的指令，对象棋子的位置进行移动；所述自学习模块用于在下棋的过程进行学习实现对算法进行优化。
所述图像处理模块包括摄像头和图像识别算法部，所述摄像头主要用于采集棋盘上的图像信息，其中图像信息包括整个棋盘的格子信息和棋盘上各个位置的象棋子信息；所述图像识别算法部主要包括形状检测算法单元、颜色检测算法单元和卷积神经网络单元，所述形状检测算法单元用于检测棋盘和棋盘上的网格线，所述颜色检测算法单元主要用于识别对弈双方的棋子的颜色，所述卷积神经网络单元主要用于检测每个棋子的类别。
所述语音处理模块麦克风和语音处理算法部，所述麦克风用于对语音信号进行采集，所述语音处理算法部用于对检测到的语音进行识别，得到具体的识别命令，并通过语义理解算法将其转换成相应的指令。
所述机械臂模块包括floyd最短路算法部和执行机构，所述floyd最短路算法部用于根据图像处理模块的结果生成棋盘的目前的邻接矩阵，再根据语音处理模块的结果通过floyd 算法得到所要移动象棋子移动到指定的位置的最短路径；所述执行机构根据得到的最短路径控制处于不同轴关节的步进电机使得机械臂将象棋子移动到指定的位置。
所述的自学习模块通过不断的对弈调整自学习算法中的相关参数。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明可以对棋盘目前的对弈信息进行采集，通过相关的图像识别算法得到每个棋子的位置，以及可以接受语音信号通过NLP相关算法对该语音信号进行处理，将语音信号翻译成对应的指令，机械臂通过最优路径的计算，最后通过执行机构将棋子移动到指定的位置。该装置的优点是可以实现全语音的控制，让残疾人也能通过语音来进行对弈，目前市面上还未出现通过全语音控制的棋类对弈装置，所以这个发明可以为残障人士下棋过程带来极大的便利。
附图说明
图1是本发明的模块架构图；
图2是本发明的执行流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于语音的象棋对弈装置，如图1所示，包括图像处理模块、语音处理模块、自学习模块和机械臂模块，所述图像处理模块用于进行图像的采集以及调用相关的图像处理算法对棋盘和棋盘中的各个象棋子进行识别，得到棋盘上每一个象棋子所在的位置；所述语音识别模块用于语音信号的采集以及调用相关的语音算法对语音信号进行识别并生成指令；所述机械臂模块用于执行响应的指令，对象棋子的位置进行移动；所述自学习模块用于在下棋的过程进行学习实现对算法进行优化。
所述图像处理模块包括摄像头和图像识别算法部，所述摄像头主要用于采集棋盘上的图像信息，其中图像信息包括整个棋盘的格子信息和棋盘上各个位置的象棋子信息；所述图像识别算法部主要包括形状检测算法单元、颜色检测算法单元和卷积神经网络单元，所述形状检测算法单元用于检测棋盘和棋盘上的网格线，所述颜色检测算法单元主要用于识别对弈双方的棋子的颜色，所述卷积神经网络单元主要用于检测每个棋子的类别。
所述语音处理模块麦克风和语音处理算法部，所述麦克风用于对语音信号进行采集，所述语音处理算法部用于对检测到的语音进行识别，得到具体的识别命令，并通过语义理解算法将其转换成相应的指令。
所述机械臂模块包括floyd最短路算法部和执行机构，所述floyd最短路算法部用于根据图像处理模块的结果生成棋盘的目前的邻接矩阵，再根据语音处理模块的结果通过floyd 算法得到所要移动象棋子的最短路径；所述执行机构根据得到的最短路径控制处于不同轴关节的步进电机使得机械臂将象棋子移动到指定的位置。
所述的自学习模块通过不断的对弈调整自学习算法中的相关参数，使得其对弈水平的不断提高。
结合图2的语音象棋对弈装置的流程图，对该装置的实施进行说明，按照如下步骤进行：
步骤一：打开摄像头，对目前正在对弈的棋盘信息进行读取，并将读取的结果上中央处理机构。
步骤二：中央处理机构对上传的图像信息进行处理，首先通过形状检测算法检测出图像中的棋盘，以及棋盘中的棋子，再通过颜色检测算法识别出棋盘上的网格线以及分辨出对弈双方的棋子，最后通过卷积神经网络识别出每个棋子表示的意义。
步骤三：此时需要判断当前的游戏模式，是否属于人机模式，若是则转到步骤四自学习模块，否则需要转到第五步进行语音的采集。
步骤四：通过不断的对弈调整自学习算法中的相关参数，使得其对弈水平的不断提高，以及下达移动棋子的指令。
步骤五：打开麦克风，采集此时的语音信号，并将语音信号转成数字信号，上传到中央处理机构。
步骤六：中央处理机构根据上传上来的语音数据调用相关的NLP算法，将语音信号翻译成文字信号，根据所翻译的文字利用语音理解相关算法将其解析成具体所要执行的指令数据。
步骤七：机械臂模块中的路径算法首先根据采集的图像信息生成邻接矩阵，再通过floyd算法生成最短路矩阵，然后根据指令信息计算出当前位置的棋子移动到目标位置的最短路径。
步骤八：执行机构根据上一步的最短路径控制步进电机将棋子从当前位置移动到指定的位置。
步骤九：判断当前的对局是否结束，若是，则装置停止，否则则返回第一步重新采集图像信息。
不难发现，本发明可以对棋盘目前的对弈信息进行采集，通过相关的图像识别算法得到每个棋子的位置，以及可以接受语音信号通过NLP相关算法对该语音信号进行处理，将语音信号翻译成对应的指令，机械臂通过最优路径的计算，最后通过执行机构将棋子移动到指定的位置。该装置的优点是可以实现全语音的控制，让残疾人也能通过语音来进行对弈，目前市面上还未出现通过全语音控制的棋类对弈装置，所以这个发明可以为残障人士下棋过程带来极大的便利。

Claims (5)

1.一种基于语音的象棋对弈装置，包括图像处理模块、语音处理模块、自学习模块和机械臂模块，其特征在于，所述图像处理模块用于进行图像的采集以及调用相关的图像处理算法对棋盘和棋盘中的各个象棋子进行识别，得到棋盘上每一个象棋子所在的位置；所述语音识别模块用于语音信号的采集以及调用相关的语音算法对语音信号进行识别并生成指令；所述机械臂模块用于执行响应的指令，对象棋子的位置进行移动；所述自学习模块用于在下棋的过程进行学习实现对算法进行优化。
2.根据权利要求1所述的基于语音的象棋对弈装置，其特征在于，所述图像处理模块包括摄像头和图像识别算法部，所述摄像头主要用于采集棋盘上的图像信息，其中图像信息包括整个棋盘的格子信息和棋盘上各个位置的象棋子信息；所述图像识别算法部主要包括形状检测算法单元、颜色检测算法单元和卷积神经网络单元，所述形状检测算法单元用于检测棋盘和棋盘上的网格线，所述颜色检测算法单元主要用于识别对弈双方的棋子的颜色，所述卷积神经网络单元主要用于检测每个棋子的类别。
3.根据权利要求1所述的基于语音的象棋对弈装置，其特征在于，所述语音处理模块麦克风和语音处理算法部，所述麦克风用于对语音信号进行采集，所述语音处理算法部用于对检测到的语音进行识别，得到具体的识别命令，并通过语义理解算法将其转换成相应的指令。
4.根据权利要求1所述的基于语音的象棋对弈装置，其特征在于，所述机械臂模块包括floyd最短路算法部和执行机构，所述floyd最短路算法部用于根据图像处理模块的结果生成棋盘的目前的邻接矩阵，再根据语音处理模块的结果通过floyd算法得到所要移动象棋子移动到指定的位置的最短路径；所述执行机构根据得到的最短路径控制处于不同轴关节的步进电机使得机械臂将象棋子移动到指定的位置。
5.根据权利要求1所述的基于语音的象棋对弈装置，其特征在于，所述的自学习模块通过不断的对弈调整自学习算法中的相关参数。
CN201711183683.9A 2017-11-23 2017-11-23 一种基于语音的象棋对弈装置 Pending CN107875625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711183683.9A CN107875625A (zh) 2017-11-23 2017-11-23 一种基于语音的象棋对弈装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711183683.9A CN107875625A (zh) 2017-11-23 2017-11-23 一种基于语音的象棋对弈装置

Publications (1)

Publication Number Publication Date
CN107875625A true CN107875625A (zh) 2018-04-06

Family

ID=61774820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711183683.9A Pending CN107875625A (zh) 2017-11-23 2017-11-23 一种基于语音的象棋对弈装置

Country Status (1)

Country Link
CN (1) CN107875625A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399888A (zh) * 2019-07-25 2019-11-01 西南民族大学 一种基于mlp神经网络和计算机视觉的围棋裁判系统
CN111562844A (zh) * 2020-04-30 2020-08-21 中国传媒大学 一种全自动博弈中国象棋系统
CN113209599A (zh) * 2021-05-19 2021-08-06 上海宏弈源软件科技有限公司 基于机器人交互的对弈方法及系统、设备、可读介质
CN113885707A (zh) * 2021-10-21 2022-01-04 浙江瑞瀛物联科技有限公司 一种基于物联网的在线对弈系统
CN114467140A (zh) * 2020-08-05 2022-05-10 互动解决方案公司 基于语音来改变图像的系统
US11600263B1 (en) 2020-06-29 2023-03-07 Amazon Technologies, Inc. Natural language configuration and operation for tangible games
US11645947B1 (en) * 2020-06-29 2023-05-09 Amazon Technologies, Inc. Natural language configuration and operation for tangible games

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1385224A (zh) * 2002-06-27 2002-12-18 上海交通大学 象棋大师机器人
CN101000654A (zh) * 2006-12-31 2007-07-18 常熟理工学院 图像识别棋谱自动记录方法
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
CN102729250A (zh) * 2011-04-02 2012-10-17 北京石油化工学院 象棋开局摆棋系统和方法
CN102750538A (zh) * 2012-05-16 2012-10-24 南京大学 一种基于图像处理技术的围棋比赛结果分析方法
CN106182006A (zh) * 2016-08-09 2016-12-07 北京光年无限科技有限公司 面向智能机器人的棋牌交互数据处理方法及装置
CN106529531A (zh) * 2016-10-31 2017-03-22 华南理工大学 一种基于图像处理的中国象棋识别系统及方法
CN106669138A (zh) * 2017-01-03 2017-05-17 上海量明科技发展有限公司 棋子移动方法、装置及系统
CN106924961A (zh) * 2017-04-01 2017-07-07 哈尔滨工业大学 一种智能象棋对弈控制方法及系统
CN206577357U (zh) * 2017-03-21 2017-10-24 河海大学 一种象棋对弈机器人
CN107341548A (zh) * 2017-06-26 2017-11-10 北京深度奇点科技有限公司 一种数据处理方法、装置及电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1385224A (zh) * 2002-06-27 2002-12-18 上海交通大学 象棋大师机器人
CN101000654A (zh) * 2006-12-31 2007-07-18 常熟理工学院 图像识别棋谱自动记录方法
CN102729250A (zh) * 2011-04-02 2012-10-17 北京石油化工学院 象棋开局摆棋系统和方法
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
CN102750538A (zh) * 2012-05-16 2012-10-24 南京大学 一种基于图像处理技术的围棋比赛结果分析方法
CN106182006A (zh) * 2016-08-09 2016-12-07 北京光年无限科技有限公司 面向智能机器人的棋牌交互数据处理方法及装置
CN106529531A (zh) * 2016-10-31 2017-03-22 华南理工大学 一种基于图像处理的中国象棋识别系统及方法
CN106669138A (zh) * 2017-01-03 2017-05-17 上海量明科技发展有限公司 棋子移动方法、装置及系统
CN206577357U (zh) * 2017-03-21 2017-10-24 河海大学 一种象棋对弈机器人
CN106924961A (zh) * 2017-04-01 2017-07-07 哈尔滨工业大学 一种智能象棋对弈控制方法及系统
CN107341548A (zh) * 2017-06-26 2017-11-10 北京深度奇点科技有限公司 一种数据处理方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
段云涛，李倩，申玮: "基于视觉的人机交互下棋系统中棋子定位及识别技术研究", 《计算机与数字工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399888A (zh) * 2019-07-25 2019-11-01 西南民族大学 一种基于mlp神经网络和计算机视觉的围棋裁判系统
CN111562844A (zh) * 2020-04-30 2020-08-21 中国传媒大学 一种全自动博弈中国象棋系统
CN111562844B (zh) * 2020-04-30 2023-04-21 中国传媒大学 一种全自动博弈中国象棋系统
US11600263B1 (en) 2020-06-29 2023-03-07 Amazon Technologies, Inc. Natural language configuration and operation for tangible games
US11645947B1 (en) * 2020-06-29 2023-05-09 Amazon Technologies, Inc. Natural language configuration and operation for tangible games
CN114467140A (zh) * 2020-08-05 2022-05-10 互动解决方案公司 基于语音来改变图像的系统
US11568877B2 (en) 2020-08-05 2023-01-31 Interactive Solutions Corp. System to change image based on voice
CN113209599A (zh) * 2021-05-19 2021-08-06 上海宏弈源软件科技有限公司 基于机器人交互的对弈方法及系统、设备、可读介质
CN113885707A (zh) * 2021-10-21 2022-01-04 浙江瑞瀛物联科技有限公司 一种基于物联网的在线对弈系统

Similar Documents

Publication Publication Date Title
CN107875625A (zh) 一种基于语音的象棋对弈装置
US11017779B2 (en) System and method for speech understanding via integrated audio and visual based speech recognition
CN107030691B (zh) 一种看护机器人的数据处理方法及装置
US20190371318A1 (en) System and method for adaptive detection of spoken language via multiple speech models
US20220101856A1 (en) System and method for disambiguating a source of sound based on detected lip movement
US7526363B2 (en) Robot for participating in a joint performance with a human partner
WO2016150001A1 (zh) 语音识别的方法、装置及计算机存储介质
CN107799126A (zh) 基于有监督机器学习的语音端点检测方法及装置
CN107993665A (zh) 多人会话场景中发言人角色确定方法、智能会议方法及系统
CN107767861A (zh) 语音唤醒方法、系统及智能终端
CN110602624B (zh) 音频测试方法、装置、存储介质及电子设备
WO2011119168A1 (en) Context based voice activity detection sensitivity
CN109410956A (zh) 一种音频数据的对象识别方法、装置、设备及存储介质
CN206505410U (zh) 一种实时语音互译装置
JP2019217122A (ja) ロボット、ロボットの制御方法及びプログラム
CN110400571A (zh) 音频处理方法、装置、存储介质及电子设备
CN110097875A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN106981289A (zh) 一种识别模型训练方法及系统以及智能终端
CN111667834A (zh) 一种助听设备及助听方法
CN111554318B (zh) 一种手机端发音可视化系统的实现方法
CN105344095A (zh) 基于射频芯片识别的麻将牌智能语音提示装置
KR101791907B1 (ko) 위치 기반의 음향 처리 장치 및 방법
CN1581293A (zh) 基于有限集语音识别的人机交互方法与装置
CN113409809B (zh) 语音降噪方法、装置及设备
Cervantes et al. Embedded design of an emotion-aware music player

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406