CN108942941A - 一种教育机器人语音交互系统 - Google Patents

一种教育机器人语音交互系统 Download PDF

Info

Publication number
CN108942941A
CN108942941A CN201810868288.2A CN201810868288A CN108942941A CN 108942941 A CN108942941 A CN 108942941A CN 201810868288 A CN201810868288 A CN 201810868288A CN 108942941 A CN108942941 A CN 108942941A
Authority
CN
China
Prior art keywords
unit
robot
module
instruction
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810868288.2A
Other languages
English (en)
Inventor
王兆博
王冬
陈菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Shuo Wei Intelligent Technology Co Ltd
Original Assignee
Anhui Shuo Wei Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Shuo Wei Intelligent Technology Co Ltd filed Critical Anhui Shuo Wei Intelligent Technology Co Ltd
Priority to CN201810868288.2A priority Critical patent/CN108942941A/zh
Publication of CN108942941A publication Critical patent/CN108942941A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Toys (AREA)

Abstract

本发明公开了一种教育机器人语音交互系统,包括语音识别模块、存储模块、通讯模块、人机交互中心、主控MCU和云服务器,语音识别模块用于识别用户语音意图,通讯模块用于机器人的数据交互,存储模块用于机器人的数据存储,人机交互中心用于机器人的人机交互控制,云服务器用于机器人教育资源的数据中心,其中,语音识别模块、存储模块、人机交互中心和通讯模块分别与主控MCU电性连接,主控MCU通讯连接云服务器。本发明的教育机器人语音交互系统,机器人本身具备可读性和可写性且具有联网功能,离线状态下也可以进行交互操作,没有使用限制。

Description

一种教育机器人语音交互系统
技术领域
本发明涉及机器人人机交互技术领域,具体是一种教育机器人语音交互系统。
背景技术
随着智能技术的发展,市面上出现了越来越多的教育机器人。然而,大多数机器人当前所具备的功能基本是简单的语音播报、遥控器控制操作等一系列简单的交互功能。
现有技术CN106373457A提供了一种教育机器人平台系统,包括操作系统模块、API应用层模块、课程盒子、机器人编程软件模块、主控制器模块、微控制器模块、红外传感器、温度传感器、距离传感器、内核系统支持模块、应用平台模块、软件服务平台模块、机器人机构部件、外部指令处理模块、指令发射模块、应用程序模块、语音识别模块、语音交互模块和图像识别模块。该技术优点在于实现了机器人语音交互,但是该机器人在语音交互的技术应用是建立在软件平台的基础上,需要用户进行编程后进行控制,且仅支持在网络连接下使用,使用不便利、智能化体现不足,用户体验不佳。
又有现有技术CN107358950A提供了一种服务机器人语音交互系统,包括:控制器、语音采集模块、语音识别模块、机器人发声模块控制器、显示屏、麦克风和刷卡器,显示屏、麦克风刷卡器和语音采集模块分别设置在外壳的外表面上;控制器、语音识别模块和机器人发声模块控制器分别设置在外壳的内部;刷卡器用于读取客户的身份证信息,并将获取的身份证信息传送至控制器进行分析和保存;控制器根据客户的身份证信息并通过控制机器人发声模块控制器来调节机器人的发声语速和声音大小;语音采集模块和语音识别模块相配合来识别用户的语音指令。该技术优点在于采用声源识别定位降低教育语音音量大小对机器人人机交互的影响,提高用户体验。但是该技术在机器人的语音交互过程中,仅扮演了用户信息采集、用户语音采集的角色,交互方式仅为语音播放,其交互方式单一,满足不了用户的多种需求。
发明内容
本发明的目的在于提供一种教育机器人语音交互系统,以解决上述背景技术中提出的现有的机器人语音交互方面交互方式单一、需要联网实现交互且用户体验不佳的问题。
为实现上述目的,本发明提供如下技术方案:
一种教育机器人语音交互系统,包括语音识别模块、存储模块、通讯模块、人机交互中心、主控MCU和云服务器;
所述语音识别模块用于识别用户语音意图;所述通讯模块用于机器人的数据交互;所述存储模块用于机器人的数据存储,其包括数据同步单元、课程存储单元和指令存储单元;所述人机交互中心用于机器人的人机交互控制,其包括用于控制机器人离线工作状态的离线模块和用于进行人机交互的交互模块;所述云服务器用于机器人教育资源的数据中心;
其中,所述语音识别模块、数据同步单元、课程存储单元、指令存储单元、离线模块、交互模块和通讯模块分别与主控MCU电性连接,所述主控MCU通讯连接云服务器。
优选的,所述语音识别模块包括用于获取用于语音信息的语音获取单元和用于解析语音意图的语义解析单元,语音获取单元电性连接语义解析单元用于获取语音并通过语义解析单元进行语义意图解析,语义解析单元电性连接主控MCU用于解析语义意图。
优选的,所述离线模块包括用于检测网络连接的通讯检测单元和用于机器人离线模式下控制的离线控制单元,通讯检测单元和离线控制单元分别电性连接主控MCU。
优选的,所述交互模块包括用于匹配语义意图和指令的意图匹配单元、用于指令语义对应指令的指令执行单元、用于显示图像的图像显示单元和用于播放声音的声音播放单元,意图匹配单元、指令执行单元、图像显示单元和声音播放单元分别电性连接主控MCU,意图匹配单元电性连接指令执行单元用于下达匹配到的待执行指令,意图匹配单元分别与指令存储单元和课程存储单元耦接用于语义意图匹配,指令执行单元电性连接图像显示单元和声音播放单元用于指令待执行指令。
优选的,所述数据同步单元分别与课程存储单元和指令存储单元耦接以进行课程和指令程序的下载和上传。
优选的,所述图像显示单元为显示器,所述声音播放单元为扬声器,所述语音获取单元为降噪麦克风,所述通讯模块为网络通讯模块。
与现有技术相比,本发明的有益效果是:
1)本发明通过数据同步单元对机器人的内部存储进行上传和下载,实现了机器人的可读性和可写性,可以根据用户需求自行上传机器人服务内容,拓展了机器人功能范围,提高用户体验;
2)本发明通过机器人和云服务器的通讯连接实现机器人的资源路径拓展,在进行人机交互时可以建立在大数据基础的前提下对用户的语音意图进行交互,通过网络实现机器人交互内容的实时性,规避了机器人交互内容死板的现象出现,提高了机器人语音交互的智能化,并通过显示图像、播放语音的形式进行交互,后期可通过指令编辑和机器人驱动硬件的结合进行动作指令的交互,拓展了机器人人机交互的内容;
3)本发明通过离线模块进行网络连接自动检测,支持机器人在离线状态下的人机交互,解决了机器人人机交互的使用限制,满足用户多种需求,提高用户体验。
附图说明
图1为本发明一种教育机器人语音交互系统的结构示意图;
图2为本发明一种教育机器人语音交互系统语音识别模块的结构示意图;
图3为本发明一种教育机器人语音交互系统交互中心的结构示意图;
图4为本发明一种教育机器人语音交互系统一种实施例的结构示意图;
附图标记:1-头部,2-躯干,3-手臂,4-腿部,5-显示器,6-扬声器,7-关节。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-3
如图1所示,一种教育机器人语音交互系统,包括语音识别模块、存储模块、通讯模块、人机交互中心、主控MCU和云服务器。
语音识别模块用于识别用户语音意图;通讯模块用于机器人的数据交互;存储模块用于机器人的数据存储,其包括数据同步单元、课程存储单元和指令存储单元;人机交互中心用于机器人的人机交互控制,其包括用于控制机器人离线工作状态的离线模块和用于进行人机交互的交互模块;云服务器用于机器人教育资源的数据中心。
其中,语音识别模块、数据同步单元、课程存储单元、指令存储单元、离线模块、交互模块和通讯模块分别与主控MCU电性连接,主控MCU通讯连接云服务器。
如图2所示,语音识别模块包括用于获取用于语音信息的语音获取单元和用于解析语音意图的语义解析单元,语音获取单元电性连接语义解析单元用于获取语音并通过语义解析单元进行语义意图解析,语义解析单元电性连接主控MCU用于解析语义意图。
如图3所示,离线模块包括用于检测网络连接的通讯检测单元和用于机器人离线模式下控制的离线控制单元,通讯检测单元和离线控制单元分别电性连接主控MCU。
交互模块包括用于匹配语义意图和指令的意图匹配单元、用于指令语义对应指令的指令执行单元、用于显示图像的图像显示单元和用于播放声音的声音播放单元,意图匹配单元、指令执行单元、图像显示单元和声音播放单元分别电性连接主控MCU,意图匹配单元电性连接指令执行单元用于下达匹配到的待执行指令,意图匹配单元分别与指令存储单元和课程存储单元耦接用于语义意图匹配,指令执行单元电性连接图像显示单元和声音播放单元用于指令待执行指令。
数据同步单元分别与课程存储单元和指令存储单元耦接以进行课程和指令程序的下载和上传。
图像显示单元为显示器,声音播放单元为扬声器,语音获取单元为降噪麦克风,通讯模块为网络通讯模块。
请参阅图4
实施例1,如4图所示的机器人,该机器人的组成包括头部1、躯干2、手臂3和腿部4。头部1和躯干2螺接,躯干2与手臂3和腿部4分别螺接,其中,躯干2内部设有若干教育机器人所需的电路板等元器件。躯干2的外侧设有显示器5,机器人头部1顶端设有扬声器6,手臂3和腿部4按照人体工学按照大小比例对应的各人体关节位置设有机器人关节7,该关节7内部为空腔结构。关节7内部设有舵机,该舵机的转动角度为0-180°,多节带动前后端臂部或腿部进行转动以形成动作。
当用户向机器人说话时,机器人的语音识别模块获取用户的语音信息,并通过语义解析单元和指令存储单元或课程存储单元内的数据信息进行比对对语音意图进行解析。
若机器人处于联网状态时,通过对用户的语义解析,还可以根据搜索引擎的搜索方式进行网络搜索并播放搜索结果与用户进行互动。例如,当用户的语音信息为歌曲时,机器人通过网络对该歌曲进行搜索,并自动播放搜索到的音乐。
若机器人处理离线状态时,用户前期可以通过数据同步单元对机器人进行课程上传或者动作指令或者语音信息库上传,机器人即可在离线状态下完成人机交互内容。
当用户语音信息时动作指令时,通过语义意图解析匹配动作指令,并通过主控MCU下达的动作程序,舵机根据程序内的数据进行角度转动达到一些列动作的演示。
实施例2,在实施例1的基础上,在机器人设置离线数据自动下载的设置,当机器人联网时,自动下载数据至课程存储单元和指令存储单元内,以供机器人离线状态下的人机交互。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种教育机器人语音交互系统,包括语音识别模块、存储模块、通讯模块、人机交互中心、主控MCU和云服务器,其特征在于:
所述语音识别模块用于识别用户语音意图;所述通讯模块用于机器人的数据交互;所述存储模块用于机器人的数据存储,其包括数据同步单元、课程存储单元和指令存储单元;所述人机交互中心用于机器人的人机交互控制,其包括用于控制机器人离线工作状态的离线模块和用于进行人机交互的交互模块;所述云服务器用于机器人教育资源的数据中心;
其中,所述语音识别模块、数据同步单元、课程存储单元、指令存储单元、离线模块、交互模块和通讯模块分别与主控MCU电性连接,所述主控MCU通讯连接云服务器。
2.根据权利要求1所述的一种教育机器人语音交互系统,其特征在于,所述语音识别模块包括用于获取用于语音信息的语音获取单元和用于解析语音意图的语义解析单元,语音获取单元电性连接语义解析单元用于获取语音并通过语义解析单元进行语义意图解析,语义解析单元电性连接主控MCU用于解析语义意图。
3.根据权利要求1所述的一种教育机器人语音交互系统,其特征在于,所述离线模块包括用于检测网络连接的通讯检测单元和用于机器人离线模式下控制的离线控制单元,通讯检测单元和离线控制单元分别电性连接主控MCU。
4.根据权利要求1所述的一种教育机器人语音交互系统,其特征在于,所述交互模块包括用于匹配语义意图和指令的意图匹配单元、用于指令语义对应指令的指令执行单元、用于显示图像的图像显示单元和用于播放声音的声音播放单元,意图匹配单元、指令执行单元、图像显示单元和声音播放单元分别电性连接主控MCU,意图匹配单元电性连接指令执行单元用于下达匹配到的待执行指令,意图匹配单元分别与指令存储单元和课程存储单元耦接用于语义意图匹配,指令执行单元电性连接图像显示单元和声音播放单元用于指令待执行指令。
5.根据权利要求1所述的一种教育机器人语音交互系统,其特征在于,所述数据同步单元分别与课程存储单元和指令存储单元耦接以进行课程和指令程序的下载和上传。
6.根据权利要求1所述的一种教育机器人语音交互系统,其特征在于,所述图像显示单元为显示器,所述声音播放单元为扬声器,所述语音获取单元为降噪麦克风,所述通讯模块为网络通讯模块。
CN201810868288.2A 2018-08-02 2018-08-02 一种教育机器人语音交互系统 Pending CN108942941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810868288.2A CN108942941A (zh) 2018-08-02 2018-08-02 一种教育机器人语音交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810868288.2A CN108942941A (zh) 2018-08-02 2018-08-02 一种教育机器人语音交互系统

Publications (1)

Publication Number Publication Date
CN108942941A true CN108942941A (zh) 2018-12-07

Family

ID=64467004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810868288.2A Pending CN108942941A (zh) 2018-08-02 2018-08-02 一种教育机器人语音交互系统

Country Status (1)

Country Link
CN (1) CN108942941A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109760061A (zh) * 2019-03-05 2019-05-17 上海岚豹智能科技有限公司 基于离线语音的机器人控制方法及设备
CN110766999A (zh) * 2019-10-25 2020-02-07 安徽信捷智能科技有限公司 一种基于精准教育的儿童教育机器人
CN112017488A (zh) * 2020-08-28 2020-12-01 济南浪潮高新科技投资发展有限公司 一种基于ar的教育机器人系统及学习方法
WO2021035901A1 (zh) * 2019-08-27 2021-03-04 蓝宙(江苏)技术有限公司 一种基于双核mcu的图形化编程教育机器人
CN113681554A (zh) * 2021-08-02 2021-11-23 深圳市江智工业技术有限公司 基于人机语言交互与情感动作行为控制交互协作的机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098167A1 (en) * 2002-11-18 2004-05-20 Sang-Kug Yi Home robot using supercomputer, and home network system having the same
CN204322085U (zh) * 2014-12-15 2015-05-13 山东大学 一种面向幼儿的早教陪护机器人
CN106228982A (zh) * 2016-07-27 2016-12-14 华南理工大学 一种基于教育服务机器人的交互式学习系统与交互方法
CN106486122A (zh) * 2016-12-26 2017-03-08 旗瀚科技有限公司 一种智能语音交互机器人
CN107053191A (zh) * 2016-12-31 2017-08-18 华为技术有限公司 一种机器人,服务器及人机互动方法
CN108297109A (zh) * 2018-02-24 2018-07-20 上海理工大学 一种智能机器人系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098167A1 (en) * 2002-11-18 2004-05-20 Sang-Kug Yi Home robot using supercomputer, and home network system having the same
CN204322085U (zh) * 2014-12-15 2015-05-13 山东大学 一种面向幼儿的早教陪护机器人
CN106228982A (zh) * 2016-07-27 2016-12-14 华南理工大学 一种基于教育服务机器人的交互式学习系统与交互方法
CN106486122A (zh) * 2016-12-26 2017-03-08 旗瀚科技有限公司 一种智能语音交互机器人
CN107053191A (zh) * 2016-12-31 2017-08-18 华为技术有限公司 一种机器人,服务器及人机互动方法
CN108297109A (zh) * 2018-02-24 2018-07-20 上海理工大学 一种智能机器人系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109760061A (zh) * 2019-03-05 2019-05-17 上海岚豹智能科技有限公司 基于离线语音的机器人控制方法及设备
WO2021035901A1 (zh) * 2019-08-27 2021-03-04 蓝宙(江苏)技术有限公司 一种基于双核mcu的图形化编程教育机器人
CN110766999A (zh) * 2019-10-25 2020-02-07 安徽信捷智能科技有限公司 一种基于精准教育的儿童教育机器人
CN112017488A (zh) * 2020-08-28 2020-12-01 济南浪潮高新科技投资发展有限公司 一种基于ar的教育机器人系统及学习方法
CN113681554A (zh) * 2021-08-02 2021-11-23 深圳市江智工业技术有限公司 基于人机语言交互与情感动作行为控制交互协作的机器人

Similar Documents

Publication Publication Date Title
CN108942941A (zh) 一种教育机器人语音交互系统
JP6752870B2 (ja) 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム
US12033241B2 (en) Scene interaction method and apparatus, electronic device, and computer storage medium
CN108319171B (zh) 一种基于语音控制的动向投影方法、装置及动向投影系统
CN112204564A (zh) 经由基于集成音频和视觉的语音识别进行语音理解的系统和方法
WO2018006375A1 (zh) 一种虚拟机器人的交互方法、系统及机器人
CN111124123A (zh) 基于虚拟机器人形象的语音交互方法及装置、车载设备智能控制系统
CN110400251A (zh) 视频处理方法、装置、终端设备及存储介质
CN112204565B (zh) 用于基于视觉背景无关语法模型推断场景的系统和方法
WO2019072104A1 (zh) 互动方法和设备
CN112204654B (zh) 用于基于预测的先发式对话内容生成的系统和方法
WO2019161241A1 (en) System and method for identifying a point of interest based on intersecting visual trajectories
JP2009241166A (ja) ロボット遠隔操作システム
US11308312B2 (en) System and method for reconstructing unoccupied 3D space
CN112204563A (zh) 用于基于用户通信的视觉场景构建的系统和方法
WO2021003471A1 (en) System and method for adaptive dialogue management across real and augmented reality
WO2019161246A1 (en) System and method for visual rendering based on sparse samples with predicted motion
CN111273775A (zh) 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质
JP2022169645A (ja) 装置及びプログラム等
CN110471531A (zh) 虚拟现实中多模态人机对话系统和方法
CN105388786B (zh) 一种智能提线木偶偶人控制方法
CN108388399B (zh) 虚拟偶像的状态管理方法及系统
CN113157241A (zh) 交互设备、交互装置及交互系统
CN114201596A (zh) 虚拟数字人使用方法、电子设备和存储介质
CN112165627B (zh) 信息处理方法、装置、存储介质、终端及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 803, room F1, two, innovation industrial park, No. 2800, new avenue of innovation, Hefei high tech Zone, Anhui

Applicant after: Anhui Shuo Wei Intelligent Technology Co., Ltd.

Address before: 230088, H2, building 374, two innovation industrial park, 2800 innovation Avenue, Hefei hi tech Zone, Anhui

Applicant before: Anhui Shuo Wei Intelligent Technology Co., Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207

RJ01 Rejection of invention patent application after publication