CN106228982A - 一种基于教育服务机器人的交互式学习系统与交互方法 - Google Patents

Abstract

本发明公开了一种基于教育服务机器人的交互式学习系统与交互方法。该系统主要包含了核心处理器模块、语音处理模块、语音采集模块、语音播放模块、图像处理模块、图像采集模块、投影处理模块、运动控制模块、环境感知模块、电机驱动模块和网络通信模块。其中，一种基于教育服务机器人的交互学习系统的交互方法，主要包括系统实时采集用户脸部和桌面图像信息，系统实时记录用户学习情况，并在网络服务器端采用大数据分析方法，建立一套针对用户的个性化学习指导方案，并在用户提问或与系统交互时，通过语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮等方式体现。本发明有益效果为，可以为用户提供个性化学习指导方案，使用户能用合适的方法轻松掌握和巩固学习知识，并锻炼用户自学和独立思考的能力。

Description

一种基于教育服务机器人的交互式学习系统与交互方法

技术领域

本发明涉及智能机器人技术领域，特别是涉及一种基于教育机器人的交互系统与方法。

背景技术

学习，一般是指通过阅读、听讲、思考、研究、实践等途径获得知识或技能的过程。而教育，是一种思维的传授，而不同人的思维方式一般有所差异，因此教育应当做到因人而异，从不同个体的差异出发找到最适合个体的教育方法。

而学生在学校学习知识，老师要同时教一个班的学生，因此老师所传授的方法一般是无差异的，学生一般不能很好的吸收老师所教的知识。家庭教师也是培养学生个性思维的一种方式，但家庭教师并不能保证跟随学生一起成长，如果更换家庭教师则还需要教师与学生重新熟悉，同时这种方式一般要消耗较多的人力与财力，且不是所有的学生家庭都可以有能力为学生请家教老师。

随着科学技术的发展，机器人技术越来越成熟，而家用机器人作为机器人家族的一员，发展速度迅速。目前市场上已有的扫地机器人、老人看护机器人、幼儿早教陪护机器人、娱乐机器人就是属于家用机器人，其中幼儿早教陪护机器人一般是针对0-12岁的儿童，对幼儿进行启蒙教育和安全陪护。然而随着儿童年龄的增长以及学习难度的增加，这一类机器人往往不能继续发挥帮助儿童学习的作用。

因此，针对于中高年级的学生，需要有一台能够指定个性化教学方式，并引导学生解决学习问题，记录学生学习过程，有针对性的帮助学生巩固与总结学习的内容，能提高学生自学和独立思考的能力的教育机器人（教育服务机器人）。

发明内容

本发明的目的是提供一种基于教育机器人的交互系统与方法，以克服目前现有技术存在的不足。

本发明的目的是通过以下技术方案来实现。

一种基于教育服务机器人的交互式学习系统，机器人本体输出声音和3D全息投影来教授用户，并通过底盘滚轮与机器人头部转轴来进行行走与运动，所述交互式学习系统设在机器人本体上，包括：

语音采集模块，用于实时捕获用户的语音输入信息，并将所述语音输入信息发送到语音处理模块；

语音处理模块，用于对所述语音输入信息进行降噪处理，并使用基于HMM-DNN声学模型的Token-passing算法对其进行语音识别，将上述语音输入信息转换为语音的文字信息并发送至核心处理器模块；还用于接收核心处理器模块发送的语音播放信息，并将语音播放信息发送至语音播放模块；

语音播放模块，用于接收上述语音播放信息，并通过扬声器将其播放出来；

图像采集模块，用于实时捕捉用户桌面图像信息与用户表情图像信息，并将所述桌面图像信息与表情图像信息发送至图像处理模块；

图像处理模块，用于对所述桌面图像信息进行文字识别处理，用于对所述表情图像信息进行用户眼动识别处理，并将上述文字识别处理与眼动识别处理结果发送至核心处理器模块；还用于接收核心处理器模块发送的投影图像信息，并将投影图像信息发送至投影处理模块；

投影处理模块，用于接收所述投影图像信息，并通过投影镜头将投影图像信息投影出来；

环境感知模块，用于实时感知机器人本体周围的距离信息与光信息的感知信息，并将所述感知信息发送至运动控制模块；

运动控制模块，用于接收所述感知信息，通过时频分析编码为机器人环境信息后发送至核心处理器模块；用于接收核心处理器模块发送的运动调整信息，并将所述运动调整信息发送至电机驱动模块；

电机驱动模块，用于接收所述运动调整信息，并调整机器人本体的底盘滚轮运动与机器人头部转轴运动；

网络通信模块，用于接入局域网或因特网，并将网络通信信息发送至网络通信模块，用于保证该系统与网络服务器通信；

核心处理器模块，用于接收所述语音处理模块、图像处理模块、运动控制模块、网络通信模块发送的信息，并将需要用语音播放的语音播放信息发送至语音处理模块，将处理结果中需要投影展现的投影图像信息发送至图像处理模块，将处理结果中需要调整机器人运动控制的运动调整信息发送至运动控制模块。

进一步优化地，所述图像采集模块包括设置在机器人本体上端的2D摄像头与设置在机器人本体下方的深度摄像头，其中，位于机器人上端的2D摄像头用于拍摄用户桌面，主要是针对用户书本进行拍摄；位于机器人本体下方的深度摄像头用于拍摄用户脸部表情，主要是针对用户的眼动进行拍摄。

进一步优化地，所述环境感知模块包括超声波传感器和光传感器，其中超声波传感器主要分布在机器人本体底盘附近用于检测机器人周围是否有障碍物；光传感器位于机器人本体上端，用于检测机器人周围环境亮度。

进一步优化地，所述电机驱动模块包括底盘滚轮驱动和机器人头部转轴驱动，其中，底盘滚轮用于控制机器人时的前进方向与速度；机器人头部转轴用于控制机器人头部上下左右四个方向的转动。

进一步优化地，所述机器人头部可与机器人本体分离，且机器人头部与机器人本体分离时能独立工作。

利用所述基于教育服务机器人的交互式学习系统的交互方法，该交互方法包括：

图像采集模块实时采集摄像头摄像范围内图像，如果图像处理模块检测到用户出现在摄像范围内，则系统对用户执行问候过程，并对两个摄像头执行对焦，以清晰拍摄到用户脸部与学习的桌面；

语音采集模块实时采集用户语音信息，语音处理模块识别所述用户语音信息的语义，并做出合适形式的应答；

图像采集模块实时采集用户脸部图像，同时图像处理模块实时分析用户眼动数据和用户表情数据，包括用户眨眼频率、用户视线数据、用户瞳孔大小、用户眼跳距离、用户阅读速度、用户眼角至嘴巴距离、用户眉毛间距和用户嘴巴张开大小，若发现用户眼动数据与用户表情数据异常，则系统通过合适形式提醒并引导用户认真学习；

图像采集模块实时采集用户学习桌面图像及用户手势，图像处理模块记录用户学习数据，包括记录与识别用户书桌桌面信息数据与用户手势交互数据，所述用户书桌桌面信息数据包括但不限于用户课本内容、习题内容及用户手写内容，所述识别用户手势交互数据，包括用户用手指指着桌面的一道习题，图像处理模块识别用户手势后，将识别结果发送至核心处理器模块，并做出合适形式的应答。

进一步优化地，所述的交互方法还包括：

核心处理器模块将正常启动时间实时收集到的所有用户数据，包括用户眼动数据、用户表情数据、用户书桌桌面信息数据和用户手势交互数据，通过网络通信模块上传并保存至网络服务器端；

网络服务器端运用大数据分析技术，分析用户的整体学习状况，包括用户学习进度、用户学习效率、用户学习各科目知识掌握情况和用户待各科目知识待掌握部分；

网络服务器端根据所述用户整体学习情况定期生成用户学习报告，并根据用户整体学习情况制定用户学习辅导方案，方案内容包括用户难题解答方案、用户学习引导方案和用户习题巩固方案；

网络服务器端将所述用户学习辅导方案通过网络通信模块发送至核心处理器模块，所述用户学习辅导方案通过合适形式展现。

进一步优化地，所述合适形式包括语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮中的一种以上，不同的应答方式能同时进行。

进一步优化地，所述机器人投影应答方式包括：

机器人旋转头部，使投影处理模块的投影镜头以合适的角度正对用户桌面；

打开投影镜头，将系统所要输出的图像内容通过投影展现在用户桌面；

用户根据需要对桌面的投影进行点击、拖动、拉伸操作；

位于机器人头部的摄像头实时获取用户手势动作，图像处理模块识别用户手势动作，并发送处理结果至核心处理器模块，并做出相应的反馈，反馈通过投影展现出来。

进一步优化地，所述机器人投影应答方式有两种，一种是2D投影，另一种是3D投影进一步的，所述语音采集模块连接麦克风，麦克风至少有两个，分别位于所述机器人躯干的两侧或机器人上端。

进一步地，所述语音播放模块连接扬声器，扬声器至少有两个，分别位于所述机器人躯干的两侧或机器人上端。

进一步的，所述机器人的供电方式包括但不限于有线充电和无线充电方式。

进一步的，机器人本体上还设置若干个接口，包括但不限于USB接口和HDMI接口，所述USB接口用于固件更新、数据存储扩展、数据通信、充电等；所述HDMI接口用于数字音视频输入及输出等。

进一步的，所述图像处理模块分析用户眼动数据和用户表情数据的方法为：所述位于机器人本体下方的深度摄像头拍摄用户脸部，并将拍摄的用户脸部图像发送至图像处理模块。

图像处理模块对用户进行眼动识别时，首先利用水平差分和垂直积分投影对人眼位置进行粗定位，再使用Harris角点检测方法寻找内外眼角，最后再基于眼球低灰度值特征的分析方法确定眼球左右移动的姿态。

图像处理模块对用户进行表情识别时，首先识别图像中的人脸，分别提取出眼睛、眉毛、嘴巴的轮廓，进而分析并对表情进行分类，定义各种表情分类的眼睛、眉毛、嘴巴相互的间距大小，通过眼睛、眉毛、嘴巴相互的间距的变化规律来识别不同的表情。

进一步的，眼动识别与表情识别也可采用集成了人脸识别解决方案的摄像头组件，通过内置的处理模块完成眼动识别与表情识别，并输出相应的数据。

进一步的，所述图像处理模块识别用户桌面信息数据的方法为：所述位于机器人本体上端的2D摄像头拍摄用户桌面，并将拍摄的用户桌面信息发送至图像处理模块。

图像处理模块用STR场景文本识别的方法对用户桌面信息中用户书本上的内容、习题内容以及用户手写内容进行识别，并转化成相应的文字发送至核心处理器模块，核心处理器模块根据所接收到的所述文本识别内容，对所述书本内容、习题内容以及用户手写内容进行理解与记录。

同时，所述位于机器人本体上端的2D摄像头实时捕捉在摄像头范围内的用户手势动作，摄像头将拍摄的图像信息发送至图像处理模块，图像处理模块对图像进行肤色分割算法分析图像中是否有人手出现，若无，则图像处理模块继续使用肤色分割算法分析摄像头图像，若有，则摄像头捕捉用户手势动作。若识别出用户正用手指指着一道习题，将该习题上传到网络服务器端进行习题匹配，并搜索最优解答，网络服务器端针对用户的学习进度以及相关知识掌握情况整理出最佳解题指导方案，并通过网络通信模块将最佳解题指导方案发送至机器人系统的核心处理器模块，系统通过合适形式为用户提供最佳解题指导。

进一步的，所述机器人投影应答方式，也可以通过HDMI接口外接显示屏代替，即将需要投影展现的内容传输至外接的显示屏上显示出来。所述显示屏为具有HDMI输入接口的图像显示设备。

本发明与现有技术相比，本发明的有益效果为：本发明能为中高年级的学生提供个性化学习指导。针对于目前中高年级学生的在校接受老师对全班学生无差异化教导以及课后请家庭教师进行学习辅导的学习方式的缺陷与不足，本发明提供了一种既能为学生提供个性化学习指导又能长期陪伴学生成为其学习助手的教育机器人。

本发明能够实时记录用户学习情况，并在网络服务器端采用大数据分析方法，建立一套针对用户的个性化学习指导方案，并在用户提问或与系统交互时，通过语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮等方式体现。本发明解决了学生在学校接受老师对全班学生无差异化教导以及课后请家庭教师进行学习辅导的学习方式的缺陷与不足，同时还可以针对学生长期以来的学习情况制定符合学生本人学习程度的个性化学习指导方案，使用户能用合适的方法轻松掌握和巩固学习知识，并锻炼用户自学和独立思考的能力，并能长期陪伴与辅导学生学习，大大省去了家长亲自辅导学生的时间或家长请家庭教师的成本。

附图说明

图1为本发明一种基于教育服务机器人的交互式学习系统的系统结构图。

具体实施方式

具体应用时，本发明主要针对中高年级的学生学习时应用，使用教育服务机器人的交互式学习系统帮助学生解决学习问题，并为学生指定个性化学习指导方案。解决了学生在学校接受老师对全班学生无差异化教导以及课后请家庭教师进行学习辅导的学习方式的缺陷与不足，同时还可以针对学生长期以来的学习情况制定符合学生本人学习程度的个性化学习指导方案，长期陪伴与辅导学生学习，大大省去了家长亲自辅导学生的时间或家长请家庭教师的成本。

下面将结合附图，对本发明实施例中的技术方案进行清楚、完善地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，根据本发明实施例所述的一种基于教育服务机器人的交互式学习系统，包括设置在机器人本体上的以下模块：

一种基于教育服务机器人的交互式学习系统，其特征在于，所述教育服务机器人输出声音和3D全息投影来教授用户，并通过底盘滚轮与机器人头部转轴来进行行走与运动，所述交互式学习系统包括：

语音采集模块，用于实时捕获用户的语音输入信息，并将所述语音输入信息发送到语音处理模块；

语音处理模块，用于对上述语音输入信息进行降噪处理，并使用基于HMM-DNN模型的Token-passing算法对其进行语音识别，将上述语音输入信息转换为语音的文字信息并发送至核心处理器模块；用于接收核心处理器模块发送的语音播放信息，并将语音播放信息发送至语音播放模块；

语音播放模块，用于接收上述语音播放信息，并通过扬声器将其播放出来；

图像采集模块，用于实时捕捉用户桌面图像信息与用户表情图像信息，并将所述桌面图像信息与表情图像信息发送至图像处理模块；

图像处理模块，用于对上述桌面图像信息进行STR场景文本识别与处理，用于对上述表情图像信息进行用户眼动识别处理，并将上述文字识别处理与眼动识别处理结果发送至核心处理器模块；用于接收核心处理器模块发送的投影图像信息，并将投影图像信息发送至投影处理模块；

投影处理模块，用于接收上述投影图像信息，并通过投影镜头将其投影出来；

环境感知模块，用于实时感知机器人本体周围的距离信息与光信息的感知信息，并将所述感知信息发送至运动控制模块；

运动控制模块，用于接收上述感知信息，将其通过包括傅立叶变换、小波变换、压缩感知等时频分析方法，并基于Bayes方法的多感知信息融合为机器人环境信息后发送至核心处理器模块；用于接收核心处理器模块发送的运动调整信息，并将上述运动调整信息发送至电机驱动模块；

电机驱动模块，用于接收上述运动调整信息，并调整机器人本体的底盘滚轮运动与机器人头部转轴运动；

网络通信模块，用于接入局域网或因特网，并将网络通信信息发送至网络通信模块，用于保证该系统与网络服务器通信；

核心处理器模块，用于接收上述语音处理模块、图像处理模块、运动控制模块、网络通信模块发送的信息，并将需要用语音播放的语音播放信息发送至语音处理模块，将处理结果中需要投影展现的投影图像信息发送至图像处理模块，将处理结果中需要调整机器人运动控制的运动调整信息发送至运动控制模块。

进一步的，所述语音采集模块连接麦克风，麦克风至少有两个，分别位于所述机器人躯干的两侧或机器人上端。

进一步的，所述语音播放模块连接扬声器，扬声器至少有两个，分别位于所述机器人躯干的两侧或机器人上端。

进一步的，所述图像采集模块包括设置在机器人本体上端的2D摄像头与设置在机器人本体下方的深度摄像头，其中，位于机器人上端的2D摄像头用于拍摄用户桌面，尤其是针对用户书本进行拍摄；位于机器人本体下方的深度摄像头用于拍摄用户脸部表情，尤其是针对用户的眼动进行拍摄。

进一步的，所述环境感知模块包括超声波传感器和光传感器，其中超声波传感器主要分布在机器人本体底盘附近用于检测机器人周围是否有障碍物；光传感器位于机器人本体上端，用于检测机器人周围环境亮度。

进一步的，所述电机驱动模块包括底盘滚轮驱动和机器人头部转轴驱动，其中，底盘滚轮用于控制机器人时的前进方向与速度；机器人头部转轴用于控制机器人头部上下左右四个方向的转动。

进一步的，所述机器人头部可与机器人本体分离，且机器人头部与机器人本体分离时也可独立工作。

进一步的，所述机器人的供电方式包括但不限于有线充电和无线充电方式。

进一步的，机器人本体上还设置若干个接口，包括但不限于USB接口和HDMI接口，所述USB接口用于固件更新、数据存储扩展、数据通信、充电等；所述HDMI接口用于数字音视频输入及输出等。

根据本发明的另一面，提供了一种基于教育服务机器人的交互式学习系统的交互方法，该基于教育服务机器人的交互方法包括以下步骤：

S1：如果图像采集模块检测到用户出现在摄像范围内，则系统对用户执行问候过程，并对两个摄像头执行对焦，使其能清晰拍摄到用户脸部与学习的桌面；

例如系统对用户执行问候过程可以说“您好，小主人”，用户也可以对系统问候做出回应，系统可以完成与用户的基本问候语的对答。

S2：语音采集模块实时采集用户语音信息，识别所述用户语音信息的语义，并做出合适形式的应答；

例如用户对系统进行提问“最小的质数是多少”，则系统接收用户语音信息后，对其进行语义识别，且转换成文字，上传到网络服务器端，网络服务器端反馈结果至系统，系统通过语音应答方式回答用户“最小的质数是2”。

S3：图像采集模块实时采集用户脸部图像，且图像处理模块实时分析用户眼动数据和用户表情数据，包括但不限于用户眨眼频率、用户视线数据、用户瞳孔大小、用户眼跳距离、用户阅读速度、用户眼角至嘴巴距离、用户眉毛间距、用户嘴巴张开大小等，若发现用户眼动数据与用户表情数据异常，则系统通过合适形式提醒并引导用户认真学习；

例如图像处理模块检测到用户学习时候瞳孔大小不断变小，且持续时间超过第一定义时间，则系统判定用户在学习时候打瞌睡，系统通过语音提示用户不要打瞌睡，并播放一段提神音乐使用户能够打起精神继续学习。

S4：图像采集模块实时采集用户学习桌面图像及用户手势，图像处理模块记录用户学习数据，包括记录与识别用户书桌桌面信息数据与用户手势交互数据，所述用户书桌桌面信息数据包括但不限于用户课本内容、习题内容及用户手写内容，所述识别用户手势交互数据，包括但不限于用户用手指指着桌面的一道习题，系统识别用户手势后，做出合适形式的应答；

例如用户做练习时遇到了数学几何难题，则用户可以用手指着题目的位置，对该教育服务机器人提问“这道几何难题怎么解答呀”，系统接收用户语音信息，并转化为文字上传到网络服务器端，系统通过上端摄像头采集用户手指所指的题目信息，对其进行图像处理，并上传至网络服务器端。网络服务器端对该题目与题库进行匹配，并将最佳指导解答通过网络通信模块发送至核心处理器模块，核心处理器模块将解答过程通过投影的方式展现出来，同时通过语音进行答案解说。

进一步的，所述系统分析用户眼动数据和用户表情数据的方法为：所述位于机器人本体下方的深度摄像头拍摄用户脸部，并将拍摄的用户脸部图像发送至图像处理模块。

图像处理模块对用户进行眼动识别时，首先利用水平差分和垂直积分投影对人眼位置进行粗定位，再使用Harris角点检测方法寻找内外眼角，最后再基于眼球低灰度值特征的分析方法确定眼球左右移动的姿态。

图像处理模块对用户进行表情识别时，首先识别图像中的人脸，分别提取出眼睛、眉毛、嘴巴的轮廓，进而分析并对表情进行分类，定义各种表情分类的眼睛、眉毛、嘴巴相互的间距大小，通过眼睛、眉毛、嘴巴相互的间距的变化规律来识别不同的表情。

进一步的，眼动识别与表情识别也可采用集成了人脸识别解决方案的摄像头组件，通过内置的处理模块完成眼动识别与表情识别，并输出相应的数据。

进一步的，所述图像处理模块识别用户桌面信息数据的方法为：所述位于机器人本体上端的2D摄像头拍摄用户桌面，并将拍摄的用户桌面信息发送至图像处理模块。

图像处理模块用STR场景文本识别的方法对用户桌面信息中用户书本上的内容、习题内容以及用户手写内容进行识别，并转化成相应的文字发送至核心处理器模块，核心处理器模块根据所接收到的所述文本识别内容，对所述书本内容、习题内容以及用户手写内容进行理解与记录。

同时，所述位于机器人本体上端的2D摄像头实时捕捉在摄像头范围内的用户手势动作，摄像头将拍摄的图像信息发送至图像处理模块，图像处理模块对图像进行肤色分割算法分析图像中是否有人手出现，若无，则图像处理模块继续使用肤色分割算法分析摄像头图像，若有，则摄像头捕捉用户手势动作。若识别出用户正用手指指着一道习题，将该习题上传到网络服务器端进行习题匹配，并搜索最优解答，网络服务器端针对用户的学习进度以及相关知识掌握情况整理出最佳解题指导方案，并通过网络通信模块将最佳解题指导方案发送至机器人系统的核心处理器模块，系统通过合适形式为用户提供最佳解题指导。

进一步的，所述基于教育服务机器人的交互式学习系统的交互方法还包括：

S5：系统将正常启动时间实时收集到的所有用户数据，包括但不限于用户眼动数据、用户表情数据、用户书桌桌面信息数据和用户手势交互数据，通过网络通信模块上传并保存至网络服务器端；

S6：网络服务器端运用大数据分析技术，分析用户的整体学习状况，包括用户学习进度、用户学习效率、用户学习各科目知识掌握情况和用户待各科目知识待掌握部分；

S7：网络服务器端根据所述用户整体学习情况定期生成用户学习报告，并根据用户整体学习情况制定用户学习辅导方案，方案内容包括用户难题解答方案、用户学习引导方案和用户习题巩固方案；

S8：所述用户学习辅导方案通过合适形式展现。

例如，用户的学习能力比较强，能较快掌握新知识，则系统针对用户制定的学习辅导方案应该是尖子生类型的，在用户遇到难题时可以只提示难题的关键知识点，由用户自己将难题解答出来；系统在制定用户巩固习题时也可适当增加习题难度，帮助用户得到更高一级的提升。若用户的学习能力比较差，掌握知识不够牢固，则系统针对用户制定的学习辅导方案应该是提升型的，在用户遇到难题时可尽量教授难题知识点，用较详细的指导引导用户建立解题思路并自主解题；系统在制定用户巩固习题时也可尽量出基础题与少量提升题型，帮助用户巩固基础知识与进行小提升。

进一步的，所述系统做出的合适形式，包括但不限于语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮等应答方式，不同的应答方式必要时可同时进行。

进一步的，所述机器人投影应答方式包括：

S9：机器人旋转头部，使投影处理模块的投影镜头以合适的角度正对用户桌面；

S10：打开投影镜头，将系统所要输出的图像内容通过投影展现在用户桌面；

S11：用户根据需要对桌面的投影进行点击、拖动、拉伸操作；

S12：位于机器人头部的摄像头实时获取用户手势动作，系统识别用户手势动作，并做出相应的反馈，反馈通过投影展现出来。

进一步的，所述机器人投影应答方式有两种，一种是2D投影，另一种是3D投影。

进一步的，所述机器人投影应答方式，也可以通过HDMI接口外接显示屏代替，即将需要投影展现的内容传输至外接的显示屏上显示出来。所述显示屏为具有HDMI输入接口的图像显示设备。

综上所述，本发明提供的一种基于教育服务机器人的交互式学习系统与交互方法，能通过用户与系统的多通道交互，以及系统网络服务端的大数据分析，可以为用户提供个性化学习指导方案，使用户能用合适的方法轻松掌握和巩固学习知识，并锻炼用户自学和独立思考的能力。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求极其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于教育服务机器人的交互式学习系统，机器人本体输出声音和3D全息投影来教授用户，并通过底盘滚轮与机器人头部转轴来进行行走与运动，其特征在于所述交互式学习系统设在机器人本体上，包括：

语音采集模块，用于实时捕获用户的语音输入信息，并将所述语音输入信息发送到语音处理模块；

语音处理模块，用于对所述语音输入信息进行降噪处理，并使用基于HMM-DNN声学模型的Token-passing算法对其进行语音识别，将上述语音输入信息转换为语音的文字信息并发送至核心处理器模块；还用于接收核心处理器模块发送的语音播放信息，并将语音播放信息发送至语音播放模块；

语音播放模块，用于接收上述语音播放信息，并通过扬声器将其播放出来；

图像采集模块，用于实时捕捉用户桌面图像信息与用户表情图像信息，并将所述桌面图像信息与表情图像信息发送至图像处理模块；

图像处理模块，用于对所述桌面图像信息进行文字识别处理，用于对所述表情图像信息进行用户眼动识别处理，并将上述文字识别处理与眼动识别处理结果发送至核心处理器模块；还用于接收核心处理器模块发送的投影图像信息，并将投影图像信息发送至投影处理模块；

投影处理模块，用于接收所述投影图像信息，并通过投影镜头将投影图像信息投影出来；

环境感知模块，用于实时感知机器人本体周围的距离信息与光信息的感知信息，并将所述感知信息发送至运动控制模块；

运动控制模块，用于接收所述感知信息，通过时频分析编码为机器人环境信息后发送至核心处理器模块；用于接收核心处理器模块发送的运动调整信息，并将所述运动调整信息发送至电机驱动模块；

电机驱动模块，用于接收所述运动调整信息，并调整机器人本体的底盘滚轮运动与机器人头部转轴运动；

网络通信模块，用于接入局域网或因特网，并将网络通信信息发送至网络通信模块，用于保证该系统与网络服务器通信；

核心处理器模块，用于接收所述语音处理模块、图像处理模块、运动控制模块、网络通信模块发送的信息，并将需要用语音播放的语音播放信息发送至语音处理模块，将处理结果中需要投影展现的投影图像信息发送至图像处理模块，将处理结果中需要调整机器人运动控制的运动调整信息发送至运动控制模块。

2.根据权利要求1所述的一种基于教育服务机器人的交互式学习系统，其特征在于，所述图像采集模块包括设置在机器人本体上端的2D摄像头与设置在机器人本体下方的深度摄像头，其中，位于机器人上端的2D摄像头用于拍摄用户桌面，主要是针对用户书本进行拍摄；位于机器人本体下方的深度摄像头用于拍摄用户脸部表情，主要是针对用户的眼动进行拍摄。

3.根据权利要求1所述的一种基于教育服务机器人的交互式学习系统，其特征在于，所述环境感知模块包括超声波传感器和光传感器，其中超声波传感器主要分布在机器人本体底盘附近用于检测机器人周围是否有障碍物；光传感器位于机器人本体上端，用于检测机器人周围环境亮度。

4.根据权利要求1所述的一种基于教育服务机器人的交互式学习系统，其特征在于，所述电机驱动模块包括底盘滚轮驱动和机器人头部转轴驱动，其中，底盘滚轮用于控制机器人时的前进方向与速度；机器人头部转轴用于控制机器人头部上下左右四个方向的转动。

5.根据权利要求1所述的一种基于教育服务机器人的交互式学习系统，其特征在于，所述机器人头部可与机器人本体分离，且机器人头部与机器人本体分离时能独立工作。

6.利用权利要求1~5任一项所述基于教育服务机器人的交互式学习系统的交互方法，其特征在于，所述交互方法包括：

图像采集模块实时采集摄像头摄像范围内图像，如果图像处理模块检测到用户出现在摄像范围内，则系统对用户执行问候过程，并对两个摄像头执行对焦，以清晰拍摄到用户脸部与学习的桌面；

语音采集模块实时采集用户语音信息，语音处理模块识别所述用户语音信息的语义，并做出合适形式的应答；

图像采集模块实时采集用户脸部图像，同时图像处理模块实时分析用户眼动数据和用户表情数据，包括用户眨眼频率、用户视线数据、用户瞳孔大小、用户眼跳距离、用户阅读速度、用户眼角至嘴巴距离、用户眉毛间距和用户嘴巴张开大小，若发现用户眼动数据与用户表情数据异常，则系统通过合适形式提醒并引导用户认真学习；

图像采集模块实时采集用户学习桌面图像及用户手势，图像处理模块记录用户学习数据，包括记录与识别用户书桌桌面信息数据与用户手势交互数据，所述用户书桌桌面信息数据包括但不限于用户课本内容、习题内容及用户手写内容，所述识别用户手势交互数据，包括用户用手指指着桌面的一道习题，图像处理模块识别用户手势后，将识别结果发送至核心处理器模块，并做出合适形式的应答。

7.根据权利要求6所述的交互方法，其特征在于还包括：

核心处理器模块将正常启动时间实时收集到的所有用户数据，包括用户眼动数据、用户表情数据、用户书桌桌面信息数据和用户手势交互数据，通过网络通信模块上传并保存至网络服务器端；

网络服务器端运用大数据分析技术，分析用户的整体学习状况，包括用户学习进度、用户学习效率、用户学习各科目知识掌握情况和用户待各科目知识待掌握部分；

网络服务器端根据所述用户整体学习情况定期生成用户学习报告，并根据用户整体学习情况制定用户学习辅导方案，方案内容包括用户难题解答方案、用户学习引导方案和用户习题巩固方案；

网络服务器端将所述用户学习辅导方案通过网络通信模块发送至核心处理器模块，所述用户学习辅导方案通过合适形式展现。

8.根据权利要求6所述的交互方法，其特征在于：所述合适形式包括语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮中的一种以上，不同的应答方式能同时进行。

9.根据权利要求8所述的交互方法，其特征在于所述机器人投影应答方式包括：

机器人旋转头部，使投影处理模块的投影镜头以合适的角度正对用户桌面；

打开投影镜头，将系统所要输出的图像内容通过投影展现在用户桌面；

用户根据需要对桌面的投影进行点击、拖动、拉伸操作；

位于机器人头部的摄像头实时获取用户手势动作，图像处理模块识别用户手势动作，并发送处理结果至核心处理器模块，并做出相应的反馈，反馈通过投影展现出来。

10.根据权利要求8所述的交互方法，其特征在于所述机器人投影应答方式有两种，一种是2D投影，另一种是3D投影。