CN106228982B - 一种基于教育服务机器人的交互式学习系统与交互方法 - Google Patents
一种基于教育服务机器人的交互式学习系统与交互方法 Download PDFInfo
- Publication number
- CN106228982B CN106228982B CN201610606387.4A CN201610606387A CN106228982B CN 106228982 B CN106228982 B CN 106228982B CN 201610606387 A CN201610606387 A CN 201610606387A CN 106228982 B CN106228982 B CN 106228982B
- Authority
- CN
- China
- Prior art keywords
- user
- module
- robot
- information
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 81
- 230000004044 response Effects 0.000 claims abstract description 22
- 230000008447 perception Effects 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000007613 environmental effect Effects 0.000 claims abstract description 7
- 238000007405 data analysis Methods 0.000 claims abstract description 6
- 210000003128 head Anatomy 0.000 claims description 30
- 230000004424 eye movement Effects 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000014509 gene expression Effects 0.000 claims description 24
- 230000003993 interaction Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000008921 facial expression Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 210000001747 pupil Anatomy 0.000 claims description 4
- 206010028347 Muscle twitching Diseases 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000007474 system interaction Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 210000001508 eye Anatomy 0.000 description 10
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 206010021703 Indifference Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Toys (AREA)
Abstract
本发明公开了一种基于教育服务机器人的交互式学习系统与交互方法。该系统主要包含了核心处理器模块、语音处理模块、语音采集模块、语音播放模块、图像处理模块、图像采集模块、投影处理模块、运动控制模块、环境感知模块、电机驱动模块和网络通信模块。其中，一种基于教育服务机器人的交互学习系统的交互方法，主要包括系统实时采集用户脸部和桌面图像信息，系统实时记录用户学习情况，并在网络服务器端采用大数据分析方法，建立一套针对用户的个性化学习指导方案，并在用户提问或与系统交互时，通过语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮等方式体现。本发明有益效果为，可以为用户提供个性化学习指导方案，使用户能用合适的方法轻松掌握和巩固学习知识，并锻炼用户自学和独立思考的能力。
Description
技术领域
本发明涉及智能机器人技术领域，特别是涉及一种基于教育机器人的交互系统与方法。
背景技术
学习，一般是指通过阅读、听讲、思考、研究、实践等途径获得知识或技能的过程。而教育，是一种思维的传授，而不同人的思维方式一般有所差异，因此教育应当做到因人而异，从不同个体的差异出发找到最适合个体的教育方法。
而学生在学校学习知识，老师要同时教一个班的学生，因此老师所传授的方法一般是无差异的，学生一般不能很好的吸收老师所教的知识。家庭教师也是培养学生个性思维的一种方式，但家庭教师并不能保证跟随学生一起成长，如果更换家庭教师则还需要教师与学生重新熟悉，同时这种方式一般要消耗较多的人力与财力，且不是所有的学生家庭都可以有能力为学生请家教老师。
随着科学技术的发展，机器人技术越来越成熟，而家用机器人作为机器人家族的一员，发展速度迅速。目前市场上已有的扫地机器人、老人看护机器人、幼儿早教陪护机器人、娱乐机器人就是属于家用机器人，其中幼儿早教陪护机器人一般是针对0-12岁的儿童，对幼儿进行启蒙教育和安全陪护。然而随着儿童年龄的增长以及学习难度的增加，这一类机器人往往不能继续发挥帮助儿童学习的作用。
因此，针对于中高年级的学生，需要有一台能够指定个性化教学方式，并引导学生解决学习问题，记录学生学习过程，有针对性的帮助学生巩固与总结学习的内容，能提高学生自学和独立思考的能力的教育机器人（教育服务机器人）。
发明内容
本发明的目的是提供一种基于教育机器人的交互系统与方法，以克服目前现有技术存在的不足。
本发明的目的是通过以下技术方案来实现。
一种基于教育服务机器人的交互式学习系统，机器人本体输出声音和3D全息投影来教授用户，并通过底盘滚轮与机器人头部转轴来进行行走与运动，所述交互式学习系统设在机器人本体上，包括：
语音采集模块，用于实时捕获用户的语音输入信息，并将所述语音输入信息发送到语音处理模块；
语音处理模块，用于对所述语音输入信息进行降噪处理，并使用基于HMM-DNN声学模型的Token-passing算法对其进行语音识别，将上述语音输入信息转换为语音的文字信息并发送至核心处理器模块；还用于接收核心处理器模块发送的语音播放信息，并将语音播放信息发送至语音播放模块；
语音播放模块，用于接收上述语音播放信息，并通过扬声器将其播放出来；
图像采集模块，用于实时捕捉用户桌面图像信息与用户表情图像信息，并将所述桌面图像信息与表情图像信息发送至图像处理模块；
图像处理模块，用于对所述桌面图像信息进行文字识别处理，用于对所述表情图像信息进行用户眼动识别处理，并将上述文字识别处理与眼动识别处理结果发送至核心处理器模块；还用于接收核心处理器模块发送的投影图像信息，并将投影图像信息发送至投影处理模块；
投影处理模块，用于接收所述投影图像信息，并通过投影镜头将投影图像信息投影出来；
环境感知模块，用于实时感知机器人本体周围的距离信息与光信息的感知信息，并将所述感知信息发送至运动控制模块；
运动控制模块，用于接收所述感知信息，通过时频分析编码为机器人环境信息后发送至核心处理器模块；用于接收核心处理器模块发送的运动调整信息，并将所述运动调整信息发送至电机驱动模块；
电机驱动模块，用于接收所述运动调整信息，并调整机器人本体的底盘滚轮运动与机器人头部转轴运动；
网络通信模块，用于接入局域网或因特网，并将网络通信信息发送至网络通信模块，用于保证该系统与网络服务器通信；
核心处理器模块，用于接收所述语音处理模块、图像处理模块、运动控制模块、网络通信模块发送的信息，并将需要用语音播放的语音播放信息发送至语音处理模块，将处理结果中需要投影展现的投影图像信息发送至图像处理模块，将处理结果中需要调整机器人运动控制的运动调整信息发送至运动控制模块。
进一步优化地，所述图像采集模块包括设置在机器人本体上端的2D摄像头与设置在机器人本体下方的深度摄像头，其中，位于机器人上端的2D摄像头用于拍摄用户桌面，主要是针对用户书本进行拍摄；位于机器人本体下方的深度摄像头用于拍摄用户脸部表情，主要是针对用户的眼动进行拍摄。
进一步优化地，所述环境感知模块包括超声波传感器和光传感器，其中超声波传感器主要分布在机器人本体底盘附近用于检测机器人周围是否有障碍物；光传感器位于机器人本体上端，用于检测机器人周围环境亮度。
进一步优化地，所述电机驱动模块包括底盘滚轮驱动和机器人头部转轴驱动，其中，底盘滚轮用于控制机器人时的前进方向与速度；机器人头部转轴用于控制机器人头部上下左右四个方向的转动。
进一步优化地，所述机器人头部可与机器人本体分离，且机器人头部与机器人本体分离时能独立工作。
利用所述基于教育服务机器人的交互式学习系统的交互方法，该交互方法包括：
图像采集模块实时采集摄像头摄像范围内图像，如果图像处理模块检测到用户出现在摄像范围内，则系统对用户执行问候过程，并对两个摄像头执行对焦，以清晰拍摄到用户脸部与学习的桌面；
语音采集模块实时采集用户语音信息，语音处理模块识别所述用户语音信息的语义，并做出合适形式的应答；
图像采集模块实时采集用户脸部图像，同时图像处理模块实时分析用户眼动数据和用户表情数据，包括用户眨眼频率、用户视线数据、用户瞳孔大小、用户眼跳距离、用户阅读速度、用户眼角至嘴巴距离、用户眉毛间距和用户嘴巴张开大小，若发现用户眼动数据与用户表情数据异常，则系统通过合适形式提醒并引导用户认真学习；
图像采集模块实时采集用户学习桌面图像及用户手势，图像处理模块记录用户学习数据，包括记录与识别用户书桌桌面信息数据与用户手势交互数据，所述用户书桌桌面信息数据包括但不限于用户课本内容、习题内容及用户手写内容，所述识别用户手势交互数据，包括用户用手指指着桌面的一道习题，图像处理模块识别用户手势后，将识别结果发送至核心处理器模块，并做出合适形式的应答。
进一步优化地，所述的交互方法还包括：
核心处理器模块将正常启动时间实时收集到的所有用户数据，包括用户眼动数据、用户表情数据、用户书桌桌面信息数据和用户手势交互数据，通过网络通信模块上传并保存至网络服务器端；
网络服务器端运用大数据分析技术，分析用户的整体学习状况，包括用户学习进度、用户学习效率、用户学习各科目知识掌握情况和用户待各科目知识待掌握部分；
网络服务器端根据所述用户整体学习情况定期生成用户学习报告，并根据用户整体学习情况制定用户学习辅导方案，方案内容包括用户难题解答方案、用户学习引导方案和用户习题巩固方案；
网络服务器端将所述用户学习辅导方案通过网络通信模块发送至核心处理器模块，所述用户学习辅导方案通过合适形式展现。
进一步优化地，所述合适形式包括语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮中的一种以上，不同的应答方式能同时进行。
进一步优化地，所述机器人投影应答方式包括：
机器人旋转头部，使投影处理模块的投影镜头以合适的角度正对用户桌面；
打开投影镜头，将系统所要输出的图像内容通过投影展现在用户桌面；
用户根据需要对桌面的投影进行点击、拖动、拉伸操作；
位于机器人头部的摄像头实时获取用户手势动作，图像处理模块识别用户手势动作，并发送处理结果至核心处理器模块，并做出相应的反馈，反馈通过投影展现出来。
进一步优化地，所述机器人投影应答方式有两种，一种是2D投影，另一种是3D投影进一步的，所述语音采集模块连接麦克风，麦克风至少有两个，分别位于所述机器人躯干的两侧或机器人上端。
进一步地，所述语音播放模块连接扬声器，扬声器至少有两个，分别位于所述机器人躯干的两侧或机器人上端。
进一步的，所述机器人的供电方式包括但不限于有线充电和无线充电方式。
进一步的，机器人本体上还设置若干个接口，包括但不限于USB接口和HDMI接口，所述USB接口用于固件更新、数据存储扩展、数据通信、充电等；所述HDMI接口用于数字音视频输入及输出等。
进一步的，所述图像处理模块分析用户眼动数据和用户表情数据的方法为：所述位于机器人本体下方的深度摄像头拍摄用户脸部，并将拍摄的用户脸部图像发送至图像处理模块。
图像处理模块对用户进行眼动识别时，首先利用水平差分和垂直积分投影对人眼位置进行粗定位，再使用Harris角点检测方法寻找内外眼角，最后再基于眼球低灰度值特征的分析方法确定眼球左右移动的姿态。
图像处理模块对用户进行表情识别时，首先识别图像中的人脸，分别提取出眼睛、眉毛、嘴巴的轮廓，进而分析并对表情进行分类，定义各种表情分类的眼睛、眉毛、嘴巴相互的间距大小，通过眼睛、眉毛、嘴巴相互的间距的变化规律来识别不同的表情。
进一步的，眼动识别与表情识别也可采用集成了人脸识别解决方案的摄像头组件，通过内置的处理模块完成眼动识别与表情识别，并输出相应的数据。
进一步的，所述图像处理模块识别用户桌面信息数据的方法为：所述位于机器人本体上端的2D摄像头拍摄用户桌面，并将拍摄的用户桌面信息发送至图像处理模块。
图像处理模块用STR场景文本识别的方法对用户桌面信息中用户书本上的内容、习题内容以及用户手写内容进行识别，并转化成相应的文字发送至核心处理器模块，核心处理器模块根据所接收到的所述文本识别内容，对所述书本内容、习题内容以及用户手写内容进行理解与记录。
同时，所述位于机器人本体上端的2D摄像头实时捕捉在摄像头范围内的用户手势动作，摄像头将拍摄的图像信息发送至图像处理模块，图像处理模块对图像进行肤色分割算法分析图像中是否有人手出现，若无，则图像处理模块继续使用肤色分割算法分析摄像头图像，若有，则摄像头捕捉用户手势动作。若识别出用户正用手指指着一道习题，将该习题上传到网络服务器端进行习题匹配，并搜索最优解答，网络服务器端针对用户的学习进度以及相关知识掌握情况整理出最佳解题指导方案，并通过网络通信模块将最佳解题指导方案发送至机器人系统的核心处理器模块，系统通过合适形式为用户提供最佳解题指导。
进一步的，所述机器人投影应答方式，也可以通过HDMI接口外接显示屏代替，即将需要投影展现的内容传输至外接的显示屏上显示出来。所述显示屏为具有HDMI输入接口的图像显示设备。
本发明与现有技术相比，本发明的有益效果为：本发明能为中高年级的学生提供个性化学习指导。针对于目前中高年级学生的在校接受老师对全班学生无差异化教导以及课后请家庭教师进行学习辅导的学习方式的缺陷与不足，本发明提供了一种既能为学生提供个性化学习指导又能长期陪伴学生成为其学习助手的教育机器人。
本发明能够实时记录用户学习情况，并在网络服务器端采用大数据分析方法，建立一套针对用户的个性化学习指导方案，并在用户提问或与系统交互时，通过语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮等方式体现。本发明解决了学生在学校接受老师对全班学生无差异化教导以及课后请家庭教师进行学习辅导的学习方式的缺陷与不足，同时还可以针对学生长期以来的学习情况制定符合学生本人学习程度的个性化学习指导方案，使用户能用合适的方法轻松掌握和巩固学习知识，并锻炼用户自学和独立思考的能力，并能长期陪伴与辅导学生学习，大大省去了家长亲自辅导学生的时间或家长请家庭教师的成本。
附图说明
图1为本发明一种基于教育服务机器人的交互式学习系统的系统结构图。
具体实施方式
具体应用时，本发明主要针对中高年级的学生学习时应用，使用教育服务机器人的交互式学习系统帮助学生解决学习问题，并为学生指定个性化学习指导方案。解决了学生在学校接受老师对全班学生无差异化教导以及课后请家庭教师进行学习辅导的学习方式的缺陷与不足，同时还可以针对学生长期以来的学习情况制定符合学生本人学习程度的个性化学习指导方案，长期陪伴与辅导学生学习，大大省去了家长亲自辅导学生的时间或家长请家庭教师的成本。
下面将结合附图，对本发明实施例中的技术方案进行清楚、完善地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，根据本发明实施例所述的一种基于教育服务机器人的交互式学习系统，包括设置在机器人本体上的以下模块：
一种基于教育服务机器人的交互式学习系统，其特征在于，所述教育服务机器人输出声音和3D全息投影来教授用户，并通过底盘滚轮与机器人头部转轴来进行行走与运动，所述交互式学习系统包括：
语音采集模块，用于实时捕获用户的语音输入信息，并将所述语音输入信息发送到语音处理模块；
语音处理模块，用于对上述语音输入信息进行降噪处理，并使用基于HMM-DNN模型的Token-passing算法对其进行语音识别，将上述语音输入信息转换为语音的文字信息并发送至核心处理器模块；用于接收核心处理器模块发送的语音播放信息，并将语音播放信息发送至语音播放模块；
语音播放模块，用于接收上述语音播放信息，并通过扬声器将其播放出来；
图像采集模块，用于实时捕捉用户桌面图像信息与用户表情图像信息，并将所述桌面图像信息与表情图像信息发送至图像处理模块；
图像处理模块，用于对上述桌面图像信息进行STR场景文本识别与处理，用于对上述表情图像信息进行用户眼动识别处理，并将上述文字识别处理与眼动识别处理结果发送至核心处理器模块；用于接收核心处理器模块发送的投影图像信息，并将投影图像信息发送至投影处理模块；
投影处理模块，用于接收上述投影图像信息，并通过投影镜头将其投影出来；
环境感知模块，用于实时感知机器人本体周围的距离信息与光信息的感知信息，并将所述感知信息发送至运动控制模块；
运动控制模块，用于接收上述感知信息，将其通过包括傅立叶变换、小波变换、压缩感知等时频分析方法，并基于Bayes方法的多感知信息融合为机器人环境信息后发送至核心处理器模块；用于接收核心处理器模块发送的运动调整信息，并将上述运动调整信息发送至电机驱动模块；
电机驱动模块，用于接收上述运动调整信息，并调整机器人本体的底盘滚轮运动与机器人头部转轴运动；
网络通信模块，用于接入局域网或因特网，并将网络通信信息发送至网络通信模块，用于保证该系统与网络服务器通信；
核心处理器模块，用于接收上述语音处理模块、图像处理模块、运动控制模块、网络通信模块发送的信息，并将需要用语音播放的语音播放信息发送至语音处理模块，将处理结果中需要投影展现的投影图像信息发送至图像处理模块，将处理结果中需要调整机器人运动控制的运动调整信息发送至运动控制模块。
进一步的，所述语音采集模块连接麦克风，麦克风至少有两个，分别位于所述机器人躯干的两侧或机器人上端。
进一步的，所述语音播放模块连接扬声器，扬声器至少有两个，分别位于所述机器人躯干的两侧或机器人上端。
进一步的，所述图像采集模块包括设置在机器人本体上端的2D摄像头与设置在机器人本体下方的深度摄像头，其中，位于机器人上端的2D摄像头用于拍摄用户桌面，尤其是针对用户书本进行拍摄；位于机器人本体下方的深度摄像头用于拍摄用户脸部表情，尤其是针对用户的眼动进行拍摄。
进一步的，所述环境感知模块包括超声波传感器和光传感器，其中超声波传感器主要分布在机器人本体底盘附近用于检测机器人周围是否有障碍物；光传感器位于机器人本体上端，用于检测机器人周围环境亮度。
进一步的，所述电机驱动模块包括底盘滚轮驱动和机器人头部转轴驱动，其中，底盘滚轮用于控制机器人时的前进方向与速度；机器人头部转轴用于控制机器人头部上下左右四个方向的转动。
进一步的，所述机器人头部可与机器人本体分离，且机器人头部与机器人本体分离时也可独立工作。
进一步的，所述机器人的供电方式包括但不限于有线充电和无线充电方式。
进一步的，机器人本体上还设置若干个接口，包括但不限于USB接口和HDMI接口，所述USB接口用于固件更新、数据存储扩展、数据通信、充电等；所述HDMI接口用于数字音视频输入及输出等。
根据本发明的另一面，提供了一种基于教育服务机器人的交互式学习系统的交互方法，该基于教育服务机器人的交互方法包括以下步骤：
S1：如果图像采集模块检测到用户出现在摄像范围内，则系统对用户执行问候过程，并对两个摄像头执行对焦，使其能清晰拍摄到用户脸部与学习的桌面；
例如系统对用户执行问候过程可以说“您好，小主人”，用户也可以对系统问候做出回应，系统可以完成与用户的基本问候语的对答。
S2：语音采集模块实时采集用户语音信息，识别所述用户语音信息的语义，并做出合适形式的应答；
例如用户对系统进行提问“最小的质数是多少”，则系统接收用户语音信息后，对其进行语义识别，且转换成文字，上传到网络服务器端，网络服务器端反馈结果至系统，系统通过语音应答方式回答用户“最小的质数是2”。
S3：图像采集模块实时采集用户脸部图像，且图像处理模块实时分析用户眼动数据和用户表情数据，包括但不限于用户眨眼频率、用户视线数据、用户瞳孔大小、用户眼跳距离、用户阅读速度、用户眼角至嘴巴距离、用户眉毛间距、用户嘴巴张开大小等，若发现用户眼动数据与用户表情数据异常，则系统通过合适形式提醒并引导用户认真学习；
例如图像处理模块检测到用户学习时候瞳孔大小不断变小，且持续时间超过第一定义时间，则系统判定用户在学习时候打瞌睡，系统通过语音提示用户不要打瞌睡，并播放一段提神音乐使用户能够打起精神继续学习。
S4：图像采集模块实时采集用户学习桌面图像及用户手势，图像处理模块记录用户学习数据，包括记录与识别用户书桌桌面信息数据与用户手势交互数据，所述用户书桌桌面信息数据包括但不限于用户课本内容、习题内容及用户手写内容，所述识别用户手势交互数据，包括但不限于用户用手指指着桌面的一道习题，系统识别用户手势后，做出合适形式的应答；
例如用户做练习时遇到了数学几何难题，则用户可以用手指着题目的位置，对该教育服务机器人提问“这道几何难题怎么解答呀”，系统接收用户语音信息，并转化为文字上传到网络服务器端，系统通过上端摄像头采集用户手指所指的题目信息，对其进行图像处理，并上传至网络服务器端。网络服务器端对该题目与题库进行匹配，并将最佳指导解答通过网络通信模块发送至核心处理器模块，核心处理器模块将解答过程通过投影的方式展现出来，同时通过语音进行答案解说。
进一步的，所述系统分析用户眼动数据和用户表情数据的方法为：所述位于机器人本体下方的深度摄像头拍摄用户脸部，并将拍摄的用户脸部图像发送至图像处理模块。
图像处理模块对用户进行眼动识别时，首先利用水平差分和垂直积分投影对人眼位置进行粗定位，再使用Harris角点检测方法寻找内外眼角，最后再基于眼球低灰度值特征的分析方法确定眼球左右移动的姿态。
图像处理模块对用户进行表情识别时，首先识别图像中的人脸，分别提取出眼睛、眉毛、嘴巴的轮廓，进而分析并对表情进行分类，定义各种表情分类的眼睛、眉毛、嘴巴相互的间距大小，通过眼睛、眉毛、嘴巴相互的间距的变化规律来识别不同的表情。
进一步的，眼动识别与表情识别也可采用集成了人脸识别解决方案的摄像头组件，通过内置的处理模块完成眼动识别与表情识别，并输出相应的数据。
进一步的，所述图像处理模块识别用户桌面信息数据的方法为：所述位于机器人本体上端的2D摄像头拍摄用户桌面，并将拍摄的用户桌面信息发送至图像处理模块。
图像处理模块用STR场景文本识别的方法对用户桌面信息中用户书本上的内容、习题内容以及用户手写内容进行识别，并转化成相应的文字发送至核心处理器模块，核心处理器模块根据所接收到的所述文本识别内容，对所述书本内容、习题内容以及用户手写内容进行理解与记录。
同时，所述位于机器人本体上端的2D摄像头实时捕捉在摄像头范围内的用户手势动作，摄像头将拍摄的图像信息发送至图像处理模块，图像处理模块对图像进行肤色分割算法分析图像中是否有人手出现，若无，则图像处理模块继续使用肤色分割算法分析摄像头图像，若有，则摄像头捕捉用户手势动作。若识别出用户正用手指指着一道习题，将该习题上传到网络服务器端进行习题匹配，并搜索最优解答，网络服务器端针对用户的学习进度以及相关知识掌握情况整理出最佳解题指导方案，并通过网络通信模块将最佳解题指导方案发送至机器人系统的核心处理器模块，系统通过合适形式为用户提供最佳解题指导。
进一步的，所述基于教育服务机器人的交互式学习系统的交互方法还包括：
S5：系统将正常启动时间实时收集到的所有用户数据，包括但不限于用户眼动数据、用户表情数据、用户书桌桌面信息数据和用户手势交互数据，通过网络通信模块上传并保存至网络服务器端；
S6：网络服务器端运用大数据分析技术，分析用户的整体学习状况，包括用户学习进度、用户学习效率、用户学习各科目知识掌握情况和用户待各科目知识待掌握部分；
S7：网络服务器端根据所述用户整体学习情况定期生成用户学习报告，并根据用户整体学习情况制定用户学习辅导方案，方案内容包括用户难题解答方案、用户学习引导方案和用户习题巩固方案；
S8：所述用户学习辅导方案通过合适形式展现。
例如，用户的学习能力比较强，能较快掌握新知识，则系统针对用户制定的学习辅导方案应该是尖子生类型的，在用户遇到难题时可以只提示难题的关键知识点，由用户自己将难题解答出来；系统在制定用户巩固习题时也可适当增加习题难度，帮助用户得到更高一级的提升。若用户的学习能力比较差，掌握知识不够牢固，则系统针对用户制定的学习辅导方案应该是提升型的，在用户遇到难题时可尽量教授难题知识点，用较详细的指导引导用户建立解题思路并自主解题；系统在制定用户巩固习题时也可尽量出基础题与少量提升题型，帮助用户巩固基础知识与进行小提升。
进一步的，所述系统做出的合适形式，包括但不限于语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮等应答方式，不同的应答方式必要时可同时进行。
进一步的，所述机器人投影应答方式包括：
S9：机器人旋转头部，使投影处理模块的投影镜头以合适的角度正对用户桌面；
S10：打开投影镜头，将系统所要输出的图像内容通过投影展现在用户桌面；
S11：用户根据需要对桌面的投影进行点击、拖动、拉伸操作；
S12：位于机器人头部的摄像头实时获取用户手势动作，系统识别用户手势动作，并做出相应的反馈，反馈通过投影展现出来。
进一步的，所述机器人投影应答方式有两种，一种是2D投影，另一种是3D投影。
进一步的，所述机器人投影应答方式，也可以通过HDMI接口外接显示屏代替，即将需要投影展现的内容传输至外接的显示屏上显示出来。所述显示屏为具有HDMI输入接口的图像显示设备。
综上所述，本发明提供的一种基于教育服务机器人的交互式学习系统与交互方法，能通过用户与系统的多通道交互，以及系统网络服务端的大数据分析，可以为用户提供个性化学习指导方案，使用户能用合适的方法轻松掌握和巩固学习知识，并锻炼用户自学和独立思考的能力。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求极其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于教育服务机器人的交互式学习系统，机器人本体输出声音和3D全息投影来教授用户，并通过底盘滚轮与机器人头部转轴来进行行走与运动，其特征在于所述交互式学习系统设在机器人本体上，包括：
语音采集模块，用于实时捕获用户的语音输入信息，并将所述语音输入信息发送到语音处理模块；
语音处理模块，用于对所述语音输入信息进行降噪处理，并使用基于HMM-DNN声学模型的Token-passing算法对其进行语音识别，将上述语音输入信息转换为语音的文字信息并发送至核心处理器模块；还用于接收核心处理器模块发送的语音播放信息，并将语音播放信息发送至语音播放模块；
语音播放模块，用于接收上述语音播放信息，并通过扬声器将其播放出来；
图像采集模块，用于实时捕捉用户桌面图像信息与用户表情图像信息，并将所述桌面图像信息与表情图像信息发送至图像处理模块；
图像处理模块，用于对所述桌面图像信息进行文字识别处理，用于对所述表情图像信息进行用户眼动识别处理，并将上述文字识别处理与眼动识别处理结果发送至核心处理器模块；还用于接收核心处理器模块发送的投影图像信息，并将投影图像信息发送至投影处理模块；
投影处理模块，用于接收所述投影图像信息，并通过投影镜头将投影图像信息投影出来；
环境感知模块，用于实时感知机器人本体周围的距离信息与光信息的感知信息，并将所述感知信息发送至运动控制模块；
运动控制模块，用于接收所述感知信息，通过时频分析编码为机器人环境信息后发送至核心处理器模块；用于接收核心处理器模块发送的运动调整信息，并将所述运动调整信息发送至电机驱动模块；
电机驱动模块，用于接收所述运动调整信息，并调整机器人本体的底盘滚轮运动与机器人头部转轴运动；
网络通信模块，用于接入局域网或因特网，并将网络通信信息发送至网络通信模块，用于保证该系统与网络服务器通信；
核心处理器模块，用于接收所述语音处理模块、图像处理模块、运动控制模块、网络通信模块发送的信息，并将需要用语音播放的语音播放信息发送至语音处理模块，将处理结果中需要投影展现的投影图像信息发送至图像处理模块，将处理结果中需要调整机器人运动控制的运动调整信息发送至运动控制模块。
2.根据权利要求1所述的一种基于教育服务机器人的交互式学习系统，其特征在于，所述图像采集模块包括设置在机器人本体上端的2D摄像头与设置在机器人本体下方的深度摄像头，其中，位于机器人上端的2D摄像头用于针对用户书本进行拍摄；位于机器人本体下方的深度摄像头用于针对用户的眼动进行拍摄。
3.根据权利要求1所述的一种基于教育服务机器人的交互式学习系统，其特征在于，所述环境感知模块包括超声波传感器和光传感器，其中超声波传感器主要分布在机器人本体底盘附近用于检测机器人周围是否有障碍物；光传感器位于机器人本体上端，用于检测机器人周围环境亮度。
4.根据权利要求1所述的一种基于教育服务机器人的交互式学习系统，其特征在于，所述电机驱动模块包括底盘滚轮驱动和机器人头部转轴驱动，其中，底盘滚轮用于控制机器人时的前进方向与速度；机器人头部转轴用于控制机器人头部上下左右四个方向的转动。
5.根据权利要求1所述的一种基于教育服务机器人的交互式学习系统，其特征在于，所述机器人头部可与机器人本体分离，且机器人头部与机器人本体分离时能独立工作。
6.利用权利要求1~5任一项所述基于教育服务机器人的交互式学习系统的交互方法，其特征在于，所述交互方法包括：
图像采集模块实时采集摄像头摄像范围内图像，如果图像处理模块检测到用户出现在摄像范围内，则系统对用户执行问候过程，并对两个摄像头执行对焦，以清晰拍摄到用户脸部与学习的桌面；
语音采集模块实时采集用户语音信息，语音处理模块识别所述用户语音信息的语义，并做出合适形式的应答；
图像采集模块实时采集用户脸部图像，同时图像处理模块实时分析用户眼动数据和用户表情数据，包括用户眨眼频率、用户视线数据、用户瞳孔大小、用户眼跳距离、用户阅读速度、用户眼角至嘴巴距离、用户眉毛间距和用户嘴巴张开大小，若发现用户眼动数据与用户表情数据异常，则系统通过合适形式提醒并引导用户认真学习；
图像采集模块实时采集用户学习桌面图像及用户手势，图像处理模块记录用户学习数据，包括记录与识别用户书桌桌面信息数据与用户手势交互数据，所述用户书桌桌面信息数据包括但不限于用户课本内容、习题内容及用户手写内容，所述识别用户手势交互数据，包括用户用手指指着桌面的一道习题，图像处理模块识别用户手势后，将识别结果发送至核心处理器模块，并做出合适形式的应答。
7.根据权利要求6所述的交互方法，其特征在于还包括：
核心处理器模块将正常启动时间实时收集到的所有用户数据，包括用户眼动数据、用户表情数据、用户书桌桌面信息数据和用户手势交互数据，通过网络通信模块上传并保存至网络服务器端；
网络服务器端运用大数据分析技术，分析用户的整体学习状况，包括用户学习进度、用户学习效率、用户学习各科目知识掌握情况和用户待各科目知识待掌握部分；
网络服务器端根据所述用户整体学习情况定期生成用户学习报告，并根据用户整体学习情况制定用户学习辅导方案，方案内容包括用户难题解答方案、用户学习引导方案和用户习题巩固方案；
网络服务器端将所述用户学习辅导方案通过网络通信模块发送至核心处理器模块，所述用户学习辅导方案通过合适形式展现。
8.根据权利要求6所述的交互方法，其特征在于：所述合适形式包括语音应答、投影应答、转动机器人头部、机器人前后左右移动、机器人身体指示灯点亮中的一种以上，不同的应答方式能同时进行。
9.根据权利要求8所述的交互方法，其特征在于所述机器人投影应答方式包括：
机器人旋转头部，使投影处理模块的投影镜头以合适的角度正对用户桌面；
打开投影镜头，将系统所要输出的图像内容通过投影展现在用户桌面；
用户根据需要对桌面的投影进行点击、拖动、拉伸操作；
位于机器人头部的摄像头实时获取用户手势动作，图像处理模块识别用户手势动作，并发送处理结果至核心处理器模块，并做出相应的反馈，反馈通过投影展现出来。
10.根据权利要求8所述的交互方法，其特征在于所述机器人投影应答方式有两种，一种是2D投影，另一种是3D投影。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610606387.4A CN106228982B (zh) | 2016-07-27 | 2016-07-27 | 一种基于教育服务机器人的交互式学习系统与交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610606387.4A CN106228982B (zh) | 2016-07-27 | 2016-07-27 | 一种基于教育服务机器人的交互式学习系统与交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106228982A CN106228982A (zh) | 2016-12-14 |
| CN106228982B true CN106228982B (zh) | 2019-11-15 |
Family
ID=57534011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610606387.4A Active CN106228982B (zh) | 2016-07-27 | 2016-07-27 | 一种基于教育服务机器人的交互式学习系统与交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106228982B (zh) |
Families Citing this family (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106903695B (zh) * | 2017-01-16 | 2019-04-26 | 北京光年无限科技有限公司 | 应用于智能机器人的投影交互方法及系统 |
| CN206649496U (zh) * | 2017-01-19 | 2017-11-17 | 广景视睿科技（深圳）有限公司 | 一种物体识别及投影互动装置 |
| CN106843002A (zh) * | 2017-02-15 | 2017-06-13 | 华南理工大学 | 一种基于智能机器人头部的控制系统 |
| CN106803377A (zh) * | 2017-02-27 | 2017-06-06 | 合肥慧动智能科技有限公司 | 一种英语学习管理机器人 |
| CN106933367A (zh) * | 2017-03-28 | 2017-07-07 | 安徽味唯网络科技有限公司 | 一种提高学生上课注意力的方法 |
| CN107042516A (zh) * | 2017-03-28 | 2017-08-15 | 旗瀚科技有限公司 | 一种机器人实现察言观色系统 |
| CN106919120A (zh) * | 2017-05-05 | 2017-07-04 | 美载（厦门）网络科技有限公司 | 一种可交互投影机器人 |
| CN108933916B (zh) * | 2017-05-23 | 2020-09-08 | 沈阳万联科技股份有限公司 | 一种自适应调节方法、ar智能学习眼镜及系统 |
| CN107331390A (zh) * | 2017-05-27 | 2017-11-07 | 芜湖星途机器人科技有限公司 | 机器人语音识别召唤者的主动跟随系统 |
| CN107369341A (zh) * | 2017-06-08 | 2017-11-21 | 深圳市科迈爱康科技有限公司 | 教育机器人 |
| CN108081286A (zh) * | 2018-01-08 | 2018-05-29 | 歌尔股份有限公司 | 投影机器人 |
| CN107972006A (zh) * | 2018-01-15 | 2018-05-01 | 深圳市腾星宏俊科技有限公司 | 智能互动交互式教育机器人 |
| CN108427910B (zh) * | 2018-01-30 | 2021-09-21 | 浙江凡聚科技有限公司 | 深层神经网络ar手语翻译学习方法、客户端及服务器 |
| CN108402696A (zh) * | 2018-03-18 | 2018-08-17 | 张杭湖 | 一种基于大数据的教学课桌 |
| CN108537321A (zh) * | 2018-03-20 | 2018-09-14 | 北京智能管家科技有限公司 | 一种机器人教学方法、装置、服务器和存储介质 |
| CN108766077A (zh) * | 2018-05-17 | 2018-11-06 | 广东小天才科技有限公司 | 一种台灯、基于台灯的辅助学习方法及装置 |
| CN108845786A (zh) * | 2018-05-31 | 2018-11-20 | 北京智能管家科技有限公司 | 智能伴读方法、装置、设备和存储介质 |
| CN108830467A (zh) * | 2018-05-31 | 2018-11-16 | 北京智能管家科技有限公司 | 阅读行为的评价方法、装置、设备和存储介质 |
| CN108806360A (zh) * | 2018-05-31 | 2018-11-13 | 北京智能管家科技有限公司 | 伴读方法、装置、设备和存储介质 |
| CN110580426A (zh) * | 2018-06-08 | 2019-12-17 | 速感科技（北京）有限公司 | 机器人的人机交互方法及机器人 |
| CN109064795B (zh) * | 2018-07-16 | 2020-12-25 | 广东小天才科技有限公司 | 一种投影交互的方法及照明设备 |
| CN108877361A (zh) * | 2018-07-17 | 2018-11-23 | 安徽爱依特科技有限公司 | 人机共教模式的机器人系统 |
| CN109062404B (zh) * | 2018-07-20 | 2020-03-24 | 东北大学 | 一种应用于智能儿童早教机的交互系统及方法 |
| CN109173265A (zh) * | 2018-07-27 | 2019-01-11 | 安徽豆智智能装备制造有限公司 | 基于游戏式学习系统的学习方法 |
| CN108682209A (zh) * | 2018-08-02 | 2018-10-19 | 安徽硕威智能科技有限公司 | 基于人工解答后台的机器人学习系统 |
| CN108942941A (zh) * | 2018-08-02 | 2018-12-07 | 安徽硕威智能科技有限公司 | 一种教育机器人语音交互系统 |
| CN109167990A (zh) * | 2018-08-14 | 2019-01-08 | 上海常仁信息科技有限公司 | 基于机器人的实时立体投影系统 |
| CN109274956A (zh) * | 2018-08-14 | 2019-01-25 | 上海常仁信息科技有限公司 | 两点间机器人的互相立体投影通信系统和方法 |
| CN109172066B (zh) * | 2018-08-18 | 2019-12-20 | 华中科技大学 | 基于语音控制与视觉识别的智能假肢手及其系统和方法 |
| CN109241244A (zh) * | 2018-08-31 | 2019-01-18 | 广东小天才科技有限公司 | 一种协助用户解决问题的交互方法、智能装置及系统 |
| CN109243215B (zh) * | 2018-08-31 | 2021-08-13 | 广东小天才科技有限公司 | 一种基于智能装置的交互方法、智能装置及系统 |
| CN109191940B (zh) * | 2018-08-31 | 2021-09-24 | 广东小天才科技有限公司 | 一种基于智能设备的交互方法及智能设备 |
| CN109272997A (zh) * | 2018-08-31 | 2019-01-25 | 广东小天才科技有限公司 | 一种智能设备及其投影交互方法 |
| CN109035919B (zh) * | 2018-08-31 | 2021-05-11 | 广东小天才科技有限公司 | 一种协助用户解决问题的智能装置及系统 |
| CN109191939B (zh) * | 2018-08-31 | 2021-06-01 | 广东小天才科技有限公司 | 一种基于智能设备的三维投影交互方法及智能设备 |
| CN109377795A (zh) * | 2018-09-27 | 2019-02-22 | 广东小天才科技有限公司 | 一种智能设备的学习交互方法及智能设备 |
| CN109240643A (zh) * | 2018-09-27 | 2019-01-18 | 广东小天才科技有限公司 | 一种基于智能台灯的网络教学方法及智能台灯 |
| CN109005632A (zh) * | 2018-09-27 | 2018-12-14 | 广东小天才科技有限公司 | 一种辅助学习方法及智能台灯 |
| CN109442254A (zh) * | 2018-09-27 | 2019-03-08 | 广东小天才科技有限公司 | 一种基于智能台灯的学习辅助方法及智能台灯 |
| CN109298681A (zh) * | 2018-10-16 | 2019-02-01 | 山东中衡光电科技有限公司 | 一种与人共融的镜面加工设备控制系统及方法 |
| CN109509466A (zh) * | 2018-10-29 | 2019-03-22 | Oppo广东移动通信有限公司 | 数据处理方法、终端及计算机存储介质 |
| CN110174988B (zh) * | 2018-11-06 | 2021-04-30 | 广东小天才科技有限公司 | 一种基于可穿戴设备的学习方法及可穿戴设备 |
| CN109531589A (zh) * | 2018-11-20 | 2019-03-29 | 刘明远 | 一种智能课堂学习交互机器人 |
| CN109493264A (zh) * | 2018-11-23 | 2019-03-19 | 深圳市睿思特智能科技有限公司 | 一种精准定位学习难度的施教方法及教育机器人 |
| CN109366502B (zh) * | 2018-12-17 | 2022-04-08 | 广东誉丰教育科技有限公司 | 一种基于人工智能的网络交互式教育方法及机器人 |
| CN109669661A (zh) * | 2018-12-20 | 2019-04-23 | 广东小天才科技有限公司 | 一种听写进度的控制方法及电子设备 |
| CN109637236A (zh) * | 2018-12-28 | 2019-04-16 | 金子桥 | 一种头戴助学装置和助学方法 |
| CN109571507A (zh) * | 2019-01-16 | 2019-04-05 | 鲁班嫡系机器人（深圳）有限公司 | 一种服务机器人系统及服务方法 |
| CN109531601A (zh) * | 2019-01-21 | 2019-03-29 | 合肥市云联鸿达信息技术有限公司 | 一种儿童教育机器人 |
| CN109773797B (zh) * | 2019-03-26 | 2024-03-26 | 北京儒博科技有限公司 | 教学机器人的教学方法、装置、存储介质及教学机器人 |
| CN109961048A (zh) * | 2019-03-26 | 2019-07-02 | 北京儒博科技有限公司 | 人机交互学习过程中学生召回方法、装置、机器人和介质 |
| CN109961047A (zh) * | 2019-03-26 | 2019-07-02 | 北京儒博科技有限公司 | 教育机器人的学习监督方法、装置、机器人及存储介质 |
| CN109934205B (zh) * | 2019-03-26 | 2021-10-12 | 北京如布科技有限公司 | 一种学习对象召回方法、装置、机器人和存储介质 |
| CN111951628A (zh) * | 2019-05-15 | 2020-11-17 | 深圳市希科普股份有限公司 | 一种基于翻转学习的交互式学习系统 |
| CN110370299A (zh) * | 2019-08-12 | 2019-10-25 | 乌鲁木齐明华智能电子科技有限公司 | 一种机器人动态感知及应答装置 |
| CN110503024A (zh) * | 2019-08-19 | 2019-11-26 | 联想(北京)有限公司 | 一种交互状态分析方法、装置及存储介质 |
| CN110561453B (zh) * | 2019-09-16 | 2020-09-29 | 北京觅机科技有限公司 | 一种绘本机器人的引导式陪读方法 |
| CN112307323B (zh) * | 2020-03-02 | 2023-05-02 | 北京字节跳动网络技术有限公司 | 信息推送方法和装置 |
| CN111399647A (zh) * | 2020-03-16 | 2020-07-10 | 郑州轻工业大学 | 一种人工智能自适应互动教学系统 |
| CN111325853B (zh) * | 2020-03-23 | 2023-04-28 | 宁波视科物电科技有限公司 | 一种基于增强现实眼镜的远程辅导系统及方法 |
| CN111385683B (zh) * | 2020-03-25 | 2022-01-28 | 广东小天才科技有限公司 | 一种智能音箱应用控制方法及智能音箱 |
| CN111507220A (zh) * | 2020-04-08 | 2020-08-07 | 广东小天才科技有限公司 | 一种直播教学中用户信息确定与反馈的方法及装置 |
| CN111428006A (zh) * | 2020-04-27 | 2020-07-17 | 齐鲁工业大学 | 一种基于nao机器人的辅助教学系统及方法 |
| CN111558945A (zh) * | 2020-05-26 | 2020-08-21 | 天津市微卡科技有限公司 | 一种基于图像处理技术的学习效率监测陪伴机器人 |
| CN111787264B (zh) * | 2020-07-21 | 2021-08-10 | 北京字节跳动网络技术有限公司 | 一种远程教学的提问方法、装置、提问终端和可读介质 |
| CN112035639B (zh) * | 2020-08-30 | 2021-08-03 | 上海松鼠课堂人工智能科技有限公司 | 智能自动答题机器人系统 |
| CN112223268B (zh) * | 2020-09-29 | 2022-07-05 | 京东科技信息技术有限公司 | 机器人控制装置以及机器人 |
| CN112223295A (zh) * | 2020-10-28 | 2021-01-15 | 刘娴 | 一种机器人表情调用方法和家用机器人 |
| CN112104962B (zh) * | 2020-10-30 | 2021-03-23 | 北京声智科技有限公司 | 一种基于图像识别的跟随式机器人扩声方法及扩声系统 |
| CN112381699A (zh) * | 2020-12-04 | 2021-02-19 | 湖北致未来智能教育科技有限公司 | 一种自动交互式智能教育管理系统 |
| CN112643650A (zh) * | 2020-12-10 | 2021-04-13 | 深圳优地科技有限公司 | 基于机器人的儿童任务托管方法、装置、设备及存储介质 |
| CN112667793B (zh) * | 2020-12-31 | 2023-08-22 | 徐波 | 一种基于dnn的人机交互方法、装置、系统、电子设备和存储介质 |
| CN112885167A (zh) * | 2021-01-20 | 2021-06-01 | 宁以达 | 一种基于大数据分析可提高学习效率的智能语言机器人 |
| CN113160629A (zh) * | 2021-05-06 | 2021-07-23 | 吉林工程技术师范学院 | 一种具有情感识别功能的人机协同学习用教育机器人 |
| CN114274184B (zh) * | 2021-12-17 | 2024-05-24 | 重庆特斯联智慧科技股份有限公司 | 一种基于投影引导的物流机器人人机交互方法及系统 |
| CN114442900A (zh) * | 2022-01-28 | 2022-05-06 | 上海橙掌信息科技有限公司 | 显示装置以及学习效果获取方法 |
| CN116665291B (zh) * | 2023-07-24 | 2023-10-03 | 泸州职业技术学院 | 一种图像处理系统以及图像处理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187990A (zh) * | 2007-12-14 | 2008-05-28 | 华南理工大学 | 一种会话机器人系统 |
| CN102446428A (zh) * | 2010-09-27 | 2012-05-09 | 北京紫光优蓝机器人技术有限公司 | 基于机器人的交互式学习系统及其交互方法 |
| US8949124B1 (en) * | 2008-09-11 | 2015-02-03 | Next It Corporation | Automated learning for speech-based applications |
| CN204791614U (zh) * | 2015-06-30 | 2015-11-18 | 广州绿松生物科技有限公司 | 智能少年学习机器人 |
| CN105324811A (zh) * | 2013-05-10 | 2016-02-10 | 微软技术许可有限责任公司 | 语音到文本转换 |
| CN105468145A (zh) * | 2015-11-18 | 2016-04-06 | 北京航空航天大学 | 一种基于手势和语音识别的机器人人机交互方法和装置 |
-
2016
- 2016-07-27 CN CN201610606387.4A patent/CN106228982B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187990A (zh) * | 2007-12-14 | 2008-05-28 | 华南理工大学 | 一种会话机器人系统 |
| US8949124B1 (en) * | 2008-09-11 | 2015-02-03 | Next It Corporation | Automated learning for speech-based applications |
| CN102446428A (zh) * | 2010-09-27 | 2012-05-09 | 北京紫光优蓝机器人技术有限公司 | 基于机器人的交互式学习系统及其交互方法 |
| CN105324811A (zh) * | 2013-05-10 | 2016-02-10 | 微软技术许可有限责任公司 | 语音到文本转换 |
| CN204791614U (zh) * | 2015-06-30 | 2015-11-18 | 广州绿松生物科技有限公司 | 智能少年学习机器人 |
| CN105468145A (zh) * | 2015-11-18 | 2016-04-06 | 北京航空航天大学 | 一种基于手势和语音识别的机器人人机交互方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106228982A (zh) | 2016-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106228982B (zh) | 一种基于教育服务机器人的交互式学习系统与交互方法 | |
| CN107030691B (zh) | 一种看护机器人的数据处理方法及装置 | |
| CN110991381B (zh) | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 | |
| CN104200328B (zh) | 一种基于体感技术的智能教室教学系统及方法 | |
| CN110443226A (zh) | 一种基于姿态识别的学生状态评价方法及系统 | |
| Roth | First-person methods: Toward an empirical phenomenology of experience | |
| CN107316261A (zh) | 一种基于人脸分析的教学质量评估系统 | |
| CN107067879A (zh) | 一种智能钢琴教学系统 | |
| CN103164995A (zh) | 儿童体感交互式学习系统及方法 | |
| CN106128188A (zh) | 桌面教育专注度分析系统及其分析方法 | |
| CN106075854A (zh) | 一种舞蹈训练系统 | |
| CN110134863B (zh) | 应用程序推荐的方法及装置 | |
| CN113723250A (zh) | 一种用于帮助教师反思性成长的课堂智能分析方法及系统 | |
| CN107020632A (zh) | 一种教学机器人的控制系统 | |
| CN109215412A (zh) | 一种智能教育机器人系统 | |
| CN110176163A (zh) | 一种教学系统 | |
| Quan | Development of computer aided classroom teaching system based on machine learning prediction and artificial intelligence KNN algorithm | |
| CN106803377A (zh) | 一种英语学习管理机器人 | |
| CN109754653B (zh) | 一种个性化教学的方法及系统 | |
| CN109064389A (zh) | 一种手绘线条画生成现实感图像的深度学习方法 | |
| CN111402878A (zh) | 垃圾分类智能教育机器系统 | |
| CN204791614U (zh) | 智能少年学习机器人 | |
| CN109192050A (zh) | 体验式语言教学方法、装置及教育机器人 | |
| CN110176162B (zh) | 一种可穿戴系统及应用于可穿戴系统的教学方法 | |
| CN111477055A (zh) | 基于虚拟现实技术的教师培训系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |