CN114995648A - 一种面向智能机器人的儿童教学交互系统 - Google Patents
一种面向智能机器人的儿童教学交互系统 Download PDFInfo
- Publication number
- CN114995648A CN114995648A CN202210668337.4A CN202210668337A CN114995648A CN 114995648 A CN114995648 A CN 114995648A CN 202210668337 A CN202210668337 A CN 202210668337A CN 114995648 A CN114995648 A CN 114995648A
- Authority
- CN
- China
- Prior art keywords
- interactive
- user
- teaching
- interaction
- display surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 157
- 230000003993 interaction Effects 0.000 claims abstract description 81
- 239000011664 nicotinic acid Substances 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 37
- 230000006399 behavior Effects 0.000 claims description 27
- 230000009471 action Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012806 monitoring device Methods 0.000 claims description 11
- 230000000750 progressive effect Effects 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000003825 pressing Methods 0.000 claims description 5
- 230000008449 language Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000010030 laminating Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 12
- 238000007654 immersion Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 46
- 239000000463 material Substances 0.000 description 7
- 239000011241 protective layer Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- FGIUAXJPYTZDNR-UHFFFAOYSA-N potassium nitrate Chemical compound [K+].[O-][N+]([O-])=O FGIUAXJPYTZDNR-UHFFFAOYSA-N 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 235000010333 potassium nitrate Nutrition 0.000 description 2
- 239000004323 potassium nitrate Substances 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- VWDWKYIASSYTQR-UHFFFAOYSA-N sodium nitrate Chemical compound [Na+].[O-][N+]([O-])=O VWDWKYIASSYTQR-UHFFFAOYSA-N 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 206010024642 Listless Diseases 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000005345 chemically strengthened glass Substances 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005342 ion exchange Methods 0.000 description 1
- 208000017971 listlessness Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 235000010344 sodium nitrate Nutrition 0.000 description 1
- 239000004317 sodium nitrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
- G06F3/0442—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using active external devices, e.g. active pens, for transmitting changes in electrical potential to be received by the digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及一种面向智能机器人的儿童教学交互系统，所述交互系统包括一互动桌面装置以及一互动机器人装置；通过所述互动桌面装置的显示面能够显示教学与互动内容，用户通过在所述显示面上进行手势操作或者教具操作，由所述互动桌面装置进行互动信息采集；进一步的，由所述显示面以及所述互动机器人装置通过语音、图像、灯光给予用户互动反馈；并且包括由所述互动机器人通过其仿生手臂的在所述显示面上的指引和互动动作，提高教学互动效果；并且进一步包括通过计算一互动指数，用于评价所述交互系统的交互效果以及用于作为教学内容的难度、交互程度、沉浸度的调整参考指示。
Description
技术领域
本发明涉及儿童教学系统领域。具体而言，涉及一种面向智能机器人的儿童教学交互系统。
背景技术
儿童教育是针对儿童进行德育、智育、体育等方面的培养和训练。它是提高人口素质的重要环节。青春期到来以前的未成年人被称为儿童或少年，他们在思想、性格、智力、体魄等方面的可塑儿童教育性很强。儿童教育是整个教育事业的重要基础，为适龄儿童提供良好的教育教学条件有利于儿童在今后的长远发展，包括尽早养成良好学习习惯，养成良好人格品格等方面。现在对于儿童的教学多数停留在教知识的层面上，大多数的教学方式还主要以老师、家长讲授为主；而通过研究发现，如若能在教学的过程中增加适当的交互环节，让儿童能在学习的过程中随时作出反馈，能够明显促进儿童在获取知识方面的效果，也能为教学的实施主体，例如老师、家长即时了解儿童的学习状态
随着科技的发展，利用机器人进行趣味性以及基于人工智能的教学方式亦逐渐提出；智能机器人能够结果大数据、互联网、多互动的方式，提供更加有趣新颖的教学体验，因此亦是当前教育行业发展的一大趋势。
查阅相关已公开的技术方案，公开号为CN106997699A的技术方案提出一种儿童智能教学系统，包括教师端和学生端；所述教师端与所述学生端之间能互相传递信号且所述教师端能控制所述学生端；这样教师通过教师端的互动一体机展示教案并传输给学生端，学生在学生端的儿童智能课桌进行实时的反馈，实现教学课堂的实时交互；公开号为US20140295398A1的技术方案提出一种交互式计算机系统，通过显示部件播放漫画式故事，配合教师与一名或多名学生进行一对一互动，学生可以操作触摸屏和鼠标等部件触发响应目标；教师通过观察或者查看系统的学生操作记录分析学生的接受学习程度；公开号为KR1020160063015A的技术方案提出一种参与式儿童故事的学习装置和教学系统及其教学方法；通过将用户容易识别的字符输入到儿童故事中，通过增强儿童的集中度，提高儿童故事的学习和教学效果，使用户参与视频儿童的个人故事，让用户与视频儿童的故事同步。
背景技术的前述论述仅意图便于理解本发明。此论述并不认可或承认提及的材料中的任一种公共常识的一部分。
发明内容
本发明的目的在于，提供本发明涉及一种面向智能机器人的儿童教学交互系统；所述交互系统包括一互动桌面装置以及一互动机器人装置；通过所述互动桌面装置的显示面能够显示教学与互动内容，用户通过在所述显示面上进行手势操作或者教具操作，由所述互动桌面装置进行互动信息采集；进一步的，由所述显示面以及所述互动机器人装置通过语音、图像、灯光给予用户互动反馈；并且包括由所述互动机器人通过其仿生手臂的在所述显示面上的指引和互动动作，提高教学互动效果；并且进一步包括通过计算一互动指数，用于评价所述交互系统的交互效果以及用于作为教学内容的难度、交互程度、沉浸度的调整参考指示。
本发明采用如下技术方案：
一种面向智能机器人的儿童教学交互系统，所述交互系统包括：
互动桌面装置，被配置为包括实现画面显示、触摸反馈以及图像捕捉功能的多个功能模块；包括向用户展示第一展示内容，以及采集用户的在所述互动桌面装置上互动的第一操作从而获取基于用户的第一反馈，并将第一反馈的数据上传到所述主控装置进行第一反馈的分析；
互动机器人装置，被配置为具有多个功能模块，用于向用户展示包括图像、声音、灯光、机械动作的一种或一种以上的第二展示内容；并且还包括具有至少一个仿生手臂，用于配合所述互动桌面装置执行展示或指示动作，以及与用户的产生交互的第二操作；
主控装置，被配置为与所述互动桌面装置以及所述互动机器人装置通讯连接，并控制该两部分装置进行协同工作；
其中，所述互动桌面装置包括一功能桌面以及一支架；所述功能桌面与用户相对的一面为显示面；所述功能桌面包括显示组件，以及驱动所述显示组件中多个面板工作的驱动组件；所述显示组件包括用于图像显示的显示面板层，用于响应用户触摸动作的触摸感应层，用于测量用户施加于所述显示面压力的面板压力感应层；所述显示面板层、所述触摸感应层以及所述面板压力感应层通过压合工艺压合后形成一整体的所述显示组件；
并且，所述互动桌面装置102还包括配置一采集模块；所述采集模块用于采集放置于所述显示面上的物件信息，其中包括物件当前位置、形状、颜色等静态信息，以及物件发生移动时的速度、加速度等动态信息；
可选地，所述交互系统包括一套或以上的交互教具；所述交互教具用于由用户在所述显示面上进行操作，并配合教学内容进行教学互动；
可选地，所述第一反馈包括用户在所述显示面作出的任何一个动作，其中包括用户以手部在所述显示面的触摸、划动、按压中的一种或一种以上的操作；并且还包括用户通过操作放置于所述显示面上的所述交互教具所作出的任何一个动作；
可选地，所述交互系统还包括用户监控装置，用于采集用户在进行交互行为时的反馈作为第二反馈；所述第二反馈包括用户的面部表情、语言、声调、声响，以及动作行为，包括头部行为以及四肢行为；一个或一个以上的所述用户监控装置包括被安装在所述互动桌面装置或所述互动机器人装置两者之一或全部；
可选地，所述交互系统包括控制所述互动机器人装置在所述互动桌面装置通过所述仿生手臂作出第二操作；所述第二操作包括由所述仿生手臂的其中至少一个部位作出指示动作，以指出所述显示面中的指定位置，还包括通过所述仿生手臂的其中至少一个部位移动放置在所述显示面上的物件并将物件移动到所述显示面上的指定位置，还包括通过所述仿生手臂的其中至少一个部位将物件进行翻转并使物件的指定面与所述显示面接触；
进一步的，所述交互系统包括通过用户与所述交互系统的交互动作从而计算一个互动指数H，用于评价所述交互系统在一次交互主题中的教学内容设置是否适合用户，以及所述交互系统在本交互主题中与用户的交互效果；所述互动指数H的计算方法为：
其中，1/D为难度系数，其计算方法为：
式2中，N为本次交互主题中，用户停止操作并进行思考的次数；
其中，J为递进程度系数，用于表示在一个的交互主题中，用户与所述交互系统的交互递进程度，其计算方法为：
式3中，(1/i)2为在该交互主题中，发生第i次用户与所述交互系统进行交互时的递进贡献指数，其中一共发生了I次的交互；
其中，S为行为熵，其计算方法为：
式4中，要求I≧1；,pi为按时间计算第i次交互的时间占总交互时间的比例，即：
式5中ti为第i次交互时的持续时间。
本发明所取得的有益效果是：
1.本发明的交互系统通过具备展示功能和反馈功能的机器人以及桌面装置与用户进行交互，能提高教学过程的互动性以及学习效果；
2.本发明的交互系统通过机器人装置在所述桌面装置上的操作，能够引导和推进整体的交互过程，区别于以往用户进行被动互动的学习形式；
3.本发明的交互系统通过计算一个互动指数，能够评估针对一个互动主题进行交互过程中的整体效果，用于持续改善交互过程的环节设置和难度设置；
4.本发明的交互系统其硬件模块以及装置采用模块化设计和配合，后期可通过软件、硬件进行灵活优化和变更，节省了大量后期维护升级成本。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
图1为本发明所述交互系统的原理示意图；
图2为本发明实施例的所述互动桌面装置的示意图；
图3为本发明实施例中所述显示组件的示意图；
图4为本发明实施例中所述互动机器人装置的示意图。
附图中标号说明：101-主控装置；102-互动桌面装置；103-互动机器人装置；104-用户监控装置；111-交互教具；201-支架；202-功能桌面；301-保护层；302-触摸感应层；303-显示面板层；304-面板压力感应层；401-移动模块；402-仿生手臂；410-仿生抓手；420-手臂主体；441-后臂杆；442-前臂杆。
具体实施方式
为了使得本发明的目的技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统.方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内.包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位.以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例一：
一种面向智能机器人的儿童教学交互系统，所述交互系统包括：
互动桌面装置102，被配置为包括实现画面显示、触摸反馈以及图像捕捉功能的多个功能模块；包括向用户展示第一展示内容，以及采集用户的在所述互动桌面装置102上互动的第一操作从而获取基于用户的第一反馈，并将第一反馈的数据上传到所述主控装置进行第一反馈的分析；
互动机器人装置103，被配置为具有多个功能模块，用于向用户展示包括图像、声音、灯光、机械动作的一种或一种以上的第二展示内容；并且还包括具有至少一个仿生手臂，用于配合所述互动桌面装置102执行展示或指示动作，以及与用户的产生交互的第二操作；
主控装置101，被配置为与所述互动桌面装置102以及所述互动机器人装置103通讯连接，并控制该两部分装置进行协同工作；
其中，所述互动桌面装置102包括一功能桌面202以及一支架201；所述功能桌面与用户相对的一面为显示面；所述功能桌面包括显示组件，以及驱动所述显示组件中多个面板工作的驱动组件；所述显示组件包括用于图像显示的显示面板层，用于响应用户触摸动作的触摸感应层，用于测量用户施加于所述显示面压力的面板压力感应层；所述显示面板层、所述触摸感应层以及所述面板压力感应层通过压合工艺压合后形成一整体的所述显示组件；
并且，所述互动桌面装置102还包括配置一采集模块；所述采集模块用于采集放置于所述显示面上的物件信息，其中包括物件当前位置、形状、颜色等静态信息，以及物件发生移动时的速度、加速度等动态信息；
可选地，所述交互系统包括一套或以上的交互教具；所述交互教具用于由用户在所述显示面上进行操作，并配合教学内容进行教学互动；
可选地，所述第一反馈包括用户在所述显示面作出的任何一个动作，其中包括用户以手部在所述显示面的触摸、划动、按压中的一种或一种以上的操作；并且还包括用户通过操作放置于所述显示面上的所述交互教具所作出的任何一个动作；
可选地，所述交互系统还包括用户监控装置，用于采集用户在进行交互行为时的反馈作为第二反馈；所述第二反馈包括用户的面部表情、语言、声调、声响，以及动作行为，包括头部行为以及四肢行为；一个或一个以上的所述用户监控装置包括被安装在所述互动桌面装置102或所述互动机器人装置103两者之一或全部；
可选地，所述交互系统包括控制所述互动机器人装置103在所述互动桌面装置102通过所述仿生手臂作出第二操作；所述第二操作包括由所述仿生手臂的其中至少一个部位作出指示动作，以指出所述显示面中的指定位置，还包括通过所述仿生手臂的其中至少一个部位移动放置在所述显示面上的物件并将物件移动到所述显示面上的指定位置，还包括通过所述仿生手臂的其中至少一个部位将物件进行翻转并使物件的指定面与所述显示面接触；
进一步的，所述交互系统包括通过用户与所述交互系统的交互动作从而计算一个互动指数H，用于评价所述交互系统在一次交互主题中的教学内容设置是否适合用户，以及所述交互系统在本交互主题中与用户的交互效果；所述互动指数H的计算方法为：
其中，1/D为难度系数，其计算方法为：
式2中，N为本次交互主题中，用户停止操作并进行思考的次数；
其中，J为递进程度系数，用于表示在一个的交互主题中，用户与所述交互系统的交互递进程度，其计算方法为：
式3中，(1/i)2为在该交互主题中，发生第i次用户与所述交互系统进行交互时的递进贡献指数，其中一共发生了I次的交互；
其中，S为行为熵，其计算方法为：
式4中，要k≧1,pi为按时间计算第i次交互的时间占总交互时间的比例，即：
式5中ti为第i次交互时的持续时间；
以下进行该实施例的详细解释：
如附图2，为所述互动桌面装置102的一种实施方式：
所述互动桌面装置102由支架201通过包裹所述功能桌面202组成；
所述支架优选地采用复合塑封材质只为主体材料，包括ABS、PVC、PP、PC、PE、EVA、PU等；在一些实施方式中，包括采用由碳纤维材料对基础材质进行强度，用于提高所述支架的整体强度，并且加强对包裹的所述互动桌面的保护；
进一步的，如附图3展示所述功能桌面中的所述显示组件的多层结构，依次包括保护层301、触摸感应层302、显示面板层303以及面板压力感应层304；
其中，所述保护层301位于所述显示组件的最外层，起到保护所述显示组件内部结构的作用；优选地，所述保护层301为化学强化玻璃，该类玻璃可以通过在高浓度的硝酸钾或硝酸钾与硝酸钠配比溶液进行离子交换提高玻璃的强度，从而起到保护显示屏幕的目的；所述保护层的厚度可选地为0.8mm～1.2mm；以起到足够的保护以及防划花功能，同时需要保证由所述显示面板层发射的图像光线不被所述保护层过分过滤，以提高显示效果；
进一步的，所述触摸感应层302贴合于所述保护层下方；所述触摸感应层302采用电容式的触摸感应面板方案，其由合金或是銦錫氧化物(ITO)材料构成，电荷存储在一幅微型静电网中；当用户的身体部位例如手指点击所述显示面，会从与所述显示面(本实施方式中接触到的是所述保护层)的接触点吸收小量电流，造成角落电极的压降，利用感应人体微弱电流的方式来达到触控的目的；可选地，所述触摸感应层可以采用表面式电容触摸面板、投射式电容触摸屏、互电容式触摸面板等，并可以实现对用户在所述显示面上多于一个接触点的感应；
进一步的，所述显示面板层303贴合于所述触摸感应层302下方；所述显示面板层303包括采用基于OLED、mini-LED显示面板技术方案技术；优选地，其显示分辨率为Full HD标准(1920x1080)，或者更高的QHD(2560x 1440)标准，或者为4K分辨率(4090×2160)；足够的分辨率能够保证显示画面的精细程度，保证显示的内容能够用户准确识别；进一步的，所述显示面板层的色域标准达到NTSC 72％，或者aRGB100％，或者DCI-P3标准要求，以保证显示颜色的效果；进一步的，所述显示面板层的显示刷新率至少为60Hz或以上，优选地达到120Hz，更高的显示刷新率能防止用户的眼睛过度疲劳；
进一步的，所述面板压力感应层304贴合于所述显示面板层303下方；所述面板压力感应层304可以包括基于可形变膜的电容式感应原理，或者基于可形变膜的超声波距离感应原理，通过感知并分析所述面板压力感应层中的形变膜的形变量以及形变位置，确定施加到所述显示面的压力，包括由用户通过身体部位，例如手指或者手掌施加到所述显示面，还包括用户通过操作所述交互教具施加到所述显示面；
以上所述显示面板层、所述触摸感应层以及所述面板压力感应层通过压合工艺压合后形成一整体的显示组件通过贴合工艺进行紧密贴合从而形成一整体；
进一步的，所述采集模块的一种实施方式包括布置到所述面板压力感应层的下方；所述采集模块包括采用RGB图像传感器对放置于所述显示面上的物品进行图像采集；其中，通过改变位于该RGB图像传感器上方一定面积范围的所述显示面板层、所述触摸感应层以及所述面板压力感应层的面板密度、显示像素密度等方式，使光线可以通过所述显示组件；光线可以由所述显示面板层射出，并映射到放置于物体与所述显示面接触的一面上，并由所述采集模块接收该接触面反射或折射的光线，从而获得接触面的图像信息；
并且在一些实施方式上，所述采集模块包括具有多个图像传感器并分布于所述显示面的四周并面向于所述显示面的中心法线，从而所述采集模块可以获得放置于的所述显示面上的物体的四个侧面的图像信息；
进一步的，如附图4所示，为所述互动机器人装置103的示意图；
所述互动机器人装置103包括移动模块401；移动模块上安装有仿生手臂402；仿生手臂包括仿生抓手410及用于带动该仿生抓手运动的手臂主体420；手臂主体420一端活动安装于所述移动模块401上，另一端安装所述仿生抓手410；
可选地，所述手臂主体包括相互连接的前臂杆442和后臂杆441，前臂杆442和后臂杆441通过转轴连接，并可通过同步轮相对转动；所述前臂杆442与仿生抓手410之间通过两相对设置的U型连接件连接，并在两相对设置的U型连接件之间设置有第二舵机和第三舵机以驱动仿生抓手活动；其中，所述第二舵机连接靠近仿生抓手的U型连接件，第二舵机旋转轴以实现腕关节的上下摆动；第三舵机连接靠近前臂杆的U型连接件，第三舵机旋转轴以实现腕旋转关节的旋转运动；所述后臂杆通过支撑底座与所述移动模块连接，支撑底座上安装有第四舵机，在一些实施方式上还包括安装有伺服电机，该第四舵机或者伺服电机以实现肩关节的转动动作；
可选地，所述仿生抓手包括手掌部，手掌部前设置有手指部，手掌部前设置有腕部，腕部上安装有第一舵机以实现手指关节；其中手指部可以由至少两个手指组件，实现对物体的基本夹持；而为实现更多或更精密的夹持动作，所述手指部可以由三个或以上的手指构成；
可选地，所述移动模块包括采用轮式驱动或者履带驱动结构；所述移动模块包括可以实现所述互动机器人装置103的水平方向移动，在一些实施方式上，所述互动机器人装置103仅需要实现围绕所述互动桌面装置102的水平移动即可；
可选地，移动模块上布置有摄像头和雷达等传感器用于移动避障以及用于采集所述互动机器人周边环境；
进一步的，所述用户监控装置包括安装于所述互动机器人装置的较上方，并保持于面向用户；所述用户监控装置包括一个或以上的摄像头，其中可以采用包括RGB摄像头、单灰度摄像头、可变焦摄像头、广角摄像头中的一种或一种以上的组合。
实施例二：
本实施例应当理解为至少包含前述任意一个实施例的全部特征，并在其基础上进一步改进；
基于以上所述交互系统的设置，可以通过多种实现方式实现基于一个或多个教学主题的交互教学；
在一种实施方式中，教学主题为认识生字以及练习生字的书写；在所述显示面上显示生字的教学内容，例如包括笔画顺序的动画演示，字意的小故事，偏旁解释等；本教学主题包括使用一支电容式的触控笔作为所述交互教具，先由所述互动机器人装置控制所述触控笔在所述显示面上显示待教学生字的写法，并且包括提醒用户写的时候各注意位置以及易错笔画；继而，由用户操作所述触控笔书写生字；用户练习书写的过程包括在所述显示面上显写所述生字的轮廓，并且以动画引导生字的笔顺；进一步，包括通过所述采集单元以及所述功能桌面，采集用户书写过程中的过程数据，用于分辨书写是否正确，提出待改正的位置；进一步的，由所述用户监控装置包括采集用户的书写状态，例如视线是否专注、握笔手是否出现了过度紧张或者无力状；通过持续书写以及给与用户练习过程中的提醒和建议，产生多次的交互动作；
在一种实施方式中，教学主题为通过金属零件认识机械结构并进行结构的简单拼装，所述交互教具包括多个仿真机械零件；教学过程包括先在所述显示面上播放教学内容，配合所述互动机器人装置通过指出实体零件的各部分，对用户产生感性认识和理性认识；进一步，教学讲解过程中，所述互动机器人包括组件由两个或三个仿真机械零件组成的机械结构，从简单的组合形式开始互动；通过演示、提问、建构、复现等交互过程，最后指引用户进行完整的结构搭建并完成演示，并且包括完成结构原理的讲解；
所述采集模块以及所述用户监控装置通过采集用户交互过程中的各种表现，包括行为、表情、语言、动作，进一步还包括身体生理状态，包括呼吸、心跳等，可以用于分析用户的表现，包括是否处理思考状态，或者处理精神萎靡状态等，从而进一步调整交互过程中，是否需要所述互动机器人装置作出主动的行为和语音提醒，以保证用户能够持续进行学习过程。
实施例三：
本实施例应当理解为至少包含前述任意一个实施例的全部特征，并在其基础上进一步改进；
教学交互的本质是为了让学习者达到学习目标；在学习环境中，教学主体和学习主体之间通过相互交流和相互作用，旨在改变学习者的行动，帮助学习者对学习内容进行意义建构，从而实现教学目标；当学习环境中的各种条件对学习者的反应能够使学习者的行为朝着教学目标的方向发展时，教学的交互就是有效的；
而要评价教学的交互效果，则包括教学过程中的交互过程的评价，以及教学完成后，学习者的最终的学习成果评价；因此通过所述互动指数H，则通过对一个教学主题过程中的多次互动进行评价，计算该教学主题中的教学内容设置、互动内容设置是否科学、合理并有效地促进了学习者的最终学习成果；
在式1中，包括了三部分的因子，即难度系数1/D，递进程度系数J以及行为熵S；
其中，对于难度系数1/D，假设围绕一个教学主题的教学过程中进行了多次思考环节，用户进行了N次停顿进行思考；第i次思考对于该教学主题的贡献率为(1/N)i；则通过式2，可知，当该主题只有一次思考时，N＝1，且易得D＝1；当N接近无限大时，D趋向为0，即1/D趋向于无限大，即该主题可能为难度已超过该用户的认知能力；在实施过程中，可设置N的次数具有一个最大值，防止该教学主题进行了过度的教学，影响实际效果；
进一步的，对于递进程度系数J，若把针对一个教学主题的交互过程看作是推导一个研究主题的正确答案(或者预期答案)的过程，则在此交互过程中的所有交互都为教学过程递进到最终的成果作出贡献；其中，包括了用户的所有应答、疑问、尝试等的交互行为(不管是否正确)，还包括了所述互动系统的每个引导或反馈等；
若教学主题只需要一次交互则完成，则该教学主题的不确定性很小；而当交互次数越多时，该教学主题的不确定性就越大；根据交互行为的先后顺序，设定第i次交互行为对最终达到正确答案(或者预期答案)的贡献率为(1/i)2；则根据式3，计算递进程度系数J；
进一步的，对于行为熵S：
通过考虑一个教学主题中，每个交互行为过程中的时间因素，可反映该次交互行为的交互深度；设定在一个教学主题中，包括了I次交互行为，每次的持续时间为ti，基于式5可得每次交互的占有率pi；
进一步的，将整个教学主题的交互过程的行为占有率作为一个概率分布事件，根据式4，求出整体交互过程的行为熵S；行为熵S越大，则说明交互过程中可能产生了更多的思考成分以及扩展成分，令交互过程更具有教学意义。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (6)
1.一种面向智能机器人的儿童教学交互系统，其特征在于，所述交互系统包括：
互动桌面装置，被配置为包括实现画面显示、触摸反馈以及图像捕捉功能的多个功能模块；包括向用户展示第一展示内容，以及采集用户的在所述互动桌面装置上互动的第一操作从而获取基于用户的第一反馈，并将第一反馈的数据上传到主控装置进行第一反馈的分析；
互动机器人装置，被配置为具有多个功能模块，用于向用户展示包括图像、声音、灯光、机械动作的一种或一种以上的第二展示内容；并且还包括具有至少一个仿生手臂，用于配合所述互动桌面装置执行展示或指示动作，以及与用户的产生交互的第二操作；
主控装置，被配置为与所述互动桌面装置以及所述互动机器人装置通讯连接，并控制该两部分装置进行协同工作；
其中，所述互动桌面装置包括一功能桌面以及一支架；所述功能桌面与用户相对的一面为显示面；所述功能桌面包括显示组件，以及驱动所述显示组件中多个面板工作的驱动组件；所述显示组件包括用于图像显示的显示面板层，用于响应用户触摸动作的触摸感应层，用于测量用户施加于所述显示面压力的面板压力感应层；所述显示面板层、所述触摸感应层以及所述面板压力感应层通过压合工艺压合后形成一整体的所述显示组件；
并且，所述互动桌面装置还包括配置一采集模块；所述采集模块用于采集放置于所述显示面上的物件信息，其中包括物件当前位置、形状、颜色的静态信息，以及物件发生移动时的速度、加速度的动态信息。
2.根据权利要求1所述一种面向智能机器人的儿童教学交互系统，其特征在于，所述交互系统包括一套或以上的交互教具；所述交互教具用于由用户在所述显示面上进行操作，并配合教学内容进行教学互动。
3.根据权利要求2所述一种面向智能机器人的儿童教学交互系统，其特征在于，所述第一反馈包括用户在所述显示面作出的任何一个动作，其中包括用户以手部在所述显示面的触摸、划动、按压中的一种或一种以上的操作；还包括用户通过操作放置于所述显示面上的所述交互教具所作出的任何一个动作。
4.根据权利要求3所述一种面向智能机器人的儿童教学交互系统，其特征在于，所述交互系统还包括用户监控装置，用于采集用户在进行交互行为时的反馈作为第二反馈；所述第二反馈包括用户的面部表情、语言、声调、声响，以及动作行为，包括头部行为以及四肢行为；一个或一个以上的所述用户监控装置包括被安装在所述互动桌面装置或所述互动机器人装置两者之一或全部。
5.根据权利要求4所述一种面向智能机器人的儿童教学交互系统，其特征在于，所述交互系统包括控制所述互动机器人装置在所述互动桌面装置通过所述仿生手臂作出第二操作；所述第二操作包括由所述仿生手臂的其中至少一个部位作出指示动作，以指出所述显示面中的指定位置，还包括通过所述仿生手臂的其中至少一个部位移动放置在所述显示面上的物件并将物件移动到所述显示面上的指定位置，还包括通过所述仿生手臂的其中至少一个部位将物件进行翻转并使物件的指定面与所述显示面接触。
6.根据权利要求5所述一种面向智能机器人的儿童教学交互系统，其特征在于，所述交互系统包括通过用户与所述交互系统的交互动作从而计算一个互动指数H，用于评价所述交互系统在一次交互主题中的教学内容设置是否适合用户，以及所述交互系统在本交互主题中与用户的交互效果；所述互动指数H的计算方法为：
其中，1/D为难度系数，其计算方法为：
式2中，N为本次交互主题中，用户停止操作进行思考的次数；
其中，J为递进程度系数，用于表示在一个的交互主题中，用户与所述交互系统的交互递进程度，其计算方法为：
式3中，(1/i)2为在该交互主题中，发生第i次用户与所述交互系统进行交互时的递进贡献指数，其中一共发生了I次的交互；
其中，S为行为熵，其计算方法为：
式4中，要求I≧1,pi为按时间计算第i次交互的时间占总交互时间的比例，即：
式5中ti为第i次交互时的持续时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210668337.4A CN114995648B (zh) | 2022-06-14 | 一种面向智能机器人的儿童教学交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210668337.4A CN114995648B (zh) | 2022-06-14 | 一种面向智能机器人的儿童教学交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114995648A true CN114995648A (zh) | 2022-09-02 |
| CN114995648B CN114995648B (zh) | 2024-06-04 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130078600A1 (en) * | 2011-08-29 | 2013-03-28 | Worcester Polytechnic Institute | System and method of pervasive developmental disorder interventions |
| CN106097793A (zh) * | 2016-07-21 | 2016-11-09 | 北京光年无限科技有限公司 | 一种面向智能机器人的儿童教学方法和装置 |
| CN106997699A (zh) * | 2016-01-25 | 2017-08-01 | 重庆康普达科技有限公司 | 儿童智能教学系统 |
| CN108537321A (zh) * | 2018-03-20 | 2018-09-14 | 北京智能管家科技有限公司 | 一种机器人教学方法、装置、服务器和存储介质 |
| CN109215412A (zh) * | 2018-09-13 | 2019-01-15 | 天津西青区瑞博生物科技有限公司 | 一种智能教育机器人系统 |
| CN109531589A (zh) * | 2018-11-20 | 2019-03-29 | 刘明远 | 一种智能课堂学习交互机器人 |
| WO2019190817A1 (en) * | 2018-03-26 | 2019-10-03 | Hergenroeder Alex Lauren | Method and apparatus for speech interaction with children |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130078600A1 (en) * | 2011-08-29 | 2013-03-28 | Worcester Polytechnic Institute | System and method of pervasive developmental disorder interventions |
| CN106997699A (zh) * | 2016-01-25 | 2017-08-01 | 重庆康普达科技有限公司 | 儿童智能教学系统 |
| CN106097793A (zh) * | 2016-07-21 | 2016-11-09 | 北京光年无限科技有限公司 | 一种面向智能机器人的儿童教学方法和装置 |
| CN108537321A (zh) * | 2018-03-20 | 2018-09-14 | 北京智能管家科技有限公司 | 一种机器人教学方法、装置、服务器和存储介质 |
| WO2019190817A1 (en) * | 2018-03-26 | 2019-10-03 | Hergenroeder Alex Lauren | Method and apparatus for speech interaction with children |
| CN109215412A (zh) * | 2018-09-13 | 2019-01-15 | 天津西青区瑞博生物科技有限公司 | 一种智能教育机器人系统 |
| CN109531589A (zh) * | 2018-11-20 | 2019-03-29 | 刘明远 | 一种智能课堂学习交互机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Johnsen et al. | Experiences in using immersive virtual characters to educate medical communication skills | |
| CN109493652B (zh) | 基于vr技术的实践教学系统 | |
| CN108919950A (zh) | 基于Kinect的孤独症儿童互动影像装置及方法 | |
| CN110890140A (zh) | 基于虚拟现实的自闭症康复训练及能力评估系统及方法 | |
| TW202040530A (zh) | 線上學習輔助方法、系統、設備以及電腦可讀取記錄媒體 | |
| US20140370470A1 (en) | Systems, apparatus and methods for delivery and augmentation of behavior modification therapy and teaching | |
| Asselborn et al. | Bringing letters to life: handwriting with haptic-enabled tangible robots | |
| McDaniel et al. | Motor learning using a kinematic-vibrotactile mapping targeting fundamental movements | |
| Chang et al. | A Kinect-and game-based interactive learning system | |
| Gong et al. | Holoboard: A large-format immersive teaching board based on pseudo holographics | |
| Saputra et al. | LexiPal: Kinect-based application for dyslexia using multisensory approach and natural user interface | |
| Lin et al. | The effects of adopting tablets and Facebook for learning badminton skills | |
| Casas-Ortiz et al. | Intelligent systems for psychomotor learning: A systematic review and two cases of study | |
| Alabood et al. | Can cross-reality help nonspeaking autistic people transition to ar typing? | |
| JP6195608B2 (ja) | 学習を補助する装置およびシールド | |
| CN112037090B (zh) | 基于vr技术和6dof姿态跟踪的知识教育系统 | |
| Babu et al. | Learning cultural conversational protocols with immersive interactive virtual humans | |
| CN107665693A (zh) | 一种基于物联网的课用设备控制系统 | |
| CN114995648A (zh) | 一种面向智能机器人的儿童教学交互系统 | |
| Oliveira et al. | The Haptic Deictic System—HDS: Bringing blind students to mainstream classrooms | |
| CN114995648B (zh) | 一种面向智能机器人的儿童教学交互系统 | |
| CN103700297A (zh) | 全自动二维书写健身教学系统 | |
| CN113748449A (zh) | 评估和培训系统 | |
| Tian et al. | Kung Fu Metaverse: A Movement Guidance Training System | |
| CN205405935U (zh) | 一种外语环境互动教室 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |