CN114783217A - 一种基于多模态交互的教学设备及系统 - Google Patents

一种基于多模态交互的教学设备及系统 Download PDF

Info

Publication number
CN114783217A
CN114783217A CN202210140656.8A CN202210140656A CN114783217A CN 114783217 A CN114783217 A CN 114783217A CN 202210140656 A CN202210140656 A CN 202210140656A CN 114783217 A CN114783217 A CN 114783217A
Authority
CN
China
Prior art keywords
teaching
entertainment
interaction
data
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210140656.8A
Other languages
English (en)
Inventor
应宏
张炜
殷慧青
张潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Chaohu Intelligent Technology Co ltd
Original Assignee
Hangzhou Chaohu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Chaohu Intelligent Technology Co ltd filed Critical Hangzhou Chaohu Intelligent Technology Co ltd
Priority to CN202210140656.8A priority Critical patent/CN114783217A/zh
Publication of CN114783217A publication Critical patent/CN114783217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Abstract

本发明公开了一种基于多模态交互的教学设备，包括显示装置、影音采集装置和交互板：所述显示装置执行教学内容和/或相应娱乐情景展现；执行教学内容和/或相应娱乐情景展现包括图像和音频信息；所述影音采集装置获取使用者学习和/或娱乐时的信息；影音采集装置通过采集的信息根据相应教学内容和/或相应娱乐情景，评估使用者的教学内容和/或娱乐任务的结果信息和/或过程数据；所述交互板用于展现相应需要操作的教学内容和/或相应娱乐情景，使用者通过依照教学内容和/或娱乐情景的指示，在交互板上进行相应的操作，以完成教学内容和/或娱乐任务；本发明提供配置灵活、可玩度高、多年龄段儿童可玩的一种基于多模态交互的教学设备。

Description

一种基于多模态交互的教学设备及系统
技术领域
本发明涉及电子教学技术领域，更具体的说，它涉及一种基于多模态交互的教学设备及系统。
背景技术
学习娱乐在一个人的成长中，具有核心地位。知识的种类包括各种类别。要先学习语言，然后再学习文学、艺术、逻辑、自然、科技等。由于需要学习的知识量是那样的庞大，以至于每个人在走向社会，成为专业人才之前，需要在学校专门学习多年。
因此随着技术的发展和进步，出现了越来越多能够提高学习效率的设备，更多寓教于乐的学习装置。但更多的偏向于具有较高学识的人使用，而针对少儿、幼童却十分的少。
如申请号CN1272800A，专利名称为：交互式玩具，其公开了在语音交互上的使孩童娱乐的互动方式，但从具体内容可知，其需要有相当的语言能力后方可真正使用，实现娱乐。
如申请号CN1628331A，专利名称为：交互式装置上的书写和方法，其公开了在书写学习上的交互方式，并能从文中得出申请人为了更好地提供学习效果加入了相应灯光的效果，但其在使用时，儿童已经到了要学习书法之时，对于更小的儿童却难以有效使用，娱乐其中。
因此，为了更好地学习、娱乐，需要购置大量的相应学习装置，这对普通消费者而已是难以承受的经济压力。故市场上急需具有更好地多年龄跨度可用的智能交互教学装置，具有多种交互方式，并充分考虑各年龄层不同的诉求需要的，可陪伴多年龄段儿童使用的设备。
发明内容
本发明克服了现有技术的不足，提供配置灵活、可玩度高、多年龄段儿童可玩的一种基于多模态交互的教学设备。
为了实现达到上述效果，本发明的技术方案如下：
一种基于多模态交互的教学设备，包括显示装置、影音采集装置和交互板：
所述显示装置执行教学内容和/或相应娱乐情景展现；执行教学内容和/或相应娱乐情景展现包括图像和音频信息；
所述影音采集装置获取使用者学习和/或娱乐时的信息；影音采集装置通过采集的信息根据相应教学内容和/或相应娱乐情景，评估使用者的教学内容和/或娱乐任务的结果信息和/或过程数据；
所述交互板用于展现相应需要操作的教学内容和/或相应娱乐情景，使用者通过依照教学内容和/或娱乐情景的指示，在交互板上进行相应的操作，以完成教学内容和/或娱乐任务。
进一步的，所述显示装置、影音采集装置和交互板采用可拆卸式组合装设。
进一步的，交互板包括定位模组和触摸屏：
所述定位模组采用NFC模块对矩形区域进行定位识别，并由定位模块将使用者操作时所接触的具体区域信息进行响应和反馈；
所述触摸屏设置在定位模组的上方，使用者在触摸屏上操作时，对应的NFC模块识别使用者操作时所接触的区域信息。
进一步的，交互板还包括灯光组件，灯光组件上设置与NFC模块对应的灯单元；所述灯单元能根据设置的教学内容和/或相应娱乐情景显示对应颜色的灯光。
进一步的，灯光组件通过电连接方式设置于定位模组和触摸屏之间，或者设置于定位模组下方。
进一步的，交互板可配套设置菲林片，所述菲林片可移动地设置于触摸屏上方；所述菲林片放置于触摸屏上时，通过点击所述菲林片对应的教学内容区域和/或相应娱乐情景区域，选取对应的教学内容和/或相应娱乐情景。
进一步的，还包括电路组件，所述电路组件设置于所述交互板前端，并与所述显示装置、影音采集装置和交互板电连接。
一种实物编程教学系统，包括：
至少一个集控模块；
与所述集控模块通信的权利要求1-7所述多个基于多模态交互的教学设备，所述基于多模态交互的教学设备配置有识别所述集控模块下发指令的处理器；
所述基于多模态交互的教学设备接收所述集控模块的下发指令，所述下发指令携带所述多个基于多模态交互的教学设备的身份信息、功能数据和动作数据；
所述基于多模态交互的教学设备响应所述下发指令并上传反馈信号，所述反馈信号包括身份匹配数据、与所述功能匹配的切换数据，以及，与所述动作数据对应的执行数据；
其中，所述动作数据对应的执行数据，通过所述基于多模态交互的教学设备采集用户特征数据及实物编程任务数据获得。
基于多模态交互的教学设备的控制方法，用于控制以上任何一项基于多模态交互的教学设备。
一种用于交互教学系统的计算设备，其嵌入并执行上述的基于多模态交互的教学设备的控制方法。
本发明相比现有技术优点在于：
本方案提供可灵活增设配置的装置，有效解决跨度多个年龄层可用的诉求，降低购买者的购买压力，且具有更好地多年龄跨度的智能交互功能，是满足匹配儿童兼具学习与娱乐需求的智能设备。
本方案的教学设备面上设置更简易的灯光组件，灯光组件通过电连接方式设置于定位模组和触摸屏之间，以此提高灯光照射效果，且可以针对不同年龄、不同场景环境，如灯光效果可与不同的菲林片结合，展现不同的灯光效果，辅助提高展现教学内容和/或相应娱乐情景的效果。本方案的教学设备可以通过NFC模块的定位模组进行定位控制，并可由此感知相应按件，或者读取外置物的种类。
附图说明
图1为本发明的结构示意图；
图2为本发明的交互板结构示意图；
图3为本发明的采用独立影音采集装置的示意图；
图4为本发明的交互板简易结构示意图；
图5为本发明设置均光膜的结构示意图；
图6为本发明的结构爆炸图；
图7为本发明的图4包含菲林片、灯光组件的爆炸图；
图8为本发明的计算设备示意图；
图9为本发明的计算机可读介质示意图。
图中标识：显示装置1、影音采集装置2、交互板3、定位模组4、触摸屏5、灯光组件6、菲林片7、均光膜8。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
为了使本领域技术人员在阅读实施例的时候能够更好地理解实施例的具体技术方案并帮助本领域技术人员通过阅读本发明的实施例来实现本发明的技术方案，首先对本发明中提到的一些技术术语进行解释，解释的目的不是为了限定本发明。
本发明中所称的集控模块是一个具有控制功能的电子元件或电子设备，它可以以电路板的形式体现，或者以服务器的形式体现，它可以具有至少一种控制功能，也可以具有多种控制功能，它的控制功能可以是独立的，也可以是集成的。
本发明中所称的交互，可以是指电子设备之间的交互，也可以是通过电子设备所体现出的某种功能，来建立使用者和电子设备之间的某些互动，例如使用者通过某个动作对电子设备进行某个或某些信号的输入，电子设备在收到这些信号之后，能够响应这些信号来执行某个程序或动作，又如，电子设备可以通过其某个元件，例如显示部件/发声部件/振动部件等，来对使用者进行视觉/听觉/触觉上的提示，从而使得使用者能够感受到电子设备在执行某个指令或者已经执行了某个指令。
所述多模态交互涉及的实物编程是一种特殊的编程形式，作为一种有形的编程语言。实物编程可以是：在图形化编程语言的基础上，将屏幕中的代码块实物化，封装到类似于乐高积木等实物模块当中，这些实物模块被赋予不同的属性或功能，如函数、变量、逻辑、传感器等。它们可以通过不同的堆叠方式表达程序逻辑，并对指令做出响应。在本发明中，实物编程可以体现为一种程序，这种程序可以在电子设备中被存储、交互或执行。
需要说明的是，本发明中所述的基于多模态交互的教学设备可以是智能学习桌面，其是一种以支持触摸、菲林片7、电容识别板面为硬件载体，结合主题实物搭建及情景化的任务场景，以寓教于乐的形式帮助孩子提升不同年龄段全面发展的产品。其采用强大的软硬结合的技术体系，AIoT云平台技术、物联网通讯技术、AI算法、阵列触摸传感交互技术，光场成像技术，结合针对儿童设计的人体工学，IP化、卡通化的风格，作为编程、认知和音乐教育的媒介，以及，作为控制面板与智能化玩具连接进行实物编程。结合科学的益智游戏及强大的后台大数据管理系统，针对不同小朋友的教学成果，输出益智报告。
以下将结合附图对具体的实施例进行详细的说明。下面结合附图和具体实施方式对本发明进一步说明。本文中未做详细说明的部分，都可以采用常规技术手段进行实现，故不再赘述。
实施例1：
如图1所示，一种基于多模态交互的教学设备，包括显示装置1、影音采集装置2和交互板3。
所述显示装置1执行教学内容和/或相应娱乐情景展现；执行教学内容和/或相应娱乐情景展现包括图像和音频信息。显示装置1多以显示屏方式进行设置，在交互板3的一侧设置相应显示屏，显示屏对教学内容进行进一步的操作说明，以及对需要完成的任务的说明解释；或对相应娱乐情景进行说明，甚至可以展示案例玩法等。自然也可以是包含相应教学设备的使用手册，进行功能解释，提示各种操作方式等。
所述影音采集装置2可通过摄像头和音频采集器，获取使用者学习和/或娱乐时的信息；影音采集装置2采集的信息根据相应教学内容和/或相应娱乐情景，以用于评估使用者的教学内容和/或娱乐任务的结果信息和/或过程数据。其中需要指出的影音采集装置2，可以是分开的设置摄像头和音频采集器，如在显示装置1上设置相应摄像头以进行图像数据的采集，音频采集器设置在交互板3另外的边上或者设置在显示装置1的两侧，便于更好的音频采集。自然也可以集成设计，将音频采集器结合在摄像头周边，或者直接设置于显示装置1上(可如图1所示)，有助于简化布局线路，提高整体空间利用率。还可如图3中所示，采用独立的连接设备作为音频采集器。
所述交互板3用于展现相应需要操作的教学内容和/或相应娱乐情景，使用者通过依照教学内容和/或娱乐情景的指示，在交互板3上进行相应的操作，以完成教学内容和/或娱乐任务。如图2所示，交互板3即可作为最重要的交互操作的板面，不仅可以显示相应的环境信息，也可以进行交互的操作。
具体如使用者进行教学数独的内容，显示装置1结合所述交互板3的提示会进行相应具体的内容，可以是规则的讲解，也可以是案例的讲解，或者通过通信协议进行远程网上授课，使用者通过学习后，会得到相应的练习任务，此时就由交互板3上进行显示。使用者独立完成相应练习任务，交互板3会全程记录使用者完成时间，完成的每一个步骤，已经准确率等信息。以此在完成任务后，会通过显示装置1获取相应完成度的评分，供使用者参考。
另外在出现使用者未通过演示内容，明白此教学或娱乐内容时，还可通过连线进行实时视频语音交流，进一步提高教学和娱乐质量。
所述显示装置1、影音采集装置2和交互板3采用可拆卸式组合装设。即显示装置1可以和交互板3拆卸，影音采集装置2也可以和交互板3拆卸。对于部分显示装置1与影音采集装置2是设置在一起的，其也可以是采用可拆卸结构进行设计。自然可以是部分一体化的，如显示装置1上内置了影音采集装置2，或者影音采集装置2与交互板3一体化。其中，可拆卸方式可以采用滑槽或者卡扣进行组合固定。
实施例2：
如图2、4所示，交互板3包括定位模组4和触摸屏5。
所述定位模组4采用NFC模块对矩形区域进行定位识别，并由定位模块将使用者操作时所接触的具体区域信息进行响应和反馈。即定位模块对整个交互板3划分为多个小的矩形区域，每个矩形区域下设置NFC模块单元，从而当特定实物放入该区域时就会检测到，将区域信息进行响应和反馈。区域信息包括了NFC模块本身的信息，由此可确认所处的区域；还会包括放入此区域的实物信息，以此知道使用者的每步操作。
所述触摸屏5设置在定位模组4的上方，用于保护定位模组4，且使用者在触摸屏5上操作时，对应的NFC模块识别使用者操作时所接触的区域信息。传统的触摸或放置区域有物体的定位，多通过电阻或电容的原理进行定位，其造价高昂，采用NFC模块进行定位识别将大大降低成本，而且由于本设备多是针对幼童、少年儿童为主，将具有更好的容错能力，十分符合使用者的习惯。
实施例3：
更进一步地，如图6交互板3还可以包括灯光组件6，灯光组件6上设置与NFC模块对应的灯单元；所述灯单元能根据设置的教学内容和/或相应娱乐情景显示对应颜色的灯光。如教学内容需要在草地进行，则对应的灯光组件6打出绿光，营造草地的氛围。或者像娱乐游戏打地鼠，需要将每个矩形区域营造成地洞，则对应的灯光组件6就变成土黄色。
具体的，灯光组件6设置于定位模组4、触摸屏5之间，或者设置于定位模组4下方。灯光组件6最大的作用是营造相应的灯光效果，以配合对应教学内容和/或娱乐情景。所以在位置设置上并没有特别的规定，可以是位于定位模组4、触摸屏5之间，也可以是设置于定位模组4下方。当然在考虑到相应光折射效果，当放置于定位模组4下方时，相对于设置于定位模组4、触摸屏5之间，光线会更加柔和、不刺眼。根据需要也可以多设置一层均光膜8，具体位置如图5所示，均光膜8设置在触摸屏5下方。
一般情况下，灯单元沿着划分的矩形区域进行延边设置，相邻两个矩形区域也可以采用共用一组灯单元的方式进行设置，自然可以是每个区域各自设置一组灯单元。
实施例4，在实施例一-实施例三的基础上；
如图6、7所示，交互板3还可以配套设置菲林片7，所述菲林片7可移动地设置于触摸屏5上方；所述菲林片7放置于触摸屏5上时，通过点击所述菲林片7对应的教学内容区域和/或相应娱乐情景区域，选取对应的教学内容和/或相应娱乐情景。当菲林片7放置于触摸屏5上方时，菲林片7本身印有相应的教学内容和/或相应娱乐情景，将更有效地把使用者带入其情景之中。菲林片7本身可以是带NFC标签的可拆卸的装配于触摸屏5上，交互板3通过菲林片7上的信息，从而将交互板3转换为对应设置的情景。即可以是由菲林片7来主导所产生的交互板3情景，也可以是交互板3设定相应情景后选择对应的菲林片7。
实施例5：基于多模态交互的教学设备的控制方法，通过实施例一、实施例四中的实物编程教学系统执行，包括：
该系统包括：至少一个集控模块；可以通过所述集控模块进行设备管理和实物编程任务实现。
参考图7，与所述集控模块通信的多个基于多模态交互的教学设备，所述基于多模态交互的教学设备配置有识别所述集控模块下发指令的处理器，本发明中，所述处理器搭载于电路组件9的形式设置于所述交互板前端，并与所述显示装置、影音采集装置和交互板电连接。所述基于多模态交互的教学设备的控制方法包括：
所述基于多模态交互的教学设备接收所述集控模块的下发指令，所述下发指令携带所述多个基于多模态交互的教学设备的身份信息、功能数据和动作数据；其中，所述身份信息可以包括基于多模态交互的教学设备的型号、编号、所处位置等。所述动作数据包括声音调节、开关机、执行数据等。
所述基于多模态交互的教学设备响应所述下发指令并上传反馈信号，所述反馈信号包括身份匹配数据、与所述功能匹配的切换数据，以及，与所述动作数据对应的执行数据；更为具体地，其中，所述动作数据对应的执行数据，通过所述基于多模态交互的教学设备采集用户特征数据及实物编程任务数据获得。
所述用户特征数据可以包括使用者身份信息，比如姓名、性别、所属年级等。所述实物编程任务数据可以包括相应教学内容中布置的编程任务内容、编程任务要求、编程注意事项等。
在一些优选的方式中，所述功能数据包括但不限于：基于多模态交互的教学设备的模式选择数据，所述基于多模态交互的教学设备部件功能开闭数据。
在一些优选的方式中，所述模式选择数据包括但不限于：游戏模式、编程模式、协作模式、音乐模式。通过集控模块，可以使基于多模态交互的教学设备处于某一模式下或者切换至某一模式，还可以调节基于多模态交互的教学设备的声音大小等功能。
实施例6：
一种计算设备，其可以配置为实施例一-五所述的基于多模态交互的教学设备的电路及处理器组件，包括但不限于：至少一个处理器及至少一个存储器。
如图8所示，作为优选基于多模态交互的教学设备以通用计算设备80的形式表现。计算设备80的组件可以包括但不限于：上述至少一个处理器81、上述至少一个存储器82、连接不同系统组件(包括存储器82和处理器81)的总线83。
总线83表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器82可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)821和/或高速缓存存储器822，还可以进一步包括只读存储器(ROM)823。
存储器82还可以包括具有一组(至少一个)程序模块824的程序/实用工具825，这样的程序模块824包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备80也可以与一个或多个外部设备84(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算设备80交互的设备通信，和/或与使得该计算设备80能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口85进行。并且，计算设备80还可以通过网络适配器86与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器86通过总线83与用于计算设备80的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，根据本申请的计算设备可以包括至少一个处理器81、以及至少一个存储器82(如第一服务器)。其中，存储器82存储有程序代码，当程序代码被处理器81执行时，使得处理器81执行本说明书上述描述的根据本申请各种示例性实施方式的系统权限开启方法中的步骤。
实施例7：
如图9所示，一种计算机可读介质91，包括程序代码，所述程序代码适于在被数据处理器处理执行时，使得所述数据处理执行实施例一-实施例五基于多模态交互的教学设备的控制方法。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、控制装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域普通技术人员可以理解实现上述实施例中的全部或部分内容，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例的所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于多模态交互的教学设备，其特征在于：包括显示装置、影音采集装置和交互板：
所述显示装置执行教学内容和/或相应娱乐情景展现；执行教学内容和/或相应娱乐情景展现包括图像和音频信息；
所述影音采集装置获取使用者学习和/或娱乐时的信息；影音采集装置通过采集的信息根据相应教学内容和/或相应娱乐情景，评估使用者的教学内容和/或娱乐任务的结果信息和/或过程数据；
所述交互板用于展现相应需要操作的教学内容和/或相应娱乐情景，使用者通过依照教学内容和/或娱乐情景的指示，在交互板上进行相应的操作，以完成教学内容和/或娱乐任务。
2.根据权利要求1所述的基于多模态交互的教学设备，其特征在于：所述显示装置、影音采集装置和交互板采用可拆卸式组合装设。
3.根据权利要求1所述的基于多模态交互的教学设备，其特征在于：交互板包括定位模组和触摸屏：
所述定位模组采用NFC模块对矩形区域进行定位识别，并由定位模块将使用者操作时所接触的具体区域信息进行响应和反馈；
所述触摸屏设置在定位模组的上方，使用者在触摸屏上操作时，对应的NFC模块识别使用者操作时所接触的区域信息。
4.根据权利要求3所述的基于多模态交互的教学设备，其特征在于：交互板还包括灯光组件，灯光组件上设置与NFC模块对应的灯单元；所述灯单元能根据设置的教学内容和/或相应娱乐情景显示对应颜色的灯光。
5.根据权利要求4所述的基于多模态交互的教学设备，其特征在于：灯光组件通过电连接方式设置于定位模组和触摸屏之间，或者设置于定位模组下方。
6.根据权利要求3或4所述的基于多模态交互的教学设备，其特征在于：交互板可配套设置菲林片，所述菲林片可移动地设置于触摸屏上方；所述菲林片放置于触摸屏上时，通过点击所述菲林片对应的教学内容区域和/或相应娱乐情景区域，选取对应的教学内容和/或相应娱乐情景。
7.根据权利要求1所述的基于多模态交互的教学设备，其特征在于：还包括电路组件，所述电路组件设置于所述交互板前端，并与所述显示装置、影音采集装置和交互板电连接。
8.一种实物编程教学系统，其特征是，包括：
至少一个集控模块；
与所述集控模块通信的权利要求1-7所述多个基于多模态交互的教学设备，所述基于多模态交互的教学设备配置有识别所述集控模块下发指令的处理器；
所述基于多模态交互的教学设备接收所述集控模块的下发指令，所述下发指令携带所述多个基于多模态交互的教学设备的身份信息、功能数据和动作数据；
所述基于多模态交互的教学设备响应所述下发指令并上传反馈信号，所述反馈信号包括身份匹配数据、与所述功能匹配的切换数据，以及，与所述动作数据对应的执行数据；
其中，所述动作数据对应的执行数据，通过所述基于多模态交互的教学设备采集用户特征数据及实物编程任务数据获得。
9.基于多模态交互的教学设备的控制方法，用于控制以上权利要求1至8中的任何一项基于多模态交互的教学设备。
10.一种用于交互教学系统的计算设备，其嵌入并执行上述权利要求9所述的基于多模态交互的教学设备的控制方法。
CN202210140656.8A 2022-02-16 2022-02-16 一种基于多模态交互的教学设备及系统 Pending CN114783217A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210140656.8A CN114783217A (zh) 2022-02-16 2022-02-16 一种基于多模态交互的教学设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210140656.8A CN114783217A (zh) 2022-02-16 2022-02-16 一种基于多模态交互的教学设备及系统

Publications (1)

Publication Number Publication Date
CN114783217A true CN114783217A (zh) 2022-07-22

Family

ID=82422547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210140656.8A Pending CN114783217A (zh) 2022-02-16 2022-02-16 一种基于多模态交互的教学设备及系统

Country Status (1)

Country Link
CN (1) CN114783217A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202771652U (zh) * 2012-09-03 2013-03-06 上海望望文化发展有限公司 益智体验桌
CN103785145A (zh) * 2012-11-01 2014-05-14 西安天动数字科技有限公司 人机互动式多媒体跳舞健身系统
CN105335258A (zh) * 2014-06-19 2016-02-17 联想(北京)有限公司 一种位置定位方法及电子设备
CN206929744U (zh) * 2017-07-07 2018-01-26 厦门市奥格智能科技有限公司 智能灯光控制面板
CN108986569A (zh) * 2018-08-24 2018-12-11 深圳市玩瞳科技有限公司 一种桌面ar交互学习方法及装置
US20200242953A1 (en) * 2017-10-20 2020-07-30 Shenzhen Eaglesoul Technology Co., Ltd. Internet teaching platform-based following teaching system
CN112652200A (zh) * 2020-11-16 2021-04-13 北京家有课堂科技有限公司 人机交互系统、方法、服务器、交互控制设备及存储介质
CN112791430A (zh) * 2021-02-04 2021-05-14 深圳心时代创意开发有限公司 积木板组件和基于积木的环境创意多媒体互动教学系统
CN214189482U (zh) * 2020-11-19 2021-09-14 智马达汽车有限公司 一种氛围灯交互系统和汽车
CN113903197A (zh) * 2021-10-22 2022-01-07 成都信息工程大学 一种自闭症儿童生活教育之叠被子教学装置及方法
CN113918074A (zh) * 2021-10-12 2022-01-11 成都信息工程大学 一种用于自闭症儿童认知教学的光影实体交互装置及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202771652U (zh) * 2012-09-03 2013-03-06 上海望望文化发展有限公司 益智体验桌
CN103785145A (zh) * 2012-11-01 2014-05-14 西安天动数字科技有限公司 人机互动式多媒体跳舞健身系统
CN105335258A (zh) * 2014-06-19 2016-02-17 联想(北京)有限公司 一种位置定位方法及电子设备
CN206929744U (zh) * 2017-07-07 2018-01-26 厦门市奥格智能科技有限公司 智能灯光控制面板
US20200242953A1 (en) * 2017-10-20 2020-07-30 Shenzhen Eaglesoul Technology Co., Ltd. Internet teaching platform-based following teaching system
CN108986569A (zh) * 2018-08-24 2018-12-11 深圳市玩瞳科技有限公司 一种桌面ar交互学习方法及装置
CN112652200A (zh) * 2020-11-16 2021-04-13 北京家有课堂科技有限公司 人机交互系统、方法、服务器、交互控制设备及存储介质
CN214189482U (zh) * 2020-11-19 2021-09-14 智马达汽车有限公司 一种氛围灯交互系统和汽车
CN112791430A (zh) * 2021-02-04 2021-05-14 深圳心时代创意开发有限公司 积木板组件和基于积木的环境创意多媒体互动教学系统
CN113918074A (zh) * 2021-10-12 2022-01-11 成都信息工程大学 一种用于自闭症儿童认知教学的光影实体交互装置及方法
CN113903197A (zh) * 2021-10-22 2022-01-07 成都信息工程大学 一种自闭症儿童生活教育之叠被子教学装置及方法

Similar Documents

Publication Publication Date Title
US20130076788A1 (en) Apparatus, method and software products for dynamic content management
US20090235162A1 (en) Method and system for providing enhanced virtual books
CN108536672A (zh) 智能机器人培训方法、装置、计算机设备及存储介质
D'Errico Interface aesthetics: Sound, software, and the ecology of digital audio production
CN110111611A (zh) 信息处理方法、装置、介质和电子设备
CN102959601A (zh) 使儿童适于不带口音地学习任何语言的系统
US20200013406A1 (en) Control method for human-computer interaction device, human-computer interaction device and human-computer interaction system
Mabingo Integrating emerging technologies in teaching Ugandan traditional dances in K-12 schools in New York City
Krestanova et al. Development and technical design of tangible user interfaces in wide-field areas of application
Dhiman Artificial Intelligence and Voice Assistant in Media Studies: A Critical Review
CN109615953A (zh) 一种教育机器人的交互方法、装置、机器人及存储介质
Gowers Making everyday meanings visible: Investigating the use of multimodal map texts to articulate young children’s perspectives
Feng Design and research of music teaching system based on virtual reality system in the context of education informatization
CN114783217A (zh) 一种基于多模态交互的教学设备及系统
CN216352272U (zh) 一种智能学习桌面及计算设备
CN110070869A (zh) 语音互动生成方法、装置、设备和介质
TW201705100A (zh) 虛擬情境之語言學習互動設備
Graakjær The bonding of a band and a brand: On music placement in television commercials from a text analytical perspective
Husby et al. Integrated learning of music and science: reception of Björk’s Biophilia project in the Nordic countries
TWM514598U (zh) 虛擬情境之語言學習互動設備
Aguilera Analyzing digital literacy demands, practices, and discourses within a library computer programming club for children
Guadalupe User-Centered Design to a Digital Cultural Heritage Installation Based on Afro-Peruvian Musical Legacy
Young A Participatory Design Method for Qualitative Data Sonification
Burnett Designing digital and physical interactions for the Digital Public Space
US20240126411A1 (en) Device, system, and method for electronic book enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination