CN108877336A - 基于增强现实技术的教学方法、云服务平台和教学系统 - Google Patents
基于增强现实技术的教学方法、云服务平台和教学系统 Download PDFInfo
- Publication number
- CN108877336A CN108877336A CN201810728916.7A CN201810728916A CN108877336A CN 108877336 A CN108877336 A CN 108877336A CN 201810728916 A CN201810728916 A CN 201810728916A CN 108877336 A CN108877336 A CN 108877336A
- Authority
- CN
- China
- Prior art keywords
- information
- user
- knowledge
- robot
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 27
- 230000008921 facial expression Effects 0.000 claims abstract description 61
- 230000002996 emotional effect Effects 0.000 claims abstract description 40
- 230000008909 emotion recognition Effects 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 18
- 230000008451 emotion Effects 0.000 claims description 17
- 230000001815 facial effect Effects 0.000 claims description 17
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 239000000463 material Substances 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Abstract
本发明属于人工智能技术领域，提供一种基于增强现实技术的教学方法、云服务平台和教学系统，其中，所述方法包括：基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端；接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；根据所述用户真实情感信息实时调整呈现给用户的知识内容，解决了现有技术中机器人教学效果差的技术问题。
Description
技术领域
本发明属于人工智能技术领域，尤其涉及一种基于增强现实技术的教学方法、云服务平台和教学系统。
背景技术
现有的人工智能教育机器人主要分为两类：一种是完全虚拟的虚拟机器人，一种是现实的实物机器人。所述虚拟机器人是指用户在终端的显示屏上看到的模拟教师授课的机器人。由于所述虚拟机器人无法与用户进行交互，使得用户只能被动的接收所传授的知识，具有教学效果差的缺点。
然而，实物机器人受目前机器人技术的限制，一般只能完成较简单的对话功能，无法满足用户多种多样的学习需求，因此，同样具有教学效果差的缺点。
发明内容
本发明的目的在于提供一种基于增强现实技术的教学机器人、云服务平台和教学系统，可以解决现有技术中机器人教学效果差的技术问题。
本发明实施例第一方面提供一种基于增强现实技术的教学方法，包括：
基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；
接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；
对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；
根据所述用户真实情感信息实时调整呈现给用户的知识内容。
进一步地，所述基于知识图谱，将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：
构建知识图谱；
所述构建知识图谱包括：
获取知识点数据信息；
提取所述知识点数据信息的实体信息、属性信息和关系信息；
根据所述实体信息、属性信息和关系信息对所述知识点数据信息进行知识点信息融合；
将所述已融合的知识点信息进行本体化描述，并基于知识图谱中的已存在的知识点信息的实体信息、属性信息和关系信息进行知识推理，建立所述已融合的知识点信息与所述已存在的知识点信息的关联，生成结构化的知识内容。
又进一步地，所述将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：
制作虚拟机器人动作库；
根据所述结构化的知识内容向所述用户终端输出所述虚拟机器人动作库中存储的虚拟机器人动作，以便通过所述用户终端的交互界面中显示与所述实物机器人配合的虚拟机器人进行辅助教学。
进一步地，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息包括：
对所述图像信息进行人脸检测，得到人脸图像；
利用子空间特征提取方法对人脸图像中的高维面部特征投影到低维空间，得到人脸特征信息；
根据所述人脸特征信息结合面部活动单元编码系统对所述人脸图像进行表情分类，得到人脸表情信息。
进一步地，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息还包括：
对所述语音信息进行滤波，并利用训练好的声学模型和语言模型将所述滤波后的语音信息转换为文本信息；
对所述文本信息进行分词，并提取与情感有关的文本特征信息；
通过无监督学习获取所述文本特征信息对应的情感模式，得到所述语音情感信息。
进一步地，所述对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息之后，还包括：
输出用于与用户进行交互的对话内容；
所述输出用于与用户进行交互的对话内容，包括：
利用多种对话模型对所述语音信息进行响应，得到多个与用户进行交互的对话内容；
利用训练好的深度强化学习模型对所述多个与用户进行交互的对话内容进行选择，并输出选中的用于与用户进行交互的对话内容。
可选地，所述输出用于与用户进行交互的对话内容之后，包括：
根据用户的语音信息和与用户进行交互的对话内容，评估用户的知识结构，根据所述用户的知识结构制定呈现给用户的知识内容。
本发明实施例第二方面提供一种基于增强现实技术的云服务平台，包括：
发送模块，用于基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；
识别模块，用于接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；
计算模块，用于对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；
调整模块，用于根据所述用户真实情感信息实时调整呈现给用户的知识内容。
本发明实施例第三方面提供一种基于增强现实技术的教学系统，包括：云服务平台、实物机器人和用户终端；
所述云服务平台，用于基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；
所述实物机器人，用于采集现实场景的图像信息和语音信息，并发送给所述云服务平台，并将所述云服务平台发送的知识内容呈现给用户；
所述云服务平台，还用于接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；根据所述用户真实情感信息实时调整呈现给用户的知识内容；
所述用户终端，用于将所述云服务平台发送的知识内容呈现给用户。
可选地，所述云服务平台，还用于根据所述图像信息和所述知识内容生成机器人动作控制指令，并将所述机器人动作控制指令发送给所述实物机器人；
所述实物机器人，还用于根据所述机器人动作控制指令移动至目标位置并执行辅助教学动作。
本发明实施例中，利用结合增强现实技术和机器人技术的人工智能教学系统，以实物机器人和虚拟机器人为主要交互对象，不仅能够实现传统教学环境中的以语音、视频、图片和文本为交流媒介，还能提供活灵活现的物理机器人和千变万化的虚拟机器人进行辅助教学，增强了教学的参与感。还能够根据用户的人脸表情信息和语音情感信息实时调整教学内容，为用户制定个性化的学习路径，提高了教学效果和学习体验，解决了现有技术中机器人教学效果差的技术问题，促进教育资源的普适化。
附图说明
图1示出了本发明实施例提供的一种基于增强现实技术的教学方法的实现流程示意图；
图2为本发明实施例提供的一种基于增强现实技术的教学方法S101的具体实现流程示意图；
图3为本发明实施例提供的一种基于增强现实技术的教学方法S102的具体实现流程示意图；
图4为本发明实施例提供的一种基于增强现实技术的教学方法S102的另一具体实现流程示意图；
图5为本发明实施例提供的输出对话内容的实现流程示意图；
图6为本发明实施例提供的一种基于增强现实技术的云服务平台的结构示意图；
图7为本发明实施例提供的一种基于增强现实技术的教学系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
增强现实技术(Augmented Reality，简称AR)是一门综合技术，以计算机技术为主，综合利用计算机图形学、图像可视化、人机交互、人工智能、计算机网络和高性能计算等许多领域的技术。在增强现实的环境中，使用者可以在看到周围真实环境的同时，还可以看到计算机产生的增强信息。由于增强现实技术实现了在虚拟现实与真实世界之间的沟壑上架起了一座桥梁，因而被广泛应用于军事、医学、制造与维修、教育、娱乐等众多领域。
图1示出了本发明实施例提供的一种基于增强现实技术的教学方法的实现流程示意图，所述方法由云服务平台通过软件或硬件执行，所述云服务平台可以为终端或服务器。具体地，所述方法包括步骤S101至步骤S104。
S101，基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现。
所述知识图谱(Knowledge Graph)是指以图的方式或其他方式存储知识的知识库，包括实体和实体关系，所述实体对应现实世界的事物，所述实体关系对应所述知识图谱中的边，所述实体对应所述知识图谱中的点。
现有技术中的教材内容一般存在以下问题：内容固定，无法根据不同知识背景与学习情况的学生进行内容的删简或扩充；形式单一，只能通过文字、图表和图片等表示形式；注重概念机械化的准确表述，缺少从学习者的角度考虑。针对这些问题，本发明实施例将知识内容以知识图谱的方式呈现给用户。
可选地，本发明实施例中，所述云服务平台根据教学大纲和教学策略，首先将知识点预先设置教学路径，然后以知识图谱的方式逐一展现给学习者(用户)，并辅以虚拟机器人和物理机器人的相应姿势、动画等呈现形式，增强学习者的感受。解决了现有技术中教材内容固定，无法根据不同知识背景与学习情况的学生进行内容的删简或扩充；形式单一，只能通过文字、图表和图片等表示形式；注重概念机械化的准确表述，缺少从学习者的角度考虑的技术问题。
可选地，所述基于知识图谱，将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：构建知识图谱。
其中，如图2所示，所述构建知识图谱包括：步骤S201至步骤S204。
S201，获取知识点数据信息。
所述获取知识点数据信息包括文字、声音、图片和视频等类型的数据，并且可以从网络中获取，例如，从百科类网站中获取所述知识点数据信息，以及从数字教材中获取所述知识点数据信息。
S202，提取所述知识点数据信息的实体信息、属性信息和关系信息。
本发明实施例中，将所述知识图谱从逻辑上分为数据层和模式层，数据层以事实为单位来描述知识点，包括文字、声音、图片和视频等知识点数据信息的描述，这些数据存储在数据库中；模式层是经过提炼的知识，是知识图谱的核心，存储在本体库中。本体库相当于知识图谱的模具，可以利用公理、规则等约束条件规范实体的类型、属性和与其他对象之间的关系。因此，在获取了所述知识点数据信息后，需要根据所述知识图谱构建的规则提取所述实体信息、属性信息和关系信息。以便根据所述实体信息、属性信息和关系信息将所述知识点数据信息以知识图谱的方式进行存储。
S203，根据所述实体信息、属性信息和关系信息对所述知识点数据信息进行知识点信息融合。
在明确了所述知识点数据信息的实体信息、属性信息和关系信息，即可根据所述实体信息、属性信息和关系信息对所述知识点数据信息进行知识点信息融合。
例如，根据所述知识点数据信息的实体信息、属性信息和关系信息判断所述知识点数据信息中是否存在信息冗余，并去除冗余，以及判断是否存在歧义或者错误信息，将可以融合知识点数据信息进行融合。
其中，所述根据所述实体信息、属性信息和关系信息对所述知识点数据信息进行知识点信息融合包括：主要通过从数据中抽取知识点实体指称项。进行实体消歧和共指消解，用以判断该实体是否与知识库中的同名实体表示同一含义，以及是否存在其他命名实体与该知识点实体表示相同含义。如果知识库中没有这一知识点实体，则将其加入知识库中；若有，则将该知识点实体链接到知识图谱中对应的知识点。
例如，将可以互补的知识点数据信息进行融合，生成已融合的知识点信息。
S204，将所述已融合的知识点信息进行本体化描述，并基于知识图谱中的已存在的知识点信息的实体信息、属性信息和关系信息进行知识推理，建立所述已融合的知识点信息与所述已存在的知识点信息的关联，生成结构化的知识内容。
本发明实施例中，对已融合的知识点信息根据实体信息、属性信息和关系信息按知识图谱的体系结构规则进行本体化描述之后，可以通过一个知识点与其他知识点之间的关联进行传播推理，构建出新的知识点之间的关系，形成一个关系网络，不仅有实体概念等不同层次的描述，还有知识点之间关系的描述，即，结构化的知识内容。
本发明实施例中，所述将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：制作虚拟机器人动作库；根据所述结构化的知识内容向所述用户终端输出所述虚拟机器人动作库中存储的虚拟机器人动作，以便通过所述用户终端的交互界面中显示与所述实物机器人配合的虚拟机器人进行辅助教学。
可选地，所述虚拟机器人可以以拟人化姿态和声音模拟教师进行教学。例如，模仿教师的手势、口型和表情等动作。还可以幻化成与知识内容相关的形象进行教学。
例如，若教学内容为朗读现代文，则该虚拟机器人的声音可以为预设播音员的声音。或者，若所述教学内容为朗读古诗词，并且当朗读的古诗词属于气势磅礴类型时，所述虚拟机器人的声音可以为预设的雄浑男声，同步的，所述虚拟机器人的形象还可以根据教学内容变为古代诗人的形象；当朗读的古诗词属于婉约类型时，该虚拟机器人的声音为预设的婉转的女声，同步的，此时虚拟机器人的形象还可以根据教学内容变为古代女性的形象。优选的，虚拟机器人根据教学内容呈动态形象。
所述实物机器人可以配合虚拟机器人进行辅助教学，例如，行走到特定位置、说出相应的内容和播放相应课件等，以实现拟人化的授课。
其中，所述实物机器人配置有自适应巡航控制装置和变阻抗驱动器，整合了视觉、听觉和触觉等传感器能够感知环境，并装有运动控制系统能够正常行走，手部配置有变刚度灵巧手(变阻抗驱动器)，具有多个自由度，可以实现与用户进行友好交互。
S102，接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息。
本发明实施例中，所述云服务平台通过对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息，实现不仅能够基于知识图谱，将结构化的知识内容展现给学生(用户)，还能够“察言观色”，感知学生的情感状态，及时调整教学内容和风格，提高学生的学习体验和学习效果。
可选地，如图3所示，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息包括：步骤S301至步骤S303。
S301，对所述图像信息进行人脸检测，得到人脸图像。例如，通过人脸检测算法，从所述图像信息中定位出人脸信息。
S302，利用子空间特征提取方法对人脸图像中的高维面部特征投影到低维空间，得到人脸特征信息。例如，针对面部整体特征，将高维面部特征投影到低维空间，只保留对表情分类具有较强鉴别能力的特征，实现降维、消除相关性和提高分类性能的效果。
S303，根据所述人脸特征信息结合面部活动单元编码系统对所述人脸图像进行表情分类，得到人脸表情信息。
例如，所述人脸表情信息包括高兴、惊讶、厌烦、困惑、疲劳、专注和焦虑等分类信息。
可选地，如图4所示，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息还包括：步骤S401至步骤S403。
S401，对所述语音信息进行滤波，并利用训练好的声学模型和语言模型将所述滤波后的语音信息转换为文本信息。
S402，对所述文本信息进行分词，并提取与情感有关的文本特征信息。
S403，通过无监督学习获取所述文本特征信息对应的情感模式，得到所述语音情感信息。
本发明实施例中，通过对所述语音信息进行滤波实现降噪处理，再利用训练好的声学模型和语言模型将所述滤波后的语音信息转换为文本信息，对所述文本信息进行分词，并提取与情感有关的字、词语和短语等文本特征信息，通过无监督学习获取所述文本特征信息对应的情感模式，得到所述语音情感信息。
同样地，所述语音情感信息包括高兴、惊讶、厌烦、困惑、疲劳、专注和焦虑等分类信息。
S103，对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息。
在获取了所述人脸表情信息和所述语音情感信息之后，需要对所述人脸表情信息和所述语音情感信息进行融合计算，本发明实施例中，对通过所述人脸表情信息得到的情感分类与通过所述语音情感信息得到的情感分类，以及每种情感分类的强度进行加权平均，从而获取最接近用户真实情感的情感信息。在实际过程中当人脸表情信息和所述语音情感信息有较大的不一致时，需对所述人脸表情信息和所述语音情感信息单独分析，重新调整计算，得到所述用户真实情感信息。
S104，根据所述用户真实情感信息实时调整呈现给用户的知识内容。
本发明实施例中，所述根据所述用户真实情感信息实时调整呈现给用户的知识内容包括：根据各个情感维度的强弱程度，预先设计一系列响应规则，比如当困惑这一维度的情感较为强烈时，可以暂缓当前的教学内容，通过提问询问学生是否有问题，具体哪里不明白，从而推送相应的教学内容或者调整教学风格(语速快慢、问答模式等)，并相应调整虚拟机器人和实物机器人的配套图片、视频或动作等展现形式。
例如，云服务平台对所述图像信息和语音信息进行人脸表情识别和语音情感识别，发现当前教学过程中认真听讲的学生人数少于预设比例，其余学生的面部表情显示为走神或者瞌睡状态，则判定教学氛围处于消极状态，此时，云服务平台通过用户终端或实物机器人对处于走神或者瞌睡状态的学生进行提问，或者根据知识内容邀请处于消极状态的学生与实物机器人进行互动；若云服务平台对所述图像信息和语音信息进行人脸表情识别和语音情感识别，发现有目标学生对于当前的内容显示出疑惑状态，则云服务平台控制虚拟教学机器人向目标学生根据当前教学内容发出询问。
又例如，若当前参与教学的学生人数少于预设人数，云服务平台对图像信息中的面部表情进行分析后发现有目标学生对于当前的内容显示出疑惑状态，则直接控制用户终端对当前的教学内容讲解减慢速度或者对当前的教学内容进行预设的扩展性讲解。
本发明实施例中，利用结合增强现实技术和机器人技术的人工智能教学系统，以实物机器人和虚拟机器人为主要交互对象，不仅能够实现传统教学环境中的以语音、视频、图片和文本为交流媒介，还能提供活灵活现的物理机器人和千变万化的虚拟机器人进行辅助教学，增强了教学的参与感。还能够根据用户的人脸表情信息和语音情感信息实时调整教学内容，为用户制定个性化的学习路径，提高了教学效果和学习体验，解决了现有技术中机器人教学效果差的技术问题，促进教育资源的普适化。
可选地，在步骤S103之后，还包括：输出用于与用户进行交互的对话内容。
如图5所示，所述输出用于与用户进行交互的对话内容，包括：步骤S501至S502。
S501，利用多种对话模型对所述语音信息进行响应，得到多个与用户进行交互的对话内容。
S502，利用训练好的深度强化学习模型对所述多个与用户进行交互的对话内容进行选择，并输出选中的用于与用户进行交互的对话内容。
对话功能是教学系统的核心功能之一，不仅能对学习者答疑、解惑，同时可以评估学习状态，调节情绪等。对话功能的性能直接影响教学效果和学生的学习体验。本发明实施例，针对教学场景，利用多种对话模型对所述语音信息进行响应，得到多个与用户进行交互的对话内容。其中，所述多种对话模型可以包括基于模板的对话模型、基于知识库的问答模型、基于检索的对话模型和基于生成的神经网络模型等，这些模型在回答不同类型的问题时各有优劣，比如对于日常问候语，基于模板的对话模型可能较优，而对于涉及具体知识点问题的回答，则基于知识库的问答模型可能较准确。因此，本发明实施例中，还通过利用训练好的深度强化学习模型对所述多个进行选择，得到最佳的对话内容并输出，以提高用户对对话内容的满意度。
可选地，所述深度强化学习模型的构建包括：将历史语音信息记录看作是当前的状态，其行动表示为选择候选的用于与用户进行交互的对话内容，构建具有多层神经网络的评分模型。所述深度强化学习模型的输入为基于历史对话和候选的用于与用户进行交互的对话内容的一系列特征表示，输出是对该历史语音信息和于与用户进行交互的对话内容的评分。其次，在构建所述深度强化学习模型时，可以利用马尔科夫决策过程的Q-Iearning对模型进行训练。
可选地，所述输出用于与用户进行交互的对话内容之前，还包括：对用户的语音信息进行识别、理解，确定是否为有意义的语音信息，以决定是否输出与用户进行交互的对话内容。
可选地，在多轮对话中，若语音信息的置信度分数较低，则可以要求用户重新输入语音信息。例如，在进行语音提问时，若用户的回答置信度分数较低，则要求用户重复回答。
可选地，所述输出用于与用户进行交互的对话内容之后，包括：根据用户的语音信息和与用户进行交互的对话内容，评估用户的知识结构，根据所述用户的知识结构制定呈现给用户的知识内容。
例如，在用户开始学习之前，与用户进行对话，所述云服务平台预置的学习评估模块根据用户的语音信息及与用户进行交互的对话内容，评估用户自身具有的知识结构，再根据用户自身已有的知识结构制定相应的知识内容，以实现个性化教学的目的。需要说明的是，在教学结束之后，也可以通过与用户进行对话，获得对进行教学效果的评价，并根据评价结果，自适应调整下次教学的教学内容，提高用户的学习效率，实现个性化教学。
又例如，所述学习评估模块与实物机器人直接进行交互完成学习效果评估。
本发明实施例通过评估每个学习者的知识结构、学习状态和学习效果等，对教学路径进行个性化调整，优化教学资源，避免学习者重复学习一些已经牢牢掌握的知识点，并补充相应知识盲点的教学内容；同时，对学习者的表情信息和语音信息进行情感分析，并融合两者信息进行情感极性分类和强度计算，根据计算结果对教学形式、方法和内容进行自适应调整，提高了学习者的学习效率，改善了学习者的学习体验。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，某些步骤可以采用其他顺序或者同时进行。
如图6所示，为本发明实施例提供的一种基于增强现实技术的云服务平台的结构示意图，包括：发送模块60，识别模块61，计算模块62，调整模块63。
发送模块60，用于基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；
识别模块61，用于接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；
计算模块62，用于对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；
调整模块63，用于根据所述用户真实情感信息实时调整呈现给用户的知识内容。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，本实施例提供的一种基于增强现实技术的云服务平台实现各自功能的过程，具体可参考前述方法实施例的描述，此处不再赘述。
如图7所示，为本发明实施例提供的一种基于增强现实技术的教学系统的结构示意图，包括：云服务平台70、实物机器人71和用户终端72；
所述云服务平台70，用于基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；
所述实物机器人71，用于采集现实场景的图像信息和语音信息，并发送给所述云服务平台，并将所述云服务平台发送的知识内容呈现给用户；
所述云服务平台70，还用于接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；根据所述用户真实情感信息实时调整呈现给用户的知识内容；
所述用户终端72，用于将所述云服务平台发送的知识内容呈现给用户。
其中，所述用户终端可以为智能手机、平板电脑和笔记本电脑等智能终端。
可选地，所述云服务平台，还用于根据所述图像信息和所述知识内容生成机器人动作控制指令，并将所述机器人动作控制指令发送给所述实物机器人；所述实物机器人，还用于根据所述机器人动作控制指令移动至目标位置并执行辅助教学动作。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所描述的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于增强现实技术的教学方法，其特征在于，包括：
基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；
接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；
对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；
根据所述用户真实情感信息实时调整呈现给用户的知识内容。
2.如权利要求1所述的教学方法，其特征在于，所述基于知识图谱，将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：
构建知识图谱；
所述构建知识图谱包括：
获取知识点数据信息；
提取所述知识点数据信息的实体信息、属性信息和关系信息；
根据所述实体信息、属性信息和关系信息对所述知识点数据信息进行知识点信息融合；
将所述已融合的知识点信息进行本体化描述，并基于知识图谱中的已存在的知识点信息的实体信息、属性信息和关系信息进行知识推理，建立所述已融合的知识点信息与所述已存在的知识点信息的关联，生成结构化的知识内容。
3.如权利要求1所述的教学方法，其特征在于，所述将结构化的知识内容通过实物机器人和用户终端呈现给用户之前，包括：
制作虚拟机器人动作库；
根据所述结构化的知识内容向所述用户终端输出所述虚拟机器人动作库中存储的虚拟机器人动作，以便通过所述用户终端的交互界面中显示与所述实物机器人配合的虚拟机器人进行辅助教学。
4.如权利要求1所述的教学方法，其特征在于，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息包括：
对所述图像信息进行人脸检测，得到人脸图像；
利用子空间特征提取方法对人脸图像中的高维面部特征投影到低维空间，得到人脸特征信息；
根据所述人脸特征信息结合面部活动单元编码系统对所述人脸图像进行表情分类，得到人脸表情信息。
5.如权利要求1所述的教学方法，其特征在于，所述分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息还包括：
对所述语音信息进行滤波，并利用训练好的声学模型和语言模型将所述滤波后的语音信息转换为文本信息；
对所述文本信息进行分词，并提取与情感有关的文本特征信息；
通过无监督学习获取所述文本特征信息对应的情感模式，得到所述语音情感信息。
6.如权利要求1所述的教学方法，其特征在于，所述对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息之后，还包括：
输出用于与用户进行交互的对话内容；
所述输出用于与用户进行交互的对话内容，包括：
利用多种对话模型对所述语音信息进行响应，得到多个与用户进行交互的对话内容；
利用训练好的深度强化学习模型对所述多个与用户进行交互的对话内容进行选择，并输出选中的用于与用户进行交互的对话内容。
7.如权利要求6所述的教学方法，其特征在于，所述输出用于与用户进行交互的对话内容之后，包括：
根据用户的语音信息和与用户进行交互的对话内容，评估用户的知识结构，根据所述用户的知识结构制定呈现给用户的知识内容。
8.一种基于增强现实技术的云服务平台，其特征在于，包括：
发送模块，用于基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端，以由所述实物机器人和所述用户终端将所述知识内容呈现给用户；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；
识别模块，用于接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；
计算模块，用于对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；
调整模块，用于根据所述用户真实情感信息实时调整呈现给用户的知识内容。
9.一种基于增强现实技术的教学系统，其特征在于，包括：云服务平台、实物机器人和用户终端；
所述云服务平台，用于基于知识图谱，将结构化的知识内容发送给实物机器人和用户终端；其中，发送给所述用户终端的知识内容由与所述实物机器人配合的虚拟机器人在所述用户终端的交互界面中呈现；
所述实物机器人，用于采集现实场景的图像信息和语音信息，并发送给所述云服务平台，并将所述云服务平台发送的知识内容呈现给用户；
所述云服务平台，还用于接收实物机器人采集的现实场景的图像信息和语音信息，分别对所述图像信息和语音信息进行人脸表情识别和语音情感识别，获取人脸表情信息和语音情感信息；对所述人脸表情信息和所述语音情感信息进行融合计算，获取用户真实情感信息；根据所述用户真实情感信息实时调整呈现给用户的知识内容；
所述用户终端，用于将所述云服务平台发送的知识内容呈现给用户。
10.如权利要求9所述的教学系统，其特征在于，
所述云服务平台，还用于根据所述图像信息和所述知识内容生成机器人动作控制指令，并将所述机器人动作控制指令发送给所述实物机器人；
所述实物机器人，还用于根据所述机器人动作控制指令移动至目标位置并执行辅助教学动作。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018102514864 | 2018-03-26 | ||
| CN201810251486 | 2018-03-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108877336A true CN108877336A (zh) | 2018-11-23 |
Family
ID=64299465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810728916.7A Pending CN108877336A (zh) | 2018-03-26 | 2018-07-04 | 基于增强现实技术的教学方法、云服务平台和教学系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108877336A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377802A (zh) * | 2018-11-26 | 2019-02-22 | 暗物质(香港)智能科技有限公司 | 一种自动交互式智能教育系统及方法 |
| CN109509130A (zh) * | 2019-01-14 | 2019-03-22 | 重庆三峡学院 | 一种基于增强现实的教学系统 |
| CN109637207A (zh) * | 2018-11-27 | 2019-04-16 | 曹臻祎 | 一种学前教育互动教学装置及教学方法 |
| CN109841122A (zh) * | 2019-03-19 | 2019-06-04 | 深圳市播闪科技有限公司 | 一种智能机器人教学系统及学生学习方法 |
| CN109862473A (zh) * | 2019-03-07 | 2019-06-07 | 上海优谦智能科技有限公司 | 一种基于课堂教学场景下的人工智能助教音箱 |
| CN110009952A (zh) * | 2019-04-12 | 2019-07-12 | 上海乂学教育科技有限公司 | 基于增强现实的自适应学习移动终端及学习方法 |
| CN110223718A (zh) * | 2019-06-18 | 2019-09-10 | 联想(北京)有限公司 | 一种数据处理方法、装置及存储介质 |
| CN110609619A (zh) * | 2019-08-27 | 2019-12-24 | 格局商学教育科技（深圳）有限公司 | 基于全景沉浸式教学的多屏直播互动系统 |
| CN110706786A (zh) * | 2019-09-23 | 2020-01-17 | 湖南检信智能科技有限公司 | 非接触式心理参数智能分析与评测系统 |
| CN110956142A (zh) * | 2019-12-03 | 2020-04-03 | 中国太平洋保险（集团）股份有限公司 | 一种智能交互培训系统 |
| CN110991381A (zh) * | 2019-12-12 | 2020-04-10 | 山东大学 | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 |
| CN111050187A (zh) * | 2019-12-09 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种虚拟视频处理的方法、装置及存储介质 |
| CN111159403A (zh) * | 2019-12-27 | 2020-05-15 | 广东高乐教育科技有限公司 | 一种智能课堂感知的方法及系统 |
| CN111402640A (zh) * | 2020-03-04 | 2020-07-10 | 香港生产力促进局 | 一种儿童教育机器人及其学习资料推送方法 |
| WO2020215966A1 (zh) * | 2019-04-26 | 2020-10-29 | 北京大米科技有限公司 | 一种远程教学互动方法、服务器、终端以及系统 |
| CN112017084A (zh) * | 2020-08-18 | 2020-12-01 | 上海松鼠课堂人工智能科技有限公司 | 学习引擎开放平台管理系统 |
| CN112423106A (zh) * | 2020-11-06 | 2021-02-26 | 四川长虹电器股份有限公司 | 一种自动翻译伴音的方法及系统 |
| CN112634684A (zh) * | 2020-12-11 | 2021-04-09 | 深圳市木愚科技有限公司 | 智能教学方法和装置 |
| CN113313982A (zh) * | 2021-07-29 | 2021-08-27 | 深圳市轻生活科技有限公司 | 一种基于5g网络的教育系统 |
| CN113409635A (zh) * | 2021-06-17 | 2021-09-17 | 上海松鼠课堂人工智能科技有限公司 | 基于虚拟现实场景的互动教学方法与系统 |
| US11127181B2 (en) | 2018-09-19 | 2021-09-21 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation |
| CN114743420A (zh) * | 2022-04-27 | 2022-07-12 | 广东职业技术学院 | 一种英语课文辅助教学方法及系统 |
| CN117055724A (zh) * | 2023-05-08 | 2023-11-14 | 华中师范大学 | 虚拟教学场景中生成式教学资源系统及其工作方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012168717A (ja) * | 2011-02-14 | 2012-09-06 | Nagase Pc School Co Ltd | 情報提供システム、情報提供サーバ、プログラム、情報記憶媒体及び情報提供方法 |
| CN102663046A (zh) * | 2012-03-29 | 2012-09-12 | 中国科学院自动化研究所 | 一种面向微博短文本的情感分析方法 |
| CN102929861A (zh) * | 2012-10-22 | 2013-02-13 | 杭州东信北邮信息技术有限公司 | 一种文本情感指数计算方法和系统 |
| CN105824935A (zh) * | 2016-03-18 | 2016-08-03 | 北京光年无限科技有限公司 | 面向问答机器人的信息处理方法及系统 |
| CN106462384A (zh) * | 2016-06-29 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 基于多模态的智能机器人交互方法和智能机器人 |
| CN106919251A (zh) * | 2017-01-09 | 2017-07-04 | 重庆邮电大学 | 一种基于多模态情感识别的虚拟学习环境自然交互方法 |
| CN106959839A (zh) * | 2017-03-22 | 2017-07-18 | 北京光年无限科技有限公司 | 一种人机交互装置及方法 |
| CN107665252A (zh) * | 2017-09-27 | 2018-02-06 | 深圳证券信息有限公司 | 一种创建知识图谱的方法及装置 |
-
2018
- 2018-07-04 CN CN201810728916.7A patent/CN108877336A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012168717A (ja) * | 2011-02-14 | 2012-09-06 | Nagase Pc School Co Ltd | 情報提供システム、情報提供サーバ、プログラム、情報記憶媒体及び情報提供方法 |
| CN102663046A (zh) * | 2012-03-29 | 2012-09-12 | 中国科学院自动化研究所 | 一种面向微博短文本的情感分析方法 |
| CN102929861A (zh) * | 2012-10-22 | 2013-02-13 | 杭州东信北邮信息技术有限公司 | 一种文本情感指数计算方法和系统 |
| CN105824935A (zh) * | 2016-03-18 | 2016-08-03 | 北京光年无限科技有限公司 | 面向问答机器人的信息处理方法及系统 |
| CN106462384A (zh) * | 2016-06-29 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 基于多模态的智能机器人交互方法和智能机器人 |
| CN106919251A (zh) * | 2017-01-09 | 2017-07-04 | 重庆邮电大学 | 一种基于多模态情感识别的虚拟学习环境自然交互方法 |
| CN106959839A (zh) * | 2017-03-22 | 2017-07-18 | 北京光年无限科技有限公司 | 一种人机交互装置及方法 |
| CN107665252A (zh) * | 2017-09-27 | 2018-02-06 | 深圳证券信息有限公司 | 一种创建知识图谱的方法及装置 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11127181B2 (en) | 2018-09-19 | 2021-09-21 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation |
| CN109377802A (zh) * | 2018-11-26 | 2019-02-22 | 暗物质(香港)智能科技有限公司 | 一种自动交互式智能教育系统及方法 |
| CN109377802B (zh) * | 2018-11-26 | 2022-05-03 | 暗物智能科技(广州)有限公司 | 一种自动交互式智能教育系统及方法 |
| CN109637207B (zh) * | 2018-11-27 | 2020-09-01 | 曹臻祎 | 一种学前教育互动教学装置及教学方法 |
| CN109637207A (zh) * | 2018-11-27 | 2019-04-16 | 曹臻祎 | 一种学前教育互动教学装置及教学方法 |
| CN109509130A (zh) * | 2019-01-14 | 2019-03-22 | 重庆三峡学院 | 一种基于增强现实的教学系统 |
| CN109862473A (zh) * | 2019-03-07 | 2019-06-07 | 上海优谦智能科技有限公司 | 一种基于课堂教学场景下的人工智能助教音箱 |
| CN109862473B (zh) * | 2019-03-07 | 2020-10-13 | 上海优谦智能科技有限公司 | 一种基于课堂教学场景下的人工智能助教音箱 |
| CN109841122A (zh) * | 2019-03-19 | 2019-06-04 | 深圳市播闪科技有限公司 | 一种智能机器人教学系统及学生学习方法 |
| CN110009952A (zh) * | 2019-04-12 | 2019-07-12 | 上海乂学教育科技有限公司 | 基于增强现实的自适应学习移动终端及学习方法 |
| WO2020215966A1 (zh) * | 2019-04-26 | 2020-10-29 | 北京大米科技有限公司 | 一种远程教学互动方法、服务器、终端以及系统 |
| CN110223718A (zh) * | 2019-06-18 | 2019-09-10 | 联想(北京)有限公司 | 一种数据处理方法、装置及存储介质 |
| CN110609619A (zh) * | 2019-08-27 | 2019-12-24 | 格局商学教育科技（深圳）有限公司 | 基于全景沉浸式教学的多屏直播互动系统 |
| CN110706786B (zh) * | 2019-09-23 | 2023-09-22 | 湖南检信智能科技有限公司 | 非接触式心理参数智能分析与评测系统 |
| CN110706786A (zh) * | 2019-09-23 | 2020-01-17 | 湖南检信智能科技有限公司 | 非接触式心理参数智能分析与评测系统 |
| CN110956142A (zh) * | 2019-12-03 | 2020-04-03 | 中国太平洋保险（集团）股份有限公司 | 一种智能交互培训系统 |
| CN111050187A (zh) * | 2019-12-09 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种虚拟视频处理的方法、装置及存储介质 |
| CN110991381A (zh) * | 2019-12-12 | 2020-04-10 | 山东大学 | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 |
| CN110991381B (zh) * | 2019-12-12 | 2023-04-25 | 山东大学 | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 |
| CN111159403A (zh) * | 2019-12-27 | 2020-05-15 | 广东高乐教育科技有限公司 | 一种智能课堂感知的方法及系统 |
| CN111159403B (zh) * | 2019-12-27 | 2022-07-29 | 广东高乐教育科技有限公司 | 一种智能课堂感知的方法及系统 |
| CN111402640A (zh) * | 2020-03-04 | 2020-07-10 | 香港生产力促进局 | 一种儿童教育机器人及其学习资料推送方法 |
| CN112017084A (zh) * | 2020-08-18 | 2020-12-01 | 上海松鼠课堂人工智能科技有限公司 | 学习引擎开放平台管理系统 |
| CN112017084B (zh) * | 2020-08-18 | 2021-07-20 | 上海松鼠课堂人工智能科技有限公司 | 学习引擎开放平台管理系统 |
| CN112423106A (zh) * | 2020-11-06 | 2021-02-26 | 四川长虹电器股份有限公司 | 一种自动翻译伴音的方法及系统 |
| CN112634684A (zh) * | 2020-12-11 | 2021-04-09 | 深圳市木愚科技有限公司 | 智能教学方法和装置 |
| CN113409635A (zh) * | 2021-06-17 | 2021-09-17 | 上海松鼠课堂人工智能科技有限公司 | 基于虚拟现实场景的互动教学方法与系统 |
| CN113313982B (zh) * | 2021-07-29 | 2021-11-09 | 深圳市轻生活科技有限公司 | 一种基于5g网络的教育系统 |
| CN113313982A (zh) * | 2021-07-29 | 2021-08-27 | 深圳市轻生活科技有限公司 | 一种基于5g网络的教育系统 |
| CN114743420A (zh) * | 2022-04-27 | 2022-07-12 | 广东职业技术学院 | 一种英语课文辅助教学方法及系统 |
| CN117055724A (zh) * | 2023-05-08 | 2023-11-14 | 华中师范大学 | 虚拟教学场景中生成式教学资源系统及其工作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108877336A (zh) | 基于增强现实技术的教学方法、云服务平台和教学系统 | |
| Oertel et al. | Engagement in human-agent interaction: An overview | |
| CN108000526B (zh) | 用于智能机器人的对话交互方法及系统 | |
| CN107340859B (zh) | 多模态虚拟机器人的多模态交互方法和系统 | |
| CN110379225A (zh) | 互动式语言习得的系统和方法 | |
| Qian | Research on artificial intelligence technology of virtual reality teaching method in digital media art creation | |
| CN107294837A (zh) | 采用虚拟机器人进行对话交互的方法和系统 | |
| CN111414506B (zh) | 基于人工智能情绪处理方法、装置、电子设备及存储介质 | |
| CN110598576A (zh) | 一种手语交互方法、装置及计算机介质 | |
| CN111327772B (zh) | 进行自动语音应答处理的方法、装置、设备及存储介质 | |
| KR102258234B1 (ko) | 인공지능 가정교사 인터페이스가 적용된 맞춤형 학습 방법 및 시스템 | |
| CN112204565A (zh) | 用于基于视觉背景无关语法模型推断场景的系统和方法 | |
| CN111538456A (zh) | 基于虚拟形象的人机交互方法、装置、终端以及存储介质 | |
| CN109409255A (zh) | 一种手语场景生成方法及装置 | |
| US11418848B2 (en) | Device and method for interactive video presentation | |
| CN114969282B (zh) | 基于富媒体知识图谱多模态情感分析模型的智能交互方法 | |
| Mittelberg et al. | Gesture studies and semiotics | |
| Rastgoo et al. | All You Need In Sign Language Production | |
| Yang et al. | User behavior fusion in dialog management with multi-modal history cues | |
| Pelachaud et al. | Multimodal embodied agents | |
| Allwood et al. | 13. Multimodal Communication | |
| Pan et al. | Application of virtual reality in English teaching | |
| KR102232344B1 (ko) | 빅데이터 및 인공지능 기반의 맞춤형 학습 방법 및 시스템 | |
| KR102258235B1 (ko) | 실감 콘텐츠가 적용된 인공지능 기반의 맞춤형 학습 방법 및 시스템 | |
| Park et al. | Music-aided affective interaction between human and service robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |
|
| RJ01 | Rejection of invention patent application after publication |