CN112017085B - 智能虚拟教师形象人格化方法 - Google Patents

智能虚拟教师形象人格化方法 Download PDF

Info

Publication number
CN112017085B
CN112017085B CN202010833720.1A CN202010833720A CN112017085B CN 112017085 B CN112017085 B CN 112017085B CN 202010833720 A CN202010833720 A CN 202010833720A CN 112017085 B CN112017085 B CN 112017085B
Authority
CN
China
Prior art keywords
virtual
teaching
information
target learner
course
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010833720.1A
Other languages
English (en)
Other versions
CN112017085A (zh
Inventor
樊星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Original Assignee
Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd filed Critical Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Priority to CN202010833720.1A priority Critical patent/CN112017085B/zh
Publication of CN112017085A publication Critical patent/CN112017085A/zh
Application granted granted Critical
Publication of CN112017085B publication Critical patent/CN112017085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication

Abstract

本发明提供了智能虚拟教师形象人格化方法，其通过构建形成相应的虚拟课堂数据库和虚拟现实课堂模型，以此实现对目标学习者的虚拟课程教学，同时在该虚拟课程教学过程中采集目标学习者响应于虚拟教师的互动动作信息和互动声音信息，再以此确定目标学习者当前的实际学习状态，并根据该实际学习状态调整虚拟教师在进行虚拟课程教学过程中虚拟教学参数，从而改变虚拟教师固化和机械的形象以及实现该虚拟教师的形象人格化，以最终改善虚拟课程教学的体验性。

Description

智能虚拟教师形象人格化方法
技术领域
本发明涉及智能教学的技术领域，特别涉及智能虚拟教师形象人格化方法。
背景技术
虚拟教学课程作为新兴的在线教学方式受到广泛的关注和推广。虚拟教学课程通过构建相应的虚拟课程场景并在该虚拟课程场景中通过虚拟教师进行相应的虚拟课程教授。在实际操作中，该虚拟教师的形象较为机械和固化，其只能单纯地进行虚拟课程的教授，而并不能根据目标学习者当前的课程学习状态进行相应的教学参数调整，这使得目标学习者无法完全沉浸于该虚拟课程场景中，并且还降低虚拟课程教学的效率。可见，现有技术急需一种能够对虚拟教学课程中的虚拟教师进行形象人格化调整的方法。
发明内容
针对现有技术存在的缺陷，本发明提供智能虚拟教师形象人格化方法，其包括根据预先形成的虚拟课堂数据库和虚拟现实课堂模型，制作形成对应的虚拟现实课程以及构建与该虚拟现实课程匹配的虚拟课程场景，获取目标学习者于该虚拟课程场景中与虚拟教师进行教学互动时对应的互动动作信息和互动声音信息，再对该互动动作信息和该互动声音信息进行分析处理，以此判断该目标学习者当前在该虚拟课程场景中的实际学习状态是否为合格学习状态，最后根据上述实际学习状态的判断结果，对该虚拟教师的虚拟教学参数进行适应性调整；可见，该智能虚拟教师形象人格化方法通过构建形成相应的虚拟课堂数据库和虚拟现实课堂模型，以此实现对目标学习者的虚拟课程教学，同时在该虚拟课程教学过程中采集目标学习者响应于虚拟教师的互动动作信息和互动声音信息，再以此确定目标学习者当前的实际学习状态，并根据该实际学习状态调整虚拟教师在进行虚拟课程教学过程中虚拟教学参数，从而改变虚拟教师固化和机械的形象以及实现该虚拟教师的形象人格化，以最终改善虚拟课程教学的体验性。
本发明提供智能虚拟教师形象人格化方法，其特征在于，其包括如下步骤：
步骤S1，根据预先形成的虚拟课堂数据库和虚拟现实课堂模型，制作形成对应的虚拟现实课程以及构建与所述虚拟现实课程匹配的虚拟课程场景；
步骤S2，获取目标学习者于所述虚拟课程场景中与虚拟教师进行教学互动时对应的互动动作信息和互动声音信息；
步骤S3，对所述互动动作信息和所述互动声音信息进行分析处理，以此判断所述目标学习者当前在所述虚拟课程场景中的实际学习状态是否为合格学习状态；
步骤S4，根据上述步骤S3中所述实际学习状态的判断结果，对所述虚拟教师的虚拟教学参数进行适应性调整；
进一步，步骤S101A，确定虚拟课堂的教学内容大纲，并根据所述教学内容大纲采集对应的教学知识点数据，再将所述教学知识点数据集成为所述虚拟课堂数据库；
步骤S102A，获取预设现实场景课堂教学对应的现实空间环境信息，其中，所述现实空间环境信息包括教学空间大小、教学设备类型与设置位置和教学背景自然光强度中的至少一者；
步骤S103A，将所述现实空间环境信息映射至预设虚拟教学场景中，以此转换得到对应的虚拟教学空间环境信息，再根据所述虚拟教学空间环形信息形成对应的虚拟现实课堂模型；
进一步，在所述步骤S1中，制作形成对应的虚拟现实课程以及构建与所述虚拟现实课程匹配的虚拟课程场景具体包括，
步骤S101B，根据所述虚拟课堂数据库包含的教学知识点数据，构建相应的课堂教学提纲、课堂教学流程和课堂教学课件，以此形成对应的所述虚拟现实课程；
步骤S102B，根据所述虚拟现实课堂模型包含的虚拟教学空间环境信息，搭建形成与所述虚拟现实课程匹配的所述虚拟课程场景；
进一步，在所述步骤S2中，获取目标学习者于所述虚拟课程场景中与虚拟教师进行教学互动时对应的互动动作信息和互动声音信息具体包括，
步骤S201，指示所述虚拟教师在所述虚拟课程场景中对所述目标学习者执行相应的课程讲解动作和/或课程提问动作；
步骤S202，在所述目标学习者响应所述课程讲解动作和/或所述课程提问动作的过程中，对所述目标学习者进行影像拍摄和声音信号采集，从而获得所述互动动作信息和所述互动声音信息；
进一步，在所述步骤S202中，对所述目标学习者进行影像拍摄和声音信号采集，从而获得所述互动动作信息和所述互动声音信息具体包括，
步骤S2021，对所述目标学习者进行双目影像拍摄，以此获得关于所述目标学习者的双目影像信息，并对所述双目影像信息进行视差分析处理，从而获得所述目标学习者的面部表情动作信息和口型动作信息，以此作为所述互动动作信息；
步骤S2022，通过麦克风阵列对所述目标学习者进行所述声音信号采集，并对采集得到的声音信号进行背景声降噪处理和学习者声纹特征提取，从而获得只关于所述目标学习者的语音应答信息，以此作为所述互动声音信息；
进一步，在所述步骤S3中，对所述互动动作信息和所述互动声音信息进行分析处理，以此判断所述目标学习者当前在所述虚拟课程场景中的实际学习状态是否为合格学习状态具体包括，
步骤S301，根据下面公式(1)，计算所述互动动作信息和所述互动声息信息与预设标准互动信息之间的比对差异值D
Figure BDA0002638928690000031
在上述公式(1)中，p1表示目标学习者的应答语音对应的数值化值，p2表示所述目标学习者的面部表情动作对应的数值化值，p3表示所述目标学习者的口型动作对应的数值化值，p01表示预设标准互动信息中的标准发音对应的数值化值，p02表示所述预设标准互动信息中的标准面部表情对应的数值化值，p03表示所述预设标准互动信息中的标准口型对应的数值化值，β1表示预设的语音应答信息的权重值，β2表示预设的面部表情动作信息的权重值，β3表示预设的口型动作信息的权重值，并且β1+β2+β3＝1；
步骤S302，将上述步骤S301计算得到所述比对差异值D与预设对比差异阈值进行比较，若所述比对差异值D小于或者等于所述预设对比差异阈值，则所述目标学习者当前在所述虚拟课程场景中的实际学习状态为合格学习状态，若所述比对差异值D大于所述预设对比差异阈值，则所述目标学习者当前在所述虚拟课程场景中的实际学习状态为不合格学习状态；
进一步，在所述步骤S4中，根据上述步骤S3中所述实际学习状态的判断结果，对所述虚拟教师的虚拟教学参数进行适应性调整具体包括，
若确定所述实际学习状态为合格学习状态，则保持所述虚拟教师的所述虚拟教学参数不变，若确定所述实际学习状态为不合格学习状态，则根据所述目标学习者响应所述课程讲解动作和/或所述课程提问动作的过程中的肢体动作信息和面部五官信息，确定所述目标学习者的学习专注度评价值Z，再根据所述学习专注度评价值Z，调整所述虚拟教师的所述虚拟教学参数，其中，所述虚拟教学参数包括虚拟教师的教学肢体动作、教学讲解声音声量和教师面部表情中的至少一者；
进一步，在所述步骤S4中，根据所述目标学习者响应所述课程讲解动作和/或所述课程提问动作之前的预设时间段内的肢体动作姿态和面部五官位移，确定所述目标学习者的学习专注度评价值Z，再根据所述学习专注度评价值Z，调整所述虚拟教师的所述虚拟教学参数具体包括
步骤S401，根据下面公式(2)，计算得到所述学习专注度评价值Z
Figure BDA0002638928690000051
在上述公式(2)中，T表示所述预设时间段，n表示所述预设时间段T中筛选的时间点的总个数，Y(j)表示所述目标学习者在第j个时间点对应的肢体动作姿态值，
Figure BDA0002638928690000052
表示所述目标学习者在所述预设时间段T内的平均肢体动作姿态值，K(j)表示所述目标学习者在第j个时间点对应的面部五官位移值，
Figure BDA0002638928690000053
表示所述目标学习者在所述预设时间段T内的平均面目五官位移值，α表示所述目标学习者的历史学习累计值，MSE(Y)表示与所述肢体动作姿态值对应的均方差值，MSE(K)表示与所述面目五官位移值对应的均方差值，并且j＝1，2，3，...，n；
步骤S402，根据所述互动动作信息、所述互动声音信息和所述学习专注度评价值Z，调整所述虚拟教师的所述虚拟教学参数。
相比于现有技术，该智能虚拟教师形象人格化方法包括根据预先形成的虚拟课堂数据库和虚拟现实课堂模型，制作形成对应的虚拟现实课程以及构建与该虚拟现实课程匹配的虚拟课程场景，获取目标学习者于该虚拟课程场景中与虚拟教师进行教学互动时对应的互动动作信息和互动声音信息，再对该互动动作信息和该互动声音信息进行分析处理，以此判断该目标学习者当前在该虚拟课程场景中的实际学习状态是否为合格学习状态，最后根据上述实际学习状态的判断结果，对该虚拟教师的虚拟教学参数进行适应性调整；可见，该智能虚拟教师形象人格化方法通过构建形成相应的虚拟课堂数据库和虚拟现实课堂模型，以此实现对目标学习者的虚拟课程教学，同时在该虚拟课程教学过程中采集目标学习者响应于虚拟教师的互动动作信息和互动声音信息，再以此确定目标学习者当前的实际学习状态，并根据该实际学习状态调整虚拟教师在进行虚拟课程教学过程中虚拟教学参数，从而改变虚拟教师固化和机械的形象以及实现该虚拟教师的形象人格化，以最终改善虚拟课程教学的体验性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的智能虚拟教师形象人格化方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的智能虚拟教师形象人格化方法的流程示意图。该智能虚拟教师形象人格化方法包括如下步骤：
步骤S1，根据预先形成的虚拟课堂数据库和虚拟现实课堂模型，制作形成对应的虚拟现实课程以及构建与该虚拟现实课程匹配的虚拟课程场景；
步骤S2，获取目标学习者于该虚拟课程场景中与虚拟教师进行教学互动时对应的互动动作信息和互动声音信息；
步骤S3，对该互动动作信息和该互动声音信息进行分析处理，以此判断该目标学习者当前在该虚拟课程场景中的实际学习状态是否为合格学习状态；
步骤S4，根据上述步骤S3中该实际学习状态的判断结果，对该虚拟教师的虚拟教学参数进行适应性调整。
其中，该虚拟教学参数可为但不限于包括虚拟教师的教学肢体动作、教学讲解声音声量和教师面部表情中的至少一者，并且调整该虚拟教学参数可为但不限于包括调整该教学肢体动作的动作幅度、调整该教学降解声音声量的大小和调整该教师面表情中视线方向和/或嘴巴张合状态中的至少一者。
该智能虚拟教师形象人格化方法的目的是将虚拟课程教授对应的虚拟教师赋予人格化的形象，其不同于现有技术的虚拟教师只能具备机械化和单一化的形象，其通过获取目标学习者在虚拟课程场景的互动动作信息和互动声音信息来调整虚拟教师在虚拟课程教授过程中的虚拟教学参数，从而使得该虚拟教师能够目标学习者的不同学习反应而进行针对性和人性化的反馈，以此改善虚拟教师的形象人格化程度。
优选地，在该步骤S1中，预先形成的虚拟课堂数据库和虚拟现实课堂模型具体包括，
步骤S101A，确定虚拟课堂的教学内容大纲，并根据该教学内容大纲采集对应的教学知识点数据，再将该教学知识点数据集成为该虚拟课堂数据库；
步骤S102A，获取预设现实场景课堂教学对应的现实空间环境信息，其中，该现实空间环境信息包括教学空间大小、教学设备类型与设置位置和教学背景自然光强度中的至少一者；
步骤S103A，将该现实空间环境信息映射至预设虚拟教学场景中，以此转换得到对应的虚拟教学空间环境信息，再根据该虚拟教学空间环形信息形成对应的虚拟现实课堂模型。
由于虚拟课程教学是通过相应的虚拟显示设备模拟形成相应的虚拟教学场景，通过预先形成的虚拟课堂数据库和虚拟现实课堂模型，能够提高该虚拟课程场景的构建准确性和可靠性。
优选地，在该步骤S1中，制作形成对应的虚拟现实课程以及构建与该虚拟现实课程匹配的虚拟课程场景具体包括，
步骤S101B，根据该虚拟课堂数据库包含的教学知识点数据，构建相应的课堂教学提纲、课堂教学流程和课堂教学课件，以此形成对应的该虚拟现实课程；
步骤S102B，根据该虚拟现实课堂模型包含的虚拟教学空间环境信息，搭建形成与该虚拟现实课程匹配的该虚拟课程场景。
根据该虚拟课堂数据库和该虚拟虚拟现实课堂模型构建形成的虚拟课程场景，能够保证该虚拟课程场景与真实课程场景之间的匹配性，从而提高该虚拟课程场景的沉浸程度。
优选地，在该步骤S2中，获取目标学习者于该虚拟课程场景中与虚拟教师进行教学互动时对应的互动动作信息和互动声音信息具体包括，
步骤S201，指示该虚拟教师在该虚拟课程场景中对该目标学习者执行相应的课程讲解动作和/或课程提问动作；
步骤S202，在该目标学习者响应该课程讲解动作和/或该课程提问动作的过程中，对该目标学习者进行影像拍摄和声音信号采集，从而获得该互动动作信息和该互动声音信息。
由于当虚拟课程场景中对目标学习者执行不同课程讲解动作和/或课程提问动作时，目标学习者会相应地有不同的反应，通过对目标学习者进行影像拍摄和声音信号采集能够完整地和准确地获得关于目标学习者反应的原始数据。
优选地，在该步骤S202中，对该目标学习者进行影像拍摄和声音信号采集，从而获得该互动动作信息和该互动声音信息具体包括，
步骤S2021，对该目标学习者进行双目影像拍摄，以此获得关于该目标学习者的双目影像信息，并对该双目影像信息进行视差分析处理，从而获得该目标学习者的面部表情动作信息和口型动作信息，以此作为该互动动作信息；
步骤S2022，通过麦克风阵列对该目标学习者进行该声音信号采集，并对采集得到的声音信号进行背景声降噪处理和学习者声纹特征提取，从而获得只关于该目标学习者的语音应答信息，以此作为该互动声音信息。
通过对目标学习专业进行双目影像拍摄和麦克风阵列的声音信号采集能够有效地和精确地获得该互动动作信息和互动声音信息。
优选地，在该步骤S3中，对该互动动作信息和该互动声音信息进行分析处理，以此判断该目标学习者当前在该虚拟课程场景中的实际学习状态是否为合格学习状态具体包括，
步骤S301，根据下面公式(1)，计算该互动动作信息和该互动声息信息与预设标准互动信息之间的比对差异值D
Figure BDA0002638928690000091
在上述公式(1)中，p1表示目标学习者的应答语音对应的数值化值，p2表示该目标学习者的面部表情动作对应的数值化值，p3表示该目标学习者的口型动作对应的数值化值，p01表示预设标准互动信息中的标准发音对应的数值化值，p02表示该预设标准互动信息中的标准面部表情对应的数值化值，p03表示该预设标准互动信息中的标准口型对应的数值化值，β1表示预设的语音应答信息的权重值，β2表示预设的面部表情动作信息的权重值，β3表示预设的口型动作信息的权重值，并且β1+β2+β3＝1；其中，该应答语音对应的数值化值、该面部表情动作对应的数值化值、该口型动作对应的数值化值是指将应答语音信息、面部表情动作信息和口型动作信息分别输入至相应的预设深度学习神经网络模型中，从而将该应答语音信息、该面部表情动作信息和该口型动作信息转换为相应的应答语音音量数值化值、面部表情动作幅度数值化值和口型动作改变频率数值化值；该标准发音对应的数值化值、该标准面部表情对应的数值化值和标准口型对应的数值化值是指将预设标准发音信息、预设标准面部表情信息和预设标准口型信息输入预设深度学习神经网络模型中，从而将该预设标准发音信息、该预设标准面部表情信息和该预设标准口型信息转换为该标准发音对应的数值化值，该标准面部表情对应的数值化值和该标准口型对应的数值化值。
步骤S302，将上述步骤S301计算得到该比对差异值D与预设对比差异阈值进行比较，若该比对差异值D小于或者等于该预设对比差异阈值，则该目标学习者当前在该虚拟课程场景中的实际学习状态为合格学习状态，若该比对差异值D大于该预设对比差异阈值，则该目标学习者当前在该虚拟课程场景中的实际学习状态为不合格学习状态。
通过上述公式(1)计算得到的比对差异值D能够准确地和定量地确定该目标学习者当前的实际学习状态与期望学习状态之间的差异，从而便于对目标学习者的实际学习状态进行科学的预判。
优选地，在该步骤S4中，根据上述步骤S3中该实际学习状态的判断结果，对该虚拟教师的虚拟教学参数进行适应性调整具体包括，
若确定该实际学习状态为合格学习状态，则保持该虚拟教师的该虚拟教学参数不变，若确定该实际学习状态为不合格学习状态，则根据该目标学习者响应该课程讲解动作和/或该课程提问动作的过程中的肢体动作信息和面部五官信息，确定该目标学习者的学习专注度评价值Z，再根据该学习专注度评价值Z，调整该虚拟教师的该虚拟教学参数，其中，该虚拟教学参数包括虚拟教师的教学肢体动作、教学讲解声音声量和教师面部表情中的至少一者。
当目标学习者的学习专注度评价值不同时，目标学习者的实际学习专注程度也会相应的不同，为了保证虚拟课程教学的正常执行，需要虚拟教师作出适应性的反应，而通过调整相应的虚拟教学参数能够使得虚拟教师的形象更加人性化和立体化。
优选地，在该步骤S4中，根据该目标学习者响应该课程讲解动作和/或该课程提问动作之前的预设时间段内的肢体动作姿态和面部五官位移，确定该目标学习者的学习专注度评价值Z，再根据该学习专注度评价值Z，调整该虚拟教师的该虚拟教学参数具体包括
步骤S401，根据下面公式(2)，计算得到该学习专注度评价值Z
Figure BDA0002638928690000101
在上述公式(2)中，T表示该预设时间段，n表示该预设时间段T中筛选的时间点的总个数，Y(j)表示该目标学习者在第j个时间点对应的肢体动作姿态值，
Figure BDA0002638928690000111
表示该目标学习者在该预设时间段T内的平均肢体动作姿态值，K(j)表示该目标学习者在第j个时间点对应的面部五官位移值，
Figure BDA0002638928690000112
表示该目标学习者在该预设时间段T内的平均面目五官位移值，α表示该目标学习者的历史学习累计值，MSE(Y)表示与该肢体动作姿态值对应的均方差值，MSE(K)表示与该面目五官位移值对应的均方差值，并且j＝1，2，3，...，n；其中，该肢体工作姿态值是指目标学习者的肢体动作幅度值和/或方向值，该平均肢体动作姿态值是指目标学习者的肢体动作平均幅度值和/或平均方向值，该面部五官位移值是指目标学习者的面部五官位移幅度值，该平均面部五官位移值是指目标学习者的面部五官位移平均幅度值。
步骤S402，根据该互动动作信息、该互动声音信息和该学习专注度评价值Z，调整该虚拟教师的该虚拟教学参数。
通过上述公式(2)能够准确地和客观地计算出目标学习者的学习专注度评价值，从而为后续调整虚拟教师的虚拟教学参数提供有效的依据。
从上述实施例的内容可知，该智能虚拟教师形象人格化方法包括根据预先形成的虚拟课堂数据库和虚拟现实课堂模型，制作形成对应的虚拟现实课程以及构建与该虚拟现实课程匹配的虚拟课程场景，获取目标学习者于该虚拟课程场景中与虚拟教师进行教学互动时对应的互动动作信息和互动声音信息，再对该互动动作信息和该互动声音信息进行分析处理，以此判断该目标学习者当前在该虚拟课程场景中的实际学习状态是否为合格学习状态，最后根据上述实际学习状态的判断结果，对该虚拟教师的虚拟教学参数进行适应性调整；可见，该智能虚拟教师形象人格化方法通过构建形成相应的虚拟课堂数据库和虚拟现实课堂模型，以此实现对目标学习者的虚拟课程教学，同时在该虚拟课程教学过程中采集目标学习者响应于虚拟教师的互动动作信息和互动声音信息，再以此确定目标学习者当前的实际学习状态，并根据该实际学习状态调整虚拟教师在进行虚拟课程教学过程中虚拟教学参数，从而改变虚拟教师固化和机械的形象以及实现该虚拟教师的形象人格化，以最终改善虚拟课程教学的体验性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (1)

1.智能虚拟教师形象人格化方法，其特征在于，其包括如下步骤：
步骤S1，根据预先形成的虚拟课堂数据库和虚拟现实课堂模型，制作形成对应的虚拟现实课程以及构建与所述虚拟现实课程匹配的虚拟课程场景；
步骤S2，获取目标学习者于所述虚拟课程场景中与虚拟教师进行教学互动时对应的互动动作信息和互动声音信息；
步骤S3，对所述互动动作信息和所述互动声音信息进行分析处理，以此判断所述目标学习者当前在所述虚拟课程场景中的实际学习状态是否为合格学习状态；
步骤S4，根据上述步骤S3中所述实际学习状态的判断结果，对所述虚拟教师的虚拟教学参数进行适应性调整；
其中，在所述步骤S1中，预先形成的虚拟课堂数据库和虚拟现实课堂模型具体包括，
步骤S101A，确定虚拟课堂的教学内容大纲，并根据所述教学内容大纲采集对应的教学知识点数据，再将所述教学知识点数据集成为所述虚拟课堂数据库；
步骤S102A，获取预设现实场景课堂教学对应的现实空间环境信息，其中，所述现实空间环境信息包括教学空间大小、教学设备类型与设置位置和教学背景自然光强度中的至少一者；
步骤S103A，将所述现实空间环境信息映射至预设虚拟教学场景中，以此转换得到对应的虚拟教学空间环境信息，再根据所述虚拟教学空间环境 信息形成对应的虚拟现实课堂模型；
其中，在所述步骤S1中，制作形成对应的虚拟现实课程以及构建与所述虚拟现实课程匹配的虚拟课程场景具体包括，
步骤S101B，根据所述虚拟课堂数据库包含的教学知识点数据，构建相应的课堂教学提纲、课堂教学流程和课堂教学课件，以此形成对应的所述虚拟现实课程；
步骤S102B，根据所述虚拟现实课堂模型包含的虚拟教学空间环境信息，搭建形成与所述虚拟现实课程匹配的所述虚拟课程场景；
其中，在所述步骤S2中，获取目标学习者于所述虚拟课程场景中与虚拟教师进行教学互动时对应的互动动作信息和互动声音信息具体包括，
步骤S201，指示所述虚拟教师在所述虚拟课程场景中对所述目标学习者执行相应的课程讲解动作和/或课程提问动作；
步骤S202，在所述目标学习者响应所述课程讲解动作和/或所述课程提问动作的过程中，对所述目标学习者进行影像拍摄和声音信号采集，从而获得所述互动动作信息和所述互动声音信息；
其中，在所述步骤S202中，对所述目标学习者进行影像拍摄和声音信号采集，从而获得所述互动动作信息和所述互动声音信息具体包括，
步骤S2021，对所述目标学习者进行双目影像拍摄，以此获得关于所述目标学习者的双目影像信息，并对所述双目影像信息进行视差分析处理，从而获得所述目标学习者的面部表情动作信息和口型动作信息，以此作为所述互动动作信息；
步骤S2022，通过麦克风阵列对所述目标学习者进行所述声音信号采集，并对采集得到的声音信号进行背景声降噪处理和学习者声纹特征提取，从而获得只关于所述目标学习者的语音应答信息，以此作为所述互动声音信息；
其中，在所述步骤S3中，对所述互动动作信息和所述互动声音信息进行分析处理，以此判断所述目标学习者当前在所述虚拟课程场景中的实际学习状态是否为合格学习状态具体包括，
步骤S301，根据下面公式(1)，计算所述互动动作信息和所述互动声音 信息与预设标准互动信息之间的比对差异值D
Figure FDA0003091719400000031
在上述公式(1)中，p1表示目标学习者的应答语音对应的数值化值，p2表示所述目标学习者的面部表情动作对应的数值化值，p3表示所述目标学习者的口型动作对应的数值化值，p01表示预设标准互动信息中的标准发音对应的数值化值，p02表示所述预设标准互动信息中的标准面部表情对应的数值化值，p03表示所述预设标准互动信息中的标准口型对应的数值化值，β1表示预设的语音应答信息的权重值，β2表示预设的面部表情动作信息的权重值，β3表示预设的口型动作信息的权重值，并且β1+β2+β3＝1；
步骤S302，将上述步骤S301计算得到所述比对差异值D与预设对比差异阈值进行比较，若所述比对差异值D小于或者等于所述预设对比差异阈值，则所述目标学习者当前在所述虚拟课程场景中的实际学习状态为合格学习状态，若所述比对差异值D大于所述预设对比差异阈值，则所述目标学习者当前在所述虚拟课程场景中的实际学习状态为不合格学习状态；
其中在所述步骤S4中，根据上述步骤S3中所述实际学习状态的判断结果，对所述虚拟教师的虚拟教学参数进行适应性调整具体包括，
若确定所述实际学习状态为合格学习状态，则保持所述虚拟教师的所述虚拟教学参数不变，若确定所述实际学习状态为不合格学习状态，则根据所述目标学习者响应所述课程讲解动作和/或所述课程提问动作的过程中的肢体动作信息和面部五官信息，确定所述目标学习者的学习专注度评价值Z，再根据所述学习专注度评价值Z，调整所述虚拟教师的所述虚拟教学参数，其中，所述虚拟教学参数包括虚拟教师的教学肢体动作、教学讲解声音声量和教师面部表情中的至少一者；
其中，在所述步骤S4中，根据所述目标学习者响应所述课程讲解动作和/或所述课程提问动作之前的预设时间段内的肢体动作姿态和面部五官位移，确定所述目标学习者的学习专注度评价值Z，再根据所述学习专注度评价值Z，调整所述虚拟教师的所述虚拟教学参数具体包括：
步骤S401，根据下面公式(2)，计算得到所述学习专注度评价值Z
Figure FDA0003091719400000041
在上述公式(2)中，T表示所述预设时间段，n表示所述预设时间段T中筛选的时间点的总个数，Y(j)表示所述目标学习者在第j个时间点对应的肢体动作姿态值，
Figure FDA0003091719400000042
表示所述目标学习者在所述预设时间段T内的平均肢体动作姿态值，K(j)表示所述目标学习者在第j个时间点对应的面部五官位移值，
Figure FDA0003091719400000043
表示所述目标学习者在所述预设时间段T内的平均面部 五官位移值，α表示所述目标学习者的历史学习累计值，MSE(Y)表示与所述肢体动作姿态值对应的均方差值，MSE(K)表示与所述面部 五官位移值对应的均方差值，并且j＝1，2，3，...，n；
步骤S402，根据所述互动动作信息、所述互动声音信息和所述学习专注度评价值Z，调整所述虚拟教师的所述虚拟教学参数，以使得虚拟教师作出适应性的反应。
CN202010833720.1A 2020-08-18 2020-08-18 智能虚拟教师形象人格化方法 Active CN112017085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010833720.1A CN112017085B (zh) 2020-08-18 2020-08-18 智能虚拟教师形象人格化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010833720.1A CN112017085B (zh) 2020-08-18 2020-08-18 智能虚拟教师形象人格化方法

Publications (2)

Publication Number Publication Date
CN112017085A CN112017085A (zh) 2020-12-01
CN112017085B true CN112017085B (zh) 2021-07-20

Family

ID=73504960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010833720.1A Active CN112017085B (zh) 2020-08-18 2020-08-18 智能虚拟教师形象人格化方法

Country Status (1)

Country Link
CN (1) CN112017085B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634684B (zh) * 2020-12-11 2023-05-30 深圳市木愚科技有限公司 智能教学方法和装置
CN112862931A (zh) * 2021-01-13 2021-05-28 西安飞蝶虚拟现实科技有限公司 基于虚拟现实技术未来课堂中的动画展示系统及方法
CN113257061A (zh) * 2021-04-01 2021-08-13 作业帮教育科技（北京）有限公司 虚拟教学方法、装置、电子设备及计算机可读介质
CN113362471A (zh) * 2021-05-27 2021-09-07 深圳市木愚科技有限公司 基于教学语义的虚拟老师肢体动作生成方法及系统
CN113409635A (zh) * 2021-06-17 2021-09-17 上海松鼠课堂人工智能科技有限公司 基于虚拟现实场景的互动教学方法与系统
CN114187792B (zh) * 2021-12-17 2022-08-05 湖南惟楚有才教育科技有限公司 一种基于互联网课堂教学管理系统及方法
CN115052194B (zh) * 2022-06-02 2023-05-02 北京新唐思创教育科技有限公司 学习报告生成方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105632251A (zh) * 2016-01-20 2016-06-01 华中师范大学 具有语音功能的3d虚拟教师系统及其方法
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育系统及方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN111258433A (zh) * 2020-03-02 2020-06-09 上海乂学教育科技有限公司 基于虚拟场景的教学互动系统
CN111290568A (zh) * 2018-12-06 2020-06-16 阿里巴巴集团控股有限公司 交互方法、装置及计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292271B (zh) * 2017-06-23 2020-02-14 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105632251A (zh) * 2016-01-20 2016-06-01 华中师范大学 具有语音功能的3d虚拟教师系统及其方法
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育系统及方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN111290568A (zh) * 2018-12-06 2020-06-16 阿里巴巴集团控股有限公司 交互方法、装置及计算机设备
CN111258433A (zh) * 2020-03-02 2020-06-09 上海乂学教育科技有限公司 基于虚拟场景的教学互动系统

Also Published As

Publication number Publication date
CN112017085A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112017085B (zh) 智能虚拟教师形象人格化方法
US20230017367A1 (en) User interface system for movement skill analysis and skill augmentation
CN110364049B (zh) 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法
CN110945522B (zh) 一种学习状态的判断方法、装置及智能机器人
CN105069294A (zh) 一种用于认知能力值测试的计算和分析方法
CN110069707A (zh) 一种人工智能自适应互动教学系统
CN111027486A (zh) 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN111136659A (zh) 基于第三人称模仿学习的机械臂动作学习方法及系统
CN110134863B (zh) 应用程序推荐的方法及装置
KR101899405B1 (ko) 컴퓨터 및 스마트폰을 기반으로 한 시력강화 소프트웨어 구현 방법
CN116109455B (zh) 一种基于人工智能的语言教学辅助系统
CN113974612B (zh) 一种卒中患者上肢运动功能自动化评估方法与系统
CN111399647A (zh) 一种人工智能自适应互动教学系统
CN116611969B (zh) 传统武术智能学习与评分系统
JP2022014890A (ja) 集中度判別プログラム
CN112836945A (zh) 一种师范生教态量化评价体系
Owusu AI and computer-based methods in performance evaluation of sporting feats: an overview
CN110458076A (zh) 一种基于计算机视觉的教学方法及系统
CN112906293B (zh) 一种基于复习机制的机器教学方法及系统
CN115205072A (zh) 一种面向长周期测评的认知诊断方法
Almohammadi Type-2 Fuzzy Logic based Systems for Adaptive Learning and Teaching within Intelligent E-Learning Environments
CN113792626A (zh) 一种基于教师非言语行为的教学过程评价方法
CN114493094B (zh) 一种中小学劳动教育智慧评价系统
CN117763361B (zh) 一种基于人工智能的学生成绩预测方法及系统
CN117726977B (zh) 基于dcnn的实验操作关键节点评分方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20221020

Granted publication date: 20210720