CN115129205A

CN115129205A - 基于虚拟教师的课程交互方法、系统、服务器及存储介质

Info

Publication number: CN115129205A
Application number: CN202210940982.7A
Authority: CN
Inventors: 李芳媛; 蔡庆昱; 钟睿; 涂新辉; 郑世珏
Original assignee: Central China Normal University
Current assignee: Central China Normal University
Priority date: 2022-08-05
Filing date: 2022-08-05
Publication date: 2022-09-30

Abstract

公开了一种基于虚拟教师的课程交互方法、系统、服务器及存储介质，能够根据用户输入的问题，在服务器上部署的数据库中寻找该问题对应的匹配度最高的答案，根据答案文本可以动态生成虚拟教师的服饰模板以表示不同的问题类别，并融入一些回答该问题的情感，该情感走向用服饰颜色来表达；为避免授课视频中文字材料本身观看不清晰的弊端，动态生成文字基底并使得文字模块、视频模块、虚拟教师模块这三个模块可以动态生成合适的布局，使得学生可以清晰的查看授课内容。

Description

基于虚拟教师的课程交互方法、系统、服务器及存储介质

技术领域

本申请涉及虚拟教师教学系统。

背景技术

智能设备的普及和数字虚拟人技术的高速发展，为人们提供了一种全新的在线学习系统——虚拟教师教学系统，它的沉浸性、交互性、构想性的特点突出了认知和感知的并用，弥补了现有网络教学系统的种种缺陷。通常虚拟教师能够模拟真实教师的形象及动作表情、模拟真实教师的教学功能，它在一定程度上具有了人类导师的作用，而且能够弥补真实教师的一些不足，如长时间为学生提供指导而不会疲倦，学习者可以自主地安排学习时间、学习内容、学习方式等。

然而现有的虚拟教师交互技术较为单一，基本不支持在虚拟教师问答过程中根据问答内容更换虚拟教师的搭配服装及其色彩基调，也不支持虚拟教师讲解课程内容时自动生成相关的课程视频背景并智能安排教学视频、字幕以及虚拟教师的页面布局。以上的业务痛点，通常使得学习者认为虚拟教师授课过程过于平淡乏味，缺少了一定的趣味性与灵活性，造成现有虚拟教师教育教学效果不尽如人意。

发明内容

本申请提供的基于虚拟教师的课程交互方法、系统、服务器及存储介质，能够根据用户输入的问题，在服务器上部署的数据库中寻找该问题对应的匹配度最高的答案，根据答案文本可以动态生成虚拟教师的服饰模板以表示不同的问题类别，并融入一些回答该问题的情感，该情感走向用服饰颜色来表达；为避免授课视频中文字材料本身观看不清晰的弊端，动态生成文字基底并使得文字模块、视频模块、虚拟教师模块这三个模块可以动态生成合适的布局，使得学生可以清晰的查看授课内容。

根据本申请实施例的第一方面，提供一种基于虚拟教师的课程交互方法，包括：分析虚拟教师问答或授课的文字材料以生成对应的情绪标签和类别标签，以及所述情绪标签和所述类别标签与所述文字材料的相关度；根据相关度高于第一阈值的所述情绪标签确定M个服饰颜色，根据相关度高于第二阈值的所述类别标签生成N个服饰模板；从所述N个服饰模板中随机选择一种服饰模板，从所述M个服饰颜色中随机选择一种服饰颜色，将选定的所述服饰颜色渲染到选定的所述服饰模板上面，作为虚拟教师答疑或授课的服饰；所述文字材料为所述虚拟教师授课内容时，确定与所述文字材料相关的图片素材与所述图片素材的切换效果，形成视频背景；根据所述视频背景形成与所述文字材料的文字颜色不同的文字基底；并将所述视频背景、所述文字基底、所述文字材料和所述虚拟教师进行动态布局。

根据本申请实施例的第二方面，提供一种基于虚拟教师的课程交互系统，包括：标签生成模块，其被配置成分析虚拟教师问答或授课的文字材料以生成对应的情绪标签和类别标签，以及所述情绪标签和所述类别标签与所述文字材料的相关度；颜色和模版确定模块，其被配置成根据相关度高于第一阈值的所述情绪标签确定M个服饰颜色，根据相关度高于第二阈值的所述类别标签生成N个服饰模板；服饰确定模块，其被配置成从所述N个服饰模板中随机选择一种服饰模板，从所述M个服饰颜色中随机选择一种服饰颜色，将选定的所述服饰颜色渲染到选定的所述服饰模板上面，作为虚拟教师答疑或授课的服饰；虚拟教师课程讲解视频生成模块，其被配置成在所述文字材料为所述虚拟教师授课内容时，确定与所述文字材料相关的图片素材与所述图片素材的切换效果，形成视频背景；根据所述视频背景形成与所述文字材料的文字颜色不同的文字基底；并将所述视频背景、所述文字基底、所述文字材料和所述虚拟教师进行动态布局。

根据本申请实施例的第三方面，提供一种服务器，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述方法的全部或部分步骤。

根据本申请实施例的第四方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法的全部或部分步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本申请一实施例提供的基于虚拟教师的课程交互方法流程图。

图2a为本申请一实施例提供的预测类型决策实施例流程图。

图2b为本申请一实施例提供的深度强化学习模型训练流程图。

图3为本申请一实施例提供的服饰模板效果图，其中图3（a）～（h）提供了8种服饰模板。

具体实施方式

本申请提供一种基于虚拟教师的课程交互方法，通过分析虚拟教师问答或授课的文字材料产生情绪标签和类别标签，实现虚拟教师的交互模式。下面以图1为例对该方法详细说明。虚拟教师授课与互动过程中，其服饰模板与整体色调都会随着数据库中对应的文字材料产生一定的变化，增强了课程的趣味性和生动性。此外授课过程中的视频、文字、虚拟教师的页面布局也会随授课内容而产生变化，灵活的交互模式可以让学习者产生一定的学习兴趣。手机端用户在按下答疑按钮进行语音问答时，后台数据库利用BM算法进行检索查找相似度最高的问答并返回与该问题相关的文字材料；该文字材料将作为被分析的对象，生成对应的情绪标签和类别标签以及每个标签对应的相关度，根据相关度高于第一阈值的情绪标签确定M个服饰颜色，根据相关度高于第二阈值的类别标签生成N个服饰模板，最后从M个服饰模板中随机选择一种服饰模板，从N个服饰颜色中随机选择一种服饰颜色，将选定的服饰颜色渲染到选定的服饰模板上面，作为虚拟教师本次答疑的服饰。在一示例中，第一阈值可以是50%，第二阈值可以是60%，但不限定于此。

手机端用户在按下授课按钮进行听课时，后台数据库调出本次授课的文字内容，并对其进行与答疑模块相同的处理，得到虚拟教师的服饰。

此外本申请还会对虚拟教师授课的文字材料进行内容分析，确定与文字材料相关的图片素材与图片素材切换效果，形成视频背景；根据视频背景形成与文字颜色不同的文字基底；并将上述的视频背景、文字基底、文字材料和虚拟教师进行动态布局，形成虚拟教师课程讲解视频。

本申请利用强化学习技术生成情绪标签、类别标签及其各自的相关度。

图2a示出了一种预测类型决策实施例流程。

步骤201，搭建强化学习训练交互环境。具体地，强化学习训练交互环境需要包含以下要素：（1）用户问题对应答案的原始文本数据。（2）标签质量评估方法：抽样检测，人工评估文本数据与分析文本数据后形成的标签之间的相关性。（3）有对外接口（API等）的文本数据分析器，对外接口可以将深度强化学习模型输出的预测类型输入文本数据分析器，文本数据分析器会按照预测类型进行文本分析。

按照强化学习的需求，强化学习的环境需包含能够接受动作，并按照动作执行，并对强化模型反馈，具体地，深度强化模型输出的预测类型（强化学习中的动作）给文本分析器，文本分析器按照预测类型进行文本分析，对文本分析后产生的标签进行标签质量评估，输出标签质量指标。标签质量指标返回模型用于更新模型。

步骤202. 深度强化学习模型训练。

下面结合2b对深度强化学习模型的训练进行详细说明。

步骤202-1，搭建深度网络模型，输入为一个文本数据，将它按照句子划分成若干个区域R _N,…,R _N-n，其中为N为当前分析位置，n为参考句子长度。输出参考标签。

步骤202-2，初始化重播数据库D，用于存储历史数据（参考句子，参考标签，质量，相关度）和奖励函数等。

步骤202-3，设置奖励函数，

，其中，m为文本分析后的标签质量。

步骤202-4，初始化训练循环次数和循环次数计数器。

以下步骤将进入循环：

步骤202-5，以ε策略做出决策a。具体的，以ε（ε介于0,1之间）的概率做出新的决策，否则按照当前深度模型做出最佳决策。

步骤202-6，以决策a进行文本分析，即预测类型按照a进行文本分析。记录在数据库D中。

步骤202-7，对文本分析后的标签进行质量评估，得出质量评价m，计算建立函数F，并记录在数据库中。

步骤202-8，从数据库D中随机抽取样本对模型进行更新。具体地，传统Q学习（强化学习的一种）使用表格来存储每一个状态state, 和在这个state每个行为action所拥有的Q值. 深度神经网络使用神经网络替换表格，将状态和动作当成神经网络的输入, 然后经过神经网络分析后得到动作的Q值，这样就没必要在表格中记录Q值，而是直接使用神经网络生成Q值。还有一种形式的是这样，也能只输入状态值, 输出所有的动作值，然后按照Qlearning的原则，直接选择拥有最大值的动作下一步要做的动作。

训练时，首先需要动作a正确的Q值，这个Q值用之前在Q learning 中的Q现实来代替。同样还需要一个Q估计来实现神经网络的更新。所以神经网络的参数就是旧的强化学习深度模型参数加学习率alpha乘以Q现实和Q估计的差距。

具体过程可参考关键Q-learning。

步骤202-9，更新训练循环计数器。

在示例性实施例中，还提供一种基于虚拟教师的课程交互系统，该系统包括：标签生成模块、颜色和模版确定模块、服饰确定模块、虚拟教师课程讲解视频生成模块。标签生成模块被配置成分析文字材料以生成对应的情绪标签和类别标签，并确定情绪标签和类别标签与文字材料的相关度。颜色和模版确定模块被配置成根据相关度高于第一阈值的情绪标签确定M个服饰颜色，根据相关度高于第二阈值的类别标签生成N个服饰模板。服饰确定模块被配置成从N个服饰模板中随机选择一种服饰模板，从M个服饰颜色中随机选择一种服饰颜色，将选定的服饰颜色渲染到选定的服饰模板上面，作为虚拟教师答疑或授课的服饰。虚拟教师课程讲解视频生成模块被配置成在文字材料为虚拟教师授课内容时，确定与文字材料相关的图片素材与图片素材的切换效果，形成视频背景；根据视频背景形成与文字材料的文字颜色不同的文字基底；并将视频背景、文字基底、文字材料和虚拟教师进行动态布局。

在示例性实施例中，还提供一种服务器，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行存储器中指令时，实现所述基于虚拟教师的课程交互方法的全部或部分步骤。

在示例性实施例中，还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述基于虚拟教师的课程交互方法的全部或部分步骤。非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

本申请中，情绪标签包括高兴标签、愤怒标签、悲伤标签、焦虑标签、困惑标签、欣赏标签、满意标签、惊讶标签、敬畏标签、崇拜标签中的任一种或多种的组合。

本申请中类别标签可以根据学科或者每个学科中的知识点来分类。例如，类别标签包含《毛泽东思想和中国特色社会主义理论体系概论》标签、《马克思主义基本原理概论》标签、《中国近现代史纲要》标签、《思想道德修养和法律基础》标签、“四史”学习教育专题标签、国防教育专题标签、劳动教育专题标签、法治教育专题标签。

每个情绪标签对应的色相可以参照但不限于以下方式：{(‘高兴’,‘红’),(‘愤怒’,‘白’),(‘悲伤’,‘绿’),(‘焦虑’,‘灰’),(‘困惑’,‘黑’),(‘欣赏’,‘橙’),(‘满意,‘青’),(‘惊讶’,‘蓝’),(‘敬畏’,‘紫’),(‘崇拜’,‘黄’),}，在生成服饰颜色时可在基本色相范围内随机生成hsv值。色相范围表下表所示。

色相范围表

类别标签对应的服饰模板可以参照但不限定于以下方式：{(‘《毛泽东思想和中国特色社会主义理论体系概论》’,‘服饰模板1’),(‘《马克思主义基本原理概论》’,‘服饰模板2’),(‘《中国近现代史纲要》’,‘服饰模板3’),(‘《思想道德修养和法律基础》’,‘服饰模板4’),(‘“四史”学习教育专题’,‘服饰模板5’),(‘国防教育专题’,‘服饰模板6’),(‘劳动教育专题’,‘服饰模板7’),(‘法治教育专题’,‘服饰模板8’),},服饰模板图存储在服务器数据库中，服饰模板1～服饰模板8效果图分别如图3（a）～（h）所示。

假设用户问题文本：为什么说劳动最光荣。

数据库中匹配度最高的答案文本：对于社会来说，劳动最光荣，因为是劳动创造了美好

生活，是劳动创造了生活中的一切精神和物质财富；对一个人来说，也是通过自己的劳动获得的成果才是最伟大的。如果依靠其他的不良手段，那么，最后的结果做得最好还是没有一点意义的。劳动是社会实践的重要形式，是创造物质的根本途径，社会发展需要劳动实践。劳动的主体只能是人，劳动光荣被我们所使用，是对无产阶级、工人阶级的褒奖，看看我们现在所拥有的一切都是人民辛勤劳动所得；也是对千万劳动人民的鼓舞与激励，不劳而获是可耻的也是不现实的！

经过强化学习生成的该答案文本对应的情绪标签：

{(‘敬畏’,80%),(‘欣赏’,76%)，(‘崇拜’,70%)，(‘高兴’,64%),(‘满意’,23%)}

经过强化学习生成的该答案文本对应的类别标签：

{(‘劳动教育专题’,95%),(‘《思想道德修养和法律基础》’,80%)}

根据情绪标签生成服饰颜色：

{(‘敬畏’,80%,‘hsv(130,159,87)’),(‘欣赏’,76%,‘hsv(19,47,200)’)，(‘崇拜’,70%,‘hsv(31,187,191)’)，(‘高兴’,64%,‘hsv(174,78,99)’)}

根据类别标签生成服饰模板：

{(‘劳动教育专题’,95%,‘服饰模板7’),(‘《思想道德修养和法律基础》’,80%,‘服饰模板4’)}

系统随机选择其中一个服饰颜色和其中一个服饰模板，并将服饰模板从服务器中导出，将服饰颜色渲染到服饰模板上面，生成最终的虚拟教师形象。

Claims

1.一种基于虚拟教师的课程交互方法，其特征在于，包括：

分析虚拟教师问答或授课的文字材料以生成对应的情绪标签和类别标签，以及所述情绪标签和所述类别标签与所述文字材料的相关度；

根据相关度高于第一阈值的所述情绪标签确定M个服饰颜色，根据相关度高于第二阈值的所述类别标签生成N个服饰模板；

从所述N个服饰模板中随机选择一种服饰模板，从所述M个服饰颜色中随机选择一种服饰颜色，将选定的所述服饰颜色渲染到选定的所述服饰模板上面，作为虚拟教师问答或授课的服饰。

2.根据权利要求1所述的基于虚拟教师的课程交互方法，其特征在于，所述文字材料为所述虚拟教师授课内容时，确定与所述文字材料相关的图片素材与所述图片素材的切换效果，形成视频背景；根据所述视频背景形成与所述文字材料的文字颜色不同的文字基底；并将所述视频背景、所述文字基底、所述文字材料和所述虚拟教师进行动态布局。

3.根据权利要求2所述的基于虚拟教师的课程交互方法，其特征在于，所述情绪标签包括高兴标签、愤怒标签、悲伤标签、焦虑标签、困惑标签、欣赏标签、满意标签、惊讶标签、敬畏标签、崇拜标签中的任一种或多种的组合。

4.一种基于虚拟教师的课程交互系统，其特征在于，包括：

标签生成模块，其被配置成分析虚拟教师问答或授课的文字材料以生成对应的情绪标签和类别标签，以及所述情绪标签和所述类别标签与所述文字材料的相关度；

颜色和模版确定模块，其被配置成根据相关度高于第一阈值的所述情绪标签确定M个服饰颜色，根据相关度高于第二阈值的所述类别标签生成N个服饰模板；

服饰确定模块，其被配置成从所述N个服饰模板中随机选择一种服饰模板，从所述M个服饰颜色中随机选择一种服饰颜色，将选定的所述服饰颜色渲染到选定的所述服饰模板上面，作为虚拟教师问答或授课的服饰。

5.根据权利要求4所述的基于虚拟教师的课程交互系统，其特征在于，还包括虚拟教师课程讲解视频生成模块，其被配置成在所述文字材料为所述虚拟教师授课内容时，确定与所述文字材料相关的图片素材与所述图片素材的切换效果，形成视频背景；根据所述视频背景形成与所述文字材料的文字颜色不同的文字基底；并将所述视频背景、所述文字基底、所述文字材料和所述虚拟教师进行动态布局。

6.根据权利要求4所述的基于虚拟教师的课程交互系统，其特征在于，所述情绪标签包括高兴标签、愤怒标签、悲伤标签、焦虑标签、困惑标签、欣赏标签、满意标签、惊讶标签、敬畏标签、崇拜标签中的任一种或多种的组合。

7.一种服务器，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令时实现权利要求1-3任一项所述的方法。

8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法。