CN105632251A - 具有语音功能的3d虚拟教师系统及其方法 - Google Patents

Abstract

本发明公开了一种具有语音功能的3D虚拟教师系统及其方法，涉及数字化教学和人工智能领域。本系统是3D虚拟教师服务器（10）、因特网网络（20）和客户终端（30）依次连通；用户打开本系统，本系统通过因特网网络（20）登陆到3D虚拟教师服务器（10）。本方法包括：一、智能语音自动答疑；二、虚拟教师情感处理。与现有技术相比，本发明①具有3D形象和情感的虚拟老师更吸引学习者的兴趣；②语音答疑更方便；③学习内容推荐提高学习者的学习效率。

Description

具有语音功能的3D虚拟教师系统及其方法

技术领域

本发明涉及数字化教学和人工智能领域，尤其涉及一种具有语音功能的3D虚拟教师系统及其方法。

背景技术

国内有关虚拟教师问题的研究始于2006年前后，其概念及研究内容随着研究的开展发生了巨大的变化。在现实的学校教育中，学生对教师的选择是有限的，教师的外在形象也是固定的。然而在虚拟世界中则大相径庭，学生可以选择喜爱的虚拟教师，由学生自主选择教师的形象，研究表明，由学生喜爱的教师授课，往往更能激发学生的学习兴趣。

目前，数字化教学常见的是没有虚拟教师形象的学习系统，该系统一般具有教学、答疑、布置作业和测验等功能。具有语音功能和3D形象的虚拟教师正处于研究阶段。

随着语音识别技术的发展，语音自动答疑的研究也发展起来，目前语音自动答疑方面苹果语音助理服务Siri可以语音解答使用苹果手机的问题，百度的移动解题类App“作业帮”具有了“语音答疑”的功能。用于英语教学的虚拟教师具有语音功能，学习者可以向虚拟教师说话，但这种语音交流只能用于特定部分，如：测试(Quiz)。国内外对自动答疑的研究已经有十多年了，其关键技术是关键字的提取、全文搜索技术及知识库的构建，由于传统的关键字匹配技术没有理解查询词背后的语义信息，存在查询效率低、准确度不够的问题。

3D动画又称为三维动画，是随着计算机硬件和软件发展而产生的一门新兴技术。三维动画技术对真实物体的运动状态的虚拟模拟具有精确、真实和无限可能性。目前常用得3D工具有Maya、3dsMax等，运用这些工具可以制作出各种惟妙惟肖的人物和场景，也可通过程序控制人物的动作。但目前还没有将情感词触发3D虚拟人物的情感合成，目前带有教师头像的虚拟教师始终只能保持一种表情。

人性化交互功能的虚拟教师引入现有的虚拟学习环境中来，可以帮助学习者更好地完成学习任务，在快乐中学习，学习者在感受到利用网络进行学习的充实感的同时，拥有教师形象的虚拟教师又可以使学生摆脱以往利用网络学习的孤独感，有接受正规学校教育的感觉。相信随着技术的进步和人们对于网络学习观念的更新，伴有教师形象的虚拟学习环境的利用率会越来越高，各类课程学习平台会使成千上万的学习者受益。

发明内容

本发明的目的是提供一种具有语音功能的3D虚拟教师系统及其方法，即提供一种能模拟真实教师的外貌、形象、动作以及表情等的3D虚拟教师，并能够向学习者授课和自动答疑的智能实体，解决目前在线学习时缺少互动、缺乏情感的交流、疑问不能及时解答、容易产生孤独感、不易对学习保持长久热情和教学效果差的问题。

本发明的目的是这样实现的：

本发明以3D动画的形式和模拟虚拟教师情感的方式实现网络教学过程中的智能答疑和在线学习；通过语音识别技术将用户提出的问题识别为短文本，将短文本分词，通过课程知识图谱，匹配出文本形式的答案，最后通过语音生成器生成语音回答；同时虚拟讲课时根据课程内容合成不同表情和动作处理；答疑时对用户提问信息进行分析，对积极提问和消极提问分别合成不同的表情；本发明可用于大、中、小学生不同课程的教学中，也可用于其他类型的教学中。

一、具有语音功能的3D虚拟教师系统(简称系统)

本系统包括现有的因特网网络和客户终端，客户终端包括第1客户终端、第2客户终端……和第N客户终端，N为自然数，1≤N≤1000000；

设置有3D虚拟教师服务器；

3D虚拟教师服务器、因特网网络和客户终端依次连通；

用户打开本系统，本系统通过因特网网络登陆到3D虚拟教师服务器。

本发明的工作原理是：

①借助语音识别技术将用户语音提出的问题识别为文本，对文本进行取词根、标注词性处理，设计短文本相似度计算方法计算问题与课程答案库中答案的相似度，相似度最高的文本形式答案被找出来，最后通过语音生成器生成语音回答；

②通过学习者提问内容分析将提问内容表示成关键词向量，通过相似度度量，得出潜在的具有相似性的学习内容，将有效学习内容信息推荐给学习者；

③虚拟教师情感是通过计算机3D工具呈现的，首先构建3D虚拟教师情感空间，对虚拟教师进行情感的数据量化，包括面部表情、身体姿态、头部姿势、手势、运动和物体操作，然后构建3D虚拟教师情感转移矩阵，设计情感的更新规则，包括不同程度的负面影响和正面影响，虚拟教师的情感变化根据这些规则更新。

二、具有语音功能的3D虚拟教师方法(简称方法)

本方法包括以下两种：

1、智能语音自动答疑

①通过语音识别技术将用户提出的问题识别为文本，通过短文本相似度计算找出文本形式的答案；

②通过语音生成器生成语音回答。

2、虚拟教师情感处理

①3D虚拟教师讲课时根据课程内容合成不同表情和动作处理；答疑时对用户提问信息进行分析，对积极提问和消极提问分别合成不同的表情；

②如果系统识别出来的用户的提问中含有喜悦、高兴之类的词或者识别出来的词的是属于喜悦、高兴这种类别时，3D虚拟教师的表情会显示微笑；相反地，如果系统识别出来的用户的提问中含有不高兴、伤心之类的词，3D虚拟教师的表情会显示难过或者皱眉之类的表情；

③同时，3D虚拟教师的表情显示的程度会随着系统识别出来的用户的提问中的词的程度而改变，如果系统识别出来的用户的提问中显示非常高兴，即高兴的程度很大，则3D虚拟教师的表情的微笑幅度会变大；如果系统识别出来的用户的提问中显示非常伤心，则3D虚拟教师的表情不高兴的幅度也会变大。

与现有技术相比，本发明具有以下优点和积极效果：

①具有3D形象和情感的虚拟老师更吸引学习者的兴趣；

②语音答疑更方便；

③学习内容推荐提高学习者的学习效率。

附图说明

图1是本系统的结构方框图，图1中：

10—3D虚拟教师服务器；

20—因特网网络；

30—客户终端，

31—第1客户终端，

32—第2客户终端……

3N—第N客户终端，N为自然数，1≤N≤1000000；

图2是3D虚拟教师服务器10的结构方框图，图2中：

11—语音答疑模块；

12—授课模块；

13—推荐学习模块；

14—情感控制模块；

15—在线测试模块；

图3是情感控制模块14的结构方框图，图3中：

141—情感更新规则；

142—3D虚拟教师情感空间,

1421—面部表情情感转移矩阵,

1422—身体姿态情感转移矩阵,

1423—头部姿势情感转移矩阵,

1424—手势情感转移矩阵,

1425—运动情感转移矩阵,

1426—物体操作情感转移矩阵；

图4是语音答疑模块11外交互的流程图；

图5是语音答疑模块11内交互的流程图。

具体实施方式

下面结合附图和实施例详细说明：

一、系统

1、总体

如图1，本系统包括现有的因特网网络20(简称网络)和客户终端30(简称用户)，客户终端30包括第1客户终端31、第2客户终端32……和第N客户终端3N，N为自然数，1≤N≤1000000；

设置有3D虚拟教师服务器10(简称服务器)；

3D虚拟教师服务器10、因特网网络20和客户终端30依次连通；

用户打开本系统，本系统通过因特网网络20登陆到3D虚拟教师服务器10。

2、功能部件

1)3D虚拟教师服务器10

如图2，3D虚拟教师服务器10(简称服务器)是整个系统的核心，接受客户终端30的请求并为客户终端30提供各种功能服务。

其硬件配置是台式计算机服务器；

内嵌的软件包括相互交的语音答疑模块11、授课模块12、推荐学习模块13、情感控制模块14和在线测试模块15；语音答疑模块11、授课模块12分别与课程知识图谱交互。

(1)语音答疑模块11是对用户的语音进行处理并回答的模块；

(2)授课模块12是3D虚拟教师进行授课；

(3)推荐学习模块13是3D虚拟教师服务器10对用户进行学习的推荐；

(4)情感控制模块14是3D虚拟教师服务器10面部的情感展示；

如图3，情感控制模块14包括互相交互的情感更新规则141和3D虚拟教师情感空间142；所述的3D虚拟教师情感空间142包括面部表情1421、身体姿态1422、头部姿势1423、手势1424、运动1425和物体操作1426。

①系统的情感更新规则141可以对3D虚拟教师的情感进行控制。

②3D虚拟教师情感空间142是将情感进行的数据量化，当受到外部因素的刺激，根据情感更新规则141更新离散的情感数据。

ⅰ、3D虚拟教师情感空间142的构造方法为：

$M\left(t\right)=\left\{\begin{array}{c}\left(\begin{array}{c}{e}_1\left(t\right)\\ e_2\left(t\right)\\ ...\\ e_n\left(t\right)\end{array}\right),ift>0\\ 0,ift=0\end{array}\right.$

$e_i\left(t\right)=\left\{\begin{array}{c}f\left(I_{e_i}\right(t),g_{e_i})=\left(I_{e_i}\right(t)-g_{e_i})\\ 0\end{array}\right.$

ⅱ、上面公式中，M(t)表示3D虚拟教师情感状态，t表示某一时间t,ei(t)表示t时刻情感状态中的一个基本情感(如喜悦、希望、生气、忧伤和失望等)，值为[0，1]之间，0代表该基本情感缺失，1代表该基本情感值最大，n表示基本情感的个数，f[Iei(t),gei]是情感激活函数，Iei(t)是t时刻基本情感的ei强度值，表示该基本情感的强弱，gei表示的ei情感激活阈值。

ⅲ、3D虚拟教师情感空间的重要组成部分是3D虚拟教师情感控制器，3D虚拟教师情感控制器定义如下：3D虚拟教师情感控制器中有情感词集，情感词集分为五类：喜悦、希望、生气、忧伤和失望，每一类对应一基本表情，构成基本表情集；3D虚拟教师在上课或回答问题时，基本表情是微笑，当遇到情感词时，显示该情感词对应的基本情感，如果有程度副词修饰该情感词，则根据副词修改基本情感的值，调整眼角和嘴角的位置。

③面部表情情感转移矩阵1421

ⅰ、面部表情情感转移矩阵情感转移矩阵(1421)是方法的核心，根据该矩阵来计算出3D虚拟教师的情感是属于哪种分类；在3D虚拟教师情感控制器中有情感词集，情感词集分为五类：喜悦、希望、生气、忧伤和失望，每一类对应一基本表情，例如面部表情是微笑还是皱眉，构成基本表情集；

ⅱ、同时，面部表情显示的程度会随着系统识别出来的用户的提问中的词的程度而改变，例如如果系统识别出来的用户的提问中显示非常高兴，即高兴的程度很大，则3D虚拟教师的表情的嘴角上扬和眼角上扬幅度会变大；如果系统识别出来的用户的提问中显示很不高兴，则3D虚拟教师的表情嘴角下和眼角下垂的幅度也会变大。

④身体姿态情感转移矩阵1422

在3D教师对用户授课时，身体姿态情感转移矩阵用于控制3D虚拟教师的身体姿态，身体姿态是配合系统识别出来的用户的提问的词的类别而显示的。

⑤头部姿势情感转移矩阵1423

头部姿势情感转移矩阵用于控制3D虚拟教师的头部姿势。

⑥手势情感转移矩阵1424

在3D教师对用户授课时，会展示相应的手势，也是配合系统识别出来的用户的提问的词的类别而显示的。

⑦运动情感转移矩阵1425

运动情感转移矩阵用于控制3D虚拟教师的身体动作。

⑧物体操作情感转移矩阵1426

物体操作情感转移矩阵用于控制3D虚拟教师对虚拟物体的操作；其中虚拟物体指的是系统中的虚拟物体，比如黑板、课本等。

(5)在线测试模块15是用户进行课程练习和课程测试；

语音答疑模块11和授课模块12会用到课程知识图谱的内容，课程知识图谱是显示课程知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述课程知识资源及其载体和显示课程知识及它们之间的相互联系的知识网络。

在授课和智能答疑过程中，虚拟教师情感都是由情感控制模块14控制，根据学习者提出的问题，给出相对应的表情，再结合课程知识图谱给出相应的回答，还可以推荐学习者学习相关的内容。

2)因特网网络20

因特网网络20是3D虚拟教师服务器10和客户终30之间进行交互的媒介，简称网络。

3)客户终端30

客户终端30(简称用户)为计算机、手机或平板电脑，都可以登录到本系统并开始3D虚拟教师的学习。

二、方法

语音答疑模块

1、语音答疑模块外交互的工作流程

如图4，语音答疑模块外交互的工作流程如下：

A、用户向服务器发送服务请求-401；

B、服务器向用户提供3D虚拟教师服务列表-402；

所述的3D虚拟教师服务列表是指3D虚拟教师服务器给用户提供的包含所有可供选择的3D虚拟教师的列表；

C、用户定制3D虚拟教师-403；

所述的定制3D虚拟教师是指系统会提供给用户所有3D教师的列表，然后用户从中选择自己想要的3D虚拟教师，则用户选择3D虚拟教师的这个过程就称为定制3D虚拟教师。

D、用户选择课程内容-404；

E、3D虚拟教师讲课-405；

F、用户向3D虚拟教师提问-406；

G、系统对用户的提问进行语音回答-407；

H、系统向用户推荐学习内容-408。

2、语音答疑模块内交互的工作流程

如图5，语音答疑模块内交互的工作流程如下：

a、开始-501；

b、判断是否语音提问-502，是则进入下一步骤，否则跳到步骤d；

c、语音识别-503

所述的语音识别是指系统对用户的语音提问进行识别；

d、分词-504

所述的分词是指系统对识别出来的用户的提问进行词的划分；

e、是否有疑问词-505

所述的疑问词是指用户的提问的句子当中是否包含有疑问词，例如“吗”、“为什么”等，

是则：ⅰ、通过课程知识图谱找出重点词的关系-506；

ⅱ、生成答案-507后进入步骤f；

否则：ⅰ、通过课程知识图谱计算重点词的距离-508；

ⅱ、判断距离是否小于参数-509，所述的的参数是指系统设置的用于比较的参数；是则进入步骤ⅲ，否则到输出否定回答-511；

ⅲ、输出肯定回答-510后进入步骤f；

f、语音合成-512

所述的语音合成是指系统把对用户提问的文本回答合成为语音的形式；

g、输出语音-513；

h、结束-514。

Claims (6)

1.一种具有语音功能的3D虚拟教师系统，包括现有的因特网网络（20）和客户终端（30），客户终端（30）包括第1客户终端（31）、第2客户终端（32）……和第N客户终端（3N），N为自然数，1≤N≤1000000；

其特征在于：

设置有3D虚拟教师服务器（10）；

3D虚拟教师服务器（10）、因特网网络（20）和客户终端（30）依次连通；

用户打开本系统，本系统通过因特网网络（20）登陆到3D虚拟教师服务器

（10）。

2.按权利要求1所述的一种具有语音功能的3D虚拟教师系统，其特征在于：

所述的3D虚拟教师服务器（10）是整个系统的核心，接受客户终端（30）

的请求并为客户终端（30）提供各种功能服务；

其硬件配置是台式计算机服务器；

内嵌的软件包括相互交的语音答疑模块（11）、授课模块（12）、推荐学习模块（13）、情感控制模块（14）和在线测试模块（15）；语音答疑模块（11）、授课模块（12）分别与课程知识图谱交互。

3.按权利要求1-2所述的一种具有语音功能的3D虚拟教师系统，其特征在于：

所述的情感控制模块（14）包括互相交互的情感更新规则（141）和3D虚拟教师情感空间（142）；

所述的3D虚拟教师情感空间（142）包括面部表情（1421）、身体姿态（1422）、头部姿势（1423）、手势（1424）、运动（1425）和物体操作（1426）。

4.基于权利要求1-3所述系统的具有语音功能的3D虚拟教师方法，其特征在于包括以下两种：

一、智能语音自动答疑

①通过语音识别技术将用户提出的问题识别为文本，通过短文本相似度计算找出文本形式的答案；

②通过语音生成器生成语音回答；

二、虚拟教师情感处理

①3D虚拟教师讲课时根据课程内容合成不同表情和动作处理；答疑时对用户提问信息进行分析，对积极提问和消极提问分别合成不同的表情；

②如果系统识别出来的用户的提问中含有喜悦、高兴之类的词或者识别出来的词的是属于喜悦、高兴这种类别时，3D虚拟教师的表情会显示微笑；相反地，如果系统识别出来的用户的提问中含有不高兴、伤心之类的词，3D虚拟教师的表情会显示难过或者皱眉之类的表情；

③同时，3D虚拟教师的表情显示的程度会随着系统识别出来的用户的提问中的词的程度而改变，如果系统识别出来的用户的提问中显示非常高兴，即高兴的程度很大，则3D虚拟教师的表情的微笑幅度会变大；如果系统识别出来的用户的提问中显示非常伤心，则3D虚拟教师的表情不高兴的幅度也会变大。

5.按权利要求4所述的具有语音功能的3D虚拟教师方法，其特征在于所述的语音答疑模块外交互的工作流程如下：

A、用户向服务器发送服务请求（401）；

B、服务器向用户提供3D虚拟教师服务列表（402）；

所述的3D虚拟教师服务列表是指3D虚拟教师服务器给用户提供的包含所有可供选择的3D虚拟教师的列表；

C、用户定制3D虚拟教师（403）

所述的定制3D虚拟教师是指系统会提供给用户所有3D教师的列表，然后用户从中选择自己想要的3D虚拟教师，则用户选择3D虚拟教师的这个过程就称为定制3D虚拟教师；

D、用户选择课程内容（404）；

E、3D虚拟教师讲课（405）；

F、用户向3D虚拟教师提问（406）；

G、系统对用户的提问进行语音回答（407）；

H、系统向用户推荐学习内容（408）。

6.按权利要求4所述的具有语音功能的3D虚拟教师方法，其特征在于所述的语音答疑模块内交互的工作流程如下：

a、开始（501）；

b、判断是否语音提问（502），是则进入下一步骤，否则跳到步骤d；

c、语音识别（503）

所述的语音识别是指系统对用户的语音提问进行识别；

d、分词（504）

所述的分词是指系统对识别出来的用户的提问进行词的划分；

e、是否有疑问词（505）

所述的疑问词是指用户的提问的句子当中是否包含有疑问词；

是则：ⅰ、通过课程知识图谱找出重点词的关系（506）；

ⅱ、生成答案（507）后进入步骤f；

否则：ⅰ、通过课程知识图谱计算重点词的距离（508）；

ⅱ、判断距离是否小于参数（509），所述的的参数是指系统设置的用于比较的参数；是则进入步骤ⅲ，否则到输出否定回答-511；

ⅲ、输出肯定回答（510）后进入步骤f；

f、语音合成（512）

所述的语音合成是指系统把对用户提问的文本回答合成为语音的形式；

g、输出语音（513）；

h、结束（514）。