CN107633719B - 基于多语种人机交互的拟人形象人工智能教学系统和方法 - Google Patents

Abstract

本发明公开了一种基于多语种人机交互的拟人形象人工智能教学系统和方法，包括服务器和至少一个学习终端；服务器能与任意数量的学习终端建立数据交换连接；学习终端被配置为建立人机交互连接，预存真人形象语言教学视频、对真人进行拟人形象处理以获得拟人形象语言教学视频、以及根据学习终端请求向学习终端发送真人形象语言教学视频数据和/或拟人形象语言教学视频数据；学习终端获取真人形象语言教学模式信号时向服务器传送要求进入真人形象语言教学模式请求的信号；学习终端获取拟人形象语言教学模式信号时向服务器传送要求进入拟人形象语言教学模式请求的信号。优点在于：具有能够提高交互效果、增加学习趣味，提高学生的兴趣等优点。

Description

基于多语种人机交互的拟人形象人工智能教学系统和方法

技术领域

本发明属于人工智能技术领域，尤其涉及一种基于多语种人机交互的拟人形象人工智能教学系统和方法。

背景技术

随着现代科技的发展，与原来只能借由书本、口述或者学校上课的形式学习的方式不同，我们多了很多其他选择，最突出的就是计算机的普及和互联网技术的发展。电脑网络和电子产品都具有多样化功能，人们在其帮助下，采用生动活泼的多媒体教学方法。具有丰富的学习内容、互动的交互方式、个性化的课程、便于操作等特点已经是语言学习系统发展的必然趋势。虽然现在的外语学习已经具备很好的条件和设备支持，但是目前没有一款专门针对青少年的系统，且目前有关语言学习的系统设备存在诸多不足，以英语学习为例：1、在线的外国老师全部来自世界100多个国家的非专业英语老师业余或者没有工作的带有各地的地方口音，不利于孩子的学习；2、网上业余老师的教学质量得不到保障；3、对于英语水平不足不会用英文提问的学生无法与听不懂中文的老师正常交流，老师也无法有针对性地回答学生的问题，影响学生学习效果；4、在线外语老师师资缺乏，无法满足市场的需要；5、办学成本高，学习成本也高，导致培训机构盈利空间有限，同时存在教育不公平问题。

为了解决上述技术问题，人们进行了长期的探索，例如中国专利公开了一种人机互动的外语学习系统和方法[申请号：201210377966.8]，其系统采用服务器/客户端的结构，虚拟真实的语言环境，提供用户在特定场景中进行语言学习，包括场景数据库：其存储有多个主题对应的场景，以及各个场景对应的场景元素；登陆模块：其用于监听该客户端用户发送的连接信息，并且判断其合法性，根据合法性在该服务器创建该客户；进程管理模块：其管理该客户端的进程，并通过该客户端与该服务器端的资料交换确定当前的场景状态；场景编辑模块：根据该场景状态相对应的该场景元素进行循环编辑，将编辑后的接口展现至该客户端，同时接收客户端输入的动作操作，并根据该动作操作做出相应响应；语言交流模块；接收客户端用户输入的交流资料，并根据该交流资料在该客户端做出相应的响应；注销模块，接收客户端的注销信息，根据注销信息将用户从服务器中删除，同时该服务器中存储该用户的属性资料。

上述方案虽然做到了利用网络媒体的优势，围绕学生设计了一款自主学习活动教学系统，为学习者提供优质的学习支持服务，在一定程度上能够提高学生的学习兴趣，但是该方案仍然存在缺陷,例如：上述方法是真人老师和真人学生之间的教课和学习，且上述方案中事先录好的教学课程学生无法和录像中的老师实时交流的，完全是单向的教学，录像中的真人老师听不到学生的英语发音和讲话声音，无法同时和不同终端的学生实时交流，更无法对用户的语音进行语种识别、双语交流和根据学生的喜好选择真人形象或拟人形象的老师；并且从学生的角度讲，这也是一种单向的纯自学的方式，学生无法实时向老师提问题得到帮助解释和针对性的个别指导，更无法和老师进行实时的语音或者文字互动。

发明内容

本发明的目的是针对上述问题，提供一种能够根据喜好选择真人老师形象或拟人老师形象的基于多语种人机交互的拟人形象人工智能教学系统；

本发明的另一目的是针对上述问题，提供一种采用基于多语种人机交互的拟人形象人工智能教学系统的基于多语种人机交互的拟人形象人工智能教学方法；

为达到上述目的，本发明采用了下列技术方案：

本发明的基于多语种人机交互的拟人形象人工智能教学系统包括服务器和至少一个学习终端；其中，服务器能与任意数量的学习终端建立数据交换连接；其中，学习终端被配置为建立人机交互连接，其特征在于：

所述的服务器被配置为预存真人形象语言教学视频、对真人形象语言教学视频中的真人形象进行拟人形象处理以获得拟人形象语言教学视频、以及根据学习终端请求向学习终端发送真人形象语言教学视频数据和/或拟人形象语言教学视频数据；

所述的学习终端获取真人形象语言教学模式信号时向服务器传送要求进入真人形象语言教学模式请求的信号；所述的学习终端获取拟人形象语言教学模式信号时向服务器传送要求进入拟人形象语言教学模式请求的信号；

以及，所述的服务器还被配置为经学习终端实现与学习者进行同语种或跨语种的自然语言交流。

通过上述技术方案，学生可以根据自己的喜好选择真人形象语言教学视频或基于真人形象的拟人形象语言教学视频，还原性高的同时增强上课趣味性，提高学生的上课兴趣。

在上述的基于多语种人机交互的拟人形象人工智能教学系统中，所述的服务器连接有采集真人形象语言教学视频的视频采集子系统，所述的视频采集子系统包括连接于服务器的摄像头和连接于服务器的若干信号采集器，所述的信号采集器在摄像头采集真人形象语言教学视频过程中穿戴于被录制者身上。

在上述的基于多语种人机交互的拟人形象人工智能教学系统中，所述的服务器包括教学进程控制模块和存储模块，所述的存储模块被配置为存储真人形象语言教学视频、拟人形象语言教学视频和学习终端的学习进程，且所述的存储模块还被配置为存储具有被录制者录音库的答案知识库；所述的教学进程控制模块被配置为控制教学进程：在接收到进入主语种模式请求的信息时对用户输入的主语种语音进行语音识别、语义识别和目的判别，并在判别到目的为发音练习时对该主语种语音进行发音检测，在判别到目的是提问或回答问题时，搜索答案知识库并将搜索结果通过通信网络反馈至相应的学习终端；在接收到进入次语种模式请求的信息时对用户输入的次语种语音进行语音识别、语义识别和目的判别，根据目的判别结果搜索答案知识库并将搜索结果通过通信网络反馈至相应的学习终端。

在上述的基于多语种人机交互的拟人形象人工智能教学系统中，所述的教学进程控制模块还被配置为当接收到学习终端上传的听课文字时判断该听课文字的语种为主语种文字或次语种文字，在判断结束后进一步判断该听课文字的语义和目的，根据语种、目的和语义搜索答案知识库，并将搜索结果以主语种文字和/或主语种语音的形式通过通信网络反馈至相应的学习终端。

在上述的基于多语种人机交互的拟人形象人工智能教学系统中，所述的教学进程控制模块还被配置为根据搜索结果或检测结果在录音库中查找是否存在与搜索结果或检测结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈至相应的学习终端，否则，根据检测结果或搜索结果合成用户所使用语种的语音或文字后通过通信网络反馈至相应的学习终端。

一种采用基于多语种人机交互的拟人形象人工智能教学系统的基于多语种人机交互的拟人形象人工智能教学方法，包括以下步骤：

A:根据被录制者的录制数据获得真人形象语言教学视频数据，并根据真人形象语言教学视频中的真人形象进行拟人形象处理以获得拟人形象语言教学视频数据；

B：在接收到要求进入真人形象语言教学模式请求的信号时，向相应的学习终端发送真人形象语言教学视频数据；

C：在接收到要求进入拟人形象语言教学模式请求的信号时，向相应的学习终端发送拟人形象语言教学视频数据；

在上述的基于多语种人机交互的拟人形象人工智能教学方法中，在步骤A之前还包括以下步骤：

在被录制者进行录制的同时提取被录制者的录音合成该被录制者的录音库存放至答案知识库中。

在上述的基于多语种人机交互的拟人形象人工智能教学方法中，在步骤B或步骤C之后还包括以下步骤：

D：当接收到要求进入主语种模式的信息时接收学习终端上传的主语种语音，对接收到的主语种语音进行语音识别和语义识别，并根据当前具体的授课内容判断用户目的后，根据语音语义对用户进行相应的反馈；

E:当接收到要求进入次语种模式的信息时接收学习终端上传的次语种语音，对接收到的次语种语音进行语音识别和语义识别，并根据语音语义对用户进行相应的反馈。

在上述的基于多语种人机交互的拟人形象人工智能教学方法中，当在授课模式中接收到用户输入的听课文字时，还执行以下步骤：

F：对听课文字进行语种识别，当识别到听课文字为作为授课语种的主语种时，对听课文字进行语义识别并根据当前具体的授课内容判断用户目的后，对用户进行相应的反馈；

当识别到的听课文字为非授课语种的次语种时，执行步骤G；

G：识别听课文字并判断语义，根据语义向用户反馈结果。

在上述的基于多语种人机交互的拟人形象人工智能教学方法中，在步骤D中，当判断用户目的结果为发音练习时，对用户的发音进行检测和纠正并在录音库中查找是否存在与检测和纠正结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在则根据检测和纠正结果合成主语种语音和/或主语种文字反馈给用户；

当判断用户目的结果为提问或回答问题时搜索答案知识库，并根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在，则将搜索结果合成为主语种语音和/或主语种文字反馈给用户；

在步骤E中，根据语义搜索答案知识库，根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在，则将搜索结果合成为用户所使用的次语种语音和/或次语种文字反馈给用户；

在步骤F和步骤G中，在识别用户的文字语义后根据语义搜索答案知识库，并根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在，则将搜索结果合成用户所使用的次语种语音和/或次语种文字反馈给用户。

本发明基于多语种人机交互的拟人形象人工智能教学系统和方法相较于现有技术具有以下优点：1、能够供用户根据自己的喜好选择真人外形老师或拟人外形老师进行在线学习；2、能够提供统一教育水平和质量的统一教育，不会因为不同的老师而造成不同的教学质量；3.能够对用户的语音进行目的判别，针对用户的目的反馈给用户交互结果；4、使用事先录制的视频，学生可随时观看学习；5、能够对用户的听课语音进行语种判别，以学生所使用的语种与学生实时交流，问答；6.解决了真人优秀老师缺乏的问题，一个教学质量最好的人工智能老师替代了千千万万个教学水平不一致的真人老师；7.为教育机构极大地降低了大量人工和管理成本；8.由于教学成本的降低，学习和培训费用也极大地降低了，使得中低收入和偏远地区家庭的孩子也能够得到同样的学习和培训机会，可以使得教育资源更公平。

附图说明

图1是本发明实施例一的系统框图；

图2是本发明实施例二的方法流程图；

图3是本发明实施例二的部分方法流程图；

图4是本发明实施例三的部分方法流程图。

附图标记：服务器1；学习终端2；摄像头31；视频采集子系统3；信号采集器32；存储模块12；教学进程控制模块11。

具体实施方式

本发明适用于外语在线学习，能够解决现有技术的在线学习系统功能单一、授课形式枯燥、提不起学生的学习兴趣，无法实时识别用户语种与用户实时交互，且且有些老师外语发音不标准，带有各地地方口音，教学质量参差不齐、教育资源不平衡，投入成本高等问题。

以下是本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

如图1所示，本实施例的基于多语种人机交互的拟人形象人工智能教学系统包括服务器1和至少一个学习终端2；其中，服务器1能与任意数量的学习终端2建立数据交换连接；其中，学习终端2被配置为建立人机交互连接，具体表现为：

服务器1被配置为预存真人形象语言教学视频、对真人形象语言教学视频中的真人进行拟人形象处理以获得拟人形象语言教学视频、以及根据学习终端2请求向学习终端2发送真人语言教学视频数据和/或拟人形象语言教学视频数据；

所属技术人员应当知道，这里的教学视频数据即指包含教学视频内容的数据信息。

学习终端2获取真人形象语言教学模式信号时向服务器1传送要求进入真人语言教学模式请求的信号；所述的学习终端2获取拟人形象语言教学模式信号时向服务器1传送要求进入拟人形象语言教学模式请求的信号；

这里的真人形象语言教学视频数据由被录制者录制上课过程而得，也就是说，用户在选择真人老师上课的时候，看到的上课视频中的老师为被录制者的形象，但从外形概念上讲，这个被录制者形象的老师也只是具有真人的外形而已，在上课过程中，无论是真人形象的老师还是拟人形象的老师教课内容和动作以及和学生的互动均由服务器-即人工智能控制。

以及，服务器1还被配置为经学习终端2实现与学习者进行同语种或跨语种的自然语言交流。

进一步地，服务器1连接有用于采集真人语言教学视频的视频采集子系统，视频采集子系统包括连接于服务器1的摄像头3131和连接于服务器1的若干信号采集器32，信号采集器32在摄像头3131采集真人形象语言教学视频过程中穿戴于被录制者身上，真人老师在穿戴信号采集器32的时候进行正式上课，并全程录像，录像结束后上传至服务器1，服务器接收录制者上传的音像数据进行保存，并根据该音像数据获得真人形象语言教学视频数据并进行保存用于学生上课，同时将被录制者的录音存放至答案知识库的录音库中。

进一步地，所述的服务器1包括教学进程控制模块11和存储模块12，所述的存储模块12被配置为存储真人形象语言教学视频、拟人形象语言教学视频和学习终端2的学习进程，且存储模块12还被配置为存储具有被录制者录音库的答案知识库。

这里的教学进程控制模块11被配置为控制教学进程，主要体现在：在接收到进入主语种模式请求的信息时对用户输入的主语种语音进行语音识别、语义识别和目的判别，并在判别到目的为发音练习时对该主语种语音进行发音检测，在判别到目的是提问或回答问题时，搜索答案知识库，根据发音检测结果或搜索结果在录音库中查找是否存在与搜索结果或检测结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈至相应的学习终端，否则，根据检测结果或搜索结果合成主语种的语音或文字后通过通信网络发送至相应的学习终端2；在接收到进入次语种模式请求的信息时对用户输入的次语种语音进行语音识别、语义识别和目的判别，根据目的判别结果搜索答案知识库并根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈至相应的学习终端，否则，根据搜索结果合成用户所使用语种的语音或文字后通过通信网络发送至相应的学习终端2，优选地，本实施例在进行次语种语音识别之后，先对次语种语音进行矫正处理再对矫正后的语音进行语义识别，以提高语义识别的准确率。

具体地，教学进程控制模块11还被配置为当接收到学习终端2上传的听课文字时判断该听课文字的语种为主语种文字或次语种文字，在判断结束后进一步判断该听课文字的语义和目的，根据语种、目的和语义搜索答案知识库，并根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈至相应的学习终端，否则，根据搜索结果合成用户所使用语种的语音或文字后通过通信网络发送至相应的学习终端2。

本实施例中学生可以根据自己的喜好选择授课老师的形象，并且在授课过程中能够与服务器进行信息交互，双语种交流等，提高学生的学习兴趣和教学质量。

需要说明的是，本实施例不管学生选择的是真人形象老师还是拟人形象老师，学生所使用的课程都是制作好的录像，但这些录像中的真人形象老师和拟人形象老师都可以实时听到不同终端不同学生的发音和讲话，并同时和不同学生实时交流互动，并且不管是真人形象老师还是拟人形象老师，他们的背后都是同一个老师，即人工智能老师，他们所有的教学以及和学生的互动，全部由背后的人工智能老师控制，所以即使学生选择的是真人老师的视频，实质上和拟人老师一样，也是一个拟人老师，只是他具有的是一个真人的外壳，而和学生的实时交流全部由背后的人工智能老师控制。

实施例二

如图2所示，本实施例为一种采用实施例一中基于多语种人机交互的拟人形象人工智能教学系统的基于多语种人机交互的拟人形象人工智能教学方法，包括以下步骤：

A:根据被录制者的录制数据获得真人形象语言教学视频数据，并根据真人形象语言教学视频中的真人形象进行拟人形象处理以获得拟人形象语言教学视频数据；

其中，获得真人形象语言教学视频数据的方法包括：

采集被录制者上课过程中的讲课语音和讲课动作，其中，讲课语音为被录制者的实时语音，其录音原理与现有技术的录音原理类似，在此不再赘述；讲课动作包括对真人被录制者的面部、身体各个部位进行采点，根据采点结果确定人脸特征参数和身体各部位特征参数在服务器中还原被录制者的外形；最后将录制的讲课语音和讲课动作一一对应一起进行存储得到真人形象语言教学视频数据。

获得拟人形象语言教学视频数据的方法包括：将人脸特征参数和身体各部位特征参数为外形特征建立一个具有前述外形特征的卡通人物，或者将前述外形特征施加至某一个确定的卡通人物，以这些数据对卡通人物外形进行修正，同时保留被录制者的讲课语音，将讲课语音与卡通外形的动作神态根据真人形象语言教学视频数据进行还原使卡通外形的老师具有与真人老师一致的上课动作、上课神态和上课语音，也就是说真人形象语言教学视频中的真人形象老师与拟人形象语言教学视频中的卡通形象老师除了外形不一样，动作神态以及语言均一致。

B：当学生在学习终端2选择真人形象语言教学模式时，学习终端2向服务器1发送要求进入真人形象语言教学模式请求的信号，服务器1在接收到前述信号后向相应的学习终端2发送真人形象语言教学视频数据，相应的学习终端2以真人老师的形象对学生进行上课；本实施例中，该真人语言教学视频保留真人老师的外形以及真人老师的语音。

C：当学生在学习终端2选择拟人形象语言教学模式时，学习终端2向服务器1发送要求进入拟人形象语言教学模式请求的信号，服务器1在接收到要求进入拟人形象语言教学模式请求的信号时，向相应的学习终端2发送拟人形象语言教学视频数据在学习终端2以拟人人物的形象对学生进行上课；拟人老师的形象为学生自己选择的卡通形象，该卡通形象具有与真人老师一致的授课动作和授课表情本实施例的拟人老师的授课语音保留真人老师的语音。在这里虽然背后的真人老师可能只有一个，但是由于不同的学生选择不同的卡通人物，所以在不同的学生面前呈现着不同的拟人老师的形象，符合每个人的喜好，提高学生的学习兴趣。

进一步地，如图3所示，在步骤B或步骤C之后还包括以下步骤：

D：当学生在上课过程中需要以主语种的形式进行跟读发音、练习朗读或者回答问题时，在学习终端2上输入相应的指令打开主语种开关后，比如当学习终端2为智能手机的时候，双击触摸屏进行跟读发音、练习朗读或者回答问题，并在操作结束后开始发音、朗读或讲话，学习终端2的麦克风接收学生的语音并传送给服务器1，服务器1对学生的语音进行语音识别以及语义识别，并判别该语音的语义，当判断结果为发音练习或朗读练习时对该主语种语音进行发音检测并在录音库中查找是否存在与检测和纠正结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在则根据检测和纠正结果合成主语种语音和/或主语种文字反馈给用户，就是说由教学进程控制模块控制将检测和纠正结果通过通信网络以主语种语音和/或文字的形式发送给学习终端，学习终端通过扬声器播放主语种语音，通过触摸屏显示主语种文字；

在判别到目的是提问或回答问题时，搜索答案知识库，并根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音发送给学习终端，通过扬声器播放给用户听；若不存在，则将搜索结果合成为主语种语音和/或主语种文字发送给学习终端进行显示和/或播放；

E：进一步地，学生在上课过程中，需要以次语种的形式进行提问的时候，在学习终端2上输入相应的指令打开次语种开关后，比如长按触摸屏，开始以次语种的方式提问，学习终端2将学生的提问语音传送给服务器1，服务器1对该次语种语音进行语音识别、语义识别和目的判别，根据目的判别结果搜索答案知识库，根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在，则将搜索结果合成为用户所使用的次语种语音和/或次语种文字反馈给用户。该步骤完成后，根据教学进程控制模块11中预设的教学进程继续和学生互动，或者接下去播放教学视频。本实施例的服务器在与用户进行互动的过程中，主语种文字和次语种文字的输出和回复作为一个备用功能，用户可以选择性开启该功能。

实施例三

如图4所示，本实施例与实施例二类似，不同之处在于，本实施例在授课过程中当学生需要进行对话或者提问时，学生可以直接在学习终端2中输入主语种文字或次语种文字，学习终端2将学生输入的文字上传至服务器1，服务器1对语种进行识别，在对语种识别结束后分别对主语种语义或次语种语义进行识别，再根据语义到答案知识库中搜索信息或答案，并根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在，则将搜索结果合成用户所使用的次语种语音和/或次语种文字反馈给用户，该步骤完成后，根据控制模块中预先设定的教学进程，继续和学生互动，或者继续播放教学内容。本实施例的文字输入功能也可以作为一个备用功能，用户可以选择性开启该功能。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了服务器1；学习终端2；摄像头31；视频采集子系统3；信号采集器32；存储模块12；教学进程控制模块11等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (7)

1.一种基于多语种人机交互的拟人形象人工智能教学系统，包括服务器(1)和至少一个学习终端(2)；其中，服务器(1)能与任意数量的学习终端(2)建立数据交换连接；其中，学习终端(2)被配置为建立人机交互连接，其特征在于：

所述的服务器(1)被配置为预存真人形象语言教学视频、对真人形象语言教学视频中的真人形象进行拟人形象处理以获得拟人形象语言教学视频、以及根据学习终端(2)请求向学习终端(2)发送真人形象语言教学视频数据和/或拟人形象语言教学视频数据；

所述的学习终端(2)获取真人形象语言教学模式信号时向服务器(1)传送要求进入真人形象语言教学模式请求的信号；所述的学习终端(2)获取拟人形象语言教学模式信号时向服务器(1)传送要求进入拟人形象语言教学模式请求的信号；

以及，所述的服务器(1)还被配置为经学习终端(2)实现与学习者进行同语种或跨语种实时的自然语言交流；

所述的服务器(1)包括教学进程控制模块(11)和存储模块(12)，所述的存储模块(12)被配置为存储真人形象语言教学视频、拟人形象语言教学视频和学习终端(2)的学习进程，且所述的存储模块(12)还被配置为存储具有被录制者录音库的答案知识库；所述的教学进程控制模块(11)被配置为控制教学进程：在接收到进入主语种模式请求的信息时对用户输入的主语种语音进行语音识别、语义识别和目的判别，并在判别到目的为发音练习时对该主语种语音进行发音检测，在判别到目的是提问或回答问题时，搜索答案知识库并将搜索结果通过通信网络反馈至相应的学习终端(2)；在接收到进入次语种模式请求的信息时对用户输入的次语种语音进行语音识别、语义识别和目的判别，根据目的判别结果搜索答案知识库并将搜索结果通过通信网络反馈至相应的学习终端(2)；

所述的教学进程控制模块(11)还被配置为根据搜索结果或检测结果在录音库中查找是否存在与搜索结果或检测结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈至相应的学习终端，否则，根据检测结果或搜索结果合成用户所使用语种的语音或文字后通过通信网络反馈至相应的学习终端(2)。

2.根据权利要求1所述的基于多语种人机交互的拟人形象人工智能教学系统，其特征在于，所述的服务器(1)连接有采集真人形象语言教学视频的视频采集子系统(3)，所述的视频采集子系统(3)包括连接于服务器(1)的摄像头(31)和连接于服务器(1)的若干信号采集器(32)，所述的信号采集器(32)在摄像头(31)采集真人形象语言教学视频过程中穿戴于被录制者身上。

3.根据权利要求2所述的基于多语种人机交互的拟人形象人工智能教学系统，其特征在于，所述的教学进程控制模块(11)还被配置为当接收到学习终端(2)上传的听课文字时判断该听课文字的语种为主语种文字或次语种文字，在判断结束后进一步判断该听课文字的语义和目的，根据语种、目的和语义搜索答案知识库，并将搜索结果以主语种文字和/或主语种语音的形式通过通信网络反馈至相应的学习终端(2)。

4.基于权利要求1-3任意一项所述的基于多语种人机交互的拟人形象人工智能教学系统的基于多语种人机交互的拟人形象人工智能教学方法，其特征在于，包括以下步骤：

A:根据被录制者的录制数据获得真人形象语言教学视频数据，并根据真人形象语言教学视频中的真人形象进行拟人形象处理以获得拟人形象语言教学视频数据；

B：在接收到要求进入真人形象语言教学模式请求的信号时，向相应的学习终端(2)发送真人形象语言教学视频数据；

C：在接收到要求进入拟人形象语言教学模式请求的信号时，向相应的学习终端(2)发送拟人形象语言教学视频数据；

D：当接收到要求进入主语种模式的信息时接收学习终端(2)上传的主语种语音，对接收到的主语种语音进行语音识别和语义识别，并根据当前具体的授课内容判断用户目的后，根据语音语义对用户进行相应的反馈；

E:当接收到要求进入次语种模式的信息时接收学习终端(2)上传的次语种语音，对接收到的次语种语音进行语音识别和语义识别，并根据语音语义对用户进行相应的反馈。

5.根据权利要求4所述的基于多语种人机交互的拟人形象人工智能教学方法，其特征在于，在步骤A之前还包括以下步骤：

在被录制者进行录制的同时提取被录制者的录音合成该被录制者的录音库存放至答案知识库中。

6.根据权利要求5所述的基于多语种人机交互的拟人形象人工智能教学方法，其特征在于，当在授课模式中接收到用户输入的听课文字时，还执行以下步骤：

F：对听课文字进行语种识别，当识别到听课文字为作为授课语种的主语种时，对听课文字进行语义识别并根据当前具体的授课内容判断用户目的后，对用户进行相应的反馈；

当识别到的听课文字为非授课语种的次语种时，执行步骤G；

G：识别听课文字并判断语义，根据语义向用户反馈结果。

7.根据权利要求6所述的基于多语种人机交互的拟人形象人工智能教学方法，其特征在于，在步骤D中，当判断用户目的结果为发音练习时，对用户的发音进行检测和纠正并在录音库中查找是否存在与检测和纠正结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在则根据检测和纠正结果合成主语种语音和/或主语种文字反馈给用户；

当判断用户目的结果为提问或回答问题时搜索答案知识库，并根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在，则将搜索结果合成为主语种语音和/或主语种文字反馈给用户；

在步骤E中，根据语义搜索答案知识库，根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在，则将搜索结果合成为用户所使用的次语种语音和/或次语种文字反馈给用户；

在步骤F和步骤G中，在识别用户的文字语义后根据语义搜索答案知识库，并根据搜索结果在录音库中查找是否存在与搜索结果相匹配的匹配录音，若存在，则提取该匹配录音并将该匹配录音反馈给用户；若不存在，则将搜索结果合成用户所使用的次语种语音和/或次语种文字反馈给用户。

Images