CN106875764A - 基于网络的虚拟现实外语学习系统及控制方法 - Google Patents

Abstract

本发明涉及基于网络的虚拟现实外语学习系统，包括远程服务器、教师端控制装置和学生端虚拟现实设备，所述教师端控制装置用于接收场景设定信息，生成场景控制信息，发送所述场景控制信息给所述远程服务器；控制所述学生端虚拟现实设备的显示场景；所述学生端虚拟现实设备用于采集用户动作信号和语音信号，生成虚拟角色控制信息，将所述虚拟角色控制信息发送给所述远程服务器；控制所述显示场景中的虚拟角色；所述学生端虚拟现实设备还用于接收用户的文字翻译请求信息和语音翻译请求信息，将所述文字翻译请求信息和语音翻译信息发送给所述远程服务器，查询获取翻译文字和语音结果，发送所述翻译文字和语音结果给所述虚拟现实设备，所述虚拟现实设备播放所述翻译语音结果的语音和显示所述翻译文字。实现完整逼真的外语学习环境。

Description

基于网络的虚拟现实外语学习系统及控制方法

技术领域

本发明涉及互联网教学领域，具体而言，涉及一种基于网络的虚拟现实外语学习系统及一种用于外语学习的虚拟现实设备控制方法。

背景技术

互联网教育需要提高学员的真实代入感，提高学员的真实体验；构建虚拟的教学环境能够提高学员的真实体验，提高学员的学习积极性。当前比较普遍的做法是使用文字，视频或者幻灯片等方式让用户进行英语的朗读和表达，另外也有利用虚拟现实技术进行场景中物体单词学习的系统。然而，上述的现有技术方案仍然有让用户不够方便以及体验不够好的地方，如果让用户看文字，视频，幻灯片等教材，让用户始终以一个观察者的身份在进行学习，给用户的感觉是教条、枯燥、人云亦云的感觉。现有的虚拟现实技术的外语学习系统让用户在场景中只能跟物体进行交互，学习物体的单词，同样也比较枯燥，缺乏乐趣。而且外语的学习就是思想的表达，感受的表达，远远不是学习单词这么简单。目前的外语培训教育都存在这样的问题：给用户假设一个英语场景，然后让用户基于该场景并进行语言的学习和交流。这种方式的弊端是用户很难想象出预定的场景，所以该学习交流只是靠记忆进行语言的复述，而不是实际生活中的表达感受、表达想法的自然运用语言。

发明内容

本发明为了解决为了克服现有技术中虚拟教学环境中环境枯燥、缺乏乐趣，学员代入感差，体验差的问题，提供了一种基于网络的虚拟现实外语学习系统，包括远程服务器、教师端控制装置和学生端虚拟现实设备，所述教师端控制装置通过互联网与所述远程服务器连接，所述学生端虚拟现实设备与所述远程服务器连接：所述教师端控制装置用于接收场景设定信息，生成场景控制信息，发送所述场景控制信息给所述远程服务器；所述远程服务器接收所述教师端控制装置发送的场景控制信息，控制所述学生端虚拟现实设备的显示场景；所述学生端虚拟现实设备用于采集用户动作信号和语音信号，生成虚拟角色控制信息，并将所述虚拟角色控制信息发送给所述远程服务器；所述远程服务器接收虚拟角色控制信息，控制所述显示场景中的虚拟角色；所述学生端虚拟现实设备还用于接收用户的翻译请求信息和语音翻译信息，并将所述翻译请求信息和语音翻译信息发送给所述远程服务器，所述远程服务器接收翻译请求信息，并通过服务器查询获取翻译语音结果，发送所述翻译语音结果给所述学生端虚拟现实设备，所述学生端虚拟现实设备播放所述翻译语音结果显示翻译的文字结果。

进一步地，所述学生端虚拟现实设备的显示设备包括头戴式虚拟现实设备、液晶平面屏幕、高清曲面屏幕、投影画面中的一种或多种。

进一步地，所述远程服务器还用于根据所述虚拟角色控制信息和场景中物体信息，判断满足场景中物体触发事件条件时，控制所述学生端虚拟现实设备在所述显示场景中显示预先设置的三维二维的动画，文字信息，图片，播放语音和音乐。

进一步地，所述学生端虚拟现实设备还用于接收物体移动信息和物体属性信息，发送所述物体移动信息和物体属性信息给所述远程服务器；所述远程服务器根据所述物体移动信息和物体属性信息，更改所述学生端虚拟现实设备的显示场景中物体的位置和属性。

进一步地，所述学生端虚拟现实设备中采集的用户动作信息和语音信息都会传输到老师端的显示设备和音频播放设备上进行播放。

本发明另一方面提供了一种用于外语学习的虚拟现实设备控制方法，包括如下步骤：

S110，接收场景指定信息，根据所述场景指定信息控制学生端虚拟现实设备显示场景；

S120，采集用户动作信息和语音信息，控制所述场景中虚拟角色的肢体动作和表情和场景中的物体的位置和属性；

S130，接收文字翻译请求信息和语音翻译请求信息，发送所述文字翻译请求信息和语音翻译请求信息给服务器；接收语音翻译结果和文字翻译结果，并将所述翻译语音结果进行播放，将所述文字翻译结果进行显示。

进一步地，所述步骤S120中的动作信息包括表情动作信息和肢体动作信息。

进一步地，所述步骤S120中还包括，接收用户动作信息，并根据所述用户动作信息和场景中物体信息，判断满足场景中物体触发事件条件时，在所述显示场景中显示预先设置的三维二维的动画，文字信息，图片，播放语音和音乐。

进一步地，所述步骤S120中还包括，接收物体移动信息和物体属性信息，根据所述物体移动信息和物体属性信息，更改显示场景中物体的位置和属性，播放二维和三维动画。

进一步地，所述物体的属性包括物体的颜色和大小。

本本发明与现有技术相比能够给用户一个完整逼真的外语学习环境，让用户在纯粹的外语环境中可以将外语学习过程中的听、说、学、用紧紧结合起来，提高学习效率，增加学习兴趣。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明一些实施例中的基于网络的虚拟现实外语学习系统的结构示意图；

图2为本发明一些实施例中的显示场景的示意图；

图3为本发明一些实施例中的基于网络的虚拟现实外语学习系统的结构示意图；

图4为本发明一些实施例中的用于外语学习的虚拟现实设备控制方法的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明克服现有的虚拟教学环境，场景单一，互动性差的问题，提出了一种，互动性好，能够让学员真实体验好，具有丰富乐趣的外语学习系统，为了保证学员学习效率，减少硬件条件，所述外语学习系统利用网络进行数据传输，将复杂的信息处理过程留在远程服务器上，减少本地资源占用，减少硬件条件要求。具体地，包括远程服务器、教师端控制装置和学生端虚拟现实设备，学员使用所述学生端虚拟现实设备进行学习，教师端控制装置发送虚拟显示场景的信息到所述远程服务中，所述远程服务器将显示场景信息分发到各个学生端虚拟现实设备上，保证了显示的同一性，提供了互动的前提，学员对所述学生端虚拟现实设备操作，输入动作信息或者语音信息，学生端虚拟现实设备将所述动作信息或语音信息发送给所述远程服务器进行处理，所述远程服务器进行处理后，将处理结果分发到各个虚拟显示设备上，实现交互，或者虚拟现实设别直接对场景中物体进行控制显示，并将控制显示的结果发送给远程服务器，远程服务器在分发给各个学生端虚拟现实设备，保证了信息同一性，也保证了信息处理的交互。学员可控制虚拟场景中物体、角色进行动作，同时其他虚拟设备同步显示，进行信息交互，如对话联系，保证了场景真实性，提高了学员的感受。

实施例一

如图1所示，本发明实施例提供了一种基于网络的虚拟现实外语学习系统100，包括远程服务器110、教师端控制装置120和学生端虚拟现实设备130，所述教师端控制装置120通过互联网与所述远程服务器110连接，所述学生端虚拟现实设备130通过互联网与所述远程服务器110连接：所述教师端控制装置120用于发送和接收场景设定信息，生成场景控制信息，发送所述场景控制信息给所述远程服务器110；所述远程服务器110接收所述教师端控制装置发送的场景控制信息，并分发给多个学生端虚拟现实设备130，控制所述学生端虚拟现实设备130的显示场景；所述学生端虚拟现实设备130用于采集用户动作信号和语音信号，生成虚拟角色控制信息，并将所述虚拟角色控制信息发送给所述远程服务器110；所述远程服务器110接收虚拟角色控制信息，控制所述显示场景中的虚拟角色；所述学生端虚拟现实设备130还用于生成用户的文字翻译请求信息和语音翻译请求信息，并将所述两种翻译请求信息发送给所述远程服务器110，所述远程服务器110接收翻译请求信息，查询获取翻译语音结果，发送所述语音翻译结果和文字翻译结果给所述学生端虚拟现实设备130，所述学生端虚拟现实设备130播放所述翻译语音结果显示所述翻译文字结果。本发明中外语学习系统互动性好，每个学生端虚拟现实设备130接收到动作信息和语音信息都会发送到远程服务器110中，实现在同一场景下控制角色或者物体动作，形成新的显示画面，并将新的场景信息分发到各个学生端虚拟现实设备130中，保证了显示的同一性，同时考虑了在外语学习环境中特有的需要翻译的需求，将其融合到系统中，利用学生端虚拟现实设备130将翻译的语音结果进行播放，将翻译的文字结果进行显示，使得方便获取结果，提升上课效率。

为了提升沉浸感，提升学习的效率，减少外界的干扰，所述学生端虚拟现实设备130包括头戴式虚拟现实设备。具体地，所述学生端虚拟现实设备包括头戴式虚拟现实设备、液晶平面屏幕、高清曲面屏幕、投影画面中的一种或多种。

本发明的系统还可用在自主学习物体信息的环境中，具体的，所述远程服务器110还用于根据所述虚拟角色控制信息和场景中物体信息，判断满足场景中物体触发事件条件时，控制所述学生端虚拟现实设备130在所述显示场景中显示预先设置的三维二维的动画，文字信息，图片，播放语音和音乐。如，学生端虚拟现实设备130采集用户动作信息，如采集手势信息，确定用户需要了解显示场景中物体的属性时，所述远程服务器110将相应的属性信息，如英文名称、相关的词汇信息，在显示场景中物体的位置处，如在上方，或侧面进行显示，并且播放相关词汇的发音，保证了学员的学习要求，提高了反馈效率。

本发明的系统还可允许用户移动物体，允许用户更改物体的属性，具体的，所述学生端虚拟现实设备130还用于接收物体移动信息和物体属性信息，发送所述物体移动信息和物体属性信息给所述远程服务器110；所述远程服务器110根据所述物体移动信息和物体属性信息，更改所述学生端虚拟现实设备的显示场景中物体的位置和属性。如移动物体，打开物体盖子，改变物体的显示颜色，显示大小，触发物体动画等，具体内部通过修改显示信息即可，如修改颜色值、放大系数，触发动画等。

本发明与现有技术相比能够给用户一个完整逼真的外语学习环境，让用户在纯粹的外语环境中可以将外语学习过程中的听、说、学、用紧紧结合起来，提高学习效率，增加学习兴趣。同时本发明在预习和复习阶段也会有算法控制的角色，及其它用户的参与和支持，从而让用户能有充裕的课余时间进行预习和复习，提高兴趣和学习效率。

实施例二

学员在使用本发明的系统时，能够接收到教师发来的显示场景，如图2所示，学员控制角色或者物体动作。

具体地，如图3所示，课程开始之前，老师和用户连接远程服务器，根据课程信息下载3维场景模型到老师端控制装置和学生端虚拟现实设备中。

预习环节：当3维场景模型下载到学生端虚拟现实设备之后，用户可以首先在该场景中和场景中的算法控制的角色进行交流学习，也可以触发场景中的物体，学习场景中物体的外语名称，属性等进行预习。

课堂环节：此环节用户的虚拟形象在3维场景中会有两种控制方式，被老师控制和自主控制。老师控制所有的用户进入预设的场景。在预设场景中用户通过头戴虚拟现实设备观察感受3维环境，控制自己的虚拟角色，并且针对该环境进行设定话题的交流，如果有不懂的词汇可以利用语音翻译工具学习该词汇之后再进行表达；此过程中用户的感受是处在一个真实的纯外语环境进行表达和交流。

复习环节：课堂结束之后用户还可以利用学生端虚拟现实设备进入3维场景，不仅可以跟场景中的其它用户交流沟通，还可以和算法控制的角色进行语言交流，并且完成其设定的任务，将语言的听，说，学，用三个环节紧紧结合起来。

具体的，本发明可以采用多种方式实现，比如用液晶平面屏幕，高清曲面屏幕，投影画面等作为显示装置，在3维场景中进行学习。

通过本发明实施例提供的系统，可以将外语学习过程中的听、说、学、用紧紧结合起来，从而给用户提供一个纯粹真实的外语学习练习环境。语音翻译功能：用户学习的时候可以借助于语音翻译系统学习和使用自己不会表达的单词和句子。远程的老师教学：通过网络使老师可以远程操作场景中的虚拟角色来和学生进行交流沟通，使学生有一种真实的体验感受。远程的用户互动：用户之间也是通过远程的网络控制同一个场景中的不同角色进行互动交流。类似于现实场景用户可以通过协作，竞争，相互帮助的方式完成任务达成目标。3维场景中用户与物体的互动：在3D场景中用户可以移动物体，改变物体的属性(颜色大小等)，触发物体身上的外语的自我介绍，让用户进行学习。3维场景中用户与用户的互动：实现现实世界中的交互动作，表情动作，肢体动作，投掷动作等等。3维场景中用户与老师的控制和互动：用户可以完成老师用英文布置的任务，老师可以控制和引导用户的显示界面场景，老师可以选择场景让用户用协作或竞争的方式完成任务。用户可以按照老师布置的任务在3D场景中探索，操作等实现外语到行为的映射，不光需要听懂老师的语句，还能够理解语句使用的情景。

实施例三

如图4所示，本发明另一方面，还提供了一种用于外语学习的虚拟现实设备控制方法，包括如下步骤：

S110，接收场景指定信息，根据所述场景指定信息控制学生端虚拟现实设备显示场景；所述学生端虚拟现实设备和教师端控制装置都显示所述场景。

S120，采集用户动作信息和语音信息，控制所述场景中虚拟角色；动作信息包括表情动作信息和肢体动作信息。所述用户包括学生用户和教师用户，对应控制学生用户和教师用户对应的虚拟角色。

S130，接收文字翻译请求信息和语音翻译请求信息，发送所述文字翻译请求信息和语音翻译请求信息给服务器。学生端虚拟现实设备发送所述文字翻译请求信息和语音翻译请求信息给服务器，或者教师控制装置也可发送所述文字翻译请求信息和语音翻译请求信息。

S140，接收翻译语音结果，并将所述翻译语音结果进行播放。所述学生端虚拟现实设备接收翻译语音结果，包括语音翻译结果和文字翻译结果。或者教师控制装置也可接收所述翻译语音结果。

所述步骤S120中还包括，接收用户动作信息，并根据所述用户动作信息和场景中物体信息，判断满足场景中物体触发事件条件时，在所述显示场景中显示预先设置的三维二维的动画，文字信息，图片，播放语音和音乐。

所述步骤S120中还包括，接收物体移动信息和物体属性信息，根据所述物体移动信息和物体属性信息，更改显示场景中物体的位置和属性。所述物体的属性包括物体的颜色和大小。

本发明实施例中的控制方法将三维模型和场景渲染放在学生端虚拟现实设备上实现，减少数据传输量，处理后将结果发送给其他的学生端虚拟现实设备，保证显示场景实时性、互动性，同时能够满足提供翻译结果的要求，语音播放或者显示播放翻译结果，学员外语学习体验好。

在本发明中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于网络的虚拟现实外语学习系统，其特征在于，包括远程服务器、教师端控制装置和学生端虚拟现实设备，所述教师端控制装置通过互联网与所述远程服务器连接，所述学生端虚拟现实设备与所述远程服务器连接：所述教师端控制装置用于接收场景设定信息，生成场景控制信息，发送所述场景控制信息给所述远程服务器；所述远程服务器接收所述教师端控制装置发送的场景控制信息，控制所述学生端虚拟现实设备的显示场景；所述学生端虚拟现实设备用于采集用户动作信号和语音信号，生成虚拟角色控制信息，并将所述虚拟角色控制信息发送给所述远程服务器；所述远程服务器接收虚拟角色控制信息，控制所述显示场景中的虚拟角色；所述学生端虚拟现实设备还用于接收用户的翻译请求信息和语音翻译信息，并将所述文字翻译请求信息和语音翻译信息发送给所述远程服务器，所述远程服务器接收翻译请求信息，并通过远程服务器查询获取文字翻译结果和语音翻译结果，发送所述文字翻译结果和语音翻译结果给所述学生端虚拟现实设备，所述远程服务器会将三维场景中的所有三维模型信息和显示信息同步到所有的学生端虚拟现实设备和老师端控制装置上进行显示，所述学生端虚拟现实设备播放所述翻译语音结果。

2.根据权利要求1所述的基于网络的虚拟现实外语学习系统，其特征在于，所述学生端虚拟现实设备包括头戴式虚拟现实设备、液晶平面屏幕、高清曲面屏幕、投影画面中的一种或多种。

3.根据权利要求1所述的基于网络的虚拟现实外语学习系统，其特征在于，其中显示和互动的场景可以是三维的或者二维的场景。

4.根据权利要求1所述的基于网络的虚拟现实外语学习系统，其特征在于，所述远程服务器还用于根据所述虚拟角色控制信息和场景中物体信息，判断满足场景中物体触发事件条件时，控制所述学生端虚拟现实设备在所述显示场景中显示预先设置的三维二维的动画，文字信息，图片，播放语音和音乐。所述远程服务器会将三维场景中的所有三维模型信息和显示信息同步到所有的学生端虚拟现实设备和老师端控制装置上进行显示

5.根据权利要求1所述的基于网络的虚拟现实外语学习系统，其特征在于，所述学生端虚拟现实设备还用于接收物体移动信息和物体属性信息，发送所述物体移动信息和物体属性信息给所述远程服务器；所述远程服务器根据所述物体移动信息和物体属性信息，更改所述学生端虚拟现实设备的显示场景中物体的位置和属性及三维二维的动画。

6.一种用于外语学习的虚拟现实设备控制方法，其特征在于，包括如下步骤：

S110，接收场景指令信息，根据所述场景指令信息控制学生端虚拟现实设备显示场景；

S120，采集用户动作信息和语音信息，控制所述场景中虚拟角色的动作和语音；

S130，发送和接收文字翻译请求信息和语音翻译信息，发送所述文字翻译请求信息和语音翻译信息给服务器；接收文字翻译结果和语音翻译结果，并将所述翻译语音结果进行播放，将所述文字翻译结果进行显示。

7.根据权利要求6所述的用于外语学习的虚拟现实设备控制方法，其特征在于，所述步骤S120中的动作信息包括表情动作信息和肢体动作信息。

8.根据权利要求6所述的用于外语学习的虚拟现实设备控制方法，其特征在于，所述步骤S120中还包括，接收用户动作信息，并根据所述用户动作信息和场景中物体信息，判断满足场景中物体触发事件条件时，显示预先设置的三维二维的动画，文字信息，图片，播放语音和音乐。。

9.根据权利要求6所述的用于外语学习的虚拟现实设备控制方法，其特征在于，所述步骤S120中还包括，接收物体移动信息和物体属性信息，根据所述物体移动信息和物体属性信息，更改显示场景中物体的位置和属性。

10.根据权利要求9所述的用于外语学习的虚拟现实设备控制方法，其特征在于，所述物体的属性包括物体的颜色和大小及三维二维的动画。