CN108074431B - 一种应用vr技术演讲实训的系统及方法 - Google Patents

Abstract

本发明涉及智慧教育领域，更具体的涉及一种应用VR技术演讲实训的系统及方法。包括以下步骤：S10，通过3D建模软件创建场景模型数据库；S20，创建实训内容数据库；S30，通过数据库软件设置实训内容与实训场景对应关系；S40，用户端计算机与服务器通过网络连接；S50，用户佩戴VR设备，用户端计算机将实训内容的选择界面通过VR设备展现给用户；S60,用户通过交互设备在实训内容的选择界面选择实训内容，VR设备展现相应的实训场景；S70，用户端计算机对用户的声音和人像进行实时采集并发送到服务器。用过上述方法用户能够在一个有趣味性多元化的高仿真虚拟现实环境中进行演讲实训，以临场感为特色显著提升用户的演讲水平。

Description

一种应用VR技术演讲实训的系统及方法

技术领域

本发明涉及智慧教育领域，特别是一种应用VR技术演讲实训的系统及方法。

背景技术

在教育活动中，为了让学生能够在正式的演讲中应对自如，通常会对其进行演讲实训。

但在实训中，学生只能在教室进行实训，仅仅面对老师和同学缺乏现场感，租借场地进行实训的成本又太高，因此现有的演讲实训并得不到非常理想的实训效果。

现有的应用VR技术的教学系统，一般采用老师传授学生或者学生通过交互设备做题的思路，例如中国专利公开号CN106886349A的文献，用户在一个全景互动界面中选择了答题卡进行答题，单一的选题答题缺乏趣味性，对于这种学习方式学生容易失去学习的积极性。

发明内容

为解决以上技术问题，本发明提供一种以高仿真虚拟环境为基础能够互动学习具有趣味性且多元化的系统及方法。

本发明解决上述技术问题所采用的技术方案为：

一种应用VR技术演讲实训的方法，包括以下步骤：

S10，通过3D建模软件创建场景模型数据库，并存储在服务器中，场景模型数据库包含多个实训场景；

S20，创建实训内容数据库，并存储在服务器中，实训内容数据库包含多个实训内容；

S30，在服务器上通过数据库软件设置实训内容与实训场景对应关系，即一个实训内容对应一个或多个实训场景；

S40，用户端计算机与服务器通过网络连接；

S50，用户端计算机与VR设备连接，用户佩戴VR设备，用户端计算机将实训内容的选择界面通过VR设备展现给用户；

S60,用户端计算机与交互设备连接，用户通过交互设备在实训内容的选择界面选择实训内容，VR设备展现相应的实训场景；

S70，用户端计算机连接有高清音频采集设备和高清视频采集设备，对用户的声音和人像进行实时采集并发送到服务器。

进一步的，S10中的场景模型数据库中的场景模型均为模块化模型，其模块化模型包括教师虚拟形象模型、用户虚拟形象模型、演讲台模型、评委席模型、观众席模型、观众模型、场景装饰模型以及天气装饰模型，模块化模型更加灵活可以根据需要进行修改。

进一步的，S10中服务器与教师计算机通过网络连接，教师能够通过教师端计算机对已有的实训场景中的模块化模型进行编辑，或通过将场景模型数据库中的模块化模型进行组合，创建一个新的实训场景，通过网络发送到服务器上进行同步，能够向用户展现更多的新场景，使用户有新鲜感。

进一步的，实训场景中的观众模型设置有气氛调节模块，教师通过与教师端计算机相连接的交互设备控制观众模型，使其发声或做出动作或表情，以达到更生动的现场效果，使实训场景更贴近真实。

进一步的，用户端计算机上编译有动态下发代码，当服务器中有实训内容或场景发生更改，用户端计算机对更新内容进行热更新操作，用户无需进行下载更新操作，不占用演讲实训的时间。

进一步的，教师端计算机从服务器接收相应实训场景中的用户实训的声音和人像，教师对其进行点评，点评内容以音频数据的形式通过服务器实时发送到用户端计算机，并反馈给用户，用户与教师能够在实训场景中做到实时沟通交流，能够迅速帮助用户提升演讲水平。

进一步的，实训内容的问题数据库包括全国演讲大赛决赛现场中选手演讲与对答的问题数据库，能够对用户起到更多的启发作用。

进一步的，S40中多个用户端计算机可以同时与服务器连接，并进入同一场景进行抢答，使实训更有互动性。

进一步的，服务器、用户端计算机、教师端计算机三者之间进行数据传输的步骤包括：

S100，数据发送方预先对要发送的数据进行压缩；

S110，数据接收方接收后对数据进行解压，并将常用的数据进行本地缓存，常用数据包括场景模型数据库中的模块化模型数据和实训内容数据库中的实训内容数据；

S120，数据接收方接收数据包的同时会将已接收的数据量和接收数据所用时间反馈给数据发送方；

S130，数据发送方根据数据接收方接收的数据量和所用时间对网络带宽进行监控。压缩和缓存能够有效的提高数据传输的效率，保证用户演讲实训过程画面的流畅。

当数据发送方监控到网络带宽变窄或数据阻塞时，正在实训中的教师端计算机和用户端计算机均会降低实训场景画面的刷新频率，并同时利用插值算法(利用某区间中已知的若干点的值，作出特定函数，用此特定函数计算其未知点的近似值)计算对场景中移动的模型进行平滑处理，提升画面的显示效果，进一步保证了实训过程画面的流畅。

进一步的，S60中实训内容选择界面的选项包括英语演讲、教学演讲、定题演讲、综合知识速答以及多用户抢答，这些选项均设置了相应的实训内容，使本发明内容更丰富。

进一步的，S60中实训场景设置了有声讲解系统，针对第一次进入该实训场景的用户，有声讲解系统将对本次实训内容的流程进行讲解，使新用户轻松快速的了解比赛流程。

进一步的，S70中的用户端计算机通过与之相连接的高清视频采集设备进行人像识别，采集用户实训时实时的动作和表情进行分析并生成控制指令，控制场景中的用户虚拟形象模型做出相同的动作和表情，如此相较于发送实时的人像视频所占用的网络信道更少，网络传输效率更高，且能够向教师展现完整的用户演讲实训中的肢体语言。

实训过程中系统会全程录影，在实训结束后保存到用户端计算机默认或用户自定义的文件夹中，用户能够通过回看自己演讲总结的经验做出提升。

一种应用VR技术演讲实训的系统，包括服务器、用户端计算机、教师端计算机，教师端计算机和用户端计算机通过网络与服务器连接，所述的用户端计算机以中心位置与各自独立位置的高清视频采集设备、高清音频采集设备、VR设备、音响、交互设备通过数据连接，所述教师端计算机以中心位置与各自独立位置的高清音频采集设备、VR设备、显示器、音响、交互设备通过数据连接。

与现有技术相比，本发明的优点在于：用户能够在有着真实的现场压力的高仿真模拟环境中互动学习，对于提升其演讲水平有着极大的辅助效果。

附图说明

图1为本发明的系统结构示意图。

图2为本发明的流程示意图。

图3为本发明的系统结构示意图。

图中：1、服务器；2、用户端计算机；3、教师端计算机；4、交互设备；5、VR设备；6、音响；7、显示器；8、高清音频采集设备；9、高清视频采集设备。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

实施例1

如图1所示，本发明提供了一种应用VR技术演讲实训的系统，包括服务器1、用户端计算机2、教师端计算机3，教师端计算机3和用户端计算机2通过网络与服务器1连接，所述的用户端计算机2以中心位置与各自独立位置的高清视频采集设备9、高清音频采集设备8、VR设备5、音响6、交互设备4通过数据连接，所述教师端计算机3以中心位置与各自独立位置的高清音频采集设备8、VR设备5、显示器7、音响6、交互设备4通过数据连接。

如图2所示，本发明提供了一种应用VR技术演讲实训的方法，包括以下步骤：S10，通过3D建模软件创建场景模型，并存储在服务器1中；S20，创建实训内容的问题数据库，并存储在服务器1中；S30，在服务器1上通过数据库软件设置实训内容问题数据库与实训场景模型的数据库对应关系，即用户选择一个实训内容，则只会进入该实训内容对应的实训场景；S40，用户端计算机2与服务器1通过网络连接，服务器1通过网络向用户端计算机2发送实训场景模型和实训内容的数据；S50，用户端计算机2与VR设备5连接，用户佩戴VR设备5，用户端计算机2将实训内容的数据转换成选择实训内容的图像界面并通过VR设备5展现给用户；S60，用户端计算机2与交互设备4连接，用户通过交互设备4向用户端计算机2下达选择指令，选择要参与的实训内容后由VR设备5向用户展现实训内容相对应的模拟场景；S70，用户端计算机2连接有高清音频采集设备8和高清视频采集设备9，对用户的声音和人像进行实时采集并发送到服务器1；S80，教师端计算机3通过网络与服务器1连接，教师端计算机3接收到服务器1实时发送来的用户声音和人像数据，并通过与教师端计算机3连接的VR设备5、音响6以及显示器7展现给教师；S90，教师观看了用户实训内容后，对其肢体语言及演讲内容进行点评和指导，通过与教师端计算机3连接的高清音频采集设备8采集声音发送到服务器1，并通过服务器1反馈给用户。

实施例中，服务器向用户端计算机2发送实训内容的数据，用户端计算机2与VR设备5通过数据连接，用户端计算机2通过处理数据后将可选实训内容菜单展现在VR设备5上，用户通过VR设备5观看到实训内容的选择界面；用户通过与用户端计算机2相连接的交互设备4对用户端计算机2下达指令，用户通过与用户端计算机2相连接的交互设备4在可选实训内容的菜单中选择实训内容，通过VR设备5进入到模拟的实训场景中进行演讲实训；用户端计算机2通过数据连接有高清音频采集设备8和高清视频采集设备9，当用户进入实训场景时，与用户端计算机2相连接的高清视频采集设备9会采集用户的人像并在场景中生成一个用户虚拟形象的模型；当用户实训时，与用户端计算机2相连接的高清视频采集设备9会通过人像识别捕捉用户的动作和表情进行分析并生成控制指令，控制场景中用户虚拟形象的模型做出同样的动作和表情，与用户端计算机2相连接的高清音频采集设备8对用户实训时的声音进行采集，用户端计算机2将声音和用户虚拟形象模型以数据的形式实时发送到服务器1的数据库中，并通过服务器实时发送到教师端计算机3；教师端计算机3通过数据连接有VR设备5、音响6以及显示器7，教师端计算机3获得用户演讲实训的数据后通过处理展现在VR设备5、音响6以及显示器7上，教师可以通过VR设备5或显示器7观看到用户实训的肢体语言，教师可以通过音响6听到用户实训中的发音语调等；教师对用户的实训做出综合的点评和指导，教师端计算机3通过数据连接有高清音频采集设备8，高清音频采集设备8通过采集教师点评和指导的语音，通过教师端计算机3转换以数据形式发送到服务器1的数据库中，并通过服务器1实时发送到用户端计算机2中；用户端计算机2对语音数据进行处理，发送到音响6，用户通过VR设备5观看到教师的虚拟形象，通过音响6听到教师对于自己演讲实训做出的点评和指导。

实训内容包括如下：英语演讲、学术演讲、销售演讲、即兴演讲、定题演讲、综合知识速答以及多用户抢答，其中即兴演讲用户需要通过与用户端计算机2相连接的交互设备4在场景中模拟抽签，通过抽签选择演讲的题目。

实训内容的题库中还包括有全国演讲大赛决赛现场中选手演讲与对答的问题数据库，当用户选择了综合知识速答的实训内容，服务器1会随机从问题数据库中选择相应的题库以数据形式发送到教师端计算机3，教师端计算机3通过数据处理将题目展现在与其连接的VR设备5和显示器7上，教师在题库中选择问题进行提问，提问内容通过与教师端计算机3相连接的高清音频采集设备8进行采集，通过教师端计算机3进行数据处理，以数据形式发送到服务器1的数据库中，并通过服务器1实时发送到用户端计算机2，用户端计算机2通过数据处理，将教师的提问通过音响6传递给用户；用户对问题进行回答，与用户端计算机2相连接的高清视频采集设备9和高清音频采集设备8对用户的回答进行采集，并通过用户端计算机2进行数据处理，以数据形式实时发送到服务器1的数据库中，服务器1将数据实时发送到教师端计算机3，教师获知用户的回答后进行评判，并反馈到用户端。

当用户通过VR设备5进入到模拟实训的场景中，能够看到场景中还设置有模拟的教师和观众，使用户能够产生一种身临其境的现场感受；如果用户为第一次进入该场景的新用户，讲解系统将会对本场景实训的流程通过有声讲解的方式传递给用户。

在实施例中，为了保证用户实训的稳定性，服务器1、用户端计算机2、教师端计算机3之间的数据传输应用了数据包压缩技术和缓存技术，数据的发送方在发送数据前会将数据进行压缩，通过网络发送到接收方，数据接收方接收到压缩的数据包后对其进行解压，并将常用的数据进行本地缓存，缓存的内容包括有实训场景模型的模块数据和实训内容的题库数据；在数据的接收方接收数据的同时会将接收数据包的量和接收数据包所用的时间反馈给数据的发送方，数据的发送方以此对网络的带宽进行监控；当数据的发送方监控到网络带宽窄或者数据出现阻塞时，正在实训中的用户端计算机2和教师端计算机3均会降低实训场景画面的刷新频率，并利用插值算法计算对场景中移动的模型进行平滑处理，以提升显示效果，保证用户在实训中的稳定性。

实训中系统会进行全程录制，在该次实训结束时系统会将本次实训的全部内容保存在用户端计算机2的默认文件夹或用户自定义文件夹中，同时回放进行用户自评，用户也可以随时回放，对演讲的语音语调以及肢体语言进行反复操练。

实施例2

如图3所示，服务器1可以同时连接多个用户端计算机2，当多个用户端计算机2选择同一个实训内容进行实训时，用户所在的场景是相互独立的，相对的教师也是不同的，即一个场景中只会有一个用户，不同场景连接了不同的教师；当用户在选择实训内容界面中选择的实训内容为抢答选项时，服务器1将随机选择两个及以上在线的用户使其进入同一个场景进行抢答，即该场景允许容纳多名用户，用户通过各自与用户端计算机2相连接的交互设备4在实训场景中进行抢答操作，用户进行抢答操作后服务器对用户的先后顺序进行评判并将顺序结果以数据形式发送到教师端计算机3，教师端计算机3对数据进行处理后发送到与之相连接的显示器7和VR设备5上，教师获知抢答信息后指定用户进行回答，答题流程与实施例1相同。

实施例3

如图3所示，将实施例1中连接在用户端计算机2和交互设备4、VR设备5、高清音频采集设备8、高清视频采集设备9之间的数据连接替换为蓝牙或无线局域网；将实施例1中连接在教师端计算机3和交互设备4、VR设备5、高清音频采集设备8之间的数据连接替换为蓝牙或无线局域网。用户和教师使用通过无线连接的设备，可以在空间内自由活动，不受到数据线长度的限制。

实施例4

在一个实施例中，教师在教师端计算机3上可以编辑实训场景模型，实训场景模型中的模型包括教师和用户的虚拟形象、演讲台、评委席、观众席、观众、场景装饰和天气装饰，均为独立可编辑的模块化模型，存放在服务器1或教师端计算机3的模型素材库中，教师可以根据需要对这些模型进行增加、删除或者修改；根据需要教师也可以将存放在服务器1或教师端计算机3的模型素材库中的模块化模型单独组合成为一个新的实训场景或虚拟人物，并同步到服务器上。

当教师对实训的场景进行编辑或新增一个实训场景时，在用户端计算机2进入到选择实训内容的菜单时，预先设置好的动态下发代码会将服务器1上更新的内容热更新到用户端计算机2上，热更新的过程中，用户不需要进行任何下载安装的操作，并且选择一个实训内容仍然可以进入到实训模拟场景中，不会受到任何影响。

在实训过程中，教师可以通过与教师端计算机3相连接的交互设备4对实训场景中的各个模块化模型进行控制：

如对观众模型进行控制，实训场景中的观众模型设置有气氛调节模块，包括有大笑、嘘声、鼓掌以及一系列动作，当教师选择一个气氛选项，观众模型会做出对应的动作；

如对天气装饰模型进行控制，实训场景中的天气装饰模型设置有天气状态调节模块，包括下雨、晴天、打雷、刮风等一系列状态，当教师选择一个天气选项，实训场景中会显示相应的天气状态；

如对观众席模型进行控制，实训场景中的观众席模型设置有干扰模块，包括嘘声、手机铃声等一系列干扰声音，当教师选择一个干扰选项，观众席会发出相应的干扰声音；

如对教师虚拟形象模型进行控制，实训场景中的教师虚拟形象模型设置有动作调节模块，包括摇头、大笑、点头等一系列动作，当教师选择一个动作选项，教师虚拟形象会做出相应的动作；

通过上述对实训场景中的各模块化模型控制，以达到更生动的现场效果，使实训场景更贴近真实。

尽管以上详细地描述了本发明的优选实施例，但是应该清楚地理解，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种应用VR技术演讲实训的方法，其特征在于，包括以下步骤：

S10，通过3D建模软件创建场景模型数据库，并存储在服务器中，场景模型数据库包含多个实训场景；

S20，创建实训内容数据库，并存储在服务器中，实训内容数据库包含多个实训内容；

S30，在服务器上通过数据库软件设置实训内容与实训场景对应关系，即一个实训内容对应一个或多个实训场景；

S40，用户端计算机与服务器通过网络连接；

S50，用户端计算机与VR设备连接，用户佩戴VR设备，用户端计算机将实训内容的选择界面通过VR设备展现给用户；

S60，用户端计算机与交互设备连接，用户通过交互设备在实训内容的选择界面选择实训内容，VR设备展现相应的实训场景；

S70，用户端计算机连接有高清音频采集设备和高清视频采集设备，对用户的声音和人像进行实时采集并发送到服务器；

S10中的场景模型数据库中的场景模型均为模块化模型，其模块化模型包括教师虚拟形象模型、用户虚拟形象模型、演讲台模型、评委席模型、观众席模型、观众模型、场景装饰模型以及天气装饰模型；

S10中服务器与教师计算机通过网络连接，教师能够通过教师端计算机对已有的实训场景中的模块化模型进行编辑，或通过将场景模型数据库中的模块化模型进行组合，创建一个新的实训场景，通过网络发送到服务器上进行同步；

实训场景中的观众模型设置有气氛调节模块，教师通过与教师端计算机相连接的交互设备控制观众模型，使其发声或做出动作或表情；

S40中当服务器中有实训内容或实训场景发生更改，用户端计算机对更新内容进行热更新操作；

S70中教师端计算机从服务器接收相应实训场景中的用户实训的声音和人像，教师对其进行点评，点评内容以音频数据的形式通过服务器实时发送到用户端计算机，并反馈给用户；

S40中多个用户端计算机可以同时与服务器连接，并进入同一场景进行抢答；

服务器、用户端计算机、教师端计算机三者之间进行数据传输的步骤包括：

S100，数据发送方预先对要发送的数据进行压缩；

S110，数据接收方接收后对数据进行解压，并将常用的数据进行本地缓存，常用数据包括场景模型数据库中的模块化模型数据和实训内容数据库中的实训内容数据；

S120，数据接收方接收数据包的同时会将已接收的数据量和接收数据所用时间反馈给数据发送方；

S130，数据发送方根据数据接收方接收的数据量和所用时间对网络带宽进行监控；

当数据发送方监控到网络带宽变窄或数据阻塞时，正在实训中的教师端计算机和用户端计算机均会降低实训场景画面的刷新频率，并同时利用插值算法计算，对场景中移动的模型进行平滑处理；

S70中的用户端计算机通过与之相连接的高清视频采集设备进行人像识别，采集用户实训时实时的动作和表情进行分析并生成控制指令，控制场景中的用户虚拟形象模型做出相同的动作和表情；实训过程中系统会全程录影，在实训结束后保存到用户端计算机默认或用户自定义的文件夹中。