CN107154184A - 一种用于语言学习的虚拟现实设备系统及方法 - Google Patents

Abstract

本发明涉及虚拟现实设备系统及方法，尤其涉及一种基于语言学习的虚拟现实设备系统及方法，包括语音输入模块、显示模块以及音频播放模块，所述语音输入模块用于语音的输入；所述显示模块用于学习内容的播放，用户根据学习内容进行发音；所述音频外放模块用于根据用户输入的语音进行音频的输出。本发明的有益效果是：利用虚拟现实技术搭建了一整套用于语言学习的沉浸式系统，仿真出一个供学习者学习的虚拟环境系统，提高语言学习的效率和效果；对系统进行了模块化设计，可兼容更多的硬件设计逻辑，例如更改了麦克风阵列的硬件输入，可直接修改麦克风阵列驱动模块即可，而需要兼容新的引擎架构则只需要修改语言学习模块即可。

Description

一种用于语言学习的虚拟现实设备系统及方法

技术领域

本发明涉及虚拟现实设备系统及方法，尤其涉及一种基于语言学习的虚拟现实设备系统及方法。

背景技术

在全球一体化和知识经济的背景下，除掌握自己的母语以外，越来越多的人们希望掌握一门外语。英语作为一种世界主流官方语言，对英语的掌握更是一直受到学校、家长及学生的重视。随着英语课程改革的不断推进，英语的学习从注重对纯语言技能的学习，过渡到重点发展学生综合语言运用能力；同时，评价方式也由只看重考试成绩，向培养学生独立自主学习意识，满足不同学习需要为重点的方向转变。也就是说，教育界更关注的英语学习目的是：能够顺畅的用英语进行交流与沟通。

然而，大量的调查结果显示，即使学校、家长及学生都逐渐意识到了英语口语的重要性，实际上大多数学生对自己的英语口语水平不满意，缺乏表达自信。这种明显的口语输出障碍，极大的制约了英语作为一种交际语言所能发挥的交际作用。一些学生对英语口语活动感到焦虑，缺乏必要的兴趣和参与积极性，是受到多种原因影响的，例如：1)学校的大班课堂教学多以双语教学为主，2)教学过程多注重强调语法与知识点的教与学，3)课外无法得到及时的复习和巩固，4)学生家长口语不好的情况较多，不能很好的进行课后沟通辅导，5)青春期的学生在意他人对自己的看法，羞于或怯于表达自己，过多的依赖语言的输入等。

目前，英语口语学习的最大瓶颈在于缺乏逼真的语言学习环境和相应的社交活动。人们流利的说话能力不是从直接教授和句法形成的训练中获得的,而是在有意义的互动交流活动中自然习得的。因此，借鉴于加拿大法语浸入式教学的成功模式，中国本土化的语言浸入式教学模式引起了教育界、语言学、心理学等领域的共同关注。以“习得论”为基础的浸入式英语教学模式，摒弃了传统的英语教学法，通过大量创设语言环境，通过习得和实践获得语言能力。多年的研究结果表明，在这种给予大量且适当的情境及语言环境的教育模式下，学生的听说机会会大大提高，也更容易自然而然的习得并应用第二语言。

爱因斯坦曾说过：“兴趣是最好的老师”。沉浸式教学的逼真性让学生仿佛身临其境，诱发学生的好奇心和学习动力；交互性让学生更多的产生交际兴趣，让学生有话说、想说话，积极主动的掌握语言能力。学生在模拟的真实情境中视觉听觉全方位投入，能够产生极大的满足感与成就感。

另外，语言交际(包含听与说)的困难很多时候是由于自己不正确的语音造成的。发音是语言学习的基础，早在19世纪，著名的语言学家Saussure就指出：发音作为传达信息和思想的工具，是语言的基础。著名语言学家A.G.Gimson(1978)有一句名言，“不管说何种语言，我们必须具备该语言的全部语音知识，而50％～90％的语法和1％的词汇量可以说是够用的了“。因此，在对第二语言的习得及应用中，良好的语音知识对于帮助学生记忆和积累语言能力，建立良性的语言习得机制，培养听、说能力的及语言交际能力的有着至关重要的作用。

然而目前多数的英语学习设备例如点读笔，学习机，网上视频聊天等都由于都无法营造一个全沉浸式的语言学习环境，从而使得学习效果大打折扣。

发明内容

针对上述方案的缺点，本发明利用虚拟现实技术搭建一整套用于语言学习的沉浸式系统，提高语言学习的效率和效果。

本发明技术方案是：一种用于语言学习的虚拟现实设备系统，包括语音输入模块、显示模块以及音频播放模块，

所述语音输入模块用于语音的输入；

所述显示模块用于学习内容的播放，用户根据学习内容进行发音；

所述音频外放模块用于根据用户输入的语音进行音频的输出。

优选的，所述语音输入模块包括麦克风阵列、麦克风阵列驱动模块以及麦克风音频数据解析模块，所述麦克风阵列用于语音音频的输入；所述麦克风阵列驱动模块用于麦克风阵列以及外接设备的驱动；所述麦克风音频数据解析模块用于根据麦克风阵列以及外接设备的数据协议将其解析为包含实际信息的数据结构。

优选的，所述显示模块包括语言学习模块以及虚拟现实渲染模块，所述语言学习模块用于教学内容的存储及播放，所述虚拟现实渲染模块用于播放画面的渲染。

优选的，还包括音频系统服务模块，所述音频系统服务模块用于维护麦克风阵列的生命周期，将解析后的数据结构传输给语言学习模块，同时也接收来自语言学习模块的下发指令并发送给麦克风阵列。

优选的，还包括光学模块，所述光学模块用于放大显示器的尺寸，增加用户视觉市场角，提高用户的视觉体验的沉浸感。

一种麦克风音频数据解析的方法，所述方法包括：

根据设备类型获取相应的数据解析模块；

如果设备类型表明设备为自定义协议设备，则读取扩展解析协议模块；

如果是系统标准协议则根据协议版本号获取数据解析模块中对应版本的解析实例；

遍历读取的字节数组，寻找字段头，将解析数值放入数据结构中；

如果已经解析到字节数组尾部，判断当前是否解析完成，如果已经完成则等待下一组数据，如果未解析完成，则将这部分字节放入下一组数据中继续处理。

本发明的有益效果是：利用虚拟现实技术搭建了一整套用于语言学习的沉浸式系统，仿真出一个供学习者学习的虚拟环境系统，提高语言学习的效率和效果；对系统进行了模块化设计，可兼容更多的硬件设计逻辑，例如更改了麦克风阵列的硬件输入，可直接修改麦克风阵列驱动模块即可，而需要兼容新的引擎架构则只需要修改语言学习模块即可。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例的整体框架示意图。

图2是本发明实施例中麦克风阵列驱动模块流程示意图；

图3是本发明实施例中麦克风音频数据解析模块流程示意图；

图4是本发明实施例中音频系统服务模块流程示意图；

图5是本发明实施例中语言学习模块流程示意图；

图6是本发明实施例中虚拟现实渲染模块流程示意图。

具体实施方式

以下结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

一种用于语言学习的虚拟现实设备系统，包括语音输入模块、显示模块以及音频播放模块，所述语音输入模块用于语音的输入；所述显示模块用于学习内容的播放，用户根据学习内容进行发音；所述音频外放模块用于根据用户输入的语音进行音频的输出。

具体的，所述语音输入模块包括麦克风阵列、麦克风阵列驱动模块以及麦克风音频数据解析模块，所述麦克风阵列用于语音音频的输入；所述麦克风阵列驱动模块用于麦克风阵列以及外接设备的驱动；所述麦克风音频数据解析模块用于根据麦克风阵列以及外接设备的数据协议将其解析为包含实际信息的数据结构。

具体的，所述显示模块包括语言学习模块以及虚拟现实渲染模块，所述语言学习模块用于教学内容的存储及播放，所述虚拟现实渲染模块用于播放画面的渲染。

进一步的，还包括音频系统服务模块，所述音频系统服务模块用于维护麦克风阵列的生命周期，将解析后的数据结构传输给语言学习模块，同时也接收来自语言学习模块的下发指令并发送给麦克风阵列。

进一步的，还包括光学模块，所述光学模块用于放大显示模块的尺寸，增加用户视觉市场角，提高用户的视觉体验的沉浸感。

结合附图2，麦克风阵列驱动模块负责在系统中利用多种连接方式识别，连接和读写麦克风阵列音频设备。连接方式包含：蓝牙，USB和无线网络，因此在不同连接驱动之上构建麦克风阵列驱动模块，负责识别设备类型和协议版本，连接/断开设备，读写数据等基本设备操作。

步骤1：系统的蓝牙/USB/wifi收到设备连接事件；

步骤2：通过读取设备描述符决定是否为麦克风阵列音频设备；

步骤3：确定是麦克风设备后，执行连接操作；

步骤4：读取设备属性信息，包括厂商，设备子类型和协议版本信息；

步骤5：开启读写端口，建立轮询数据线程；

步骤6：将数据上报给麦克风音频数据解析模块。

结合附图3，麦克风音频数据解析模块负责根据设备类型解析设备上报的数据为麦克风阵列数据结构。其中数据解析模块分为标准协议模块和自定义协议模块，标准协议模块为系统定义的标准麦克风音频数据协议，只要麦克风音频设备按标准数据协议上报数据就能被正确解析，而自定义协议为麦克分音频设备自身设定，为了兼容这类设备，在解析扩展中可支持这类麦克风设备数据解析流程：

步骤1：根据设备类型获取相应的数据解析模块；

步骤2：如果设备类型表明设备为自定义协议设备，则读取扩展解析协议模块；

步骤3：如果是系统标准协议则根据协议版本号获取数据解析模块中对应版本的解析实例；

步骤4：遍历读取的字节数组，寻找字段头，将解析数值放入数据结构中；

步骤5：如果已经解析到字节数组尾部，判断当前是否解析完成，如果已经完成则等待下一组数据，如果未解析完成，则将这部分字节放入下一组数据中继续处理。

结合附图4，音频系统服务模块位于应用和底层驱动之间，在系统中运行高优先级系统服务来建立驱动到应用的数据通道，其中系统服务的主要功能有，维护麦克风阵列设备的生命周期，将解析后的数据结构通过SDK API接口传输给语言学习模块，同时也接收来自语言学习模块的下发指令并发送到驱动层发送给麦克风阵列设备。

音频系统服务层数据传输流程：

步骤1：通过驱动层获取当前连接的麦克风阵列设备列表；

步骤2：根据SDK API启动来自麦克风阵列设备列表的某个设备，创建数据消息队列；

步骤3：读取来自数据解析模块解析后的麦克风数据结构体；

步骤4：如果该结构体时间戳小于最后一组数据的时间戳，认为是乱序数据而直接抛弃；

步骤5：如数据时间戳正常，将解析数据结构体拷贝一份到服务层共享内存中，供语言学习模块直接读取；

步骤6：通知语言学习模块有新数据上报，回调其接口；

步骤7：等待下一组解析数据结构体。

结合附图5，语言学习模块以插件的形式内嵌在应用中，为了支持不同类型的应用，语言学习模块在核心逻辑基础上封装了Android API，Unity插件，Unreal插件，让应用和游戏都能够获取麦克风音频数据并且能够给设备写回指令数据。

获取麦克风音频数据流程：

步骤1：向音频系统服务模块注册服务；

步骤2：如果注册成功，获取当前连接设备列表；

步骤3：选择要读取数据的设备，设置监听器；

步骤4：监听器等待数据信号，如果存在新数据，监听器回调监听方法，监听方法参数中带有麦克风阵列数据结构体；

步骤5：开发者利用结构体中的数据改变应用的训练状态；

步骤6：回到步骤4，继续等待数据。

虚拟现实渲染服务模块

结合附图6，麦克风阵列数据需要作用于虚拟现实场景中才能获得训练效果，为了支持开发者开发沉浸式语言学习课程内容，系统中提供了渲染服务层提供虚拟现实渲染API和相应的开发工具帮助开发者开发内容。

虚拟现实渲染流程如下：

步骤1：通过SDK API接口获得应用的场景模型的数据和资源，这些模型数据通常为模型顶点数据，纹理资源等；

步骤2：准备开始画面新一帧的渲染；

步骤3：将模型/场景/UI数据通过语言学习模块同步给系统渲染层；

步骤4：在每一个渲染帧的回调中更新一次麦克风阵列数据，让数据作用于应用中的场景或模型中，并且将更新后的结果提交给系统渲染层；

步骤5：读取系统九轴传感器数据，九轴传感器安装于人体，用于检测人体姿态数据；

步骤6：传感器融合算法对采集的传感器数据进行融合，得到当前的姿态矩阵；

步骤7：将姿态矩阵作用到系统渲染服务层中的相机上，更新视角方向；

步骤8：执行图形渲染矩阵计算，并将结果提交给GPU渲染。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种用于语言学习的虚拟现实设备系统，其特征在于，包括语音输入模块、显示模块以及音频播放模块，

所述语音输入模块用于语音的输入；

所述显示模块用于学习内容的播放，用户根据学习内容进行发音；

所述音频外放模块用于根据用户输入的语音进行音频的输出。

2.根据权利要求1所述的用于语言学习的虚拟现实设备系统，其特征在于，所述语音输入模块包括麦克风阵列、麦克风阵列驱动模块以及麦克风音频数据解析模块，所述麦克风阵列用于语音音频的输入；所述麦克风阵列驱动模块用于麦克风阵列以及外接设备的驱动；所述麦克风音频数据解析模块用于根据麦克风阵列以及外接设备的数据协议将其解析为包含实际信息的数据结构。

3.根据权利要求1所述的用于语言学习的虚拟现实设备系统，其特征在于，所述显示模块包括语言学习模块以及虚拟现实渲染模块，所述语言学习模块用于教学内容的存储及播放，所述虚拟现实渲染模块用于播放画面的渲染。

4.根据权利要求2所述的用于语言学习的虚拟现实设备系统，其特征在于，还包括音频系统服务模块，所述音频系统服务模块用于维护麦克风阵列的生命周期，将解析后的数据结构传输给语言学习模块，同时也接收来自语言学习模块的下发指令并发送给麦克风阵列。

5.根据权利要求1所述的用于语言学习的虚拟现实设备系统，其特征在于，还包括光学模块，所述光学模块用于放大显示模块的尺寸，增加用户视觉市场角，提高用户的视觉体验的沉浸感。

6.一种根据权利要求2所述的麦克风音频数据解析的方法，其特征在于，所述方法包括：

根据设备类型获取相应的数据解析模块；

如果设备类型表明设备为自定义协议设备，则读取扩展解析协议模块；

如果是系统标准协议则根据协议版本号获取数据解析模块中对应版本的解析实例；

遍历读取的字节数组，寻找字段头，将解析数值放入数据结构中；

如果已经解析到字节数组尾部，判断当前是否解析完成，如果已经完成则等待下一组数据，如果未解析完成，则将这部分字节放入下一组数据中继续处理。