CN110764622A - 一种虚拟现实多模式演讲训练工具 - Google Patents

Abstract

本公开提供了一种虚拟现实多模式演讲训练工具，包括主控制器、虚拟现实设备和传感器组，所述虚拟现实设备与主控制器连接，被配置为提供虚拟场景；所述传感器组包括心电传感系统，被配置为采集佩戴者的心电数据，并传输给所述主控制器；所述主控制器，被配置为提供不同的演讲训练模式，提供相应的VR训练，以进行虚拟的主题演讲，在训练过程中利用心电数据，实现对用户生理状态的实时监测与分析，确定演讲训练过程中的用户压力值，当压力值达到阈值后，提供放松训练模式。本公开使用方便、易操作、减少人力成本和场地限制。

Description

一种虚拟现实多模式演讲训练工具

技术领域

本公开属于虚拟现实设备技术领域，具体涉及一种虚拟现实多模式演讲训练工具。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

虚拟现实(Virtual Reality,简称VR)技术可以构建三维、逼真的虚拟环境，因此应用于情境模拟中有诸多优势。Wallach等人(2011)通过随机分组实验的方法比较虚拟情境模拟训练对公共演讲焦虑被试的干预效果，结果表明该方法用于降低公共演讲焦虑是可行的。因此，利用VR技术进行情境模拟可以有效用于模拟演讲情境，对于辅助演讲训练有重要实践价值。

演讲是一种社会活动中普遍性、实践性很强的活动，在语言表达、竞选求职、心理矫治等诸多方面均发挥重要功能。但在实际训练过程中，演讲存在三个局限性：1.演讲训练无法模拟真实的演讲环境。由于设备和地点的限制，无法给用户身临其境的感觉，有的用户学得好，模拟也好，但真正走上演讲台却没好的表现，就是因为真实演讲环境的复杂性远远大于普通的模拟环境，用户不能对真实情境中产生的压力状态进行良好的调节和控制。2.普通演讲模拟无法给用户全方位的评价，缺乏客观的和第三方的评价标准，不具备演讲训练所必要的生理指标和心理表征感知功能。3.普通的演讲模拟训练场景单一，效率较低。基于VR情境模拟的演讲训练能够构建高沉浸、可交互、多模式的虚拟训练环境，提升训练效率，减少场地和人力的限制。

发明内容

本公开为了解决上述问题，提出了一种虚拟现实多模式演讲训练工具，本公开集成了心理表征采集功能、以及符合用户心理和行为特征的互动装备和技术，使其具备实时感知用户在VR训练时的心理和生理表征的功能，从而提高VR演讲训练效能。另外，VR训练中所配套的交互装备以及自然交互技术，可以与虚拟训练内容相互支持，比传统演讲训练方法能提供更直观的训练体验和更高的认知流畅性，从而降低用户的认知负荷，提升训练效率。

根据一些实施例，本公开采用如下技术方案：

一种虚拟现实多模式演讲训练工具，包括主控制器、虚拟现实设备和传感器组，其中：

所述虚拟现实设备与主控制器连接，被配置为提供虚拟场景；

所述传感器组包括心电传感系统，被配置为采集佩戴者的心电数据，并传输给所述主控制器；

所述主控制器，被配置为提供不同的演讲训练模式，提供相应的VR训练，以进行虚拟的主题演讲，在训练过程中利用心电数据，实现对用户生理状态的实时监测与分析，确定演讲训练过程中的用户压力值，当压力值达到阈值后，提供放松训练模式。

作为进一步的限定，所述主控制器包括虚拟现实辅助的演讲场景模拟模块、多模式训练模块、基于心电的生理交互模块、调节技术指导模块以及评价与反馈模块，其中：

所述演讲场景模拟模块，被配置为提供包含评委、观众、演讲台、评委席和观众席模型的演讲场景，提供使用者关于视觉、听觉、触觉感官的模拟；

所述多模式训练模块，被配置为提供自主训练方式、导调训练方式和比赛进阶训练方式，每种训练方式具有相应的演讲场景与任务；

所述生理交互模块，被配置为对采集用户的心电数据并进行实时分析，当生理状态低于设定的阈值，暂停中止演讲场景，弹出放松训练界面；

所述调节技术指导模块，被配置为根据输入的选择信息，提供放松训练内容，包括呼吸训练、肌肉放松训练、正念训练以及音乐放松训练内容。

作为进一步的限定，所述主控制器还包括评价与反馈模块，被配置为提供一份反馈报告，包含：生理计算出的焦虑程度、情绪调节时间和次数和演讲表现分数。

作为进一步的限定，所述多模式训练模块的自主训练方式支持用户根据自己的需要进行训练，导调训练方式支持指导训练的专家实时监测用户的训练状态以及对训练系统的操纵，支持专家选择演讲主题、演讲厅和结束训练；比赛进阶训练方式允许用户选择不同的演讲厅进行演讲进阶训练。

作为进一步的限定，所述生理交互模块，采用BMD101芯片。

作为进一步的限定，所述调节技术指导模块，采用Curved UI曲面插件，在世界空间中弯曲画布，允许用户从任何角度观看和互动。

作为进一步的限定，所述虚拟现实设备为头戴式VR设备。

作为进一步的限定，所述心电传感系统包括PC机、BMD心电采集器、若干块贴敷电极，BMD心电采集器分别与PC和三块贴敷电极连接，与PC机通过蓝牙连接，与贴敷电极通过导线连接，BMD芯片通过SEP、SEN接收来自各贴敷电极的模拟信号，然后将模拟限号转换成数字信号，最后把数字信号通过RX、TX发送给PC机。

作为进一步的限定，所述评价与反馈模块，采用PDF文件生成技术，PDF内容从各个场景代码中的类型数据中获取得到，通过PdfPTable和PdfPCell来对表格和表格的具体内容进行排列组合。

与现有技术相比，本公开的有益效果为：

(1)本公开使用方便、易操作、减少人力成本和场地限制；

(2)利用VR情境模拟，获得用户特定情境下的生理、行为模式，有助于掌握其压力和表现动态，更好地把握其风险性，提升训练效能；

(3)用户不需要额外的训练，使用自然的交互方式操作即可；

(4)VR训练装备只需一个较大的房间就可以实施，并且尤其适用于受限环境(如戒毒所、监狱等)；

(5)有助于充分利用VR在高沉浸感以及提升动机方面的优势来增加训练效果，同时适用于服刑人员等特殊群体。激发VR产业开发相应的训练内容，研发训练技术和装备，为VR产业带来新的经济增长点。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本实施例的系统架构图；

图2为本实施例系统流程图；

图3为本实施例系统的心电监测流程图；

图4(a)为系统的心电系统构成图；

图4(b)为系统的心电系统硬件图；

图4(c)为系统的心电系统软件图；

图5为系统演讲设置与登陆界面；

图6为系统的放松场景图；

图7为系统的演讲准备厅图；

图8为系统的演讲厅，图8(a)为小型演讲厅，图8(b)为小型演讲厅，图8(c)为小型演讲厅；

图9为系统中评委对用户的正负性反馈图。

图10为系统放松帮助指导界面。

图11为系统评价结果示意图。

具体实施方式：

下面结合本公开在服刑人员演讲训练中的使用作为实例，并且附图对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示为系统架构图，本系统的架构为通过unity3D渲染引擎和VIVE Pro虚拟现实头盔呈现整个系统场景，用户进行演讲任务时，心电设备将实时监测用户的生理状态，当用户压力水平到达阈值，系统将停止演讲提示用户利用学习的放松训练方法缓解压力状态。

虚拟现实多模式演讲训练工具，主要由三个硬件部分组成：主机，VIVE Pro，心电传感器。主机主要包括虚拟现实辅助的演讲场景模拟模块、多模式训练模块、基于心电的生理交互模块、调节技术指导模块以及评价与反馈模块。

虚拟现实辅助的演讲场景模拟模块。演讲活动高成本高消耗，特别在涉及监狱等这种高危或极端的环境，虚拟现实技术能提供可靠、安全和经济的演讲训练，采用Maya建模工具，构建逼真的评委、观众、演讲台、评委席和观众席模型，啊Unity中合成真实、丰富的演讲训练场景，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般。

多模式训练模块。该工具提供完全系统指导的自主训练方式/教官主导的导调训练方式/比赛进阶训练方式。自主训练方式支持用户根据自己的需要进行训练(支持用户自己选择演讲主题、演讲厅等操作)；导调训练方式支持导调人员实时监测用户的训练状态以及对训练系统的操纵(支持导调人员选择演讲主题、演讲厅和结束训练等操作)；比赛进阶训练方式允许用户选择不同的演讲厅(包括小型演讲厅、中型演讲厅和大型演讲厅，不同演讲厅规模大小不同，评委和观众模型的数量不同)进行演讲进阶训练。

基于心电的生理交互模块。系统采集用户的心电(ECG)数据并进行实时分析。系统采用放松度算法来获取用户的放松度，以此得到用户在演讲过程中的焦虑程度。放松度算法以1到100的数值提示使用者的放松程度。低数值提示兴奋，压力或疲劳的生理状态(交感神经系统活跃)，而高数值则指示一种放松的状态(副交感神经活跃)。当用户放松度低于系统设定的阈值，系统将会暂停时间中止演讲，弹出放松训练界面，提醒用户按照放松训练学习模块的方法进行焦虑调节。

调节技术指导模块。系统提供呼吸训练、肌肉放松训练、正念训练以及音乐放松训练等几种常用的情绪调节训练技术。当用户在训练过程中无法靠自身进行有效的情绪调节时，可以使用指导模块，帮助自己学习并掌握情绪调节方法。

评价与反馈模块。演讲训练结束系统将提供一份反馈报告，该报告包含了四项系统记录的指标：生理计算出的焦虑程度、情绪调节时间和次数和演讲表现分数(导调人员打分)。

VIVE Pro为专业版基础套装。兼具超高清画质、优化人体工学设计，和高解析度音场，打造超逼真的虚拟世界。HTC Vive通过以下三个部分致力于给使用者提供沉浸式体验：一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制器的定位系统(Lighthouse)。控制器定位系统Lighthouse采用的是Valve的专利，它不需要借助摄像头，而是靠激光和光敏传感器来确定运动物体的位置，因此HTC Vive允许用户在一定范围内走动。

在本实施例中，主机选用戴尔外星人(alienware)ALW R7酷睿八代六核独显游戏台式电脑主机。

在本实施例中，虚拟现实辅助的演讲场景模拟模块，采用Maya动画技术和科大讯飞语音合成技术。迅飞离线语音合成，为不同的采访者提供不同的音色、音调和语速。它采用业界先进的机器学习算法的合成引擎，丰富的情感语料库使合成的声音更加自然，接近普通人的阅读水平。离线语音合成引擎满足无网络环境中语音转换的需求，SDK轻巧便捷，无需网络流量和实时响应。为提供多样化的训练场景以及不同的压力情境，设置了小、中、大三个演讲厅(房间规模以及观众数量不同)来模拟演讲环境。

在本实施例中，多模式训练模块，采用外部导调技术，狱警以操作员的身份，在宏观和全局上对演讲流程进行引导及控制，从而保证演讲的各个环节处于严密的领导和控制下，并按一定进程有序、高效的进行，导调人员通过可视化的交互界面发布导调命令，改变演讲时间、对用户的表现进行评价等操作。其中可视化的交互界面可以采用可以触摸的全息设备，也可以采用普通的显示器进行展示。通过使用软件去统筹、规划、引导和控制训练过程，方便用户对训练事件的掌握和控制，使复杂繁乱的训练事件简单化、清晰化、智能化。

在本实施例中，基于心电的生理交互模块，采用BMD101芯片，BMD101芯片是神念科技(Neurosky)的第三代生物信号监测及运算的SoC设备。BMD101被设计成由一个先进的模拟前端电路和一个灵活的，功能强大的数字信号处理结构组成。它的目标是生物信号输入，范围从UV到MV水平，并由NeuroSky的专有算法来部署应用。低噪声放大器和模数转换(ADC)是BMD101模拟前端的主要组件。因为极低的系统噪声和可编程增益，BMD101可以检测到生物信号并通过ADC转换成16位高分辨率的数值信号。

在本实施例中，调节技术指导模块，采用Curved UI曲面插件，一个为新的UnityCanvas系统设计的一体化VR界面包。在世界空间中弯曲画布，允许用户从任何角度观看和互动。曲面UI可以提升用户在场景中的沉浸感，获得更好的视觉体验。

在本实施例中，评价与反馈模块，采用PDF文件生成技术，pdf文件生成技术是引用C#的命名空间iTextSharp来对生成的PDF文件进行排版，PDF内容都是从各个场景代码中的static类型数据中获取得到，与此同时还可以通过PdfPTable和PdfPCell来对表格和表格的具体内容进行排列组合。

如图2所示为系统的心电监测流程图：基于心电的生理交互整体是按照数据采集—数据分析—数据处理—控制输出—反馈的流程来实现，利用心电传感器来采集心电数据，BMD101芯片进行数据分析，通过蓝牙把已经分析的数据传给PC机，PC机以数据处理为主，unity平台把蓝牙模块接收PC机发送来的数据算法转换成控制信号，实现用户放松度的实时监测，当用户到达压力的预警状态控制演讲流程停止，以界面方式提示用户缓解压力的放松技巧。

如图4(a)，4(b)为系统的心电组成及硬件图，整个系统由PC机(心电数据采集及分析软件)、BMD心电采集器、三块贴敷电极组成(见图4(a))。BMD心电采集器分别与PC和三块贴敷电极连接，与PC通过蓝牙连接，与三块贴敷电极通过导线连接。BMD芯片通过SEP、SEN接收来自贴敷电极的模拟信号，然后将模拟限号转换成数字信号，最后把数字信号通过RX、TX发送给PC。

如图4(c)为心电软件界面，放松度算法测量心率变异率(HRV)中高频信息(0.15～0.4赫兹)与低频信息(0.04～0.15赫兹)之间的关系。许多科学研究表明，高频HRV与自主神经系统中的副交感神经活动及呼吸有关，而低频段的HRV与交感神经活动有关。科学研究也表明，副交感系统有助于身体的放松及恢复，而交感神经系统帮助人们在压力下兴奋或紧张。

如图5为演讲设置与登陆界面，系统可以设置用户的演讲准备时间和演讲时间，同时系统要求输入用户的身高来调整系统的视角，给与用户最佳的训练体验。参数设置完毕，系统提供两种模式来进行训练，自主练习模式用户可以自己选择演讲主题、演讲房间等，导调控制模式由狱警来控制整个训练流程中演讲主题、演讲厅的选择等操作。

如图6为系统的放松界面图，用户在该场景进行三分钟的放松。

如图7为系统的演讲准备厅图，用户在该场景根据系统提供的演讲主题进行五分钟的演讲准备。

图8(a)，图8(b)和图8(c)分别为小型演讲厅、中型演讲厅和大型演讲厅，三个演讲厅的规模和观众的数量不同。

如图9为在演讲过程中狱警对用户实施的正性、负性和中性反馈。

如图10为放松帮助指导界面，当用户压力值到达阈值时，系统提供呼吸训练、肌肉放松训练、正念训练以及音乐放松训练等几种常用情绪调节训练技术帮助用户进行放松。

如图11为系统生成的评价与反馈报告，包含了服刑人员的基本信息、放松效果等内容。

如图3所示为系统的具体工作流程图：

(1)狱警根据需要填写服刑人员编号、狱警编号、用户身高等基本信息，设置系统的演讲准备时间和演讲时间；

(2)用户进入放松场景，平静休息三分钟(默认值)，调整训练状态，平复压力状态。

(3)用户进入演讲准备厅，选择PPT主题(感恩、认罪和改造)并根据系统提供的PPT梗概进行演讲准备，准备时长为五分钟(默认值，可自行调整)，准备演讲结束系统提示用户选择演讲房间(小型演讲厅、中型演讲厅和大型演讲厅)；

(4)用户进入演讲厅进行演讲，系统将通过演讲时长和虚拟狱警代理的反馈(正性、负性和中性)来创设真实、有压力的演讲情境，并通过心电实时监测用户的演讲表现和压力状态。当用户压力状态达到预警范围时，系统停止演讲，并弹出放松训练指导界面，提醒用户习得一些放松技术来调整压力状态(如肌肉放松、呼吸放松训练技术)。如果压力状态得到缓解则继续进行演讲比赛，整个演讲过程持续十分钟(默认值，可自行调整)，倒计时结束演讲停止。演讲停止系统将允许用户继续进行演讲训练或退出系统。

(5)系统生成评价与反馈报告。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.一种虚拟现实多模式演讲训练工具，其特征是：包括主控制器、虚拟现实设备和传感器组，其中：

所述虚拟现实设备与主控制器连接，被配置为提供虚拟场景；

所述传感器组包括心电传感系统，被配置为采集佩戴者的心电数据，并传输给所述主控制器；

所述主控制器，被配置为提供不同的演讲训练模式，提供相应的VR训练，以进行虚拟的主题演讲，在训练过程中利用心电数据，实现对用户生理状态的实时监测与分析，确定演讲训练过程中的用户压力值，当压力值达到阈值后，提供放松训练模式。

2.如权利要求1所述的一种虚拟现实多模式演讲训练工具，其特征是：所述主控制器包括虚拟现实辅助的演讲场景模拟模块、多模式训练模块、基于心电的生理交互模块、调节技术指导模块以及评价与反馈模块，其中：

所述演讲场景模拟模块，被配置为提供包含评委、观众、演讲台、评委席和观众席模型的演讲场景，提供使用者关于视觉、听觉、触觉感官的模拟；

所述多模式训练模块，被配置为提供自主训练方式、导调训练方式和比赛进阶训练方式，每种训练方式具有相应的演讲场景与任务；

所述生理交互模块，被配置为对采集用户的心电数据并进行实时分析，当生理状态低于设定的阈值，暂停中止演讲场景，弹出放松训练界面；

所述调节技术指导模块，被配置为根据输入的选择信息，提供放松训练内容，包括呼吸训练、肌肉放松训练、正念训练以及音乐放松训练内容。

3.如权利要求1或2所述的一种虚拟现实多模式演讲训练工具，其特征是：所述主控制器还包括评价与反馈模块，被配置为提供一份反馈报告，包含：生理计算出的焦虑程度、情绪调节时间和次数和演讲表现分数。

4.如权利要求2所述的一种虚拟现实多模式演讲训练工具，其特征是：所述多模式训练模块的自主训练方式支持用户根据自己的需要进行训练，导调训练方式支持导调人员实时监测用户的训练状态以及对训练系统的操纵，支持导调人员选择演讲主题、演讲厅和结束训练；比赛进阶训练方式允许用户选择不同的演讲厅进行演讲进阶训练。

5.如权利要求2所述的一种虚拟现实多模式演讲训练工具，其特征是：所述生理交互模块，采用BMD101芯片。

6.如权利要求2所述的一种虚拟现实多模式演讲训练工具，其特征是：所述调节技术指导模块，采用Curved UI曲面插件，在世界空间中弯曲画布，允许用户从任何角度观看和互动。

7.如权利要求1所述的一种虚拟现实多模式演讲训练工具，其特征是：所述虚拟现实设备为头戴式VR设备。

8.如权利要求1所述的一种虚拟现实多模式演讲训练工具，其特征是：所述心电传感系统包括PC机、BMD心电采集器、若干块贴敷电极，BMD心电采集器分别与PC和三块贴敷电极连接，与PC机通过蓝牙连接，与贴敷电极通过导线连接，BMD芯片通过SEP、SEN接收来自各贴敷电极的模拟信号，然后将模拟限号转换成数字信号，最后把数字信号通过RX、TX发送给PC机。

9.如权利要求1所述的一种虚拟现实多模式演讲训练工具，其特征是：所述评价与反馈模块，采用PDF文件生成技术，PDF内容从各个场景代码中的类型数据中获取得到，通过PdfPTable和PdfPCell来对表格和表格的具体内容进行排列组合。

Images