CN114283262A - 一种基于虚拟现实技术的沉浸式表演情感增强系统 - Google Patents
一种基于虚拟现实技术的沉浸式表演情感增强系统 Download PDFInfo
- Publication number
- CN114283262A CN114283262A CN202111603791.3A CN202111603791A CN114283262A CN 114283262 A CN114283262 A CN 114283262A CN 202111603791 A CN202111603791 A CN 202111603791A CN 114283262 A CN114283262 A CN 114283262A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- heart rate
- acquisition unit
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 41
- 238000005516 engineering process Methods 0.000 title claims abstract description 30
- 230000002996 emotional effect Effects 0.000 claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 47
- 230000000007 visual effect Effects 0.000 claims description 35
- 238000010276 construction Methods 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 27
- 210000004556 brain Anatomy 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 19
- 238000012800 visualization Methods 0.000 claims description 13
- 210000000245 forearm Anatomy 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000011161 development Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000036387 respiratory rate Effects 0.000 claims description 6
- 210000000689 upper leg Anatomy 0.000 claims description 6
- 238000013079 data visualisation Methods 0.000 claims description 5
- 210000005069 ears Anatomy 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims 3
- 244000309466 calf Species 0.000 claims 2
- 230000002452 interceptive effect Effects 0.000 abstract description 9
- 238000004891 communication Methods 0.000 abstract description 8
- 230000003993 interaction Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241000289581 Macropus sp. Species 0.000 description 1
- HDAJUGGARUFROU-JSUDGWJLSA-L MoO2-molybdopterin cofactor Chemical compound O([C@H]1NC=2N=C(NC(=O)C=2N[C@H]11)N)[C@H](COP(O)(O)=O)C2=C1S[Mo](=O)(=O)S2 HDAJUGGARUFROU-JSUDGWJLSA-L 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 230000035565 breathing frequency Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提出一种基于虚拟现实技术的沉浸式表演情感增强系统，本发明解决了现有沉浸式表演中观众和表演者间存在缺少可用且具备情感反馈的交互应用系统，为传统沉浸式表演中因虚拟现实设备遮挡而导致观众和表演者的情感沟通障碍、无法实现自适应性反馈产生表演运行不畅或中断的问题，设计具有自适应性的情感反馈，更为情感反馈提供了可视化的系统支持，具有实用、适用性强的特点的优势技术效果。
Description
技术领域
本发明涉及一种基于虚拟现实技术的沉浸式表演情感增强系统，属于计算机虚拟现实技术领域。
背景技术
虚拟现实技术是利用计算机模拟生成三维数字信息的虚拟空间，从而增强使用者在虚拟环境中的感知能力，加深沉浸感的体验。虚拟现实技术主要集成了计算机图形，计算机仿真，人工智能等技术，是一种由计算机技术辅助生成的高技术模拟方法。近年来，基于虚拟现实技术的沉浸式表演十分流行，目前较为常见的表演形式为佩戴VR设备的观众与佩戴动作捕捉设备及面部捕捉设备的表演者共处于同一现实环境中，观众可以与表演者扮演的虚拟角色进行实时互动。2010年文献1-Qiong Wu,et al.Areal-time performancesystem for virtual theater.In Proceedings of the 2010ACM workshop on Surrealmedia and virtual cloning(SMVC'10)，该系统集成了显示外围设备、联网摄像机、实时动作捕捉系统、手势识别和虚拟环境开发套件(Virtools)，以创建一个真正的虚拟戏剧表演环境。然而，在观众佩戴的虚拟现实头盔遮挡住了大部分面部表情的情况下，仅仅通过对话和肢体的互动，表演者很难直观地理解观众的反馈。表演者在表演时佩戴繁重的动捕面捕设备，身处于绿幕环境的现实表演场地，难以融入到角色和叙事内容中。此外，在虚拟现实环境中观众仅借助虚拟化身来观察表演者的动作和表情，难以与表演者产生真实、紧密的情感联结。
近年来，从表演者与观众之间的感知、交互方式等提升表演体验的研究越来越多。许多研究将观众积极、关联的参与行为视为表演活动质量的衡量指标。2014年文献2—Sensing a live audience.Chen Wang,Erik N.Geelhoed,Phil P.Stenton,and PabloCesar.CHI'141909–1912.提出了一种在表演中对观众进行评估和测量的方法，通过同时测量一组参与者的皮肤反应GSR来扩展已有的实验范式。实验过程中对观众观看表演时的GSR数据进行每秒/次的测量，使每个参与者得到1680个数据点。GSR的数据与表演者和观众的视频片段同步，使表演期间的关键高峰节点与相应的GSR读数相联系，随后采用方差分析和相关性的方法分析观众在表演结束后填写的问卷。该研究为表演质量评估提供了一个基于生理数据的测量机制，并有助于为远程在线表演提供观众实时反馈。
可穿戴传感技术和数字媒体技术使表演者能够在人机交互HCI研究人员的支持下推动表演创作。研究尝试将观众的感官体验和感受融入表演环境中。例如，在现场表演中，观众的情绪感受可以转化为文本信息，如2014年文献3—Teresa,et al.Understandingaudience participation in an interactive theater performance.In Proceedingsof the 8th Nordic Conference on Human-Computer Interaction:Fun,Fast,Foundational(NordiCHI'14)或转化为情绪指示线索2021年文献4—Kouyou,etal.Enhancing Multimodal Interaction Between Performers andAudience MembersDuring Live Music Performances.In Extended Abstracts of the 2021CHIConference on Human Factors in Computing Systems(CHI EA'21)，观众已经成为表演内容的一部分。
2017年文献5—Andrew Bluff and Andrew Johnston..Storytelling withInteractive Physical Theatre:A case study of Dot and the Kangaroo.MOCO'17.Article 19,1–8.提出了结合数字投影和可视化技术的表演叙事方法，使用红外摄像机和光学算法将舞台上演员的肢体动作转换为与表演主题相关的实时可视化数字内容，并投影至舞台作为表演叙事元素，以减少剧本的文本密度并且辅助演员进行表演内容的感知。演后访谈与场景分析显示，表演者和数字投影之间的互动描绘出了关键的叙事信息，形成了更具有综合性的叙事方式，且证明了互动视觉信息投影对演员的感知与行为产生影响。2021年文献6—Nuno N.Correia,Raul Masu,An Hoang Dieu Pham,and JochenFeitsch.Connected Layers:Evaluating Visualizations of Embodiment inContemporary Dance Performances.TEI'21.ACM,New York,USA,Article 2,1–12.提出通过舞台互动视觉效果增强观众体验，在实验中设置了四种不同的舞蹈表演,使用呼吸传感器、颜色传感器、摄像机等将表演者的身体动作变化和呼吸频率进行实时图形可视化和虚拟化身映射，每种表演都探索了一种不同的涉及视觉效果的交互方法。通过演出结束后的问卷和访谈收集观众反馈，总结出了五条设计建议。
目前关于增强表演中演员和观众感知的研究主要集中在现实环境的表演空间中，对VR中的沉浸式表演缺乏相关研究。2018年文献7—Tatsuyoshi,et al.Supporting theSense of Unity between Remote Audiences in VR-Based Remote Live Music SupportSystem KSA2.In 2018IEEE International Conference on Artifcial IntelligenceandVirtual Reality(AIVR)提出一种基于VR的远程系统，使观众能够通过身体动作与表演者进行非语言交流。2018年文献8—Plaxen,et al.One of the Family:An Exploratory3rd Person Branching Narrative for Virtual Reality.In Extended Abstracts ofthe 2018CHI Conference on Human Factors in Computing Systems(CHI EA’18)探索如何从第三人称基于对象交互的视角定位观众的叙事分支。2021年文献9—Yan,etal.Performing with Me:Enhancing Audience-Performer Interaction inAn ImmersiveVirtual Play.In ExtendedAbstracts ofthe 2021CHI Conference on Human Factorsin Computing Systems(CHI EA'21)提出了基于个体、情境、叙事的三种观众和表演者间的交互方式，并进行定性评估。然而，这些方法主要是通过语言和身体行为来交流和构建观众和表演者的交互方式，其他的形式，如生理信号交互，在VR表演中还没有得到很好的探索和应用。
由于目前普遍的基于虚拟现实技术的沉浸式表演中，表演者需要穿戴繁复的动捕设备，在与表演主题缺乏关联的实际表演场地中对着佩戴VR头盔的观众表演，很难直观且准确地观察到观众当下的情绪状态与注意力集中情况，因而在表演过程中难以做出及时、恰当的反应。观众也只能关注于场景中虚拟化身模型的动作、表情，无法进一步感知表演者的情感变化。
发明内容
本发明的技术解决问题：克服现有基于虚拟现实技术的沉浸式表演中表演者与观众交互反馈方式的匮乏，缺少自适应性的情感反馈及可视化系统支持的问题，提供一种基于虚拟现实技术的沉浸式表演情感增强系统，将观众的脑波数据及表演者心率数据进行实时采集，通过将现实环境中观众脑波的可视化动态图形形成情感反馈作用于虚拟世界中表演者的心率数据显示，形成虚实融合式的自然交互机制。本发明显著增强了表演者与观众的情感联结，在虚拟现实沉浸式表演中实现更具适用性的情感反馈，提升表演内容的创意生成。
本发明的技术解决方案：一种基于虚拟现实技术的沉浸式表演情感增强系统，实现步骤如下：
所述沉浸式表演情感增强系统C10前端接入虚拟现实情感融合模块D10，所述虚拟现实情感融合模块D10一端接入现实环境构造模块A30，其另一端接入虚拟世界构造模块B60；
所述虚拟世界构造模块B60包括动作数据采集模块B10，心率数据采集模块B20，3D虚拟化身构造模块B30，心率数据显示模块B40，虚拟基础构建模块B50；
所述现实环境构造模块A30包括脑电数据采集模块A10，脑电数据可视化呈现模块A20；
所述动作采集模块B10，包括十七个身体关节点位置数据采集单元，具体为：
头部动作采集单元B101、胸部动作采集单元B110、腰部动作采集单元B111；
左肩部动作采集单元B102、左大臂动作采集单元B104、左前臂动作采集单元B106、左手动作采集单元B108、右肩部动作采集单元B103、右大臂动作采集单元B105、右前臂动作采集单元B107、右手动作采集单元B109；
左大腿动作采集单元B112、左小腿动作采集单元B114、左脚动作采集单元B116、右大腿动作采集单元B113、右小腿动作采集单元B115、右脚动作采集单元B117；
均包括动作采集单元。
所述3D虚拟化身构造模块B30输入端接入动作采集模块B10，获取十七个身体关节点位置数据，具体步骤为：
将获取到的十七个身体关节点位置数据通过动作采集模块B10与三维引擎平台连接，基于Final IK反动力学插件创建Full Body Biped IK，控制手肘、肩部、腰部、膝部、胯部等部位，实现实时驱动表演者的虚拟化身模型；
由十七个身体关节点位置数据实时驱动的虚拟表演环境中的预设表演者虚拟化身模型，输出端连接虚拟世界构造模块B60；
所述心率数据显示模块B40输入端接入心率数据采集模块B20，获取心率数据，可计算心率变异性数据，以及呼吸频率数据，将心率数据实时映射至虚拟环境中进行数值显示，输出端连接虚拟世界构造模块B60，具体步骤为：
在PC端蓝牙匹配心率传感器，在三维引擎平台调用蓝牙传输模块Bluetooth+LE库进行初始化，执行蓝牙搜索；
连接心率传感器，并通过设备的UUID订阅蓝牙的服务或自行通过蓝牙调试助手获取；
返回接收到的心率数据并进行数据解析和输出，获取心率数据、心率变异性数据和呼吸频率数据；
由心率数据实时驱动的虚拟表演环境中表演者虚拟化身模型的心率数值，输出端连接虚拟世界构造模块B60；
所述脑电数据可视化呈现模块A20，输入端接入脑电数据采集模块A10，包括对alpha、belta、theta三类脑波的数据采集及分发处理，连接可视化编程开发平台进行可视化图形，输出端连接现实环境构造模块A30，具体步骤为：
脑电数据采集模块包括非侵入式脑电设备及数据分发处理功能，首先将脑电设备接触点至于所佩戴的虚拟现实头盔之下紧贴额头及耳后皮肤，以获得持续性脑电数据传输效果；
通过Bluetooth+LE和OSC传输协议将采集到的观众的alpha、belta、theta三种具有情绪特征的脑波数值传输至可视化编程开发平台；
提取三种脑波的可视化情感特征元素，设定时域数据取值及可视化图形体积变形方式，将三种脑波数值转换为自适应性的情感可视化图形；
所述的沉浸式表演情感增强系统C10前端接入虚拟现实情感融合模块D10，所述虚拟现实情感融合模块D10一端接入现实环境构造模块A30，其另一端接入虚拟世界构造模块B60，具体为：
将基于观众三种脑波的情绪化可视化图形透视投影至现实环境表演空间中，供表演者在表演过程中查看；
将基于表演者心率数据的可视化数值传输至三维引擎平台，显示在虚拟世界中，供观众在表演过程中查看；
由此解决基于虚拟现实技术的沉浸式表演传统形式中因VR设备遮挡导致的表演者与观众情感沟通阻碍及可视化的系统支持的问题，增强表演者与观众的情感联结，在虚拟现实沉浸式表演中实现更具适用性的情感反馈。
本发明与现有技术相比优点在于：
(1)与现有传统沉浸式表演中观众与表演者间的行为交互方式外，本发明增加了基于生理信号的情感交互与反馈，这种新型、隐式的交互形式可以对表演者与观众的情感进行实时监测，通过采用生理信号的数据可视化技术，实现生理信号在表演活动中的可视化支持，解决传统表演形式中表演者与观众间由于设备遮挡和环境限制导致情感交流受阻的问题；
(2)与传统的生理信号可视化研究相比，本发明通过脑波信号映射的三维图形体积变形和实时心率数值变化分别显示观众和表演者的情感状态，即将观众的脑波数据及表演者心率数据进行实时可视化动态编程UI界面数值呈现，将视觉信息自然融入至现实表演环境与虚拟表演世界中，为观众和表演者持续性提供直观、自适应性的情感反馈；
(3)本发明通过现实环境中观众脑波的可视化动态图形形成情感反馈作用于虚拟世界中表演者的心率数据显示，在脑电信号与心率数值间构建可视化的反馈机制。与现有的基于虚拟现实技术的沉浸式表演相比，虚拟世界与现实环境的融合更为紧密，在用户体验方面优势显著，增强表演者与观众的情感联结，最大程度减少观众和表演者在表演过程中的隐性交流障碍及注意力分散等情况。
附图说明
图1为本发明的系统实现图；
图2为动作采集单元图；
图3为心率数据的显示流程图；
图4为脑电数据的可视化呈现流程图。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
如图1所示，本发明的具体步骤如下：
(一)在沉浸式表演情感增强系统中进行动作采集，包括十七个身体关节点位置数据采集单元，具体如图2所示：
头部动作采集单元B101、胸部动作采集单元B110、腰部动作采集单元B111；
左肩部动作采集单元B102、左大臂动作采集单元B104、左前臂动作采集单元B106、左手动作采集单元B108、右肩部动作采集单元B103、右大臂动作采集单元B105、右前臂动作采集单元B107、右手动作采集单元B109；
左大腿动作采集单元B112、左小腿动作采集单元B114、左脚动作采集单元B116、右大腿动作采集单元B113、右小腿动作采集单元B115、右脚动作采集单元B117；
均包括动作采集单元。
(二)进一步，在3D虚拟化身构造模块B30输入端接入动作采集模块B10，获取十七个身体关节点位置数据；
将获取到的十七个身体关节点位置数据通过动作采集模块B10与三维引擎平台连接，基于Final IK反动力学插件创建Full Body Biped IK，设置人形动画骨骼系统，具体实施步骤为：
a.给虚拟化身模型添加Full Body Biped IK组件脚本；
b.填入根节点；
c.为特定IK添加权重，控制对应的IK；
d.设置脚本控制手肘、肩部、腰部、膝部、胯部等部位；
e.实现实时驱动表演者的虚拟化身模型；
f.输出端连接虚拟世界构造模块B60。
(三)在沉浸式表演情感增强系统中进行心率采集与显示，获取心率数据HR，计算心率变异性数据HRV以及呼吸频率数据RR，将心率数据实时映射至虚拟环境中进行数值显示，具体步骤为如图3所示：
将心率传感器绑至表演者的胸前，以获得持续性心率数据传输效果；
将心率传感器在PC端进行蓝牙匹配，在三维引擎平台调用蓝牙传输模块Bluetooth+LE库进行初始化，执行蓝牙搜索；
连接心率传感器，并通过设备的UUID订阅蓝牙的服务或自行通过蓝牙调试助手获取；
返回接收到的心率数据并进行数据解析和输出，获取心率数据HR、计算心率变异性数据HRV和呼吸频率数据RR。具体步骤如下：
a.基于Pan-Tompkins算法从脑电信号波群中识别出R点，计算R和R之间的间隔；
b.对RR间隔插入值，进行重采样；
c.使用高通滤波器对重采样后的RR间隔过滤掉低频信号；
d.使用回归模型Time-Varying Autoregressive将数据转换为频谱形式，获得心率变异在特定时间的频率强度；
在三维引擎平台定义全局委托并编写动态数据类，编写UI界面脚本，实时运行心率数据的显示；
由心率数据实时驱动的虚拟表演环境中表演者虚拟化身模型的心率数值，输出端连接虚拟世界构造模块B60。
(四)在沉浸式表演情感增强系统进行脑电数据可视化呈现，对alpha、belta、theta三类脑波的数据采集及分发处理，连接可视化编程开发平台进行可视化图形，并进行输出，具体步骤为如图4所示：
脑电数据采集模块包括非侵入式脑电设备及数据分发处理功能，首先将脑电设备接触点至于所佩戴的虚拟现实头盔之下紧贴额头及耳后皮肤，以获得持续性脑电数据传输效果；
通过Bluetooth+LE在非侵入式脑电设备和移动设备、PC计算机之间建立通信环境，确保数据的准确和有效性；
通过Bluetooth+LE和OSC传输协议将采集到的观众的具有不同情绪特征的三种脑波alpha、belta、theta的数值传输至可视化编程开发平台；
提取三种脑波的可视化情感特征元素，设定时域数据取值及可视化图形体积变形方式，将三种脑波数值转换为自适应性的情感可视化图形，具体如下：
a.alpha:平静情感状态、脑波数值频率取值9-12Hz，时域数据取值-1到1，构建可视化编程模块将数值变化映射至球体半径；
b.belta：专注情感状态、频率取值范围为12.5-20Hz，时域数据取值-1到1。构建可视化编程模块将数值变化映射五边形半径；
c.theta：压力情感状态、频率取值范围为4-7HZ，时域数据取值-1到1。构建可视化编程模块将数值变化映射不稳定的三角形半径。
在可视化编程开发平台为三种脑波alpha、belta、theta数值映射的可视化动态图形进行现实环境中的多通道输出。
(五)在沉浸式表演情感增强系统呈现虚拟现实情感融合D10，具体步骤如下：
将基于观众三种脑波的情绪化可视化图形进行多通道透视投影至现实环境表演空间中，连接高清投影仪，将投影仪部署至现实环境表演空间的合适位置，为表演者提供观众的情感反馈；
将基于表演者心率数据的数值实时传输至三维引擎平台，通过UI界面在虚拟世界中进行动态显示，为观众提供表演者的情感反馈；
基于脑电信号的观众的可视化情感反馈持续影响基于心率信号的表演者的心率数值反馈，形成特定的观众和表演者间的情感互动交流模式；
由此解决基于虚拟现实技术的沉浸式表演传统形式中因VR设备遮挡导致的表演者与观众情感沟通阻碍及可视化的系统支持的问题，增强表演者与观众的情感联结，在虚拟现实沉浸式表演中实现更具适用性的情感反馈。
总之，本发明旨在解决基于虚拟现实技术的传统沉浸式表演中因VR设备面部遮挡而导致的表演者与观众间的互动单一及情感沟通阻碍问题。本发明的关键创新点在于将观众的脑波数据及表演者心率数据进行实时可视化的动态图形设计与呈现，同时通过现实环境中观众脑波的可视化动态图形形成情感反馈作用于虚拟世界中表演者的心率数据显示，形成虚实融合式的自然交互闭环系统。整体系统集成了动作捕捉技术、生理信号数据可视化以及虚拟现实自然交互技术，与现有的沉浸式表演形式相比增加了情感交互与反馈机制，形成显著优势，能够增强表演者与观众的情感联结，在虚拟现实沉浸式表演中实现更具适用性的情感反馈。
Claims (6)
1.一种基于虚拟现实技术的沉浸式表演情感增强系统，其特征在于，包括沉浸式表演情感增强系统C10；
所述沉浸式表演情感增强系统C10前端接入虚拟现实情感融合模块D10，所述虚拟现实情感融合模块D10一端接入现实环境构造模块A30，其另一端接入虚拟世界构造模块B60；
所述虚拟世界构造模块B60包括动作数据采集模块B10，心率数据采集模块B20，3D虚拟化身构造模块B30，心率数据显示模块B40，虚拟基础构建模块B50；
所述现实环境构造模块A30包括脑电数据采集模块A10，脑电数据可视化呈现模块A20。
2.根据权利要求1所述的一种基于虚拟现实技术的沉浸式表演情感增强系统，其特征在于，所述动作采集模块B10，包括十七个身体关节点位置数据采集单元，具体为：
所述头部动作采集单元B101、胸部动作采集单元B110、腰部动作采集单元B111；
左肩部动作采集单元B102、左大臂动作采集单元B104、左前臂动作采集单元B106、左手动作采集单元B108、右肩部动作采集单元B103、右大臂动作采集单元B105、右前臂动作采集单元B107、右手动作采集单元B109；
左大腿动作采集单元B112、左小腿动作采集单元B114、左脚动作采集单元B116、右大腿动作采集单元B113、右小腿动作采集单元B115、右脚动作采集单元B117。
3.根据权利要求2所述的一种基于虚拟现实技术的沉浸式表演情感增强系统，其特征在于，所述3D虚拟化身构造模块B30输入端接入动作采集模块B10，获取十七个身体关节点位置数据；
将获取到的十七个身体关节点位置数据通过动作采集模块B10与三维引擎平台连接，基于Final IK反动力学插件创建Full Body Biped IK，控制手肘、肩部、腰部、膝部、胯部部位，实现实时驱动表演者的虚拟化身模型；
由十七个身体关节点位置数据实时驱动的虚拟表演环境中的预设表演者虚拟化身模型，输出端连接虚拟世界构造模块B60。
4.根据权利要求1所述的一种基于虚拟现实技术的沉浸式表演情感增强系统，其特征在于，所述心率数据显示模块B40输入端接入心率数据采集模块B20，获取心率数据，可计算心率变异性数据，以及呼吸频率数据，将心率数据实时映射至虚拟环境中进行数值显示，输出端连接虚拟世界构造模块B60，具体步骤为：
在PC端蓝牙匹配心率传感器，在三维引擎平台调用蓝牙传输模块Bluetooth+LE库进行初始化，执行蓝牙搜索；
连接心率传感器，并通过设备的UUID订阅蓝牙的服务或自行通过蓝牙调试助手获取；
返回接收到的心率数据并进行数据解析和输出，获取心率数据、心率变异性数据和呼吸频率数据；
由心率数据实时驱动的虚拟表演环境中表演者虚拟化身模型的心率数值，输出端连接虚拟世界构造模块B60。
5.根据权利要求1一种基于虚拟现实技术的沉浸式表演情感增强系统，其特征在于，所述脑电数据可视化呈现模块A20，输入端接入脑电数据采集模块A10，包括对alpha、belta、theta三类脑波的数据采集及分发处理，连接可视化编程开发平台进行可视化图形，输出端连接现实环境构造模块A30；
脑电数据采集模块包括非侵入式脑电设备及数据分发处理功能，首先将脑电设备接触点至于所佩戴的虚拟现实头盔之下紧贴额头及耳后皮肤，以获得持续性脑电数据传输效果；
通过Bluetooth+LE和OSC传输协议将采集到的观众的alpha、belta、theta三种具有情绪特征的脑波数值传输至可视化编程开发平台；
提取三种脑波的可视化情感特征元素，设定时域数据取值及可视化图形体积变形方式，将三种脑波数值转换为自适应性的情感可视化图形。
6.根据权利要求1所述一种基于虚拟现实技术的沉浸式表演情感增强系统，其特征在于，所述虚拟现实情感融合模块D10，一端接入现实环境构造模块A30，其另一端接入虚拟世界构造模块B60，具体为：
将基于观众三种脑波的情绪化可视化图形透视投影至现实环境表演空间中，供表演者在表演过程中查看；
将基于表演者心率数据的可视化数值传输至三维引擎平台，显示在虚拟世界中，供观众在表演过程中查看。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111603791.3A CN114283262B (zh) | 2021-12-24 | 一种基于虚拟现实技术的沉浸式表演情感增强系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111603791.3A CN114283262B (zh) | 2021-12-24 | 一种基于虚拟现实技术的沉浸式表演情感增强系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114283262A true CN114283262A (zh) | 2022-04-05 |
| CN114283262B CN114283262B (zh) | 2024-10-25 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024100850A1 (ja) * | 2022-11-10 | 2024-05-16 | 日本電信電話株式会社 | 可知覚化装置、可知覚化方法、および、可知覚化プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104867176A (zh) * | 2015-05-05 | 2015-08-26 | 中国科学院自动化研究所 | 一种基于Cryengine的互动式虚拟演绎系统 |
| CN106373142A (zh) * | 2016-12-07 | 2017-02-01 | 西安蒜泥电子科技有限责任公司 | 虚拟人现场互动表演系统及方法 |
| CN107609334A (zh) * | 2017-09-20 | 2018-01-19 | 北京理工大学 | 一种现场观众反应分析系统及方法 |
| US20190139321A1 (en) * | 2017-11-03 | 2019-05-09 | Samsung Electronics Co., Ltd. | System and method for changing a virtual reality environment dynamically |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104867176A (zh) * | 2015-05-05 | 2015-08-26 | 中国科学院自动化研究所 | 一种基于Cryengine的互动式虚拟演绎系统 |
| CN106373142A (zh) * | 2016-12-07 | 2017-02-01 | 西安蒜泥电子科技有限责任公司 | 虚拟人现场互动表演系统及方法 |
| CN107609334A (zh) * | 2017-09-20 | 2018-01-19 | 北京理工大学 | 一种现场观众反应分析系统及方法 |
| US20190139321A1 (en) * | 2017-11-03 | 2019-05-09 | Samsung Electronics Co., Ltd. | System and method for changing a virtual reality environment dynamically |
Non-Patent Citations (2)
| Title |
|---|
| XIAOZHE YANG 等: "Which EEG feedback works better for creativity performance in immersive virtual reality: The reminder or encouraging feedback?", COMPUTERS IN HUMAN BEHAVIOR, 6 June 2019 (2019-06-06) * |
| 田丰 等: "虚拟现实设计中的本体元素与测量方法研究", 电子测量技术, vol. 43, no. 12, 30 June 2020 (2020-06-30) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024100850A1 (ja) * | 2022-11-10 | 2024-05-16 | 日本電信電話株式会社 | 可知覚化装置、可知覚化方法、および、可知覚化プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Genay et al. | Being an avatar “for real”: a survey on virtual embodiment in augmented reality | |
| Somarathna et al. | Virtual reality for emotion elicitation–a review | |
| CN110070944B (zh) | 基于虚拟环境和虚拟角色的社会功能评估训练系统 | |
| Bernal et al. | Emotional beasts: visually expressing emotions through avatars in VR | |
| Spanlang et al. | How to build an embodiment lab: achieving body representation illusions in virtual reality | |
| Kenwright | Virtual reality: Where have we been? where are we now? and where are we going? | |
| Frey et al. | Teegi: tangible EEG interface | |
| IL290002B1 (en) | Automatic control of a wearable display device based on external conditions | |
| CN112734946B (zh) | 一种声乐表演教学方法及系统 | |
| CN113903424A (zh) | 虚拟现实功能康复训练系统 | |
| CN113035000A (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练系统 | |
| Thalmann et al. | Virtual reality software and technology | |
| Zhang | Human-robot interaction in augmented virtuality: perception, cognition and action in 360◦ video-based robotic telepresence systems | |
| CN114283262B (zh) | 一种基于虚拟现实技术的沉浸式表演情感增强系统 | |
| JP7066116B2 (ja) | 人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラム | |
| CN114283262A (zh) | 一种基于虚拟现实技术的沉浸式表演情感增强系统 | |
| Mavridou | Affective state recognition in Virtual Reality from electromyography and photoplethysmography using head-mounted wearable sensors. | |
| Shumaker et al. | Virtual, Augmented and Mixed Reality: Designing and Developing Augmented and Virtual Environments: 6th International Conference, VAMR 2014, Held as Part of HCI International 2014, Heraklion, Crete, Greece, June 22-27, 2014, Proceedings, Part I | |
| KR20220116756A (ko) | 교감형 디지털 휴먼 튜터 생성 방법 및 시스템 | |
| Rakkolainen et al. | State of the Art in Extended Reality—Multimodal Interaction | |
| Magnenat-Thalmann et al. | Virtual reality software and technology | |
| Wirth et al. | Extended realities (XRs): how immersive technologies influence assessment and training for extreme environments | |
| Tesfazgi | Survey on behavioral observation methods in virtual environments | |
| Stanney et al. | 13 Interaction Design for | |
| Charles et al. | ECA control using a single affective user dimension |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |