CN112734946B - 一种声乐表演教学方法及系统 - Google Patents
一种声乐表演教学方法及系统 Download PDFInfo
- Publication number
- CN112734946B CN112734946B CN202110345912.2A CN202110345912A CN112734946B CN 112734946 B CN112734946 B CN 112734946B CN 202110345912 A CN202110345912 A CN 202110345912A CN 112734946 B CN112734946 B CN 112734946B
- Authority
- CN
- China
- Prior art keywords
- virtual
- learner
- vocal music
- dimensional
- performance teaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000001755 vocal effect Effects 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008451 emotion Effects 0.000 claims abstract description 105
- 230000000638 stimulation Effects 0.000 claims abstract description 64
- 238000012360 testing method Methods 0.000 claims abstract description 39
- 239000000463 material Substances 0.000 claims abstract description 36
- 230000001815 facial effect Effects 0.000 claims abstract description 15
- 230000004936 stimulating effect Effects 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000005516 engineering process Methods 0.000 claims description 23
- 230000002996 emotional effect Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 12
- 210000004556 brain Anatomy 0.000 claims description 12
- 230000008921 facial expression Effects 0.000 claims description 10
- 230000001965 increasing effect Effects 0.000 claims description 10
- 241000282414 Homo sapiens Species 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000001939 inductive effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims description 3
- 230000008450 motivation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 14
- 230000010354 integration Effects 0.000 abstract 1
- 210000000869 occipital lobe Anatomy 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 21
- 238000001228 spectrum Methods 0.000 description 19
- 210000003128 head Anatomy 0.000 description 15
- 230000007935 neutral effect Effects 0.000 description 14
- 210000003478 temporal lobe Anatomy 0.000 description 9
- 210000001652 frontal lobe Anatomy 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 5
- 230000036651 mood Effects 0.000 description 5
- 230000002360 prefrontal effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 101150004094 PRO2 gene Proteins 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种声乐表演教学方法及系统，教学方法通过以下过程实现：构建虚拟三维声乐表演教学环境场景模型，构建学习者模型；设计试验，利用虚拟现实场景刺激素材激发学习者产生不同的情绪，采集学习者的脑电信号；将学习者在未使用VR头显设备时声乐学习的脑电信号，与使用VR设备进行声乐学习后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整教学计划；涉及到的设备包括集成在VR头显设备中模型构建模块，学习者的面部图像捕捉模块，手部图像捕捉模块，装备集成度高，采用本发明提供的装备和方法进行教学，能明显提升学习效果。
Description
技术领域
本发明涉及计算机科学技术领域，尤其涉及一种声乐表演教学方法及设备。
背景技术
声乐表演艺术是声乐演唱和舞台表演相融合的一种综合性的艺术，其涵盖了声乐表演者演唱技巧、艺术处理、舞台表演等方面的内容。声乐表演教学的模式是指声乐教师在教学的过程中采取的有利于学生学习的教学形式和内容的教学策略体系。不同于音乐学科中的其他专业教学，声乐教学较为抽象，既看不见，摸不着，同时又需要从整体性知觉情景、互动能力、情绪活动状态和情感表现方式等理性层面去把控教学内容与模式设定。
然而，纵观高校声乐表演教学的发展史及现状，高校声乐表演教学多年来都延续着传统的“一对一”教学交往模式和“经验性示范与模仿”的教学方法，即“三个一”——一架钢琴，一个学生，一面镜子的教学模式。这种教学模式虽然经历了多年实践验证，存在一定的科学性和合理性，但也逐渐凸显出一些弊端。
通过访谈形式对高校师生进行调研，并对访谈进行记录收集，对收集的数据进行有效的分析可以看出，现有声乐教学模式，手段单一，方法简单，空间受限，学生在这样的学习场域学习容易产生紧张的心理，对声乐学习的兴趣逐渐被消磨，限制了学生学习思维的能动性和创造性。另一方面，在某些特殊的声乐教学课程中，传统教学方式存在着教学不够直观，耗时耗力；搭建舞台、布置场景，购买音响设备、灯光等，打造舞台效果，需要投入大量人力、物力、时间等，由此造成教学成本高的问题，进一步导致了学习者学习效率不高，学习效果不好。
VR，英文全称为Virtual Reality，即虚拟现实，简称VR。VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，从而使用户沉浸到该环境中。在实际应用中，VR技术可广泛的应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、水利电力、地质灾害、教育培训等众多领域。但在声乐表演教学领域应用较少，也没有相关VR在该领域应用成果的相关研究。
发明内容
解决上述技术问题，本发明的目的是提供了一种基于VR技术的声乐表演教学方法，有效解决了现有技术中传统的肢体运动传统教学方式教学不够直观，耗时耗力，教学成本高，且学习者学习效率不高，学习效果不好的问题。
本发明为一种声乐表演教学方法，其特征在于，包括如下步骤：
S1，构建虚拟三维声乐表演教学环境场景模型，构建学习者模型；
S2，学习者佩戴VR头显设备，在所述虚拟三维声乐表演教学环境场景中进行声乐学习、表演；
S3，图像采集设备捕捉学习者表演的图像信息，并将所述图像信息与所述虚拟三维声乐表演教学环境场景模型融合；
S4，设计试验，利用虚拟现实场景刺激素材激发学习者产生不同的情绪，采集学习者的脑电信号；
S5，将学习者在未使用VR头显设备时声乐学习的脑电信号，与使用VR头显设备进行声乐学习后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整虚拟三维声乐表演教学环境场景模型；
S5具体为：
S51，对想象情绪状态下和虚拟三维声乐表演教学环境场景刺激状态下的脑电数据进行预处理和分析，分别绘制了不同情绪下，不同音乐频段的脑电功率谱密度地形图；
S52，设定情绪变化导致脑电功率谱密度地形图的变化系数s，当s小于设定值时，调整虚拟三维声乐表演教学环境场景模型中的灯光、音效，具体调整为：在正面情绪未受到充分提升时，增加舞台灯光效果，选用更能够渲染正面情绪的灯光颜色组合，或者增加特效音效，来增强虚拟三维声乐表演教学环境场景模型对学习者的情绪刺激。
进一步的，S1中的所述虚拟三维声乐表演教学环境场景模型包括虚拟场景布置，所述虚拟场景布置包括舞台灯光、3D音乐音效、特效工具，以及虚拟麦克风、VR视频音频录制、VR全景相机拍摄、第三角度摄像机、智能语音、智能AI技术；
S1中的学习者模型包括创建学习者面部和/或肢体的虚拟画面。
进一步的，所述步骤S3具体为：
点阵投影器向人脸投射不可见的光点所组成点阵，通过红外镜头读取点阵图案，并与摄像头拍摄到的人脸进行联立计算，进而获得面部表情的深度信息，即真实的面部三维模型。
作为本申请的一种优选实施方式，所述步骤S3面部图像捕捉通过以下方法进行优化方法：
首先，预设素材库，所述素材库中包含图片、视频；
所述点阵投影器根据以下公式在不同光线下输出不同的结果：
其中，-σ为点阵投影器发射出来的光线、σ为红外镜头接收光线，
是设
定的光线条件，即明暗度，
为面部识别精度，(x,y)为点阵投影器对面部表情的
深度信息；1为素材库中的人脸图像，0为素材库中的人脸视频图像，2为现场采集的立体图
像。
进一步的，所述步骤S3具体为：
S31，通过图像采集设备，以及手部定位追踪器采集学习者手部的位置；
S32，根据手部的位置，确定手部在设定范围内，根据设定的手部动作规则，确认手部在虚拟三维声乐表演教学环境场景的动作；
S33，将手部动作的画面与虚拟三维声乐表演教学环境场景模型相融合，使其在虚拟三维声乐表演教学环境场景中能够被学习者实时观测。
更进一步的，所述步骤S4根据不同学习者的演唱水平、知识背景和生活经历，设定不同情绪的歌曲作为刺激素材，所述刺激素材包含诱发产生愉悦、平静、悲伤三种情绪的歌曲。
更进一步的，所述步骤S4中的试验具体包括：
步骤S41，被试者首先收听事先准备好的加有歌曲讲解的伴奏三分钟，接着演唱一分钟，演唱完毕后休息一分钟；
步骤S42，接着进行第二首歌曲，重复步骤S41中的流程；
步骤S43，同种情绪的歌曲全部试验完成后休息三分钟；
步骤S44，重复步骤S41至步骤S43中的试验流程，直至包含三种情绪的六首歌曲全部完成；
步骤S45，随后被试者开始佩戴VR设备，并观看歌曲相关的虚拟现实场景，同样以同种情绪为一组重复进行步骤S41至步骤S44的试验，直至全部完成。
更进一步的，所述步骤S5中，根据得到的结果调整虚拟三维声乐表演教学环境场景模型，具体指：
观察脑电功率谱密度地形图，得到使用VR设备进行声乐学习后刺激被试者导致情绪变化大的频段，以及得到变化大的脑区部位，最终得到选用教学手段的结论，即在表达特定情绪的歌曲选用特定的教学方式。
作为本申请的一种优选实施方式，所述步骤S5得到以下结论：
使用VR设备进行声乐学习后，情绪变化反映在δ和θ频段；变化的脑区为前额叶、颞叶和枕叶；在教学δ和θ频段的歌曲作品时，优先选择使用VR设备进行声乐教学。
本申请还提供一种声乐表演教学系统，其特征在于，所述系统包括虚拟三维声乐表演教学环境场景模型构建模块，学习者模型构建模块；所述虚拟三维声乐表演教学环境场景模型构建模块用于生成声乐教学人机沉浸式交互的虚拟场景；
所述学习者模型构建模块用于生成各学习者的仿真人物模型，结合面部图像捕捉模块和/或手部图像捕捉模块实现学习者与虚拟三维声乐表演教学环境场景的实时交互；
还包括学习者的面部图像捕捉模块，手部图像捕捉模块，所述面部图像捕捉模块、手部图像捕捉模块用于获取学习者面部的图像信息，以及手部的图像信息，并发送给处理器，经图像融合处理后发送给VR头显设备；
脑电信号采集及分析模块，所述脑电信号采集及分析模块将学习者使用VR头显设备进行声乐学习前后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整虚拟三维声乐表演教学环境场景模型；
所述根据得到的结果调整虚拟三维声乐表演教学环境场景模型具体为：
对想象情绪状态下和虚拟三维声乐表演教学环境场景刺激状态下的脑电数据进行预处理和分析，分别绘制了不同情绪下，不同音乐频段的脑电功率谱密度地形图；
设定情绪变化导致脑电功率谱密度地形图的变化系数s，当s小于设定值时，调整虚拟三维声乐表演教学环境场景模型中的灯光、音效，具体调整为：在正面情绪未受到充分提升时，增加舞台灯光效果，选用更能够渲染正面情绪的灯光颜色组合，或者增加特效音效，来增强虚拟三维声乐表演教学环境场景模型对学习者的情绪刺激。
进一步的，所述面部图像捕捉模块包括点阵投影器、红外镜头以及摄像头，所述点阵投影器向人脸投射不可见的光点所组成点阵，通过红外镜头读取点阵图案，并与摄像头拍摄到的人物画面相融合，形成VR头显中的图像。
进一步的，所述手部图像捕捉模块包括图像采集设备，以及手部定位追踪器。
与现有技术相比，本发明提供一种声乐表演教学方法至少具有以下有益效果：
1、基于VR技术为学习者提供了沉浸式的学习氛围和学习环境，学生投入性强，在声乐教学方面取得了非常好的效果；
2、在VR建模的过程中，采用了优化的画面算法，避免了现有VR人物显示表情生硬、不自然，使人物模型更生动，更真实；
3、通过教学APP实现了在线教学，在不方便进行面授课程时，仍然能够完成教学计划，尤其在疫情严重的特殊时期也能为学生、老师提供教学条件；
4、通过采集学习者的脑电数据，得到一套关于声乐教学的优化方法，即在哪些音乐的教学中更适合用面授课，哪些更适合采用VR教学方式；
5、提供了一套教学系统，该教学系统涉及的硬件全部集成在VR头显设备中，方便学生、老师使用。
附图说明
为了更清楚地说明本发明中的技术方案，下面将对本发明中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其它附图。
图1为舞台系统设置界面示意图；
图2为舞台模型建模界面示意图；
图3为多人实时协同虚拟排演界面示意图；
图4为虚拟在线学习系统界面示意图；
图5为声乐练习评分考核流程图；
图6为舞台场景模型示意图；
图7为学习者面部模型图；
图8为面部捕捉后的效果图；
图9为手势识别示意图；
图10为多视角相机效果示意图；
图11为试验系统示意图；
图12为试验流程图；
图13为δ频段负向情绪VR刺激前后地形图；
图14为δ频段中性情绪VR刺激前后地形图；
图15为δ频段正向情绪VR刺激前后地形图；
图16为θ频段负向情绪VR刺激前后地形图；
图17为θ频段中性情绪VR刺激前后地形图；
图18为θ频段正向情绪VR刺激前后地形图；
图19为α频段负向情绪VR刺激前后地形图；
图20为α频段中性情绪VR刺激前后地形图；
图21为α频段正向情绪VR刺激前后地形图；
图22为β频段负向情绪VR刺激前后地形图；
图23为β频段中性情绪VR刺激前后地形图；
图24为β频段正向情绪VR刺激前后地形图；
图25为γ频段负向情绪VR刺激前后地形图；
图26为γ频段中性情绪VR刺激前后地形图；
图27为γ频段正向情绪VR刺激前后地形图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合说明书附图对本发明的实施方式做进一步地详细叙述。
通过虚拟现实技术，实现一种声乐教学人机沉浸式交互系统、情境式虚拟场景及高仿真人物模型，展示虚拟现实技术在声乐教学方面的创新型实践运用。构建一套高仿真度、多感知维度的虚拟现实系统：创建多模态场景模型，建立完善的数据传输机制，并针对场景模型进行必要的优化处理；利用点阵技术精准模拟面部表情，借助投屏传输互动技术对虚拟角色进行实时绑定；配合定位追踪技术细化虚拟角色的手势动作，并在虚拟相机多视角的记录下完成关键数据的保存。经实践证明，该系统激发学生内在体验、舞台临场、情景代入等多种感知体验，从而有针对性地解决学生学习过程中的演唱情感体验与表达等问题，具有较强的实践应用价值。
实施例1
本实施例提供一种声乐表演教学方法，包括如下步骤：
S1，构建虚拟三维声乐表演教学环境场景模型，构建学习者模型；
S2，学习者佩戴VR头显设备，使所述学习者位于场景中的设定位置，在所述虚拟三维声乐表演教学环境场景中进行声乐学习、表演；
S3，图像采集设备捕捉学习者表演的图像信息，并将所述图像信息与所述虚拟三维声乐表演教学环境场景模型融合；
S4，设计试验，利用虚拟现实场景刺激素材激发学习者产生不同的情绪，采集学习者的脑电信号；
S5，将学习者在未使用VR头显设备时声乐学习的脑电信号，与使用VR设备进行声乐学习后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整虚拟三维声乐表演教学环境场景模型或采取其他方式进一步提升教学效果。
S1、声乐表演虚拟仿真教学试验平台交互系统的构建
运用虚拟现实技术构建一处全新的虚拟空间，如沉浸式声乐表演舞台，让参与者拥有全方位的沉浸体验，达到与真实外界隔离的效果，使参与者化身为虚拟角色，全身心投入到教学相关的启发式、体验式教学活动中。该虚拟仿真平台硬件设备主要系统包括头戴式显示系统，数据手套互设备及声音采样设备，Insta360 pro2，远程多人传输设备系统等。该虚拟仿真平台软件主要系统基于Unity引擎编辑软件和720vr平台，Utovr视频传输软件系统等。
1素材及其准备系统
1.1多功能舞台设置系统
基础功能有场景道具布置，舞台灯光设置，3D音乐音效设置，特效创意工具，结合图像增稳输出、虚拟麦克风、VR视频音频录制、VR全景相机拍摄、第三角度摄像机输出、虚拟仿真资源存储及调取等教学功能外，智能语音、智能AI等技术，“所见即所得”地对舞台模块和布景道具的运动进行实时预览，将二维世界的静态舞台艺术形式提升至高维度的动态交互空间，VR+舞台表演，让学生身临其境，如置身于真实舞台场景中或歌曲内容场景中进行演唱实践与学习。（见图1）
1.2素材库的获取制作与存储系统
通过MAYA三维建模软件及AE特效软件来进行模型、动画、特效组建。运用诺亦腾动作捕捉系统及Leap motion手势识别系统来创造精准、自然的动作交互素材，如：手、身体及面部表情。将获得最初的动态三维模型素材和运动状态数据，对运动数据进行提取、检测与处理，继而进行转存和传输。存储系统基于Mysql或SQL Server，支持PC、移动终端访问。老师和学生可以实时提取素材库内预设的场景道具、人物角色动作、背景音乐素材、舞台灯光等，在虚拟现实环境中调用。学生和老师也可以自行制作素材库里的素材，逐步丰富和完善素材库。（见图2）
本实施例基于以下虚拟现实声乐表演舞台来说明具体的VR场景优化方法：
1. 模型的创建方法
模型在虚拟现实的制作及体验过程中至关重要。模型的结构准确性、面片分配状况、精度等问题将直接影响虚拟现实的仿真程度与交互程度。
1.1场景模型
以某T型舞台场景为例，其主要制作方法为以下3个步骤：
1）首先，利用3ds Max中样条线编辑创建3000cm(长)×2200cm(宽)×1000cm(高)的T型舞台，将其转换为多边形编辑，将各个顶点焊接为整体，以便于后续对各个边界布线连接；
2）其次，利用网格布线对整体模型的细节进行处理，配合连接、挤出、倒角、插入等功能细化舞台模型的局部结构，对于舞台中心地面、背景、延长台上的造型可以通过独立建模后再对其进行整体的桥接处理；
3）最后，利用几何放样配合多边形编辑，对舞台周边的观众席、顶部灯架等辅助模型进行创建，建模过程中可以利用镜像、复制简模的手段为主，逐渐丰富好整体场景，如图6。
1.2角色模型
角色模型应在盒体元素下创建，利用多边形编辑对角色面部、肢体进行整体布线，以四边形布线为主，尽量确保在面部五官、肢体关节等需要虚拟现实动画运动的区域重点布线，细化结构关系，在一些不参与动画运动的区域可以通过塌陷、面片合并等手段对模型面数进行有效控制，如图7所示。将模型中无法避免的三角形布线放置在角色不参与动画计算的隐蔽区域，避免模型在虚拟现实的动画过程中出现面片褶皱等不利现象。
S3、模型的优化方法
将模型整体导入Unity3D中，设置预览虚拟现实的帧率FPS帧率为70~90,在引擎中检测好模型面片的法线、顶点闭合情况，并在蓝图接口处，通过代码植入的方式对场景的细微局部进行二次优化，以满足模型的几何分割、空间坐标、面片处理、渲染烘焙等几个方面的优化工作，其程序设计如下：
int main(int,char**){
osgProducer::Viewer viewer;//创建一个场景
viewer.setUPViewer():
//加载osga地形模型到节点变量中
osg::Node* node=osgDB::readNodefile(“Wutai.osga”):
viewer.setSceneData(node);//加载模型到场景中
//进入渲染循环
viewer.realize();
while(!viewer.done()){
viewer.sync();//等待所有cull和draw线程的完成
viewer.update();//通过遍历节点更新场景
viewer.frame();//渲染更新结果
}
viewer.sync();//退出程序前等待所有cull和draw线程的完成
return;
}
S3、图像采集设备捕捉学习者表演的图像信息，并将所述图像信息与所述虚拟三维声乐表演教学环境场景模型融合；
本实施例提供的方案可捕捉学习者的面部情况、手势情况或肢体其他动作情况，现以面部捕捉以及手势捕捉的技术做具体介绍：
面部捕捉的方法指使用机械装置、相机等设备记录人类面部表情和动作，将之转换为一系列参数数据的过程。当今技术比较成熟，应用广泛的是光学式运动捕捉，通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。
由于系统采用的结构光原理，需要通过向面部方向投射光线，再利用读取物体表面光照信息数据来确定人脸形状。为此，在选择面部采集设备时，除了需要配置距离传感器、话筒、前置摄像头外，还需要满足具备依序排列的红外镜头、泛光照明灯、泛光感应元件及点阵投影器。通常情况下，点阵投影器可以向人脸投射3万多个肉眼不可见的光点所组成的点阵，需要通过红外镜头读取点阵图案，并与前置摄像头拍摄到的人脸进行联立计算，进而获得面部表情的深度信息，即真实的面部三维模型，联立计算需要搭建的4个数据接口分别为：
IFTFaceTracker ：人脸追踪主要接口。
IFTResult：人脸追踪运算结果。
IFTImage ：图像缓冲区。
IFTModel ：三维人脸模型。
联立计算需要重点获取的数据信息分别为：
FT_CAMERA_CONFIG：彩色或深度传感器数据。
FT_VECTOR2D：二维向量数据。
FT_VECTOR3D：三维向量数据。
FT_Translate（X Y Z）：所有用于人脸追踪所需的输入数据。
FT_Rotate（X Y Z）：三维模型人脸角度数据。
FT_Scale（X Y Z）：权重矩阵数据，如图8所示。
本实施例提供一种三维的成像方案，与通过二维图像进行面部捕捉的方法相比，Tj 的人脸识别精度在0.1mm，能够超过图像2、视频1及平面0。当光线条件Ri不够理想时，由点阵投影器发射出来的光线-σ、接收光线σ这种主动获取面部信息的方法，也不会影响 Tj的识别效率，其面部捕捉系统的优化方法可以改变如下：
所述点阵投影器根据以下公式在不同光线下输出不同的结果：
其中，-σ为点阵投影器发射出来的光线、σ为红外镜头接收光线，
是设
定的光线条件，即明暗度，
为面部识别精度，(x,y)为点阵投影器对面部表情的
深度信息；1为素材库中的人脸图像，0为素材库中的人脸视频图像，2为现场采集的立体图
像。
光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。
第二，手势捕捉的方法，手势捕捉是虚拟现实中的技术难点，手势是一种人类的基本特征，是人际交往过程中不可缺少的一部分。手势识别技术的发展，为人与机器或其他设备的交互提供了可能。根据手势在时间和空间上的差异，手势可分为静态手势和动态手势，对静态手势的研究主要考虑手势的位置信息，而研究动态手势除了要考虑手势空间位置变化，还需要考虑手势在时序中的变化规律。随着科技的发展，对手势识别技术的研究已经成为热口课题，基于手势识别技术的应用也开始渗透到人们生活的方方面面，这是一项技术走向成热的标志。同时，手势识别技术无论是在手势样本的采集，还是手势设计上都有自己的优势，手势识别的深入研究有着很重要的意义。
手势捕捉需要通过演唱者戴着虚拟头显设备Oculus quest2，虚拟头显设备上有6各摄像头，以及手部定位追踪器与电脑进行相连。之后，在头显设备的前端再安装深度感应相机，且向下倾斜13.4°，以此使演唱者可以从虚拟现实的体验过程中实时观测到自己的双手，及时跟踪自己的指尖的变化，其手势从左到右依次为：向后、停止、向前。若指尖位置在零坐标静止区域区(zc)内，则无法产生运动；当指尖向前伸出至静止区域以外时，则被试运动速度的红色进度条会随指尖距离产生线性增加，当手指关节朝向另一个方向移动，且朝向掌心向下时，移动到静止区以外，红色进度条会向后产生微妙的运动。具体表现为一种手掌的自然伸缩变化的过程，该过程是以演唱者右手食指远端到手掌中心的距离以mm为单位，根据每人手掌尺寸按比例扩大2.74倍，以此减少在手指弯曲时所带来的噪波，其设置参数如下：
1）β--beta coefficient，β表示斜率系数= 速度/γ（表示食指指尖到静止区边界的距离），向前运动γ=(position×2.74)−(zc+dzw)，向后运动γ=(zc−dzw)−(position×2.74)。
2）静止区--dead zone，在试验开始时，当测试者把他们的手放在一个放松的、轻轻弯曲的，当手指处于舒适的位置时，就可以确定手势的零静止位置，如图9所示。
3)α--exponent-velocity=(β×γ)^α，当一个参数发生改变时，其他参数固定在他们的中间值。例如，β=21 m/s，dzw =25mm，α=1.0，三个参数的测试顺序依次为系数、静止区宽度、指数α。
5 .多视角相机建立的方法
为了更好地提高虚拟现实相机的稳定性，也为了使使演唱者能够从多个摄像机角度审视自己在虚拟空间中的动作与面部表情的综合表现，需要对虚拟现实的程序底层进行必要的优化，虚拟相机的工作采样时通过三层构图实时计算，三层构图分为近景、中景与远景，来优化在移动中的掉帧、卡顿、性能低下等相关问题，这些问题在表现层上表现极为明显，当构图处于第一层（我们称之为近景）那么此时就不渲染2、3层，当构图处于第二层是（我们称之为中景）那么此时不渲染1、3层，当构图处于第三层（我们称之为远景）那么测试不渲染1、2层；其代码修改如下：
Camera _camera;
// Use this for initialization
void Start ()
｛
_camera = Camera.main;
｝
//unity前3个锁定，由低到高分别是nothing/everything/default/transparentFX/ignore raycast/water/UI
//从第1个到第3个可以自己设置
//第1个为cube层；第2个为sphere层；第3个为capsule层
void Update ()
｛
if (Input.GetKeyDown(KeyCode.A))
｛
_camera.cullingMask = 1<<1; //cube 只渲染第1个
｝
if (Input.GetKeyDown(KeyCode.B))
｛
_camera.cullingMask = 1<<2; //sphere 只渲染第2个
｝
if (Input.GetKeyDown(KeyCode.S))
｛
_camera.cullingMask = 1<<3; //capsule 只渲染第3个
｝
通过上述方法，可以观察出多视角相机的稳定性非常理想，便于后续对演唱者的表现进行定量分析，如图10所示。
S4、设计试验，利用虚拟现实场景刺激素材激发学习者产生不同的情绪，采集学习者的脑电信号
1、设计试验
为采集不同歌唱水平的参与者在不同情绪下的脑电信号，设计相关试验，利用虚拟现实场景刺激素材激发参与者产生不同的情绪，并采集参与者VR刺激前与刺激后的脑电信号。通过对脑电信号的的分析处理，选择合适算法，探究参与者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响。同时，通过对脑电信号的分析，探究不同歌唱水平的参与者在不同情绪演唱时，脑电信号是否存在固定模式，为声乐表演虚拟仿真教学模式提供试验依据。将声乐表演教学研究置于VR声乐教学智慧学习环境平台的实践应用中。
试验所选取的材料能否很好的使参与者产生目标情绪与歌唱状态是试验能否成功的关键。只有采集到足够的在虚拟现实场景刺激前后的脑电信号，我们才能分析不同歌唱水平的参与者在不同情绪下的歌唱状态是否有所不同。本次试验中，为了使所选择的素材能够起到较为理想的诱发效果，同时考虑到被试者的演唱水平、知识背景和生活经历，我们采用6首，包含3种不同情绪的中文歌曲作为刺激素材。由于试验条件与时间有限，所选取的刺激材料要在短时间内能够很好的诱发参与者情绪，且使情绪稳定保持在歌曲演唱完成之后，以确保在有限的时间内采集到足够的有效数据。
本次试验中，刺激素材被设计诱发产生愉悦、平静、悲伤三种情绪。
由于本次试验的参与者，均是以中文为母语的不同歌唱水平的人，所以对于中文歌曲的接受度更高，且情绪更易被诱发。在确定两种较为极端的情绪后，加入中性情绪的歌曲，可以使参与者在愉悦和悲伤的情绪转换时能够有一个缓冲、过渡的时间，使得每段情绪下的数据更加明确，同时可以缓解参与者情绪紧绷，疲劳的情况。素材选择的多样化促进情绪识别的多样化。在诱发素材的选择上，为了能够更好的引起参与者的共鸣，大多为大家耳熟能详且具有代表性的歌曲。对于正面情绪，我们选择《我和我的祖国》、《在希望的田野上》这种使人感到情绪激昂、愉悦的歌曲；对于中性情绪，我们选择《牧歌》、《贝加尔湖畔》这种使人感到平静、放松的歌曲；对于负面情绪，我们选择《时间都去哪了》、《烛光里的妈妈》这种煽情的歌曲。
2、参与者情况
本次试验中，160名音乐表演专业学生参与了试验。在试验开始之前，检查参与者是否处于良好生理状态（疾病，疼痛，饥饿，睡眠缺少）；是否处于良好心理状态（情绪平稳，无压力感）；是否有过脑部创伤、是否进行过脑部手术。并按不同声乐演唱水平和男女性别划分小组，分别为4人/组，共4组。试验开始前，告知其本次试验的目的、试验流程以及所有设备的无害性，通过简单的交谈与了解，掌握参与者平时的歌唱习惯，确保参与者能够理解刺激素材内容。
3、试验环境及设备选择
为了保证试验过程中，参与者能够不被打扰并处在一个相对安静且密闭，温度适宜的环境中，我们选择在录音棚进行该试验。试验场景见图11，整个试验环境中所需使用的三个主要设备是：博睿康脑电系统，收集参与者脑电数据；Oaclas quest 2 VR头戴设备，为参与者提供虚拟现实环境，通过VR头戴设备以及手柄进行交互，使用steam串流技术， 将处在5G频段网络内的VR设备和手机进行无线数据传输，可以实时以穿戴VR设备者的视角进行观察；计算机通过不同插件与信号设备进行通讯，同步保存相应的生理数据（如图11）。
4、试验流程
试验流程如图12所示，主要分为以下几个步骤：
试验开始前，告知被试者具体试验流程、签署试验知情同意书以及佩戴脑电帽。
试验过程中，被试者首先收听事先准备好的加有歌曲讲解的伴奏约三分钟，接着起身演唱约一分钟，演唱完毕后休息一分钟，接着进行第二首歌曲，重复以上流程，同种情绪的歌曲全部试验完成后，被试者填写自评表，填写完毕后休息三分钟。以上流程重复，直至三种情绪，六首歌曲全部完成。随后被试者开始佩戴VR设备，并观看实现准备好的歌曲相关的虚拟现实场景，同样以同种情绪为一组重复进行上述试验，直至全部完成。
试验结束后，对被试者进行采访，留存试验相关数据及资料。
S5，将学习者在未使用VR头显设备时声乐学习的脑电信号，与使用VR设备进行声乐学习后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整虚拟三维声乐表演教学环境场景模型或采取其他方式进一步提升教学效果。
1、脑电数据地形图
我们对想象情绪状态下和VR场景刺激状态下的脑电数据进行了预处理和分析，分别绘制了三种情绪下，五个频段（δ：1-4HZ，θ：4-8HZ，α：8-13HZ，β：13-30HZ，γ：30-45HZ）的脑电功率谱密度地形图。地形图如图13到27所示（已进行归一化）。
图13为δ频段负向情绪VR刺激前后地形图，在负向情绪方面，δ频段的差异主要在前额叶和枕叶，VR刺激会导致更高的功率谱。
图14为δ频段中性情绪VR刺激前后地形图，在中性情绪方面，δ频段的差异主要在额叶和枕叶，VR刺激会导致更高的功率谱。
图15为δ频段正向情绪VR刺激前后地形图，在正向情绪方面，δ频段的差异主要在右侧额叶、右侧颞叶和枕叶，VR刺激会导致更高的功率谱。
图16为θ频段负向情绪VR刺激前后地形图，在负向情绪方面，θ频段的差异主要在前额叶和左侧枕叶，VR刺激会导致更高的功率谱。
图17为θ频段中性情绪VR刺激前后地形图，在中性情绪方面，θ频段的差异主要在前额叶和枕叶，VR刺激在前额叶会导致更高的功率谱，在枕叶会减小功率谱。
图18为θ频段正向情绪VR刺激前后地形图，在正向情绪方面，θ频段的差异主要在前额叶和枕叶，VR刺激会导致更高的功率谱。
图19为α频段负向情绪VR刺激前后地形图，在负向情绪方面，α频段的差异主要在枕叶，VR刺激会导致更高的功率谱。
图20为α频段中性情绪VR刺激前后地形图，在中性情绪方面，α频段的差异主要在前额叶和右侧枕叶，VR刺激会导致更高的功率谱。
图21α频段正向情绪VR刺激前后地形图，在正向情绪方面，α频段的差异主要在前额叶和枕叶，VR刺激在前额叶会导致更高的功率谱，在枕叶会减小功率谱。
图22为β频段负向情绪VR刺激前后地形图，在负向情绪方面，β频段的差异主要在枕叶和颞叶，VR刺激会导致更高的功率谱。
图23为β频段中性情绪VR刺激前后地形图，在中性情绪方面，β频段的差异主要在前额叶、枕叶和颞叶，VR刺激在前额叶和颞叶会导致更高的功率谱，在枕叶会减小功率谱。
图24为β频段正向情绪VR刺激前后地形图，在正向情绪方面，β频段的差异主要在前额叶和左侧枕叶，VR刺激会导致更高的功率谱。
图25为γ频段负向情绪VR刺激前后地形图，在负向情绪方面，γ频段的差异主要在左侧额叶、枕叶和颞叶，VR刺激会导致更高的功率谱。
图26为γ频段中性情绪VR刺激前后地形图，在中性情绪方面，γ频段的差异主要在额叶、枕叶和颞叶，VR刺激在前额叶、左侧枕叶和颞叶会导致更高的功率谱，在右侧枕叶会减小功率谱。
图27为γ频段正向情绪VR刺激前后地形图，在正向情绪方面，γ频段的差异主要在左侧前额叶和左侧枕叶，VR刺激会导致更高的功率谱。
从脑电地形图可以观察到，VR前后情绪刺激的变化主要反映在δ和θ频段，α、β和γ频段也有部分差异；变化的脑区主要是前额叶、颞叶和枕叶，顶叶和顶枕区域也有部分差异。在多数频段和脑区中，VR刺激会导致更高的大脑激活，从而得到更高的功率谱密度，但在少数情况下，VR刺激抑制部分区域的大脑激活，从而导致较低的功率谱密度。
通过以上教学试验得到以下结论：
使用VR设备进行声乐学习后，情绪变化反映在δ和θ频段；变化的脑区为前额叶、颞叶和枕叶；在教学δ和θ频段的歌曲作品时，优先选择使用VR设备进行声乐教学。
设定情绪变化导致脑电地形图的变化系数s，当s小于设定值时，调整VR虚拟三维声乐表演教学环境场景模型中的灯光、音效等VR效果，如在正面情绪未受到充分提升时，增加舞台灯光效果，选用更能够渲染正面情绪的灯光颜色组合，或者增加特效音效，来增强虚拟三维声乐表演教学环境场景模型对学习者的情绪刺激。
实施例2
基于上述声乐表演教学方法本申请还提供其配套的线上教学系统软件部分，其包含：
2.1远程多人实时协同排演系统
基于广域互联网的远程多人协同系统，打破了传统制约教学应用发展的空间以及人数限制。得益于5G高速率，低延迟的特点，老师、学生和钢琴或乐队伴奏将可以异地实时共享本套系统。（见图3）
2.2在线教学系统
在VR虚拟环境中，老师可创建一对一单独房间，也可以创建一对多的房间，可设置是否旁观、静音、按序发言、锁定房间等功能，通过多人语音、多人视频数据传输模式进行在线教学。实现多媒体声乐资源库的建立，学生可随时调取多媒体学习资源，实现线上个性化自主化学习模式。（见图4）
2.3评分评价考核系统
通过自定义编译的评分评价考核系统，可以对学生课后平时的学习过程进行有效的跟踪及分析，学生在平台中录制音频和视频，上传云服务器，老师从云服务器下载后并及时给予有效的反馈和改进建议。（见图5）该考核系统具备用户身份管理、能提供用户认证和授权等级识别等管理功能，以及病毒防御功能，教师可发布公告，学习资源，新建任务，自定义考核时间，支持学生内部讨论、上传和发布作品等。
通过该教学APP实现了在线教学，在不方便进行面授课程时，仍然能够完成教学计划，尤其在疫情严重的特殊时期也能为学生、老师提供教学条件。
实施例3
实施例提供声乐表演教学系统的硬件组成，所述系统包括虚拟三维声乐表演教学环境场景模型构建模块，学习者模型构建模块；所述虚拟三维声乐表演教学环境场景模型构建模块用于生成声乐教学人机沉浸式交互的虚拟场景；
所述学习者模型构建模块用于生成各学习者的仿真人物模型，结合面部图像捕捉模块和/或手部图像捕捉模块实现学习者与虚拟三维声乐表演教学环境场景的实时交互。
本系统可选配学习者的面部图像捕捉模块，手部图像捕捉模块，所述面部图像捕捉模块、手部图像捕捉模块用于获取学习者面部的图像信息，以及手部的图像信息，并发送给处理器，经图像融合处理后发送给VR头显设备。
所述面部图像捕捉模块包括点阵投影器、红外镜头以及摄像头，所述向点阵投影器人脸投射不可见的光点所组成点阵，通过红外镜头读取点阵图案，并与摄像头拍摄到的人物画面相融合，形成VR头显中的图像。
所述手部图像捕捉模块包括图像采集设备，以及手部定位追踪器。
上述系统中的硬件设备、软件程序（包含教学系统软件）都集成于VR头显设备中，该教学系统涉及的硬件全部集成在VR头显设备中，方便学生、老师使用。
总的来说，对于虚拟教学技术的发展和虚拟仿真试验平台的推广，大部分的学生都抱有积极的态度，在今后的声乐虚拟教学模式的研发和普及中应侧重于对解决学生自身学习问题这一方面，更好的激发学生的学习热情和积极性。
上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种声乐表演教学方法，其特征在于，包括如下步骤：
S1，构建虚拟三维声乐表演教学环境场景模型，构建学习者模型；
S2，学习者佩戴VR头显设备，在所述虚拟三维声乐表演教学环境场景中进行声乐学习、表演；
S3，图像采集设备捕捉学习者表演的图像信息，并将所述图像信息与所述虚拟三维声乐表演教学环境场景模型融合；
S4，设计试验，利用虚拟现实场景刺激素材激发学习者产生不同的情绪，采集学习者的脑电信号；
S5，将学习者在未使用VR头显设备时声乐学习的脑电信号，与使用VR头显设备进行声乐学习后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整虚拟三维声乐表演教学环境场景模型；
S5具体为：
S51，对想象情绪状态下和虚拟三维声乐表演教学环境场景刺激状态下的脑电数据进行预处理和分析，分别绘制了不同情绪下，不同音乐频段的脑电功率谱密度地形图；
S52，设定情绪变化导致脑电功率谱密度地形图的变化系数s，当s小于设定值时，调整虚拟三维声乐表演教学环境场景模型中的灯光、音效，具体调整为：在正面情绪未受到充分提升时，增加舞台灯光效果，选用更能够渲染正面情绪的灯光颜色组合，或者增加特效音效，来增强虚拟三维声乐表演教学环境场景模型对学习者的情绪刺激。
2.根据权利要求1所述的一种声乐表演教学方法，其特征在于，S1中的所述虚拟三维声乐表演教学环境场景模型包括虚拟场景布置，所述虚拟场景布置包括舞台灯光、3D音乐音效、特效工具，以及虚拟麦克风、VR视频音频录制、VR全景相机拍摄、第三角度摄像机、智能语音、智能AI技术；
S1中的学习者模型包括创建学习者面部和/或肢体的虚拟画面。
3.根据权利要求1所述的一种声乐表演教学方法，其特征在于，所述步骤S3具体为：
点阵投影器向人脸投射不可见的光点所组成点阵，通过红外镜头读取点阵图案，并与摄像头拍摄到的人脸进行联立计算，进而获得面部表情的深度信息，即真实的面部三维模型。
4.根据权利要求3所述的一种声乐表演教学方法，其特征在于，
所述步骤S3面部图像捕捉通过以下方法进行优化方法：
首先，预设素材库，所述素材库中包含图片、视频；
所述点阵投影器根据以下公式在不同光线下输出不同的结果：
其中，-σ为点阵投影器发射出来的光线、σ为红外镜头接收光线，
是设定的
光线条件，即明暗度，
为面部识别精度，(x,y)为点阵投影器对面部表情的深度
信息；1为素材库中的人脸图像，0为素材库中的人脸视频图像，2为现场采集的立体图像。
5.根据权利要求1所述的一种声乐表演教学方法，其特征在于，所述步骤S3具体为：
S31，通过图像采集设备，以及手部定位追踪器采集学习者手部的位置；
S32，根据手部的位置，确定手部在设定范围内，根据设定的手部动作规则，确认手部在虚拟三维声乐表演教学环境场景的动作；
S33，将手部动作的画面与虚拟三维声乐表演教学环境场景模型相融合，使其在虚拟三维声乐表演教学环境场景中能够被学习者实时观测。
6.根据权利要求1所述的一种声乐表演教学方法，其特征在于，所述步骤S4根据不同学习者的演唱水平、知识背景和生活经历，设定不同情绪的歌曲作为刺激素材，所述刺激素材包含诱发产生愉悦、平静、悲伤三种情绪的歌曲。
7.根据权利要求1所述的一种声乐表演教学方法，其特征在于，
所述步骤S4中的试验具体包括：
步骤S41，被试者首先收听事先准备好的加有歌曲讲解的伴奏三分钟，接着演唱一分钟，演唱完毕后休息一分钟；
步骤S42，接着进行第二首歌曲，重复步骤S41中的流程；
步骤S43，同种情绪的歌曲全部试验完成后休息三分钟；
步骤S44，重复步骤S41至步骤S43中的试验流程，直至包含三种情绪的六首歌曲全部完成；
步骤S45，随后被试者开始佩戴VR设备，并观看歌曲相关的虚拟现实场景，同样以同种情绪为一组重复进行步骤S41至步骤S44的试验，直至全部完成。
8.根据权利要求1所述的一种声乐表演教学方法，其特征在于，所述步骤S5中，根据得到的结果调整虚拟三维声乐表演教学环境场景模型具体指：
观察脑电功率谱密度地形图，得到使用VR设备进行声乐学习后刺激被试者导致情绪变化大的频段，以及得到变化大的脑区部位，最终得到选用教学手段的结论，即在表达特定情绪的歌曲选用特定的教学方式。
9.一种声乐表演教学系统，其特征在于，所述系统包括虚拟三维声乐表演教学环境场景模型构建模块，学习者模型构建模块；所述虚拟三维声乐表演教学环境场景模型构建模块用于生成声乐教学人机沉浸式交互的虚拟场景；
所述学习者模型构建模块用于生成各学习者的仿真人物模型，结合面部图像捕捉模块和/或手部图像捕捉模块实现学习者与虚拟三维声乐表演教学环境场景的实时交互；
还包括学习者的面部图像捕捉模块，手部图像捕捉模块，所述面部图像捕捉模块、手部图像捕捉模块用于获取学习者面部的图像信息，以及手部的图像信息，并发送给处理器，经图像融合处理后发送给VR头显设备；
脑电信号采集及分析模块，所述脑电信号采集及分析模块将学习者使用VR头显设备进行声乐学习前后的脑电信号进行对比，得到学习者在虚拟现实场景刺激下所产生的不同情绪对于歌唱状态的影响程度，根据得到的结果调整虚拟三维声乐表演教学环境场景模型；
所述根据得到的结果调整虚拟三维声乐表演教学环境场景模型具体为：
对想象情绪状态下和虚拟三维声乐表演教学环境场景刺激状态下的脑电数据进行预处理和分析，分别绘制了不同情绪下，不同音乐频段的脑电功率谱密度地形图；
设定情绪变化导致脑电功率谱密度地形图的变化系数s，当s小于设定值时，调整虚拟三维声乐表演教学环境场景模型中的灯光、音效，具体调整为：在正面情绪未受到充分提升时，增加舞台灯光效果，选用更能够渲染正面情绪的灯光颜色组合，或者增加特效音效，来增强虚拟三维声乐表演教学环境场景模型对学习者的情绪刺激。
10.根据权利要求9所述的一种声乐表演教学系统，其特征在于，所述面部图像捕捉模块包括点阵投影器、红外镜头以及摄像头，所述点阵投影器向人脸投射不可见的光点所组成点阵，通过红外镜头读取点阵图案，并与摄像头拍摄到的人物画面相融合，形成VR头显中的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110345912.2A CN112734946B (zh) | 2021-03-31 | 2021-03-31 | 一种声乐表演教学方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110345912.2A CN112734946B (zh) | 2021-03-31 | 2021-03-31 | 一种声乐表演教学方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734946A CN112734946A (zh) | 2021-04-30 |
| CN112734946B true CN112734946B (zh) | 2021-07-30 |
Family
ID=75596211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110345912.2A Expired - Fee Related CN112734946B (zh) | 2021-03-31 | 2021-03-31 | 一种声乐表演教学方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734946B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113758506B (zh) * | 2021-08-31 | 2023-09-12 | 天津大学 | 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 |
| CN114115523B (zh) * | 2021-10-15 | 2024-04-02 | 苏州金螳螂文化发展股份有限公司 | 一种动静结合的沉浸式场景展示系统 |
| CN114384998A (zh) * | 2021-11-12 | 2022-04-22 | 南京邮电大学 | 一种基于脑电信号的智能化情绪状态识别与调节方法 |
| CN115376371A (zh) * | 2022-08-17 | 2022-11-22 | 江苏第二师范学院 | 一种舞台剧的模拟方法、系统、存储介质及服务器 |
| TWI800473B (zh) * | 2022-12-13 | 2023-04-21 | 黑洞創造有限公司 | 元宇宙物件紀錄暨同框再紀錄系統及元宇宙物件紀錄暨同框再紀錄方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9846483B2 (en) * | 2015-12-15 | 2017-12-19 | Oculus Vr, Llc | Headset with contactless electric field sensors for facial expression and cognitive state detection |
| CN106933348A (zh) * | 2017-01-24 | 2017-07-07 | 武汉黑金科技有限公司 | 一种基于虚拟现实的脑电神经反馈干预系统及方法 |
| CN107577347B (zh) * | 2017-09-05 | 2020-07-21 | 南京睿诚华智科技有限公司 | 一种基于虚拟现实的教育系统及其方法 |
| EP3743789A4 (en) * | 2018-01-22 | 2021-11-10 | HRL Laboratories, LLC | NEURO-ADAPTIVE BODY DETECTION FOR USER STATE FRAMEWORK (NABSUS) |
| JP7318641B2 (ja) * | 2018-04-17 | 2023-08-01 | ソニーグループ株式会社 | プログラム、情報処理装置、及び情報処理方法 |
| CN109298779B (zh) * | 2018-08-10 | 2021-10-12 | 济南奥维信息科技有限公司济宁分公司 | 基于虚拟代理交互的虚拟训练系统与方法 |
-
2021
- 2021-03-31 CN CN202110345912.2A patent/CN112734946B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734946A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112734946B (zh) | 一种声乐表演教学方法及系统 | |
| Pietroni et al. | Interacting with virtual reconstructions in museums: The Etruscanning Project | |
| Väliaho | Mapping the moving image: Gesture, thought and cinema circa 1900 | |
| CN107274464A (zh) | 一种实时交互3d动画的方法、装置和系统 | |
| Zhou et al. | Dance and choreography in HCI: a two-decade retrospective | |
| CN106345035A (zh) | 一种基于虚拟现实的睡眠系统 | |
| CN112133409A (zh) | 一种虚拟诊疗系统和方法 | |
| Sankar | Design Architecture in Virtual Reality | |
| CN114283262A (zh) | 一种基于虚拟现实技术的沉浸式表演情感增强系统 | |
| Whatley | Motion capture and the dancer | |
| CN111477055A (zh) | 基于虚拟现实技术的教师培训系统及方法 | |
| Oyallon-Koloski et al. | Moving Cinematic History: Filmic Analysis through Performative Research. | |
| Cheng et al. | The Application Status and Thinking of VR in Architecture | |
| Bang et al. | Designing in conversation with dance practice | |
| Beira | 3D (embodied) projection mapping and sensing bodies: a study in interactive dance performance | |
| Cicconi | Augmented total theatre: shaping the future of immersive augmented reality representations | |
| Mesquita | The augmented performer in contemporary Opera: A Case Study | |
| Yu et al. | On the Application of Digitized Virtual Reality Technology in the Teaching of Landscape Architecture Design | |
| Selan | Exploring the method of hypothetical artwork modelling: Case of the primary colours fallacy | |
| Fung | Creating special visual effects with Moire patterns in stereoscopic 3D and 4D computed tomographic art | |
| Reyto | Drawing Light in the Cave: Embodied Spatial Drawing in Virtual Reality with Agency and Presence | |
| Lam | Exploring virtual reality painting technology and its potential for artistic purposes | |
| Bakala | Aesthetic potential of human-computer interaction in performing arts | |
| Roihankorpi et al. | Hamlet's Norwegian Dolls House: reframing embodied knowledge with virtual architectonics of performance | |
| Francisco et al. | Virtual Simulation of Brain Sylvian Fissure Exploration and Aneurysm Clipping with Haptic Feedback for Neurosurgical Training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Jin Inventor after: Wang Liang Inventor after: Zhang Daoqiang Inventor after: Ban Junrong Inventor before: Zhang Jin |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210730 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |