CN112767557A - 一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法 - Google Patents
一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法 Download PDFInfo
- Publication number
- CN112767557A CN112767557A CN202110130027.2A CN202110130027A CN112767557A CN 112767557 A CN112767557 A CN 112767557A CN 202110130027 A CN202110130027 A CN 202110130027A CN 112767557 A CN112767557 A CN 112767557A
- Authority
- CN
- China
- Prior art keywords
- guqin
- experience
- playing
- virtual
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013461 design Methods 0.000 title claims abstract description 19
- 230000003993 interaction Effects 0.000 claims abstract description 36
- 238000011161 development Methods 0.000 claims abstract description 24
- 230000000694 effects Effects 0.000 claims abstract description 9
- 239000007787 solid Substances 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010422 painting Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 235000006040 Prunus persica var persica Nutrition 0.000 claims description 3
- 238000007654 immersion Methods 0.000 claims description 2
- 240000006413 Prunus persica var. persica Species 0.000 claims 1
- 230000004888 barrier function Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 29
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000003825 pressing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 244000144730 Amygdalus persica Species 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 229910000906 Bronze Inorganic materials 0.000 description 1
- 241000238633 Odonata Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000010974 bronze Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，包括以下步骤：(1)总结出基于沉浸式虚拟现实中的古琴体验模块层次及虚拟场景设定；(2)比照实体古琴，完成样式择选，进行优化建模，获得古琴的三维模型；(3)结合Leap Motion开发，以手势动画引导完成曲目弹奏体验，以Leap Motion所识别的手指触弦先后顺序判断每首曲目的跟奏正确率并给予体验者反馈；(4)设计引导交互及模块讲解展示动画；(5)创建体验的虚拟环境，设置贴图、光源及音效效果；(6)在Unity 3D中设定交互体验系统与用户之间的交互功能；(7)设置虚拟现实接口，通过HTC Vive VR头盔、Leap Motion及实体古琴实现沉浸式虚拟古琴演奏多通道交互弹奏体验。
Description
技术领域
本发明涉及乐器虚拟体验与模拟实践教学领域领域，特别是涉及一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法。
背景技术
虚拟现实(Virtual Reality,简称VR)，是极具拓展性的前沿交叉学科，它通过计算机仿真技术与计算机图形学、人机接口技术、传感技术、多媒体技术相结合，生成一种融合多源信息的高可信度的三维立体动态虚拟情景。虚拟现实技术开发主要涉及到四个研究领域：虚拟情境的实现，通过计算机图形技术完成实时动态的三维立体图像[1]；人机交互模式设计，建立用户输入数据和系统输出反馈的双向通道；传感设备的应用，设定诸如VR手柄等三维交互设备的功能；感知系统的构成，在基于计算机图形生成的视觉感知外，还应对听觉、触觉、嗅觉等感知系统上延伸开发。
多通道人机交互(Multi-modal Human-Computer Interaction)技术，是一种对输入、输出通道的综合使用，也是对传递方式和服务的最恰当应用以满足用户需求的一种手段，多通道交互同时具备实现多设备协同和跨设备场景迁移的价值特征[2]，并极大追求交互的自然性、高效性及多感觉和效应通道响应的双向性；多通道交互技术以多媒体、虚拟现实、眼动追踪、手势识别、三维输入、表情识别、手写识别、数字墨水等技术为媒介，综合运用以完成整套多通道交互系统的开发[3]。手势识别作为一种重要交互手段，通过计算机视觉，识别用户的手部动作，从而实现与虚拟物体的交互，Leap Motion是时下较为普遍的交互应用设备，该设备早期定位于桌面计算平台，是一种鼠标交互输入方式的替代方案，伴随着VR技术的兴起，现逐渐过渡到为VR硬件设备提供手势识别，Leap Motion可以实现非常精确且低延时的手部动作数据追踪记录，使用户以更加接近自然的手势输入与虚拟物体进行交互。
本课题主要以沉浸式虚拟现实技术为主要开发媒介，结合手势识别、三维扫描等多通道交互组件的研究使用，搭建出一套提供给广大一般用户使用的关于古琴弹奏的VR体验系统。
VR技术诞生伊始就引起了全世界的广泛关注，美国率先将航天、军事、生物、高教、医疗、建筑、仿真等领域结合VR进行创新性开发[4]，其也代表着当今国际虚拟现实发展的最高水平。我国的虚拟现实技术起步相对较晚，但随着我国计算机图形学相关专业的飞速发展和国内自然科学基金会的大力投入，VR技术在中国的发展也得到了长足的保障[5]，在紧跟国际新技术的同时，国内的一些科研单位和文博展馆也已积极投入这一领域工作，如故宫博物院“端门数字馆”：其通过精心采集的高精度文物数据，结合严谨的学术考证，引领观众走进故宫内的“数字建筑”、触摸“数字文物”。通过巨型虚拟现实剧场的搭建让游客探索古建、文物本身固有的特性与内涵，获得比参观实物更丰富有趣的体验；围绕秦始皇帝陵兵马俑为主题，以虚拟现实技术作为观览拓展工具，推动有关秦帝陵题材的VR探险类游戏、考古现场VR体验和基于秦青铜马车的VR组装系统等相继开发完成，为秦帝陵相关历史知识的传播插上数字化的双翼；湖南省博物馆也于2018年成为了数字展示研究国家文物局重点科研基地，并一直致力于文博展示的数字化创新引领，其运用多通道投射实体表面成像的展示方式将马王堆汉墓的瑰丽华伟以数字化的手段呈现，让观众获得深入体验的同时获取更多知识！
古琴作为中华民族最古老的弹拨乐器之一，自古以来为贤达雅士所器重，居于“琴棋书画”四艺之首[6]。其演奏技法讲求身法正，须以正襟危坐，视听中正，调气屏息，心神俱定方能心手相应，竭尽奏琴其妙。琴音正须有指法准，更有音韵之妙全赖乎指法之细微一说，在具体手势指法上，主要包括右手之弹奏与左手之按弦，这些手势体现在琴曲的谱字当中；古琴最早使用文字来记录曲谱，又称为文字谱，其将古琴的弹奏指法、弦序和音位用文字记录下来，随着唐代琴家曹柔对文字谱的减化，使用减字拼成某种符号，并达到“字简而义尽，文约而音该”的效果[7]，减字谱中的每个字谱一般为四部分，上方记录左手指法，下方记录右手指法。左上为左手按弦用指，右上为所按徽位，下方外部为右手指法，内部为所弹、按弦。此外，减字谱还有续部、注释，一般用来标示音的细微变化。而常用指法又以托、挑、勾、抹、剔、打、摘等为主，它们分别规范了习琴者的动作规范要领。古琴的音域只有四个八度零两个音。但是在这其中又包含着三种音，分别是散音，泛音和按音，散音即为左手不按弦，仅以右手弹出的空弦音，其特点是深沉浑厚，是琴曲雄健的根基，故以散音象征地；泛音即左手触弦若蜻蜓点水，右手同时弹出之音。其音清脆高远，有时若隐若现，轻盈活泼，如天外之声，以此象征天；按音即是左手按弦，右手同时弹出之音，其特点为婉转抒情，圆润温和，若人倾诉般，又有按音象征人一说；泛音象天，按音如人，散音同大地，因此古琴一器具天地人三籁，状人情之思，达宇宙之理。现在我们习琴就依照减字谱，配合指法的运用和音色通晓后的灵活转换完成古琴的演奏。几千年来，古琴内涵不断流变、发展、积淀，并成就了独具特色、意蕴深远的琴道，也促使其成为中华民族优秀传统文化的重要组成部分，现今对于古琴自身的艺术特征、形制功用、乐理等研究也愈加丰富充实，从未断绝[8]。
然而现代人接触到古琴的机会少之又少，了解和学习古琴弹奏的机会更少，且需要较为贵重的古琴乐器。
随着我国传统文化领域及博物馆展示的数字化技术相互融合发展，基于沉浸式虚拟古琴演奏多通道交互体验系统的开发也将具有重大的实践意义，用VR技术连接起使用者的视觉、听觉、触觉通道，用数字化的语言让古琴这一门悠远臻道的高雅古艺更加轻松的走入到现代人的视野中去，也让更多人领略和感受到古琴艺术的独特魅力和深厚内涵[9]，成为古琴演奏的参与者与实践者。
发明内容
本发明的目的是为了克服现今古琴接触机会少，教学途径单一，古琴的文物属性，以及琴音、琴道文化传播相对受限的问题，提供一种基于沉浸式VR技术虚拟东方意境中的古琴知识学习与弹奏，借助多通道交互的形式，实现弹奏体验的方法，本发明将利用一种全新的模式促进古琴文化的感知与学习，在把握数字化体验的内核后完善古琴在新时代语境下的角色扮演，依托多通道交互方法，创新出非物质文化遗产的数字化记录传承方式，让古琴艺术不再束之高阁，人闻之而敬之后远之，扩展并带给广大体验者便捷即时的体验中华传统文化艺术的方式，并提出非遗数字化传承样例。
通过本发明方法对交互体验系统的构建，应用了虚拟现实技术、手势识别技术、音频处理技术、沉浸式视觉感知、实体感知交互技术等，实现为古琴弹奏体验者提供沉浸式虚拟现实多通道交互体验。以丰富的感官调动和准确的响应反馈，让古琴的数字化体验传播更为清晰、便捷，在传统的古琴教学模式上突破创新，虚拟环境设定以充满东方意蕴的青绿山水绘画的虚拟场景代入让体验者的临场感更加充实；既可应用在绘画艺术展馆尤其是青绿山水画陈展的环境下，让人得以在VR中感知青绿山水的意境还原，以崭新的视角感受山水情愫的三维符号化呈现；亦可应用于博物馆的古琴展示专栏或中国古代乐器陈展，让体验者在阅览馆藏后，更有兴致临场体验，加深博物馆体验深度；对于关注古琴，对古琴文化感兴趣的用户，只需下载安装本系统便可随时随地进行体验；对于了解并掌握古琴基本技法的体验者也可以以全新方式感受古琴活力，在体验时更易体味意境，在本系统中找寻天人合一，臻我之境。
本发明是基于HTC Vive VR头盔显视装备的虚拟现实系统，结合Leap Motion进行手部识别实现交互，运用古琴实体感知模块，以期打通视、听、触三维度交互通道，设计的系统中既有青绿山水画卷的虚拟现实复现，同时也具备体系结构完备明晰的琴艺普及教学设计和高精度的手势识别功能开发实现；在以Unity 3D引擎作为虚拟现实应用软件的开发环境，结合虚拟现实关键技术的基本原理，手势识别的应用范式[10]，实现整套沉浸式古琴弹奏虚拟体验结合多通道交互弹奏学习系统的搭建，给与使用者体验了解古琴文化、技艺的全新途径，让古琴文化迸发出新的活力。
本发明的目的是通过以下技术方案实现的：
一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，包括以下步骤：
(1)结合文献查阅、专家咨询、赏析古琴名画的方式了解并掌握古琴历史文化背景，梳理古琴弹奏技艺及乐理知识，总结出基于沉浸式虚拟现实中的古琴体验模块层次及虚拟场景设定；
(2)比照实体古琴，完成样式择选，进行优化建模，获得古琴的三维模型；
(3)结合Leap Motion开发，以手势动画引导完成曲目弹奏体验，以Leap Motion所识别的手指触弦先后顺序判断每首曲目的跟奏正确率并给予体验者反馈；
(4)设计引导交互及模块讲解展示动画；
(5)创建体验的虚拟环境，设置贴图、光源及音效效果；
(6)在Unity 3D中设定交互体验系统与用户之间的交互功能；
(7)设置虚拟现实接口，通过HTC Vive VR头盔、Leap Motion及实体古琴实现沉浸式虚拟古琴演奏多通道交互弹奏体验。
进一步的，步骤(1)中针对古琴体验模块的设计，以散音《沧海一声笑》、泛音《沧海一声笑》、《仙翁操》三个曲目为基础，涵盖古琴的入门通识教育，并在C4D中完成虚拟现实中的手势动画引导调节工作；以明代画家仇英作品《桃源仙境图》为场景模型参考，完成虚拟场景的建模工作。
进一步的，步骤(2)中完成古琴三维模型的建模时，使用C4D完成古琴三维模型的搭建及纹理映射，并在实体古琴中去除琴轸，保留较松琴弦，以提供寻弦拿捏碰触之感而少异声。
进一步的，步骤(4)中设计讲解展示动画时，以轻松明快的讲解方式降低体验者的使用障碍，配合讲解动画翻页功能，使相对熟悉古琴的体验者亦能快速上手体验。
进一步的，包括HTC Vive VR头盔、Leap Motion和实体古琴，HTC Vive VR头盔内通过Unity 3D编写设置有古琴体验模块，所述古琴体验模块包括古琴通识模块、散音体验模块、泛音体验模块和按音体验模块；Leap Motion内设置有手势识别模块，用于对体验者的弹奏过程进行识别和判断。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1.规划了使用HTC Vive VR头盔+Leap Motion+实体古琴的硬件组合方案，将古琴实物带入到VR场景中。
2.强调构建更佳自然的多通道交互环境，实体交互+手势识别交互+视线追踪交互+语音提示交互。
3.通过本发明方法设计的系统可以提供了体验+知识学习的内容；且强调置身于虚拟情境中的古琴弹奏体验；
4.通过本发明方法设计的系统可以设置于博物馆现场的展示体验专区，可以用于商业区域的体验项目，也可以在平台发布，供用户下载到本地使用自身设备进行参与体验。
5.本发明提供的方法不仅将古琴这一高雅且较为晦涩的古典艺术提供了便利的数字化交互手段，让体验者得以在系统中亲自体味高山流水遇知音的快乐，结合了古代青绿山水画卷意境，优化了画面设计，减少了体验者进入体验系统后的不适感。
6.本发明突破以往的言语传授琴艺方式，使人们摆脱物理乐器及师者干预便可完成弹奏，能够快速掌握古琴的标记法则，按弦规律，指法变化，降低古琴学习门槛，为年轻一代接触传统琴艺探索数字化通路，也为传统音乐的线上无人化教学提供范例，减少了偶发背景下的非必要人员聚集。
7.本发明方法设计的系统可以结合不同的古琴曲目打造对应的场景，每首古琴曲目的背后都有其丰富悠久的文化传承及寓意，通过本系统中不同场景的再建与更替，可让系统体验中每首古琴曲目的临场弹奏感更加强烈，系统场景的灵活性也将更好的照顾不同体验群体的需求。
8.本发明可以为对古琴艺术感兴趣的受众起到初始分流的效益，使第一次接触古琴艺术的人通过本系统的体验了解，确立对古琴艺术文化的感兴趣程度，从而判断自身是否需要选择传统琴道学习方法，以期达到古琴技艺的精进，从而获得更广阔的学习空间与体验。
9.本发明运用多通道的交互方式，将视觉、听觉、触觉有机结合起来，制造出更加完备的模拟体验系统，让整体弹奏环节真实可感，大大提升乐器类虚拟交互系统可用性。
10.本发明可运用于博物馆数字化建设及展示中，亦可在各种平台优化发布，扩展古琴文化的影响边界。
附图说明
图1是本发明系统的开发流程示意图。
图2是本实施例中所开发系统的体验流程示意图。
图3是Leap Motion的参数说明。
图4是HTC Vive VR头盔显视装备参数图。
图5是运行交互体验系统的电脑推荐配置图。
图6是VR头盔中主菜单用户选项示意图。
图7是弹奏准确率反馈界面的示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，
本实施例中，为实现对沉浸式虚拟古琴演奏多通道交互体验系统的设计，首先要保证古琴结构的准确翔实，其次结合考究《桃源仙境图》，对于场景的设置和还原有所参考，并且为了给与体验者最好的体验，针对场景进行一些风格化设计[11]。在设计过程中，兼顾古琴弹奏体验的上手特点，尽快解决体验者与乐器的距离感，创新引导方式，拉近体验者与古琴的距离。
具体的，交互体验系统的设计方法可分为模型素材获取阶段、Leap Motion开发阶段及程序合成开发阶段。
1、模型素材获取阶段
在模型素材获取阶段，采用原画数据扫描采集+C4D的双创作模式，具体的实现流程如图1所示。
场景的设计以扫描所得的画作为创作依据，结合C4D创作出基本模型，根据画面颜色及纹理完成场景的贴图映射与指定工作；原画中虽然所涉细节颇多，但均为散点透视且较难确定画中物体具体方位，但仍有标志性的绘画符号及物体得以在场景中保留，因此可基本确定物象在三维场景中的位置摆放，在基本模型搭建完毕后，以原画扫描数据作为贴图信息，结合C4D中的Sculpt雕刻功能完成山体与石块的细节雕刻，运用BP-3D Paint绘画映射功能完成贴图绘制，并导出相关模型及贴图数据在Unity 3D中使用，经过二次创作场景的丰富性与可赏性也在系统的最终呈现中有了极大提升。
在择选确定毕实体古琴后，保有琴弦，拆去紧弦琴轸，体验者可在得到触觉反馈时，极少感知声音的响动。
2、Leap Motion开发阶段，图3是关于Leap Motion的参数说明。
在确定了相关弹奏曲目后，开始进行Leap Motion的开发，具体开发流程如图1所示；根据成熟的演奏视频确定相应的三维动画引导手势的动作调节，在C4D中完成手部动画的调试后，体验者可在每首曲目的弹奏时清晰的看到应做的手部动作，按照指引，完成跟奏。
在C4D完成手部建模及动作相关调节后，将模型导出为.fbx格式。
在Untiy 3D中新建场景，将之前导出的手部动画模型及古琴模型放入Unity 3D中；Leap Motion具有多种交互事件，单击交互对象组件的Add New Event Type按钮，即可添加相应的事件处理方法；由于Leap Motion中的交互基于碰撞检测，所以交互对象需要确保具有某种形式的Collider组件，本实施例中设置七根琴弦为String Collider并以此命名，在添加了Interaction Behaviour组件的游戏对象上，会自动添加Rigidbody组件；
手势识别模块以追踪具体触弦手指及触弦顺序为弹奏正确率判断标准进行开发。具体代码如下：
3.程序合成开发阶段
在得到了相应的场景素材及Leap Motion手势识别模块后，开始进行最终的系统集成开发。
本实施例中设计的系统体验分为四个功能模块，具体参见图2；结合前期讲解动画的制作，将会在体验者选择不同体验模块时播放，还可展示体验系统中的动画讲解效果。三维动画引导手势及古琴徽位、弦序也会有相应高亮提示，弹奏时也配有相应的减字谱例演示。如弹奏时减字谱出现名左手名指按十徽右手勾五弦字样，头盔中可见古琴的五弦发出亮光及动画引导手的右手中指内勾五弦，体验者跟随弹奏即可；一系列引导素材使体验者做出相应手势并在相应位置触弦得音，在体验者做出相应动作后，结合Leap Motion检测识别模块完成正确率的判断并给予体验者反馈，弹奏准确率反馈样例参见图7。
此外涉及到系统的体验效果，需要在系统中设置UI，辅助用户操作，参见图6中展示的主菜单界面用户选项。设置UI需要提前在PS中制作好图形界面，并依据交互需求对界面进行划分，将有交互操作的部分单独导出.png格式文件，放入场景中制作UI模块；本实施例所设计系统的交互部分除手势识别外，也以注视交互为主代替手柄操作；注视交互的功能在Unity 3D中的实现方法为：使用OVRCameraRig替换MainCamera，删除场景中的Camera，将其替换为OVR/Prefabs目录下的OVRCameraRig预置体。选择Hierarchy中的EventSystem对象。在Inspector中，移除StandaloneInputModule组件，添加Assets/Scripts目录下的OVRInputModule。OVRInputModule用于处理射线指示，接着指定一个RayTransform属性。将OVRCameraRig下的CentreEyeAnchor拖到这个属性上，方可使射线始终从中间眼位置发出。添加GazePointer。在Assets/Prefabs目录下找到GazePointerRing预置体，拖放到场景中。将OVRCameraRig对象拖放到脚本上的CameraRig位置上，这样OVRGazePointer就能获取到所需的CameraRig。设置Canvas，找到并选择Computer对象下的JointsCanvas对象。把OVRCameraRig下的Camera作为Canvas的EventCamera。在Inspector中，便可看到Canvas绑定了GraphicRaycaster组件。它用于监测鼠标与GUI元素的交互。移除它，替换为OVRRaycaster脚本，便可用于处理射线而非鼠标。在OVRRaycaster对象下，改变BlockingObjects下拉列表为All。这可以确保注视行为可以锁定场景中的其他可交互对象，完成上述步骤后，运行场景，注视功能就已经可以实现，凝视某个UI元素便可以完成交互。在场景交互中也将菜单的排列选为横向放置，以方便体验者小幅度扭头便可完成点选，减少体验中的不适感。
程序的基本功能开发完成后，需要设置连接虚拟现实设备环境下的使用，在Unity3D中借助Steam VR插件实现，切换为VR播放模式后便实现连接VR头盔进行系统体验。
本实施例所设计系统的实施，对于硬件和场地有一定的要求。需要10㎡-25㎡的场地面积、虚拟现实设备、运行电脑的配置有一定的要求。在具体实施的过程中，上述条件的具体信息如下：
场地：约5×5×3米的空间，且空间内不能堆放其他物品，并且要求地面光滑，保证使用者在进入虚拟系统后的活动空间及安全。因为涉及到安装Lighthouse(信号捕捉设备)基站，用于定位和动作捕捉。因此空间应具有至少3米的高度。
虚拟现实设备：见图4，HTC Vive VR相对于其他虚拟现实头盔，进入市场较早，体系相对成熟，本系统开发的主用设备为HTC Vive VR PROⅡ版本，其性能强大，成像分辨率有了较大提升，适合较长时间的佩戴使用，支持蓝牙无线套件连接的特性，也为其行动边界的拓展得到了有效保证。
系统运行电脑配置：虚拟现实技术对电脑主机有一定的要求，配置不够要求的设备往往运行不顺畅，给使用带来负面效果。推荐使用图5所示及更高参数配置的电脑运行本系统。
本发明方法得到的系统是基于HTC Vive VR头盔显视装备，结合Leap Motion进行手部识别开发，完成古琴实体感知模块的准备，并以Unity 3D引擎作为虚拟现实应用软件的开发环境，结合虚拟现实关键技术的基本原理，手势识别的应用范式，实现整套沉浸式虚拟多通道交互系统的搭建，给与使用者体验了解古琴文化、技艺的全新途径，让古琴文化迸发出新的活力，扩展古琴文化影响边界，创新古琴学艺方式，由传统的口传心授学琴方式转变为自主性和便捷性更强的个人习修，本系统也可在日后不断增扩古琴曲库及高级指法、技法教学模组，使古琴在当代具有的音乐教育,文化弘扬,国民整体素质涵养,民族传承等方面价值有了更好的作用平台及发展前景[12]。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
参考文献
[1]朱翔宇.基于虚拟现实技术的彩绘秦俑上色体验系统的设计与实现[D].天津.天津大学，2018
[2]陈建华,崔东华,罗荣，等.军事指挥系统多通道人机交互技术[J].指挥控制与仿真,2019.41(4):110-113
[3]常亚娜.基于手势互动的土家虚拟乐器系统研发[D].武汉.华中师范大学，2018
[4]董浩文.基于Unity3D引擎秦始皇帝陵出土青铜马车虚拟装配系统的设计与实现[D].天津.天津大学，2017
[5]王子初.马王堆七弦琴和早期琴史问题[J].上海文博论丛,2005(04):40-45.
[6]龚一.古琴演奏法[M].重庆:重庆出版社,2017.
[7]杨帆.古琴声学特性与音响表现关系解析[J].人民音乐,2015(01):85-87.
[8]张世程.手势识别与民族弓弦乐器虚拟演奏研究[D].杭州.杭州师范大学，2015
[9]周昌乐,顾亚丽,林国平,等.一种古琴音色重构仿真方法及其实现[J].系统仿真学报,2009,21(02):572-575.
[10]高宇,何小海,吴晓红,等.基于Leap Motion的动态手势识别方法[J].计算机系统应用，2019.28(11):208-212.
[11]Martinez J,Griffiths D,Biscione V,et al.Touchless Haptic Feedbackfor Supernatural VR Experiences[C]2018IEEE Conference on Virtual Reality and3D User Interfaces(VR).IEEE Computer Society,2018.
[12]王娟.试论浏阳古乐及其开发构想[J].湖南科技学院学报,2010,31(05):202-204.
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
Claims (5)
1.一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，包括以下步骤：
(1)结合文献查阅、专家咨询、赏析古琴名画的方式了解并掌握古琴历史文化背景，梳理古琴弹奏技艺及乐理知识，总结出基于沉浸式虚拟现实中的古琴体验模块层次及虚拟场景设定；
(2)比照实体古琴，完成样式择选，进行优化建模，获得古琴的三维模型；
(3)结合Leap Motion开发，以手势动画引导完成曲目弹奏体验，以Leap Motion所识别的手指触弦先后顺序判断每首曲目的跟奏正确率并给予体验者反馈；
(4)设计引导交互及模块讲解展示动画；
(5)创建体验的虚拟环境，设置贴图、光源及音效效果；
(6)在Unity 3D中设定交互体验系统与用户之间的交互功能；
(7)设置虚拟现实接口，通过HTC Vive VR头盔、Leap Motion及实体古琴实现沉浸式虚拟古琴演奏多通道交互弹奏体验。
2.根据权利要求1所述一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，其特征在于，步骤(1)中针对古琴体验模块的设计，以散音《沧海一声笑》、泛音《沧海一声笑》、《仙翁操》三个曲目为基础，涵盖古琴的入门通识教育，并在C4D中完成虚拟现实中的手势动画引导调节工作；以明代画家仇英作品《桃源仙境图》为场景模型参考，完成虚拟场景的建模工作。
3.根据权利要求1所述一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，其特征在于，步骤(2)中完成古琴三维模型的建模时，使用C4D完成古琴三维模型的搭建及纹理映射，并在实体古琴中去除琴轸后再次栓系琴弦，增加寻弦拿捏碰触之感而减少异声。
4.根据权利要求1所述一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，其特征在于，步骤(4)中设计讲解展示动画时，以轻松明快的讲解方式降低体验者的使用障碍，配合讲解动画翻页功能，使相对熟悉古琴的体验者亦能快速上手体验。
5.一种沉浸式虚拟古琴演奏多通道交互体验系统，其特征在于，包括HTC Vive VR头盔、Leap Motion和实体古琴，HTC Vive VR头盔内通过Unity 3D编写设置有古琴体验模块，所述古琴体验模块包括古琴通识模块、散音体验模块、泛音体验模块和按音体验模块；LeapMotion内设置有手势识别模块，用于对体验者的弹奏过程进行识别和判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130027.2A CN112767557A (zh) | 2021-01-29 | 2021-01-29 | 一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130027.2A CN112767557A (zh) | 2021-01-29 | 2021-01-29 | 一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112767557A true CN112767557A (zh) | 2021-05-07 |
Family
ID=75703936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110130027.2A Pending CN112767557A (zh) | 2021-01-29 | 2021-01-29 | 一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767557A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104793738A (zh) * | 2015-03-17 | 2015-07-22 | 上海海洋大学 | 基于Leap Motion的非接触式计算机操控方法 |
| CN106648083A (zh) * | 2016-12-09 | 2017-05-10 | 广州华多网络科技有限公司 | 增强演奏场景合成控制方法及装置 |
-
2021
- 2021-01-29 CN CN202110130027.2A patent/CN112767557A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104793738A (zh) * | 2015-03-17 | 2015-07-22 | 上海海洋大学 | 基于Leap Motion的非接触式计算机操控方法 |
| CN106648083A (zh) * | 2016-12-09 | 2017-05-10 | 广州华多网络科技有限公司 | 增强演奏场景合成控制方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 天津博物馆: "天博趣体验：一秒学会弹古琴", 《HTTPS://WWW.TJBWG.COM/CN/NEWSINFO.ASPX?ID=17096》, 14 August 2020 (2020-08-14), pages 1 - 3 * |
| 赵琦: "基于Leap motion的水墨风格声画交互设计及文化认同研究", 《中国优秀博硕士学位论文全文数据库(硕士)哲学与人文科学辑》, 15 February 2015 (2015-02-15), pages 21 - 31 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11778412B2 (en) | Head pose mixing of audio files | |
| Marrin | Toward an understanding of musical gesture: Mapping expressive intention with the digital baton | |
| CN105074640B (zh) | 通过自由形式的草绘来参与演示 | |
| Li et al. | Computing for Chinese cultural heritage | |
| Kim et al. | Seen music: ambient music data visualization for children with hearing impairments | |
| Yu et al. | We can do more to save guqin: Design and evaluate interactive systems to make guqin more accessible to the general public | |
| Costa et al. | Songverse: a music-loop authoring tool based on Virtual Reality | |
| Barbosa et al. | Illusio: A drawing-based digital music instrument | |
| Ford et al. | Speculating on Reflection and People’s Music Co-Creation with AI | |
| Feng | Design and research of music teaching system based on virtual reality system in the context of education informatization | |
| Ilsar et al. | Inclusive improvisation: exploring the line between listening and playing music | |
| CN112767557A (zh) | 一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法 | |
| Zhang et al. | A gesturally controlled virtual musical instruments for Chinese Guqin | |
| Borchers et al. | MICON: a music stand for interactive conducting | |
| Deacon et al. | Spatial Design Considerations for Interactive Audio in Virtual Reality | |
| de Lima Costa et al. | Songverse: a digital musical instrument based on virtual reality | |
| Pavlenko et al. | Development of Music Education in Virtual and Extended Reality | |
| Wang et al. | Design and Implementation of Children's Games Based on Mixed Reality | |
| Wang | Narrative to Action in the Creation and Performance of Music with Data-driven Instruments | |
| Bingyu et al. | The Combination of Chinese Traditional Pentatonic Rhythm and New Media Art | |
| Syukur et al. | A Multiplayer Virtual Reality Game for Playing Gamelan Music in a Virtual Orchestra Mode | |
| Micheloni | Models and methods for sound-based input in Natural User Interfaces | |
| Mesquita | The augmented performer in contemporary Opera: A Case Study | |
| Nicky | Designing An Instrument Controller to Enhance Cultural learnings in A Music Blended Video Game | |
| Park et al. | Mixed Scape: Development of Framework and Artwork for Auditory Correspondence in Mixed Reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |