CN113485559A - 基于全景漫游平台的虚拟乐器演奏方法及系统 - Google Patents
基于全景漫游平台的虚拟乐器演奏方法及系统 Download PDFInfo
- Publication number
- CN113485559A CN113485559A CN202110835664.XA CN202110835664A CN113485559A CN 113485559 A CN113485559 A CN 113485559A CN 202110835664 A CN202110835664 A CN 202110835664A CN 113485559 A CN113485559 A CN 113485559A
- Authority
- CN
- China
- Prior art keywords
- virtual
- musical instrument
- playing
- virtual musical
- instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000000463 material Substances 0.000 claims abstract description 30
- 230000009471 action Effects 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims description 53
- 230000003993 interaction Effects 0.000 claims description 27
- 230000008846 dynamic interplay Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 29
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 229910001369 Brass Inorganic materials 0.000 description 23
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 239000010951 brass Substances 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000011295 pitch Substances 0.000 description 4
- 239000002994 raw material Substances 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明公开了虚拟乐器领域的一种基于全景漫游平台的虚拟乐器演奏方法及系统，包括以下步骤：响应用户的启动动作，显示全景图的选择界面，提示用户选择素材库中的已有全景图或者选择上传全景图来用作演奏场景；响应用户的全景图选择动作，生成相应的虚拟乐器页面；获取虚拟乐器界面的移动指令，移动虚拟乐器页面到演奏场景中的指定方位；获取虚拟乐器的输入按键信息，根据预存储的各虚拟乐器的按键指令与音频和动画的对应关系，播放与输入按键信息相对应的动画与音频。该系统不仅降低了对硬件设备的要求，还能够让大众都可以通过自身演奏需求来创造或体验音乐作品，同时有着更进一步的交互式体验与使用功能的多样化。
Description
技术领域
本发明涉及一种基于全景漫游平台的虚拟乐器演奏方法及系统，属于虚拟乐器技术技术领域。
背景技术
目前，现有的虚拟乐器主要是由以下三种技术方式实现并进行演奏：
1)采用3D投影以及感官交互的方式，通过对动作的监测以及数据处理从而实现虚拟乐器的工作，此技术一般与大荧屏以及宏观特效联动，所运用的演奏多应用于如大型歌舞表演、音乐会等大型娱乐活动。
其主要包括人体辅助装置、3D摄影装置、3D投影装置和信号处理单元，其中人体辅助装置采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元，信号处理单元处理该信号，并且发出信号控制人体辅助装置反馈听觉感知信息、接触绝感知信息、压力觉感知信息；同时控制3D投影装置反馈听觉感知信息。
但是，该方式通过3D投影、3D摄影、动作轨迹监测实现虚拟乐器，可以很真实地模拟出现有的乐器，使用者能体验到在真实乐器上弹奏的交互效果。但是该方式需要硬件支持，不便于携带并且3D摄影、3D投影技术的代价高昂，不利于大规模推广。
2)使用传感器等硬件设备搭建虚拟乐器，并结合音箱、声音数据库、上位机等构成一个基于传感器的虚拟乐器系统,此技术一般通过外型上的更改融入演奏现场，多运用于如游乐园、电玩城等娱乐场所。
该系统通过传感器采集振动、压力等参数并将其交给上位机进行信号处理与声音数据库进行匹配从而形成音频文件，再将音频信号通过音箱进行播放。
但是，该方式要使用到传感器、音箱、以及上位机等硬件设备，成本高昂，并且由传感器构成的硬件系统体积庞大，不便于携带，由于每一种乐器都要由不同的传感器获取数据，需要上位机通过不同的程序进行数据的处理，所以可扩展性差，不具备通用性。
3)通过HTML、JavaScript、CSS等互联网技术模拟成虚拟乐器，包括虚拟乐器界面、虚拟乐器映射清单、音频调用与交互以及播放等模块功能。此技术提供了一种相对前两种更加低门槛的虚拟乐器演奏方法。
该系统的构建通常先使用PS软件对所需乐器的图片进行剪裁得到一个乐器图片，再制作一个模拟乐器演奏的矢量图；并通过互联网技术根据不同乐器之间不同的映射关系等特征进行对应演奏样式的修改与不同使用状态的匹配从而模拟出真实乐器演奏的效果与状态。
该方式单纯通过互联网技术建立的虚拟乐器存在交互式体验差的问题，由于该系统只在网页中使用，乐器单独使用的真实感也不够高，同时该系统本身只具备乐器的基本使用功能，其功能性较为单一。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于全景漫游平台的虚拟乐器演奏方法及系统，解决虚拟乐器的硬件成本高、真实度不够的问题。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于全景漫游平台的虚拟乐器演奏方法，包括以下步骤：
响应用户的启动动作，显示全景图的选择界面，提示用户选择素材库中的已有全景图或者选择上传全景图来用作演奏场景；
响应用户的全景图选择动作，显示虚拟乐器的选择页面；
响应用户的虚拟乐器选择动作，生成相应的虚拟乐器页面；
获取虚拟乐器界面的移动指令，移动虚拟乐器页面到演奏场景中的指定方位；
获取虚拟乐器的输入按键信息，调取存储有虚拟乐器的动画和音频的显示数据库，根据预存储的各虚拟乐器的按键指令与显示数据库内动画和音频的对应关系，播放与输入按键信息相对应的动画与音频；
响应用户的录制指令，对动画和音频进行录屏与录音；响应用户的停止录制指令，停止录音和录屏，生成演奏作品；
响应用户的预览指令，生成并显示演奏作品的预览界面；
响应用户的命名指令，更改演奏作品的名称并保存；
响应用户的上传指令，上传演奏作品至服务器的作品数据库。
进一步的，响应用户的浏览指令，获取并展示服务器的作品数据库中的演奏作品。
进一步的，所述全景图的构建步骤包括：
获取原始素材，并对图像处理，获取待拼接素材；
将所述待拼接素材通过匹配算法进行排列分布，匹配所述待拼接素材之间的缝合位置，进而拼接成一张全景图。
进一步的，获取原始素材，并对图像处理，获取待拼接素材的方法包括以下步骤：
将三脚架调整水平，接下来将全景云台安装在三脚架上并保证安装稳固，将快装板安装在相机身上并保证稳固，核准相机的节点，以免拍摄的位移误差；
将相机安装在云台上，选定一个刻度并对准，根据所处环境以及拍摄内容要求调整相机的参数，使画面清晰且曝光合，所述相机的参数包括拍摄模式、焦距、光圈、快门；
控制云台使镜头与地面平行，每隔60度便拍摄一张图片，一共拍6张覆盖360°直至回到原点；
控制云台将镜头向上与向下分别倾斜45度，，每隔60度便拍摄一张图片，一共拍6张覆盖360°直至回到原点；
控制云台使相机镜头垂直对面面向天空，拍摄一张照片；
将以上步骤得到的照片作为原始素材，对原始素材进行调色、降噪、调整灰度处理，得到待拼接素材。
进一步的，所述获取虚拟乐器的输入按键信息，根据预存储的各虚拟乐器的按键指令与试听音频的对应关系，播放与输入按键信息相对应的动画与音频的方法包括：
获取输入按键信息，根据虚拟乐器映射清单，在所述虚拟乐器页面上显示对应的乐器动作动画，同时调用对应的提前录制的音频，并通过扬声器播放对应音频；
所述虚拟乐器映射清单，用于确定电脑键盘的按键和虚拟乐器之间的对应关系以及确定电脑键盘的按键和虚拟乐器的不同单音的音频文件之间的对应关系。
进一步的，获取输入按键信息，根据虚拟乐器映射清单，在所述虚拟乐器页面上显示对应的乐器动作动画，同时调用对应的提前录制的音频，并通过扬声器播放对应音频的方法包括以下步骤：
响应用户的唤醒信息，显示网络虚拟乐器的选择页面；
获取输入按键信息，则获取其具体的键值；
建立一个Javascript脚本，并通过CSS类中乐器的a标签添加或去除来模拟出虚拟乐器不同按键选择与被选择时的效果，并通过虚拟乐器映射清单的对应关系，调用脚本文件内部的play函数播放预存储的音频。
进一步的，响应用户的虚拟乐器选择动作，生成相应的虚拟乐器页面的方法包括以下步骤：
响应用户的虚拟乐器选择动作，通过Javascriot内部的onclick函数可获取该虚拟乐器的id；
根据虚拟乐器与id的对应关系确定应当响应的虚拟乐器演奏窗口，并打开所选中虚拟乐器页面的窗口，且打开的虚拟乐器页面的窗口可在onclick函数中调用foxma_px方法调整窗口的长与宽，并可通过鼠标旋转或移动窗口使其放置到全景漫游中的任一位置。
第二方面，本发明提供了一种基于全景漫游平台的虚拟乐器演奏系统，包括通过网络相连接的客户终端和服务器；
所述客户终端设置有人机交互界面，所述人机交互界面包括场景选择模块、乐器选择模块、方位选择模块、演奏模块、作品录制上传模块；
所述场景选择模块用于提供作为网络虚拟乐器的演奏背景的全景图，以及上传全景图；
所述乐器选择模块用于提供多种网络虚拟乐器；所述乐器选择模块能够响应虚拟乐器的选择动作，生成虚拟乐器页面；
所述方位选择模块用于在已选定的三维全景图中将所述虚拟乐器页面调整到三维全景图中的任一处并启用演奏模块；
所述演奏模块用于获取虚拟乐器的输入按键信息，根据预存储的各虚拟乐器的按键指令与试听音频的对应关系，播放与输入按键信息相对应的音频；
所述作品录制上传模块用于对显示界面和音频进行录屏与录音，生成演奏作品，录音和录屏结束后对所述演奏作品进行预览、命名并上传该演奏作品至服务器的作品数据库。
进一步的，所述人机交互界面还包括作品展示模块；
所述作品展示模块用于获取并展示服务器的作品数据库中的演奏作品。
进一步的，所述演奏模块包括虚拟乐器页面、虚拟乐器映射清单、动态交互模块、音频调用以及播放模块；
所述虚拟乐器页面用于与用户进行交互；
所述虚拟乐器映射清单，用于确定电脑键盘的按键和虚拟乐器之间的对应关系；以及确定电脑键盘的按键和虚拟乐器的不同单音的音频文件之间的对应关系；
所述动态交互模块，用于获取输入按键信息，根据虚拟乐器映射清单，在所述虚拟乐器页面上显示对应的乐器动作动画；
所述音频调用以及播放模块，用于获取输入按键信息，根据虚拟乐器映射清单，调用提前录制的音频，并通过扬声器播放对应音频。
与现有技术相比，本发明所达到的有益效果：
1、系统通过网络在计算机上使用，所以对于硬件的要求低，相对于通过传感器、以及感官交互等技术实现的虚拟乐器，使得硬件成本降低而且用户不需要进行后期维护，也不会存在由于硬件体积过大不易携带等问题。
2、系统自身集成了多种虚拟乐器与多场景下的全景图，不仅能够保证对大众进行演奏的低门槛、低成本且操作简单，使得其易于推广；同时也比单纯使用虚拟乐器演奏具有更真实的交互式体验与更多种类的功能性。
附图说明
图1为本发明方法的流程图；
图2为本发明中全景图的构建流程图；
图3为本发明中试听功能的流程图；
图4为本发明交互方式中动态交互的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
本实施例提供一种基于全景漫游平台的虚拟乐器演奏方法，包括以下步骤：
响应用户的启动动作，显示全景图的选择界面，提示用户选择素材库中的已有全景图或者选择上传全景图来用作演奏场景；
响应用户的全景图选择动作，显示虚拟乐器的选择页面；
响应用户的虚拟乐器选择动作，生成相应的虚拟乐器页面；
获取虚拟乐器界面的移动指令，移动虚拟乐器页面到演奏场景中的指定方位；
获取虚拟乐器的输入按键信息，根据预存储的各虚拟乐器的按键指令与试听音频的对应关系，播放与输入按键信息相对应的动画与音频；
响应用户的录制指令，对动画和音频进行录屏与录音；响应用户的停止录制指令，停止录音和录屏，生成演奏作品；
响应用户的预览指令，生成并显示演奏作品的预览界面；
响应用户的命名指令，更改演奏作品的名称并保存；
响应用户的上传指令，上传演奏作品至服务器的作品数据库；
响应用户的浏览指令，获取并展示服务器的作品数据库中的演奏作品。
具体的，所述全景图的构建步骤包括：
为按照一定顺序地进行拍摄任务，获取三维全景图所需原始素材，并对原始素材进行调色、降噪、调整灰度等处理。
将获取的素材通过图像拼接技术这一全景制作的内容实现手段，通过匹配算法对图像的坐标进行排列分布，匹配图像之间的缝合位置，进而拼接成一张三维全景图。
如图2所示，三维全景图的具体构建步骤如下：
步骤一，首先确定一个拍摄主题，然后在该主题下选择一个场景进行拍摄。
步骤二，调节拍摄工具中心节点和确定拍摄工具所需旋转角度。
步骤三，进行图像信息采集工作。具体拍摄顺序如下：
(1)将三脚架调整水平，接下来将全景云台安装在三脚架上并保证安装稳固，将快装板安装在相机身上并保证稳固，核准相机的节点，以免拍摄的位移误差。
(2)将相机安装在云台上，选定一个刻度并对准，根据所处环境以及拍摄内容要求调整相机的拍摄模式、焦距、光圈、快门等参数，使画面清晰且曝光合适，；
(3)控制云台使镜头与地面平行，每隔60度便拍摄一张图片，一共拍6张覆盖360°直至回到原点。然后控制云台将镜头向上与向下分别倾斜45度，重复拍摄任务，最后控制云台使相机镜头垂直对面面向天空，拍摄一张照片。
(4)拍摄结束，检查拍摄内容的质量，如有问题则重复上述操作。
步骤四，对采集的图像进行图像拼接处理成一张全景图。
基于静态图像的静态拼接主要依靠匹配算法进行拼接，算法通过控制点对图像的坐标进行排列分布，匹配图像之间的缝合位置，进而拼接成一张全景图。如果在拼接过程中出现肉眼可见的错位或瑕疵，还可以通过手动操作进行完善。
具体的，所述获取虚拟乐器的输入按键信息，根据预存储的各虚拟乐器的按键指令与试听音频的对应关系，播放与输入按键信息相对应的动画与音频的方法包括：
获取输入按键信息，根据虚拟乐器映射清单，在所述虚拟乐器页面上显示对应的乐器动作动画，同时调用对应的提前录制的音频，并通过扬声器播放对应音频；
所述虚拟乐器映射清单，用于确定电脑键盘的按键和虚拟乐器之间的对应关系以及确定电脑键盘的按键和虚拟乐器的不同单音的音频文件之间的对应关系。
在上述实施例中，如图3所示，映射清单的具体实现方式如下：
步骤一，判断用户是否使用电脑键盘或鼠标等外部设备点击网络虚拟乐器的选择页面；
步骤二，当用户使用电脑键盘按键，则读取电脑键盘的键值，根据电脑键盘的键值和网络虚拟乐器的对应关系确定对应到某一具体虚拟乐器；判断方式为建立一个Javascript的脚本文件，然后调用脚本文件内部的Onkeydown函数，用以判断电脑键盘是否被按下，若按下，则获取其具体的键值；跳至步骤四；
步骤三，如果用户使用鼠标点击选择了一个虚拟乐器，获取该虚拟乐器的id；根据虚拟乐器与id的对应关系确定并弹出相应演奏窗口；
步骤四，建立一个Javascript脚本，并通过CSS类中乐器的a标签添加或去除来模拟出虚拟乐器不同按键选择与被选择时的效果，系统从而实现弹奏的视觉效果，并通过映射清单的对应关系，调用脚本文件内部的play函数播放储存至系统内部的试听音源。
在上述实施例中，如图4所示，三维全景与虚拟乐器交互具体实现方式如下：
当用户单击选择某种虚拟乐器后，通过Javascriot内部的onclick函数可获取该虚拟乐器的id；根据虚拟乐器与id的对应关系确定应当响应的虚拟乐器演奏窗口，并打开所选中虚拟乐器的页面窗口，且打开的演奏窗口可在onclick函数中调用foxma_px方法调整窗口的长与宽，并可通过鼠标旋转或移动窗口使其放置到全景漫游中的任一位置。
同时再次通过新建一个Javascript脚本文件来控制虚拟乐器的音源，通过调用脚本文件内部的Onkeydown函数，用以判断电脑键盘是否被按下；若按下，则获取其具体的键值；当用户对虚拟乐器进行演奏时，通过映射清单所对应的关系，将外部输入数据映射至虚拟乐器的某一个单音或和弦上，并通过CSS类中乐器的a标签添加或去除来模拟出虚拟乐器不同按键选择与被选择时的效果，系统从而实现弹奏的视觉效果以及通过脚本文件内部的play函数播放储存至系统内部的音源完成演奏。
本方法可以把任一全景漫游和任一网络虚拟乐器结合起来使用，没有其他限制条件。
实施例二：
本实施例提供了一种基于全景漫游平台的虚拟乐器演奏系统，包括通过网络相连接的客户终端和服务器；
所述客户终端设置有人机交互界面，所述人机交互界面包括场景选择模块、乐器选择模块、方位选择模块、演奏模块、作品录制上传模块、作品展览模块；
所述场景选择模块，该模块提供常见山、水及图书馆等类型的三维全景图，可用作网络虚拟乐器的演奏背景，同时也可上传符合文件像素等要求的三维全景图。
所述乐器选择模块，该模块提供钢琴类网络虚拟乐器、提琴类网络虚拟乐器、网络虚拟架子鼓、网络虚拟口琴、网络虚拟木管乐器、网络虚拟铜管乐器等，并且每种乐器都配有相应的使用指南；此模块提供虚拟乐器试听功能；选择虚拟乐器后，生成可调整页面大小的虚拟乐器演奏窗口。
所述方位选择模块，通过全景嵌入HTML页面技术，在已选定的全景漫游图页面中响应出已选定的虚拟乐器页面，能够直接通过鼠标拖曳的方式将乐器页面选择到全景漫游场景中的任一处并进行演奏。
所述演奏模块，使用虚拟乐器在漫游平台里进行在线演奏。
所述作品录制上传模块，使用一个在线的录音器和录屏器作为主体，对用户的演奏过程进行录屏与录音，演奏完毕后提供预览/上传功能，对其中选择上传的作品提供命名操作；
所述作品展示模块，将上传作品在作品公开展览窗口进行展示，提供浏览服务。
如图1所示，本发明系统的操作流程如下：
用户在点击进入系统之后，首先进入全景图的选择界面，提示用户选择素材库中的已有全景图或者选择上传全景图来用作演奏场景。
完成全景图的选择之后，进入到虚拟乐器的选择页面，提示用户点击选择需要使用的乐器并生成相应的虚拟乐器页面；同时用户也可以先通过在此页面按下不同虚拟乐器的对应键盘按键播放相对应的试听音频。
在全景图与虚拟乐器都选定之后，用户可通过全景漫游系统内选定并生成的全景漫游图对演奏场景进行三百六十度无死角地全方位浏览，同时还可通过拖曳鼠标等操作，将虚拟乐器页面嵌入到全景漫游场景中某个心仪的方位。
之后可通过作品录制上传模块录制音乐作品，当用户演奏完毕后，可再次点击模块意味着演奏结束，此时可以预览作品，对于满意的作品可以选择演奏页面内上传按钮进行上传。
在服务器端审核上传至系统的作品，需确保其命名及格式等属性的有效性，对审核通过的作品进行存储，同时在数据库中添加音乐作品记录。
对于审核通过的作品可在系统的展览页面进行在线浏览。
人机交互界面还包括图像信息采集模块以及图像拼接模块。图像信息采集模块用于获取原始素材，并对图像处理，获取待拼接素材；图像拼接模块用于将所述待拼接素材通过匹配算法进行排列分布，匹配所述待拼接素材之间的缝合位置，进而拼接成一张全景图。
进一步的，所述演奏模块包括虚拟乐器页面、虚拟乐器映射清单、动态交互模块、音频调用以及播放模块；
所述虚拟乐器页面用于与用户进行交互；
所述虚拟乐器映射清单，用于确定电脑键盘的按键和虚拟乐器之间的对应关系；以及确定电脑键盘的按键和虚拟乐器的不同单音的音频文件之间的对应关系；
所述动态交互模块，用于获取输入按键信息，根据虚拟乐器映射清单，在所述虚拟乐器页面上显示对应的乐器动作动画；
所述音频调用以及播放模块，用于获取输入按键信息，根据虚拟乐器映射清单，调用提前录制的音频，并通过扬声器播放对应音频。
实施例三：
本实施例提供一种基于三维全景图的网络虚拟乐器演奏方法，基于一种基于三维全景图的网络虚拟乐器演奏系统，所述系统包括场景选择模块、乐器选择模块、方位选择模块、演奏模块、作品录制上传模块、作品展览模块；
所述场景选择模块，该模块提供常见山、水及图书馆等类型的三维全景图，可用作网络虚拟乐器的演奏背景，同时也可上传符合文件像素等要求的三维全景图。
所述乐器选择模块，该模块提供钢琴类网络虚拟乐器、提琴类网络虚拟乐器、网络虚拟架子鼓、网络虚拟口琴、网络虚拟木管乐器、网络虚拟铜管乐器等，并且每种乐器都配有相应的使用指南；此模块提供虚拟乐器试听功能；选择虚拟乐器后，生成可调整页面大小的虚拟乐器演奏窗口。
所述方位选择模块，通过全景嵌入HTML页面技术，在已选定的全景漫游图页面中响应出已选定的虚拟乐器页面，能够直接通过鼠标拖曳的方式将乐器页面选择到全景漫游场景中的任一处并进行演奏。
所述演奏模块，使用虚拟乐器在漫游平台里进行在线演奏。
所述作品录制上传模块，使用一个在线的录音器和录屏器作为主体，对用户的演奏过程进行录屏与录音，演奏完毕后提供预览/上传功能，对其中选择上传的作品提供命名操作；
所述作品展示模块，将上传作品在作品公开展览窗口进行展示，提供浏览服务。
如图1所示，本发明系统的操作流程如下：
用户在点击进入系统之后，首先进入全景图的选择界面，提示用户选择素材库中的已有全景图或者选择上传全景图来用作演奏场景。
完成全景图的选择之后，进入到虚拟乐器的选择页面，提示用户点击选择需要使用的乐器并生成相应的虚拟乐器页面；同时用户也可以先通过在此页面按下不同虚拟乐器的对应键盘按键播放相对应的试听音频。
在全景图与虚拟乐器都选定之后，用户可通过全景漫游系统内选定并生成的全景漫游图对演奏场景进行三百六十度无死角地全方位浏览，同时还可通过拖曳鼠标等操作，将虚拟乐器页面嵌入到全景漫游场景中某个心仪的方位。
之后可通过作品录制上传模块录制音乐作品，当用户演奏完毕后，可再次点击模块意味着演奏结束，此时可以预览作品，对于满意的作品可以选择演奏页面内上传按钮进行上传。
在服务器端审核上传至系统的作品，需确保其命名及格式等属性的有效性，对审核通过的作品进行存储，同时在数据库中添加音乐作品记录。
对于审核通过的作品可在系统的展览页面进行在线浏览。
本发明可用于：
一、为浏览博物馆等三维场景配置所需乐器进行背景音乐的演奏。
选定目标博物馆之后，确定其所需拍摄风格、光线、角度等要求，随后进行拍摄并合成三维全景图，并选择上传。针对上传的三维全景图，用户选择对应风格的虚拟乐器并生成虚拟页面。将虚拟乐器的虚拟页面通过鼠标拖曳的形式选择到全景图中合适的位点，就可以开始运用虚拟乐器进行配乐演奏；当用户选择开始演奏时，系统会对整个流程进行录屏与录音，演奏完毕可选择结束，系统会将整个过程进行上传，并提供预览服务，用户通过预览后，可选择满意的作品进行上传，然后服务器将对其进行审核，以此来保证每个作品命名等格式的有效性，审核通过后，将会在服务器中存储演奏视频文件，并在系统数据库中添加记录。
二、为音乐家等人才演奏所需灵感提供相应的三维场景，并提供简便易操作的虚拟乐器，通过虚拟乐器进行谱曲等演奏行为
当音乐家有演奏需求时，可以根据灵感等先决条件构思出乐曲的风格，然后寻找或拍摄一张满意的全景图片并选择上传，再选择一个想要演奏的乐曲的适配乐器，并生成相应的虚拟乐器页面，最后通过鼠标拖曳等形式将乐器放置在全景图中合适的位置，即可开始沉浸式演奏体验。当用户选择开始创作时，系统会对整个流程进行录屏与录音，创作结束时，操作系统将整个创作过程上传数据库，服务器将对其进行审核，以此来保证每个作品命名等格式的有效性，通过审核后，便完成在系统数据库的储存，并完成创作，音乐家便能够依托本发明完成了整个演奏过程。
在上述实施例中，平台本身集成多种虚拟乐器与三维全景图，包括钢琴类网络虚拟乐器、提琴类网络虚拟乐器、网络虚拟架子鼓、网络虚拟口琴、网络虚拟木管乐器、网络虚拟铜管乐器，下面就对上述三维全景图及各虚拟乐器及其交互方式作介绍。
三维全景图构建方法基于图像信息采集模块以及图像拼接模块。
所述图像信息采集模块，为按照一定顺序地进行拍摄任务，获取三维全景图所需原始素材，并对原始素材进行调色、降噪、调整灰度等处理。
所述图像拼接模块，是将上一模块获取的素材通过图像拼接技术这一全景制作的内容实现手段，通过匹配算法对图像的坐标进行排列分布，匹配图像之间的缝合位置，进而拼接成一张三维全景图。
如图2所示，三维全景图的具体构建步骤如下：
步骤一，首先确定一个拍摄主题，然后在该主题下选择一个场景进行拍摄。
步骤二，调节拍摄工具中心节点和确定拍摄工具所需旋转角度。
步骤三，进行图像信息采集工作。具体拍摄顺序如下：
(1)将三脚架调整水平，接下来将全景云台安装在三脚架上并保证安装稳固，将快装板安装在相机身上并保证稳固，核准相机的节点，以免拍摄的位移误差。
(2)将相机安装在云台上，选定一个刻度并对准，根据所处环境以及拍摄内容要求调整相机的拍摄模式、焦距、光圈、快门等参数，使画面清晰且曝光合适；
(3)控制云台使镜头与地面平行，每隔60度便拍摄一张图片，一共拍6张覆盖360°直至回到原点。然后控制云台将镜头向上与向下分别倾斜45度，重复拍摄任务，最后控制云台使相机镜头垂直对面面向天空，拍摄一张照片。
(4)拍摄结束，检查拍摄内容的质量，如有问题则重复上述操作。
步骤四，对采集的图像进行图像拼接处理成一张全景图。
基于静态图像的静态拼接主要依靠匹配算法进行拼接，算法通过控制点对图像的坐标进行排列分布，匹配图像之间的缝合位置，进而拼接成一张全景图。如果在拼接过程中出现肉眼可见的错位或瑕疵，还可以通过手动操作进行完善。
各网络虚拟乐器简介如下
(1)钢琴类网络虚拟乐器
一种钢琴类网络虚拟乐器包括虚拟钢琴界面、虚拟钢琴琴键映射清单、动态交互模块、音频调用以及播放模块。
所述虚拟钢琴界面，本模块作为整个虚拟乐器的主界面，直接与用户进行交互，利用图像处理软件设计一个个独立的琴键图片，并通过网页布局的方式将这些独立的琴键图片进行排列拼接，用户根据自己的需要确定琴键的数量，从而构成不同形式的钢琴键盘界面。
所述虚拟钢琴琴键映射清单，用于确定电脑键盘的按键和虚拟钢琴的琴键之间的对应关系；以及确定电脑键盘的按键和虚拟钢琴的不同单音的音频文件之间的对应关系。
具体对应关系如下表所示。
表1电脑键盘的按键和虚拟钢琴的琴键、不同单音的音频文件之间的对应关系表
所述动态交互模块，是整个乐器和用户之间进行交互的主要部分，通过虚拟钢琴琴键映射清单，将电脑键盘被按下或虚拟钢琴琴键被鼠标点击这一事件映射到虚拟钢琴的某一个或几个琴键被按下，再对相应琴键图片进行切换以实现不同的阴影效果变换，用于模拟真实的钢琴琴键被按下和弹起的过程。
所述音频调用以及播放模块，提前录制真实钢琴琴键被按下时的声音作为音源，将电脑键盘被按下或虚拟钢琴琴键被鼠标点击这一事件映射到虚拟钢琴的某一个或几个琴键被按下，再根据虚拟钢琴的琴键和其发出的单音的对应关系，调用扬声器播放对应音频。
(2)提琴类网络虚拟乐器
一种提琴类网络虚拟乐器，包括虚拟提琴界面、虚拟提琴映射清单、动态交互模块、音频调用以及播放模块。
所述虚拟提琴界面，本模块作为整个虚拟乐器的主界面，直接与用户进行交互，利用图像处理软件制作提琴的琴身和琴弓的图片，并通过网页布局的方式将独立的琴身和琴弓图片进行拼接组合，从而构成完整的提琴界面；用户可以根据自己的需要确定琴身和琴弓的样式，从而构成不同种类的提琴乐器界面。
所述虚拟提琴映射清单，用于确定电脑键盘的按键和虚拟提琴不同单音的音频文件之间的对应关系；具体对应关系如下表所示。
表2电脑键盘的按键和虚拟提琴不同单音的音频文件之间的对应关系表
| 电脑按键 | Q | W | E | R | T | Y | U |
| 实际音高 | C5 | D5 | E5 | F5 | G5 | A5 | B5 |
| 音频文件 | C5.mp3 | D5.mp3 | E5.mp3 | F5.mp3 | G5.mp3 | A5.mp3 | B5.mp3 |
| 电脑按键 | Z | X | C | V | B | N | M |
| 实际音高 | C3 | D3 | E3 | F3 | G3 | A3 | B3 |
| 音频文件 | C3.mp3 | D3.mp3 | E3.mp3 | F3.mp3 | G3.mp3 | A3.mp3 | B3.mp3 |
| 电脑按键 | A | S | D | F | G | H | J |
| 实际音高 | C4 | D4 | E4 | F4 | G4 | A4 | B4 |
| 音频文件 | C4.mp3 | D4.mp3 | E4.mp3 | F4.mp3 | G4.mp3 | A4.mp3 | B4.mp3 |
所述动态交互模块，是整个乐器和用户之间进行交互的部分，通过虚拟提琴映射清单，将电脑键盘被按下这一事件映射到虚拟提琴被拉奏，模拟真实的提琴演奏中琴弓来回拉动，提琴发声的过程。
所述音频调用以及播放模块，提前录制真实提琴演奏时的声音作为音源，通过设定的电脑键盘的按键和虚拟提琴不同单音的音频文件的对应关系，将电脑键盘被按下这一事件映射到虚拟提琴的某一个单音被演奏，再根据提琴的单音和录制的音源的对应关系，调用扬声器播放对应音频。
(3)网络虚拟架子鼓
一种网络虚拟架子鼓，包括虚拟架子鼓界面、虚拟架子鼓映射清单、动态交互模块、音频调用以及播放模块。
所述虚拟架子鼓界面，是直接对虚拟架子鼓进行展示的模块，利用图像处理软件制作一个个独立的鼓的图片，每个鼓的图片都包括被打击和未被打击两种效果的图片，并通过网页布局的方式将这些独立的鼓的未被打击效果的图片进行排列拼接，从而构成成套的架子鼓界面。
所述虚拟架子鼓映射清单，用于确定电脑键盘的按键和虚拟架子鼓各部分之间的对应关系，以及电脑键盘的按键和音频文件之间的对应关系。具体对应关系如下表所示。
表3电脑键盘的按键和虚拟架子鼓各部分之间的对应关系表
所述动态交互模块，是整个乐器和用户之间进行交互的部分，通过虚拟架子鼓映射清单，将电脑键盘被按下这一事件映射到架子鼓的某一个或几个鼓被打击，再通过对被打击的鼓的图片进行切换，利用视觉的暂留效应实现鼓被打击的动画效果，模拟真实的架子鼓被打击并发声的过程。
所述音频调用以及播放模块，提前录制真实架子鼓被打击时的声音作为音源，将电脑键盘被按下这一事件映射到架子鼓的某一个或几个鼓被打击，再根据虚拟架子鼓的鼓和其发出的声音的对应关系，调用扬声器播放对应音频。
(4)网络虚拟口琴
一种网络虚拟口琴，包括虚拟口琴界面、虚拟口琴映射清单、动态交互模块、音频调用以及播放模块。
所述虚拟口琴界面，该模块主要是网络虚拟口琴的交互与展示界面，利用图像处理软件制作口琴的琴架和琴孔的图片，并通过网页布局的方式对口琴琴架和琴孔的图片进行组合、布局，从而构成完整的口琴界面。
所述虚拟口琴映射清单，用于确定电脑键盘的按键和虚拟口琴琴孔之间的对应关系，以及电脑键盘的按键和音频文件的对应关系。具体对应关系如下表所示。
表4电脑键盘的按键和音频文件的对应关系表
所述动态交互模块，是整个乐器和用户之间进行交互的部分，通过虚拟口琴映射清单，将电脑键盘被按下这一事件映射到虚拟口琴的某一个或几个琴孔被吹奏，再通过对被吹奏的琴孔的图片进行切换，模拟真实的口琴被吹奏并发声的过程。
所述音频调用以及播放模块，提前录制真实口琴吹奏时的声音作为音源，将电脑键盘被按下这一事件映射到虚拟口琴的某一个或几个琴孔被吹奏，再根据虚拟口琴的琴孔和其发出的声音的对应关系，调用扬声器播放对应音频。
(5)网络虚拟木管乐器
一种网络虚拟木管乐器，包括虚拟木管乐器界面、虚拟木管乐器映射清单、动态交互模块、音频调用以及播放模块。
所述虚拟木管乐器界面，本模块作为整个虚拟木管乐器的主界面，直接与用户进行交互，利用图像处理软件制作独立的木管乐器图片以及与木管乐器的按指孔同等大小的黑色圆形矢量图，并通过网页布局的方式在吹奏类木管乐器的每个按指孔上覆盖一个黑色圆形矢量图，从而构成完整的木管乐器界面；用户可以根据自己的需要确定木管乐器的样式，从而构成不同种类的木管乐器界面。
所述虚拟木管乐器映射清单，用于确定电脑键盘的按键和虚拟木管乐器不同单音之间的对应关系，以及电脑键盘的按键和虚拟木管乐器不同单音的音频文件之间的对应关系；其中，不同单音对应不同的按指孔。具体对应关系如下表所示。
表5电脑键盘的按键和虚拟木管乐器不同单音的音频文件之间的对应关系
所述动态交互模块，是整个乐器和用户之间进行交互的部分，通过虚拟木管乐器映射清单，将电脑键盘被按下这一事件映射到虚拟木管乐器的某一个单音被演奏，进一步映射到虚拟木管乐器的某些按指孔被使用，模拟虚拟木管乐器演奏及发声的过程。
所述音频调用以及播放模块，提前录制真实木管乐器演奏时的声音作为音源，将电脑键盘被按下这一事件映射到虚拟木管乐器的某一个单音被演奏，再根据木管乐器的单音和录制音源的对应关系，调用扬声器播放对应音频。
(6)网络虚拟铜管乐器
一种网络虚拟铜管乐器，包括虚拟铜管乐器界面、虚拟铜管乐器映射清单、动态交互模块、音频调用以及播放模块。
所述虚拟铜管乐器界面，本模块作为整个虚拟铜管乐器的主界面，直接与用户进行交互，利用图像处理软件制作独立的管身和按键的图片，并通过网页布局的方式将独立的管身和按键图片进行拼接组合，从而构成完整的铜管乐器界面。用户可以根据自己的需要确定管身和按键的样式，从而构成不同种类的铜管乐器界面。
所述虚拟铜管乐器映射清单，用于确定电脑键盘的按键和虚拟铜管乐器不同单音之间的对应关系，以及电脑键盘的按键和虚拟木管乐器不同单音的音频文件之间的对应关系；其中，不同单音对应不同的虚拟铜管乐器的按键。具体对应关系如下表所示。
表6电脑键盘的按键和虚拟木管乐器不同单音的音频文件之间的对应关系表
所述动态交互模块，是整个乐器和用户之间进行交互的部分，通过虚拟铜管乐器映射清单，将电脑键盘被按下这一事件映射到虚拟铜管乐器的某一个单音被演奏，进一步映射到虚拟铜管乐器的某些按键被使用，模拟虚拟铜管乐器演奏及发声的过程。
所述音频调用以及播放模块，提前录制真实铜管乐器演奏时的声音作为音源，将电脑键盘被按下这一事件映射到虚拟铜管乐器的某一个单音被演奏，再根据铜管乐器的单音和录制音源的对应关系，调用扬声器播放对应音频。
三维全景与虚拟乐器交互方式具体实现方式如下
本实施例提供了一种三维全景与虚拟乐器的交互方法，基于全景图漫游平台、虚拟乐器映射清单、动态交互模块和视频调用模块。
所述全景图漫游平台，本模块为该交互方式的主界面，利用全景漫游制作软件将2D的全景图片通过实景虚拟技术实现真实场景的360度无死角的还原展示；系统内部存储有常见的全景图类型，也可以上传其他符合呈现要求的全景图，从而满足不同种类场景的个性化需求。
所述虚拟乐器选择映射清单，用于确定使用者选择虚拟乐器的种类。可通过识别出鼠标左键单击的不同乐器模型进而确认选择的乐器；同时由于不同种类的虚拟乐器具备不同的音色音高等特点，可通过建立不同的键盘按键与不同种类虚拟乐器的试听音频文件之间的映射关系，对按键对应的虚拟乐器进行音频试听，不同种类的乐器对应其相应实体乐器的演奏音频。具体对应关系如下表所示。
表7不同的键盘按键与不同种类虚拟乐器的试听音频文件之间的映射关系表
| 电脑按键 | Q | W | E | R | T | Y |
| 对应乐器 | 提琴 | 口琴 | 钢琴 | 铜管乐器 | 架子鼓 | 木管乐器 |
| 音频文件 | violin.mp3 | harmonica.mp3 | piano.mp3 | brass.mp3 | drum.mp3 | woodwind.mp3 |
所述动态交互模块，是指选择了虚拟乐器与全景漫游图之后，将要进行人机交互的部分。通过在选定的全景漫游图中响应用户所选定虚拟乐器的演奏窗口，实现虚拟乐器与三维全景图的交互，使得用户能够在全景漫游图的主界面中任一位置使用虚拟乐器进行演奏，且可选择乐器模型的大小，同时模拟出虚拟乐器演奏及发声的过程。
所述视频调用模块，提前录制好用户选择的虚拟乐器演奏时不同演奏方法的对应音频文件作为音源，将电脑键盘被按下这一事件映射到该虚拟乐器的某一个单音被演奏，再根据虚拟乐器的单音和录制音源的对应关系，调用扬声器播放对应音频；同时通过电脑录屏软件，将在全景漫游中的整个演奏过程给记录下来。
在上述实施例中，如图3所示，映射清单的具体实现方式如下：
步骤一，判断用户是否使用电脑键盘或鼠标等外部设备点击网络虚拟乐器的选择页面。
步骤二，当用户使用电脑键盘按键，则读取电脑键盘的键值，根据电脑键盘的键值和网络虚拟乐器的对应关系确定对应到某一具体虚拟乐器；判断方式为建立一个Javascript的脚本文件，然后调用脚本文件内部的Onkeydown函数，用以判断电脑键盘是否被按下，若按下，则获取其具体的键值；跳至步骤四
步骤三，如果用户使用鼠标点击选择了一个虚拟乐器，获取该虚拟乐器的id；根据虚拟乐器与id的对应关系确定并弹出相应演奏窗口；
步骤四，建立一个Javascript脚本，并通过CSS类中乐器的a标签添加或去除来模拟出虚拟乐器不同按键选择与被选择时的效果，系统从而实现弹奏的视觉效果，并通过映射清单的对应关系，调用脚本文件内部的play函数播放储存至系统内部的试听音源。
在上述实施例中，如图4所示，三维全景与虚拟乐器交互具体实现方式如下：
当用户单击选择某种虚拟乐器后，通过Javascriot内部的onclick函数可获取该虚拟乐器的id；根据虚拟乐器与id的对应关系确定应当响应的虚拟乐器演奏窗口，并打开所选中虚拟乐器的页面窗口，且打开的演奏窗口可在onclick函数中调用foxma_px方法调整窗口的长与宽，并可通过鼠标旋转或移动窗口使其放置到全景漫游中的任一位置。
同时再次通过新建一个Javascript脚本文件来控制虚拟乐器的音源，通过调用脚本文件内部的Onkeydown函数，用以判断电脑键盘是否被按下；若按下，则获取其具体的键值；当用户对虚拟乐器进行演奏时，通过映射清单所对应的关系，将外部输入数据映射至虚拟乐器的某一个单音或和弦上，并通过CSS类中乐器的a标签添加或去除来模拟出虚拟乐器不同按键选择与被选择时的效果，系统从而实现弹奏的视觉效果以及通过脚本文件内部的play函数播放储存至系统内部的音源完成演奏。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于全景漫游平台的虚拟乐器演奏方法，其特征在于，包括以下步骤：
响应用户的启动动作，显示全景图的选择界面，提示用户选择素材库中的已有全景图或者选择上传全景图来用作演奏场景；
响应用户的全景图选择动作，显示虚拟乐器的选择页面；
响应用户的虚拟乐器选择动作，生成相应的虚拟乐器页面；
获取虚拟乐器界面的移动指令，移动虚拟乐器页面到演奏场景中的指定方位；
获取虚拟乐器的输入按键信息，调取存储有虚拟乐器的动画和音频的显示数据库，根据预存储的各虚拟乐器的按键指令与显示数据库内动画和音频的对应关系，播放与输入按键信息相对应的动画与音频；
响应用户的录制指令，对动画和音频进行录屏与录音；响应用户的停止录制指令，停止录音和录屏，生成演奏作品；
响应用户的预览指令，生成并显示演奏作品的预览界面；
响应用户的命名指令，更改演奏作品的名称并保存；
响应用户的上传指令，上传演奏作品至服务器的作品数据库。
2.根据权利要求1所述的基于全景漫游平台的虚拟乐器演奏方法，其特征在于，响应用户的浏览指令，获取并展示服务器的作品数据库中的演奏作品。
3.根据权利要求1所述的基于全景漫游平台的虚拟乐器演奏方法，其特征在于，所述全景图的构建步骤包括：
获取原始素材，并对图像处理，获取待拼接素材；
将所述待拼接素材通过匹配算法进行排列分布，匹配所述待拼接素材之间的缝合位置，进而拼接成一张全景图。
4.根据权利要求3所述的基于全景漫游平台的虚拟乐器演奏方法，其特征在于，获取原始素材，并对图像处理，获取待拼接素材的方法包括以下步骤：
将三脚架调整水平，接下来将全景云台安装在三脚架上并保证安装稳固，将快装板安装在相机身上并保证稳固，核准相机的节点，以免拍摄的位移误差；
将相机安装在云台上，选定一个刻度并对准，根据所处环境以及拍摄内容要求调整相机的参数，使画面清晰且曝光合，所述相机的参数包括拍摄模式、焦距、光圈、快门；
控制云台使镜头与地面平行，每隔60度便拍摄一张图片，一共拍6张覆盖360°直至回到原点；
控制云台将镜头向上与向下分别倾斜45度，每隔60度便拍摄一张图片，一共拍6张覆盖360°直至回到原点；
控制云台使相机镜头垂直对面面向天空，拍摄一张照片；
将以上步骤得到的照片作为原始素材，对原始素材进行调色、降噪、调整灰度处理，得到待拼接素材。
5.根据权利要求1所述的基于全景漫游平台的虚拟乐器演奏方法，其特征在于，根据预存储的各虚拟乐器的按键指令与显示数据库内动画和音频的对应关系，播放与输入按键信息相对应的动画与音频的方法包括：
获取输入按键信息，根据虚拟乐器映射清单，在所述虚拟乐器页面上显示对应的乐器动作动画，同时调用对应的提前录制的音频，并通过扬声器播放对应音频；
所述虚拟乐器映射清单，用于确定电脑键盘的按键和虚拟乐器之间的对应关系以及确定电脑键盘的按键和虚拟乐器的不同单音的音频文件之间的对应关系。
6.根据权利要求5所述的基于全景漫游平台的虚拟乐器演奏方法，其特征在于，获取输入按键信息，根据虚拟乐器映射清单，在所述虚拟乐器页面上显示对应的乐器动作动画，同时调用对应的提前录制的音频，并通过扬声器播放对应音频的方法包括以下步骤：
响应用户的唤醒信息，显示网络虚拟乐器的选择页面；
获取输入按键信息，则获取其具体的键值；
根据虚拟乐器映射清单，模拟出虚拟乐器不同按键选择与被选择时的效果，并通过虚拟乐器映射清单的对应关系，调用播放预存储的音频。
7.根据权利要求1所述的基于全景漫游平台的虚拟乐器演奏方法，其特征在于，响应用户的虚拟乐器选择动作，生成相应的虚拟乐器页面的方法包括以下步骤：
响应用户的虚拟乐器选择动作，获取选择的虚拟乐器的id；
根据虚拟乐器与id的对应关系确定应当响应的虚拟乐器演奏窗口，并打开所选中虚拟乐器页面的窗口，且打开的虚拟乐器页面的窗口调整窗口的长与宽，并可通过鼠标旋转或移动窗口使其放置到全景漫游中的任一位置。
8.一种基于全景漫游平台的虚拟乐器演奏系统，包括通过网络相连接的客户终端和服务器；
所述客户终端设置有人机交互界面，所述人机交互界面包括场景选择模块、乐器选择模块、方位选择模块、演奏模块、作品录制上传模块；
所述场景选择模块用于提供作为网络虚拟乐器的演奏背景的全景图，以及上传全景图；
所述乐器选择模块用于提供多种网络虚拟乐器；所述乐器选择模块能够响应虚拟乐器的选择动作，生成虚拟乐器页面；
所述方位选择模块用于在已选定的三维全景图中将所述虚拟乐器页面调整到三维全景图中的任一处并启用演奏模块；
所述演奏模块用于获取虚拟乐器的输入按键信息，根据预存储的各虚拟乐器的按键指令与试听音频的对应关系，播放与输入按键信息相对应的音频；
所述作品录制上传模块用于对显示界面和音频进行录屏与录音，生成演奏作品，录音和录屏结束后对所述演奏作品进行预览、命名并上传该演奏作品至服务器的作品数据库。
9.根据权利要求8所述的基于全景漫游平台的虚拟乐器演奏系统，其特征在于，所述人机交互界面还包括作品展示模块；
所述作品展示模块用于获取并展示服务器的作品数据库中的演奏作品。
10.根据权利要求8所述的基于全景漫游平台的虚拟乐器演奏系统，其特征在于，所述演奏模块包括虚拟乐器页面、虚拟乐器映射清单、动态交互模块、音频调用以及播放模块；
所述虚拟乐器页面用于与用户进行交互；
所述虚拟乐器映射清单，用于确定电脑键盘的按键和虚拟乐器之间的对应关系；以及确定电脑键盘的按键和虚拟乐器的不同单音的音频文件之间的对应关系；
所述动态交互模块，用于获取输入按键信息，根据虚拟乐器映射清单，在所述虚拟乐器页面上显示对应的乐器动作动画；
所述音频调用以及播放模块，用于获取输入按键信息，根据虚拟乐器映射清单，调用提前录制的音频，并通过扬声器播放对应音频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110835664.XA CN113485559A (zh) | 2021-07-23 | 2021-07-23 | 基于全景漫游平台的虚拟乐器演奏方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110835664.XA CN113485559A (zh) | 2021-07-23 | 2021-07-23 | 基于全景漫游平台的虚拟乐器演奏方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113485559A true CN113485559A (zh) | 2021-10-08 |
Family
ID=77943305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110835664.XA Pending CN113485559A (zh) | 2021-07-23 | 2021-07-23 | 基于全景漫游平台的虚拟乐器演奏方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113485559A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915374A (zh) * | 2015-04-27 | 2015-09-16 | 厦门理工学院 | 一种旅游景区360度全景构建系统及方法 |
| CN107331377A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种基于虚拟乐器的音乐众筹众创平台 |
| CN107329691A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种网络虚拟铜管乐器 |
| CN107329660A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种钢琴类网络虚拟乐器 |
| CN107358943A (zh) * | 2017-07-03 | 2017-11-17 | 武汉理工大学 | 一种网络虚拟木管乐器 |
| CN112203114A (zh) * | 2020-09-07 | 2021-01-08 | 佛山创视嘉科技有限公司 | 协同演奏方法、系统、终端设备及存储介质 |
-
2021
- 2021-07-23 CN CN202110835664.XA patent/CN113485559A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915374A (zh) * | 2015-04-27 | 2015-09-16 | 厦门理工学院 | 一种旅游景区360度全景构建系统及方法 |
| CN107331377A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种基于虚拟乐器的音乐众筹众创平台 |
| CN107329691A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种网络虚拟铜管乐器 |
| CN107329660A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种钢琴类网络虚拟乐器 |
| CN107358943A (zh) * | 2017-07-03 | 2017-11-17 | 武汉理工大学 | 一种网络虚拟木管乐器 |
| CN112203114A (zh) * | 2020-09-07 | 2021-01-08 | 佛山创视嘉科技有限公司 | 协同演奏方法、系统、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11004434B2 (en) | Systems and methods for visual image audio composition based on user input | |
| US9761151B2 (en) | Analyzing or emulating a dance performance through dynamic point referencing | |
| CN106465008B (zh) | 终端混音系统和播放方法 | |
| US20200374645A1 (en) | Augmented reality platform for navigable, immersive audio experience | |
| AU756265B2 (en) | Apparatus and method for presenting sound and image | |
| JP4735108B2 (ja) | 音声信号処理方法、音場再現システム | |
| JP4755672B2 (ja) | コンテンツ編集装置、方法及びプログラム | |
| CN107079189A (zh) | 灯控制 | |
| US20150317391A1 (en) | Media playable with selectable performers | |
| KR101414217B1 (ko) | 실시간 영상합성 장치 및 그 방법 | |
| JP2017005371A (ja) | 共演映像演出装置および共演映像演出システム | |
| JP2007028242A (ja) | 端末装置および同端末装置に適用されるコンピュータプログラム | |
| US20140266766A1 (en) | System and method for controlling multiple visual media elements using music input | |
| CN113485559A (zh) | 基于全景漫游平台的虚拟乐器演奏方法及系统 | |
| Comunità et al. | Web-based binaural audio and sonic narratives for cultural heritage | |
| CA3044260A1 (en) | Augmented reality platform for navigable, immersive audio experience | |
| JP2017010326A (ja) | 画像データ生成装置およびコンテンツ再生装置 | |
| Holm et al. | Spatial audio production for 360-degree live music videos: Multi-camera case studies | |
| Bloomberg | Making Musical Magic Live | |
| Wang et al. | Method for Creation of Original Music by the VR Panorama Based Virtual Instrument | |
| Gasselseder et al. | Beyond the Audience Seat: The recording and production of immersive opera and interactive concerto programmes for VR experiences | |
| Ellis-Geiger | TRENDS IN CONTEMPORARY HOLLYWOOD FILM SCORING | |
| Lossius | Sound space body: Reflections on artistic practice | |
| KR20190080086A (ko) | 그래픽 컨텐츠 기반 작곡서비스 운영장치 | |
| Ballivian | Creating, Capturing and Conveying Spatial Music: An Open-Source Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211008 |
|
| RJ01 | Rejection of invention patent application after publication |