CN109799903A - 基于虚拟现实的打击乐方法、终端设备及系统 - Google Patents

Abstract

本发明适用于虚拟现实技术领域，提供了基于虚拟现实的打击乐方法、终端设备及系统，其中所述方法包括：构建虚拟场景，其中所述虚拟场景包括虚拟打击乐器、目标演奏曲目以及根据所述目标演奏曲目标示于所述虚拟打击乐器上的提示信息；获取用户处于所述虚拟场景中的动作交互数据，并根据所述动作交互数据生成响应信息，其中所述响应信息包括视觉响应信息、听觉响应信息及力觉响应信息。本发明实施例能够有效地实现打击乐训练并降低对周围环境影响。

Description

基于虚拟现实的打击乐方法、终端设备及系统

技术领域

本发明属于虚拟现实技术领域，尤其涉及一种基于虚拟现实的打击乐方法、终端设备及系统。

背景技术

在现实生活中，打击乐的学习者通常需要有专门的场所进行练习，以便提供场地供打击乐器的置放以及避免打击乐的声音对他人造成干扰。

但是，有时缺乏专门的场所提供给学习者进行打击乐练习，并且学习者进行自我练习过程中常常缺乏有效的指导。

发明内容

有鉴于此，本发明实施例提供了基于虚拟现实的打击乐方法、终端设备及系统，以解决现有技术中如何有效地实现打击乐训练并降低对周围环境影响的问题。

本发明实施例的第一方面提供了一种基于虚拟现实的打击乐方法，包括：

构建虚拟场景，其中所述虚拟场景包括虚拟打击乐器、目标演奏曲目以及根据所述目标演奏曲目标示于所述虚拟打击乐器上的提示信息；

获取用户处于所述虚拟场景中的动作交互数据，并根据所述动作交互数据生成响应信息，其中所述响应信息包括视觉响应信息、听觉响应信息及力觉响应信息。

本发明实施例的第二方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述基于虚拟现实的打击乐方法的步骤。

本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述基于虚拟现实的打击乐方法的步骤。

本发明实施例的第四方面提供了一种基于虚拟现实的打击乐系统，包括终端设备、头戴显示设备及动作交互设备，其中：

所述终端设备为如第二方面所述的终端设备；

所述头戴显示设备包括：显示单元，用于显示所述终端设备构建的虚拟场景；视觉响应信息及听觉响应信息获取单元，用于获取并输出所述终端设备生成的视觉响应信息及听觉响应信息；

所述动作交互设备，包括：动作交互数据采集单元，用于采集所述动作交互数据，并将所述动作交互数据发送给所述终端设备；力觉响应信息获取单元，用于获取并输出所述终端设备生成的力觉响应信息。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例由于构建包括虚拟打击乐器的虚拟场景，使得用户可以在虚拟场景中进行打击乐练习，并获得与实体打击乐相似的响应信息，因此可以让用户在不影响周围环境的情况下进行打击乐练习；同时，由于虚拟场景中包含标示于虚拟打击乐器上的提示信息，可以使用户在虚拟场景中根据提示信息的指导进行练习，提高打击乐练习的训练效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的第一种基于虚拟现实的打击乐方法的实现流程示意图；

图2是本发明实施例提供的第二种基于虚拟现实的打击乐方法的实现流程示意图；

图3是本发明实施例提供的第三种基于虚拟现实的打击乐方法的实现流程示意图；

图4是本发明实施例提供的终端设备的示意图；

图5是本发明实施例提供的一种基于虚拟现实的打击乐系统的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一：

图1示出了本申请实施例提供的第一种基于虚拟现实的打击乐方法的流程示意图，详述如下：

在S101中，构建虚拟场景，其中所述虚拟场景包括虚拟打击乐器、目标演奏曲目以及根据所述目标演奏曲目标示于所述虚拟打击乐器上的提示信息。

通过几何建模和物理建模，构建虚拟场景。其中，几何建模可以采用人工的几何建模法或者自动的几何建模法。人工的几何建模是指利用常用的虚拟现实工具或建模软件进行建模，如Open GL、VRML、Auto CAD、2DMAX等。自动的几何建模法，例如采用三维扫描仪对实际物体进行建模。

在几何建模之后，进行物理建模。物理建模是基于物理方法的建模，一般采取微分方程构成动力学系统来描述物体的物理属性，即建立体现物体的重量、惯性、表面硬度、柔软度和形变模式(弹性的还是塑性的)等物理属性的模型综合体。

优选地，采用自动的几何建模法和物理建模，构建虚拟场景。

自动的几何建模法通过扫描等方式，自动将现实世界的物体转化成对应的计算机虚拟物体，不需要进行复杂费时的人工建模工作，提高构建虚拟场景的效率。

构建的虚拟场景中包括虚拟打击乐器、目标演奏曲目以及根据所述目标演奏曲目标示于所述虚拟打击乐器上的提示信息。

虚拟打击乐器可以包括虚拟空灵鼓、虚拟非洲鼓、虚拟锣鼓、架子鼓等，目标演奏曲目为与所述虚拟打击乐器对应的预存演奏曲目。可选地，接收用户的选择指令，选择当前虚拟场景中的虚拟打击乐器以及目标演奏曲目。

根据所述目标演奏曲目，获取所述目标演奏曲目的曲谱，生成对应的打击点提示信息，将该提示信息标示与虚拟打击乐器上的目标打击位置，以对用户进行练习指导。例如当前练习的打击乐器为空灵鼓，空灵鼓的鼓上有音符数字，可以根据目标演奏曲目，按照曲谱的音符出现时序，自动在虚拟空灵鼓上的音符数字显示标示信息，例如在音符数字上标红，以提示该音符数字为当前的打击点。或者，当前练习的打击乐器为非洲鼓时，由于非洲鼓曲谱包括低音B、中音T、高音S这三音信息、节奏信息、以及左L、右R这两个鼓面打击区域信息，其中低音B、中音T、高音S的对应打击点为鼓面的上、中、下区域，因此可以根据该曲谱，以特定时序在虚拟非洲鼓的鼓面显示目标打击位置，例如在鼓面上的目标打击位置显示红色。或者，当练习的打击乐器为中国锣鼓时，根据目标演奏曲目的曲谱，按照鼓点出现的时序以及所需的鼓音大小，在虚拟锣鼓的鼓面及鼓边显示提示信息，例如在鼓面或者鼓边冒出心型形状或者火星图案等，冒出的心型形状或者火星图案越大，代表提示当前目标打击位置所需打击力度越大。

可选地，所述虚拟场景还可以包括所述目标演奏曲目的曲谱信息和/或配合所述目标演奏曲目的背景音频。

获取目标演奏曲目的曲谱信息，并将其显示于虚拟场景中以便于用户对照曲谱进行打击乐练习。或者，获取与目标演奏曲目相配合的背景音频，在虚拟场景中播放所述背景音频，以便于用户根据背景音频进行打击乐练习。

可选地，在所述构建虚拟场景之前，还包括：

接收演奏模式选择指令，此时，所述构建虚拟场景具体为：根据所述演奏模式选择指令构建虚拟场景。

演奏模式包括指导练习模式及自由演奏模式，若接收到选择指导练习模式的演奏模式选择指令，则构建虚拟场景，其中所述虚拟场景包括虚拟打击乐器、目标演奏曲目以及根据所述目标演奏曲目标示于所述虚拟打击乐器上的提示信息。若接收到选择自由演奏模式的演奏模式选择指令，则屏蔽所述虚拟场景中的提示信息，即构建虚拟场景，其中所述虚拟场景包括虚拟打击乐器、目标演奏曲目，不显示所述提示信息。

在S201中，获取用户处于所述虚拟场景中的动作交互数据，并根据所述动作交互数据生成响应信息，其中所述响应信息包括视觉响应信息、听觉响应信息及力觉响应信息。

用户处于构建的虚拟场景中，进行打击乐练习，获取用户处于所述虚拟场景中的动作交互数据，即用户在虚拟场景中进行虚拟打击乐演奏时的动作数据。可选地，通过接收动作交互设备采集的用户动作信息，获取所述动作交互数据，所述动作交互数据可以包括用户手的位置信息、手势信息、运动速度及加速度等信息。

根据所述动作交互数据生成响应信息，其中，所述响应信息包括视觉响应信息、听觉响应信息及力觉响应信息。具体可包括以下步骤：

A1：根据所述动作交互数据，进行碰撞检测计算。

根据所述动作交互数据，进行碰撞检测计算，从而得到响应信息。根据动作交互数据进行碰撞检测可以分析用户与当前虚拟场景中物体的交互情况，例如通过用户手的位置信息可以分析虚拟手与当前与虚拟场景中的物体的接触位置，通过手势信息及加速度信息等可以分析用户当前作用于虚拟场景中物体的力度，例如作用于虚拟打击乐器的打击力度等。可通过空间分解法或者层次包围盒法进行碰撞检测计算，优选地，采用层次包围盒法进行碰撞检测计算，层次包围盒法的优点是大大地减少了虚拟场景中需要进行相交测试的几何体数目，大大提高了碰撞检测计算的效率。

A2：根据碰撞检测计算结果，进行形变计算，得到视觉响应信息。

若根据碰撞检测计算结果，虚拟场景中，用户的虚拟手与虚拟打击乐器进行了碰撞打击，相应计算虚拟打击乐器可能发生的形变，并实时更新虚拟场景中的物体发生的位移及形变信息，得到视觉响应信息。可选地，采用虚拟现实构造语言OpenGL API中提供的NURBS接口绘制变形结果。

A3：根据碰撞检测计算结果，进行力反馈计算，得到力觉响应信息。

例如，根据碰撞检测计算结果，得到用户作用于虚拟打击乐器的力度，根据牛顿第三定律及虚拟打击乐器的物理属性，进行力反馈计算，得到反馈给用户的力觉响应信息。可选地，所述虚拟打击乐器为柔软物体时，通过质点弹簧模型进行力反馈计算。

A4：根据碰撞检测计算结果，得到听觉响应信息。

根据碰撞检测计算结果获得用户作用于虚拟打击乐器的打击点位置，根据打击点位置播放打击乐器在相应打击点的音频信息，得到听觉响应信息。打击点的音频信息可以通过预先对乐器的声音采样、保存、重放，再通过声卡内部的处理而产生。

可选地，所述听觉响应信息为3D音频。可以根据碰撞检测计算结果对音源进行定位，分析音频信息，然后把它交给支持DS3D的声卡，再通过相关的HRTF(Head RelatedTransfer Functions，头部相关传递函数)算法实现虚拟的三维音效场景。可选地，利用DirectSound或则OpenAL/OSGAL三维音效库产生所述3D音频。

本发明实施例由于构建包括虚拟打击乐器的虚拟场景，使得用户可以在虚拟场景中进行打击乐练习，并获得与实体打击乐相似的响应信息，因此可以让用户在不影响周围环境的情况下进行打击乐练习；同时，由于虚拟场景中包含标示于虚拟打击乐器上的提示信息，可以使用户在虚拟场景中根据提示信息的指导进行练习，提高打击乐练习的训练效率。

实施例二：

图2示出了本申请实施例提供的第二种基于虚拟现实的打击乐方法的流程示意图，详述如下：

在S201中，构建虚拟场景，其中所述虚拟场景包括虚拟打击乐器、目标演奏曲目以及根据所述目标演奏曲目标示于所述虚拟打击乐器上的提示信息。

本实施例中S201与上一实施例中的S101相同，具体请参阅上一实施例中S101的相关描述，此处不赘述。

在S202中，获取用户处于所述虚拟场景中的动作交互数据，并根据所述动作交互数据生成响应信息，其中所述响应信息包括视觉响应信息、听觉响应信息及力觉响应信息。

本实施例中S202与上一实施例中的S102相同，具体请参阅上一实施例中S102的相关描述，此处不赘述。

可选地，在所述获取所述虚拟场景的动作交互数据，并根据所述动作交互数据生成响应信息之后，还包括：

根据所述动作交互数据生成测评数据。

根据动作交互数据，得到用户在虚拟场景中进行打击乐练习的打击点位置、打击力度、打击节奏等信息，与目标演奏曲目的标准演奏信息进行比较，通过一定的评测策略，得到测评数据，所述测评数据可包括击打频数、节奏准确率、任务完成度、综合评分等。可选地，根据动作交互数据结构及预训练的评测模型，生成测评数据。通过生成测评数据，可以让用户及时掌握每次的练习结果，以便做出相应的改进与强化训练计划。

可选地，在所述根据所述动作交互数据生成测评数据之后，还包括：

根据所述测评数据调整所述目标演奏曲目。

具体地，所述根据所述测评数据调整所述目标演奏曲目，包括：

B1：根据所述测评数据调整所述演奏难度等级。

B2：根据所述演奏难度等级调整所述目标演奏曲目。

虚拟场景中还包括演奏难度等级，在得到用户打击乐练习的测评数据之后，根据该测评数据调整演奏难度等级。例如当测评数据的综合评分分数超出第一预设分数时，说明当前用户的水平可以适应更高难度的训练，此时提高演奏难度等级；当测评数据的综合评分分数低于第二预设分数时，说明用户不适应当前难度的训练，此时降低演奏难度等级，其中第一预设分数高于第二预设分数，例如第一预设分数为90分，第二预设分数为60分。

根据调整后的演奏难度等级，调整目标演奏曲目。可选地，调整目标演奏曲目可以包括切换目标演奏曲目或者调整目标演奏曲目的节奏速度。可通过预设每个演奏难度等级对应的目标演奏曲目，或者预设每个演奏难度等级对应的目标演奏曲目的节奏速度，当演奏难度等级调整变化后，相应地切换到该演奏难度等级对应的目标演奏曲目，或者相应调整该目标演奏曲目的节奏速度。

根据用户练习虚拟打击乐的测评数据，自动确定用户适合的演奏难度等级，相应调整供用户练习的目标演奏曲目，使得打击乐的训练更加智能化、科学化。

可选地，在所述根据所述动作交互数据生成测评数据之后，还包括：

根据所述测评数据评估用户的神经认知功能水平。

根据测评数据里的击打频数、节奏准确率、任务完成度等，通过神经认知功能评估模型，得到用户的手眼协调性、注意力、反应灵敏性等神经认知功能水平，可以以分数表格或者图形的方式表示所述神经认知功能水平。可选地，根据所述用户的神经认知功能水平，反馈训练建议。可以通过反馈模型得到神经认知功能水平对应的预先存储的训练建议文件，以文本显示或者语音播放的形式，反馈训练建议给用户。

可选地，在所述根据所述测评数据分析用户的神经认知功能水平之后，还包括：

将所述用户的神经认知功能水平的评估结果发送给指定终端。

将用户的神经认知功能水平的评估结果发送给指定终端，以便音乐治疗师或者其他医生掌握用户的神经认知功能水平，制定相应的训练计划。

由于根据测评数据评估用户的神经认知功能水平，可以直观反映用户当前的手眼协调性、注意力、反应灵敏性等神经认知功能状况，以便作出相应的认知功能康复治疗计划。

可选地，所述方法还包括：获取用户处于所述虚拟场景中的运动参数数据及生理指标数据，存储并分析所述运动参数数据及生理指标数据。

虚拟打击乐训练除了供以用户游戏娱乐、调节情绪、音乐教学外，还具有让用户进行运动锻炼的作用。

通过用户佩戴的可穿戴设备采集用户的运动参数数据及生理指标数据，接收该可穿戴设备传送的数据，获取用户处于虚拟场景中的运动参数数据及生理指标数据。其中，运动参数数据可以包括运动量、运动距离等参数，生理指标数据可以包括人体的血压、血氧、呼吸频率、心率、皮肤温度等数据。

存储用户每次进行虚拟打击乐练习时的运动参数数据及生理指标数据，并对这些数据进行整理分析，得到用户通过虚拟打击乐练习消耗的热量、身体改善情况等。例如，通过运动参数数据及生理指标数据，可以分析计算得到用户消耗的卡路里数，获得能量消耗数据，也可以对目标时间段内每天的运动参数数据及生理指标数据进行分析，生成该目标时间段内用户每天的能量消耗曲线数据，以便用户直观地获取通过虚拟打击乐练习的所达到的能量消耗情况。又例如，通过记录存储用户每次进行虚拟打击乐练习的心率、血压、呼吸频率等生理指标数据，将这些数据与正常指标数据进行比较计算，可以及时反馈用户的身体健康水平，也可对目标时间段内的生理指标数据进行分析，生成目标时间段内用户每天的生理指标曲线，以便用户直观地掌握自己的身体健康水平的变化情况。

在S203中，获取用户处于所述虚拟场景中的运动参数数据及生理指标数据，并将所述运动参数数据及生理指标数据发送给指定终端。

虚拟打击乐还可以对用户进行音乐治疗、运动康复训练等。

可通过接收可穿戴设备的数据，获取用户处于虚拟场景中的运动参数数据及生理指标数据。将获取到的运动参数数据、生理指标数据发送给指定终端，音乐治疗师或者其他医生可以通过指定终端接收的数据，直观地检测用户当前的运动状态及身体健康状况，调整对用户的治疗或者康复训练计划等。

可选地，所述基于虚拟现实的打击乐方法还包括：

接收所述指定终端发送的音频或者视频信息，或者，在构建的虚拟场景中构建音乐治疗师的虚拟画面及播放对应的音频。

当用户用虚拟打击乐进行音乐治疗时，可以通过接收指定终端发送的音频或者视频信息，来与音乐治疗师进行沟通。音乐治疗师可以通过音频或者视频信息，为用户进行心理辅导及提供治疗建议等。

除了音频或者视频方式实现用户与音乐治疗师的沟通外，还可以通过构建音乐治疗时的虚拟画面及播放对应的音频，实现双方的沟通。利用人脸识别技术，对音乐治疗师的脸进行虚拟重构，得到音乐治疗师虚拟化身，该音乐治疗师虚拟化身可以模拟治疗师的表情，进行表情模拟，实现音乐治疗师虚拟化身面部表情和音乐治疗师表情同步，并结合接收的指定终端的音频，在虚拟场景中和用户语言交流。

具体地，构建音乐治疗时的虚拟画面，可包括以下步骤：

C1：接收指定终端传送的图像信息。

指定终端可以用Kinect深度传感器，通过处理深度数据来识别医生或者治疗师人体的图像信息，虚拟打击乐终端接收该指定终端传送的图像信息。

C2：根据所述图像信息，获得人脸表情识别结果。

图像获取后，结合面部表情的几何结构特征和面部纹理的图像熵以及显著性视觉特征，进行特征提取，并将结果输送至分类器进行表情分类。进入分类器，分类器将提取的人脸表情特征进行训练、分类，得到分类预测的结果，与人脸表情数据库进行比对测试，获得人脸表情识别结果。

C3：根据人脸表情识别结果，生成音乐治疗师虚拟化身的面部表情。

将动态表情识别结果通过3D虚拟人脸表现出来。完成虚拟人脸的建模并将其与动态表情序列中的人脸进行骨骼绑定，实现人脸表情识别技术在虚拟环境中的应用。

以虚拟画面来实现音乐治疗师或者医生与用户的交互，可以进一步增加用户在虚拟场景中的沉浸感，增强交互效果。

可选地，所述虚拟场景还包括演奏难度等级，此时，在所述获取用户处于所述虚拟场景中的运动参数数据及生理指标数据，并将所述运动参数数据及生理指标数据发送给指定终端之后，还包括：

接收所述指定终端的控制指令，调整所述演奏难度等级；

根据所述演奏难度等级调整所述目标演奏曲目。

指定终端接收到运动参数数据及生理指标数据后，音乐治疗师或者医生做出相应的判断，通过指定终端发送控制指令，调整虚拟场景中的演奏难度等级，根据演奏难度等级调整目标演奏曲目。通过接收指定终端的控制指令，实现虚拟打击乐训练强度的及时调整，以适应用户当前的身体状况。

本发明实施例除了可以让用户在不影响周围环境的情况下，根据提示信息的指导进行练习，提高打击乐练习的训练效率外，还关注虚拟打击乐的音乐治疗、运动康复训练功能。通过将用户进行虚拟打击乐练习时的运动参数数据及生理指标数据发送给指定终端，使得音乐治疗师或者医生可以远程监测用户的身体状况及训练状况，及时调整对用户的治疗或者康复训练计划。

实施例三：

图3示出了本申请实施例提供的第三种基于虚拟现实的打击乐方法的流程示意图，详述如下：

在S301中，接收团体训练模式选择指令。

本发明实施例的虚拟打击乐方法包括个人训练模式及团体训练模式。个人训练模式是指用户单独在虚拟场景中进行虚拟打击乐演奏，如实施例一所述即为个人训练模式下的虚拟打击乐方法。团体训练模式是，当前用户与其他用户进行交互，在虚拟场景中进行团体相互协作共同完成虚拟打击乐演奏。接收团体训练模式选择指令，可以在虚拟画面中显示选择对话框，接收用户通过动作交互设备在虚拟画面中的选择操作，获取团体训练模式选择指令；或者，通过用户对虚拟打击乐终端按下的物理按键，获取团体训练模式选择指令。

若没有接收到团体训练模式选择指令，则默认为个人训练模式，不执行以下步骤，直接执行实施例一中的S101、S102，具体请参见实施例一，此处不再赘述。

在S302中，与目标终端建立连接，构建团体训练虚拟场景。

可选地，通过一个中间服务器，与目标终端建立连接，其中目标终端可以为一个或者多个。由中间服务器根据接入的终端数量，通过复制式结构或者集中式结构的分布式虚拟现实技术建立团体训练虚拟场景。本地虚拟打击乐终端接收中间服务器的共享信息，构建团体训练虚拟场景。构建团体训练虚拟场景的模型建立过程与实施例一中的S101的描述类似，此处不再赘述。构建完成的团体训练虚拟场景中，除了本地虚拟打击乐终端可操作的虚拟打击乐器之外，还有其他用户可操作的目标终端对应的虚拟打击乐器。

在S303中，获取用户处于所述虚拟场景中的动作交互数据，并根据所述动作交互数据生成响应信息，其中所述响应信息包括视觉响应信息、听觉响应信息及力觉响应信息。

获取本地用户处于所述虚拟场景中的动作交互数据，并根据所述动作交互数据生成响应信息。该步骤与实施例一中的S102相同，具体请参阅实施例一中S102的相关描述，此处不赘述。

在S304中，发送所述动作交互数据。

发送本地用户的动作交互数据到目标终端或者中间服务器，以便其他用户获得本地用户对团体训练虚拟场景执行的动作。

在S305中，接收目标终端发送的其他用户的动作交互数据，并根据所述其他用户的动作交互数据生成第二响应信息。

同样地，接收目标终端发送的其他用户的动作交互数据，并据此生成第二响应信息，其中第二响应信息可包括第二视觉响应信息及第二听觉响应信息。根据所述其他用户的动作交互数据进行碰撞检测计算、形变计算等，得到相应的第二视觉响应信息和第二听觉响应信息，以获得其他用户对团体训练虚拟场景执行的动作所产生的效果。

本发明实施例中，用户可以通过选择团体训练模式，实现与其他用户的团体协作，远程实现团体打击乐演奏，进一步增强用户体验；此外，团体训练模式还可以实现团体音乐治疗，将团体心理活动的相关理论融合在打鼓游戏中，强调个体间团结协作和人际交流，克服自卑焦虑等，从而通过虚拟打击乐实现用户的心理治疗训练。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例四：

图4是本发明一实施例提供的终端设备的示意图。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如基于虚拟现实的打击乐方法程序。所述处理器40执行所述计算机程序42时实现上述各个基于虚拟现实的打击乐方法实施例中的步骤，例如图1所示的步骤S101至S102。

示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。例如，所述计算机程序42可以被分割成构建单元和第一获取单元，各单元具体功能如下：

构建单元，用于构建虚拟场景，其中所述虚拟场景包括虚拟打击乐器、目标演奏曲目以及根据所述目标演奏曲目标示于所述虚拟打击乐器上的提示信息。

第一获取单元，用于获取用户处于所述虚拟场景中的动作交互数据，并根据所述动作交互数据生成响应信息，其中所述响应信息包括视觉响应信息、听觉响应信息及力觉响应信息。

所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

实施例五：

图5示出了本发明实施例提供的一种基于虚拟现实的打击乐系统的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实例的基于虚拟现实的打击乐系统包括终端设备51、头戴显示设备52及动作交互设备53，其中：

终端设备51为实施例四所述的终端设备，用于执行各个基于虚拟现实的打击乐方法实施例中的步骤，此处不再赘述。

头戴显示设备52，包括第一显示单元及视觉响应信息及听觉响应信息获取单元：

第一显示单元，用于显示所述终端设备构建的虚拟场景。

头戴显示设备可通过无线传输的方式获取终端设备构建的虚拟场景，并将所述虚拟场景的画面显示于显示单元中。优选地，所述显示单元采用3D技术显示所述终端设备构建的虚拟场景。

视觉响应信息及听觉响应信息获取单元，用于获取并输出所述终端设备生成的视觉响应信息及听觉响应信息。

视觉响应信息及听觉响应信息获取单元可通过无线传输的方式接收终端设备产生的视觉响应信息及听觉响应信息，并将其输出。视觉响应信息可以通过更新显示单元的虚拟场景的画面进行输出，听觉响应信息可以通过头戴显示设备的耳机等发音设备输出，反馈给用户。

动作交互设备53，包括动作交互数据采集单元及力觉响应信息获取单元：

动作交互数据采集单元，用于采集所述动作交互数据，并将所述动作交互数据发送给所述终端设备。

力觉响应信息获取单元，用于获取并输出所述终端设备生成的力觉响应信息。

动作交互设备作为用户和虚拟场景的交互接口，其在把用户的动作输入信息传递给虚拟场景的同时，也把虚拟模型生成的作用力反馈给用户。优选地，所述动作交互设备为数据手套。数据手套是一种多模式的虚拟现实硬件，通过软件编程，可进行虚拟场景中物体的抓取、移动、旋转等动作，也可以利用它的多模式性，用作一种控制场景漫游的工具。

动作交互设备通过动作交互采集单元，采集用户的动作交互数据并发送给终端设备51进行分析处理。其中，所述动作交互数据包括用户手的位置信息、手势信息、运动速度及加速度等信息。

用户通过动作交互设备对虚拟场景中的物体进行操作之后，相应地由动作交互设备的力觉响应信息获取单元，获取并输出力觉响应信息。力觉响应信息是终端设备51分析处理所述动作交互数据后得到的，可通过无线传输的方式获取终端设备51发送的力觉响应数据，并输出反馈给用户，使得用户能真实感知虚拟环境中的虚拟物体。

可选地，所述基于虚拟现实的打击乐系统还包括可穿戴设备，所述可穿戴设备包括：

采集单元，用于采集用户运动参数模拟数据和生理指标模拟数据。

模数转换器，用于将所述运动参数模拟数据和生理指标模拟数据转换为数字信号形式的运动参数数据和生理指标数据。

无线通讯单元，用于将所述运动参数数据和生理指标数据发送给终端设备51。

可选地，所述基于虚拟现实的打击乐系统还包括指定终端，所述指定终端包括：

第二显示单元，用于显示用户在虚拟场景中的打击乐练习情况。

监测单元，用于实时接收并显示用户处于所述虚拟场景中的运动参数数据及生理指标数据。

发送单元，用于发送音频或者视频信息，或者，发送图像采集信息及音频信息到所述终端设备51。

所述指定终端还可以包括控制单元，用于发送控制指令到所述终端设备51。

本发明实施例由于构建包括虚拟打击乐器的虚拟场景，使得用户可以在虚拟场景中进行打击乐练习，并获得与实体打击乐相似的响应信息，因此可以让用户在不影响周围环境的情况下进行打击乐练习；同时，由于虚拟场景中包含标示于虚拟打击乐器上的提示信息，可以使用户在虚拟场景中根据提示信息的指导进行练习，提高打击乐练习的训练效率。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于虚拟现实的打击乐方法，其特征在于，包括：

构建虚拟场景，其中所述虚拟场景包括虚拟打击乐器、目标演奏曲目以及根据所述目标演奏曲目标示于所述虚拟打击乐器上的提示信息；

获取用户处于所述虚拟场景中的动作交互数据，并根据所述动作交互数据生成响应信息，其中所述响应信息包括视觉响应信息、听觉响应信息及力觉响应信息。

2.如权利要求1所述的基于虚拟现实的打击乐方法，其特征在于，在所述获取所述虚拟场景的动作交互数据，并根据所述动作交互数据生成响应信息之后，还包括：

根据所述动作交互数据生成测评数据。

3.如权利要求2所述的基于虚拟现实的打击乐方法，其特征在于，在所述根据所述动作交互数据生成测评数据之后，还包括：

根据所述测评数据调整所述目标演奏曲目和/或根据所述测评数据评估用户的神经认知功能水平。

4.如权利要求1所述的基于虚拟现实的打击乐方法，其特征在于，所述方法还包括：

获取用户处于所述虚拟场景中的运动参数数据及生理指标数据，存储并分析所述运动参数数据及生理指标数据。

5.如权利要求1所述的基于虚拟现实的打击乐方法，其特征在于，所述方法还包括：

获取用户处于所述虚拟场景中的运动参数数据及生理指标数据，并将所述运动参数数据及生理指标数据发送给指定终端。

6.如权利要求5所述的基于虚拟现实的打击乐方法，其特征在于，所述方法还包括：

接收所述指定终端发送的音频或者视频信息，或者，在构建的虚拟场景中构建音乐治疗师的虚拟画面及播放对应的音频。

7.如权利要求1至6任意一项所述的基于虚拟现实的打击乐方法，其特征在于，在所述构建虚拟场景之前，还包括：

接收团体训练模式选择指令；

此时，所述构建虚拟场景具体为：与目标终端建立连接，构建团体训练虚拟场景；

对应地，此时所述方法还包括：

发送所述动作交互数据；

接收目标终端发送的其他用户的动作交互数据，并根据所述其他用户的动作交互数据生成第二响应信息。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

10.一种基于虚拟现实的打击乐系统，其特征在于，所述系统包括终端设备、头戴显示设备及动作交互设备，其中：

所述终端设备为如权利要求8所述的终端设备；

所述头戴显示设备包括：显示单元，用于显示所述终端设备构建的虚拟场景；视觉响应信息及听觉响应信息获取单元，用于获取并输出所述终端设备生成的视觉响应信息及听觉响应信息；

所述动作交互设备，包括：动作交互数据采集单元，用于采集所述动作交互数据，并将所述动作交互数据发送给所述终端设备；力觉响应信息获取单元，用于获取并输出所述终端设备生成的力觉响应信息。