CN219225480U - 一种可穿戴式虚拟音乐交互设备 - Google Patents

Abstract

一种可穿戴式虚拟音乐交互设备，包含主手部本体、运动定位反馈模块、人机交互模块、电池模块；所述运动定位反馈模块设置于所述主手部本体上，用于获取使用者的手部动作；将所述动作转换为数据信号并传送至内部处理器，内部处理器将生成的数据通过数据传输子模块发送至人机交互模块；所述人机交互模块对所述数据进行解析，得出使用者输入的音符参数的实际值，并将所述音符参数的实际值通过发声部件进行播放，对使用者的演奏进行视觉、听觉、触觉反馈；主手部本体和/或人机交互模块上还可以包括MIDI等接口；所述电池模块用于为运动定位反馈模块供电。该设备是一款只要穿戴在手上就能正常演奏的虚拟乐器，穿戴舒适、便于携带，支持在任何地方使用，在保证使用者双手自由的同时，能够并行实现多项任务。

Description

一种可穿戴式虚拟音乐交互设备

技术领域

本实用新型属于可穿戴式智能设备技术领域，具体是涉及一种通过在空中活动手臂和/或手部模拟乐器演奏的可穿戴式虚拟音乐交互设备。

背景技术

音乐的重要性毋庸置疑，而通过乐器演奏音乐的方式，更是演奏者与音乐本身产生共鸣的意义，然而并不是每样乐器都易于随身携带、随处演奏。

然而，乐器的使用成本相对是高昂的。例如家用入门级钢琴的价格动辄几千至几万元不等，木管类乐器中常见的单簧管从学生级的上千到专家级的十余万不等，就算是相对普及的吉他或小提琴也并不廉价。与此同时，乐器的占用空间也相对较大，重量大多也不轻，不便于携带。一架立式钢琴高约130厘米，长155厘米，宽60厘米，重量可高达450千克，占地面积约一平方米，同时演奏配备的长凳也会占用一定面积，搬运困难。乐器家族中的其他大块头，例如大号、低音提琴、定音鼓、竖琴等也具有相同的体积庞大搬运不便的问题。最后，乐器的维护成本较高，例如弦乐器中琴弦的张力会降低并对音高产生影响，这必然会影响到演奏音质。萨克斯或双簧管等也在基本的乐器保养之外还要经常更换发声哨片。乐器保养维护和耗材的使用成本也增加了演奏者在购买乐器后的额外支出。

可穿戴设备是科技发展史上的重大突破，例如智能手环，全息投影等设备可以给用户带来更好的操作体验。因而，有必要将提供一种将实体乐器进行虚拟化的设备，在提供音乐使用便捷性的同时，显著降低演奏者购买和维护乐器的开销。

在现有技术中，专利CN103235641A和CN101388149A均通过视觉信号采集使用者的动作输入信息，并将视觉信号经过转换计算后得出对应的演奏音乐。该种通过视觉影像进行的动作采集方式适用范围较窄，例如在光线昏暗或变化频繁的环境下将难以工作。另外这种进行图象识别的方式准确率较低且处理速度较慢，难以跟上演奏者的节奏。图像采集设备也需要进行摆放调整和固定，在占用较大面积的同时不便于携带。专利CN106445168A给出了一种智能手套的设计，然而该设计仅是一种泛泛的框架模块且缺乏具体的应用领域。专利CN112318531A和CN111667737A给出了具体的音乐教学平台，然而前者是固定式的缺乏灵活性，后者也仅局限于教学目的。

发明内容

本实用新型提供一种可穿戴式虚拟音乐交互设备，该设备是一款只要穿戴在手上就能正常演奏的虚拟乐器，穿戴舒适、便于携带，支持在任何地方使用，在保证使用者双手自由的同时，能够并行实现多项任务。

本实用新型的运转无需与物体实际接触，即使是在空中活动手指，也可以达到模拟乐器演奏的效果。当使用者正确穿戴该设备并初始化定位后，他们仅需通过简单移动手指的动作，即可达到演奏乐器的效果，设备能够播放出对应位置的乐器音符。

本实用新型采用软硬件相结合的方式，采集使用者手指移动数据，通过硬件传感器对生成的数据进行传输，并由软件进行接收和处理，可以支持精度高、响应时间短的手指运动识别。进一步地，本实用新型也可以根据需要，通过界面形式同步展现弹奏过程。

为达到上述技术要求，本实用新型包含硬件部分及软件部分，其中硬件部分具有4个模块，分别为：主手部本体、运动定位反馈模块、人机交互模块、电池模块。

所述主手部本体背面带有处理器和其他组件，可以获取使用者手部位移运动状况、手指敲击等动作。

所述惯性导航系统模块根据获取的动作生成位置数据和数据信号，然后通过数据传输子模块将上述信息发送至主机。

作为本实用新型的优选方式之一，可以在使用者手臂上增加惯性导航模块以提高移动跟踪的精度，并且可以在使用者手臂上安装电池模块。

所述软件部分在接收上述信息后，会将使用者手指运动映射到乐器音符上。当软件初始化时，使用者每个手指会先被初始化为一个静态音符；当使用者移动了佩戴的本实用新型时，手指位置映射的音符将根据手指位移运动而变化。软件部分将会显示出一张虚拟乐器图片，与此同时，手指位置也会同步显示在图片上形成动画或AR/VR场景，这样使用者就可以看到手在虚拟空间中对应位置以及正在演奏的音符。

具体来说，通过惯性导航模块获取的偏转角度、加速度以及时间，进而计算出使用者手部在身体坐标系中的移动位置。结合初始化的虚拟乐器的音符参数设置，计算出使用者要演奏的音符参数实际值。

本实用新型提供的可穿戴式虚拟音乐交互设备，给使用者提供了乐器演奏的便利性且显著降低了开销。通过分别在运动定位反馈模块中分别设置一个或多个惯性导航模块的方式，本领域技术人员可以兼顾定位逻辑的准确性和生产制造成本，并综合考虑乐器种类的适应度和对应的可扩展的算法，灵活选择具体的实现方式。此外，本实用新型还可以避免实体乐器对使用者手部的伤害。由于本实用新型穿戴轻便，且不与乐器的实体按键或音弦接触，避免了肌腱炎、手指起茧、指纹磨灭、手指变形等无法复原的伤害。

附图说明

图1为本实用新型的总体系统架构图。

图2为本实用新型的穿戴示意图。

图3为本实用新型具体实施方式之一的系统框图。

图4为本实用新型具体实施方式之一中惯性导航模块选用的MPU6050或MPU6000传感器。

图5为本实用新型具体实施方式之一选用的stm32程序流程图。

图6为本实用新型具体实施方式之一的软件状态图。

图7为本实用新型具体实施方式之一的界面初始化效果。

图8a、图8b为本实用新型具体实施方式之一的界面演奏时效果(键盘类乐器示意)。

图9为本实用新型具体实施方式之一的界面演奏时效果(管乐器示意)。

图10为本实用新型具体实施方式之一的键盘类乐器黑白键音符及对应输入值。

图11为本实用新型具体实施方式之一的控制板(处理器、惯性导航系统模块、DC-DC部分)。

图12为本实用新型具体实施方式之一的加速器计算模型。

图13为本实用新型具体实施方式之一的重力扰动补偿模型。

图14为本实用新型具体实施方式之一运动过程中的加速度模型。

图15为本实用新型具体实施方式之一运动过程中的速度模型。

图16为本实用新型具体实施方式之一运动过程中的位移模型。

图17为本实用新型具体实施方式之一的手臂偏航示意图。

图18为在每个手指均设置子惯性导航模块或按键，以精细化得出每个手指演奏的实际音高的方式。

具体实施方式

为了使本实用新型实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本实用新型作具体阐述，本实用新型的实施方式包括但不限于下列实施例。本实用新型的说明书和权利要求书上的术语「第一」「第二」和「第三」等是用于区别不同的对象本身，并不代表对顺序先后进行完全限定。

【实施例一】

一种可穿戴式虚拟音乐交互设备，包含主手部本体、运动定位反馈模块、人机交互模块、电池模块。

其中，所述主手部本体可以是手套的形式，也可以采用手环，戒指，指套等其他形式，在保证产品功能的情况下，本领域技术人员可以在考虑成本和使用便利性等因素的情况下灵活选择具体的实现方式。

所述电池模块用于为运动定位反馈模块供电。

所述运动定位反馈模块设置于所述主手部本体上，具体可设置在手心手背或手腕上，用于获取使用者的手部动作；将所述动作转换为数据信号并传送至内部处理器，内部处理器将生成的数据通过数据传输子模块发送至人机交互模块，数据传输子模块的具体实现可以为蓝牙等其他无线传输方式，或其他有线传输方式。

运动定位反馈模块上还具体包括第一惯性导航模块，用于采集手部的运动参数及进行相应的运动轨迹跟踪；所述惯性导航模块具体包括陀螺仪和加速度计，以使用者初始化位置为原点获得身体坐标系。在一种具体的设置中，本实施例中身体坐标系的定义方法为：以使用者初始化位置为原点获得身体坐标系，所述身体坐标系的x轴正方向为人体水平方向右侧，y轴正方向为人体向前的方向，z轴正方向为头顶向上的方向。然而本领域技术人员应当理解的是，xyz轴的具体方向定义可以是灵活选择的，进而后续的计算步骤也与不同的基本xyz轴定义相对应。

以使用者初始化位置为原点获取身体坐标系，获取手部动作的具体方式为：

将由第一惯性导航模块输出的角度变化以q0、q1、q2、q3四元数的形式标识，并将所述四元数通过运算转变为欧拉角，具体包括手部动作的俯仰角pitch、横滚角roll、航偏角yaw，分别代表身体坐标系中以xyz轴为旋转轴的旋转角度。具体的计算公式如下：

pitch＝arcsin(-2×q1×q3+2×q0×q2)×57.3

根据所述三个旋转角度，结合第一惯性导航模块获得的加速度值和移动时间，计算出手部在xyz轴三个方向上的位移，并通过所述位移进一步计算，得到使用者演奏的音符参数实际值的音高。

所述人机交互模块对所述数据进行解析，得出使用者输入的音符参数的实际值，并将所述音符参数的实际值通过发声部件进行播放，对使用者的演奏进行反馈。

在条件允许的情况下，解析音符参数实际值的数据处理任务也可在运动定位反馈模块上的处理器中直接进行处理。

音符参数的实际值包括但不限于：音高、音长和音强。

所述人机交互模块还可以包括显示部件，通过所述显示部件对使用者演奏的虚拟乐器位置进行视觉反馈。

所述视觉反馈的方式包括：将通过所述运动定位反馈模块获得的动作数据，与在显示部件上初始化后的键盘类乐器的键盘位置、或管类乐器的键位孔位、或弦乐器的琴弦位置、或打击乐器的击打位置，进行映射，以在使用者手部运动到不同位置时，在显示部件上显示对应的键盘位置、或键位孔位、或琴弦位置、或击打位置，已被触发的标识。显示部件的具体实现可以为显示屏，投影设备或AR/VR眼镜等，本实用新型在此不做具体限定。

虚拟乐器的类型包括但不限于键盘类乐器、管乐器、弦乐器、打击乐器，人机交互模块还可以提供对不同类型乐器的模式选择，虚拟乐器的类型模式包括但不限于键盘类乐器例如钢琴、管乐器例如双簧管、弦乐器例如吉他、打击乐器例如定音鼓。

本申请部分实施例仅以例如钢琴，管风琴，电子琴等键盘类乐器作具体阐述说明。然而本领域技术人员可以了解到，相同的识别演奏者手势动作并给出演奏音符参数的实际值的方式，也可以在其他多种类型的乐器演奏时实现。也即本申请虚拟音乐设备的可以为使用者提供多种可选择的演奏乐器模式，在选择相应的乐器模式后针对不同的乐器特点初始化基准音高等以及相对的音符值，也可以针对不同的乐器均使用一套相同的基准音高和相对音符值以及相应的音符参数实际值的计算方法。

【实施例二】

根据实施例一所述的可穿戴式虚拟音乐交互设备，其中还包括MIDI、HDMI、USB、SPI、耳机口、蓝牙接口中的一种或多种，设置于主手部本体和/或人机交互模块上。上述接口的设置本领域技术人员可以参照现有技术手段，用于为本设备增加通用的音乐交互功能并提高兼容性。同时，在主手部本体和/或人机交互模块上可以设置独立声卡或集成声卡，并配置相应的音频驱动。

【实施例三】

根据实施例一所述的可穿戴式虚拟音乐交互设备，其中所述计算使用者演奏的音符参数的实际值音高的具体方式为：

通过第一惯性导航模块得到的所述旋转角度构建旋转矩阵；对旋转矩阵进行转置以回到所述身体坐标系，再乘以通过第一惯性导航模块获得的xyz轴上三个方向的加速度，并对所述加速度做二次积分，获得手部在三维空间内的位移，即在xyz轴上相对于身体坐标系原点的位移。

在得到使用者的手部在xyz轴上相对于身体坐标系原点的位移后，则可以根据初始化设置的虚拟乐器音域，以及每个音高对应的位移宽度和方位，计算出使用者演奏的音符参数实际值的音高。

通过第一惯性导航模块得到的所述位移角度构建旋转矩阵R，具体为：

其中，P＝俯仰角pitch、R＝横滚角roll、Y＝航偏角yaw。

在实际使用中无法保证手部永远是水平于地面的，或多或少会有倾斜和抖动。由于运动定位反馈模块的主体在手部，所以在手部旋转时所述运动定位反馈模块也在旋转，测到的加速度也是旋转后的，也就是所述运动定位反馈模块传感器的方向轴和身体坐标系的方向轴产生了夹角。我们需要根据旋转后的三个方向上的加速度算出旋转前三个方向上的加速度，这样才能知道手部相对于人身体的位置。

进一步地，通过公式计算：

求得sx、sy、sz，分别代表手部在xyz轴上的位移，其中R^T为所述旋转矩阵的转置，ax、ay、az是传感器获得的三个方向上的加速度，t是移动时间。

根据手部在xyz轴上的位移，计算使用者实际演奏的音高的具体方式为：

初始化设置键盘乐器琴键的宽度、或管乐器键孔的宽度、或弦乐器琴弦的间距宽度、或打击乐器每个击打面的宽度；初始化设置使用者身体坐标系原点的位置为一个固定音高，使用计算出手部在身体坐标系内xyz轴上的位移，除以所述初始化虚拟乐器的键盘、或键孔、或琴弦、或击打面的宽度并取整，计算得出使用者在手部移动后相对于所述固定音高的实际演奏的音高。

例如当演奏键盘类乐器时，初始化设置琴键宽度为wide＝2cm。进而，可以将位移长度sx除以琴键宽度wide后的结果取整，该结果取整后即为手部相对于键盘初始化时的琴键位置移动过的琴键数量，即可得到手部实际触发的键位。具体地一个实施例，当手部初始化位置即右手大拇指位置的音高可以为中央C，当计算得到的sx为2cm时，可以判断移动过的琴键数量为1，最终可判断出此时右手大拇指演奏的音高为中央C右侧的D音，此时移动后的食指对应的音高则为E音。若是负值则在该初始化条件下代表向与右侧相反方向的左侧移动。在本实施例中，仅考虑手指触发的音高为顺序排列的情况。

若sy的值大于或大于等于特定阈值，在一个实施例中所述阈值可选为2cm，则可以判断半音黑键被触发。

对于键盘存在多排空间上下层叠设置的情况，例如现代电子琴或古典管风琴，若sz的值大于或大于等于特定阈值，在一个实施例中所述阈值可选为8cm，则可以判断相应不同位置高度的键盘被触发。

此外，在初始化时乐器的音域范围可以根据乐器种类的不同按需设置。本领域技术人员还可以认识的，通过初始化原点和xyz轴的位移值还可以对演奏其他类型虚拟乐器的音高值进行计算，所述计算按照不同类型乐器特点，即初始化设置的不同音高间的键位孔位或弦位的相对位置关系进行计算。同时，对于乐器的音域范围或单个键位孔位击打位置进行人性化设置，例如手臂较短的使用者可以在初始化时设置使用自己特点的更小更密集的键位设置。对于设置的其他类型的乐器，则可以通过手部的位姿进行判断，并作响应调整。

【实施例四】

根据实施例一基础上进一步地，先通过运动定位反馈模块获得手部的移动时间，结合所述运动定位反馈模块中第一或第二惯性导航模块获取的角度变化，并计算出手部动作的俯仰角pitch、横滚角roll、航偏角yaw，进一步计算使用者演奏的音符实际参数值的音强和音长。

进一步地，通过手部在特定位置触发实际音高后的保持位置的时间长度，即实际的触发时长，获得使用者演奏的音符实际参数值的音长；进一步地，通过所述第一或第二惯性导航模块中采集到的在某音高被实际触发时刻的俯仰角pitch的角速度大小，获得音符的音强；具体地，俯仰角pitch的角速度大小与音强的大小正相关。

在一个符合MIDI规范要求的设置中，音强v的计算公式如下：

其中ω是角速度，传感器可以直接返回角速度，ω_Max为传感器可以获取到的最大角速度，2⁷为MIDI规范允许的最大音强值。

【实施例五】

根据实施例一所述的可穿戴式虚拟音乐交互设备，该设备还可以通过人机交互模块设置音符参数的实际值，进一步包括：音强的强弱变化，音符的连续性，音符的间断性。

该类音符参数实际值的设置考虑到音乐演奏中的表现力，例如音符连续性为在乐谱上的连音线标记，强弱变化则对应乐谱上f和p的标记。对于管乐器更有特色的是断音的演奏，具体被称为吐音的演奏。这种演奏方式可以表现音乐的跳跃感，营造活跃的气氛。上述几种增加音乐表现力的音符参数实际值，可以预先在人机交互模块上设置，也可以通过运动定位反馈模块实时检测主手部本体的运动参数来按需设置，例如当检测到主手部本体在超过设定阈值的大幅度向单一方向的运动后，开启例如增加音强或增加音符间断性等的设置。另一种可能的实现方式为，设置一个或多个脚部踏板，该踏板类似钢琴的踏板，在踩下对应踏板时则触发相应的前述音符参数实际值的设置。在不付出创造性劳动的前提下，本领域技术人员还可以通过其他方式获取本实施例中所述的音符参数实际值。

在进一步地优选实施例中，还可以通过人机交互模块设置演奏音乐的调性，例如C大调或e小调等。

【实施例六】

根据实施例一所述的可穿戴式虚拟音乐交互设备，运动定位反馈模块还具有设置于使用者小臂上的第二惯性导航模块，该第二惯性导航模块为可拆卸式或固定式，用于采集小臂偏航角arm yaw，通过计算得到手臂位移；结合第一惯性导航模块的计算结果作为使用者在三维空间内xyz轴上的移动距离；进一步地，可以根据初始化设置的虚拟乐器音域，以及每个音高对应的位移宽度和方位，计算出使用者实际演奏的音高值。

第二惯性导航模块采集到的小臂偏航角arm yaw通过公式计算：

D＝L×sin(arm yaw)

可进一步参考附图17，其中D手臂偏航为相对于x轴方向的移动距离，L为手臂的第二惯性导航模块到主手部本体上运动定位反馈模块中心的长度，arm yaw为第二惯性导航模块采集到的小臂在x轴上的移动角度；进而可以使用得到的手臂位移D代替所述sx值，作为在身体坐标系中x轴上的水平位移，进而获取音高。

进一步地，在一个针对键盘类乐器的更简化的可选实施例中，可以通过直接计算下述公式，获取对应的音高值f，以跳过对所述D值的计算，提升系统的计算速度和响应时间：

其中，a是arm yaw角度，f是音高，对f计算结果取整，即可直接获取惯性导航模块的陀螺仪输入的角度与音高的关系。

【实施例七】

根据实施例三所述的可穿戴式虚拟音乐交互设备，运动定位反馈模块还具有设置于使用者小臂上的第二惯性导航模块和设置于使用者大臂上的第三惯性导航模块，该第二和第三惯性导航模块为可拆卸式或固定式，获取第二惯性导航模块采集到的小臂偏航角arm yaw和第三惯性导航模块采集到的大臂偏航角arm yaw2及俯仰角arm pitch2，计算得到手臂位移作为使用者在三维空间内xyz轴上的移动距离；进一步地，可以根据初始化设置的虚拟乐器音域，以及每个音高对应的位移宽度和方位，计算出使用者实际演奏的音高值。

第三惯性导航模块采集到的大臂偏航角arm yaw2，俯仰角arm pitch2通过公式计算：

D2＝L×sin(arm yaw)+R×sin(arm yaw2)

D2Y＝R×cos(arm pitch2)

D2为得出的手部x轴位移，D2Y为得出的手部y轴位移，进而可以使用得到的手臂位移D2代替所述sx值，用D2Y替代所述sy值，作为在身体坐标系中x轴上的水平位移，进而获取音高。

在一个针对键盘类乐器的更简化的可选实施例中，在一只手使用所述设备的情况下，键盘最长就是2L(L为小臂长度)，2L的对应的小臂角度就是从0转到180度，也就是当手臂完全横向的收和打开对应的长度。a为小臂传感器的航偏角。当a的范围取(0°，180°)时，键盘长2L，假设用户的小臂长度是30，键盘长就是60。但如果用户不喜欢演奏的时候大开大合或受限于手臂较短的特点，可以适当的缩小a的取值范围，比如(45°，135°)，那么键盘长度就是根号2L，实际的琴键宽度就是将键盘长度等分，但使用时计算的时候只是把角度的范围等分(例如普通钢琴为88)。如果以(0°，180°)为设定值，0对应键盘最左边的A2，180对应C5。B2(A2右边一个)就是对应(0+180/88)的角度。如果不是88键的键盘，即将音域进行变化，0和180的对应琴键也会变化，但总体来说最小的角度对应最左边的琴键，最大的角度对应最右边的。琴键和角度的范围均是可设置的。

进而与前述实施例对应地，在一个针对键盘类乐器的更简化的可选实施例中，可以通过直接计算下述公式，获取对应的音高值f，以跳过对D2值的计算，提升系统的计算速度和响应时间：

其中，a1是arm yaw，a2是arm yaw2，L和R是大小臂长，默认值为30，可以根据实际进行修改。

【实施例八】

在获取了手部位移进而计算出相应的音高值之后，可以将该音高值确定为演奏者手部当前演奏的实际音高值，例如在打击乐器的演奏模式下，并不需要区分每个手指的精确的相对位移。

然而，其他很多种类乐器是需要精细化判断每个手指的相对位移而获得每个手指的音高值的。

在一种实施方式中，可以将手部位移作为任意手指(例如右手拇指)的位移，右手食指此时的音高值就相当于在拇指音高值上加一，中指则加二，以此类推。

在其他更精细化的实施方式中，则使用如下方式：

根据实施例三所述的可穿戴式虚拟音乐交互设备，在每个手指均设置子惯性导航模块或按键，以对前文实施例进行改进，精细化得出每个手指演奏的实际音高。

在使用每个手指子惯性导航模块的情况下，即可精确得到每个手指的具体xyz轴位移的角度和数值，进而可以通过角度和位移数值计算出相对的音高实际值，例如初始化基准的音高为右手拇指时，计算出其他手指相对于该右手拇指的位移，以进一步得到相对于该右手拇指的基准音高的实际音高值。具体的使用手指子惯性导航模块的情况可以参考前文实施例类似得出。

然而，考虑到成本，用户穿戴的便捷性使用的灵活性，以及信号处理的速度即响应时间等因素，可以使用按键的方式获取精细化的手指演奏音高。具体地，在主手部本体上每个手指靠近指尖处设置弹性连线，所述弹性连线连接到按键开关，所述按键开关一端接高电平，一端接低电平，根据按键开关的触发情况，进而计算出使用者每个手指演奏的音符参数实际值的音高。

在主手部本体上每个手指靠近指尖处设置有一根弹性连线，连接到一个按键开关上。按键的一端接高电平，另一端连接运动定位反馈模块的嵌入式系统板的一个IO口并通过一个下拉电阻接地。在手指运动时，如果按键没有被触发则IO口收到的是低电平，如果按键被触发则收到高电平，五个按键分别对应五个手指和IO口。这样，在手指按下对应的按键时，运动定位反馈模块的处理器就可以通过检测IO口来判断哪一个手指触发了按键，进而精细化得出每个手指演奏的音高实际值。

同时，还可以利用主手部本体上的第一惯性导航模块采集到的航偏角yaw来判断手指的音域名位置，即判断手指所处的键值是否向左或向右整体偏移。在默认情况下手指与按键应当平行，但在该限制成本的情况下考虑到跨音域演奏，设定如下判断机制：如果第一惯性导航模块采集到的航偏角yaw右转超过45度，则判断此时手部演奏的音域相较上一时刻高了一个音高值，那么小拇指的键值加1或大拇指的键值加1；航偏角yaw左转超过45度，则判断此时手部演奏的音域相较上一时刻低了一个八度，则小拇指键值减1或大拇指键值减1。

【实施例九】

根据实施例三所述的可穿戴式虚拟音乐交互设备，可以通过计算重力加速度分量的方式，或设置数字低通滤波器LPF的方式进行重力补偿。

本实施例是为了解决加速度计的精度问题，因为手部手臂从启动到停止理论上速度的和最后要变为0，然而实践中并不是这样，受限制于加速度计的工作方式，以及加速度计和相关模块受到的自身重力作用，导致手部的不规则运动会影响精度。参见附图12，如果手部有相对水平位置的角度那么原本在z轴的重力会对x和y轴产生分力。如果不对所述分力进行削减处理，那么当手部倾斜抖动持续存在，这种倾斜抖动会一直被视为有x轴方向上的加速度，然后被不断进行积分运算进而产生速度和位移，从而影响计算结果的准确性。

通过计算重力加速度分量的方式进行重力补偿具体包括：

通过滚动角、俯仰角和偏航角计算重力加速度g在三个方向上的分量gx、gy、gz，具体公式为：

进一步地，用传感器的测量值减去所述重力加速度在三个方向上的分量，得到传感器在三个方向上的真实加速度ax、ay、az：

其中a’x、a’y、a’z为传感器加速度的测量值。

此外，还可以使用数字低通滤波器进行滤波以去掉干扰的影响。通过数字低通滤波器LPF的方式实现重力补偿具体包括：

计算gx、gy、gz值，具体公式为：

其中s是惯性参数，gx’、gy’、gz’分别代表上在上一次采样周期计算获得的gx、gy、gz值，a’x、a’y、a’z为传感器加速度的测量值。

进一步地，用传感器的测量值减去所述LPF的计算值，得到传感器在三个方向上的真实加速度ax、ay、az：

【实施例十】

为了进一步解决所述精度问题，根据实施例九所述的可穿戴式虚拟音乐交互设备，设置移动标志位来标识手部的状态。其中，移动标志moveflag＝速度×加速度。

如果moveflag<0，则意味着加速度和速度反向，手部速度在下降；如果moveflag＝0且加速度为0，将速度值清零，则意味着手部停止。

【实施例十一】

还具有设置于主手部本体或手指上的x轴线性马达或z轴线性马达，以实现使用者在演奏时，虚拟乐器对使用者的作用力反馈，模拟真实乐器演奏环境的手感。当然在一种低成本的实现方式中，如前述实施例中的按键在被触发时也能给使用者进行力度的反馈。

注：上述内容仅为本实用新型的具体实施方式，但是本实用新型的保护范围并不受到具体实施例的限制。术语「包括」「包含」或其变形表示涵盖非排他性的包含关系，表明在列举的要素之外并不限制排除其他要素的存在。本领域技术人员在本实用新型展示的技术方案的精神和原则内，在不付出创造性劳动的情况下，容易想到的任何变化、替换或改进等，都包含在本实用新型的保护范围内。

Claims (10)

1.一种可穿戴式虚拟音乐交互设备，包含主手部本体、运动定位反馈模块、人机交互模块、电池模块；

所述运动定位反馈模块设置于所述主手部本体上，用于获取使用者的手部动作；所述运动定位反馈模块上还包括第一惯性导航模块，将所述动作转换为数据信号并传送至内部处理器，内部处理器将生成的数据通过数据传输子模块发送至人机交互模块；

所述人机交互模块对所述数据进行解析，得出使用者输入的音符参数的实际值，并将所述音符参数的实际值通过发声部件进行播放，对使用者的演奏进行反馈；

主手部本体和/或人机交互模块上还包括MIDI、HDMI、USB、SPI、耳机口、蓝牙接口中的一种或多种；

所述电池模块用于为运动定位反馈模块供电；

所述音符参数的实际值包括但不限于：音高、音长和音强。

2.根据权利要求1所述的可穿戴式虚拟音乐交互设备，其特征在于，所述主手部本体可以实现为手套、手环、戒指、指套中的一种或多种组合。

3.根据权利要求1或2所述的可穿戴式虚拟音乐交互设备，其特征在于，所述运动定位反馈模块包括的惯性导航模块具体包括陀螺仪和加速度计。

4.根据权利要求1或2所述的可穿戴式虚拟音乐交互设备，其特征在于，所述运动定位反馈模块采用MPU6050或MPU6000传感器。

5.根据权利要求1所述的可穿戴式虚拟音乐交互设备，其特征在于，所述人机交互模块还包括显示部件，通过所述显示部件对使用者演奏的虚拟乐器位置进行视觉反馈；

所述视觉反馈的方式包括：将通过所述运动定位反馈模块获得的动作数据，与在显示部件上初始化后的键盘类乐器的键盘位置、或管类乐器的键位孔位、或弦乐器的琴弦位置、或打击乐器的击打位置，进行映射，以在使用者手部运动到不同位置时，在显示部件上显示对应的键盘位置、或键位孔位、或琴弦位置、或击打位置，已被触发的标识；

虚拟乐器的类型包括但不限于键盘类乐器、管乐器、弦乐器、打击乐器。

6.根据权利要求1所述的可穿戴式虚拟音乐交互设备，其特征在于，所述运动定位反馈模块还具有设置于使用者小臂上的第二惯性导航模块，该第二惯性导航模块为可拆卸式或固定式，用于采集小臂偏航角。

7.根据权利要求1所述的可穿戴式虚拟音乐交互设备，其特征在于，所述运动定位反馈模块还具有设置于使用者小臂上的第二惯性导航模块和设置于使用者大臂上的第三惯性导航模块，该第二和第三惯性导航模块为可拆卸式或固定式，获取第二惯性导航模块采集到的小臂偏航角和第三惯性导航模块采集到的大臂偏航角及俯仰角。

8.根据权利要求1所述的可穿戴式虚拟音乐交互设备，其特征在于，在主手部本体的每个手指处均设置子惯性导航模块。

9.根据权利要求1所述的可穿戴式虚拟音乐交互设备，其特征在于，在主手部本体的每个手指靠近指尖处设置有一根弹性连线，连接到一个按键开关上；按键的一端接高电平，另一端连接运动定位反馈模块的嵌入式系统板的一个IO口，并通过一个下拉电阻接地。

10.根据权利要求1所述的可穿戴式虚拟音乐交互设备，其特征在于，在主手部本体或主手部本体的手指上设置x轴线性马达或z轴线性马达。

Images