CN105867656A - 一种体感音乐穿戴设备及其演奏动作识别方法 - Google Patents

Abstract

本发明公开了一种体感音乐穿戴设备及其演奏动作识别方法，包括感应主体和与所述感应主体相连接的佩戴部分，所述佩戴部分能够拆卸及更换，所述感应主体包括外壳和设置在所述外壳中的九轴惯性导航动作识别装置，所述九轴惯性导航动作识别装置用于根据人体的演奏动作生成演奏信号，并将所述演奏信号发送给外部智能设备，以供所述外部智能设备根据所述演奏信号生成演奏音乐。本发明所提供的体感音乐穿戴设备适应性好、结构设计简单可靠、演奏方式高度仿真、演奏时间地点不受限制、能够识别不同乐器的演奏动作，以灵活的演奏方式使人们能够随时随地体验音乐的魅力。

Description

一种体感音乐穿戴设备及其演奏动作识别方法

技术领域

本发明涉及智能穿戴设备技术领域，尤其涉及一种体感音乐穿戴设备及其演奏动作识别方法。

背景技术

可穿戴设备是21世纪新兴技术，属于与人类活动结合密切的消费类电子。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能，可穿戴设备将会对我们的生活、感知带来很大的转变。

可穿戴设备有着非常广泛的应用，在运动健身领域，可穿戴设备可以用于检测人体的各项体征数据，并可以将数据整合到云端进行大数据分析，辅助人们进行合理的健身运动；在智能医疗领域，可穿戴设备可以用于实时监测病人的心跳、体温、血压等体征数据，医生在云端实时观察病人情况，进行远程诊断与治疗。

目前，可穿戴设备的相关产品主要有：用于儿童防丢的智能手环，用于老人摔倒报警的智能手环，用于充当私人网球教练的智能手环，用于网络通信的智能手环，用于监测病人心跳的智能手环等。作为新兴的电子消费品，它开始慢慢的被人们所接受，逐渐进入了人们生活，但是可穿戴设备在电子乐器领域是空白的，而且传统的仿真电子乐器有着各种缺陷，首先由于传统的仿真电子乐器结构简单，演奏方式与真实乐器有很大差别，演奏动作有很大的局限性；其次对于那些能够完全采集人们演奏动作电子乐器，由于体积庞大，结构复杂，不能达到随时随地演奏要求。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种高适应性、结构简单、演奏方式高度仿真、演奏时间地点不受限制、能够识别演奏动作的体感音乐穿戴设备及其演奏动作识别方法。

为实现以上目的，本发明采用如下技术方案：

一种体感音乐穿戴设备，包括感应主体和与所述感应主体相连接的佩戴部分，所述佩戴部分能够拆卸及更换，所述感应主体包括外壳和设置在所述外壳中的九轴惯性导航动作识别装置，所述九轴惯性导航动作识别装置用于根据人体的演奏动作生成演奏信号，并将所述演奏信号发送给外部智能设备，以供所述外部智能设备根据所述演奏信号生成演奏音乐。

优选地，所述九轴惯性导航动作识别装置包括传感器信息采集单元、灯光效果单元、触觉反馈单元、主体控制单元和数据链路；

所述传感器信息采集单元包括九轴惯性导航芯片，用于根据人体的演奏动作获取所述感应主体在X、Y、Z三轴方向的加速度向量、陀螺仪向量和地磁向量，并将获取的数据发送给所述主体控制单元；

所述主体控制单元用于根据所述九轴惯性导航芯片获取的数据生成演奏信号，并通过所述数据链路与所述外部智能设备进行信息交互；

所述灯光效果单元用于根据所述演奏信号显示随节奏变化的灯光效果；

所述触觉反馈单元用于根据所述演奏信号产生随节奏变化的震动。

优选地，所述九轴惯性导航芯片包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器，所述三轴加速度传感器用于获取所述感应主体在X、Y、Z三轴方向的加速度向量，所述三轴陀螺仪传感器用于获取所述感应主体在X、Y、Z三轴方向的陀螺仪向量，所述三轴地磁传感器用于获取所述感应主体在X、Y、Z三轴方向的地磁向量。

优选地，所述主体控制单元包括处理器、内置闪存、静态随机存储器、串行外设接口和电源管理器。

优选地，所述灯光效果单元包括灯光控制器和多个彩灯，所述灯光控制器用于根据所述演奏信号控制所述彩灯随节奏变化进行相应的显示。

优选地，所述触觉反馈单元包括马达驱动器和马达，所述马达驱动器用于根据所述演奏信号驱动所述马达随节奏变化进行震动。

优选地，所述演奏信号中包含乐器信息，所述外部智能设备中存储有与各种乐器相对应的音频文件，所述外部智能设备能够根据当前演奏信号选取相应乐器的音频文件进行播放。

一种基于上述体感音乐穿戴设备的演奏动作识别方法，包括以下步骤：

九轴惯性导航动作识别装置根据人体的演奏动作生成演奏信号，并将所述演奏信号发送给外部智能设备；

所述外部智能设备根据所述演奏信号生成演奏音乐。

优选地，所述九轴惯性导航动作识别装置根据人体的演奏动作生成演奏信号的步骤包括：

在采样周期内，获取感应主体在X、Y、Z三轴方向的加速度向量、陀螺仪向量和地磁向量，共九个数据；

应用捷联式惯性导航算法对上述九个数据进行融合，输出欧拉角，所述欧拉角包括横滚角、航向角和俯仰角；

依据所述欧拉角，针对不同的乐器设定不同的识别算法。

优选地，所述演奏信号中包含乐器信息，所述外部智能设备中存储有与各种乐器相对应的音频文件；

所述针对不同的乐器设定不同的识别算法的步骤包括：

采集演奏乐器时人体动作的角速度波形图；

针对不同的乐器，对所述角速度波形图设定不同的阈值触发条件，该步骤包括：

对于瞬间触发型乐器，采用角速度单阈值法进行触发判断，当采集的角速度大于或等于预设的单阈值时，发出触发信号给所述外部智能设备，使所述外部智能设备选取相应的音频文件进行播放；

对于动作持续型乐器，采用角速度双阈值法进行触发判断，当采集的角速度大于或等于预设的第一阈值时，或者，当采集的角速度小于预设的第二阈值时，均发出触发信号给所述外部智能设备，使所述外部智能设备选取相应的音频文件进行播放。

本发明采用以上技术方案，具有以下有益效果：

本发明所提供的体感音乐穿戴设备能够代替乐器，以灵活的演奏方式代替传统的演奏方式，简化和弦、利用游戏引导的模式，大大降低了弹奏难度；

本发明将夸张的肢体动作转化为音乐旋律，能够随时随地创作音乐，震动的节奏提示动感十足，实时提示用户进行弹奏，让用户切身感受音乐的律动，随节奏变换的灯光视觉体验，完美与节奏相融合，展现出炫酷的音乐体验效果；

本发明使音乐可以随身携带，采用体感音乐穿戴设备能够代替笨重的乐器，让人随时随地体验音乐的魅力，并且，所述体感音乐穿戴设备硬件结构设计简单可靠，具有很好的功能扩展性，其中的原始传感器数据采用多重滤波算法处理，稳定性高，根据不同的乐器采用不同的演奏动作识别算法，从而使每一种乐器都有很好的体验。

附图说明

图1为本发明实施例所提供的体感音乐穿戴设备的外观示意图；

图2为本发明实施例中的感应主体的结构示意图；

图3为三轴加速度传感器实时采集的演奏乐器时人体动作的角速度波形图；

图4为根据航向角将水平方向分为若干区域的示意图；

图5为根据俯仰角将垂直区域分为若干区域的示意图。

图中：1、感应主体；2、佩戴部分；11、九轴惯性导航动作识别装置；101、传感器信息采集单元；102、灯光效果单元；103、触觉反馈单元；104、主体控制单元；105、数据链路；3、外部智能设备。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明提供了一种体感音乐穿戴设备，如图1和图2所示，所述体感音乐穿戴设备包括感应主体1和与感应主体1相连接的佩戴部分2，佩戴部分2能够拆卸及更换，佩戴部分2可以采用对人体皮肤无毒无害的橡胶制品，并且利于定期替换。

感应主体1包括外壳和设置在所述外壳中的九轴惯性导航动作识别装置11，九轴惯性导航动作识别装置11用于根据人体的演奏动作生成演奏信号，并将所述演奏信号发送给外部智能设备3，以供外部智能设备3根据所述演奏信号生成演奏音乐。

图1中所示的外形仅是本发明的一种具体实施方式，所述体感音乐穿戴设备还可以采用其他的实现形式，本发明对此不做限制。例如，可以是佩戴在手腕的音乐手环、佩戴在手部的音乐手套、佩戴在头部的音乐帽子、或者音乐戒指、指挥棒等各种形态的智能设备，只要这种智能设备能够实现采集人体的体感动作，将有规律的演奏动作转化成演奏音乐，就属于本发明的保护范围之内。

本发明所提供的体感音乐穿戴设备能够代替乐器，以灵活的演奏方式代替传统的演奏方式，利用游戏引导的模式，大大降低了弹奏难度。本发明将夸张的肢体动作转化为音乐旋律，能够随时随地创作音乐，使音乐可以随身携带，让人随时随地体验音乐的魅力，并且，所述体感音乐穿戴设备硬件结构设计简单可靠，具有很好的功能扩展性。

具体地，如图2所示，九轴惯性导航动作识别装置11包括传感器信息采集单元101、灯光效果单元102、触觉反馈单元103、主体控制单元104和数据链路105；

传感器信息采集单元101包括九轴惯性导航芯片，用于根据人体的演奏动作获取感应主体1在X、Y、Z三轴方向的加速度向量、陀螺仪向量和地磁向量，并将获取的数据发送给主体控制单元104；

主体控制单元104用于根据所述九轴惯性导航芯片获取的数据生成演奏信号，并通过数据链路105与外部智能设备3进行信息交互；

灯光效果单元102用于根据所述演奏信号显示随节奏变化的灯光效果；

触觉反馈单元103用于根据所述演奏信号产生随节奏变化的震动。

本发明能够实现实时的演奏动作识别、以及演奏过程中的触觉、视觉反馈和正确实时的乐音响应。震动的节奏提示动感十足，实时提示用户进行弹奏，让用户切身感受音乐的律动；随节奏变换的灯光视觉体验，完美与节奏相融合，展现出炫酷的音乐体验效果，使人们可以随时随地体验音乐的魅力。

进一步地，所述九轴惯性导航芯片包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器，所述三轴加速度传感器用于获取感应主体1在X、Y、Z三轴方向的加速度向量，所述三轴陀螺仪传感器用于获取感应主体1在X、Y、Z三轴方向的陀螺仪向量，所述三轴地磁传感器用于获取感应主体1在X、Y、Z三轴方向的地磁向量。

上述实施例中，传感器信息采集单元101的功能是对多个传感器的信息进行采集和预处理，并对传感器的误差进行补偿，这样的数据处理设计使演奏过程中的状态信息的可靠性得到保证，为不同乐器的演奏动作识别提供了所需要的控制信息，如感应主体1的航向角、横滚角、俯仰角等。

优选地，主体控制单元104包括处理器、内置闪存、静态随机存储器、串行外设接口和电源管理器。其中，处理器可以采用36MHZ/36MIPS的32位处理器，内置闪存可以采用128K字节内置闪存，静态随机存储器可以采用16K字节静态随机存储器，串行外设接口为三个，电源管理器的工作电压在1.65-3.6V之间。

作为本发明的一种实现方式，灯光效果单元102包括灯光控制器和多个彩灯，所述灯光控制器用于根据所述演奏信号控制所述彩灯随节奏变化进行相应的显示。触觉反馈单元103包括马达驱动器和马达，所述马达驱动器用于根据所述演奏信号驱动所述马达随节奏变化进行震动。

进一步地，所述演奏信号中包含乐器信息，外部智能设备3中存储有与各种乐器相对应的音频文件，外部智能设备3能够根据当前演奏信号选取相应乐器的音频文件进行播放，具体播放过程将在下文进行详细阐述。

本发明还提供了一种基于上述体感音乐穿戴设备的演奏动作识别方法，包括以下步骤：

九轴惯性导航动作识别装置11根据人体的演奏动作生成演奏信号，并将所述演奏信号发送给外部智能设备3；

外部智能设备3根据所述演奏信号生成演奏音乐。

本发明将夸张的肢体动作转化为音乐旋律，能够随时随地创作音乐，使音乐可以随身携带，让人随时随地体验音乐的魅力。

优选地，九轴惯性导航动作识别装置11根据人体的演奏动作生成演奏信号的步骤包括：

在采样周期内，获取感应主体1在X、Y、Z三轴方向的加速度向量、陀螺仪向量和地磁向量，共九个数据；

应用捷联式惯性导航算法对上述九个数据进行融合，输出欧拉角，所述欧拉角包括横滚角、航向角和俯仰角；

依据所述欧拉角，针对不同的乐器设定不同的识别算法。

优选地，所述演奏信号中包含乐器信息，外部智能设备3中存储有与各种乐器相对应的音频文件；

所述针对不同的乐器设定不同的识别算法的步骤包括：

采集演奏乐器时人体动作的角速度波形图；

针对不同的乐器，对所述角速度波形图设定不同的阈值触发条件，该步骤包括：

对于瞬间触发型乐器，采用角速度单阈值法进行触发判断，当采集的角速度大于或等于预设的单阈值时，发出触发信号给外部智能设备3，使外部智能设备3选取相应的音频文件进行播放；

对于动作持续型乐器，采用角速度双阈值法进行触发判断，当采集的角速度大于或等于预设的第一阈值时，或者，当采集的角速度小于预设的第二阈值时，均发出触发信号给外部智能设备3，使外部智能设备3选取相应的音频文件进行播放。

这里将乐器按照演奏方式进行了分类，(不考虑一些乐器的特殊演奏方式)，一类是瞬间触发型，例如：木吉他、贝斯、架子鼓、电吉他等，一类是动作持续型，例如：小提琴、大提琴、二胡、三弦等。

在本发明中，图3为三轴加速度传感器实时采集的演奏乐器时人体动作的角速度波形图。通过观察波形图可以发现，每一次的触发由上到下，再由下到上，波形显示近似一个周期的正弦波，所以在分析波形时，将其抽象为正弦波。

本发明针对瞬间触发型乐器，采用角速度单阈值法进行演奏动作的触发判断，所谓的角速度单阈值法就是：角速度传感器采集的角速度大于或等于预设的单阈值时(这里以及下文所说的阈值都是指预设数据的绝对值)，立即发出触发信号，直到下次触发为止，不再发送触发信号。

如图3所示，在T1时刻检测到陀螺仪采集值大于或等于阈值P时，立即发出触发信号，该触发信号最终通过数据链路发送给外部智能设备。

由于不同的乐器能够演奏出不同的音调、和弦，这里将每一种乐器的音调、和弦以音频文件的形式封装在外部智能设备(例如，智能手机、平板电脑)中，当外部智能设备接收到触发信号时，立即播放对应的音频文件。

如图3所示，以吉他为例，在T1时刻外部智能设备接收到向下扫弦的信号，将立刻播放对应和弦的音频文件，直到接收到下一次触发信号，立刻停止播放当前音频文件，并同时播放第二次触发对应和弦的音频文件。

本发明针对动作持续型乐器，采用角速度双阈值法进行演奏动作的触发判断，所谓的角速度双阈值法就是：角速度传感器采集的角速度大于或等于预设的第一阈值时，立刻发出触发信号，当采集的角速度小于预设的第二阈值时，再次发出触发信号。

需要说明的是，所述第一阈值与所述第二阈值可以是相同的，也可以是不同的。

如图3所示，在T1时刻检测到角速度采集值大于或等于阈值P时，立即发出触发信号，在T2时刻检测到角速度采集值小于阈值P时，再次发出触发信号，触发信号最终传送给外部智能设备。

以小提琴为例进行说明，如图3所示，在T1时刻检测到角速度采集值大于或等于阈值P时，立即发出触发信号，此时外部智能设备播放对应音频文件，在T2时刻检测到角速度采集值小于阈值P时，再次发出触发信号，此时停止正在播放的音频文件，同时再次播放相同的音频文件。

因为基本音级有七个，它们分别是“do、re、mi、fa、sol、la、si”。对于不同的乐器，可以相应增加音级数量。最终达到模拟乐器的目的。这里使用笛卡尔坐标系分块法对不同的音阶进行标定和分级，所谓的笛卡尔坐标系分块法就是：如图4所示，根据航向角可以将水平方向分割成若干个区域，每一个区域就可以代表一个阶；如图5所示，根据俯仰角可以将垂直区域分为若干个区域，每一个区域代表不同的音阶或响度；根据横滚角的不同将用于区分演奏的情绪，用以反映演奏的响度和速度。

以演奏架子鼓为例进行说明，首先，如图4所示，利用航向角ψ来分辨感应主体的水平朝向，当鼓锤1在A区域敲击时，设置为右鼓；当鼓锤1在B区域敲击时，设置为中鼓；当鼓锤1在C区域敲击时，设置为左鼓。

即：

0°≤ψ≤60°，右鼓；

60°＜ψ≤120°，中鼓；

120°＜ψ≤180°，左鼓。

如图5所示，利用俯仰角ψ来分辨感应主体的竖直朝向，当鼓锤1在A区域敲击时，设置为下鼓；当鼓锤1在B区域敲击时，设置为上鼓。

即：

0°≤θ≤30°，下鼓；

30°＜θ≤90°，上鼓。

在使用本发明的过程中，可以根据个人的喜好选择不同的乐器，通过调整体感音乐穿戴设备的触发条件，选择不同的乐器进行演奏；同时通过编写外部智能设备的软件，也可以选择不同的音阶分布方式，从而选择不同的乐器。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种体感音乐穿戴设备，其特征在于，包括感应主体和与所述感应主体相连接的佩戴部分，所述佩戴部分能够拆卸及更换，所述感应主体包括外壳和设置在所述外壳中的九轴惯性导航动作识别装置，所述九轴惯性导航动作识别装置用于根据人体的演奏动作生成演奏信号，并将所述演奏信号发送给外部智能设备，以供所述外部智能设备根据所述演奏信号生成演奏音乐。

2.根据权利要求1所述的体感音乐穿戴设备，其特征在于，所述九轴惯性导航动作识别装置包括传感器信息采集单元、灯光效果单元、触觉反馈单元、主体控制单元和数据链路；

所述传感器信息采集单元包括九轴惯性导航芯片，用于根据人体的演奏动作获取所述感应主体在X、Y、Z三轴方向的加速度向量、陀螺仪向量和地磁向量，并将获取的数据发送给所述主体控制单元；

所述主体控制单元用于根据所述九轴惯性导航芯片获取的数据生成演奏信号，并通过所述数据链路与所述外部智能设备进行信息交互；

所述灯光效果单元用于根据所述演奏信号显示随节奏变化的灯光效果；

所述触觉反馈单元用于根据所述演奏信号产生随节奏变化的震动。

3.根据权利要求2所述的体感音乐穿戴设备，其特征在于，所述九轴惯性导航芯片包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器，所述三轴加速度传感器用于获取所述感应主体在X、Y、Z三轴方向的加速度向量，所述三轴陀螺仪传感器用于获取所述感应主体在X、Y、Z三轴方向的陀螺仪向量，所述三轴地磁传感器用于获取所述感应主体在X、Y、Z三轴方向的地磁向量。

4.根据权利要求2所述的体感音乐穿戴设备，其特征在于，所述主体控制单元包括处理器、内置闪存、静态随机存储器、串行外设接口和电源管理器。

5.根据权利要求2所述的体感音乐穿戴设备，其特征在于，所述灯光效果单元包括灯光控制器和多个彩灯，所述灯光控制器用于根据所述演奏信号控制所述彩灯随节奏变化进行相应的显示。

6.根据权利要求2所述的体感音乐穿戴设备，其特征在于，所述触觉反馈单元包括马达驱动器和马达，所述马达驱动器用于根据所述演奏信号驱动所述马达随节奏变化进行震动。

7.根据权利要求1至6中任意一项所述的体感音乐穿戴设备，其特征在于，所述演奏信号中包含乐器信息，所述外部智能设备中存储有与各种乐器相对应的音频文件，所述外部智能设备能够根据当前演奏信号选取相应乐器的音频文件进行播放。

8.一种基于权利要求1至7中任意一项所述的体感音乐穿戴设备的演奏动作识别方法，其特征在于，包括以下步骤：

九轴惯性导航动作识别装置根据人体的演奏动作生成演奏信号，并将所述演奏信号发送给外部智能设备；

所述外部智能设备根据所述演奏信号生成演奏音乐。

9.根据权利要求8所述的演奏动作识别方法，其特征在于，所述九轴惯性导航动作识别装置根据人体的演奏动作生成演奏信号的步骤包括：

在采样周期内，获取感应主体在X、Y、Z三轴方向的加速度向量、陀螺仪向量和地磁向量，共九个数据；

应用捷联式惯性导航算法对上述九个数据进行融合，输出欧拉角，所述欧拉角包括横滚角、航向角和俯仰角；

依据所述欧拉角，针对不同的乐器设定不同的识别算法。

10.根据权利要求9所述的演奏动作识别方法，其特征在于，所述演奏信号中包含乐器信息，所述外部智能设备中存储有与各种乐器相对应的音频文件；

所述针对不同的乐器设定不同的识别算法的步骤包括：

采集演奏乐器时人体动作的角速度波形图；

针对不同的乐器，对所述角速度波形图设定不同的阈值触发条件，该步骤包括：

对于瞬间触发型乐器，采用角速度单阈值法进行触发判断，当采集的角速度大于或等于预设的单阈值时，发出触发信号给所述外部智能设备，使所述外部智能设备选取相应的音频文件进行播放；

对于动作持续型乐器，采用角速度双阈值法进行触发判断，当采集的角速度大于或等于预设的第一阈值时，或者，当采集的角速度小于预设的第二阈值时，均发出触发信号给所述外部智能设备，使所述外部智能设备选取相应的音频文件进行播放。