CN104732983A - 一种交互式音乐可视化方法和装置 - Google Patents

Abstract

本发明公开了一种交互式音乐可视化方法，包括以下步骤：(1)识别储存的音乐片段的情感特征(2)选择播放音乐片段；(3)根据播放的音乐片段控制矩阵布置的多个升降单元独立的上下运动；(4)根据参照物在三维空间内的位置变化调整所述控制信号，同时控制播放的音乐片段作与升降单元上下运动相适应的变化；本发明还公开了一种交互式音乐可视化装置，包括：位置识别单元，主机，扬声器以及矩阵布置的多个升降单元；本发明将音乐以听觉、视觉以及触觉的“联觉”形式展现，将音乐通过实体的升降单元来形成三维的波浪起伏，并可以通过识别参照物移动来对音乐进行调整，降低音乐创作的门槛，释放音乐创造力，具有十分广阔的市场。

Description

一种交互式音乐可视化方法和装置

技术领域

本发明涉及音乐交互技术，特别涉及一种交互式音乐可视化方法和装置。

背景技术

音乐的目的在于传递情感，但是将音乐仅限于听觉体验将极大约束音乐的发展。《乐记·乐本篇》说“凡音之起，由人心生也”。自古以来，中华民族的先贤便常在诗词歌赋中使用联觉手法寓意山水、借景抒情。一幅画面能诠释一首歌曲的情感和故事，一段影像因配乐而更具感染力，人们倾向于将音乐的强弱与事物的能量和力度、音频高低与亮度以及音高与情绪等进行联觉对应。

创作是人们的天性，每个人都有着无与伦比的创造力，无论是谁，从老人到小孩，从精英到群众都会无意间哼哼小曲，或是不由自主的打着节拍，这种节拍、小曲没有特定的规律也不成体系，但是正是这种不由自主的天性让人心情舒畅，四肢舒展，对人的情感和身体真正产生作用，音乐的最高境界不过如此。但在历史的进程中，音乐却被赋予了更多的意义，加上了很多文化的标签，创作音乐的门槛越来越高，似乎那仅是属于音乐人的事，而五线谱等复杂的规范无不制约着人们的想象力。

而且音乐可以作为艺术治疗、艺术创作、展览展示或者商业演出的一种重要辅助元素，在艺术治疗中，音乐可以对听障患者、智力障碍患者或者心理障碍患者都有较好的治疗效果。

因此，为了降低音乐创作门槛，充分发挥人们的创造力，将音乐可视化成了一项重要的课题，公告号CN 203415221 U的专利文献公开了交互式音乐可视化装置包括触发装置、执行装置、导线以及独立设置的显示装置，所述执行装置与触发装置通过导线连接，所述显示装置与所述执行装置相对设置。

但是目前的交互设备，都如上述装置相似，都是以显示器的图像变化来实现音乐的可视化，在生活中存在这很多种，例如windows media player中的可视化效果，这些已有系统仅仅对于音乐的某些局部特征进行可视化，并未对于音乐情感进行完整表达，并且变化形式不丰富，交互方式单一，无法满足人们越来越高的创作和欣赏需求。

发明内容

本发明提供了一种交互式音乐可视化方法，自动识别音乐的情感表达内容，立体化显示音乐，还可以利用手势操作对播放中的音乐进行二次创作，实现音乐以听觉、视觉以及触觉的“联觉”形式展现。

一种交互式音乐可视化方法，包括以下步骤：

(1)识别储存的音乐片段的情感特征，并进行情感标记；

(2)选择播放某个带有情感标记的音乐片段；

(3)根据播放的音乐片段生成控制信号，控制矩阵布置的多个升降单元独立的上下运动；

(4)根据参照物在三维空间内的位置变化调整所述控制信号，同时控制播放的音乐片段作与升降单元上下运动相适应的变化。

本方法在实施过程中，用户可以根据情感标记选择符合自己当前心情的音乐片段，音乐片段播放的同时，多个升降单元根据音乐片段生成控制信号上下运动，形成实体的三维波浪起伏，使音乐以立体形式表现，视觉展现更具体形象；用户还可以移动参照物来对升降单元进行控制，参照物可以是用户的手或其他实体物体，同时还控制音乐片段发生相应的变化，对音乐片段进行二次创作，不仅使音乐以听觉、视觉以及触觉的“联觉”形式展现，丰富音乐的表现形式，并且可以通过识别参照物移动来对音乐进行调整，降低音乐创作的门槛，释放人们的音乐创造力。

现阶段音乐的展现方式都显得单调和简单，仅仅只通过听觉和少量的视觉来呈现。而本方法发掘了一种全新的音乐体验方式，即多重感官的刺激，甚至可以达到不借助听觉来帮助人们感受音乐的各个要素，这可以在一定程度上帮助听觉障碍人士借助视觉和触觉感受音乐，进一步而言，可以辅助进行听觉障碍治疗。

音乐教育对孩子的早期发展具有十分重要的意义，借助多重感官的刺激，能帮助婴幼儿很快了解音乐，本方法结合体感交互技术，能让用户感受“创造”之魅力的同时，也能让音乐作曲简单、易行，因此也十分适合作为早教类产品。

每首音乐都包含了它特有的几种要素。音乐的基本要素是指构成音乐的各种元素，包括音的高低，音的长短，音的强弱和音色。由这些基本要素相互结合，形成音乐的常用的“形式要素”，例如：节奏，曲调，和声，以及力度，速度，调式，曲式，织体等，构成音乐的形式要素，就是音乐的表现手段。

当正向播放音乐的时候，利用算法，拟提取音乐的音色、响度、音阶这三个基本要素，优选的，在步骤(3)中，根据音乐片段的音色和音阶来定位升降单元，根据音乐片段的响度控制升降单元的运动高度。通过升降单元表现这三个基本要素可以形象地展现音乐的特点。

音乐的识别和标记可以人为进行，但是个体对音乐情感的表达差异较大，无法统一，为了提高了本方法的智能化和识别准确性，需要构建识别模型，优选的，在步骤(1)中，识别音乐片段的情感特征的具体步骤如下：

1-1、创建一个音乐片段曲库；

1-2、对音乐片段曲库内的每段音乐片段进行人工主观音乐情感识别和标注，并将标注结果数据化；

1-3、提取音乐片段曲库内的每段音乐片段的声纹特征参数，将每段音乐片段与步骤1-2中相应音乐片段的情感相匹配，构建音乐声纹特征参数与情感之间的数学关系模型；

1-4、根据1-3中得到的数学关系模型对待识别的音乐片段进行情感识别。

为了提高识别的准确性，优选的，步骤1-2中，人工主观音乐情感识别是利用手工标注和生理信号信息标注同时进行的方式来完成。

优选的，步骤1-2中，将音乐片段的情感识别结果数据化的具体步骤包括：

1-2-1、人为地将音乐的情感划分成多个情感语义，建立多维情感模型；

1-2-2、根据多维情感模型，对每段音乐片段的各情感语义进行人工主观音乐情感识别，并进行打分，使每段音乐片段的情感由一个多维向量表示。

上述过程中，情感语义设定的越多，情感表达也就越丰富，对音乐的情感标记也越具体。

为了提高识别的准确性，优选的，步骤1-2-2中，评判者设有多人，每段音乐片段的每一个情感语义的多人评分取期望值作为打分结果。

进一步优选的，在步骤1-3中，构建音乐声纹特征参数和情感之间的数学关系模型具体步骤如下：

1-3-1、根据步骤1-2-2得到的多维向量，选取所有音乐片段的同一维度的数据作为训练集标签，将对应音乐片段的声纹特征参数取为训练集；

1-3-2将每一个维度的训练集标签的数据和训练集的数据分别进行函数拟合，对应每一个维度得到与数据点间的距离和最小的最优超平面，得到的最优超平面函数即为音乐声纹特征参数与各情感语义之间的数学关系模型。

进一步优选的，拟合函数为f(x)＝w^Tx+b，得到最优超平面的具体过程如下：设置惩罚参数w的变化范围[wmin,wmax]，b设置起变化范围[bmin，bmax]，设置wstep、bstep分别为w参数和b参数的变化步长，通过循环遍历寻找得到距离和最小的函数最优参数组合{wi,bi}，得到最优超平面函数。

为了进一步提高音乐情感识别的准确性，对最优参数组合进行交叉检验，具体方法过程如下：首先确定需要进行检验的参数wi、bi；利用这组参数构建起该维度下的情感模型(例如，该参数是在vigorous维度下得到的，则需要在vigorous维度下进行交叉检验)；将步骤1-3-1得到的训练集标签和训练集数据分成两部分(如共有500组训练集标签和训练集，分成400和100两部分)，一部分用于构建模型，另一部分用于通过将训练集输入模型得到相应训练集标签，再与真实训练集标签进行比较，确定模型对于音乐情感的识别准确度。

为了丰富音乐在视觉上的表达内容，优选的，在骤(4)中，所述参照物的变化控制各升降单元产生光效变化。具体的，可以根据参照物的位置来控制相应部分的升降单元发光，还可以转动参照物来控制该区域升降单元亮和暗。

本发明还提供了一种交互式音乐可视化装置，包括：

位置识别单元，获取参照物在三维空间内的位置信息；

主机，用于识别储存的音乐片段的情感特征，并进行情感标记，再选择输出某个带有情感标记的音乐片段；还用于根据播放的音乐片段生成控制信号；还用于接收来自位置识别单元的位置信息以调整所述控制信号，同时控制播放的音乐片段作相应的变化；

扬声器，用于接收来自主机的音乐片段并进行播放；

多个升降单元，矩阵布置，用于接收来自主机的控制信号以独立的上下运动，所述扬声器播放的音乐片段的变化与升降单元上下运动相适应。

优选的，还包括受控于主机且与升降单元一一对应的多个三原色灯珠，各三原色灯珠安装在对应升降单元内；

主机还根据来自位置识别单元的位置信息控制各三原色灯珠亮灭，实现各升降单元产生光效变化。

为了在升降单元表面形成较平滑的曲面，优选的，每个升降单元包括若干矩阵排布的升降柱。每个升降单元通过各升降柱的变化形成曲面变化，使所有升降单元在运行时，整体变化更平滑，提高视觉效果。

本发明的有益效果：

本发明的交互式音乐可视化方法和装置，具有以下优点：

(1)将音乐以听觉、视觉以及触觉的“联觉”形式展现，丰富了音乐的表现形式，让音乐形成多种感官的体验，使人们能更好地感受音乐带来的愉悦；

(2)将音乐通过实体的升降单元来形成三维的波浪起伏，使音乐以立体形式表现，视觉感受更具体和形象；

(3)可以通过识别参照物移动来对音乐进行调整，降低音乐创作的门槛，释放音乐创造力，具有十分广阔的市场。

附图说明

图1为本发明方法的流程线框图。

图2为本发明装置的结构线框图。

图3为本发明中安装有升降单元的装置的结构示意图。

图4为图3的俯视图。

具体实施方式

如图1所示，本发明的交互式音乐可视化方法包括以下步骤：

(1)识别储存的音乐片段的情感特征，并进行情感标记；

识别音乐片段的情感特征的具体步骤如下：

1-1、创建一个音乐片段曲库；

1-2、对音乐片段曲库内的每段音乐片段进行人工主观音乐情感识别和标注，并将标注结果数据化，其中，人工主观音乐情感识别是利用手工标注和生理信号信息标注同时进行的方式来完成；

将音乐片段的情感识别结果数据化的具体步骤包括：

1-2-1、人为地将音乐的情感划分成多个情感语义，建立多维情感模型；

1-2-2、根据多维情感模型，对每段音乐片段的各情感语义进行人工主观音乐情感识别，并进行打分，评判者设有多人，每段音乐片段的每一个情感语义的多人评分取期望值作为打分结果，使每段音乐片段的情感由一个多维向量表示，

1-3、提取音乐片段曲库内的每段音乐片段的声纹特征参数，将每段音乐片段与步骤1-2中相应音乐片段的情感相匹配，构建音乐声纹特征参数与情感之间的数学关系模型；

构建音乐声纹特征参数和情感之间的数学关系模型具体步骤如下：

1-3-1、根据步骤1-2-2得到的多维向量，选取所有音乐片段的同一维度的数据作为训练集标签，将对应音乐片段的声纹特征参数取为训练集；

1-3-2将每一个维度的训练集标签的数据和训练集的数据分别进行函数拟合，对应每一个维度得到与数据点间的距离和最小的最优超平面，得到的最优超平面函数即为音乐声纹特征参数与各情感语义之间的数学关系模型；

本实施例中，拟合函数为f(x)＝w^Tx+b，得到最优超平面的具体过程如下：设置惩罚参数w的变化范围[wmin,wmax]，b设置起变化范围[bmin，bmax]，设置wstep、bstep分别为w参数和b参数的变化步长，通过循环遍历寻找得到距离和最小的函数最优参数组合{wi,bi}，得到最优超平面函数；

1-4、根据1-3中得到的数学关系模型对待识别的音乐片段进行情感识别。

(2)选择播放某个带有情感标记的音乐片段；

(3)根据播放的音乐片段生成控制信号，控制矩阵布置的多个升降单元独立的上下运动，控制信号为提取音乐的音色、响度、音阶这三个要素，根据音乐片段的音色和音阶来定位升降单元，根据音乐片段的响度控制升降单元的运动高度。

(4)根据参照物在三维空间内的位置变化调整所述控制信号，同时控制播放的音乐片段作与升降单元上下运动相适应的变化，参照物的变化控制各升降单元产生光效变化，具体可以是，参照物在三维空间内的升高和降低动作对应位置的升降单元上下运动，参照物在水平范围内旋转动作控制光效单元的变亮与变暗。

如图2和图3所示，本实施例的交互式音乐可视化装置包括：

位置识别单元，获取参照物在三维空间内的位置信息；

主机，用于识别储存的音乐片段的情感特征，并进行情感标记，再选择输出某个带有情感标记的音乐片段；还用于根据播放的音乐片段生成控制信号；还用于接收来自位置识别单元的位置信息以调整所述控制信号，同时控制播放的音乐片段作相应的变化；

扬声器，用于接收来自主机的音乐片段并进行播放；

多个升降单元，矩阵布置，用于接收来自主机的控制信号以独立的上下运动，所述扬声器播放的音乐片段的变化与升降单元上下运动相适应。

其中，用于实现升降单元4升降的装置包括：安装在安装平台1，安装平台1上设有支撑板2，支撑板2上垫有弹性支撑层3，弹性支撑层3上矩阵铺设升降单元4，每个升降单元4包括若干矩阵排布的升降柱41，支撑板2下方设有与升降单元4一一对应的若干组驱动机构5，每组驱动机构5包括：抵接升降单元的顶杆51，外周贴靠顶杆51的凸轮52以及驱动凸轮转动的电机，支撑板2上设有与各顶杆51一一对应的通过孔21，各通过孔21上设有位于弹性支撑层2下方与各顶杆41配合的联动板6，各顶杆51穿过通过孔21与对应的联动板6固定连接。

各顶杆51上设有限位凸台511，并套有复位弹簧512，复位弹簧512抵接在定位凸台511和支撑板2之间。为了提高视觉效果，各顶杆51内安装有三原色灯珠7，升降单元4、顶杆51以及联动板6采用透光材质制成，三原色灯珠7安装在各顶杆上，各电机启动和各三原色灯珠7的亮暗受控于主机。

升降单元4还可以是单一一个的升降柱，实现一组驱动机构4控制一个升降柱，以提高控制精度，但是会增加设备的制造难度和成本，因此，本实施例中设置成若干矩阵排布的升降柱，并通过设置弹性支撑层3来实现各升降柱41的联动，形成起伏表面。

本实施例中，参照物为人的手部，参照物也可以是其他可以被识别的物体，随着体感技术的发展，识别手势的技术越来越多，本实施例中，采用Leap Motion作为位置识别单元，Leap Motion具有最丰富的手势识别内容，而且体积较小，方便嵌入装置内，完全能达到我们的要求。

Leap Motion利用其上的两个红外线摄像头，本实施例中，红外线摄像头8安装在安装平台1上，以每秒钟200桢的速度获取图像，并传输到主机，利用主机端的专门软件进行每一帧图像分析，得到如每个手指的三维坐标、手掌握合程度等一系列数值，精度高达1/100毫米，Leap Motion还提供了极其丰富和易于使用的接口供开发者使用。

工作时，本实施例的升降单元会随着音乐片段的播放而上下起伏，让音乐变成可见、可触、可交互的实体，在欣赏音乐的同时，通过Leap Motion捕捉手势，控制电机和三原色灯珠7，在对升降单元4和三原色灯珠7控制的同时反向改变音乐片段本身，让音乐变成一场具有交互的视听盛宴。

Claims (10)

1.一种交互式音乐可视化方法，其特征在于，包括以下步骤：

(1)识别储存的音乐片段的情感特征，并进行情感标记；

(2)选择播放某个带有情感标记的音乐片段；

(3)根据播放的音乐片段生成控制信号，控制矩阵布置的多个升降单元独立的上下运动；

(4)根据参照物在三维空间内的位置变化调整所述控制信号，同时控制播放的音乐片段作与升降单元上下运动相适应的变化。

2.如权利要求1所述的交互式音乐可视化方法，其特征在于，在步骤(3)中，根据音乐片段的音色和音阶来定位升降单元，根据音乐片段的响度控制升降单元的运动高度。

3.如权利要求1所述的交互式音乐可视化方法，其特征在于，在步骤(1)中，识别音乐片段的情感特征的具体步骤如下：

1-1、创建一个音乐片段曲库；

1-2、对音乐片段曲库内的每段音乐片段进行人工主观音乐情感识别和标注，并将标注结果数据化；

1-3、提取音乐片段曲库内的每段音乐片段的声纹特征参数，将每段音乐片段与步骤1-2中相应音乐片段的情感相匹配，构建音乐声纹特征参数与情感之间的数学关系模型；

1-4、根据1-3中得到的数学关系模型对待识别的音乐片段进行情感识别。

4.如权利要求3所述的交互式音乐可视化方法，其特征在于，步骤1-2中，将音乐片段的情感识别结果数据化的具体步骤包括：

1-2-1、人为地将音乐的情感划分成多个情感语义，建立多维情感模型；

1-2-2、根据多维情感模型，对每段音乐片段的各情感语义进行人工主观音乐情感识别，并进行打分，使每段音乐片段的情感由一个多维向量表示。

5.如权利要求4所述的交互式音乐可视化方法，其特征在于，在步骤1-3中，构建音乐声纹特征参数和情感之间的数学关系模型具体步骤如下：

1-3-1、根据步骤1-2-2得到的多维向量，选取所有音乐片段的同一维度的数据作为训练集标签，将对应音乐片段的声纹特征参数取为训练集；

1-3-2将每一个维度的训练集标签的数据和训练集的数据分别进行函数拟合，对应每一个维度得到与数据点间的距离和最小的最优超平面，得到的最优超平面函数即为音乐声纹特征参数与各情感语义之间的数学关系模型。

6.如权利要求5所述的交互式音乐可视化方法，其特征在于，拟合函数为f(x)＝w^Tx+b，得到最优超平面的具体过程如下：设置惩罚参数w的变化范围[wmin,wmax]，b设置起变化范围[bmin，bmax]，设置wstep、bstep分别为w参数和b参数的变化步长，通过循环遍历寻找得到距离和最小的函数最优参数组合{wi,bi}，得到最优超平面函数。

7.如权利要求1所述的交互式音乐可视化方法，其特征在于，在骤(4)中，所述参照物的变化控制各升降单元产生光效变化。

8.一种交互式音乐可视化装置，其特征在于，包括：

位置识别单元，获取参照物在三维空间内的位置信息；

主机，用于识别储存的音乐片段的情感特征，并进行情感标记，再选择输出某个带有情感标记的音乐片段；还用于根据播放的音乐片段生成控制信号；还用于接收来自位置识别单元的位置信息以调整所述控制信号，同时控制播放的音乐片段作相应的变化；

扬声器，用于接收来自主机的音乐片段并进行播放；

多个升降单元，矩阵布置，用于接收来自主机的控制信号以独立的上下运动，所述扬声器播放的音乐片段的变化与升降单元上下运动相适应。

9.如权利要求8所述的交互式音乐可视化装置，其特征在于，还包括受控于主机且与升降单元一一对应的多个三原色灯珠，各三原色灯珠安装在对应升降单元内；

主机还根据来自位置识别单元的位置信息控制各三原色灯珠亮灭。

10.如权利要求8所述的交互式音乐可视化装置，其特征在于，每个升降单元包括若干矩阵排布的升降柱。