CN108281129B - 基于processing的midi键盘可视化方法 - Google Patents

基于processing的midi键盘可视化方法 Download PDF

Info

Publication number
CN108281129B
CN108281129B CN201810209125.3A CN201810209125A CN108281129B CN 108281129 B CN108281129 B CN 108281129B CN 201810209125 A CN201810209125 A CN 201810209125A CN 108281129 B CN108281129 B CN 108281129B
Authority
CN
China
Prior art keywords
midi
processing
event
midi keyboard
keyboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810209125.3A
Other languages
English (en)
Other versions
CN108281129A (zh
Inventor
王归航
童晶
还毅
周达
胡国生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201810209125.3A priority Critical patent/CN108281129B/zh
Publication of CN108281129A publication Critical patent/CN108281129A/zh
Application granted granted Critical
Publication of CN108281129B publication Critical patent/CN108281129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种基于processing的midi键盘可视化方法，包括在演奏过程中实时获取midi信号数据；提取midi信号数据中各事件的特征信息；根据特征信息生成可视化效果。本发明提供一种midi键盘交互方案，在midi键盘与演奏者进行交互时，实时、准确并且富有艺术感的视觉可视化效果能给用户带来友好的交互体验。

Description

基于processing的midi键盘可视化方法
技术领域
本发明涉及一种基于processing的midi键盘可视化方法，属于色彩学和计算机图形学领域。
背景技术
凡是带有MIDI OUT接口、带有钢琴键盘的硬件数字音乐设备即称之为“MIDI键盘”，也就是我们所说的虚拟乐器。由于虚拟乐器的存在，音乐人从此可以不需要那些昂贵的硬件合成器或电子鼓来获得声音了，只需要一个用设备来对虚拟乐器进行触发或演奏即可，MIDI键盘本身并不能够发出声音，只是专门用来控制虚拟乐器或是通过串接指令控制其它电子乐器来发出声音。而MIDI控制器则可以使演奏呈现多样化和人性化，如控制滤波器产生音色的明暗实时变化，或模拟一件吹奏乐器的演奏气息变化，现阶段可用的MIDI键盘控制器对大众依然不够友好。因此，为解决上述问题，更好的发挥MIDI数据的优势，特提供一种崭新的的技术方案。
发明内容
为了解决上述技术问题，本发明提供了一种基于processing的midi键盘可视化方法。
为了达到上述目的，本发明所采用的技术方案是：
基于processing的midi键盘可视化方法，包括以下步骤，
在演奏过程中实时获取midi信号数据；
提取midi信号数据中各事件的特征信息；
根据特征信息生成可视化效果。
将midi键盘接入操作平台，在processing图形库中通过midibus库实时监控midi键盘与操作平台之间的端口，获取midi键盘发出的midi信号数据。
提取特征信息的过程为，
记录每个事件所处的时间位置和持续时间；
当事件为音符时，还记录所处的小节、拍子、音高和力度值；
根据相邻事件的时间位置，提取事件对应midi键盘上的位置、对应黑白键色以及相邻事件是否为发自不同的midi键盘。
在三维坐标系统中，假设事件a的时间位置为(x,y,z)，则相邻事件b的时间位置为(x+xi,y+yi,z+zi)；
Figure GDA0003197921070000021
Figure GDA0003197921070000022
Figure GDA0003197921070000023
其中，xi,yi,zi分别为x,y,z轴上的步长。
根据特征信息生成可视化效果的过程为，
建立音高与色彩的映射关系；
用变量记录按压时间，即持续时间；
用变量ti记录按压力度，即力度值，不同的按压力度分别映射不同的尺寸，按压力度越大，尺寸越大；
建立黑键与图形的映射关系，建立白键与图形的映射关系；
基于processing生成可视化效果。
黑键对应的图形为立方体，白键对应的图形为球体，立方体棱长公式为Ls+k×ti，Ls为黑键最小按压力度显示的立方体棱长，ti为记录按压力度的变量，k为比例常量，球体半径公式均为Ls′+k×ti，Ls′为白键最小按压力度显示的球体半径。
本发明所达到的有益效果：本发明提供一种midi键盘交互方案，在midi键盘与演奏者进行交互时，实时、准确并且富有艺术感的视觉可视化效果能给用户带来友好的交互体验。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，基于processing的midi键盘可视化方法，包括以下步骤：
步骤1，操作平台预编辑，将midi键盘接入操作平台，在演奏过程中实时获取midi信号数据。
操作平台可使用电脑，在电脑内设置midi信号协议，编辑midi映射表，midi信号通过解码程序，再经过振荡器、滤波器、ADDA转换器、信号放大器等元件，将纯粹的数据变成可以听到的声音。
在processing图形库中通过midibus库实时监控midi键盘与操作平台之间的端口，获取midi键盘发出的midi信号数据。
步骤2，提取midi信号数据中各事件的特征信息。
具体过程为：
1)记录每个事件所处的时间位置和持续时间；
2)当事件为音符时，还记录所处的小节、拍子、音高和力度值；
3)根据相邻事件的时间位置，提取事件对应midi键盘上的位置、对应黑白键色以及相邻事件是否为发自不同的midi键盘；
在三维坐标系统中，假设事件a的时间位置为(x,y,z)，则相邻事件b的时间位置为(x+xi,y+yi,z+zi)；
Figure GDA0003197921070000041
Figure GDA0003197921070000042
Figure GDA0003197921070000043
其中，xi,yi,zi分别为x,y,z轴上的步长。
多个按键同时按下会产生多个事件同时发生，也就是midi信号处理中的“复音数”情况，在程序设计中使用异步编程可以较好处理该情况。
步骤3，根据特征信息生成可视化效果。
具体过程为：
a)建立音高与色彩的映射关系；
b)用变量记录按压时间，即持续时间；
c)用变量ti记录按压力度，即力度值，不同的按压力度分别映射不同的尺寸，按压力度越大，尺寸越大；
d)建立黑键与图形的映射关系，建立白键与图形的映射关系；
e)根据上述的关系，基于processing生成可视化效果。任何具备中高阶编程能力与乐理常识者都能编程实现可以运行的可视化程序。
假设黑键对应的图形为立方体，白键对应的图形为球体，立方体棱长公式为Ls+k×ti，Ls为黑键最小按压力度显示的立方体棱长，ti为记录按压力度的变量，k为比例常量，默认赋值为1.5，球体半径公式均为Ls′+k×ti，Ls′为白键最小按压力度显示的球体半径。
按下按键后，在三维空间的某一基准点上下显示出粒子(立方体/球体)，粒子的大小，颜色，位置信息根据特征信息给出，当按键释放时，代表该音符的粒子将被释放，落下后进行分裂弹跳，粒子每一次落地都将等分为3个较小的粒子继续向四周弹跳，弹跳次数达到预设的n次后将即消失。
步骤4，将一个轮次的实时演奏数据导出midi文件，可在以后随时回放、编辑，以供学习交流之用。
上述方法在midi键盘与演奏者进行交互时，实时、准确并且富有艺术感的视觉可视化效果能给用户带来友好的交互体验。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.基于processing的midi键盘可视化方法，其特征在于：包括以下步骤，
在演奏过程中实时获取midi信号数据；
提取midi信号数据中各事件的特征信息，
提取特征信息的过程：
记录每个事件所处的时间位置和持续时间，
当事件为音符时，还记录所处的小节、拍子、音高和力度值，
根据相邻事件的时间位置，提取事件对应midi键盘上的位置、对应黑白键色以及相邻事件是否为发自不同的midi键盘；
根据特征信息生成可视化效果。
2.根据权利要求1所述的基于processing的midi键盘可视化方法，其特征在于：将midi键盘接入操作平台，在processing图形库中通过midibus库实时监控midi键盘与操作平台之间的端口，获取midi键盘发出的midi信号数据。
3.根据权利要求1所述的基于processing的midi键盘可视化方法，其特征在于：在三维坐标系统中，假设事件a的时间位置为(x,y,z)，则相邻事件b的时间位置为(x+xi,y+yi,z+zi)；
Figure FDA0003197921060000011
Figure FDA0003197921060000012
Figure FDA0003197921060000013
其中，xi,yi,zi分别为x,y,z轴上的步长。
4.根据权利要求1所述的基于processing的midi键盘可视化方法，其特征在于：根据特征信息生成可视化效果的过程为，
建立音高与色彩的映射关系；
用变量记录按压时间，即持续时间；
用变量ti记录按压力度，即力度值，不同的按压力度分别映射不同的尺寸，按压力度越大，尺寸越大；
建立黑键与图形的映射关系，建立白键与图形的映射关系；
基于processing生成可视化效果。
5.根据权利要求4所述的基于processing的midi键盘可视化方法，其特征在于：黑键对应的图形为立方体，白键对应的图形为球体，立方体棱长公式为Ls+k×ti，Ls为黑键最小按压力度显示的立方体棱长，k为比例常量，球体半径公式均为Ls′+k×ti，Ls′为白键最小按压力度显示的球体半径。
CN201810209125.3A 2018-03-14 2018-03-14 基于processing的midi键盘可视化方法 Active CN108281129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810209125.3A CN108281129B (zh) 2018-03-14 2018-03-14 基于processing的midi键盘可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810209125.3A CN108281129B (zh) 2018-03-14 2018-03-14 基于processing的midi键盘可视化方法

Publications (2)

Publication Number Publication Date
CN108281129A CN108281129A (zh) 2018-07-13
CN108281129B true CN108281129B (zh) 2021-11-16

Family

ID=62809615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810209125.3A Active CN108281129B (zh) 2018-03-14 2018-03-14 基于processing的midi键盘可视化方法

Country Status (1)

Country Link
CN (1) CN108281129B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093745A (zh) * 2011-10-31 2013-05-08 卡西欧计算机株式会社 演奏动作显示装置及方法
WO2015136159A1 (en) * 2014-03-14 2015-09-17 Berggram Development Oy Method for offsetting pitch data in an audio file
CN107025901A (zh) * 2017-04-05 2017-08-08 宁多夫（上海）教育科技有限公司 一种虚拟钢琴
CN107644631A (zh) * 2017-10-13 2018-01-30 深圳市明德智慧教育科技有限公司 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备
CN107705776A (zh) * 2017-10-23 2018-02-16 森兰信息科技（上海）有限公司 一种智能钢琴左右键盘分区使用的系统与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093745A (zh) * 2011-10-31 2013-05-08 卡西欧计算机株式会社 演奏动作显示装置及方法
WO2015136159A1 (en) * 2014-03-14 2015-09-17 Berggram Development Oy Method for offsetting pitch data in an audio file
CN107025901A (zh) * 2017-04-05 2017-08-08 宁多夫（上海）教育科技有限公司 一种虚拟钢琴
CN107644631A (zh) * 2017-10-13 2018-01-30 深圳市明德智慧教育科技有限公司 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备
CN107705776A (zh) * 2017-10-23 2018-02-16 森兰信息科技（上海）有限公司 一种智能钢琴左右键盘分区使用的系统与方法

Also Published As

Publication number Publication date
CN108281129A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
US9412349B2 (en) Intelligent keyboard interface for virtual musical instrument
US9558727B2 (en) Performance method of electronic musical instrument and music
US5689078A (en) Music generating system and method utilizing control of music based upon displayed color
US7199301B2 (en) Freely specifiable real-time control
CN112203114B (zh) 协同演奏方法、系统、终端设备及存储介质
US20150103019A1 (en) Methods and Devices and Systems for Positioning Input Devices and Creating Control
Winkler Composing interactive music
KR101682736B1 (ko) 재생되어질 신호 파일의 녹음재생을 제어하기 위한 장치 및 방법
US20220114993A1 (en) Instrument and method for real-time music generation
Reboursière et al. Multimodal Guitar: A Toolbox For Augmented Guitar Performances.
CN107705776A (zh) 一种智能钢琴左右键盘分区使用的系统与方法
Jordà 5 Interactivity and live computer music
CN108281129B (zh) 基于processing的midi键盘可视化方法
JPH11296168A (ja) 演奏情報評価装置、演奏情報評価方法及び記録媒体
CN109920397B (zh) 一种物理学中音频函数制作系统及制作方法
CN113539212A (zh) 一种生成鼓击节奏的方法
CN114495871A (zh) 基于多线条特征信息生成音乐旋律的方法、系统与装置
JP3656507B2 (ja) 演奏情報編集装置
Bell Networked Music Performance in PatchXR and FluCoMa
CN111613198A (zh) 一种midi的节奏型识别方法及应用
CN103943098A (zh) 多米索交响乐器
JP4479735B2 (ja) 演奏装置およびプログラム
Bell MAPS AS SCORES:" TIMBRE SPACE" REPRESENTATIONS IN CORPUS-BASED CONCATENATIVE SYNTHESIS
Stockmann et al. A musical instrument based on 3d data and volume sonification techniques
Tomczak On the development of an interface framework in chipmusic: theoretical context, case studies and creative outcomes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant