CN108281129A - 基于processing的midi键盘可视化方法 - Google Patents

基于processing的midi键盘可视化方法 Download PDF

Info

Publication number
CN108281129A
CN108281129A CN201810209125.3A CN201810209125A CN108281129A CN 108281129 A CN108281129 A CN 108281129A CN 201810209125 A CN201810209125 A CN 201810209125A CN 108281129 A CN108281129 A CN 108281129A
Authority
CN
China
Prior art keywords
midi
processing
event
keyboards
visualizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810209125.3A
Other languages
English (en)
Other versions
CN108281129B (zh
Inventor
王归航
童晶
还毅
周达
胡国生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201810209125.3A priority Critical patent/CN108281129B/zh
Publication of CN108281129A publication Critical patent/CN108281129A/zh
Application granted granted Critical
Publication of CN108281129B publication Critical patent/CN108281129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种基于processing的midi键盘可视化方法，包括在演奏过程中实时获取midi信号数据；提取midi信号数据中各事件的特征信息；根据特征信息生成可视化效果。本发明提供一种mid键盘交互方案，在mid键盘与演奏者进行交互时，实时、准确并且富有艺术感的视觉可视化效果能给用户带来友好的交互体验。

Description

基于processing的midi键盘可视化方法
技术领域
本发明涉及一种基于processing的midi键盘可视化方法，属于色彩学和计算机图形学领域。
背景技术
凡是带有MIDI OUT接口、带有钢琴键盘的硬件数字音乐设备即称之为“MIDI键盘”，也就是我们所说的虚拟乐器。由于虚拟乐器的存在，音乐人从此可以不需要那些昂贵的硬件合成器或电子鼓来获得声音了，只需要一个用设备来对虚拟乐器进行触发或演奏即可，MIDI键盘本身并不能够发出声音，只是专门用来控制虚拟乐器或是通过串接指令控制其它电子乐器来发出声音。而MIDI控制器则可以使演奏呈现多样化和人性化，如控制滤波器产生音色的明暗实时变化，或模拟一件吹奏乐器的演奏气息变化，现阶段可用的MIDI键盘控制器对大众依然不够友好。因此，为解决上述问题，更好的发挥MIDI数据的优势，特提供一种崭新的的技术方案。
发明内容
为了解决上述技术问题，本发明提供了一种基于processing的midi键盘可视化方法。
为了达到上述目的，本发明所采用的技术方案是：
基于processing的midi键盘可视化方法，包括以下步骤，
在演奏过程中实时获取midi信号数据；
提取midi信号数据中各事件的特征信息；
根据特征信息生成可视化效果。
将midi键盘接入操作平台，在processing图形库中通过midibus库实时监控midi键盘与操作平台之间的端口，获取midi键盘发出的midi信号数据。
提取特征信息的过程为，
记录每个事件所处的时间位置和持续时间；
当事件为音符时，还记录所处的小节、拍子、音高、力度值和音符时值；
根据相邻事件的时间位置，提取事件对应mid键盘上的位置、对应黑白键色以及相邻事件是否为发自不同的mid键盘。
在三维坐标系统中，假设事件a的时间位置为(x,y,z)，则相邻事件b的时间位置为(x+xi,y+yi,z+zi)；
其中，xi,yi,zi分别为x,y,z轴上的步长。
根据特征信息生成可视化效果的过程为，
建立音高与色彩的映射关系；
用变量记录按压时间，即持续时间；
用变量记录按压力度，即力度值，不同的按压力度映射一个尺寸，按压力度越大，尺寸越大；
建立黑键和白键分别与两种图形的映射关系；
基于processing生成可视化效果。
黑键对应的图形为立方体，白键对应的图形为球体，立方体棱长公式为Ls+k×ti，Ls为黑键最轻按压力度显示的立方体棱长，ti为记录按压力度的变量，k为比例常量，球体半径公式均为Ls′+k×ti，Ls′为白键最轻按压力度显示的球体半径。
本发明所达到的有益效果：本发明提供一种mid键盘交互方案，在mid键盘与演奏者进行交互时，实时、准确并且富有艺术感的视觉可视化效果能给用户带来友好的交互体验。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，基于processing的midi键盘可视化方法，包括以下步骤：
步骤1，操作平台预编辑，将midi键盘接入操作平台，在演奏过程中实时获取midi信号数据。
操作平台可使用电脑，在电脑内设置midi信号协议，编辑midi映射表，midi信号通过解码程序，再经过振荡器、滤波器、ADDA转换器、信号放大器等元件，将纯粹的数据变成可以听到的声音。
在processing图形库中通过midibus库实时监控midi键盘与操作平台之间的端口，获取midi键盘发出的midi信号数据。
步骤2，提取midi信号数据中各事件的特征信息。
具体过程为：
1)记录每个事件所处的时间位置和持续时间；
2)当事件为音符时，还记录所处的小节、拍子、音高、力度值和音符时值；
3)根据相邻事件的时间位置，提取事件对应mid键盘上的位置、对应黑白键色以及相邻事件是否为发自不同的mid键盘；
在三维坐标系统中，假设事件a的时间位置为(x,y,z)，则相邻事件b的时间位置为(x+xi,y+yi,z+zi)；
其中，xi,yi,zi分别为x,y,z轴上的步长。
多个按键同时按下会产生多个事件同时发生，也就是mid信号处理中的“复音数”情况，在程序设计中使用使用异步编程可以较好处理该情况。
步骤3，根据特征信息生成可视化效果。
具体过程为：
a)建立音高与色彩的映射关系；
b)用变量记录按压时间，即持续时间；
c)用变量记录按压力度，即力度值，不同的按压力度映射一个尺寸，按压力度越大，尺寸越大；
d)建立黑键和白键分别与两种图形的映射关系；
e)根据上述的关系，基于processing生成可视化效果。任何具备中高阶编程能力与乐理常识者都能编程实现可以运行的可视化程序。
假设黑键对应的图形为立方体，白键对应的图形为球体，立方体棱长公式为Ls+k×ti，Ls为黑键最轻按压力度显示的立方体棱长，ti为记录按压力度的变量，k为比例常量，默认赋值为1.5，球体半径公式均为Ls′+k×ti，Ls′为白键最轻按压力度显示的球体半径。
按下按键后，在三维空间的某一基准点上下显示出粒子(立方体/球体)，粒子的大小，颜色，位置信息根据特征信息给出，当按键释放时，代表该音符的粒子将被释放，落下后进行分裂弹跳，粒子每一次落地都将等分为3个较小的粒子继续向四周弹跳，弹跳次数达到预设的n次后将即消失。
步骤4，将一个轮次的实时演奏数据导出mid文件，可在以后随时回放、编辑，以供学习交流之用。
上述方法在mid键盘与演奏者进行交互时，实时、准确并且富有艺术感的视觉可视化效果能给用户带来友好的交互体验。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.基于processing的midi键盘可视化方法，其特征在于：包括以下步骤，
在演奏过程中实时获取midi信号数据；
提取midi信号数据中各事件的特征信息；
根据特征信息生成可视化效果。
2.根据权利要求1所述的基于processing的midi键盘可视化方法，其特征在于：将midi键盘接入操作平台，在processing图形库中通过midibus库实时监控midi键盘与操作平台之间的端口，获取midi键盘发出的midi信号数据。
3.根据权利要求1所述的基于processing的midi键盘可视化方法，其特征在于：提取特征信息的过程为，
记录每个事件所处的时间位置和持续时间；
当事件为音符时，还记录所处的小节、拍子、音高、力度值和音符时值；
根据相邻事件的时间位置，提取事件对应mid键盘上的位置、对应黑白键色以及相邻事件是否为发自不同的mid键盘。
4.根据权利要求3所述的基于processing的midi键盘可视化方法，其特征在于：在三维坐标系统中，假设事件a的时间位置为(x,y,z)，则相邻事件b的时间位置为(x+xi,y+yi,z+zi)；
其中，xi,yi,zi分别为x,y,z轴上的步长。
5.根据权利要求3所述的基于processing的midi键盘可视化方法，其特征在于：根据特征信息生成可视化效果的过程为，
建立音高与色彩的映射关系；
用变量记录按压时间，即持续时间；
用变量记录按压力度，即力度值，不同的按压力度映射一个尺寸，按压力度越大，尺寸越大；
建立黑键和白键分别与两种图形的映射关系；
基于processing生成可视化效果。
6.根据权利要求5所述的基于processing的midi键盘可视化方法，其特征在于：黑键对应的图形为立方体，白键对应的图形为球体，立方体棱长公式为Ls+k×ti，Ls为黑键最轻按压力度显示的立方体棱长，ti为记录按压力度的变量，k为比例常量，球体半径公式均为Ls′+k×ti，Ls′为白键最轻按压力度显示的球体半径。
CN201810209125.3A 2018-03-14 2018-03-14 基于processing的midi键盘可视化方法 Active CN108281129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810209125.3A CN108281129B (zh) 2018-03-14 2018-03-14 基于processing的midi键盘可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810209125.3A CN108281129B (zh) 2018-03-14 2018-03-14 基于processing的midi键盘可视化方法

Publications (2)

Publication Number Publication Date
CN108281129A true CN108281129A (zh) 2018-07-13
CN108281129B CN108281129B (zh) 2021-11-16

Family

ID=62809615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810209125.3A Active CN108281129B (zh) 2018-03-14 2018-03-14 基于processing的midi键盘可视化方法

Country Status (1)

Country Link
CN (1) CN108281129B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093745A (zh) * 2011-10-31 2013-05-08 卡西欧计算机株式会社 演奏动作显示装置及方法
WO2015136159A1 (en) * 2014-03-14 2015-09-17 Berggram Development Oy Method for offsetting pitch data in an audio file
CN107025901A (zh) * 2017-04-05 2017-08-08 宁多夫（上海）教育科技有限公司 一种虚拟钢琴
CN107644631A (zh) * 2017-10-13 2018-01-30 深圳市明德智慧教育科技有限公司 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备
CN107705776A (zh) * 2017-10-23 2018-02-16 森兰信息科技（上海）有限公司 一种智能钢琴左右键盘分区使用的系统与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093745A (zh) * 2011-10-31 2013-05-08 卡西欧计算机株式会社 演奏动作显示装置及方法
WO2015136159A1 (en) * 2014-03-14 2015-09-17 Berggram Development Oy Method for offsetting pitch data in an audio file
CN107025901A (zh) * 2017-04-05 2017-08-08 宁多夫（上海）教育科技有限公司 一种虚拟钢琴
CN107644631A (zh) * 2017-10-13 2018-01-30 深圳市明德智慧教育科技有限公司 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备
CN107705776A (zh) * 2017-10-23 2018-02-16 森兰信息科技（上海）有限公司 一种智能钢琴左右键盘分区使用的系统与方法

Also Published As

Publication number Publication date
CN108281129B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
US6388183B1 (en) Virtual musical instruments with user selectable and controllable mapping of position input to sound output
US9412349B2 (en) Intelligent keyboard interface for virtual musical instrument
CA2310058C (en) Sound generator and video game machine employing it
US7435169B2 (en) Music playing apparatus, storage medium storing a music playing control program and music playing control method
US10262642B2 (en) Augmented reality music composition
JP5241805B2 (ja) タイミング・オフセット許容型カラオケゲーム
US20110191674A1 (en) Virtual musical interface in a haptic virtual environment
Berthaut et al. Rouages: Revealing the mechanisms of digital musical instruments to the audience
EP1212747A1 (en) Method and apparatus for playing musical instruments based on a digital music file
US20060044280A1 (en) Interface
US20150309703A1 (en) Music creation systems and methods
Jordà 5 Interactivity and live computer music
JP2000245967A (ja) ゲーム機に装着可能なターンテーブルアダプタ
JP2012083563A (ja) 音声合成装置およびプログラム
CN105489209A (zh) 一种电声乐器节奏可控的方法及其对卡拉ok的改进
CN108281129A (zh) 基于processing的midi键盘可视化方法
JPH06315572A (ja) 音声ゲーム機
Ramos et al. Supplemental sonification of a bingo game
JP4479735B2 (ja) 演奏装置およびプログラム
JP6149917B2 (ja) 音声合成装置および音声合成方法
JP7107720B2 (ja) 運指表示プログラム
Tomczak On the development of an interface framework in chipmusic: theoretical context, case studies and creative outcomes
JP2014089475A (ja) 音声合成装置およびプログラム
de Abreu Recreating tracker music sequencers in modern videogames: an integrated model approach for adaptive music
JP7092537B2 (ja) 運指表示装置及び運指表示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant