CN103177715A - It数码钢琴 - Google Patents

Abstract

IT数码钢琴，本发明提出了一款利用通信技术将数码钢琴与计算机结合在一起的产品。该产品对数码钢琴内的单片机的功能进行拆分和扩展，将其功能精简为负责捕获按下键和抬起键的动作信息，并固化到C51处理器中，再由C51处理器通过串口发送给计算机；在计算机端接收到C51处理器发来的信息后，会在MIDI国际标准协议的基础上完成数码钢琴现有的所有功能，同时摄取演奏者的指法视频信息，并利用网络技术及可视化建模技术，实现了演奏的实时在线视频聊天，以及智能地辅助和指导练琴。这样不仅解决了现有数码钢琴升级和维护困难的问题，而且使练琴成为一种以琴会友的交流方式，极大地提高了练琴者的兴趣，从而达到了普及钢琴及音乐知识的目的。

Description

IT数码钢琴

所属技术领域

本发明涉及到利用电子数字技术来仿真钢琴，并通过信息技术来普及和推广音乐教育的方法，属于电子乐器和音乐教育领域。

背景技术

数码钢琴的技术基础是利用电子数字技术来制作和合成乐声。现在用得较多的生成音乐的方法有两种：一种是(frequency modulation，FM)合成法；一种是乐音样本合成法，也称为波形表(Wavetable)合成法。使用FM合成法来产生各种逼真的乐音是相当困难的，有些乐音几乎不能产生，因而波形表合成法成为数码钢琴所用音源的主要方法。波形表合成法通过对真实乐器发出的声音采样，并以数字的形式记录下来，从而可以生成各种音阶的音符。

数码钢琴采用单片机来存储波形表音源，同时根据按键信息到波形表中查找对应的音阶，并输出到功放设备。由于数码钢琴各厂家所用的单片机型号各异，即使使用了同一型号的单片机，由于软件是固化在单片机的ROM存储器中，因而也无法随着技术的发展而对其软件进行升级。这就造成了对现有数码钢琴产品很难进行维护和升级，阻碍了数码钢琴的普及。

另一方面，电子乐器生产厂商联合推出了电子乐器数字接口(Musical InstrumentDigital Interface，MIDI)国际标准。MIDI提供了一种标准的和有效的方法，用来把演奏信息转换成电子数据。MIDI数据流是单向异步的数据位流(bit stream)，它通常由MIDI控制器(MIDI controller)产生，如乐器键盘或者由MIDI音序器(MIDI sequencer)产生。而MIDI数据流的接收设备通常是MIDI声音发生器(MIDI sound generator)或者MIDI声音模块(MIDI sound module)。

从MIDI的上述概念来看，数码钢琴就是将MIDI键盘控制器和MIDI声音模块功能内置于单片机内，并由单片机实时处理的一种MIDI键盘。而现在的MIDI乐器还可将MIDI键盘控制器和MIDI声音模块功能分别置于不同的设备上，这通常包含了3种不同的MIDI连接器，分别用IN(输入)、OUT(输出)和THRU(穿越)来表示。MIDI键盘控制器就是采用OUT端口输出流的，MIDI声音模块通过IN端口接收流。在一个MIDI设备上的MIDIIN连接器接收到的信息可通过MIDI THRU连接器又输出到另一个MIDI设备，并能以菊花链的方式连接多个MIDI设备，这样就可组成一个更复杂的MIDI系统。这种组合传送只用于音乐的合成，不包含任何指法等演奏时的信息，处理器不能利用视频和网络技术对演奏加以互动，而处于当今信息时代的练琴者需要这种互动。

MIDI音序器允许MIDI数据被捕获、存储、编辑、组合和重奏，现在已有许多打谱软件可实现MIDI音序器的功能，如cakewalk公司出品的专业打谱软件Overture，又如国内风雅软件公司推出的作曲大师软件等。它们以MIDI数据流为处理对象，传输或处理的是MIDI协议所定义的消息，但从教学目的看，还需要指法及演奏者的动作等信息，故需要引入更先进的信息技术来辅助和推广钢琴的教学。

发明内容

为了克服现有数码钢琴在维修和升级上的不足，以及MIDI协议缺少指法视频等演奏信息的不足，本发明将数码钢琴处理器的功能进行拆分和扩展，将负责琴键扫描的功能精简和固化到C51处理器芯片中，其它功能让计算机来实现，这样使维护变成了更换一块廉价主板的工作，升级变成了在计算机上重新下载应用软件PianoPQ的工作，PianoPQ还利用了多媒体和网络等IT技术来达到交流演奏和指导练琴的目的，从而能更广泛地推广钢琴及音乐教育。

本发明所要解决的技术问题在于如何将现有数码钢琴的处理任务转到外部计算机上，同时如何利用计算机来完成对演奏中指法等视频信息的处理。本发明采用下述的技术方案：

(1)将数码钢琴内单片机的功能减化并固定，使其不会随产品的升级而变化。固定的功能被定义为：对键盘进行扫描，捕获按键和抬键的动作信息；将按键和抬键的动作信息发给计算机；

(2)运行于计算机上的PianoPQ软件在收到按键或抬键的动作信息后，生成MIDI消息发给MIDI声音发生器；

(3)PianoPQ在生成MIDI消息的同时，获得演奏者的指法视频信息，显示或通过网络传输该视频信息；为实现演奏视频的在线实时传输，PianoPQ包含了PQ聊天模块，它与另一通信服务组件PQserver通信(PQserver进程运行在Internet的服务器上，对网上聊天起到后台运行支撑的作用)，从而在多个PianoPQ使用者间进行演奏信息的交流。

(4)对于用于教学目的的练习曲，PianoPQ读取并分析由另一功能组件MidiEdit(它利用可视化的建模技术，生成该曲的图模文件和MID文件)所生成的五线谱图模文件，并将此曲的五线谱显示在屏幕上，同时根据图模文件计算出每个音的音符值和音长值，以及是否需要连弹和是否用数字标示出了指法等信息。在演奏时通过记录所弹奏的每个音的触键和抬键的时刻值，依次与模型中该音的音符值，音长值作比较；若需要连弹，则还需要比较前一音的抬起与当前音按下之间的时差，若该时差大于设定的时长定值，

则认为没有连弹。对于有指法要求的音，在触键时用摄像头拍下弹奏该音的手指状态，并发送至PQ显示线程。当弹完该曲后，可切换到PQ显示线程，依次浏览各张照片，并根据所拍的图片对有指法要求的音符作评判，看是否按所给的指法来弹奏。

本发明的有益效果是，通过精简和固化数码钢琴处理器的功能，并使数码钢琴和计算机结合在一起，不仅能用计算机完成数码钢琴的功能，还能方便地对数码钢琴进行升级和维护；而且，通过视频传输和智能的教学辅导，极大地提高了练琴者的兴趣，使练琴成为一种以琴会友的交流方式，从而达到了普及钢琴及音乐知识的目的。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1演奏视频聊天界面图。

图2练习曲的智能评判图。

图3可视化五线谱建模图。

图4可视化五线谱建模图(续)。

具体实施方式

1.C51单片机的实施步骤是：

(1)采用C51处理器芯片和8155IO芯片及RS232串口通信芯片来构建单片机；单片机工作流程是先初始化，包括设定通信串口的波特率，将PB端口置为输入方式，将PA端口、P1端口和P2端口置为输出方式，置片内RAM内存为0。

(2)在将P1端口的8个bit位全部置为1后，从高位到底位依次将某一bit位设为0，其余位设为1，而后读取PB端口的值，并保存到RAM中。

(3)按P1端口的方式对PA端口和P2端口操作，依次读PB端口的值，并保存到RAM中，其中P2端口只对高6位作上述处理。

(4)对保存于RAM的PB端口输入值作处理，这些值前11个字节为88键的后触点信息，若某位值为0，表示其对应键的后触点被按下。接下来的11个字节为88键的前触点信息，同样若某位值为0，表示其对应键的前触点被按下。

(5)利用以下准则来判断某键被按下或被抬起：

①若对应后触点为0，且前触点为1，则累计该点的记录次数；否则将累计次数清0，跳到第(2)步；

②判断该点的记录次数是否大于4次，若是则该键可进行速度的计数了，将速度计数值加1。之后跳到第(2)步；

③若对应后触点为1，且前触点为1，表明该点对应的键被按下，按如下协议格式通过串口向计算机发送键被按下的信息：

第一字节	第二字节	第三字节
			起始标志：FF	按键的速度值	后七位为音符值，高位为1

④若对应后触点为1，前触点为0，且已输出了该键被按下的信息，则表明该键已被抬起，输出该键的音符值，并将该键的上述记录信息清空。跳到第(2)步；

(6)三个踏板的按下或抬起状态分别由PC端口的0、1和2位来判断表示，速度置为恒定的数15，三个踏板的键值依次为0x7f、0x7e和0x7d，且抬起码值和结束码值相同。

2.计算机上的实施步骤是：

(1)计算机开机后就自动启动PianoPQ程序，PianoPQ程序先加载预置的教程信息，设置串口工作方式，初始化微软MIDI应用编程接口(MIDI API)的OUT设备，启动视频聊天线程PQ。

(2)读取串口信息，获得单片机送来的琴键被按下或抬起的数据，并调用MIDI API中相应的函数来产生MIDI事件，送MIDI OUT设备播放。

(3)若PianoPQ工作在演奏模式，且启动了聊天按钮，则捕获当前双手的动作视频进行聊天，如附图1所示。启动视频聊天的过程为：

①点击上线按钮后，程序先判断是否已注册了，若没注册就会弹出对话框，让练琴者输入相应的注册信息。若已注册，则将上线的信息发给PQserver所在的服务器，PQserver服务器收到该信息后，会将上线请求者的好友和群友信息回送给上线请求者。之后，上线请求者可以在聊天窗口中选择这些被送回的好友或群友作为自己的聊天对象。

②一旦选中了聊天对象，演奏时每按下一键就会拍下此刻双手的动作画面，并将该画面发送给聊天对象，且在聊天对象的PQ窗口内显示出来。

③当点击结束演奏按钮后，由于对演奏过程中所有的击键过程以精确的时间记录下来了，故可以对这些记录信息进行加工，生成MIDI数据流并发给聊天对象。聊天对象收到该MIDI数据流后，就可以完整地播放对方的演奏音乐。加工并生成MIDI数据流的过程是先以四分音符作为基准节拍，其时长为192，按MIDI国际标准协议的格式将头信息写入数据流，而后将所有按键和抬键信息以时间为顺序依次写入数据流。

(4)若练琴者要启动PianoPQ的练琴指导功能，就需先点击PianoPQ窗口左边教程中的练习曲目，之后就会在右边窗口中显示出该练习曲的五线谱。这样在练琴的同时，PianoPQ会智能地指出练琴者弹错的地方，如附图2所示。判断弹对弹错的智能过程如下：

①在显示练习曲的五线谱的时候，PianoPQ首先分析该曲所附带的图模信息文件，该文件是预先由MidiEdit组件输出的。

②MidiEdit是一可视化的乐谱建模软件，操作者只要将乐理中的图元拖拉到五线谱上某一位置，图元即可显示在此位置。附图3和附图4列出了《基本乐科教程》(上海音乐出版社出版，孙从音，马东风主编)书中所涉及到的音乐图符，这些图符对应着MidiEdit中的唯一编号和唯一图像ID号。在窗口中建立完一曲的五线谱显示信息后，MidiEdit既可以输出它的MIDI文件，又可输出供PianoPQ用的五线谱图模文件。

③五线谱图模文件以XML格式来描述，并按层来组织曲中的信息，第一层为整曲的Music信息，第二层为音轨信息，第三层为小节信息，第四层为音符信息，各层详细的XML标签含义如下表所示：

在XML格式的五线谱图模文件中，第一层只有一个节点，它可包含多个音轨节点，同样一个音轨可包含多个小节节点，且一个小节可包含多个音符节点。

④PianoPQ分析练习曲的五线谱图模信息，并在内存以树的形式来存储。考虑到各音符图元的具体意义，如反复图元记号，升8度或降8度记号等，按这些图元的乐理意义重新遍历并重构上述模型树，而后以时间顺序将模型树展开为MIDI数据流，这样就与演奏顺序一一对应上了，也就可以依此来判断演奏者在某一时间点上是否按MIDI数据流中该点的信息来演奏，这包括了该点的音符值、音长值、是否是连音以及是否有指法要求等。若没有满足该点的演奏要求，则以图形方式在窗口中的五线谱上标示出来，如附图2所示。

⑤附图2中的音符错、音弹长、音弹短和音没连等错误可由PianoPQ自己判断并指出来，而指法错误则需要评判者按附图1中的指法图像信息来评判，这些信息包括是左手还是右手，是哪一个手指。评判者根据这些信息查看相应的视频，点击旁边对应的方框，它会依次弹出对或错的图标，继续点击又可清除方框内的图标。当评判完后PQ线程会通知PianoPQ主程序，使其按附图2中的方式显示出来。

Claims (8)

1.一款将数码钢琴与计算机结合在一起的IT数码钢琴产品。该产品可在计算机中获得其钢琴键盘传来的按键信息，将此信息转换成MIDI国际标准协议的数据流，输出给计算机内的MIDI声音发生器；同时根据按键信息捕获练琴者的动作视频，将该视频作为传输和显示的信息，可进行实时在线的演奏交流，或智能地辅助和指导练琴。

2.根据权利要求1所述的IT数码钢琴，其特征是：数码钢琴内的单片机只负责对键盘进行扫描，判断键被按下和抬起的动作信息，并将按下和抬起的信息以MIDI协议之外的一种通信协议格式发给计算机中的应用软件。

3.根据权利要求1所述的IT数码钢琴，其特征是开发了一套应用软件，它收到按下键或抬起键的动作信息后，生成MIDI消息发给MIDI声音发生器，同时还能获得演奏者的指法视频信息，并显示在屏幕上。

4.根据权利要求1所述的IT数码钢琴，其特征是所开发的应用软件中包含网络聊天线程，它能让好友在线观看练琴者的指法视频信息，并与之交流。

5.根据权利要求1所述的IT数码钢琴，其特征是所开发的应用软件中包含网络服务组件，将它部署并运行在Internet上的通信服务器上，是聊天交流的后台支撑平台。

6.根据权利要求1所述的IT数码钢琴，其特征是所开发的应用软件中包含可视化建模组件，用它能可视化地构建练习曲的五线谱图模文件，并能输出练习曲的MIDI文件。

7.根据权利要求1所述的IT数码钢琴，其特征是所开发的应用软件能分析练习曲的五线谱图模文件，并根据分析出的信息来判断练琴者演奏是否出错，若出错可在显示屏的五线谱图中指出其位置和错误类别。

8.根据权利要求1所述的IT数码钢琴，其特征是所开发的应用软件对于有指法要求的音符，采用了回放敲击琴键的动作视频，由人工来判断指法对错的方式。

Images