CN103177715B - It数码钢琴 - Google Patents

Abstract

本发明提出了一款利用通信技术将数码钢琴与计算机结合在一起的产品。该产品对数码钢琴内的单片机的功能进行拆分和扩展，将其功能精简为负责捕获按下键和抬起键的动作信息，并固化到MCU处理器中，再由MCU处理器通过USB发送给计算机。计算机每获得一个MCU传来的按键信息，就按数码钢琴的功能进行处理，在智能识别其对错的同时，用此按键信息来触发摄像头抓拍手指姿态的图片；计算机在抓拍到图片后，再用按键信息触发网络聊天线程，让它把该图片发给远端的接收者，从而完成与接收者的实时交流；计算机在抓拍到图片后，也可在五线谱上记录该按键的音符与此图片的对应关系，这不仅可用来判断指法是否正确，还可结合五线谱上的音符来一张张地回放对应的图片。通过以上IT技术，不仅解决了现有数码钢琴升级和维护困难的问题，而且解决了远程教学中传输演奏者的动作视频信息所产生的严重滞后演奏时间点的问题，达到了实时在线的演奏交流和指导，以及智能地辅助和指导练琴的目的。

Description

IT数码钢琴

所属技术领域

本发明涉及到利用电子数字技术来仿真钢琴，并通过信息技术来普及和推广音乐教育的方法，属于电子乐器和音乐教育领域。

背景技术

数码钢琴的技术基础是利用电子数字技术来制作和合成乐声。现在用得较多的生成音乐的方法有两种：一种是(frequencymodulation，FM)合成法；一种是乐音样本合成法，也称为波形表(Wavetable)合成法。使用FM合成法来产生各种逼真的乐音是相当困难的，有些乐音几乎不能产生，因而波形表合成法成为数码钢琴所用音源的主要方法。波形表合成法通过对真实乐器发出的声音采样，并以数字的形式记录下来，从而可以生成各种音阶的音符。

数码钢琴采用单片机来存储波形表音源，同时根据按键信息到波形表中查找对应的音阶，并输出到功放设备。由于数码钢琴各厂家所用的单片机型号各异，即使使用了同一型号的单片机，由于软件是固化在单片机的ROM存储器中，因而也无法随着技术的发展而对其软件进行升级。这就造成了对现有数码钢琴产品很难进行维护和升级，阻碍了数码钢琴的普及。

另一方面，电子乐器生产厂商联合推出了电子乐器数字接口(MusicalInstrumentDigitalInterface，MIDI)国际标准。MIDI提供了一种标准的和有效的方法，用来把演奏信息转换成电子数据。MIDI数据流是单向异步的数据位流(bitstream)，它通常由MIDI控制器(MIDIcontroller)产生，如乐器键盘或者由MIDI音序器(MIDIsequencer)产生。而MIDI数据流的接收设备通常是MIDI声音发生器(MIDIsoundgenerator)或者MIDI声音模块(MIDIsoundmodule)。

从MIDI的上述概念来看，数码钢琴就是将MIDI键盘控制器和MIDI声音模块功能内置于单片机内，并由单片机实时处理的一种MIDI键盘。而现在的MIDI乐器还可将MIDI键盘控制器和MIDI声音模块功能分别置于不同的设备上，这通常包含了3种不同的MIDI连接器，分别用IN(输入)、OUT(输出)和THRU(穿越)来表示。MIDI键盘控制器就是采用OUT端口输出流的，MIDI声音模块通过IN端口接收流。在一个MIDI设备上的MIDIIN连接器接收到的信息可通过MIDITHRU连接器又输出到另一个MIDI设备，并能以菊花链的方式连接多个MIDI设备，这样就可组成一个更复杂的MIDI系统。这种组合传送只用于音乐的合成，不包含任何指法等演奏时的信息，处理器不能利用视频和网络技术对演奏加以互动，而处于当今信息时代的练琴者需要这种互动。

MIDI音序器允许MIDI数据被捕获、存储、编辑、组合和重奏，现在已有许多打谱软件可实现MIDI音序器的功能，如cakewalk公司出品的专业打谱软件Overture，又如国内风雅软件公司推出的作曲大师软件等。它们以MIDI数据流为处理对象，传输或处理的是MIDI协议所定义的消息，但从教学目的看，还需要指法及演奏者的动作等信息。专利CN2583726Y利用了摄像头来录制演奏过程的视频，由于其无法用每个触键信息去控制摄像头，只能用手去控制摄像头。但钢琴演奏需要双手集中在键盘上，故只能在演奏前开启摄像头的摄像功能，等演奏结束后才关闭摄像功能，形成了一整段的视频数据(注，本发明称此方法为录制视频)。众所周知，摄像比低频拍照占用更多的存储空间、保持更多的信息数据和浏览时花费更多的时间。采用录制视频会导致上述产品不能根据五线谱中的音符来自动从大量视频中调取资料信息；以及通过网络进行交流时需发送大量的视频数据，使传输到远端的演奏视频已大大滞后于演奏的时间点，大大降低了交流的效率。故需要引入更先进的信息技术来推广钢琴的普及和辅助钢琴的教学。

为了克服现有数码钢琴在维修和升级上的不足，以及MIDI协议缺少指法视频等演奏信息的不足，本发明将数码钢琴处理器的功能进行拆分和扩展，将负责琴键扫描的功能精简和固化到MCU处理器芯片中，其它功能让计算机来实现，这样使维护变成了更换一块廉价主板的工作，升级变成了在计算机上重新下载应用软件PianoPQ的工作。同时，为了克服不能根据五线谱中的音符来自动从大量视频中调取资料信息；以及远端的PianoPQ接收者需要等待较长的时间而大大降低了交流效率的问题，PianoPQ在每获得一个MCU传来的按键信息后，立即用此按键信息去触发摄像头抓拍手指姿态的图片(注，本发明在后面将此“抓拍”有时称为“捕获”)，在记录此图片与五线谱上音符的对应关系后，即刻触发网络聊天线程将此图片发送到远端的接收者，达到了实时交流演奏的目的，从而能更广泛地推广钢琴及音乐教育。

本发明所要解决的技术问题在于如何将现有数码钢琴的处理任务转到外部计算机上，同时如何利用计算机来完成对演奏中指法等视频信息的处理。本发明采用下述的技术方案：

(1)将数码钢琴内单片机的功能减化并固定，使其不会随产品的升级而变化。固定的功能被定义为：对键盘进行扫描，捕获按键和抬键的动作信息；将按键和抬键的动作信息发给计算机；

(2)运行于计算机上的PianoPQ软件在收到按键或抬键的动作信息后，生成MIDI消息发给MIDI声音发生器；

(3)PianoPQ在生成MIDI消息的同时，用此按键信息去触发摄像头抓拍手指姿态的图片，在获得演奏者的指法图片信息后，显示它或立即通过网络传输该指法图片到远端的交流者；为实现演奏指法图片的在线实时传输，PianoPQ包含了PQ聊天模块，它与另一通信服务组件PQserver通信(PQserver进程运行在Internet的服务器上，对网上聊天起到后台运行支撑的作用)，从而在多个PianoPQ使用者间进行演奏信息的交流。

(4)对于用于教学目的的练习曲，PianoPQ读取并分析由另一功能组件MidiEdit(它利用可视化的建模技术，生成该曲的图模文件和MID文件)所生成的五线谱图形文件，并将此曲的五线谱显示在屏幕上，同时根据此图形文件计算出每个音的音符值和音长值，以及是否需要连弹和是否用数字标示出了指法等信息。在演奏时通过记录所弹奏的每个音的触键和抬键的时刻值，依次与模型中该音的音符值，音长值作比较；若需要连弹，则还需要比较前一音的抬起与当前音按下之间的时差，若该时差大于设定的时长定值，则认为没有连弹。对于有指法要求的音，在触键时用摄像头拍下弹奏该音的手指状态，并发送至PQ显示线程。当弹完该曲后，可切换到PQ显示线程，依次浏览各张照片，并根据所拍的图片对有指法要求的音符作评判，看是否按所给的指法来弹奏。

本发明的有益效果是，通过精简和固化数码钢琴处理器的功能，并使数码钢琴和计算机结合在一起，不仅能用计算机完成数码钢琴的功能，还能方便地对数码钢琴进行升级和维护；而且，通过用按键信息来触发抓取手指姿态的图片，并即刻将此图片传输到远端的指导老师或其他接收者，可完成远程实时教学辅导的功能，同时还极大地提高了练琴者的兴趣，使练琴成为一种以琴会友的交流方式，从而达到了普及钢琴及音乐知识的目的。

附图说明

本发明的有益效果是，通过精简和固化数码钢琴处理器的功能，并使数码钢琴和计算机结合在一起，不仅能用计算机完成数码钢琴的功能，还能方便地对数码钢琴进行升级和维护；而且，通过用按键信息来触发抓取手指姿态的图片，并即刻将此图片传输到远端的PianoPQ接收者，可完成远程实时教学辅导的功能，同时还极大地提高了练琴者的兴趣，使练琴成为一种以琴会友的交流方式，从而达到了普及钢琴及音乐知识的目的。

图1演奏视频聊天界面图。

图2练习曲的智能评判图。

图3可视化五线谱建模图。

图4可视化五线谱建模图(续)。

具体实施方式

1.单片机的实施步骤是：

(1)采用USB技术与主计算机通信。

(2)选用八个GPIO口作为输入。

(3)再选用十一个GPIO口作为输出，来检查88键的后触点信息，若某位值为0，表示其对应键的后触点被按下。

(4)再选用十一个GPIO口作为输出，来检查88键的前触点信息，若某位值为0，表示其对应键的前触点被按下。

(5)利用以下准则来判断某键被按下或被抬起：

①若对应后触点为0，且前触点为1，则累计该点的记录次数；否则将累计次数清0，跳到第(2)步；

②判断该点的记录次数是否大于4次，若是则该键可进行速度的计数了，将速度计数值加1。之后跳到第(2)步；

③若对应后触点为1，且前触点为1，表明该点对应的键被按下，用两字节的协议形式发给计算机中的应用软件，其中第一字节是音符值，且高位为1表示抬起动作，第二字节是按键的速度值。本发明的特征所涉及到的详细的预处理流程和算法描述如下：

④若对应后触点为1，前触点为0，且已输出了该键被按下的信息，则表明该键已被抬起，输出该键的音符值，并将该键的上述记录信息清空。跳到第(2)步；

(6)三个踏板的按下或抬起状态分别由另外三个GPIO口来检测，按键速度置为恒定的数15，三个踏板的键值依次为0x7f、0x7e和0x7d，且抬起码值和结束码值相同。

2.计算机上的实施步骤是：

(1)计算机开机后就自动启动PianoPQ程序，PianoPQ程序打开USB，加载预置的教程信息，初始化微软MIDI应用编程接口(MIDIAPI)的OUT设备，启动视频聊天线程PQ。

(2)读取USB信息，获得单片机送来的琴键被按下或抬起的数据，并调用MIDIAPI中相应的函数来产生MIDI事件，送MIDIOUT设备播放。

(3)若PianoPQ工作在演奏模式，且启动了聊天按钮，则捕获当前双手的动作视频进行聊天，如附图1所示。启动视频聊天的过程为：

①点击上线按钮后，程序先判断是否已注册了，若没注册就会弹出对话框，让练琴者输入相应的注册信息。若已注册，则将上线的信息发给PQserver所在的服务器，PQserver服务器收到该信息后，会将上线请求者的好友和群友信息回送给上线请求者。之后，上线请求者可以在聊天窗口中选择这些被送回的好友或群友作为自己的聊天对象。

②一旦选中了聊天对象，演奏时每按下一键就会拍下此刻双手的动作画面，并将该画面发送给聊天对象，且在聊天对象的PQ窗口内显示出来。

③当点击结束演奏按钮后，由于对演奏过程中所有的击键过程以精确的时间记录下来了，故可以对这些记录信息进行加工，生成MIDI数据流并发给聊天对象。聊天对象收到该MIDI数据流后，就可以完整地播放对方的演奏音乐。加工并生成MIDI数据流的过程是先以四分音符作为基准节拍，其时长为192，按MDI国际标准协议的格式将头信息写入数据流，而后将所有按键和抬键信息以时间为顺序依次写入数据流。

(4)若练琴者要启动PianoPQ的练琴指导功能，就需先点击PianoPQ窗口左边教程中的练习曲目，之后就会在右边窗口中显示出该练习曲的五线谱。这样在练琴的同时，PianoPQ会智能地指出练琴者弹错的地方，如附图2所示。判断弹对弹错的智能过程如下：

①在显示练习曲的五线谱的时候，PianoPQ首先分析该曲所附带的图形信息文件，该文件是预先由MidiEdit组件输出的。

②MidiEdit是一可视化的乐谱建模软件，操作者只要将乐理中的图元拖拉到五线谱上某一位置，图元即可显示在此位置。附图3和附图4列出了《基本乐科教程》(上海音乐出版社出版，孙从音，马东风主编)书中所涉及到的音乐图符，这些图符对应着MidiEdit中的唯一编号和唯一图像ID号。在窗口中建立完一曲的五线谱显示信息后，MidiEdit既可以输出它的MIDI文件，又可输出供PianoPQ用的五线谱图模文件。

③五线谱图模文件以XML格式来描述，并按层来组织曲中的信息，第一层为整曲的Music信息，第二层为音轨信息，第三层为小节信息，第四层为音符信息，各层详细的XML标签含义如下表所示：

在XML格式的五线谱图形文件中，第一层只有一个节点，它可包含多个音轨节点，同样一个音轨可包含多个小节节点，且一个小节可包含多个音符节点。

④PianoPQ分析练习曲的五线谱图形信息，并在内存以树的形式来存储。考虑到各音符图元的具体意义，如反复图元记号，升8度或降8度记号等，按这些图元的乐理意义重新遍历并重构上述模型树，而后以时间顺序将模型信息展开为MIDI数据流，这样就与演奏顺序一一对应上了，也就可以依此来判断演奏者在某一时间点上是否按MIDI数据流中该点的信息来演奏，这包括了该点的音符值、音长值、是否是连音以及是否有指法要求等。若没有满足该点的演奏要求，则以图形方式在窗口中的五线谱上标示出来，如附图2所示。

⑤附图2中的音符错、音弹长、音弹短和音没连等错误可由PianoPQ自己判断并指出来，而指法错误则需要评判者按附图1中的指法图像信息来评判，这些信息包括是左手还是右手，是哪一个手指。评判者根据这些信息查看相应的视频，点击旁边对应的方框，它会依次弹出对或错的图标，继续点击又可清除方框内的图标。当评判完后PQ线程会通知PianoPQ主程序，使其按附图2中的方式显示出来。

Claims (2)

1.一款将数码钢琴MCU与计算机结合在一起的IT数码钢琴，该数码钢琴具有如下特征：将MCU的功能裁剪为只处理和发送按键的触发与抬起动作信息；计算机每获得一个MCU传来的按键信息，就按数码钢琴的功能进行处理，在智能识别其对错后，可立刻用此按键信息来触发摄像头抓拍手指姿态的图片；计算机在抓拍到图片后，可立刻用按键信息触发网络聊天线程，让它把该图片发给远端的接收者，从而完成与接收者的实时交流和指导；计算机在抓拍到图片后，可在五线谱上记录该按键的音符与此图片的对应关系，进而可用来协助人工判断指法是否正确，从而使该数码钢琴达到了实时在线的演奏交流，以及智能地辅助和指导练琴的目的。

2.根据权利要求1所述的IT数码钢琴，其特征是：将数码钢琴中的MCU功能作了拆分，使MCU只处理按键的触发与抬起动作信息，其余功能交给处理能力更强的计算机来完成，该MCU在判断出键被按下或抬起的动作后，将按下或抬起的信息以三个字节的协议形式发给计算机中的应用软件，其中第一字节是FF，第二字节是按键的速度值，第三字节后七位为音符值，且高位为1。