CN101103386A

CN101103386A - 用于乐谱捕捉和带同步呈现的合成音频演奏的系统与方法

Info

Publication number: CN101103386A
Application number: CNA2005800467022A
Authority: CN
Inventors: R·托伯
Original assignee: Museami Inc
Current assignee: Museami Inc
Priority date: 2004-12-15
Filing date: 2005-12-15
Publication date: 2008-01-09
Also published as: EP1831859A1; US20060150803A1; KR20070095332A; JP2008524656A; WO2006066075A1

Abstract

一乐谱被解释和处理，并且伴随着该乐谱的视觉显示生成该乐谱的合成演奏。该乐谱可通过图像捕捉过程或通过电子文件传送来接收。用户对该乐谱的音乐演奏可被记录以用于以后回放以及与该合成版本比较(如果需要，可同时比较)。这些特征可通过安装在诸如台式计算机等数字计算机上的应用软件来提供，或可在手持式设备中提供。乐谱数据可从外部源接收从而使计算设备能够生成乐谱数据的音频呈现并可生成该乐谱的同步视觉呈现。用户可删除多声部乐曲中的任意音乐声部或声部的组合从而使用户能与该设备一起演奏“二重奏”。

Description

用于乐谱捕捉和带同步呈现的合成音频演奏的系统与方法

背景

希望提高乐器演奏水平的人传统上依赖个人指导和单独练习环节。虽然个人指导会非常有帮助，但是通常相当昂贵并且依赖于私人指导者配合音乐学生的进度表的有空情况。单独练习环节非常方便，但是缺乏对学生演奏者的演奏有用的即时反馈。

有各种设备能够帮助演奏者提高其乐器重演表现。例如，电子节拍器帮助演奏者保持稳定的计数。已经开发了用于乐谱(活页乐谱)的计算机显示的系统，从而使得演奏者能方便地有各种音乐可用于练习。例如参见M.Errico的美国专利申请2004/0040433。其它系统辅助光学识别乐谱以便将其存储为数字数据以及后续以计算机显示。例如参见T.Kikuchi的美国专利第5,825,905。

如果演奏者能够利用乐谱的合成演奏(音频演绎)并能在任何时候听到以正确的音高(合调)和正确的旋律正确演奏的乐谱中较难的段落(或者实际上，听到整个乐谱)将是有帮助的。演奏者从而能够通过重复或再现该正确的演奏方式来练习。如果演奏者能够在与合成音频演绎同步的动态显示上查看乐谱、并根据显示的乐谱来练习演奏乐器或演唱也将是有帮助的。如果演奏者能够记录其演奏并随后在任何时间回放该演奏来评价该演奏并与正确的(合成的)演绎相比较也将是有帮助的。以这种方式，希望练习演奏乐器(或声乐)的任何人都可得到正确的音乐合成演绎的提示，并可在随后评价其自身对乐谱的演奏。另外，如果演奏者能够随正确的合成演绎一起演奏(或演唱)也将是有帮助的。

由此，需要更为方便的乐谱捕捉、演奏记录、以及合成演奏和分析技术。本发明满足了该需求。

概要

本发明用于独奏乐器、重奏乐器、独唱或重唱、或其任意组合的乐谱的段落(或整首音乐或歌曲)的捕捉和后续解释，处理数据以生成合成音频呈现以及对应于该音频呈现的乐谱的视觉呈现的同步伴随显示，并支持记录演奏者对该乐谱的音乐演奏以便稍后回放演奏者的该音乐演奏。用于提供这些特征的装置可包括主数字计算机上的应用软件。或者，这些特征可由自含的手持式设备来提供。主计算机和手持式设备这两个实施例均包括：用于接收乐谱的数字表示的装置；用于显示乐谱的视觉呈现的显示器；以及用于乐谱的同步合成音频演绎的装置。乐谱的数字表示可从数字图像捕捉设备或通过网络连接从数据源接收。这些实施例还可提供对用户演奏的记录以及用户演奏的回放。根据本发明，可从外部源接收乐谱数据从而使计算设备能够生成乐谱数据的音频呈现，并能生成对应于该音频呈现的音符的同步可视呈现。

其它实施例还能提供其它的灵活性和更为方便的操作。例如，可使手持式设备适用于接收可存储数字数据格式的整个音乐作品、作品卷、教本等的外部存储卡。因特网和/或电信接口能允许数字数据格式的下载。例如，该设备能下载数字数据格式的乐谱。这些下载可存储在外部存储卡或类似的介质中。输入乐谱数据的图像捕捉可通过对乐谱的数字摄影或光学扫描来支持。应用软件实现可包括演奏评价特征和回放辅助特征。

可提供“音乐减一”特征来使用户能够数字地捕捉用于一个以上乐器或一个以上声线(或其任意组合)的乐谱；选择使合成音频呈现省去乐谱中一指定的乐器或声线(“减一”)从而使用户可与合成音频呈现一起演奏和/或演唱。乐谱的同步视觉呈现可包括原始数据的任何或所有乐器和/或声乐声部。用户可选择省去合成音频呈现的一个以上的声部，诸如额外的乐器或声线，从而根据省去的要素个数得到“音乐减二”或“音乐减三”等。

根据以下对作为示例示出本发明的原理的优选实施例的说明，本发明的其它特征和优点应该是显而易见的。

附图简述

图1是根据本发明的一个实施例构造的手持式设备的示图。

图2是由根据本发明的“eMuse1”实施例构造的设备执行的处理的示图。

图3是由根据本发明的“eMuse2”实施例构造的设备执行的处理的示图。

图4是由根据本发明的“eMuseX”实施例构造的设备执行的处理的示图。

图5是根据本发明制造的用于回放根据本发明的合成音频演绎的显示屏幕的示图。

图6是由根据本发明构造的设备执行的用以提供“音乐听写”特征的处理的示图。

图7是根据本发明构造的具有音频-视觉呈现的乐谱捕捉和解释设备的一个实施例的框图。

具体说明

在一个实施例中，本发明的特征以包括可安装在数字计算机上的应用的软件来实现。软件实现优选为演奏者提供输入和输出接口。即，安装了该软件的主计算机通常包括显示器以用于生成演奏者能够阅读从而跟着一道演唱或演奏其乐器的乐谱的视觉呈现。计算机通常还包括诸如话筒等用于记录演奏者的练习环节的输入接口，以及包括诸如扬声器等使用户听到所记录的演奏的输出接口。计算机实现可包括图像捕捉，其中由五线谱上的音符构成的乐谱可通过光学输入装置被数字化然后被输进计算机。数字化的乐谱可通过OCR技术来解释，所得到的经解释的数据可被处理以生成在适当情况下还包括将歌词与正确音高匹配的合成声乐演绎的该乐谱的合成音频再现，从而使音频演绎与乐谱的视觉呈现同步。在以下所提供的其它具体说明中，计算机软件实现被称为“X级”实现，或被称为“eMuse X”产品(名称“eMuse”是指本发明中所有权利的受让人、美国新泽西普林斯顿的PrincetonMusic Labs LLC的一个产品实施例)。

在另一实施例中，本发明的特征体现在可包括显示器、输入接口、视听输出接口、以及OCR图像解释接口的手持式设备中。该手持式设备实现包括用于方便地导航设备功能的各种方便的用户控制钮和机构。显示器支持菜单选项的视觉呈现以便由用户选择功能。

如以下进一步说明的，计算设备通过接收来自外部源的乐谱数据并随后生成该乐谱数据的合成音频演绎以及乐谱的同步视觉呈现来解释和处理乐谱数据。

外部源可由通过网络连接向计算设备提供乐谱数据的网络数据源构成。网络连接可由计算设备与网络之间通过无线连接的通信构成。

通过将记录介质接受到计算设备的读取器中，可从该记录介质读取乐谱数据，然后从该记录介质获得乐谱数据。记录介质包含足够的数据来根据用于合成音乐制作的乐器数字接口(MIDI)规范进行合成音频演绎。即，该计算设备可接收指定一乐谱的数据并可以所选的速度、音色、谱号、调号、拍号等生成或合成相应的乐音。记录介质可包括闪存设备。

计算设备可具有记录用户对乐谱的演奏以及提供所记录的用户演奏的回放的能力。用户演奏的回放可独立于合成乐谱演绎进行，或可同时进行。另外，可随与所记录的用户演奏相对应的音符的视觉呈现一起提供用户演奏的回放。以这种方式，提供了“音乐听写”特征。

在一替换方案中，设备用以生成乐谱的合成音频演绎及同步视觉呈现的乐谱数据可由设备通过光学地捕捉乐谱的数字图像、然后解释和处理数字信息以生成代表正确音符的数据集合以由此生成与乐谱相对应的数据来获得。

另外，可提供用以确定全部都可由用户调节的乐谱数据合成音频演绎特性的音乐语境信息。这些音乐语境信息可包括多个调号、拍号音色、速度以及诸如连奏、渐强、减速等表达形式。

在另一替换方案中，生成乐谱数据的音频回放以及音符的视觉呈现通过与网络数据源的通信来实现。如果需要，网络数据源向计算设备提供乐谱数据。在又一替换方案中，网络数据源可向计算设备提供确定乐谱数据的合成音频演绎的音乐特性的音乐语境信息。并且，网络数据源还可通过无线连接提供该音乐语境信息。

在一个替换方案中，生成乐谱数据的合成音频演绎和乐谱的同步视觉呈现可通过向计算设备的读取器中插入记录介质来实现。如果需要，计算设备从该记录介质获得乐谱数据，并且该记录介质还可向计算设备提供音乐语境信息以确定乐谱数据的合成音频演绎的音乐特性。

一个可选特征是提供用户对乐谱的乐器演奏和/或声乐演唱的记录。另一替换方案是根据乐器数字接口(MIDI)规范生成合成音频演绎。另外，生成视觉呈现可包括显示与相应的合成音频演绎同步的乐谱。另一可选方案是提供同时同步回放，即乐谱数据的视觉呈现与音频演绎两者、以及所记录的用户演奏的音频分量与同步的相应的由用户演奏生成的乐谱的视觉显示两者的回放。

根据本发明，计算设备能光学地数字捕捉乐谱并解释数字图像、生成与数字捕捉的乐谱相对应的用于计算设备的乐谱数据，以及生成该乐谱数据的合成音频演绎和同步的乐谱视觉呈现。计算设备可接收被其用于确定乐谱数据的合成音频演绎的音乐特性的音乐语境信息。类似于上述替换实施例，音乐语境信息可包括可由用户选择以确定乐谱数据的合成音频演绎的音乐特性的多个调号、拍号音色、节拍以及诸如连奏、渐强、减速等表达项。作为可选方案，计算设备标识来自被光学地数字地捕捉的乐谱的音乐语境信息，以及可任选地从网络数据源获得音乐语境信息。如果需要，网络数据源通过与计算设备的无线连接提供音乐语境信息。

计算设备自身可设有扬声器以用于合成演绎和/或所记录的用户演奏的音频回放。另外，该设备可包括用于与耳机或外部扬声器等连接的输出插孔，并且还可设有允许该设备向无线音响回放系统(诸如已启用无线组件的家庭立体声系统)发送音频演奏的无线传输能力。该设备具有足以使其能够存储预定长度的乐段的计算存储量。

以下其它具体说明涉及手持式设备实现中特征的各种实现并且分别被称为“1级”和“2级”或“eMuse1”和“eMuse2”。

以下讨论对可安装在各种数字计算设备上的音乐回放软件进行说明，并且还对在此被统称为eMuse产品的手持式活页乐谱读取设备的几个实施例进行说明。对“公司”的引述是指为eMuse产品的正确操作提供数据或其它支持的实体。对“PML”的引述用是指“公司”、Princeton Music Labs、LLC(本发明中所有权利的受让人)、或其它合适的支持实体。

产品实施例说明

附图1是提供在此说明的功能和特征的手持式设备的示图。

图1示出了作为手持式、电池供电的“对准即拍”型消费电子设备的eMuse产品100，其从活页乐谱捕捉所选乐段——即一些小节或者甚至是整个页面——的图像，对该段落数字地格式化和编码，然后演奏该所选段落，所有这些动作实际上均实时地即时进行。回放声音是乐器特有，其以用户所选的音色(即，钢琴、小提琴、长笛等)来演奏。可同时演奏多个音色。设备100被设计成识别诸如调号、韵律、音量、和速度等音乐变量，以及考虑诸如强音、轻音、渐强、连奏等音乐诗歌形式。LCD屏幕102采用以独特的颜色突出显示每一个被演奏的音符从而将其与乐谱的其余部分区分开来的方式在设备回放乐段104时显示该乐段。

图1的设备100包含了数字“音乐卡”特征，其支持插入预先记录或从公司网站下载的用一首或多首乐曲编码的数据卡(未示出)，并允许快速引用特定小节。该数据卡可包括诸如蜂窝电话和数码相机通常使用的可记录介质。数据卡被接收进入设备100的卡插槽106。设备100还可处理表示编码乐曲的数字数据。该编码乐曲也可从公司网站下载。下载文件还可保存在设备的存储器内。编码乐曲允许快速引用乐谱的特定小节，从而提供了丰富的收听体验。

设备100的记录/回放特征允许用户参照该乐谱立即评价所记录的演奏。即，设备100能记录用户对该乐曲的演奏并与接收的乐曲一同(或与其同时)回放用户的演奏。用户演奏的回放可随相应的视觉呈现一起被呈现，从而提供本文献中将进一步说明的“音乐听写”特征。该设备中还包括了节拍器和音乐调音器能力两者，并且可被调节以进行“音乐减一”。在多五线谱或多声部乐曲中， “音乐减一”特征允许用户确定该乐曲中哪一(些)声部将由MIDI接口回放。这允许用户随同设备一起演奏/演唱特定声部。

图1示出了作为手持式设备的具有翻盖108的设备100，其在顶或盖部108的下侧包含有LCD显示屏102。该设备还包含用于音乐回放的扬声器110(图1中示出了立体声对)以及用于记录用户演奏的话筒112。图像捕捉能力可如图1所示地实现，其中翻盖108包括相机系统，该相机系统包括安装在翻盖108的外表面中并由镜头快门按钮114触发的用于图像捕捉目的的光学镜头。设置了各种用户接口控件，如所示的用于调节音量116、回放速度118、菜单导航120、和位置122的指轮。设备100可设有USB端口124，用于更为方便地连接网络或其它设备。通/断开关125将设备100开机和关机。

如图1所示，还设置了控制按钮以控制与乐谱的演绎(合成演奏)和用户演奏的回放有关的功能。图1示出了用于播放/暂停126、停止128、下一/复位130、以及记录132等功能的示例性控制按钮。图1还示出了显示定时指示符并与速度操纵轮118相关的节拍器读出显示器134。设备100的节拍器功能以及其它特征的选择通过显示器102的菜单导航与菜单操纵轮120和/或位置操纵轮122的操作的结合来实现。选择可通过下一/复位控制按钮130的操作来实现。可使用键盘或小键盘135通过小键盘的专用功能键或小键盘的字母数字输入来进行输入。在显示屏102上，提供了来自乐谱104的音符的图形图像，让各个音符在被播放时出现在屏幕上或在显示器中被突出显示地移过屏幕。该显示器优选地在回放过程中提供延伸的音乐五线谱图像，从而在播放该乐谱时显示音乐的预定数目的音符或小节。

该产品的特征可总结如下：

●一种“读取”乐谱并回放该乐谱的手持式便携“对准即拍”型设备。回放声音是乐器特有的；该设备具有可调音色(即，钢琴、小提琴、长笛等的声音)。它能够识别和包括诸如调号、韵律、音量、以及速度等其它的音乐变量。理想地，它还能够识别和考虑诸如强音、轻音、渐强、连奏等音乐诗歌形式。具有光标的LCD监视器在设备回放乐段时显示该乐段。

●记录/回放特征允许用户参照乐谱即时评价演奏。还包括了节拍器和调音器两者。

●“音乐卡”特征支持插入用整个乐曲编码并允许快速引用特定小节的卡。

●嵌入在eMuse设备中的软件与其它当前可用产品的区别在于，eMuse接收乐谱被数字化的图像数据，并将该数据解释为相应的音符，并且其准确率接近100％。其它常规软件产品被设计成给使用台式PC的音乐编辑和/或作曲家使用，并预期用户手动地纠正在标识音符时的扫描和OCR错误。因此，作为手持式、无绳便携设备的eMuse被设计成给所有音乐演奏者使用，并且在此类使用中可望没有需要纠正的错误。

功能说明

“读取”乐谱

数码相机系统114捕捉乐谱内的一段(单个音符、若干小节、或者甚至是整页)的图像。该数码相机可内建在设备100中，并可包括本领域的技术人员所熟悉的镜头与图像换能器的组合。LCD显示器102允许用户确切地确定捕捉到哪些小节。该设备可读取单谱表音乐谱线、二重奏、三重奏、四重奏、或者甚至是整个指挥乐谱。设备100提供多个同时音色。

处理音乐和下载语境信息

OCR模块接收音乐选段的“照片”，该“照片”包括数字化的图像数据。诸如调号和节拍等重要的附加音乐语境信息也通过乐谱数字图像或通过列有所有可用调号和拍号的“伪活页乐谱”(下载自PML网站，然后无线地或通过USB端口发送到该设备——见下文)被发送到OCR模块。“伪活页乐谱”还包括用户可从其选择所需的(诸)音色、或用户可手动地指定(输入)所需的(诸)音色的节段。

MIDI合成器

OCR模块将声音信息发送给生成合成声音的MIDI模块。这提供了可调音色；用户为特定的乐段或乐曲指定乐器类型(钢琴、小提琴、长笛等)。该模块还提供可调的速度，从而使用户能够听到比乐谱中节拍器(若有的话)所指示的慢(或快)而没有任何音高变化的段落。该设备通过其自身的小扬声器回放，并且还具有用于耳机和/或外部扬声器的耳机插孔134和无线能力。

视觉显示

LCD监视器显示器102帮助用户确保被捕捉(拍摄)的小节是想要听到的小节。LCD监视器显示器在段落被回放时以光标136结尾地来显示来自用户拍摄的段落或来自具有存储数据的音乐卡的乐谱104。不论指定的节拍如何，该光标均实时地指示在该段落被播放时当前正被播放的(诸)音符在乐谱中的确切音乐位置。不同于常规类型地移动光标，显示器102可代之以在播放一音符时通过突出显示该音符(例如，使其更亮)或给予其与其它音符不同的显示颜色来指示该音符。另一选择方案是LCD显示器(以英文和视唱形式两者)显示音符的名称138，尤其对于单谱线段落。如果该段落是由多个同时音乐谱线组成，则用户可指定为其显示音符名称的谱线。

显示器102还显示被选择播放的乐谱段落的指示符。该指示符被称为段落标记139。在图1中，段落标记139被示为围在圆圈中的数字“1”。该数字“1”指示当前正在显示乐谱的第一小节，而圆圈指示该回放从第一小节开始。如果回放继续到下一小节，则“2”将被显示以代替“1”，但是“2”将不会被圈住。

记录传感器

设置了话筒12以使得用户能记录其对有疑问的乐段的演奏(和/或演唱)并立即回放该记录以将用户的演奏与设备100的演奏(即，先前记录的或合成演绎)相比较。该特征对于学生调整音符、调音、节奏和力度是有帮助的。如上所述，可通过话筒记录用户演奏以提供“音乐听写”特征。

无线

优选地将设备100以无线版本提供以允许与网络和其它启用无线能力的设备的无线通信，并允许下载具有语境信息的编码音乐文件。在此所述的该特征可通过安装到诸如PDA或智能电话等无线平台的eMuse软件来提供以用于便携音乐交互。另外，无线eMuse设备可使用家用PC和/或立体声系统的计算和存储(以及回放音频)。

电源

电源是借助可再充电池；也可通过外部连接140适用DC输入(9/12V)。

“音乐卡”特征

以整个乐曲(或一简单的教本)数字编码的卡(信息存储设备)可在卡插槽106处插入OCR模块中。这允许用户快速引用(视听——参见以上“视觉显示”)特定小节。

“音乐卡”

这些音乐卡可零售购买得到，并且可包括诸如安全数字(SD)卡、压缩闪存卡、或XD卡、或可从索尼公司购得的“记忆棒”设备等常规介质。另外，PML将提供eMuse用户通过口令加密下载可得到的范围从教本到更为复杂的标准经典剧目到爵士和流行热曲的丰富的音乐库(乐谱的视听计算机文件表示)。这些文件可被下载到用户的家用PC上，然后用户可烧录“音乐卡”或将文件发送到无线eMuse。

网络通信

eMuse设备可通过电信网络进行通信以从音乐零售商(诸如Tower、HMV等)和铃声供应商下载编码音乐文件。

“音乐听写”

在另一实施例中，用户的演奏可被设备记录，并可经过音符解释处理以生成根据其产生与所记录的用户演奏相对应的音符的显示的数据。以这种方式，该设备可进行“音乐听写”，并可将用户的现场音频演奏转换为与该演奏相对应的乐谱的视觉显示。因此，该设备的音乐解释特征既可处理通过光或电网络通信接收到的乐谱数据，也可处理由话筒捕捉到的用户现场演奏的所产生的乐谱数据。

产品版本——eMuse1、eMuse2、eMuseX

在此示出的实施例包括以下三个产品：

●eMuse1是具有为易于使用而设计的直观控制的翻盖手持式单元。其包括了集成相机和LCD显示屏；当用户将该设备对准乐谱时，该乐谱的图像就被显示在LCD显示器上；用户可通过点击控制按钮将乐谱的全部或所选部分捕捉到设备存储器中。享有专利权的eMuse软件解释所捕捉的包括音乐语境信息的图像，并生成该乐谱的合成音频演绎。在音乐播放时，在显示屏上出现该乐谱的同步视觉表示，并且在任何时刻正被播放的音符的颜色被突出显示。对该设备的控制使用户能够调节速度、调号等，或删除一个或多个声部(对应于“音乐减一”用途)。该设备具有连接到外部音响系统以获得改善的音频质量的能力。eMuse1还包括记录和回放能力(包括音乐听写特征)，从而使用户能记录其对作品的演奏并将此演奏与原作品进行比较。

●eMuse2包括eMuse1的所有特征和功能，并外加了集成的音乐卡读取器。有两种形式的音乐卡可用，以包括音乐语境信息在内的乐谱数据进行预编码的形式、或空白形式。使用空白音乐卡，用户可从因特网web站点(PML自己的web站点或许可eMuse软件的第三方的web站点)下载乐谱数据，并将数据“烧录”在音乐卡上。其它实施例(诸如eMuse1和eMuseX)可设有任选的外部音乐卡读取器和适当的接口以便音乐卡的使用。

●为家用或工作室用设计的eMuseX是使个人计算机能与手持式eMuse设备100执行相同功能的软件产品。连接到该计算机的扫描器或高分辨率网络相机捕捉乐谱的数字图像，并且该图像被投影在用户的计算机显示屏上。

或用户然后选择该乐谱的一部分，并通过连接到计算机的扬声器播放该所选部

或分的合成音频演绎。用户还将能够将乐谱数据下载到计算机的硬盘驱动器上，

或或购买可由连接到计算机的USB端口的介质读取器读取的预编码的音乐卡。

在此所述的软件可在各种平台中使用。例如，eMuse的各方面可嵌入在其中蜂窝电话相机拍摄乐谱中的特定段落的高端蜂窝相机中。所捕捉的图像然后被压缩并发送到远程服务器，其对图像数据执行OCR处理以将图像解释为相应的音符信息。服务器然后发送回midi文件和图形文件两者，从而使得此版本的eMuse播放所拍摄的音乐并在音符被播放时将音符显示在LCD上。

因此，除了预载有eMuse软件的设备，eMuse软件还可安装在诸如配备有相机的电话或类似PDA等用户选择的平台中。

将捕捉到的乐谱图像解释为相应音符集的软件利用机器学习技术并且将被训练成在基本实时地解释的同时达到接近100％的正确率。用于将音符图像转换为相应音符的常规可用的音符OCR软件一般旨在用于在远离实际的图像捕捉的时刻离线编辑，并且不能达到接近100％的正确率。当前可用的乐谱转换软件可从诸如Sibelius^，Smart-Score^、以及SharpEye^等公司购得。

在于此所述的所有实施例中，eMuse编码的语境文件可通过诸如WiFi、Bluetooth^和/或其它电信连接等有线或者无线的电信链接来接收。

eMuse1

图2是示出了eMuse1实施例的操作的过程流程图。在起始操作中，乐谱的数字表示被提供给eMuse1设备。该数字表示可通过诸如使用数字图像捕捉设备204——诸如与eMuse1设备一起使用的数码相机——数字地捕捉的诸如打印页面等视觉呈现202被接收到eMuse1设备。从光学输入206获得的数字数据然后被提供给音符数据解释过程208。或者，乐谱的数字表示可诸如通过网络无线传输对应于乐谱的数字数据或有线传输该数据、或通过诸如存储卡或其它介质等存储介质输入等来电子地提供210。乐谱的电子接收版本210然后被提供给音符数据解释过程208。

音符数据解释过程208接收与乐谱相对应的数字数据并对其处理以生成足以指定该乐谱并使其能够由适当的硬件再现的音符集和伴随信息。过程208包括使用机器学习技术训练处理器识别乐谱数字数据206、210并生成正确的转换数据。该过程208可例如使用神经网络软件工程技术来训练以使解释过程的正确率提高至基本100％。根据本发明，为了向用户进行音频和视觉呈现必须实时地生成传入的乐谱数据，因此传入的乐谱数据的解释必须是实时的，并且必须接近100％的解释(转换)正确率。过程208利用光学字符识别(OCR)技术，但也适用于音符识别以及将数字数据(电子或光学扫描获得的)解释为正确表示。

解释过程的输出212包括被提供给该设备的显示屏214的乐谱的视觉呈现，以及被提供给适当的设备系统和硬件216以便通过该设备的扬声器等进行音频呈现的乐谱的合成音频演绎。

eMuse2

图3是示出了eMuse2实施例的操作的过程流程图。图2中描述的操作与图3中描述的操作类似，并且相同的操作被给定相同的标号。因此，在图3中，乐谱的数字表示通过视觉表示202与图像捕捉204继之以呈现206给音符数据解释过程208、或者通过电子接收并呈现210给过程208来提供给eMuse1设备。eMuse2实施例添加了乐谱呈现的另一替换装置，其使用与读取器或插槽306配对的包括存储器存储304的音乐卡接口。存储器存储304可包括，例如诸如安全数字(SD)卡、压缩闪存卡、记忆棒介质等数字介质，而读取器306将包括合适的卡读取器以接受存储在卡304上的数据。该乐谱数据然后被呈现给显示器214以及音频再现216设备以用于回放。

eMuseX

图4是示出了eMuseX实施例的操作的过程流程图。eMuseX实施例包括可安装在诸如台式或膝上型计算机等主机计算设备、PDA设备、或“智能电话”中的软件包。在最初的操作402中，安装有eMuseX软件的主计算机被启动以开始执行eMuseX软件。应该理解的是，该主计算机也安装有实现先前所述的音符数据解释过程208的软件，并且还包括合适的图像捕捉组合或合适的电子数据接收组合。图像捕捉组合可包括具有与主计算机的接口的数码相机，而电子数据接收组合可包括无线通信接口、硬布线网络通信接口、或诸如存储卡读取器或磁盘或光盘(例如，CD或DVD)驱动器等记录数据接口。

在下一操作404中，乐谱数字表示通过图像捕捉组合的操作或通过电子数据接收组合的操作被提供给主计算机的音符数据解释过程。经解释的乐谱数据被提供给主计算机以便处理和呈现406，从而使得主计算机的系统生成显示呈现408和音频再现呈现410以呈现给用户。音频呈现410和显示呈现408一般将对应于专用设备(图2和图3)响应的音频呈现216和显示呈现214，但由于与专用设备相比主计算机可用的资源不同而可能在细节上有所差异。

图5示出了由诸如其中安装有该应用软件的手持式设备或主计算机等包括本文所述的处理的设备生成的用以提供合成音频演绎的回放的显示屏。该设备首先诸如通过在其音乐卡读取器中接收已编程的音乐卡、或通过无线或电缆连接从网络接口接收信息来接收乐谱数据。该乐谱数据可包括例如乐谱以及确定该乐谱的合成音频演绎的音乐特性的音乐语境信息。在该设备的操作软件读取乐谱数据之后，该设备显示菜单屏幕以向用户提供关于乐谱的信息，并请求用户指令以便回放。

图5示出了显示在手持式设备(图1)的显示器504上的或显示在安装有eMuse应用软件的主计算机(图4)的显示器上的程序窗口中的乐谱菜单屏幕502。该菜单屏幕示出了乐谱的内容，在图5示例中，乐谱被显示为“巴赫-歌德堡变奏曲”。菜单502还显示了在图5示例中被指示为32的该乐谱中的节段(例如，音轨)的数目。该菜单还显示了在图5中被示为“钢琴”的音色。最后，该菜单询问用户开始回放的节段(或曲目)号。默认值(诸如节段1)可出现在初始菜单屏幕502上的显示框506中。用户诸如通过在手持式设备上选择“是”或“播放”命令或通过在菜单屏幕上选择“回车”或“是”可指示回放应该在所指示的位置——节段1开始。响应于此，该设备开始回放该合成音频演绎并且将乐谱(音符)与该音频演绎同步地显示在显示器504上。或者，用户可在输入框506中输入不同的节段号，然后选择“是”或“播放”或“回车”，则该设备将在所指示的节段开始播放乐谱。

图6是示出了提供“音乐听写”特征的操作的过程流程图。本发明的手持式实施例和主计算机实施例可设置该特征。在起始操作602中，话筒记录用户的现场音乐演奏并生成相应的现场音符数据集。该话筒输出被以数字格式记录以生成现场音符数据，或者在记录后被处理以生成现场音符数据，包括与用户演奏的音频音轨中的音符相对应的数字数据。即，现场音符数据类似于本文献中其它地方所述的乐谱数据。从话筒602获得的现场音符数据然后被提供给音符数据解释过程604。该设备的解释过程处理该现场音符数据以生成对应于乐谱的视觉显示606，并该设备还生成用户演奏的音频回放608。以这种方式，同步回放地提供用户音频演奏和与之对应的视觉音符。在一附加特征中，如果用户演奏有乐谱格式可用的已记录作品，则用户演奏的回放可与该已记录作品的乐谱的合成音频/视觉演绎相协调和比较。

其它功能

●可读取和播放多重同时音色(乐器)，从而使“音乐减一”用法成为可能。

●多重同时音量控制将允许用户使多五线谱乐曲中指定的乐曲或(诸)声线的音量最小化(“音乐减一半”)而同时使其它(诸)声线保持较高音量。

●在该设备中将包括将一页上的最少小节与下一页上的开头小节合并为一“帧”的翻页特征。

●在该设备中包括了节拍器。

●在该设备中包括了调音器。

●该设备能够将乐段变调为任意调。

●该设备在播放一段落时在LCD上显示该乐段的音符的名称(英文和视唱形式)。

●OCR模块将对乐段的记忆保持到下一段落被“拍摄”从而使得无需再次“拍摄”就可重复地收听特定段落。

●通信——便于使用有线传导和诸如WiFi、蓝牙、和/或其它电信连接等无线与eMuse音乐下载服务器通信。

设计特征

按钮和转盘、端口和插孔

设置了以下设计特征(参见图1)。

●快门按钮114——用于发起图像捕捉以及“拍摄”乐段

●播放按钮126——用于播放所“拍摄”的小节、从“音乐卡”选择、和/或回放记录的用户演奏。

●记录按钮132——用以记录用户的演奏

●主音量操纵轮116——用以改变回放音量

●插槽106——用以接收音乐卡；可能为USB端口

●耳机插孔；线输出134

●数字小键盘150——对LCD上关于乐曲、乐章、和/或小节号的选择的提示做出响应

●速度操纵轮118(速度)——用以改变段落的回放速度(更快或更慢)

●节拍器142——像常规使用节拍器一样可使用数字小键盘来选择回放段落的速度。

●调音器——可使用数字小键盘来指定调音的频率——例如，A440或A442。

如果需要，可以将这些按钮和转盘中的一个或多个组合成简单的+/-翻转。

构造

图7是根据本发明构造的、具有音频-视觉呈现的乐谱捕捉和解释设备700的一个实施例的框图。诸如计算机中央处理单元(CPU)的控制处理器702控制设备700内的操作。该CPU 702通过设备总线或系统通信总线704与其它组件进行包括数据和命令的通信。

命令和数据被存储在可包括程序存储器或ROM 708以及数据存储器或RAM710的存储器706中。存储器706可以是易失性和非易失性存储器的混合。CPU执行存储在程序存储器708中的命令和程序以提供在此所述的特征。诸如乐谱数据等操作数据被存储在数据存储器710中。其它数据可以存储在诸如固定存储设备(诸如硬盘驱动器)、用于可移动介质(磁软盘、光盘)的存储驱动器、以及可移动数据卡(诸如闪存卡和类似介质)的存储设备715中或从其接收。因此，在图7中被示为一单独组件的包括音符解释处理引擎714的eMuse处理712可由存储在存储器704中并由CPU 702执行的程序指令和数据的组合来提供。设备700包括用于通过网络与其它计算机通信的网络接口716。该网络接口可提供通过无线链接(诸如WiFi或Bluetooth连接)或有线(电缆)连接(诸如网络电缆或USB连接)的通信。

设备700还包括用于接收用户输入和命令的键盘718，以及包括用于将数据呈现给用户的显示器720。该显示器可包括根据本发明构造的手持式设备的显示屏，或可包括其中安装有本发明的应用软件实施例的主计算机的显示器。该设备还包括诸如可生成乐谱的音频再现的扬声器的音频输出722。音频输出装置722还可包括用于个人收听的耳机连接或其它线输出连接。

设备700还包括诸如具有镜头和快门控制按钮的集成数码相机系统的图像捕捉装置724。该图像捕捉装置可以是外部连接的系统，诸如数码相机可通过诸如USB端口或无线Bluetooth链接等网络连接被连接到主计算机。该设备还包括诸如与其连接的话筒的音频捕捉装置726。

使用示例

以下是示出了如何将本发明的实施例付诸使用的设备使用的情景。

A)Johnny(11岁)在巴赫第一大提琴组曲的前奏的小节18上有一些困难。他拿起eMuse，将其开机，使其对准(通过LCD监视器观察到的)小节17-19，按下小扳机，选择“大提琴”音色、按下“播放”，并且听设备对小节17-19的回放。此时，他看着LCD以观察乐谱和移动的光标。Johnny想要再次收听该段，但希望这次稍慢些，所以他相应地调节速度并再次按下“播放”。对理解了该段落很满意，于是他决定自己尝试演奏，但是还想要将其演奏与刚才他所听到的进行比较。所以他按下“记录”并在自己的大提琴上演奏该段。为了再次检查，他听了自己演奏的回放。

他还可仅通过插入该作品的“音乐卡”而不需要找到CD就能听到该乐曲的更多部分，例如小节1-20，或者实际上听到整首乐曲。他将听到他所指定的任何地方，并且可以跟随LCD上的光标和音符。

他还可以使用内建的调音器检查其大提琴的调音，以及使用内建的节拍器检查其节奏准确率和/或速度。

B)Samantha(16岁)正在自学演奏吉他。非常有天赋的她想要围绕一组节奏即兴创作独奏曲来演奏。她只有很少几本音乐书记载有她最喜欢的歌曲中的一些的节奏节段，所以她拿起eMuse，扫描节奏为8小节的节段，选择“打击乐器”作为请求的音色，并且使用该设备的线输出通过其家用电脑扬声器回放声音。在她听了这些节奏若干遍时，开始围绕它们即兴创作，每次都创作出一些略有不同的东西。

C)Hammer先生(58岁)总想学习钢琴并且最终决定上一些课。他特别偏爱肖邦的夜曲，但在其练习中，他不太能演奏夜曲作品27第二号的倒数第二小节，左手的6个音符组的演奏与右手的7个音符组的演奏相抵触。他在其楼上的PC上下载了该夜曲的“音乐卡”，然后将该“文件”发送到楼下起居室中钢琴架上的eMuse。由于该文件包含这是钢琴作品这一事实，所以默认音色为“钢琴”。他在小键盘上指定小节75，因此找到有疑问的特定小节。他坐在钢琴旁边听了数遍，在回放之间尝试自己演奏，然后将起始点倒退到小节60以收听完整的最后一页(Schirmer版，编辑：Mikuli)。

D)Julie(15岁)学习钢琴已经7年。她对在巴托克钢琴奏鸣曲的最后一个乐章的开始部分改变节拍有些困难。由于她已经学习了一段时间，所以在几周前就下载了该曲的“音乐卡”。她插入“音乐卡”、拿起eMuse，并且“拍摄”最后一个乐章的小节20-24。然后按下“播放”按钮，则该设备通过将OCR信息与音乐卡中的编码信息相匹配来回放这些小节。她将这4小节听了数遍，起先较慢然后逐渐加快。然后她决定听整个开始节段(小节1-27)，所以在小键盘上对此进行指定。她不需要再次作任何“拍摄”；因为现在数据从音乐卡直接读出。

E)Alex(13岁)已在初中乐队中学习单簧管数年。他的乐队指挥正在为阵亡将士纪念日游行排练苏萨的进行曲，由于单簧管部分经常抢拍，所以他为这些学生买了4张该进行曲的音乐卡。当在饭后练习的时候，Alex发现将音乐卡忘在了学校里，所以他访问了PML站点并在家里的PC上下载了另一音乐卡。他将该音乐卡(无线地)发送到他的eMuse，插上耳机，“拍摄”了第二乐句的结尾处的小节14-16(对他来说的难点之一)，并且选择“单簧管”音色。eMuse将小节14-16单簧管声部的OCR信息与相同小节的音乐卡信息相匹配，则当Alex按下播放时，他听到整个乐队演奏这些小节。为了有助于他，LCD上仅显示(使用光标)单簧管声部，从而使他在听整个合奏的同时能够跟上自己的声部。

F)Janey(9岁)刚开始演奏小提琴。她在教本中第二曲的音符和节奏(她在那一周的作业)上有点困难，但是她的父母为她买了(零售)普及教本的“音乐卡”。她插入该音乐卡(由于该教本针对该乐器，所以自动地默认为“小提琴”音色)，跟着LCD上的提示在小键盘上指定第二曲，按下播放、并且随着光标引导她跟随音符收听该曲并看着LCD。她想要再次收听小节5-8，所以她在LCD提示询问是否要再次收听任何内容后用小键盘指定那些小节。

G)纽约大学的学生Jon正在学习西部故事中的歌曲作为大学作品。虽然他是一位熟练的男中音，但他仍然觉得与伴奏者一起练习——即使在正式排练之间——是非常有帮助的。然而，作为一个大学生，他的预算非常有限因此不能如他所愿地频繁地聘请伴奏者来帮助他。

在收到eMuse作为生日礼物之后，Jon购买了西部故事的音乐卡，将它插到设备中，将位置操纵轮前进到他想要开始的歌曲，从在菜单操纵轮中拨入的“音乐减一”标题中指定“仅钢琴声部”。然后从菜单操纵轮中拨入“无线地发往立体声”，由此通过eMuse的无线能力将音频信号发送到立体声系统，并且与其想要练习的任何歌曲中的钢琴声部一起演唱。他可看着自己的音乐或跟随光标看eMuse的LCD。他可以不改变音高地变化速度，并且练习任何歌曲任意的遍数。EMuse成了他的伴奏者。

产品操作

具有音乐卡读取器的手持式设备的操作概要

用户将音乐卡插入产品的音乐卡插槽中，选择乐曲、选择音色、选择速度、选择乐曲中的位置(“段落标记”)、并且按下播放按钮。停止按钮停止音乐。播放按钮在开头处开始播放该段或在前一次停止的地方(“播放位置标记”)再次继续播放，除非用户按下向后箭头按钮，在后一种情形中播放位置标记移回到段落标记。

除了音量以及速度或段落标记位置中的任意一个之外，所有选择都是由单个操纵轮/按钮或旋钮/按钮组合(在图1中，“菜单操纵轮”120以及“下一按钮”130)完成。这降低了成本和用户的畏难心理，并允许不改变硬件地添加新选择。屏幕显示列表，“菜单”操纵轮或旋钮在整个列表上移动光标或使文本突出显示，并且“下一”按钮选择所指示的选择。默认音色和速度选择被嵌入在文件中，从而使用户在大多数情况下简单地完成这些步骤以使设备工作。

一旦在启动后进行操作，菜单操纵轮120就改变角色并且总是控制速度或者段落标记的位置。如果控制速度，则音量和段落标记具有单独的操纵轮；如果控制段落标记，则音量和速度具有单独的操纵轮。具有三个单独的操纵轮有两个原因：

●用户在播放开始后可能会想要改变速度、音量、或段落标记的位置。独立的操纵轮使这变得简单。

●音量控件可以是模拟电位计。

细节

开机/关机

该单元在用户按下开机/关机按钮时上电。它还可在插入闪存驱动时上电。它在移除闪存驱动器或在选定的停用时间段之后、或当用户再次按下开机/关机按钮时关断。

菜单序列

一旦施加了电源，则单元进入菜单序列。这是在播放可以开始前用户必须做出的一系列选择。它以列表序列(通常只是两个)的形式出现。用户可用菜单操纵轮滚动经过每一个列表。下一按钮注册突出显示的选择并移到下一步骤。

列表序列是动态的，但可包含以下内容：

1.除非仅有一个乐曲或乐章，否则包含闪存驱动器上的乐曲或乐章的列表。(通常，有一个以上)。

2.用以演奏每个声音的音色(或多个音色)。通常，即使对于键盘音乐也只有一个。默认音色将被嵌入在文件中。

在这些列表被呈现时，屏幕出现以下内容：

●在顶端：出现命名该选择的标题

●在底下一侧：出现某一项突出显示的该列表

●在另一侧：出现大意为用户应该使用操纵轮来选择一项、然后按下

下一按钮的简明指令。这些指令可采取用于操纵轮和按钮的标签的形式。

在做出最后一个选择后，单元进入播放模式。

播放

当单元处于播放模式时，屏幕在中间显示乐谱(具有一个或多个位置标记)、以及可能靠近其调节操纵轮的当前节拍器标记。

乐谱

乐谱根据屏幕的物理尺寸被呈现在显示器屏幕上；一般有足够大的尺寸来显示单五线谱或谱表系统。

定位

该产品跟踪音乐中两个位置：被用户选为将要播放的段落的起始位置的点(“段落标记”)，以及当前正被播放的点(“播放位置标记”)。段落标记被设备标记为指示例如正被播放的小节。播放位置标记在此被描述为光标。因为向后箭头按钮将播放位置标记移动至段落标记位置并且由于位置操纵轮一次移动两个标记，因此优选地，用户可选择仅显示播放位置标记(光标)。

一般而言，播放位置标记在回放过程中将不会改变外观。显示器上的音符当在回放过程中发声时将改变颜色或亮度。

影响定位的控件是段落标记操纵轮、播放按钮、以及向后箭头按钮。这两个按钮移动播放位置标记而不影响段落标记；操纵轮移动两个标记。

速度

当单元进入播放模式时，默认的速度以节拍器标记142的形式出现在屏幕上靠近其操纵轮的地方。可在任何时刻改变速度。

产品控件

复位按钮130

就像刚施加电源一样重启操作序列。显示器显示音乐卡驱动器上的曲目列表。

下一按钮130

从由菜单操纵轮控制的列表中选择突出显示项并移到下一步。一旦菜单序列到底，则下一按钮变为无效。菜单操纵轮继续控制速度并且立即反映任何变化，直到复位按钮被按下或轮转。

菜单操纵轮

文件选择

参见以上“菜单序列”

音色选择

参见以上“菜单序列”

速度操纵轮118

速度操纵轮118控制乐段的回放速度。

段落标记操纵轮

对段落标记的控制是通过菜单操纵轮进行的。在段落标记模式下对菜单操纵轮的优选操作如下：

如果在操纵轮移动时单元正在播放，则单元停止。

●移动操纵轮将在播放位置标记的位置处开始移动段落标记和播放位置标记两者。

●操纵轮速度与标记运动速度之间的关系将是非线性的。缓慢移动操纵轮将缓慢地移动标记，但使操纵轮速度加倍将使标记速度加速两倍以上。元控制将调节曲线的二阶导数从而使得我们能够进行试验，但这可能并不够。二阶导数本身可能是乐曲长度的函数。用户不需要整天转动该操作轮就应该能移到一较长的乐曲的中间。同时，如果他正在练习较短的乐曲时快速移动将不会移出界。

音量操纵轮

对回放音量的控制是通过音量操纵轮来进行的。

播放按钮126

在播放位置标记处开始播放并移动该标记。

停止按钮128

停止播放。使播放位置标记留在原处。

向后箭头按钮(移至段落起点)

如果合适，则停止播放，并将播放位置标记移至段落标记。

元控制

屏幕

可在运行时通过调整其上显示屏幕及其仿真产品控件的窗口来设置屏幕的尺寸和形状。可增添元控件以为分辨率、亮度、和对比度设置限制。

文件

该设备操作标准MusicXML文件，并且还可处理这些文件的紧缩或压缩形式。

音乐卡闪存驱动器

闪存驱动器接口106接受各种格式的存储卡。换言之，元控件被用于选择包含MusicXML文件的目录。该设备然后在每个菜单序列的开始显示这些目录。如果表示闪存驱动器的目录包含子目录，则它们不被显示。如果一实际闪存驱动器被插入机器，则它可被选择。

以上以目前优选的实施例的形式对本发明进行了说明，从而能够传达对本发明的更好的理解。然而，还有许多在此并未具体说明但本发明也可适用的乐谱捕捉和呈现系统的配置。因此本发明不应被认为被限定于在此说明的特定实施例，而是应该理解，本发明关于乐谱捕捉和呈现通常具有广泛适用性。落在所附权利要求范围之内的所有修改、变更、或等效配置和实现都应被视为在本发明的范围之内。

Claims

1.一种由计算设备处理用于独奏乐器、重奏乐器、独唱或重唱、或其任意组合的印刷乐谱的方法，所述方法包括：

在所述计算设备处从外部源接收所述乐谱；

解释所述乐谱并将其转换为数字化形式；

处理所得到的数据以生成与所述乐谱的视觉呈现同步的所述乐谱的合成音频演绎，包括将歌词与正确音高匹配的合成声乐演绎。

2.如权利要求1所述的方法，其特征在于，所述外部源包括通过网络连接向所述计算设备提供所述乐谱数据的网络数据源。

3.如权利要求2所述的方法，其特征在于，所述网络连接包括所述计算设备与所述网络之间通过无线连接的通信。

4.如权利要求1所述的方法，其特征在于，接收所述乐谱数据包括从记录介质读取所述乐谱数据。

5.如权利要求4所述的方法，其特征在于，接收所述乐谱数据包括在所述计算设备的读取器中接受所述记录介质，并从所述记录介质获取所述乐谱数据。

6.如权利要求5所述的方法，其特征在于，所述记录介质包含足够根据用于合成音频音乐制作的乐器数字接口(MIDI)规范进行音频回放的数据。

7.如权利要求1所述的方法，其特征在于，还包括：

记录用户对所述音符的演奏；以及

为所记录的用户演奏的音频回放提供与所述音频回放同步的所记录用户演奏的可视呈现。

8.如权利要求1所述的方法，其特征在于，接收所述乐谱数据包括光学地拍摄乐谱，并生成与所述乐谱相对应的数字图像数据。

9.如权利要求1所述的方法，其特征在于，所述计算设备标识确定皆可由用户调节的所述乐谱数据的合成音频回放的特性的音乐语境信息。

10.如权利要求9所述的方法，其特征在于，所述音乐语境信息包括：谱号、调号、拍号、音色、速度和诸如连奏、渐强、减速等表达形式。

11.如权利要求1所述的方法，其特征在于，生成所述乐谱数据的音频回放和音符的视觉呈现是通过与网络数据源通信来实现的。

12.如权利要求11所述的方法，其特征在于，所述网络数据源向所述计算设备提供所述乐谱数据。

13.如权利要求1所述的方法，其特征在于，生成所述乐谱数据的合成音频演绎和乐谱的视觉呈现是通过在所述计算设备中所包含的读取器中插入记录介质来实现的。

14.如权利要求13所述的方法，其特征在于，所述记录介质提供用于确定皆可由用户调节的所述乐谱数据的合成音频演绎的特性的音乐语境信息。

15.如权利要求1所述的方法，其特征在于，所述音频回放由所述计算设备根据乐器数字接口(MIDI)规范生成。

16.如权利要求1所述的方法，其特征在于，生成所述可视呈现包括以与音符的合成音频演绎同步的方式显示乐谱的音符。

17.如权利要求1所述的方法，其特征在于，还包括提供所述乐谱数据和所记录的用户演奏的同时回放。

18.如权利要求1所述的方法，其特征在于，还包括从所述乐谱中删除一音乐声部。

19.如权利要求18所述的方法，其特征在于，由用户选择所删除的音乐声部。

20.一种由计算设备处理乐谱数据的方法，所述方法包括：

数字地拍摄乐谱，并为所述计算设备生成与这一乐谱相对应的所述乐谱数据；以及

生成所述乐谱数据的合成音频演绎以及相应音符的视觉呈现。

21.如权利要求20所述的方法，其特征在于，还包括接收用于确定皆可由用户调节的所述乐谱数据的合成音频演绎的特性的音乐语境信息。

22.如权利要求21所述的方法，其特征在于，所述音乐语境信息包括：谱号、调号、拍号、音色、速度和诸如连奏、渐强、减速等表达形式。

23.如权利要求21所述的方法，其特征在于，所述计算设备从所述数字拍摄的乐谱标识所述音乐语境信息。

24.如权利要求21所述的方法，其特征在于，所述计算设备从网络数据源获取所述音乐语境信息。

25.如权利要求25所述的方法，其特征在于，生成所述乐谱数据的合成音频演绎和所述乐谱的同步视觉再现是通过与网络数据源通信来实现的。

26.如权利要求25所述的方法，其特征在于，生成所述乐谱数据的合成音频演绎和所述乐谱的同步视觉再现是通过在所述计算设备中包含的读取器中插入记录介质来实现的。

27.如权利要求25所述的方法，其特征在于，还包括：

记录用户对所述音符的演奏；以及

为所记录的用户演奏的回放提供与所述音频回放同步的所记录的用户演奏的视觉呈现。

28.如权利要求20所述的方法，其特征在于，还包括从所述乐谱中删除一音乐声部。

29.如权利要求28所述的方法，其特征在于，由用户选择所删除的音乐声部。

30.一种计算设备，包括：

显示屏；

集成的音频合成器模块；

网络接口，所述计算设备通过所述网络接口与网络通信；以及

计算机处理器，用于从外部源接收乐谱数据，并通过所述音频模块生成所述乐谱数据的合成音频演绎，以及在所述显示屏上生成所述乐谱的同步视觉呈现。

31.如权利要求30所述的计算设备，其特征在于，所述计算机处理器从用于捕捉乐谱的光学图像的图像捕捉单元接收图像信息，其中所述计算机的微处理器处理所述图像信息以生成所述乐谱数据。

32.如权利要求3 1所述的计算设备，其特征在于，所述计算设备将所捕捉到的光学图像记录在所述计算设备的存储器中。

33.如权利要求30所述的计算设备，其特征在于，所述计算设备接收用以确定皆可由用户调节的所述乐谱数据的合成音频演绎的特性的音乐语境信息。

34.如权利要求33所述的计算设备，其特征在于，所述计算设备从所数字拍摄的乐谱标识所述音乐语境信息。

35.如权利要求33所述的计算设备，其特征在于，所述音乐语境信息包括：谱号、调号、拍号、音色、速度和诸如连奏、渐强、减速等表达形式。

36.如权利要求33所述的计算设备，其特征在于，所述计算设备从记录介质接收所述音乐语境信息。

37.如权利要求30所述的计算设备，其特征在于，所述计算机的处理器通过与外部数据源通信来生成所述乐谱数据的合成音频演绎以及所述乐谱的同步视觉呈现。

38.如权利要求30所述的计算设备，其特征在于，所述计算机的处理器通过在所述计算设备中所包含的读取器中插入记录介质来生成所述乐谱数据的合成音频演绎以及所述乐谱的同步视觉呈现。

39.如权利要求38所述的计算设备，其特征在于，所述记录介质包含足以根据用于合成音频演绎的乐器数字接口(MIDI)规范对其中存储的数据进行音频回放的数据。

40.如权利要求30所述的计算设备，其特征在于，还包括记录和回放模块，用于记录用户对所述音符的演奏、并为所记录的用户演奏的回放提供与所述音频回放同步的所记录的用户演奏的视觉呈现。

41.如权利要求30所述的计算设备，其特征在于，所述显示屏、音频合成器模块、数字图像捕捉设备、用户控件和计算机微处理器被设置在为电池和/或交流操作装配的便携式手持外壳内。

42.如权利要求30所述的计算设备，其特征在于，所述显示屏包括一平板显示器，用户可在所述平板显示器上看到所述乐谱和音符的图像表示，并且在所述平板显示器上，在任一给定时刻正被合成的一个或多个所述音符通过独特的颜色、光标或类似方法被突出显示。

43.如权利要求30所述的计算设备，其特征在于，还包括从所述乐谱中删除一音乐声部。

44.如权利要求30所述的计算设备，其特征在于，由用户选择所删除的音乐声部。

45.一种程序产品，包括：

可由计算设备读取的程序介质；以及

记录在所述程序介质上的编程指令，所述编程指令可由所述计算设备读取并被执行，用以执行包括以下操作的方法：在所述计算设备处从外部源接收乐谱数据，并生成所述乐谱数据的合成音频演绎以及所述乐谱的同步视觉呈现。

46.如权利要求45所述的程序产品，其特征在于，所述计算设备从包括网络数据源的外部源接收所述乐谱数据，所述网络数据源通过网络连接向所述计算设备提供所述乐谱数据。

47.如权利要求45所述的程序产品，其特征在于，所述计算设备执行所述编程指令以标识用以确定皆可由用户调节的所述乐谱数据的合成音频演绎的特性的音乐语境信息。

48.如权利要求47所述的程序产品，其特征在于，所述计算设备执行所述编程指令以处理包括的音乐语境信息还包括：接收用于确定所述乐谱数据的合成音频演绎的特性的音乐语境。

49.如权利要求45所述的程序产品，其特征在于，所述计算设备通过与网络数据源的通信生成所述乐谱数据的合成音频演绎以及所述乐谱数据的同步视觉呈现。

50.如权利要求45所述的程序产品，其特征在于，所述计算设备通过在所述计算设备中所包含的读取器中插入记录介质来生成所述乐谱数据的合成音频演绎以及所述乐谱数据的同步视觉呈现。

51.如权利要求45所述的程序产品，其特征在于，所述计算设备执行所述编程指令以根据用于合成音乐制作的乐器数字接口(MIDI)规范生成所述合成音频演绎。

52.如权利要求45所述的程序产品，其特征在于，所述计算设备生成包括以与音符的合成音频演绎同步的方式显示乐谱的音符的所述视觉呈现。

53.如权利要求45所述的程序产品，其特征在于，还包括为所述乐谱数据和所记录的用户演奏的同时回放提供与所述音频回放同步的所记录的用户演奏的视觉呈现。

54.如权利要求45所述的程序产品，其特征在于，还包括从所述乐谱中删除一音乐声部。

55.如权利要求54所述的程序产品，其特征在于，由用户选择所删除的音乐声部。