JP2010518459A - 配布オーディオファイル編集用ウェブポータル - Google Patents

Abstract

ネットワーク経由で楽曲寄与を共同処理する方法、システムおよび装置について記載される。本発明の実施形態はポータルを提供し、ポータルは複数のワークステーションによってネットワーク経由でアクセス可能であり、楽曲構成要素を編集する編集能力の組を提供するよう構成されている。楽曲寄与はポータルにおいて受信されてもよい。楽曲寄与の少なくとも一部は楽曲構成要素を含む。特定の実施形態では、楽曲構成要素はオーディオ信号または楽譜画像から分解されたものである。いくつかの共同制作リクエストがネットワーク経由でポータルにおいて受信されてもよい。いくつかの共同制作リクエストは第１のワークステーションから生じてもよく、他の共同制作リクエストは第２のワークステーションから生じてもよい。共同制作リクエストのうちの少なくとも１つに応答して、楽曲構成要素の少なくとも一部がポータルの編集能力を使用して編集されてもよい。

Description

（相互参照）
本願は、同時係属中の米国仮特許出願第６０／８８９，８１６号（名称「ＣＯＬＬＡＢＯＲＡＴＩＶＥ ＭＵＳＩＣ ＳＨＡＲＩＮＧ」、２００７年２月１４日出願、代理人整理番号０２６２８７−０００３００ＵＳ）および同時係属中の米国仮特許出願第６０／８８９，８２１号（名称「ＭＵＳＩＣ−ＢＡＳＥＤ ＳＥＡＲＣＨ ＥＮＧＩＮＥ」、２００７年２月１４日出願、代理人整理番号０２６２８７−０００４００ＵＳ）の優先権の利益を主張し、これらの出願は、全ての目的のために、その全体が本明細書に記載されているように参考として援用される。本願は、Ｒｏｂｅｒｔ Ｄ．Ｔａｕｂらに対する米国仮特許出願第６１／０２８，４９０号（名称「ＭＵＳＩＣ ＳＣＯＲＥ ＤＥＣＯＮＳＴＲＵＣＴＩＯＮ」、２００８年２月１３日出願、代理人整理番号０２６２８７−０００５００ＵＳ）の優先権の利益を主張する。仮出願日の優先権が主張され、仮出願の開示は、全ての目的のために本明細書に参考として援用される。

本願は、さらに同時係属中の米国特許出願第＿＿＿＿＿＿＿号（名称「ＭＵＳＩＣ−ＢＡＳＥＤ ＳＥＡＲＣＨ ＥＮＧＩＮＥ」、２００８年２月１４日出願、代理人整理番号０２６２８７−０００４１０ＵＳ）と関連し、この出願は本願とともに出願され、全ての目的のために、その全体が本明細書に記載されているように参考として援用される。

本発明は、全般的にオーディオアプリケーションに関し、特に共同での楽曲作成に関する。

いくつかの理由から、楽曲の作成および体験を共同で行うことが望ましいと考えられる。１つの理由は、音楽家が種々の楽器のパフォーマンス、楽曲解釈、音楽理論、作曲、作詞、管弦楽編曲法、および制作を含む、音楽の多数の側面において、様々なレベルの技能を有するということである。別の理由は、音楽家はそれぞれ、独特の影響、経歴、好み、および芸術的構想力に影響する他の特性を有すると考えられるということである。さらに別の理由は、音楽家が遠く離れた複数の場所から連携したいこともあるということである。

比較的進歩した楽曲共同制作環境であっても、多数の便利な方法で楽曲寄与（ｍｕｓｉｃ ｃｏｎｔｒｉｂｕｔｉｏｎ）を処理する能力を欠くことから、機能性が限られていることが多い。例えば、いくつかの既存環境は、寄与者がオーディオファイルを複数のトラックとしてアップロードできるようにする。再生するためには、このトラックがレイヤ状にされてもよい。一部には、信号の振幅の変更（例えばフェーディングのため）のような、一定の限られた信号処理能力、または信号のセクションの切り取り、コピーもしくは貼り付けを行う能力さえも提供できるものもある。

しかし、特定の種類の楽曲共同制作では、より基本的なレベル（例えば、個々の音符、調、テンポ、コード変更、モチーフ、パターン、音色など）での楽曲寄与の処理が望まれることもある。例えば、寄与者が、トラックの楽器編成を変更したいことも、メロディのセクションを入れ換えたいことも、個々の音符を挿入したいことも、特定の寄与のコード進行を分析したいことも、複数の寄与者からの寄与を同期させたいことも、その他多数の能力にアクセスしたいこともある。こういった能力の多くの提供には、オーディオ信号から特定の種類の基本的な情報を抽出するために楽曲寄与が処理される必要があると考えられる。

少なくともこういった理由から、基本的なレベルにおいて、改善された能力を楽曲共同制作に提供することが望ましいと考えられる。

特に、複数の寄与者からの楽曲寄与を共同で作成し、処理する方法、システムおよび装置について記載する。

本発明の実施形態は、複数の共同制作者からの楽曲寄与を共同で処理することを促す。一側面において、本発明の技術は、ウェブポータルなどのネットワークサイトとして実装可能である。ウェブポータルは、オーディオ信号処理、楽譜記号（ｍｕｓｉｃ ｃｈａｒａｃｔｅｒ）認識技術、および楽譜書き起こし（ｍｕｓｉｃ ｔｒａｎｓｃｒｉｐｔｉｏｎ）技術を利用して、楽曲プロジェクト用の共同環境を提供することができる。したがって、本発明の実施形態は、共同開発の取り組みに携わっている複数のユーザをホストするネットワークサイトを提供することができる。

ポータルは、様々な特徴および機能を提供することができる。特定の実施形態では、ポータルは、オーディオ編集の機能をサポートしてもよく、この機能には、オーディオファイルの編集、オーディオファイルの開始、オーディオファイルの共有、オーディオファイルの公開、プリントファイルの開始、オーディオファイルのカスタマイズ（着信音など）、着信音およびオーディオファイルのポータルオークションまたはマーケットプレイスのサポート、ならびにビデオファイルへの楽曲およびオーディオの追加が含まれる。他の実施形態では、ポータルは、会議開催（例えばテキスト、オーディオ、またはビデオによる）、およびアクセス制限（例えばポータルの特定領域、特定ファイル、または特定機能への）を含む、ネットワーク作りおよび共同制作の機能をサポートしてもよい。さらに他の実施形態では、ポータルは、共同プロジェクトの楽譜およびオーディオ出力の生成を含む、制作機能をサポートしてもよい。

本発明のその他の特徴および利点が、以下の、本発明の原理を一例として示す好適な実施形態の説明から明らかとなるはずである。

以下の図面を参照することによって、本発明の性質および利点のさらなる理解が実現されると考えられる。添付の図面では、同様のコンポーネントまたは特徴が、同じ参照ラベルを有することもある。さらに、類似したコンポーネント間を区別するダッシュと第２のラベルとが参照ラベルに続くことによって、同じ種類の様々なコンポーネントが区別されることもある。本明細書内で、第１の参照ラベルのみが使用されていれば、その説明は、第２の参照ラベルに関係なく、同じ第１参照ラベルを有する類似コンポーネントのうち任意のものに適用できる。

図１は、本発明に従い構成された、楽曲寄与を共同処理するシステムの簡略化した上位ブロック図である。 図２は、本発明による、楽曲寄与を共同処理する例示的方法のフロー図である。 図３は、本発明による、楽曲寄与を生成する、実例となる様々な種類の楽曲入力である。 図４Ａは、本発明による、楽曲入力データを分解する方法のフロー図である。 図４Ｂは、本発明による、楽曲の小さな構成要素を分解する方法の実施形態である。 図４Ｃは、本発明による、楽曲の大きな構成要素を分解する方法の実施形態である。 図５Ａは、本発明による、楽曲構成要素の生成のためにオーディオ信号入力を分解する例示的システムの簡略化したブロック図である。 図５Ｂは、本発明によるオーディオ分解ユニットの一実施形態の下位ブロック図である。 図６Ａは、光学式文字認識（ＯＣＲ：ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）機能を提供するために、本発明に従って楽曲画像データを処理する例示的システムである。 図６Ｂは、ＯＣＲ処理装置への入力として提供される、図６Ａに示されているキャプチャ装置からつくり出された例示的画像データである。 図７は、本発明による共同制作ポータルの実施形態の中に組み込まれてもよい様々なモジュールの例示的一構成である。 図８Ａは、共同制作プロジェクトの一部の、位置合わせされた３つのビューを含むビューイング機能の実例となる実施形態である。 図８Ｂは、特定の音符に焦点を合わせた、図８Ａに示されているビューイング機能の拡大ビューの実例となる実施形態である。 図９は、本発明による共同制作ポータルのＧＵＩの実施形態である。 図１０は、本発明の特定の実施形態を実装する計算システムのブロック図である。 図１１は、本発明による製品の実例となる実施形態を、ハンドヘルドコンシューマ電子装置として示す。 図１２は、図１１に示されているものに類似した装置の実施形態の動作を示す簡略化したプロセスフロー図である。

この説明は、実施例としての実施形態のみを提供するものであり、本発明の範囲、適用性、または構成を限定しようとするものではない。それどころか、続く実施形態の説明は、本発明の実施形態を実装できるようにする説明を当業者に提供する。本発明の意図および範囲から逸脱することなく、構成要素の機能および配置に様々な変更が加えられてよい。

したがって、様々な実施形態が、必要に応じて、様々な手順またはコンポーネントを省略、置換、または追加してもよい。例えば、当然のことながら、代替の実施形態では、記載されたものとは異なる順序で方法が実行されてもよく、様々なステップが追加、省略されても、または組み合わされてもよい。さらに、特定の実施形態に関して記載される特徴が、他の様々な実施形態に組み合わされてもよい。実施形態の種々の側面および構成要素が、同様の形で組み合わされてもよい。

さらに、当然のことながら、以下のシステム、方法およびソフトウェアは、個別に、または集合的に、より大きなシステムのコンポーネントであってもよく、その利用により他の手順が優先しても、またはそうでなければ他の手順がその利用に変更を加えてもよい。さらに、いくつかのステップが、以下の実施形態の前、後、またはそれと同時に必要な場合もある。

（概説）
本発明の実施形態は、複数の共同制作者からの楽曲寄与の共同処理を促す。一側面において、本発明の技術は、ウェブポータルなどのネットワークサイトとして実装可能である。ウェブポータルは、オーディオ信号処理、楽譜記号認識技術、および楽譜書き起こし技術を利用して、楽曲プロジェクトの共同環境を提供することができる。したがって、本発明の実施形態は、共同開発の取り組みに携わっている複数のユーザをホストするネットワークサイトを提供する。

ポータルは、様々な特徴および機能性を提供することができる。特定の実施形態では、ポータルは、オーディオ編集機能をサポートしてもよく、この機能には、オーディオファイルの編集、オーディオファイルの開始、オーディオファイルの共有、オーディオファイルの公開、プリントファイルの開始、オーディオファイルのカスタム設計（着信音など）、着信音およびオーディオファイルのポータルオークションまたはマーケットプレイスのサポート、ならびにビデオファイルへの楽曲およびオーディオの追加が含まれる。他の実施形態では、ポータルは、会議開催（例えばテキスト、オーディオ、またはビデオによる）、およびアクセス制限（例えばポータルの特定領域、特定ファイル、または特定機能への）を含む、ネットワーク作りおよび共同制作の機能をサポートしてもよい。さらに他の実施形態では、ポータルは、共同プロジェクトの楽譜およびオーディオ出力の生成を含む、制作機能をサポートしてもよい。

図１は、本発明に従い構成された、楽曲寄与を共同処理するシステム１００の簡略化した上位ブロック図を示す。システム１００は、ネットワーク１１０を介していくつかのワークステーション１０４に接続されたポータル１６０を含む。ネットワーク１１０は、このいくつかのワークステーション１０４間の通信を促す任意のものであってもよい。例えば、ネットワーク１１０は、インターネットまたはローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）としてもよい。

ワークステーション１０４は、ネットワーク１１０との通信と、楽曲寄与１０２の受信とを行うよう構成されている任意の装置またはシステムであってもよい。いくつかの実施形態では、ワークステーション１０４は多目的装置である。例えば、ワークステーション１０４は、コンピュータ（例えばラップトップ、デスクトップなど）またはハンドヘルド装置（例えば携帯情報端末、セルラー電話など）であってもよい。他の実施形態では、ワークステーション１０４は専用装置である。例えば、ワークステーション１０４のうちの１つは、楽曲寄与１０２の受信およびネットワーク１１０との通信を含む、共同環境の提供専用に開発された専用携帯装置であってもよい。特定の実施形態では、ワークステーション１０４は、楽曲寄与装置のネットワークインターフェースである。例えば、ワークステーション１０４のうちの１つは、エレキギターまたはデジタルオーディオコンポーネントの直接ネットワークインターフェースであってもよい。

当然のことながら、本発明よれば、ワークステーション１０４が楽曲寄与１０２を受信する方法は数多くある。例えば、楽曲寄与１０２は、内蔵マイクロホンまたは外付けマイクロホン、ラインレベルオーディオポート、ファイル転送（例えば固定もしくは取り外し可能データ記憶装置から、またはネットワーク経由で）、楽譜画像キャプチャ装置などによって受信されてもよい。楽曲入力の実施形態については、下記により詳しく記載する。

いくつかの実施形態では、ワークステーション１０４は、楽曲出力１０６を生成するよう構成されている。一実施形態では、楽曲出力１０６は、スピーカを通じてプレイされるよう構成されたオーディオ出力を含む。別の実施形態では、楽曲出力１０６は、ネットワーク経由で格納、プレイおよび／または共有されるよう構成されたオーディオファイルを含む。さらに別の実施形態では、楽曲出力１０６は、互換性のある他のシステムが使用するための楽曲構成要素データ（例えばピッチ、音程、テンポ、調、振幅など）を含む。さらに別の実施形態では、楽曲出力１０６は楽譜表現データを含み、これは、楽譜編集ソフトウェアによって使用されるよう、文書編集もしくは公開システムに送信されるよう、または印刷されるよう構成されている。

楽曲寄与１０２の種類、および共同制作者が楽曲寄与１０２をどう使用したいかにもよるが、楽曲寄与１０２から楽曲構成要素を分解することが望ましいことがある。様々な実施形態において、共同制作者は、一部の楽曲寄与１０２を分解されていない（例えば信号レベルの）形で使用することを希望することもあり、他の楽曲寄与１０２を分解された（例えば楽譜レベルの）形で使用したいと希望することもある。例えば、第１の楽曲寄与１０２が特異な音（例えば、高張力ケーブルをハンマーでたたく）の記録済みのサンプルを含み、第２の楽曲寄与１０２が記録済みのドラムビートパフォーマンスを含むと仮定する。共同制作者は、ドラムビートを分解してテンポおよび拍子に関係する楽曲構成要素情報を抽出し、その楽曲構成要素を使用して、特異な音のサンプルを特定のリズム位置に同期させることを希望するかもしれない（すなわち、特異な音のサンプルからは楽曲構成要素を抽出せずに）。楽曲の分解については、以下により詳しく記載する。

いくつかの実施形態では、システム１００は、楽曲分解機能を提供する１つ以上の楽曲分解ユニット１２０を含む。特定の実施形態では、楽曲分解ユニット１２０はワークステーション１０４上にある。例えば、楽曲分解ユニット１２０はクライアントレベルのソフトウェアとして実装されてもよい。こうした実施形態では、楽曲寄与１０２は、ネットワーク１１０経由でポータル１６０へ送信される前に楽曲構成要素に分解されてもよい。他の実施形態では、楽曲分解ユニット１２０は、ポータル１６０の一部として提供されてもよい（例えば構成要素１２０−３）。楽曲寄与１０２が、ワークステーション１０４において受信され、ネットワーク１１０経由でポータル１６０へ送信され、次にポータル１６０において楽曲構成要素に分解されてもよい。

特定の実施形態では、ポータル１６０は、１つ以上のデータ記憶装置１１５と動作的に通信（ｏｐｅｒａｔｉｖｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）してもよい。いくつかの実施形態では、ポータル１６０は、データ記憶装置１１５とネットワーク１１０経由で通信する。他の実施形態では、ポータル１６０はデータ記憶装置１１５と直接通信する。データ記憶装置１１５は、楽曲寄与１０２または楽曲出力１０６に関係する１種類以上の情報を格納するよう構成されてもよい。例えば、データ記憶装置１１５は、生のオーディオファイル（例えばデジタル化オーディオ信号データを含んだファイル）、符号化オーディオファイル（例えば、ファイルコンテンツデータまたはオーディオ信号データに関係するメタデータを含んだファイル）、楽曲構成要素情報（例えば、楽曲構成要素の各楽曲寄与に関連付けされて、多次元リレーショナルデータベースに格納されている、分解済みの楽曲構成要素）、編集データ（例えば、１つ以上の楽曲寄与に対して行われた編集のログもしくは記録、または楽曲寄与の複数のコピーを保存することなく編集を効率的に記録するための特定のポインタおよびタイムスタンプデータ）などを格納するよう構成されてもよい。

当然のことながら、特定の種類のデータ保護が、本発明の実施形態において望まれる場合もある。いくつかの実施形態では、データ記憶装置１１５は、特定の種類のデータ保護（例えば、暗号化、パスワード保護など）を使用してデータを格納するよう設定されている。他の実施形態では、システム１００の様々なコンポーネント間の物理的および仮想的通信リンクが安全である（例えば、セキュアソケットレイヤ暗号化による）。例えば、ポータル１６０とワークステーション１０４との間、またはポータル１６０とデータ記憶装置１１５との間のネットワーク通信が安全であってもよい。さらに他の実施形態では、楽曲出力１０６が保護され、コピー、削除などが防止されてもよい。例えば、特定のデジタル著作権管理（ＤＲＭ：ｄｉｇｉｔａｌ ｒｉｇｈｔｓ ｍａｎａｇｅｍｅｎｔ）技術が用いられて、楽曲出力１０６ファイルの不正コピーまたは共有が制限されてもよい。

いくつかの実施形態では、ポータル１６０は、ネットワークインターフェースユニット１５０を介してネットワーク１１０と通信する。ネットワークインターフェースユニット１５０の特定の実施形態は、特定の種類のネットワーク機能を提供することによって、ポータル１６０とネットワーク１１０との間の通信を促す。例えば、ネットワークインターフェースユニット１５０は、効果的な共同制作、ファイル転送およびポータル１６０のその他の能力を可能にするために、ネットワークトラフィックのルーティングおよび／または解釈を行う。

ネットワークインターフェースユニット１５０の様々な実施形態が、強化された能力を提供する。いくつかの実施形態では、ネットワークインターフェースユニット１５０は、ネットワーク１１０を介してワークステーション１０４からログイン情報を受信して処理するよう構成されている。一実施形態では、ログイン情報は、ワークステーション１０４のユーザを検証して、ポータル１６０に対するユーザのアクセス権を判断するために使用される。アクセス権は、例えば、そのユーザがポータル１６０に入ることができるかどうか、どのファイルにそのユーザがアクセスしてよいか、ポータル１６０のどの機能をユーザが使用してよいかなどを決定してもよい。

当然のことながら、本発明によれば、ポータル１６０の多数の実施形態が可能である。いくつかの実施形態では、ポータル１６０は、ウェブブラウザを介して使用されるよう構成されており、ネットワークアドレスに配置可能である。こうした実施形態のうちのいくつかでは、ポータル１６０は、異なる多数のブラウジング環境に拡張できるよう構成されている（例えば、ＸＭＬ、ＨＴＭＬ、または別の拡張可能マークアップ言語で書かれることによる）。他の実施形態では、ポータル１６０は、ワークステーション１０４上にあるクライアント側アプリケーションとして実装される。こうした実施形態では、特定の機能がサーバ上に実装され（例えばファイル管理）、その一方で、共同処理の大部分がクライアントワークステーション１０４上で行われる。さらに別の実施形態では、ポータル１６０は、ローカルエリアネットワーク用の別個のネットワークサーバ上にあってもよく、または、ワークステーション１０４が、ネットワークにアプリケーションを供給するために使用されてもよい。

ポータル１６０の実施形態は、共同インターフェースユニット１３０を含む。様々な実施形態において、共同インターフェースユニット１３０は、ポータル１６０の中心的機能を実行するよう構成されている。この機能には、共同制作機能（例えば、仮想会議、変更およびファイル管理など）、楽曲ビューイング機能（例えば、楽譜ビュー、信号ビュー、ピアノロールビュー、音色グラフ、音符の包絡線グラフ、ヒストグラムなどの表示）、および楽曲編集機能（例えば、同期化、トラック編集、音符編集、信号編集、楽器編成編集など）が含まれる。共同インターフェースユニット１３０の実施形態および機能については、下記により詳しく記載する。

ポータル１６０の実施形態は、出力生成ユニット１４０をさらに含む。いくつかの実施形態では、出力生成ユニット１４０は、共同インターフェースユニット１３０から共同制作による出力を受信して出力データを生成するよう構成されてもよい。出力生成ユニット１４０によって生成されたデータは、データ記憶装置１１５に（例えば、直接もしくはネットワーク１１０経由で、またはワークステーション１０４に伝達されてもよい。いくつかの実施形態では、出力生成ユニット１４０によって生成される出力データは、楽曲出力１０６であってもよい。他の実施形態では、出力生成ユニット１４０によって生成される出力データは、楽曲出力１０６を生成するためにワークステーション１０４によって使用可能であってもよい。

図２は、本発明による、楽曲寄与を共同処理する例示的方法２００のフロー図を示す。方法２００のいくつかの実施形態は、図１に示されているシステム１００のようなシステムを使用して実行されてもよい。方法２００は、ブロック２０２においてユーザを認証するためにログイン情報を受信することによって開始する。方法２００は、ブロック２１０で、ユーザがポータルに対するアクセス権を有するかどうかをログイン情報に基づいて判断する。ユーザが十分なアクセス権を有しなければ、ブロック２２０においてポータルへのアクセスは拒否されてもよい。ユーザが十分なアクセス権を有すれば、ブロック２３０において、ポータルへのアクセスが提供されてもよい。

ブロック２３２において、ポータルは楽曲寄与を受信してもよい。いくつかの楽曲寄与が、ポータルにログインしたユーザから、または別のユーザから受信されてもよい（例えば、ユーザのワークステーションを介してネットワーク経由で）。他の楽曲寄与は、１つ以上のデータ記憶装置から受信されてもよい。場合によって、ブロック２３２において受信された楽曲寄与のうちの一部または全部が、ブロック２３４において楽曲構成要素へと分解されてもよい。以下にさらに記載されるように、分解は、目的に応じて１つまたは複数のレベルで実行されてもよい。

ブロック２３６において、ポータルは、１人以上のユーザから共同制作リクエストを受信してもよい。共同制作リクエストは、ユーザ間の共同制作の処理、ファイル管理の処理、楽曲寄与の編集、コンパイル、ビューイングの処理などに関する任意のリクエストを含んでもよい。一実施形態では、共同制作リクエストは、ポータル上の楽曲寄与を編集するリクエストを含む。ブロック２３８において、共同制作リクエストに応答して、かつ少なくとも部分的に共同制作リクエストに基づいて、楽曲寄与が編集される。次に、ブロック２４０において出力データが生成される。例えば、ブロック２４０において生成される出力データは、ブロック２３８において実行された編集に関する情報を含んでもよい。

当然のことながら、図１および２に関して記載された実施形態は、本発明の例示的構造および例示的機能の概要を提供することを目的としている。よって、上記で与えられた説明は、本発明の範囲を限定するものと解釈されるべきではない。さらに明瞭にするために、特定の機能のさらなる説明が、以下でさらに論じられる。

（楽曲入力）
楽曲寄与を生成するために、多数の異なる種類の楽曲入力が考えられる。図３は、本発明による、楽曲寄与を生成するための、実例となる様々な種類の楽曲入力を示す。当然のことながら、図３に示されている楽曲入力装置は、考えられる多数の楽曲入力装置のうちのいくつかのみを提供するものであり、本発明の可能性を制限するものと解釈されるべきではない。

楽曲入力の一実施形態には、生のオーディオファイル３０２が含まれる。生のオーディオファイル３０２は、デジタル信号表現へとデジタル化されたオーディオ信号データを含んでもよい。例えば、デジタル信号情報は、タイムスタンプおよび電圧レベルをそれぞれ有する複数のサンプルを含んでもよく、このサンプルは、オーディオ信号のアナログバージョンを表すものである。他の例では、デジタル信号情報が、オーディオ信号を計算手順で表すために符号化されてもよい（例えば、誤り訂正情報、コーデック情報などを含む）。

楽曲入力の別の実施形態には、強化されたオーディオファイル３０４が含まれる。強化されたオーディオファイル３０４は、生のオーディオファイル３０２に存在するデータを補完する、またはそれに取って代わる情報を含んでもよい。特定の実施形態では、強化されたオーディオファイル３０４は、ファイルのコンテンツについてのメタデータ、その形式、またはその他有用な情報を含んでもよい。例えば、メタデータは、トラック名、アルバム名、アーティスト名、ジャンルなどを含めて、オーディオファイルについて手動で入力された情報を含んでもよい。別の例では、メタデータは、他のシステムに対応してもよい（例えば、曲のアルバム製造番号およびトラック番号がメタデータ内に提供され、特定のデータベース検索が、曲のタイトルのような、その曲についての他の情報を返せるようにしてもよい）。

強化されたオーディオファイル３０４のいくつかの実施形態は、生のオーディオファイル３０２を、エンコーダ３３０に通すことによってつくられる。例えば、強化されたオーディオファイル３０４は、ＭＰＥＧ−７エンコーダによって生成されてもよい。ＭＰＥＧ−７エンコーダは、メタデータを格納し、メタデータを、強化されたオーディオファイル３０４内の特定のタイムスタンプに結びつけるために、ＸＭＬを使用することができる。他の実施形態では、強化されたオーディオファイル３０４は、生のオーディオファイル３０２を、オーディオ分解器３２０に通すことによって生成されてもよい。オーディオ分解器３２０は、生のオーディオファイル３０２から楽曲構成要素を分解し（下記により詳しく記載するように）、それを強化されたオーディオファイル３０４に格納してもよい。

楽曲入力のさらに別の実施形態には、互換性のある楽器３０６からのデジタル化された出力を含む。一実施形態では、楽器デジタル・インターフェース（ＭＩＤＩ：Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）楽器（例えばキーボード）が、ＭＩＤＩデータ生成に使用される。ＭＩＤＩデータは、楽曲構成要素を含んでもよい。場合によっては、含まれる楽曲構成要素が、他の楽曲構成要素の生成に使用されてもよい。例えば、ＭＩＤＩデータは、音符のピッチを複数含むと考えられ、これを分析して調を判断することができる。他の実施形態では、互換性のある楽器３０６は、使用可能な形式でデータを出力するよう動作可能であってもよい。例えば、キーボードは、デジタル同軸、光学または他の種類の出力を有してもよく、この出力は、他のコンポーネントに対応してもよい。

楽曲入力のさらに別の実施形態には、センサ３０８からのアナログ出力が含まれる。一実施形態では、１つ以上の楽器により生成される圧力波を検出して、それをアナログオーディオ信号に変換するために、１つ以上のマイクロホンが使用される。別の実施形態では、エレキギターのスチール弦の動きをアナログオーディオ信号に変換するために電磁ピックアップが使用される。

楽曲入力のさらに別の実施形態には、編集可能楽譜ファイル３１０が含まれる。編集可能楽譜ファイル３１０は、編集可能な楽譜データを含む任意の種類のファイルであってもよい。例えば、編集可能楽譜ファイル３１０は、楽譜編集ソフトウェア３４０を使用して生成されたものでもよい。楽曲入力のいくつかの実施形態には、楽譜画像３１２が含まれる。楽譜画像３１２の実施形態は、任意の種類の使用可能なデジタル画像を含んでもよい。一実施形態では、楽譜画像３１２は、印刷されている楽譜を画像キャプチャ装置（例えばスキャナ、デジタルスチルまたはビデオカメラなど）によってデジタル画像に変換してつくられる、楽譜の物理的なプリントアウト（例えばシートミュージック）のデジタル化表現である。他の実施形態では、楽譜画像３１２は、楽譜画像３１２を楽譜分解器３５０に通すことによって編集可能楽譜ファイル３１０へと変換される。下記により詳しく記載するように、楽譜分解器３５０は、楽譜画像３１２から楽曲構成要素を分解するよう動作可能であってもよい。

特定の実施形態では、エンコーダ３３０、オーディオ分解器３２０、楽譜分解器３５０、楽譜エディタ３４０、またはその他のアプリケーションは、ワークステーション１０４（またはサーバコンピュータ）上にあってもよい。他の実施形態では、楽曲入力は、共同制作のための楽曲寄与１０２においてあってもよく、または、それを生成するために使用されてもよい。したがって寄与１０２は、ワークステーション１０４、ネットワーク１１０、または共同制作の機能を提供するのに便利なその他任意の場所に伝達されてもよい。

（オーディオ分解）
本発明のいくつかの実施形態では、オーディオ信号データおよび楽譜画像データのような楽曲入力データからの楽曲構成要素の分解を実現することが望ましいと考えられる。当然のことながら、様々な種類の楽曲入力データから楽曲構成要素を分解する方法が多数ある。場合によっては、データが、分解しやすい形でオーディオファイルに格納されることもある。例えば、楽曲構成要素データは、強化されたオーディオファイルにヘッダ情報として格納されることもある。しかし、他の場合には、特定の種類の楽曲構成要素を楽曲入力データから抽出するのが簡単でないこともある。

図４Ａは、本発明による、楽曲入力データを分解する方法４００のフロー図を示す。方法４００は、ブロック４０２において楽曲入力データを受信することによって開始する。いくつかの実施形態では、ブロック４０２において受信された楽曲入力は、共同制作のための楽曲寄与を含んでもよい。

ブロック４１０において、楽曲の小さな構成要素が楽曲入力から分解される。一例として、楽曲の小さな構成要素は、音符のピッチおよび音価（ｎｏｔｅ ｖａｌｕｅ）、タイムスタンプ、音符の包絡線および音色、調、テンポ、ならびにその他同様の構成要素を含み得る。特定の実施形態では、楽曲の小さな構成要素は、楽曲の他の小さな構成要素のグループを複数含んでもよい（例えば、タイで連結された音符、３連符、トラックまたは楽器によってグループ分けされた音符、小節によってグループ分けされた音符、寄与者によってグループ分けされた音符など）。他の実施形態では、楽曲の小さな構成要素は、楽曲の他の小さな構成要素のコンポーネントを含んでもよい（例えば符幹（ｓｔｅｍ）、符尾（ｆｌａｇ）、付点など）。

ブロック４５０において、楽曲の大きな構成要素が分解される。一例として、楽曲の大きな構成要素は、楽曲の小さな構成要素のグループおよびパターンの分析から生成される情報を含んでもよい。いくつかの実施形態では、楽曲の大きな構成要素は、楽曲の小さな構成要素の複数のグループに関する部分的または全体的なパターン情報を含む（例えば、リズム記号、反復モチーフ、コード／調の変更、形式（例えばＡ−Ｂ−Ａ、またはコーラス−ヴァース−ヴァース−コーラス）など）。その他の実施形態では、楽曲の大きな構成要素は、楽曲の小さな構成要素の複数組から算出される統計情報を含む（例えば音符またはリズムパータンのヒストグラムなど）。続いて、楽曲の小さな構成要素および大きな構成要素が、ブロック４９０において出力されてもよい。

図４Ｂは、本発明による、楽曲の小さな構成要素を分解する方法４１０の実施形態を示す。方法４１０は、ブロック４０２において楽曲入力信号を受信することによって開始する。いくつかの実施形態では、楽曲入力信号の前処理が行われてもよい。例えば、オーディオ信号のアナログからデジタルへの変換、より低いサンプルレートへのダウンコンバート、特定のエンコーダまたはデコーダとの互換性のためのトランスコード、モノフォニックオーディオトラックへの解析、またはその他任意の有用な前処理が行われてもよい。

いくつかの実施形態では、ブロック４１２においてピッチ情報が抽出され、音符開始（ｎｏｔｅ ｏｎｓｅｔ）事象がブロック４１４において抽出される。方法４１０のいくつかの実施形態では、ブロック４１２において抽出されたピッチ情報およびブロック４１４において抽出された音符開始事象が、ブロック４０２において受信されたオーディオ信号から他の情報を抽出して処理するために使用される。

特定の実施形態では、この情報は、ブロック４１６において音符の持続時間を判断するため、ブロック４１８において休符を判断するため、ブロック４２０において複数の時間ウィンドウ（ｔｉｍｅ ｗｉｎｄｏｗ）にわたるテンポを判断するため、ブロック４２４において複数のウィンドウにわたる調を判断するため、さらにブロック４２８において楽器編成を判断するために使用される。他の実施形態では、ブロック４１６において判断された音符の持続時間、ブロック４１８において判断された休符、ブロック４２０において判断されたテンポが、ブロック４２２において、音価を判断するために使用される。ブロック４２４において判断された調は、ブロック４２６において調のピッチ指示（ｐｉｔｃｈ ｄｅｓｉｇｎａｔｉｏｎ）を判断するために使用される。ブロック４２８において判断された楽器編成は、ブロック４３０においてトラックを判断するために使用される。様々な実施形態において、ブロック４１２〜４３０の出力は、ブロック４９０−１において、楽曲の小さな構成要素としての出力を生成するために使用されるよう構成されている。

図４Ｃは、本発明による、楽曲の大きな構成要素を分解する方法４５０の実施形態を示す。方法４５０は、ブロック４５２において楽曲の小さな構成要素を受信することによって開始する（例えば、図４Ｂの方法４１０から）。楽曲の小さな構成要素は、いくつかの種類の、楽曲の大きな構成要素を生成するために使用されてもよい。

いくつかの実施形態では、楽曲の小さな構成要素は、ブロック４５４において曲の形式を判断し（例えば、イントロ−ヴァース−コーラス−ヴァース−ブリッジ−コーラス−コーラス−アウトロ）、ブロック４５６においてジャンルを判断し（例えば、ロック、クラシック、ジャズ、インドの古典楽曲など）、ブロック４５８においてリズム記号を判断し（例えば、第１楽章は４／４拍子で９０ビート毎秒（ｂｐｍ：ｂｅａｔｓ ｐｅｒ ｍｉｎｕｔｅ）のテンポ、第２楽章は３／４拍子で１２０ｂｐｍのテンポ、さらに第３楽章は４／４拍子に戻るが１２０ｂｐｍのテンポのまま）、ブロック４６０において音調曲線を判断し（例えば、曲が比較的低音量かつ速いテンポでドラムおよびベースのみで開始し、１分後、その曲が、中音量かつより遅いテンポでクリーンなギターラインを追加する）、ブロック４６２において、調の変更を判断し（例えば、その曲がハ長調という調で始まり、ヘ長調に転調してすぐにニ短調、ト長調と転調し、ハ長調に戻る）、ブロック４６４においてコード変更を判断するため（例えば、その曲の一部がＡｍ^７からＤｍ^７へ、Ｇｍ^７へ、Ｃ^７へ、Ｆ^６へと変化する、またはその曲がｉｉｉ^７からｖｉ^７へ、ｉｉ^７へ、Ｖ^７へ、Ｉ^６へと変化する）に使用される。様々な実施形態において、ブロック４５４〜４６４の出力は、ブロック４９０−２において、楽曲の大きな構成要素として出力を生成するために使用されるよう構成されている。

当然のことながら、本発明によれば、その他多数の種類の、楽曲の小さな構成要素および楽曲の大きな構成要素が可能である。さらに、共同制作に必要な楽曲構成要素の種類に応じて、楽曲入力信号は、多数の異なるレベルで分解されてもよい。例えば、仮のドラムトラックが、リズム情報を提供するためだけに使用されてもよい。その場合、ピッチ、音色、調などに関係する楽曲構成要素を分解または保存しても、リソースの無駄であると考えられる。別の例では、ボーカルラインが、曲のセクション全体にわたるピッチ変化の音調曲線の大まかな方向付けを提供するために使用されてもよい。その場合、正確なピッチ、音符の持続時間などを分解することは重要でないと考えられる。むしろ、ピッチ変動の大まかな指示のみを、近似のピッチ値および持続時間を用いて抽出するほうがより効率的であると考えられる。

さらに、当然のことながら、利用可能な楽曲データの種類および様々な用途のニーズに応じて、楽曲入力から楽曲構成要素を分解する多数の方法があると考えられる。図５Ａは、本発明の実施形態による楽曲構成要素を生成するためにオーディオ信号入力を分解する例示的システムの簡略化したブロック図を示す。図のように、入力１０２が、楽曲分解ユニット１２０によって受信され、楽曲分解ユニット１２０は、入力１０２を分解して分解済み出力５７０を生成する。

いくつかの実施形態では、入力１０２は、オーディオ受信器ユニット５０６にある楽曲分解ユニット１２０により受信される。一実施形態では、作品が、マイクロホンまたはマイクロホン配列によってリアルタイムで受信され、さらに、オーディオ受信器ユニット５０６によって受信されるよう、アナログ電気入力１０２に変換される。他の実施形態では、入力１０２は、再生に適した記録済み楽曲ファイルなどのデジタルデータを含んでもよい。入力１０２がアナログ信号であれば、信号処理装置ユニット５１０、音符処理装置ユニット５３０、および楽譜処理装置ユニット５５０によるデジタル信号処理に備えて、オーディオ受信器ユニット５０６によってデジタル表現に変換されてもよい。入力１０２がリアルタイムで受信される場合、入力１０２の全長をあらかじめ判断する方法はないと考えられる。よって、入力１０２は、所定間隔（例えば、経過時間、デジタルサンプルの数、メモリ使用量など）で受信および格納され、それに合わせて処理されてもよい。別の実施形態では、記録済みのサウンドクリップが、オーディオ受信器５０６により受信されてデジタル化され、それによって固定の時間間隔を有するものになる。

楽曲分解ユニット１２０の一実施形態の下位ブロック図が、図５Ｂに示されている。１つ以上のオーディオソース５０２が、楽曲入力信号１０２を生成するために使用されてもよい。オーディオソース５０２は、楽曲入力信号１０２をオーディオ受信器５０６に提供することができる任意のものであってもよい。いくつかの実施形態では、１つ以上のマイクロホン、トランスデューサ、および／またはその他のセンサが、オーディオソース５０２として使用される。マイクロホンが、生のパフォーマンス（または記録されたパフォーマンスの再生）からの圧力波または電磁波を、楽曲入力信号１０２として使用される電気信号へと変換してもよい。例えば、生のオーディオパフォーマンスでは、歌い手からのオーディオの検知および変換を行うためにマイクロホンが使用されてもよく、その一方で、ギターおよびベースからのオーディオの検知および変換を行うために電磁「ピックアップ」が使用されてもよい。他の実施形態では、オーディオソース５０２は、楽曲入力信号１０２、または楽曲入力信号１０２を読み取ることができるオーディオファイルを提供するよう構成されたアナログまたはデジタル装置を含んでもよい。例えば、デジタル化オーディオファイルは、オーディオ形式でストレージ媒体上に格納され、そのストレージ媒体によって、楽曲入力信号１０２としてオーディオ受信器５０６に提供されてもよい。

当然のことながら、オーディオソース５０２次第で、楽曲入力信号１０２は異なる特性を有してもよい。楽曲入力信号１０２は、モノフォニックであってもポリフォニックであってもよく、複数のトラックのオーディオデータを含んでもよく、多数の種類の楽器からのオーディを含んでもよく、特定のファイルフォーマットなどを含んでもよい。同じく、当然のことながら、オーディオ受信器５０６は楽曲入力信号１０２を受信することができる任意のものであってもよい。さらに、オーディオ受信器５０６は、オーディオソース５０２と接続し、音楽入力信号１０２を受信または解釈するために必要な１つ以上のポート、デコーダ、またはその他のコンポーネントを含んでもよい。

オーディオ受信器５０６は、さらなる機能を提供してもよい。一実施形態では、オーディオ受信器５０６は、アナログ楽曲入力信号１０２をデジタル楽曲入力信号１０２に変換する。別の実施形態では、オーディオ受信器５０６は、楽曲入力信号１０２を、より低いサンプルレートにダウンコンバートして、システム５００に対する計算負荷を軽減するよう構成されている。一実施形態では、楽曲入力信号１０２は約８〜９ｋＨｚにダウンサンプリングされる。これは、楽曲入力信号１０２のより高い周波数分解能を提供することができ、システム５００の設計に対するいくらかの制約（例えばフィルタの規格）を軽減することができる。

さらに別の実施形態では、オーディオ受信器５０６は、オーディオレベルが一定の閾値を超えたことの検出に基づき、楽曲入力信号１０２の受信を開始する（例えば記録を開始する）よう設定された、閾値検出コンポーネントを含む。例えば、閾値検出コンポーネントは、特定の期間にわたってオーディオを分析して、楽曲入力信号１０２の振幅が或る一定時間、所定の閾値より上にとどまるかどうかを検出してもよい。閾値検出コンポーネントは、楽曲入力信号１０２の振幅が一定時間、所定の閾値未満に下がると、楽曲入力信号１０２の受信を中断する（例えば記録を中断する）ようさらに設定されてもよい。さらに別の実施形態では、閾値検出コンポーネントは、楽曲入力信号１０２の受信を実際に開始または終了するのではなく、楽曲入力信号１０２の振幅が、或る時間の間、閾値を超えた状態かまたは閾値未満に下がった状態を表す、システム５００のフラグを生成するために使用されてもよい。

図５Ｂによれば、オーディオ受信器５０６は、楽曲入力信号１０２を信号処理装置ユニット５１０に渡す。信号処理装置ユニット５１０は、振幅抽出ユニット５１２および周波数抽出ユニット５１４を含む。振幅抽出ユニット５１２は、楽曲入力信号１０２から振幅関連情報を抽出するよう構成されている。周波数抽出ユニット５１４は、楽曲入力信号１０２から周波数関連情報を抽出するよう構成されている。

一実施形態では、周波数抽出ユニット５１４は、変換アルゴリズムを使用して時間領域からの信号を周波数領域に変換する。例えば、時間領域では、楽曲入力信号１０２は経時的な振幅の変化として表されてもよい。一方、高速フーリエ変換（ＦＦＴ）アルゴリズムを適用した後、同じ楽曲入力信号１０２は、その周波数成分それぞれの振幅のグラフとして表されてもよい（例えば、倍音系列のような、信号が処理される周波数範囲内の各周波数帯の相対的強度または相対的寄与率）。処理を効率化するには、このアルゴリズムを一定の周波数範囲に限定することが望ましいこともある。例えば、周波数範囲は可聴スペクトル（例えば約２０Ｈｚ〜２０ｋＨｚ）のみにわたってもよい。

様々な実施形態において、信号処理装置ユニット５１０は、周波数関連情報を他の方法で抽出してもよい。例えば、多数の変換アルゴリズムは、固定幅の線形周波数「バケット（ｂｕｃｋｅｔｓ）」において信号を出力する。これは、特にオーディオ信号が事実上本質的に（線形ではなく）対数的かもしれないということを考えると、可能な周波数分解能または変換の効果を制限する可能性がある。当該技術分野では、楽曲入力信号１０２から周波数関連情報を抽出するための多数のアルゴリズムが既知となっている。

続いて、振幅抽出ユニット５１２により抽出された振幅関連情報と、周波数抽出ユニット５１４により抽出された周波数関連情報とが、音符処理ユニット５３０の様々なコンポーネントによって使用されてもよい。いくつかの実施形態では、音符処理ユニット５３０は、音符開始検出器ユニット５３２、音符持続時間検出器ユニット５３４、ピッチ検出器ユニット５３６、休符検出器ユニット５４４、包絡線検出器ユニット５３８、音色検出器ユニット５４０、および音符強弱検出器ユニット５４２のうちの全部または一部を含む。

音符開始検出器ユニット５３２は、音符開始を検出するよう構成されている。音符の開始（すなわち始まり）は、典型的には、楽曲の中でピッチの変化として（例えばスラー）、振幅の変化として（例えば包絡線の、アタッチ部（ａｔｔａｃｈ ｐｏｒｔｉｏｎ））、またはピッチおよび振幅の変化の何らかの組み合わせとして現れる。よって、音符開始検出器ユニット５３２は、周波数（すなわちピッチ）および／または振幅に特定の種類の変化があるときは常に音符開始事象を生成するよう設定されてもよい。

音符は、その持続時間（例えば、秒またはサンプル数での、音符が続く時間）によって特徴づけられてもよい。いくつかの実施形態では、音符処理ユニット５３０は、音符開始事象によりマークされた音符の持続時間を検出するよう構成されている音符持続時間検出器ユニット５３４を含む。

なお、楽曲の一部の特性は、単に信号の物理的特質ではなく、心理音響的なものである。例えば、周波数は信号の物理的特性である（例えば、正弦波が伝わるサイクル数／秒を表す）が、ピッチはより複雑な心理音響的現象である。１つの理由は、楽器から出る単一のピッチの音符は、通常、振幅のそれぞれ異なるいくつかの周波数で構成されているということであり、これは音色として知られる。脳は、それらの周波数のうち１つ（例えば、典型的には基本周波数）を「ピッチ」として感知し、他の周波数は、単にその音符に対して「調和した音色」を加えるものとして感知すると考えられる。場合によっては、聴き手が体験する音符のピッチは、ほとんどまたは完全に、信号にない周波数であることもある。

いくつかの実施形態では、音符処理ユニット５３０は、音符開始事象によりマークされた音符のピッチを検出するよう構成されているピッチ検出器ユニット５３６を含む。他の実施形態では、ピッチ検出器ユニット５３６は、個々の音符のピッチを追跡する代わりに（またはそれに加えて）、楽曲入力信号１０２のピッチを追跡するよう設定されている。当然のことながら、場合によって、ピッチ検出器ユニット５３６は、閾値を超える楽曲入力信号１０２のピッチの変化を判断するために音符開始検出器ユニット５３２により使用されてもよい。

音符処理ユニット５３０のいくつかの実施形態は、楽曲入力信号１０２中の休符の存在を検出するよう構成されている休符検出器ユニット５４４を含む。休符検出器ユニット５４４の一実施形態は、振幅抽出ユニット５１２によって抽出された振幅関連情報と、ピッチ検出器ユニット５３６によって生成された信頼情報とを使用する。例えば、振幅関連情報は、楽曲入力信号１０２の振幅が、或る時間ウィンドウにわたって相対的に低い（例えば、ノイズフロアにあるか、またはそれに近い）ことを明らかにしてもよい。ピッチ検出器ユニット５３６は、同じ時間ウィンドウにわたって、特定ピッチの存在の信頼度が非常に低いと判断してもよい。この情報および他の情報を使用して、休符検出器ユニット５４４は、休符の存在と、休符が開始したと思われる時間位置とを検出する。

いくつかの実施形態では、音符処理ユニット５３０は、音色検出器ユニット５４０を含む。振幅抽出ユニット５１２によって抽出された振幅関連情報と、周波数抽出ユニット５１４によって抽出された周波数関連情報とが、音色検出器ユニット５４０によって、楽曲入力信号１０２の一部の音色情報を検出するために使用されてもよい。オーディオ信号１０２のこの部分の倍音構成（ｈａｒｍｏｎｉｃ ｃｏｍｐｏｓｉｔｉｏｎ）を、音色情報が明らかにしてもよい。いくつかの実施形態では、音色検出器ユニット５４０は、音符開始事象から開始する特定の音符に関する音色情報を検出してもよい。

音色検出器ユニット５４０の一実施形態では、ガウシアンフィルタを用いて振幅関連情報および周波数関連情報の畳み込みが行われ、フィルタ処理されたスペクトルが生成される。続いて、フィルタ処理されたスペクトルは、ピッチ検出器ユニット５３６によって検出されたピッチの周りに包絡線を生成するために使用されてもよい。この包絡線は、当該ピッチの音符の音色に対応してもよい。

いくつかの実施形態では、音符処理ユニット５３０は、包絡線検出器ユニット５３８を含む。振幅抽出ユニット５１２によって抽出された振幅関連情報が、包絡線検出器ユニット５３８によって、楽曲入力信号１０２の一部の包絡線情報を検出するために使用されてもよい。例えば、ピアノを打鍵すると、ハンマーに弦の組をたたかせることができ、アタック振幅の大きなオーディオ信号をもたらす。この振幅は、急速なディケイを経て、弦が共振する若干の定常状態振幅でのサステイン状態に至る（当然、弦のエネルギーが消耗されるにつれ、包絡線のこの部分にわたって振幅は徐々に小さくなると考えられる）。最後に、ピアノの鍵がリリースされると、ダンパーが弦の上に降り振幅が急速にゼロに落ちる。この種類の包絡線は、典型的には、ＡＤＳＲ（ａｔｔａｃｋ，ｄｅｃａｙ，ｓｕｓｔａｉｎ，ｒｅｌｅａｓｅ：アタック、ディケイ、サステイン、リリース）包絡線と呼ばれる。包絡線検出器ユニット５３８は、ＡＤＳＲ包絡線の各部分の一部もしくは全部、またはその他任意の種類の有用な包絡線情報を検出するよう設定されてもよい。

様々な実施形態において、音符処理ユニット５３０は、音符強弱検出器ユニット５４２も含む。特定の実施形態では、音符強弱検出器ユニット５４２は、特定の音符開始事象から開始する特定の音符に対して、包絡線検出器ユニット５３８に似た機能を提供する。他の実施形態では、音符強弱検出器ユニット５４２は、包絡線検出器ユニット５３８によって検出されている包絡線のパターンに関して、基準からはずれているか、または或る所定のパターンに適合する音符包絡線を検出するよう構成されている。例えば、スタッカートの音符は、そのＡＤＳＲ包絡線の鋭いアタック部分と、短いサステイン部分とを特徴とすると考えられる。別の例では、アクセントのある音符は、周囲の音符のアタック振幅よりも著しく大きいアタック振幅を特徴とすると考えられる。

当然のことながら、音符強弱検出器ユニット５４２および他の音符処理ユニットは、分解済み出力５７０の一部として望ましいと思われる、音符の他の特質を複数特定するために使用されてもよい。例えば、音符は、スラー、アクセント、スタッカート、装飾音符などとして記号を付けられることもある。その他多数の音符の特性が、本発明により抽出されてもよい。

複数の音符または音符開始事象（休符を含む）に関する情報が、他の情報の生成に使用されてもよい。図５Ｂの実施形態によれば、音符処理ユニット５３０の様々なコンポーネントが、楽譜処理ユニット５５０の様々なコンポーネントと動作的に通信してもよい。楽譜処理ユニット５５０は、テンポ検出ユニット５５２、拍子検出ユニット５５４、調検出ユニット５５６、楽器同定ユニット５５８、トラック検出ユニット５６２、および全体的強弱検出ユニット５６４のうちの全部または一部を含んでもよい。

いくつかの実施形態では、楽譜処理ユニット５５０は、時間ウィンドウにわたる楽曲入力信号１０２のテンポを検出するよう構成されているテンポ検出ユニット５５２を含む。典型的には、楽曲の一部分のテンポ（例えば、音響心理学的に楽曲が進むように思われる速度）は、ある程度、音符および休符の存在および持続時間による影響を受けると思われる。よって、テンポ検出ユニット５５２の特定の実施形態は、音符開始検出器ユニット５３２、音符持続時間検出器ユニット５３４、および休符検出器ユニット５４４からの情報を使用して、テンポを判断する。テンポ検出ユニット５５２の他の実施形態は、判断されたテンポをさらに使用して、音価（例えば、４分音符、８分音符など）を音符および休符に割り当てる。

拍子は、楽曲の各小節にいくつの拍があり、どの音価を１拍と見なすかを規定する。例えば、４／４という拍子は、各小節が４拍（分子）を有し、１拍が４分音符（分母）で表されるということを表す。このため、拍子は、音符および縦線の場所、さらに有用な分解済み出力５７０を提供するために必要となり得る他の情報を判断する助けとなると考えられる。いくつかの実施形態では、楽譜処理ユニット５５０は、楽曲入力信号１０２の拍子を検出するよう構成されている拍子検出ユニット５５４を含む。

いくつかの実施形態では、単純拍子は、テンポ情報、およびテンポ検出ユニット５５２により抽出された音価、ならびにその他の情報（例えば、音符強弱検出器ユニット５４２により抽出された音符強弱情報）から推測される。しかし通常、拍子の判断は、複雑なパターン認識を伴う複雑なタスクである。

例えば、楽曲入力信号１０２から、４分音符、４分音符、８分音符、８分音符、８分音符、８分音符という音価の並びが抽出されると仮定する。この単純な並びは、４／４の１小節、２／４の２小節、１／４の４小節、８／８の１小節、またはその他多数の拍子として表すことができるであろう。最初の４分音符および最初の８分音符にアクセント（例えば増大したアタック振幅）があったと仮定すれば、これによって、この並びは、２／４の２小節、４／８の２小節、または４／４の１小節である可能性がより高くなる。さらに、４／８が非常にまれな拍子であるということを前提とすると、推測として４／８を除外するのに十分であると思われる。さらに、楽曲入力信号１０２のジャンルがフォークソングであるという認識によって、４／４が最も適当な拍子候補である可能性がより高くなることもある。

上記の例は、非常に単純な音価の並びによってさえ含まれる複雑性を明らかにするものである。多くの音符の並びはより一層複雑であり、音価の異なる多数の音符、複数の小節にわたる複数の音符、付点音符および装飾音符、シンコペーション、ならびに拍子の解釈における他の難点を伴う。このため、従来の計算アルゴリズムでは、正確に拍子を判断するのが困難なこともある。よって、拍子検出ユニット５５４の様々な実施形態は、そうした複雑なパターンを検出するよう訓練された人工ニューラルネットワーク（ＡＮＮ）５６０を使用する。ＡＮＮ５６０は、異なる拍子の多数のサンプルと、サンプル毎に精緻化されるコスト関数とを、ＡＮＮ５６０に提供することによって訓練されてもよい。いくつかの実施形態では、ＡＮＮ５６０は、学習パラダイムを使用して訓練される。この学習パラダイムは、例えば、教師あり学習、教師なし学習、または強化学習アルゴリズムを含んでもよい。

当然のことながら、テンポと拍子情報とのいずれかまたは両方を使用することによって、楽曲構成要素または分解済み出力５７０として使用される多数の有用な種類の情報が生成されてもよい。例えば、その情報は、符尾で音符を個々に指定するのではなく複数の音符を棒でまとめるべきところ（例えば、８分音符の組として）の判断、音符を２小節にわたって分割するべきときと、タイで連結するべきときとの判断、または複数音符の組を３連符（またはさらに高次の組）、装飾音符、トリルもしくはモルデント、グリッサンドとして指定するべきときの判断などを可能にしてもよい。

楽曲構成要素または分解済み出力５７０を生成するのに有用となり得る情報のもう１つの組は、楽曲入力信号１０２の或るセクションの調に関係する。調情報は、例えば、特定された根音のピッチおよび関連するモダリティを含んでもよい。例えば、「イ短調」は、調の根音のピッチが「Ａ音」であり、モダリティが短調であることを表す。それぞれの調は、調号によって特徴づけられる。調号は、「調内の」音符（例えば調に関連する全音階の一部）および「調外の」音符（例えば調の枠組みにおける変化音）を特定する。例えば、「イ短調」は、シャープもフラットも含まないが、「ニ長調」は、２つのシャープを含み、フラットは含まない。

いくつかの実施形態では、楽譜処理ユニット５５０は、楽曲入力信号１０２の調を検出するよう構成されている調検出ユニット５５６を含む。調検出ユニット５５６のいくつかの実施形態は、ピッチの並びとコスト関数の組との比較に基づいて調を判断する。例えば、コスト関数は、規定の時間ウィンドウにわたる楽曲の一部分において、変化音の数を最小限にしようとしてもよい。他の実施形態では、調検出ユニット５５６は、複雑な調判断を行うため、または精緻化するために、人工ニューラルネットワークを使用してもよい。さらに他の実施形態では、調判断を精緻化するために、一連の調変更がコスト関数に対して評価されてもよい。さらに他の実施形態では、調検出ユニット５５６によって得られた調情報が、特定の調のピッチ指示により音符（または音符開始事象）に属性を与えるために使用されてもよい。例えば、ヘ長調の「Ｂ音」は、「Ｂナチュラル」と表されてもよい。当然、調情報は、調号または楽曲楽譜表現についての他の情報を生成するために使用されてもよい。いくつかの実施形態では、調情報はさらに、コードまたはその他の倍音情報を生成するために使用されてもよい。例えば、ギターのコードがタブラチュア形式で生成されてもよく、またはジャズコードが提供されてもよい。

他の実施形態では、楽譜処理ユニット５５０は、楽曲入力信号１０２でプレイされている楽器を特定するよう構成された、楽器同定ユニット５５８も含む。楽器は、特定の音色を有するといわれることが多い。しかし、プレイされている音符または音符のプレイの仕方次第で、単一の楽器に関しても音色の違いがあると考えられる。例として、例えばバイオリンを構成するのに使用されている素材、演奏者の弾き方、プレイされている音符（例えば、開放弦でプレイされる音符は、指で押さえた弦でプレイされる同じ音符とは音色が異なり、バイオリンの音域において低い音符は、高音域の音符とは音色が異なる）、音符が弓で弾かれるかはじかれるかなどに基づき、あらゆるバイオリンの音色が異なる。しかしそれでも、バイオリンの音符間には、ほかの楽器とは別ものとしてそれをバイオリンであると特定するのに十分な類似点があると考えられる。

楽器同定ユニット５５８の実施形態は、単一または複数の音符の特性を比較して、楽曲入力信号１０２の、或る楽器でプレイされているように考えられるピッチの範囲、そうしたピッチそれぞれにおいてその楽器からつくり出される音色、および／またはその楽器でプレイされている音符の振幅包絡線を判断するよう構成されている。一実施形態では、音色の違いを使用し、複数の楽器サンプルの典型的な音色の特徴と、楽曲入力信号１０２から検出された音色とを比較することによって種々の楽器を検出する。例えば、同じ音符を同じ音量で同じ持続時間プレイしても、サックスとピアノとは、それらの異なる音色が理由で、全く異なって聞こえると考えられる。当然、上記のように、音色のみに基づく同定は、正確さが限られる可能性がある。

別の実施形態では、種々の楽器を検出するためにピッチ範囲が使用される。例えば、チェロは、典型的には、中央Ｃより約２オクターブ下から、中央Ｃの約１オクターブ上の範囲の音符が出ると考えられる。一方、バイオリンは、中央Ｃのすぐ下から、中央Ｃの約４オクターブ上の範囲の音符が出ると考えられる。したがって、バイオリンとチェロとは似た音色を持つとはいえ（どちらも擦弦楽器である）、それらのピッチ範囲は、同定に使用するには十分異なる。当然、ある程度は範囲が重複することから、誤りは起こり得ると考えられる。さらに、他の楽器（例えばピアノ）はより広い範囲を有し、その範囲は多数の楽器と重複し得る。

さらに別の実施形態では、包絡線検出が、種々の楽器を特定するために使用される。例えば、打楽器（例えばピアノ）でプレイされる音符は、木管（例えばフルート）、リード（例えばオーボエ）、金管（例えばトランペット）、または弦（例えばバイオリン）楽器でプレイされる同じ音符とは異なって聞こえると考えられる。しかし、各楽器は、どのように音符がプレイされるかによって、多数の異なる種類の包絡線を作り出せることもある。例えば、バイオリンは、はじかれること、もしくは弓で弾かれることもあり、または、音符がレガートでプレイされることも、スタッカートでプレイされることもある。

少なくとも上記の問題が理由で、正確な楽器同定には、場合によっては複数の音符にわたる楽曲入力信号１０２の複数の特性を含む、複雑なパターンの検出が必要なこともある。よって、楽器同定ユニット５５８のいくつかの実施形態は、こういった複雑なパターンの組み合わせを検出するよう訓練された人工ニューラルネットワーク５６０を利用する。

楽譜処理ユニット５５０のいくつかの実施形態は、楽曲入力信号１０２の中からオーディオトラックを特定するよう構成されているトラック検出ユニット５６２を含む。場合によっては、楽曲入力信号１０２は、既にトラックを単位として分かれた形式となっていることもある。例えば、いくつかのデジタルオーディオテープ（ＤＡＴ：Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ）上のオーディオは、８つの別々のデジタルオーディオトラックとして格納されることもある。こうした場合には、トラック検出ユニット５６２は、単に個々のオーディオトラックを同定するように構成されていればよい。

一方、他の場合には、複数のトラックが、単一の楽曲入力信号１０２に格納されており、その楽曲入力信号から特定のデータを抽出することによって特定する必要があることもある。よって、トラック検出ユニット５６２のいくつかの実施形態は、楽曲入力ファイル１０２から抽出された情報を使用して、別々のオーディオトラックを同定するよう構成されている。例えば、パフォーマンスが、同時に鳴っている５つの楽器を含むもある（例えばジャズ五重奏）。その別々の楽器を、別々のトラックとして同定することが望ましいこともある。

トラック検出は、いくつかの異なる方法で実現することができる。一実施形態では、トラック検出ユニット５６２は、ピッチ検出を使用して、種々の音符の並びが特定のピッチ範囲に限定されているようであるかどうかを判断する。別の実施形態では、トラック検出ユニット５６２は、楽器同定ユニット５５８からの楽器同定情報を使用して、異なるトラックを判断する。

多くの楽譜は、作品またはパフォーマンスの全体的な強弱に関する情報も含む。全体的な強弱は、上述の音符強弱とは対照的に、２つ以上の音符にわたる強弱を指す。例えば、作品全体または作品の中のセクションに、フォルテ（強音で）またはピアノ（弱音で）として記号を付けられていることもある。別の例では、音符の並びが、クレッシェンドで徐々に大きくなることもある。この種類の情報を生成するために、楽譜処理ユニット５５０のいくつかの実施形態は、全体的強弱検出ユニット５６４を含む。全体的強弱検出ユニット５６４の実施形態は、場合によっては音符強弱情報および／または包絡線情報を含む振幅情報を使用して、全体的な強弱を検出する。

特定の実施形態では、強弱の判断を助けるために、閾値があらかじめ定められるか、または楽曲入力信号１０２から適応的に生成される。例えば、ロックのパフォーマンスの平均音量はフォルテと見なされてもよい。その平均をいくらかの量上回る（例えば、閾値、標準偏差などに基づいて）振幅は、フォルティシモと見なされてもよく、その一方で、その平均未満にいくらかの量下がる振幅は、ピアノと見なされてもよい。

特定の実施形態はさらに、強弱の変化が生じる期間を考慮してもよい。例えば、２分間の静かな音符で開始し、突然２分間の、より大きい音符のセクションに切り替わる作品は、ピアノのセクションに続いてフォルテのセクションを有すると見なされてもよい。一方、数個の音符にわたって大きくなっていき、さらに数個の音符の間、その大きい音量のままであり、続いて元の振幅に戻る静かな作品は、クレッシェンドに続いてデクレッシェンドがあると見なされてもよい。

上述の様々な種類の情報すべて、およびその他任意の有用な情報が、楽曲構成要素または分解済み出力５７０として使用されるよう生成されてもよい。システムの様々なコンポーネントに関連して記載された楽曲構成要素または分解済み出力５７０に加えて、任意の数の他の楽曲構成要素または分解済み出力５７０が、同じ情報または他の情報から生成されてもよい。一例において、音符がスタッカートの点の付いた８分音符であると判断されると仮定する。他の楽曲５７０構成要素は、音符の符頭、符幹、符尾、付点、スタッカートの点、およびその他の音符の特性を含んでもよい。さらに他の楽曲構成要素５７０は、ディスプレイまたはプリントアウト上での音符表現のスタイルまたは色、符幹の方向（例えば、方向は、デフォルトにされても、または譜表上の音符の位置に基づいて決定されてもよく、または音符が特定の音符の並びの一部であることを示すよう変更されてもよい）、音符の符頭のサイズ（例えば、他の音符と区別するために、または他の何らかの理由で、読みやすいようにサイズ調整されてもよい）、符頭の形（例えば、衝撃音に関しては違う形であってもよい）、またはその他任意の有用な情報を含んでもよい。他の例では、楽曲構成要素または分解済み出力５７０は、五線、音部記号、小節番号、歌詞、歌詞の位置合わせ、ページタイトル、譜表のタイトル、余白、楽器編成データ、再生データなどを含んでもよい。さらに他の例では、楽曲構成要素または分解済み出力５７０は、どの共同制作者がファイルの一部を追加もしくは編集したか、他の共同制作者がその編集に賛成したかもしくは反対したか、またはその他有用な共同制作情報に関する情報を含んでもよい。楽曲構成要素または分解済み出力５７０は保存または出力されてもよい。

当然のことながら、上述の様々なユニットおよびコンポーネントが、本発明から逸脱せずに様々な方法で実装されてもよい。例えば、特定のユニットが、他のユニットのコンポーネントであってもよく、または別のユニットの追加機能として実装されてもよい。さらに、本発明によれば、ユニットは多数の方法で接続可能であり、データはそれらの間を多数の方法で流れることができる。さらに、オーディオ分解に関する様々な実施形態が、２００８年２月１日に出願された、Ｒｏｂｅｒｔ Ｄ． Ｔａｕｂらの、「ＭＵＳＩＣ ＴＲＡＮＳＣＲＩＰＴＩＯＮ」という題の米国特許出願第１２／０２４９８１号明細書にさらに深く記載されており、これは、あらゆる目的において、参照によって本願明細書に引用したものとする。

（楽譜分解）
場合によっては、オーディオ信号から楽曲構成要素を分解するのに加えて、またはその代わりに、楽譜画像から楽曲構成要素を分解することが望ましいこともある。本発明の各実施形態は、楽譜画像を入力として受け取るよう構成される。当然のことながら、楽譜画像から楽曲構成要素を分解するため、すなわち楽譜分解を実行するための、多数の方法が考えられる。

図６Ａは、本発明に従って楽曲画像データを処理し、光学式文字認識（ＯＣＲ）機能を提供するシステムを示す。ＯＣＲ処理装置６０２は、カメラまたはスキャナなどの楽譜キャプチャ装置６０６を用いて取り込まれる楽曲楽譜６０４の画像データを受信する。ＯＣＲ処理装置６０２は、楽曲楽譜入力に対応するデータを含む楽曲楽譜出力を作り出すが、この出力は様々な用途に用いることができるデジタル形式である。楽曲楽譜のデジタル表現は、次に限定されるものではないが、プリント出力、検索メカニズムによる使用のため、配布および複数ユーザとの共同制作のため、ならびにＭＩＤＩコンポーネントなどを用いたオーディオ出力の生成のためを含め、他のシステムによって容易に処理することができる。例えば、図６Ａは、楽曲楽譜出力が、印刷機能６０８、検索機能６１０、配布機能６１２、およびオーディオ／ＭＩＤＩ出力６１４に提供可能であることを示す。

この取り込まれた楽曲楽譜画像は、ウェブカメラ、電話のカメラ、簡単処理のカメラ、ならびにその他より高性能なカメラを含む、任意の画像キャプチャ装置を用いて作り出すことが可能である。楽曲楽譜の画像は、取り込まれると、調節およびさらなる処理のためにＯＣＲ処理装置に渡される。

図６Ｂは、ＯＣＲ処理装置６０２への入力として提供される、キャプチャ装置６０６（図６Ａ）からつくり出された画像データ６５２を示す。図６Ｂは、ＯＣＲ処理装置６０２が、画像データを受信する画像前処理コンポーネント６５４を含むことを示す。画像データは、例えば、ビットマップ画像（．ｂｍｐ）、ＪＰＥＧデータ、ＴＩＦＦデータの形式、およびデジタルカメラによって一般に使用される他のファイル形式などとしてもよい。画像前処理コンポーネントは、２値化、画像のスキュー補正、および不適切なバックグラウンド成分の除去を実行する。２値化の動作は、取り込み画像内の明るさおよびコントラストの調節に関係する。スキュー補正の動作は、楽譜の五線が画像の下側の縁に平行にそろう方向から回転している画像を補正することに関係する。不適切なバックグラウンド成分の除去は、ノイズアーチファクトおよびその他不要なバックグラウンド成分を除去することによって、画像をクリーンにする。必要に応じて、前処理動作は、外部の画像処理ルーチンまたはモジュールによって実行することができる。

前処理コンポーネント６５４は、結果として生じるデータを、ニューラルネットワーク（ＮＮ）処理コンポーネント６５６に提供する。ＮＮ処理コンポーネント６５６は、取り込み画像内の音楽記号体系を特定し、光学画像の認知処理を実行する。すなわち、ニューラルネットワークは、取り込み楽曲画像内の楽曲記号を認識するコンピュータプロセスを実行し、必要に応じて、特定されたシンボルの認知的解釈を入力データから行って推定を行い、取り込み画像内のアーチファクトまたは記号体系に対する適切なラベルを判断する。

ＮＮ処理コンポーネント６５６は、調節された楽曲楽譜画像を受信する訓練されたニューラルネットワークを含む。必要に応じて、訓練されたニューラルネットワークは、その出力をフィードバックの提供に利用して、その動作を調節することができる。そのようなフィードバックは、バックプロパゲーション技術を利用するために、または既に訓練されているニューラルネットワークのネットワークノードの重みを調節するために、因子グラフ演算を伴うこともある。出力をフィードバックとして使用するための他の技術は、当業者には既知である。

ＮＮ処理コンポーネント６５６の出力は、後処理コンポーネント６５８に提供され、後処理コンポーネント６５８は、ＮＮの出力を作り出す。次に、後処理コンポーネントの出力は、図６Ａに示されている印刷、検索、配布、およびオーディオ機能など、様々な機能に提供することができる。後処理コンポーネントは、ＮＮ出力に対して解釈機能を実行して、ＮＮによって特定されたどのアーチファクトの種類が正確である可能性があるか否かを判断する。後処理コンポーネント６５８による解釈は、ＮＮによりつくり出される信頼値に基づく。当業者であれば、ＮＮ信頼値出力データの解釈技術を熟知しているであろう。次に、後処理は、音符情報または特定された楽譜のアーチファクトに対応する他の情報などのＯＣＲ処理装置出力を適切な形式で作り出す。例えば、楽曲情報は、ＭＩＤＩ形式などの電子楽器表現の形式、またはその他のデータ形式、またはその他の情報の組み合わせという形式をとってもよい。

当然のことながら、上述の様々なユニットおよびコンポーネントが、本発明から逸脱せずに様々な方法で実装されてもよい。例えば、特定のユニットは、他のユニットのコンポーネントであってもよく、または、別のユニットの追加機能として実装されてもよい。さらに、本発明によれば、ユニットは多数の方法で接続されてよく、データはそれらの間を多数の方法で流れてもよい。さらに、楽譜分解に関する様々な実施形態が、２００８年２月１３日に出願されたＲｏｂｅｒｔ Ｄ． Ｔａｕｂらの、「ＭＵＳＩＣ ＳＣＯＲＥ ＤＥＣＯＮＳＴＲＵＣＴＩＯＮ」という題の米国特許仮出願第６１／０２８，４９０号明細書にさらに深く記載されており、これは、あらゆる目的において、参照によって本願明細書に引用したものとする。楽曲楽譜キャプチャ技術の他の側面は、２００５年１２月１５日に出願されたＲｏｂｅｒｔ Ｄ．Ｔａｕｂらの、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＭＵＳＩＣ ＳＣＯＲＥ ＣＡＰＴＵＲＥ ＡＮＤ ＳＹＮＣＨＲＯＮＩＺＥＤ ＡＵＤＩＯ ＰＥＲＦＯＲＭＡＮＣＥ ＷＩＴＨ ＳＹＮＣＨＲＯＮＩＺＥＤ ＰＲＥＳＥＮＴＡＴＩＯＮ」という題の米国特許出願第１１／３０３，８１２号明細書から入手でき、これは、あらゆる目的において、参照によって本願明細書に引用したものとする。

（共同制作ポータル）
本発明の多数の側面は、共同制作ポータルの機能および／または構造に関係する。いくつかの実施形態では、共同制作ポータルは、図１のポータル１６０として実装されてもよい。共同制作ポータルの様々な実施形態は、ファイル管理、楽曲ビューイング、楽曲編集、仮想会議、セッション記録、および共同で楽曲を処理することの他の側面に関係する機能を提供してもよい。当然のことながら、グラフィカルユーザインターフェース（「ＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）」）の設計および実装、共同制作ポータルが可能にするユーザインタラクションのレベル、ＧＵＩコントロールの種類、モジュールとコンポーネントとの間の機能上の重複部分および依存関係、ネットワーク設計およびインターフェース、ファイル管理、ならびに共同制作ポータルの他の側面に関して、多数の可能性がある。よって、以下の説明は、本発明のいくつかの例示的実施形態のみの記載を目的としており、当業者には当然のことながら、本発明の範囲は、開示される具体的な実施形態によって限定されることはない。

図７は、本発明による共同制作ポータル７００の実施形態の中に組み込まれてもよい様々なモジュールの例示的一構成を示す。いくつかの実施形態では、共同制作ポータル７００は、ログインレイヤ７０２、ＧＵＩレイヤ７１０、および出力生成レイヤ７９０の３つのプライマリレイヤを含む。当然のことながら、３レイヤへの分割は、共同制作ポータル７００の様々な機能の説明を明確にすることのみを目的としており、共同制作ポータル７００の実際の実装に影響を与えてもよく、または与えなくてもよい。

ログインレイヤ７０２は、共同制作ポータル７００の様々なメタＧＵＩ（ｍｅｔａ−ＧＵＩ）の側面を制御するよう動作可能であってもよい。ログインレイヤ７０２のいくつかの実施形態は、図１のネットワークインターフェースユニット１５０として実装される。いくつかの実施形態では、ログインレイヤ７０２は、ネットワークのルーティングおよび許可を制御するよう動作可能である。様々な理由から、ＧＵＩもしくは共同制作プロジェクトの構成要素を保護または管理することが望ましい場合がある。例えば、サーバが、多数の異なる共同制作者の、多数の異なる共同制作プロジェクトに関係するデータを格納すると仮定する。共同制作者は、例えば望ましくない編集または削除からデータを保護するため、望ましくないビューイングまたはコピーからデータを保護するため、誰がファイルを使用しているのか、いつファイルが使用されているのかを知るため、さらにその他の理由で、共同制作ファイルへのアクセスを制限したい場合がある。

いくつかの実施形態では、ログインレイヤ７０２は、ログイン情報を受信するよう動作可能であり、このログイン情報を用いてユーザのアクセス権を判断する。ユーザは、共同制作ポータル７００全体に対して（例えば、共同制作ポータル７００は、サブスクリプションサービスとして運営されてもよい）、共同制作ポータル７００の特定領域に対して（例えば、種々の価格に応じて異なる機能に対するアクセスを許可する段階的な価格構成である、異なるレベルのユーザが異なる機能にアクセスできる、異なる種類の共同プロジェクトが異なる種類の機能に関連している、などであってもよい）、特定のファイルに対して（例えば、ユーザは所定の共同制作プロジェクトに関連するファイルにのみアクセスできてもよく、ユーザはそのユーザがアップロードまたは寄与したファイルにのみアクセスできてもよく、ユーザはプロジェクトの異なるファイルに対して異なる種類のアクセス（例えば、読み取り、書き込み、編集、削除、コメントなど）ができてもよいなど）、または他の情報に対して（例えば、共同制作者情報に対して、特定のファイル管理機能に対して、特定の公開および／または共有機能に対してなど）制限されたアクセスを有しても、または有しなくてもよい。

他の実施形態では、ログインレイヤ７０２は、ログインまたはその他の情報を受信して、アクセス権以外のユーザ特性を判断するよう動作可能である。例えば、特定の構成またはプリファレンス情報が、所定のユーザ、ユーザワークステーション、ユーザカテゴリなどと関連してもよい。例えば、所定の共同制作プロジェクトについて、第１組のユーザが共同制作プロジェクトの「所有者」であってもよく（例えば、関連ファイルの全側面に対する完全な権利を有する）、第２組のユーザが「共同制作者」であってもよく（例えば、特定の共同制作および編集機能にアクセスできる）、第３組のユーザが「寄与者」であってもよく（例えば、自分が寄与するファイルのみに対して編集権がある）、第４組のユーザが「ファン」であってもよく（例えば、ファイルのいずれに対しても編集権はないが、公開された出力ファイルを聴くためにアクセスできる）、第５組のユーザが全くアクセスできなくてもよい。別の実施形態では、ログイン情報は、ユーザに関するプロフィールに合うよう共同制作ポータル７００のプリファレンスを設定するために使用される。例えば、初心者のユーザと、熟練したユーザとには、異なる機能組およびメニューが提供されてもよい。

さらに他の実施形態では、ログインレイヤ７０２は、特定の共同制作プロジェクトに対するアクセス権を有しないユーザを含む、特定のユーザの能力またはプリファレンスに関係するログイン情報または他の情報を受信するよう動作可能である。一実施形態では、ユーザは、どの楽器のプレイ法を知っているか、自身の技能レベル、自身の影響力などに関する情報をポータルに提出する。これは、バンドまたは他者が、連絡をとって楽曲寄与または特定の種類のフィードバックを受ける相手となる人々を見つける助けとなり得る。別の実施形態では、ユーザは、リスニングのプリファレンスに関する情報をポータルに提出する。その結果、バンド、制作者、他のユーザ、ならびに他の人々および団体が、その情報を使用して、そうしたユーザに対し、彼らの好みを満たすよう、望ましい可能性があるコンテンツを案内または提案してもよい。

さらに他の実施形態では、ログインレイヤ７０２は、様々なネットワークトラフィックおよび／またはファイル管理機能を制御してもよい。例えば、ネットワークトラフィックおよび／またはファイルのアップロードおよびダウンロードのフローを、様々なネットワーク特性に基づいてルーティングまたは制御することが望ましいと考えられる（例えば、ユーザのワークステーションの地理的位置、共同制作ポータル７００もしくは特定の共同制作プロジェクトにログインしているユーザ数、所定の時間に転送されているデータの量、転送されているデータの種類、使用されている暗号化の種類など。特定の実施形態では、ログインレイヤ７０２は、特定の種類のネットワーク情報を収集し、その情報を使用して上記の各機能を実行するよう動作可能である。

共同制作ポータル７００の例示的使用法の１つでは、ユーザが共同制作プロジェクトを開始してもよい。このユーザは、プロジェクトに関するプリファレンスを組アップすることで開始してもよい。例えば、ユーザは、アクセス権、ファイルの処理のプリファレンス、楽曲作成のプリファレンス、楽譜表現の特権などを設定してもよい。ユーザはさらに、少なくとも１つの楽曲寄与をアップロードして、共同制作プロジェクトの作成を開始してもよい。共同制作ポータル７００の別の例示的使用法では、ユーザは、共同制作ポータル７００にログインして、既存の共同制作プロジェクトにアクセスしてもよい。続いて、ユーザは追加の楽曲寄与をこのプロジェクトにアップロードしてもよく、この共同制作プロジェクトに関する既存情報を編集しても、または別の方法でこの共同制作プロジェクトとやり取りしてもよい。

ＧＵＩレイヤ７１０は、本発明の実施形態による様々なユーザインターフェース機能を制御するよう動作可能である。単に説明を明確にするために、ＧＵＩレイヤ７１０のいくつかの機能は、楽譜レイヤ７２０および共同制作レイヤ７３０という２つのサブレイヤに関して説明することができる。当然のことながら、共同制作ポータル７００の実施形態は、こうしたレイヤを使用して実装されても、またはされなくてもよい。

本願明細書に記載される楽譜レイヤ７２０は、ビュー７２２、編集７２４、記録および再生７２６、ならびに、制作７２８の機能を含めて、共同制作ポータル７００の音楽関連の側面のいずれかまたはすべてを処理してもよい。こうした様々な機能のうちいずれかまたはすべては、いくつかの異なる方法でオーディオおよび関連データを処理してもよい。例えば、ユーザは、信号レベルで、楽譜表現レベルで、またはその他任意の形で、オーディオデータとやり取りしてもよい。さらに、様々な機能は、使用されるデータ表現の種類に応じて、ユーザに利用可能であってもよく、または利用可能でなくてもよい。例えば、音符編集能力は、共同制作ポータル７００の楽譜表現モードのみで提供することが望ましと考えられ、その一方で、信号処理機能は、共同制作ポータル７００の信号表現モードにおいてのみ提供されてもよい。

当然、共同制作ポータル７００はさらに、複数の表現モードで同時に動作するよう動作可能であってもよい。いくつかの実施形態では、ビュー機能７２２は、図８Ａおよび８Ｂに示されているように、複数のビューを提供するよう動作可能であってもよい。図８Ａは、共同制作プロジェクトの一部の位置合わせされた３つのビューを含む、ビュー機能７２２の実例となる実施形態を示す。図８Ｂは、特定の音符に焦点を合わせた、図８Ａに示されているビュー機能７２２の拡大ビューの実例となる実施形態を示す。

まず図８Ａを参照すると、楽譜表現ビュー８１０、信号表現ビュー８２０、およびピアノロール表現ビュー８３０が示されている。各ビューの時間スケールがそろえられていてもよい。いくつかの実施形態では、様々なビューが、再生または記録が進行すると共にスクロールするよう動作可能であってもよい。特定の実施形態では、再生または記録が進むときに特定の構成要素が適当な位置にとどまり、ビューの体験を強化してもよい。例えば、ビューがスクロールする間に、現在再生位置バー８１２が、ビューウィンドウの或る位置（例えば中央）にとどまり、どのデータが現在プレイまたは受信されているのかを表してもよい。別の例では、ビューがスクロールする間、音部記号、調号、トラックのタイトル、拍子、およびその他の構成要素は、ビューイングウィンドウの或る位置（例えば左）にとどまってもよい。

楽譜表現ビュー８１０は、音符、譜表、音部記号、小節番号、歌詞、調号などを含む楽譜（例えばシートミュージック）構成要素に関する情報を提供してもよい。表示される（または表示可能な）楽曲構成要素のいずれかまたはすべてに関する一定の編集能力を、楽譜表現ビュー８１０において提供することが望ましいと考えられる。例えば、音符が追加、削除または移動される、音符の複数のセクションの置き換え、量子化（例えば最も近い８分音符に）などが行われる、符幹の方向が切り替えられる、表現要素の記号が追加または変更される（例えば、スタッカートの点、スラー、アクセントなど）、音部記号、調号、拍子記号およびその他の情報が変更される、歌詞の追加、変更、位置合わせなどが行われる、反復記号、小節の縦線およびその他の小節処理が追加されるなどしてもよい。

信号表現ビュー８２０は、振幅、包絡線などを含む、１つ以上のオーディオ信号に関する情報を提供してもよい。表示される（または表示可能な）信号構成要素のいずれかまたはすべてに関する特定の編集能力を、信号表現ビュー８２０で提供することが望ましいと考えられる。例えば、信号がクリーンアップされる（例えば、フィルタを使用することによって、またはその信号と他の信号データとを比較することによって）、包絡線が生成される、音符開始およびその他の楽曲構成要素情報が分解される（例えば他の分解能で、または他の楽曲寄与からのさらなる情報を使用して再分解される）、信号が正規化される（例えば、複数の楽曲寄与間の平均もしくはピーク音量の差を回避するため、またはクリッピングを回避するために）、複数の部分が再サンプリングされる（例えば、別のサンプリングレートで）、倍音効果（ｈａｒｍｏｎｉｃ ｅｆｆｅｃｔｓ）が加えられる（例えば、歪み、フィルタリング、残響など）、包絡線および関連した効果が加えられる（例えば、パンニング、フェードイン、またはフェードアウトなど）、信号の複数セクションの切り取り、貼り付け、コピーなどが行われるなどしてもよい。

ピアノロール表現ビュー８３０は、楽譜表現ビュー８１０で提供されるのと似た、または異なる情報を提供してもよいが、様々な理由で違った形で表現されてもよい。例えば、或るユーザにはシートミュージックの読み方が分からないこともあり、そのユーザにとっては、楽譜表現ビュー８１０が望ましくない表現スキームとなる可能性がある。別の例では、ユーザは、音符の、表現に富む再生に微妙に影響するよう、しかし楽譜上の音符の位置には影響を与えるほどではなく、音符をわずかに動かしたいこともある。図のように、ピアノロール表現ビュー８３０は、ピアノの鍵盤に関連する音符のピッチと、経時的な音符の持続時間の棒グラフのような表現とを示す。例えば、小節の縦線を含む、他の情報がさらに提供されてもよい。

当然のことながら、他の多数のビュー機能が提供されてもよい。一実施形態では、各ビューは、選択可能なウィンドウ内に示され、このウィンドウは、その他の複数のウィンドウのうちの一部または全部と整列されてもよく（図のように）、または独立して表示されてもよい（例えば、ディスプレイのより大きな部分へ最大化されてもよい）。様々な実施形態において、メニューおよびコントロールが、ユーザインターフェースの体験をよくするよう提供されてもよい。例えば、特定の表現に関係する様々な機能をユーザが実行できるように、クリック可能な複数のアイコンが提供されてもよい（例えば、楽譜表現ビュー８１０内に「音符の追加」アイコンが提供されてもよい）。別の例では、コントロールは、アクティブ状態の表現または他のユーザアクションに応じて変化してもよい。例えば、ユーザが信号表現ビュー８２０内でオーディオ信号の一部を選択すると（例えばマウスでクリックしてドラッグすることによって）、「選択範囲の音符開始を抽出」アイコンが現れてもよい（または選択可能になってもよい）。さらに他の実施形態では、他の表現ビュー内の音符またはその他の楽曲構成要素をユーザが左クリック、右クリック、ダブルクリック、または他の方法で選択すると、ユーザに別のメニューおよびオプションが提供されてもよい。

いくつかの実施形態では、拡大表示機能が提供されてもよい。例えば、オーディオ信号の複数の側面がよりはっきりと確認できるように、信号表現ビュー８２０を拡大することが望まれることもある。複数のウィンドウが整列された状態で表示されていれば、ウィンドウはすべて一緒に拡大して、その配置が維持されてもよい。ユーザは、例えば、拡大ウィンドウ（例えば、信号表現ビュー８２０内の信号の或るセクション）を選択することによって、または特定の楽曲構成要素を選択することによって、拡大できてもよい。様々な実施形態において、「拡大表示」ビューは、追加の情報を提供してもよく、別個のウィンドウまたはフレームであっても、またはそうでなくてもよい。

例えば、ユーザは、特定の音符を選択することによって、その音符特有のさらなるビューを提供されてもよい。図８Ｂは、このシナリオの実施形態を示す。ユーザが、図８Ａの楽譜表現ビュー８１０の音符８１４を選択する。音符包絡線ビュー８４０、音符音色ビュー８５０、および音符情報ビュー８６０という３つの新たな表現ビューがユーザに提供される。

音符包絡線ビュー８４０では、この音符に関係するオーディオ信号部分が提供されてもよい。生成された包絡線、包絡線交差（ｅｎｖｅｌｏｐｅ ｃｒｏｓｓｉｎｇｓ）などを含む他の情報も提供されてもよい。音符音色ビュー８５０では、この音符に関係するオーディオ信号部分の倍音構成が提供されてもよい。高信頼度で特定された周波数、信頼値、ピーク位置および振幅、基本周波数同定、倍音系列、重ね合わされた楽器音色マップ（例えば、模倣のグランドピアノの倍音構成）、ノイズフロア閾値などを含む他の情報も提供されてもよい。音符情報ビュー８６０では、選択された音符に関して様々な種類の文字情報が提供されてもよい。例えば、その音符の表現に関する楽曲位置（例えば、トラック、譜表、小節、開始タイムスタンプ、終了タイムスタンプ、持続時間など）、抽出された情報（例えば、抽出された音符開始および音符終了時間、ピーク振幅、ＡＤＳＲ包絡線情報など）、量子化された、または他の方法で測定された情報（例えば、おおよその開始および終了時間、予測される音価、予測されるピッチ、予測される調、予測される楽器編成またはトラックなど）、様々な情報に関する信頼値（例えば、音符が４分音符であるという判断が９６％の信頼度のみで下されることなどもある）などに関する情報が提供されてもよい。

図７を参照する。共同制作ポータル７００の楽譜レイヤ７２０の他の機能は、編集機能７２４に関する。編集機能７２４は、楽曲寄与の信号レベルに関係しても、楽曲寄与の楽曲構成要素に関係しても、複数の楽曲寄与にわたる、もしくは共同制作プロジェクト全体としての、共有構成要素もしくは特徴に関係しても、または共同制作プロジェクトのその他任意の有用な側面に関係してもよい。いくつかの実施形態では、編集機能７２４は、共同制作プロジェクトの楽曲構成要素（例えば、音符、テンポ、強弱など）に直接影響を及ぼす。他の実施形態では、編集機能７２４は、楽曲構成要素の再生に影響を及ぼす（例えば、表現の微妙な違い、効果、楽器編成などに）。さらに他の実施形態では、編集機能７２４は、楽曲構成要素の表示に影響を及ぼす（例えば、シンコペーションでプレイされる音符であっても、「スイングする」８分音符が８分音符として表示されてもよい）。

編集機能７２４のいくつかの側面は、オーディオおよび楽譜の分解に関する。オーディオおよび楽譜分解の実施形態は、上記により詳しく記載されている。共同制作ポータル７００のいくつかの実施形態では、楽曲寄与が、様々なレベルの分解状態で受信される。全く分解されていない楽曲寄与は、共同制作ポータル７００にアップロードされるとき、または共同制作プロジェクトに追加されるときに分解されてもよい。場合によって、楽曲寄与（またはその複数部分）は、まったく分解されないまま共同制作プロジェクトに追加されてもよい。

特定の実施形態では、以前に分解されていない（または以前に特定のレベルで分解されていない）楽曲寄与が、必要に応じて分解されてもよい。例えば、或る発想を試すためにベースラインが共同制作プロジェクトに追加されて、楽曲構成要素に分解されずにオーディオ記録として保持されてもよい。後日、共同制作者が、このベースラインのコンポーネントをさらに試すことを希望するかもしれない。よって、共同制作者は、リズムを分解すること（例えば、別のトラックをこのベースラインのリズムに合わせ直すために、またはテンポを変更するために）、音符のピッチまたは音程を分解すること（例えば、選択範囲を別の調に移調できるように、または楽器編成を変更できるように）などを望むかもしれない。

当然のことながら、特定の機能は信号レベルで実行されてもよいが、楽曲構成要素レベルであれば、それ以上の機能または改善された機能を提供されると考えられる。例えば、最初に音符レベルで特定の楽曲構成要素を抽出せずに信号から調または拍子を判断するのは、非現実的である。別の例では、信号レベルで楽節のテンポを落とすこともできるかもしれないが（例えば、デジタルオーディオ信号への複数サンプルのインテリジェント補間（ｉｎｔｅｌｌｉｇｅｎｔ ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって）、望ましくないアーチファクトが加えられる可能性もさる（例えば、エイリアシングが起こるかもしれず、または、時間拡大されると、分解された特定の種類の歪みまたは反響音が奇妙に聞こえるかもしれない）。この結果は、楽曲構成要素を分解した後でテンポを変更することで改善できる（例えば、音符の効果そのものに影響が及ぶことなく、音符の効果が音符に結びついたままとなる）。

共同制作ポータル７００の楽譜レイヤ７２０の他の機能は、記録および再生機能７２６に関する。いくつかの実施形態は、非共同楽曲作成および処理環境により提供される、従来の種類の記録およびオーディオ再生機能７２６を提供する。一方、他の実施形態は、共同制作ポータル７００の共同性を活用してさらなる機能性を提供する。

様々な実施形態において、楽曲寄与は、アップロードによって、データベースからの追加によって、またはプロジェクトへ直接記録することによってなど、様々な方法で共同制作プロジェクトに追加されてもよい。一実施形態では、寄与者は、共同制作プロジェクトの他の部分と合わせて演奏することで、楽曲寄与をそのプロジェクトに記録する。例えば、寄与者は、共同制作プロジェクトの一部をプレイし、その一方で、再生中にボーカルを同時記録してもよい。別の実施形態では、楽曲寄与はより高度な方法で追加される。例えば、寄与者は、オーディオサンプル（例えば、ビー玉が水飲み用のクリスタルグラスに落ちる音の記録）をアップロードし、共同制作ポータル７００に、そのサンプルを２小節おきに１拍目に追加するよう命令してもよい。

いくつかの実施形態では、楽曲寄与は、特定のデータを提供するために記録されてもよい。例えば、ユーザは、メトロノームのトラック（例えば、他のトラックの記録に役立つよう、またはテンポおよび拍子の判断に役立つよう）、基本的な根音位置のコードの組（例えば、調の判断に役立つよう）、話された音節の組（例えば、ギタートラックに適用されるボコーダフィルタの機能を果たすよう）などを記録してもよい。特定の実施形態では、提供されるオーディオ情報は、実質的にリアルタイムで、特定の間隔で、ユーザのリクエストに応じて、またはその他任意の便利な時点で分解されてもよい。

記録および再生機能７２６の再生機能も、共同制作ポータル７００の共同性を活用するよう、様々な方法で実装されてもよい。一実施形態では、ユーザは、共同制作プロジェクトの特定トラックの全部または一部をプレイできてもよい。別の実施形態では、ユーザは、共同制作プロジェクト全体を、そのすべてのコンポーネントトラックおよび楽曲寄与と共にプレイできてもよい。さらに別の実施形態では、ユーザは、特定の特徴（例えば、特定の寄与者または複数の寄与者の組からである、特定のタイムフレームの間に追加または変更された、共同制作者によって考慮対象に出されたなど）を満たすすべての楽曲寄与をプレイできてもよい。さらに他の実施形態では、ユーザは、最近変更された、共同制作プロジェクトの特定部分にジャンプできても、特定のセクションに対して提案されている様々な寄与間を切り替えることができても、またはその他任意の有用な再生機能を実行できてもよい。

当然のことながら、本発明によれば、その他多数の再生および記録機能がさらに提供され得る。例えば、楽曲寄与は、楽曲寄与のロード中にプレイされてもよい（例えば、楽曲寄与はストリームされてもよい）。別の例では、オーディオは、アップロード、記録、再生などが行われている間に処理または分解されてもよい。

共同制作ポータル７００の楽譜レイヤ７２０の他の機能は、制作機能７２８に関する。場合によって、共同制作者は、様々な種類の制作に関して、共同制作データの形式設定、または共同制作データの追加を希望するかもしれない。一実施形態では、共同制作ポータル７００は、歌詞処理機能を含む。例えば、歌詞処理機能は、歌詞を追加および編集すること、歌詞を音符またはその他の楽曲構成要素に整列させること、ならびに歌詞表示の形式を合わせること（例えば、フォント、サイズ、複数の音符にわたる音節または語の処理など）を含んでもよい。

別の実施形態では、制作機能７２８は、非音楽的（または間接的に音楽的な）楽譜表現情報の処理を含む。例えば、共同制作ポータル７００は、ユーザが、小節番号、トラックタイトル、楽譜タイトル、ページのヘッダ、フッタおよび余白、表現および強弱記号、楽譜記号体系（例えば、シグナス（ｓｉｇｎａｓ）、コーダなど）、楽器特有の記号（例えば、タブラチュアのグリッド、弓の方向または弦をかき鳴らす方向など）、文字情報（例えば、パフォーマンスに関する指示、著作権情報など）、または演奏者またはその他の関係者にとって有用となり得る他の任意のデータを追加できるようにしてもよい。

制作機能７２８のさらに他の実施形態は、楽譜ではなくオーディオの制作機能を含んでもよい。例えば、共同制作ポータル７００は、サンプリング（例えば、サンプルレートを変更するため）、均一化（例えば、トラック特有または寄与者特有のデータを除去するため）、符号化（例えば、特定のコーデックまたはメディアプレイヤー用に）などに関する能力を提供してもよい。他の情報が、共同制作ポータル７００の出力生成レイヤ７９０に対して、または出力生成レイヤ７９０によって提供されてもよい。

共同制作ポータル７００の様々な実施形態では、共同制作レイヤ７３０に関する機能が提供される。いくつかの実施形態では、共同制作レイヤ７３０は、ファイル管理機能７３２および会議機能７３４を含む。

図９は、共同制作レイヤ７３０の様々な機能を示す、本発明による共同制作ポータル７００用のＧＵＩ９００の実施形態を示す。ＧＵＩ９００のいくつかの機能は、ファイル管理機能７３２に関係してもよく、ＧＵＩ９００の他の機能は、会議機能７３４に関係してもよい。

ＧＵＩ９００は、ビデオ会議領域９１０、チャット領域９２０、楽曲領域９３０、およびいくつかのボタン９５０を含む、様々な種類およびレベルの機能をそれぞれ提供するいくつかの側面を提供する。ビデオ会議領域９１０は、ビデオ会議に有用な機能を提供する。例えば、共同制作者全員が「生の」仮想共同制作セッションを開くことができるように、ビデオ会議の時、ビデオウィンドウがオンラインの各共同制作者に提供されてもよい。当然のことながら、様々なオーディオおよびビデオ機能が含まれて、ビデオ会議領域９１０および本発明による能力を強化してもよい。例えば、オーディオおよびビデオコントロール（例えば、音量、解像度など）、「呼」コントロール（例えば、会議への参加、招待、中断、転送など）、ならびに発呼側コントロールオプション（例えば、画面コントロールを会議の特定の出席者に渡すなど）が提供されてもよい。

様々な実施形態において、チャット領域９２０は、文字会議またはロギングに有用な様々な機能を含んでもよい。一実施形態では、チャット領域９２０は、会議セッションの参加者が入力する文字情報を記録して、単に仮想のメモ帳としての機能を果たしてもよい。他の実施形態では、チャット領域９２０は、ビデオ、オーディオおよびその他のデータを記録および／または表示するよう動作可能である。例えば寄与者は、リフをプレイして、それを「皆さんこれはどう思いますか」というテキストと共にチャット領域９２０に加えてもよい。さらに他の実施形態では、チャット領域９２０は、仮想のホワイトボードの機能を果たして、手書きの図およびテキスト（例えば、マウスをペンとして使用して）を受け取ってもよい。さらに他の実施形態では、チャット領域９２０は、ロギングまたは使いやすさを強化するために情報を変換するよう動作可能であってもよい。例えば、チャット領域９２０は、オーディオまたはビデオ会議中に話される会話を自動的に書き起こしてもよく、手書きの文章を編集可能なテキストに変換してもよく、またはその他の同様の機能。

楽曲領域９３０は、共同制作プロジェクトの音楽的な部分を共同で処理するのに有用な任意の機能を提供してもよい。一実施形態では、様々な表現ビューが、楽曲領域９３０の表現フレーム９３２内に表示および／または取り込みされてもよい。例えば、図のように、共同制作プロジェクトの一部の楽譜および信号表現が、表現フレーム９３２内に表示されてもよい。

楽曲領域９３０はさらに、再生コントロールフレーム６３４を含んでもよい。図のように、再生コントロールフレーム６３４は、プレイコントロール（例えば、プレイ、一時停止、停止、記録など）、プログレスバー（例えば、経過した再生時間を示すプログレスインジケータ、ロード中の再生のプログレスインジケータ（例えばストリーミング再生）、章または他のインデックスのインジケータなど）、コメントのインジケータ（例えば、共同制作者がコメントを入力した位置、またはフラグを立てた位置）、およびその他任意の有用なインジケータまたはコントロールを含む、任意の数のコントロールおよびインジケータを含んでもよい。

いくつかの実施形態では、楽曲領域９３０は、強化された機能を提供する。一実施形態では、共同制作者は、共同制作ファイルの複数の部分にコメント９３６を提供してもよい。例えば、バンドが、その共同制作ファイルを、ファンが聴いてコメントするようにファンウェブサイトに掲示すると仮定する。そのプロジェクトを聴いている間に、ファン（「Ｊｏｈｎ」）が、このファイルにコメント９３６を加えて、「この楽節は好きですが、彼らのこの前のアルバムにあったもののような、もっとジャズ風のベースリフがあれば、格好よく聞こえるだろうと思います」のように、何かを述べてもよい。その結果、コメント９３６は、共同制作者または他のファンが見られるように、ファイルの一部として現れてもよい。次に、他のファンが、文字、ビデオ、オーディオまたはその他のコメント９３６を、Ｊｏｈｎのコメントに応えて掲示してもよい。例えば、別のファン（「Ｍａｒｙ」）が、「このままが好きです」と述べる返答を掲示してもよい。さらに別のファン（「Ｓｔｅｖｅ」）は、その曲によく合うだろうと彼が思う、自分が作成した新たなベースラインのオーディオクリップを含んだ返答を掲示することができるであろう。このように、コメント９３６は、ブログツールのようなものとなってもよいであろう。図のように、共同制作者は、ビデオ会議セッションの間に、その共同制作プロジェクトを関連のコメント９３６と共に引き出して、自分たちのプロジェクトに対する反応について議論することができるであろう。

楽曲領域９３０のもう１つの強化された機能は、共同した形で楽曲領域９３０内での編集を行う能力であってもよい。様々な実施形態において、共同制作者は、共同制作ポータル７００の適用可能な機能すべてに楽曲領域９３０内からアクセスできる。他の実施形態では、楽曲領域９３０上に仮想的に「描く」能力のような、さらなる機能が提供される。例えば、ビデオ会議セッションの間、或る共同制作者が、共同制作プロジェクトの再生を一時停止して、嫌いな音符を指摘したいこともある。その共同制作者は、仮想描画機能を使用して、その音符の周りに円を、さらに音符９３８を指し示す矢印までも、仮想的に描いてもよい。当然のことながら、特定のプリファレンスに応じて、この情報およびその他同様の情報が、会議セッションのログに、この共同制作プロジェクトと関連して格納されてもよく、セッション中一時的に格納されてもよく、またはまったく格納されなくてもよい。

ＧＵＩ９００の実施形態はさらに、任意の数の他のコントロールを提供してもよい。いくつかの実施形態では、いくつかのボタン９５０が、共同制作ポータル７００の他の特定機能に対するアクセス用に提供される。当然のことながら、本発明によれば、ポータルの機能へのアクセスは、メニュー、他のウィンドウおよびモジュールなどの使用によってなど、他の多数の方法で提供され得る。一例として、図９には、「寄与を追加」、「ジャムセッションモード」、「再生切り替え」、「プレイ／記録オプション」、「プリファレンス」、「共同制作メニュー」、「掲示板」および「検索」という８つのボタン９５０が示されている。

「寄与を追加」ボタンは、ＧＵＩ９００のユーザが、楽曲寄与を共同制作プロジェクトに追加できるようにしてもよい。追加プロセス中、他のオプションがさらに提供されてもよい（例えば、他のメニューを提供することによって）。例えば、楽曲寄与は、新たなトラックとして追加されても、もしくは既存のトラックに追加されてもよく、もしくはそのプロジェクトの或るセクションのいくつかのオプションのうちの１つとして追加されてもよく、追加している間にオーディオが処理されてもよく（例えば、ダウンコンバートまたは分解などによって）、または、オーディオが特定のパラメータに同期もしくは量子化されてもよい（例えば、ドラムトラックに）。

「ジャムセッションモード」ボタンは、ユーザが仮想ジャムセッションに参加できるようにしてもよい。この例示的モードでは、参加者たちは一緒に「ジャミング」（例えば演奏）する間に、共同制作プロジェクトの全部または一部をプレイしてもよい。さらなるオプションは、参加者が、例えば共同制作プロジェクトの複数セクションをループすること（例えば、同じ楽節に関する新たな発想の試みを続けるため、または曲の或るセクションを練習するために）、ジャムセッションの全部または一部を記録すること（例えばリアルタイムで）、ジャムセッションの全部または一部を自動分解すること（例えば、楽曲構成要素をつくるため、楽譜を生成するためなど）などを行えるようにしてもよい。

「再生切り替え」ボタンは、共同制作者が、共同制作プロジェクトの有望な複数の楽節間を切り替えられるようにしてもよい。例えば、異なる３人の寄与者（例えば、２人のファンおよびバンドのメンバー）が全員、ボーカルトラックに関して発想を提示したと仮定する。共同制作プロジェクトの再生中（例えば、ビデオ会議中）、共同制作者は、３つの提示案の間を切り替えて、最も気に入るものがあればそれどれであるかを決定できてもよい。

さらなる機能は、共同制作者が好きな方の楽節を選択できるようにしてもよい。例えば、ＧＵＩ９００のいくつかの実施形態は、共同制作者が特定の提示案に賛成票を投じることができるようにする投票ボタンを、共同制作者に提供してもよい。当然、多数の追加のコントロール、インジケータおよび機能が、この能力をサポートまたは強化することができる。例えば、共同制作ポータル７００は、投票の経過を追うこと、統計を生成すること、勝者を判断すること、他の関係者（例えばファン）による投票を可能にすることなどを行うよう動作可能であってもよい。

「プレイ／記録オプション」ボタンは、任意の数のプレイおよび記録オプションへのアクセスを提供してもよい。例えば、このボタンを選択すると、どのトラックをプレイするかを選択するためのオプション、特定のトラックにロックをかけてさらなる編集を防止するかどうかのオプションなどを備えるメニューがＧＵＩ９００に表示されてもよい。利用可能であってもよい他のプレイおよび記録機能の一部は、上記でさらに説明されている。

「プリファレンス」ボタンは、任意の数のプリファレンスへのアクセスをユーザに提供してもよい。或る実施形態では、多数のプリファレンスが、ＧＵＩ９００の設定に利用可能である。例えば、ユーザは、ＧＵＩ９００によって提供される種々のフレーム、領域、コントロールおよびインジケータのサイズ、利用可能性および機能を選択してもよい。他の実施形態では、プリファレンスは、会議、ユーザプロフィール、および共同制作ポータル７００の他の任意の機能を設定するために利用可能である。

「共同制作メニュー」ボタンは、共同制作に関係するオプションを提供してもよい。例えば、このメニューは、会議のオプション（例えば、会議開始、会議終了、出席者の招待、出席者のブロック、出席者情報の表示など）、セキュリティ設定（例えば、デジタル著作権管理、暗号化、ファイルアクセスなどに関係する）、ユーザステータス変更（例えば、特定のユーザに対して特定の許可を与える）、公開オプション（例えば、公開モードに入る、共同制作プロジェクトをファンサイトに公開する、デモトラックを焼くなど）などを提供してもよい。

共同制作メニューのその他の機能は、ファイル管理に関係してもよい。共同制作プロジェクトに関係する楽曲寄与および他のファイルは、種々のソースから生じること、種々の位置に格納されること、種々の形式で格納されること、様々な種類の情報を含むこと、種々のセキュリティ設定を有することなどが可能である。よって、共同制作ポータル７００の多数の機能は、特定のユーザがファイル管理を行えるようにすることに関してもよい。さらに、共同環境では、変更管理に関する機能を提供することが望まれることもある。例えば、共同制作者は、それ以上の変更を防止するためにファイルにロックをかけて、変更を特定のユーザ限定にできること、ファイルの以前のバージョンを記録できること（例えば、場合によっては、或る時間にわたる、或る数のバージョンなどに制限される）、および、共同制作プロジェクトに対する変更の、他の種類の制御を行うことを希望するかもしれない。

「掲示板」ボタンは、仮想掲示板へのアクセスを提供してもよく、ここで、ユーザは様々な種類のアイテムを掲示してもよい。例えば、ファンが、バンドについての一般的な発言（例えば、音楽の方向性、最近のコンサートツアー、最新アルバム、メンバーなどについて）、オーディションテープおよび楽曲寄与などを掲示してもよい。共同制作者は、ファンに対する質問、次回のショーの広告、ファンのコメントへの返答などを掲示してもよく、さらにその他任意の有用な情報を掲示してもよい。

「検索」ボタンは、楽曲ベースの検索機能を含む、様々な検索機能に対するアクセスを提供してもよい。一実施形態では、共同制作者は、一定の特性（例えば、或る地理的地域からである、一定の訓練を受けている、一定の影響力を持つなど）を有する音楽家を、バンド、グループ、オーケストラなどに対する寄与者またはそのメンバーの将来的な候補として検索してもよい。別の実施形態では、音楽家は、楽曲「クリップアート」の検索を希望することもある。例えば、音楽家が、７／８拍子で書かれたメロディラインのライブラリを閲覧して、共同制作プロジェクトの一部に関するインスピレーションを得ることを希望することもある。このライブラリは、例えば、分解されたオーディオファイルのデータベースから自動的に生成されること、公開楽曲共有データベースとして寄与されること、販売目的でデータベースに掲示されることなどが可能である。さらに別の実施形態では、音楽家は、作曲作品の潜在的な著作権侵害もしくはその他の不正使用を回避または発見するために、自分たちが書いたものに似た楽節を検索することを希望することもある。楽曲ベースの検索機能の複数の実施形態が、Ｒｏｂｅｒｔ Ｄ． Ｔａｕｂらの、「ＭＵＳＩＣ−ＢＡＳＥＤ ＳＥＡＲＣＨＩＮＧ」という題の米国特許出願第 号明細書に提供されており、これは、本願と当時に提出されたものであり、あらゆる目的において、参照によって本願明細書に引用したものとする。

上記の説明は、主にバンドおよび音楽家のグループによるＧＵＩ９００の使用法に注目したが、当然のことながら、この他に多数の種類のユーザが考えられる。一実施形態では、制作者および技術者が、共同制作ポータル７００を使用して最終的な楽曲作品を共同制作することができる。別の実施形態では、マーケティング担当者、ディスクジョッキーおよびその他の人々が、バンドおよび／または他のものと共同し、楽曲についてコメントをすること、楽曲を仕上げる手伝いをすること、または楽曲を試聴することができる。さらに別の実施形態では、音楽家が共同制作ポータルを使用して音楽を学んでもよい。例えば、グループがＧＵＩ９００内で一緒に練習できてもよく、または、バンドの新たなメンバーまたはメンバー候補が、練習するため、またはオーディションを受けるために複数の曲をプレイできてもよい。

共同制作ポータル７００の例示的な一使用法では、生徒が、そのピアノの先生にインターネット上で会って、難しい楽節に関して手助けを得ることを希望してもよい。楽譜が楽曲領域９３０内に表示され、生徒と先生とがビデオ会議領域９１０内でビデオ会議を開始してもよい。生徒がプレイするときに、先生は、ＧＵＩ９００の様々な機能を使用して、間違いまたは改善部分を指摘することができてもよい。代わって、生徒が聴けるように、先生がその作品の複数部分をプレイできてもよい。

共同制作ポータル７００の別の例示的使用法では、生徒がピアノ作品の練習を希望してもよい。楽譜が楽曲領域９３０内に表示されてもよく、生徒は練習モードに入ってもよい。生徒がプレイするとき、その楽曲入力は、自動的に複数の楽曲構成要素に分解されてもよい（例えば、少なくとも楽譜表現として表示するのに必要なレベルまで）。生徒のパフォーマンスの楽譜表現も、楽曲領域９３０内に表示されてもよい。例えば、生徒がプレイするとき、生徒は、楽曲領域９３０内の元の楽譜に重ねられる自分のパフォーマンスの楽譜表現を見てもよい（例えば、別の色で）。その結果、生徒は、自分のパフォーマンスのどこに間違いがあるかをはっきりと見ることができる（例えば、音符のピッチおよび／または持続時間において）。さらなる機能が、改善部分、さらなる練習が必要な部分、さらなる練習が必要な技、経時的な改善を示す楽譜および追跡、生徒の先生が使用する練習ログおよび記録、ならびにその他任意の有用な情報を、生徒が特定する助けになってもよい。例えば、共同制作ポータル７００は、楽曲の中で大きなジャンプが現れると、生徒が必ず誤った音符をプレイすると特定してもよい。その結果、共同制作ポータル７００は、生徒がその技を練習するのを助けるよう、課題（または他の作品）の組を生成または特定してもよい。

当然のことながら、共同制作プロジェクトの作成中または作成後に、多数の異なる種類のデータの多数の種類の出力が可能である。図７に示されているように、共同制作ポータル７００の他の機能は、出力生成に関係してもよい。いくつかの実施形態では、出力生成は、図１に示されている出力生成ユニット１４０のような出力生成ユニットによって扱われる。

様々な実施形態において、共同制作プロジェクからの出力は、楽譜表現出力を生成するために使用される。一実施形態では、オーディオもしくは楽譜入力から分解されるか、または別の形で受信された複数の楽曲構成要素が処理されて、楽曲楽譜表現が自動的に生成される。従来のソフトウェアパッケージおよびライブラリが、楽曲楽譜表現からシートミュージックを作り出すのに利用可能であると考えられる。そのような多数のツールが、ＭＩＤＩまたは同様のものなど、所定形式の作品の表現という形で入力を受け取る。したがって、システムのいくつかの実施形態は、そのような従来のツールとの互換性を確保するために、ＭＩＤＩ規格に実質的に従っている楽曲楽譜表現を生成する。楽曲楽譜表現が作成されると、可能な用途は数倍となる。様々な実施形態において、楽譜は、装置のディスプレイ上に表示されるか、印刷されるか、楽曲公開プログラムにインポートされるか、格納されるか、または他者と共有される（例えば、別の共同楽曲プロジェクト用に）。

他の実施形態において、共同制作プロジェクからの出力は、オーディオ表現出力を生成するために使用される。一実施形態では、オーディオ表現出力は、オーディオストレージおよび／または再生装置に対応している。例えば、オーディオ表現出力は、オーディオコンパクトディスク、ＭＰ３ファイル、またはその他任意のプロプライエタリもしくは非プロプライエタリフォーマットに焼くことに対応してもよい。別の実施形態では、オーディオ表現出力は、オーディオ信号処理システムが使用するよう構成されてもよい。さらに他の実施形態では、オーディオ表現出力は、オーディオ再生コンポーネント（例えば、デジタルホームオーディオコンポーネント、スピーカ、サウンドカードなど）によって直接的または間接的にプレイされるよう使用可能であってもよい。

出力生成の他の実施形態、共同制作ポータル７００からの表現出力は、後からの使用のために格納されるか、または別のシステムに送信されるよう構成されている。一実施形態では、出力データは、さらなる処理のためにネットワーク経由でクライアントワークステーションへ送信される。例えば、クライアントワークステーションはオーディオ出力を分解するため、オーディオ信号データを再生するため、または共同ポータル７００のその他の出力機能のいずれかを実行するために使用されてもよい。

（例示的実装）
上述のシステムおよび方法は、いくつかの形で実装することができる。そのような実装の１つは、様々な電子コンポーネントを含む。例えば、様々なシステムのユニットが、個別または集合的に、ハードウェアに適用可能な機能の一部または全部を実行するようになっている１つ以上の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を用いて実装されてもよい。あるいは、各機能は、１つ以上の集積回路上の、他の１つ以上の処理ユニット（またはコア）によって実行されてもよい。他の実施形態では、他の種類の集積回路が使用されてもよく（例えば、構造化／プラットフォームＡＳＩＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、およびその他のセミカスタムＩＣ）、これは、当技術分野で既知の任意の方法でプログラムされてもよい。各ユニットの機能はさらに、全体的または部分的に、１つ以上の汎用または特定用途向け処理装置によって実行されるよう形式を合わせた、メモリに記録された命令を用いて実装されてもよい。

図１０は、本発明の特定の実施形態を実装する計算システム１０００のブロック図を示す。一実施形態では、計算システム１０００は、図１に示されているポータル１６０としての機能を果たしてもよい。なお、図１０は、様々なコンポーネントの一般化した説明を提供することのみを意図しており、このコンポーネントのいずれかまたはすべてが、必要に応じて利用されてもよい。したがって、図１０は、個々のシステム構成要素が、相対的に別々となった形、または相対的により統合された形で、どのように実装され得るかを、広く示す。

バス１０２６を介して電気的に結合可能な（または、必要に応じて別の方法で通信してもよい）複数のハードウェア構成要素を含む計算システム１０００が示されている。ハードウェア構成要素は、１つ以上の汎用処理装置および／または１つ以上の専用処理装置（デジタル信号処理チップ、グラフィックス加速チップ、および／または同様のものなど）を含むがこれに限定されるものではない、１つ以上の処理装置１００２と、マウス、キーボードおよび／または同様のものを含むことができるがこれに限定されるものではない、１つ以上の入力装置１００４と、ディスプレイ装置、プリンタおよび／または同様のものを含むことができるがこれに限定されるものではない、１つ以上の出力装置１００６とを含むことができる。

計算システム１０００はさらに、１つ以上のストレージ装置１００８を含む（および／またはそれと通信している）とよく、これは、ローカルのおよび／またはネットワークアクセス可能なストレージを含むことができるがこれに限定はされず、および／または、ディスクドライブ、ドライブアレイ、光学式ストレージ装置、ランダムアクセスメモリ（「ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）」）などのソリッドステートストレージ装置、および／または読み取り専用メモリ（「ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）」）を含むことができるがこれに限定されず、これは、プログラマブル、フラッシュアップデート可能、および／または同様のものとすることができる。計算システム１０００はさらに、通信サブシステム１０１４を含んでもよく、通信サブシステム１０１４は、モデム、ネットワークカード（無線または有線）、赤外線通信装置、無線通信装置および／またはチップ組（Ｂｌｕｅｔｏｏｔｈ装置、８０２．１１装置、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラー通信機器など）および／または同様のものを含むことができるが、限定されるものではない。通信サブシステム１０１４は、ネットワーク（一例を挙げると、以下に記載されているネットワークなど）および／または本願明細書に記載される他の任意の装置とのデータ交換を可能にしてもよい。多数の実施形態において、計算システム１０００はさらに、ワーキングメモリ１０１８を含み、これは、上記のようにＲＡＭまたはＲＯＭ装置を含むことができる。

計算システム１０００は、さらに、オペレーティングシステム１０２４および／または１つ以上のアプリケーションプログラム１０２２などの他のコードを含めて、現在ワーキングメモリ１０１８内にあるものとして示されているソフトウェア構成要素を含んでもよく、これは、本発明のコンピュータプログラムを含んでもよく、および／または本願明細書に記載されているように本発明の方法の実装、および／または本発明のシステムの構成を行うよう設計されてもよい。単なる一例として、上記で説明された方法（単数または複数）に関して記載された１つ以上の手順は、コンピュータ（および／またはコンピュータ内の処理装置）によって実行可能なコードおよび／または命令として実装することもできるであろう。一実施形態では、図１のオーディオおよび／または楽譜分解ユニット１２０、ならびにその他の様々なクライアント側の方法は、計算システム１０００によって読み取り可能なアプリケーションプログラム１０２２として実装される。

こうした命令および／またはコードの組は、コンピュータ読み取り可能ストレージ媒体１０１０ｂ上に格納されてもよいであろう。いくつかの実施形態では、コンピュータ読み取り可能ストレージ媒体１０１０ｂは、上述のストレージ装置（単数または複数）１００８である。他の実施形態では、コンピュータ読み取り可能ストレージ媒体１０１０ｂは、コンピュータシステム内に組み込まれていてもよいであろう。さらに他の実施形態では、コンピュータ読み取り可能ストレージ媒体１０１０ｂは、コンピュータシステムから分離していても（すなわち、コンパクトディスクなどの取り外し可能媒体など）、およびまたは、ストレージ媒体に格納されている命令／コードを用いて汎用コンピュータをプログラムするためにストレージ媒体を使用できるよう、インストールパッケージにおいて提供されてもよいであろう。こうした命令は、計算システム１０００によって実行可能な実行コードという形をとっても、および／または、ソースおよび／またはインストール可能コードという形をとてもよいであろう。ソースおよび／またはインストール可能コードは、計算システム１０００上でコンパイルおよび／またはインストールされると（例えば、一般に利用可能な様々なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティなどのうちのいずれかを使用して）、その結果実行コードという形をとる。こうした実施形態では、コンピュータ読み取り可能ストレージ媒体１０１０ｂは、コンピュータ読み取り可能ストレージ媒体読み取り機１０１０ａによって読み取られてもよい。

当業者には当然のことながら、特有の要件に従って、多くの変形物がつくられてもよい。例えば、カスタマイズされたハードウェアがさらに使用されること、および／または特定の構成要素がハードウェア、ソフトウェア（アプレイットなどの高移植性ソフトウェアなどを含む）もしくは両方に実装されることが可能であろう。さらに、ネットワーク入力／出力装置などの他のコンピューティング・デイバスへの接続が用いられてもよい。

いくつかの実施形態では、入力装置１００４のうちの１つ以上は、オーディオインターフェース１０３０−１と結合してもよい。オーディオインターフェース１０３０−１は、マイクロホン、楽器、デジタルオーディオ装置、または他のオーディオ信号もしくはファイルのソースと、例えば物理的、光学的、電磁的などの形で、インターフェースで接続することによって、楽曲寄与１０２−１を受信するよう構成されてもよい。他の実施形態では、入力装置１００４のうちの１つ以上は、楽譜インターフェース１０３０−２と結合してもよい。楽譜インターフェース１０３０−２は、カメラ、スキャナ、デジタル撮像装置、またはその他のデジタル画像ソースとインターフェースで接続することによって、楽譜寄与１０２−２を受信するよう構成されてもよい。

さらに、いくつかの実施形態では、出力装置１００６のうちの１つ以上は、オーディオ出力装置１０６−１と結合してもよい。オーディオ出力装置１０６−１は、本発明の実施形態によって生成されたオーディオ信号データを、例えばスピーカ、オーディオコンポーネント、デジタル−アナログ変換器、コンパクトディスクライターなど、そのデータを処理する能力がある１つ以上のシステムまたは装置に出力するよう構成されてもよい。他の実施形態では、出力装置１００６のうちの１つ以上は、楽譜出力装置１０６−２と結合してもよい。楽譜出力装置１０６−２は、本発明の実施形態によって生成された楽譜表現データを、例えば楽譜書き起こしソフトウェア、楽譜公開システム、ファイルストレージ装置など、そのデータを処理する能力がある１つ以上のシステムまたは装置に出力するよう構成されてもよい。

一実施形態では、本発明は、本発明の方法を実行するためにコンピュータシステム（計算システム１０００など）を用いる。実施形態の組によれば、処理装置１００２が、ワーキングメモリ１０１８に含まれている１つ以上の命令の１つ以上のシーケンス（オペレーティングシステム１０２４および／またはアプリケーションプログラム１０２２などのその他のコードに組み込まれることも可能と考えられる）を実行するのに応答して、当該方法の手順の一部または全部が計算システム１０００によって実行される。当該の命令は、ストレージ装置（単数または複数）１００８（または１０１０）のうちの１つ以上など、別の機械読み取り可能媒体からワーキングメモリ１０１８に読み込まれてもよい。単なる一例として、ワーキングメモリ１０１８に含まれている命令のシーケンスの実行は、処理装置（単数または複数）１００２に、本願明細書に記載されている方法の１つ以上の手順を実行させてもよいであろう。

本願明細書で使用される「機械読み取り可能媒体」および「コンピュータ読み取り可能媒体」という用語は、機械を特定の形で動作させるデータの提供に関与する任意の媒体を指す。計算システム１０００を使用して実装される実施形態では、様々な機械読み取り可能媒体が、命令／コードを実行用に処理装置（単数または複数）１００２に提供するのに関与すること、および／またはそのような命令／コードを（例えば信号として）格納および／または搬送するために使用されることが可能であろう。多数の実装において、コンピュータ読み取り可能媒体は、物理的および／または有形のストレージ媒体である。そのような媒体は、次に限定されるものではないが、不揮発性媒体、揮発性媒体および伝送媒体を含む多数の形態をとり得る。不揮発性媒体は、例えば、ストレージ装置（単数または複数）（１６０８または１０１０）などの光ディスクまたは磁気ディスクを含む。揮発性媒体は、ワーキングメモリ１０１８などのダイナミックメモリを含むがこれに限定されるものではない。伝送媒体は、バス１０２６を構成するワイヤーを含めて、同軸ケーブル、銅線、光ファイバ、ならびに、通信サブシステム１０１４の様々なコンポーネント（および／または通信サブシステム１０１４が他の装置との通信を提供するのに用いる媒体）を含む。したがって、伝送媒体はさらに、波（電波通信および赤外線データ通信中に生成されるものなど、電波、音波、および／または光波を含むがこれに限定されるものではない）という形態をとることができる。

物理的および／または有形のコンピュータ読み取り可能媒体の一般的形態には、例えば、ｆｌｏｐｐｙ ｄｉｓｋ（登録商標）、フレキシブルディスク、ハードディスク、磁気テープもしくはその他任意の磁気媒体、ＣＤ−ＲＯＭ、その他任意の光学媒体、パンチカード、紙テープ、穴のパターンを有するその他任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、その他任意のメモリチップもしくはメモリカートリッジ、以下に記載される搬送波、またはコンピュータが命令および／またはコードを読み取ることができるその他任意の媒体が含まれる。

様々な形式の機械読み取り可能媒体が、１つ以上の命令の１つ以上のシーケンスを、実行用に処理装置（単数または複数）１００２へ搬送するのに関与してよい。単なる一例として、この命令は、最初にリモートコンピュータの磁気ディスクおよび／または光ディスク上で搬送されてもよい。リモートコンピュータは、命令をダイナミックメモリにロードして、その命令を信号として、計算システム１０００によって受信および／または実行される伝送媒体上で送信することもできるであろう。こうした信号は、電磁信号、音響信号、光信号および／または同様のものという形態であってもよいと考えられ、すべて、本発明の様々な実施形態に従って、命令が符号化されることが可能な搬送波の例である。

通信サブシステム１０１４（および／またはそのコンポーネント）は、通常、この信号を受信することになり、続いてバス１０２６がこの信号（および／またはこの信号により搬送されるデータ、命令など）を、ワーキングメモリ１０１８へ搬送してもよいであろう。処理装置（単数または複数）１００２は、このワーキングメモリ１０１８から命令を読み出して実行する。ワーキングメモリ１０１８によって受信された命令は、任意選択で、処理装置（単数または複数）１００２による実行の前または後に、ストレージ装置１００８上に格納されてもよい。

当然のことながら、本発明によれば、システムの多数の実装が可能であり、それは、図１０に関して記載されるコンポーネントまたは機能を組み込んでも組み込まなくてもよい。いくつかの実施形態では、システムは専用装置として実装される。この装置は、音圧を検知してそれをシステムが使用する楽曲寄与へ変換するよう構成された、１つ以上の内蔵マイクロホンを含んでもよい。代わりに、この装置は、外付けマイクロホン、媒体装置、データ記憶装置、またはその他のオーディオソースとインターフェースで接続するための１つ以上の楽曲入力ポートを含んでもよい。こうした実施形態のうちのいくつかでは、装置は、ハンドヘルドまたは携帯用装置であってもよい。他の実施形態では、このシステムは、多目的または汎用の装置において実装されてもよい（例えば、コンピュータによって実行されるようコンピュータ読み取り可能媒体上に格納されたソフトウェアモジュールとして）。こうした実施形態のいくつかでは、オーディオソースは、サウンドカード、外付けマイクロホン、または格納済みのオーディオファイルであってもよい。その結果、入力が生成されシステムに提供される。

このシステムの他の実施形態は、聴音装置として動作する簡略化バージョンまたはモノラルバージョンとして実装されてもよく、これは、１つのマイクロホンに向かって楽器をプレイするユーザ、または特定の曲またはメロディまたはその一部を歌うユーザから、オーディオを受信する。単一マイクロホンの構成では、このシステムは続いて、１つのマイクロホンから記録された楽曲を対応する楽曲楽譜に変換する。これは、話し言葉および文章をコンピュータ読み取り可能テキストに変換するテキストトゥスピーチソフトウェアの音楽的な等価物を提供してもよい。サウンド−音符変換として、曲またはメロディが、１つの楽器がプレイしているかのように登録されることになる。

当然のことながら、このシステムの他の実装はさらに、ユーザおよび他のシステムとの相性に関係して、他の種類のインターフェースおよび機能を含んでよい。例えば、入力ポートが、回線レベル入力（例えば、ステレオシステムまたはギターアンプから）、マイクロホン入力、ネットワーク入力（例えばインターネットから）、またはその他のデジタルオーディオコンポーネント用に提供されてもよい。同じく、出力ポートも、スピーカ、オーディオコンポーネント、コンピュータおよびネットワークなどへの出力のために提供されてもよい。さらに、いくつかの実装では、システムは、ユーザ入力（例えば、物理的または仮想のキーパッド、スライダー、ノブ、スイッチなど）および／またはユーザ出力（例えば、ディスプレイ、スピーカなど）を提供してもよい。例えば、インターフェース能力が提供されて、記録、またはシステムによってその記録から抽出されたデータを、ユーザが聴くことができるようにしてもよい。

一実施形態では、本発明の機能は、デジタルコンピュータにインストール可能なアプリケーションを含むソフトウェアにおいて実装される。このソフトウェア実装は、演奏者に入力および出力インターフェースを提供することが好ましい。すなわち、このソフトウェアがインストールされているホストコンピュータは、典型的には、演奏者が、歌うため、または演奏者の楽器をプレイするために読むことができる楽曲楽譜の視覚的表現をもたらすディスプレイを含む。このコンピュータはさらに、典型的には、演奏者のセッションを記録するためのマイクロホンなどの入力インターフェースを含み、記録済みのパフォーマンスを演奏者が聴けるように、スピーカなどの出力インターフェースを含む。このコンピュータ実装は、画像キャプチャを含むことができ、譜表上の音符を含む楽曲楽譜が、光学入力手段によってデジタル化され、続いてこのコンピュータに入力されることが可能である。デジタル化された楽曲楽譜は、ＯＣＲ技術によって解釈することができ、結果として生じる解釈後のデータは、楽譜の合成オーディオ演奏をもたらすよう処理される。これには、適切な場合は、言葉と適切なピッチとを一致させる合成ボーカル演奏が含まれ、その結果オーディオ演奏は、楽譜の視覚的表現と同期される。以下に提供されるさらなる詳細な説明では、コンピュータソフトウェア実装は、「レベルＸ」実装と呼ばれるか、または「ｅＭｕｓｅ Ｘ」製品と呼ばれる（「ｅＭｕｓｅ」という名前は、本発明のあらゆる権利の譲受人、Ｐｒｉｎｃｅｔｏｎ，Ｎｅｗ Ｊｅｒｓｅｙ，ＵＳＡのＭｕｓｅＡｍｉ，Ｉｎｃ．の製品実施形態を指す）。

別の実施形態では、本発明の機能は、ディスプレイ、入力インターフェース、オーディオおよび視覚出力インターフェース、ならびにＯＣＲ画像解釈インターフェースを含むことができるハンドヘルド装置において記録される。このハンドヘルド装置実装は、各種の便利なユーザコントロールノブと、装置機能の便利なナビゲーションのための機構とを含む。ディスプレイは、ユーザによる機能選択のためのメニューオプションの視覚的表現をサポートする。

以下でさらに記載されるように、コンピューティング装置は、外部ソースから楽曲楽譜データを受信し、続いてその楽曲楽譜データの合成オーディオ演奏と、楽曲楽譜の同期された視覚的表現とをもたらすことによって、楽曲楽譜データを解釈および処理する。

外部ソースは、楽曲楽譜データをネットワーク接続経由でコンピューティング装置に提供する、ネットワークデータソースで構成されることが可能である。ネットワーク接続は、コンピューティング装置と、ネットワークとの間の、無線接続による通信で構成されることが可能である。

楽曲楽譜データは、記録済み媒体を取り込んでその記録済み媒体から楽曲楽譜データを取得するコンピューティング装置の読み取り機に、記録済み媒体を取り込むことによって、記録済み媒体から読み取られることが可能である。記録済み媒体は、合成楽曲制作のＭＩＤＩ規格に従った合成オーディオ演奏向けの、十分なデータを含む。すなわち、コンピューティング装置は、楽曲楽譜を特定するデータを受信することができ、選択されたテンポ、音色、音部記号、調号、拍子記号および同様のもので、対応する楽音を生成または合成することができる。記録済み媒体は、フラッシュメモリ装置を含むことができる。

コンピューティング装置には、楽曲楽譜のユーザパフォーマンスを記録して、その記録されたユーザパフォーマンスの再生を提供する能力を提供することができる。ユーザパフォーマンスの再生は、合成楽曲楽譜演奏とは独立して生じること、または同時に生じることが可能である。さらに、ユーザパフォーマンスの再生は、記録済みのユーザパフォーマンスに対応する音符の視覚表現と共に提供されることが可能である。このようにして、「聴音」機能が提供される。

１つの代案では、合成オーディオ演奏と、楽曲楽譜の同期された視覚的表現との両方を生成するために装置によって使用される楽曲楽譜データは、楽曲楽譜のデジタル画像を光学的に取り込み、続いてそのデジタル情報を解釈および処理して、適切な音符を表すデータの集合をつくり出し、そうして楽曲楽譜に対応するデータを生成する装置によって取得されてもよい。

さらに、楽曲楽譜データの合成オーディオ演奏の特性を決定する楽曲文脈情報が提供されることが可能であり、そのすべてがユーザによって調節されてもよい。当該の楽曲文脈情報は、複数の調号、拍子記号音色、テンポ、および、レガート、クレッシェンド、リタルダンドなどの表現用語を含むことができる。

別の代案では、楽曲楽譜データのオーディオ再生と、音符の視覚的表現とを作り出すことは、ネットワークデータソースと通信することで達成される。必要に応じて、ネットワークデータソースは、楽曲楽譜データをコンピューティング装置に提供する。さらに別の代案では、ネットワークデータソースは、コンピューティング装置に、楽曲楽譜データの合成オーディオ演奏の楽曲特性を決定する楽曲文脈情報を提供することができる。さらに、ネットワークデータソースは、楽曲文脈情報を無線接続によって提供することができる。

１つの代案では、楽曲楽譜データの合成オーディオ演奏と、楽曲楽譜の同期された視覚的表現とを作り出すことは、コンピューティング装置の読み取り機に記録済み媒体を挿入することによって達成される。必要に応じて、コンピューティング装置は、記録済み媒体から楽曲楽譜データを取得する。さらに、記録済み媒体は、楽曲楽譜データの合成オーディオ演奏の楽曲特性を決定する楽曲文脈情報も、コンピューティング装置に提供することができる。

１つのオプション機能は、楽曲楽譜の、ユーザの楽器および／またはボーカルパフォーマンスの記録を提供することである。別の代案は、ＭＩＤＩ規格に従って合成オーディオ演奏を作り出すことである。さらに、視覚的表現を作り出すことは、対応する合成オーディオ演奏と同期された楽曲楽譜を表示することから成ってもよい。別のオプションは、楽曲楽譜データの視覚的表現と、オーディオ演奏との両方、および、記録済みユーザパフォーマンスのオーディオコンポーネントと、ユーザパフォーマンスによって生成された楽曲楽譜の同期された対応する視覚表示との両方の再生という、同期化された同時再生を提供することである。

本発明に従って、コンピューティング装置は、楽曲楽譜を光学的にデジタル方式で取り込み、デジタル画像を解釈して、このデジタル方式で取り込まれた楽曲楽譜に対応する楽曲楽譜データをコンピューティング装置用に生成し、楽曲楽譜データの合成オーディオ演奏と、楽曲楽譜の同期された視覚的表現とを作り出すことができる。コンピューティング装置は、楽曲楽譜データの合成オーディオ演奏の楽曲特性を決定するためにこのコンピューティング装置によって使用される、楽曲文脈情報を受信することができる。上述の代わりの実施形態と同様に、楽曲文脈情報は、複数の調号、拍子記号音色、テンポ、および、レガート、クレッシェンド、リタルダンドなどの表現用語などを含むことができる。これらは、ユーザによって、楽曲楽譜データの合成オーディオ演奏の楽曲特性を決定するために選択されることが可能である。オプションとして、コンピューティング装置は、光学的にデジタル方式で取り込まれた楽曲楽譜から楽曲文脈情報を特定し、さらに任意選択で、ネットワークデータソースから楽曲文脈情報を取得することができる。必要に応じて、ネットワークデータソースは、このコンピューティング装置との無線接続によって楽曲文脈情報を提供する。

コンピューティング装置には、合成演奏および／またはユーザによって記録されたパフォーマンスのオーディオ再生用に、この装置所有のラウドスピーカが提供されることが可能である。さらに、この装置は、ヘッドホンまたは外付けラウドスピーカまたは同様のものに接続するための出力ジャックを含むことができ、さらに、装置がオーディオパフォーマンスを無線サウンド再生システム（無線コンポーネント対応となっているホームステレオシステムなど）に伝送できるようにする無線伝送能力が提供されることも可能である。装置は、所定の長さの楽曲楽節を格納可能にするのに十分なコンピューティングメモリを有する。

以下のさらなる詳細な説明は、ハンドヘルド装置実装における機能の様々な実装を参照するが、それぞれ、「レベル１」および「レベル２」または「ｅＭｕｓｅ１」および「ｅＭｕｓｅ２」と呼ばれる。

以下の説明では、一連のデジタルコンピューティング装置にインストール可能な楽曲再生ソフトウェアについて記載し、さらに、ハンドヘルドシートミュージック読み取り装置の実施形態についても記載する。本願明細書において、これらは集合的にｅＭｕｓｅ製品と呼ばれる。

図１１は、ハンドヘルドの電池式「簡単処理」コンシューマ電子装置１１００として、製品の実例となる実施形態を示す。この装置は、シートミュージックから、選択された楽曲楽節の画像を、数小節またはページ全体でさえも取り込み、その楽節をデジタル方式で形式設定して符号化し、続いてその選択された楽節をプレイするが、これはすべてリアルタイムで事実上瞬時に行われる。再生サウンドは楽器特有であり、ユーザによって選択された音色（例えば、ピアノ、バイオリン、フルートなどのサウンド）でプレイする。複数の音色を同時にプレイ可能である。装置１１００は、調号、拍子、音量およびテンポなどの楽曲の変化を認識し、フォルテ、ピアノ、クレス（ｃｒｅｓｓ．）、レガートおよび同様のものなど、音楽の平凡な用語を考慮するよう設計されている。ＬＣＤ画面１１０２は、楽曲楽節１１０４を、それを装置が再生しているときに表示し、プレイされる音符はそれぞれ、残りの楽曲楽譜のからその音符を区別するよう、他と異なる色で強調表示される。

図１１の装置１１００は、デジタル「音楽カード」機能を組み入れており、これは、１つ以上の記録済みまたはダウンロード済みの楽曲作品を用いて符号化されたデータカード（図示せず）の挿入をサポートし、特定の小節を迅速に参照できるようにする。データカードは、典型的にセルラー電話およびデジタルカメラによって使用されるものなどの記録可能媒体を含むことができる。データカードは、装置１１００のカードスロット１１０６に収容される。装置１１００はさらに、符号化された楽曲作品を表すデジタルデータを処理する。ダウンロード済みのファイルは、装置のメモリ内に保存することもできる。符号化された楽曲作品は、豊かなリスニング体験を提供し、楽曲楽譜の特定の小節を迅速に参照できるようにする。

装置１１００の記録／再生機能は、ユーザが、記録されたパフォーマンスを、楽曲楽譜を基準として直ちに評価できるようにする。すなわち、装置１１００は、楽曲作品のユーザのパフォーマンスを記録して、そのユーザのパフォーマンスを、受信済みの楽曲作品の再生と共に（すなわち同時に）再生することができる。ユーザパフォーマンスの再生は、「聴音」機能を提供する、対応する視覚的表現と共に提供されことが可能である。メトロノームおよび楽曲の音程チューナーの両方の能力も、この装置に組み込まれ、さらに装置は、「ミュージックマイナスワン」機能向けに調節されることが可能である。「ミュージックマイナスワン」機能は、複数譜表または複数パートの楽曲作品で、ユーザが、その作品のどのパート（単数または複数）をＭＩＤＩインターフェースによって再生するかを決定できるようにする。これによって、ユーザは、装置に合わせて特定のパートをプレイすること／歌うことができるようになる。

図１１は、蓋または上部１１０８の下面に組み込まれたＬＣＤ画面１１０２を有する押し上げ式の蓋１１０８を備えた、ハンドヘルド装置としての装置１１００を示す。装置はさらに、楽曲再生用のスピーカ１１１０（図１１にはステレオペアが示されている）と、ユーザパフォーマンスを記録するためのマイクロホン１１１２とを内蔵している。画像キャプチャ能力は、図１１に示されているように実装可能である。押し上げ式の蓋１１０８がカメラシステムを含み、カメラシステムは、押し上げ式の蓋１１０８の外側表面に取り付けられた光学レンズを含み、画像キャプチャを目的としてレンズシャッターボタン１１１４によってトリガされる。音量１１１６、再生テンポ１１１８、メニューナビゲーション１１２０、および位置１１２２の調節用サムホイールとして示されている、様々なユーザインターフェースコントロールが提供される。装置１１００には、ネットワークまたは他の装置とより容易に接続できるよう、ＵＳＢポート１１２４が提供されることが可能である。オン／オフスイッチ１１２５は、装置１１００をオン・オフする。

図１１に示されているように、楽曲楽譜の演奏（合成パフォーマンス）およびユーザのパフォーマンスの再生を含む機能の制御用に複数のコントロールボタンも提供されている。図１１は、プレイ／一時停止１１２６、停止１１２８、次／リセット１１３０、および記録１１３２という機能用の例示的コントロールボタンを示す。図１１は、タイミングインジケータを示し再生テンポ１１１８と関連があるメトロノーム表示ディスプレイ１１３４も示す。メトロノーム機能、および装置１１００のその他の機能の選択は、メニューサムホイール１１２０および／または位置サムホイール１１２２の処理と併せて、ＬＣＤ画面１１０２のメニューナビゲーションを用いて遂行される。選択は、次／リセットコントロールボタン１１３０の処理によって実現される。キーボードまたはキーパッド１１３５は、キーパッド１１３５の専用ファンクションキーを介した入力、またはキーパッド１１３５からの英数字入力に使用することができる。ＬＣＤ画面１１０２には、楽曲楽節１１０４からの音符のグラフィック画像が提供され、これは画面中を横断し、各音符がプレイされるときにディスプレイ内に個々の音符が画面上に現れるか、または強調表示される。ディスプレイは、楽曲楽節１１０４がプレイされるときに、楽曲の所定数の音符または小節が表示されるよう、再生中、引き延ばされた楽曲譜表画像を提供することが好ましい。

装置１１００の一実施形態では、デジタルカメラシステム１１１４が、楽曲楽譜内の楽節の画像（単一の音符、いくつかの小節、またはページ全体さえも）を取り込む。デジタルカメラは、装置１１００に内蔵可能であり、当業者には周知であろうレンズと像変換器との組み合わせを含んでもよい。ＬＣＤ画面１１０２は、取り込まれる小節をユーザが正確に決定できるようにする。装置は、単一譜表の楽曲ライン、二重奏、三重奏、四重層、または指揮者の総譜でさえ読み取ることができる。装置１１００は、同時に数の音色を提供する。

ＯＣＲモジュールは、デジタル化画像データを含む、楽曲の抜粋の「写真」を受信してもよい。調号および拍子などの追加の重要な楽曲文脈情報も、楽曲楽譜のデジタル画像を介して、または有効な調号および拍子記号すべてを一覧にした「チートシート」（例えば、ウェブサイトからダウンロードされ、次に無線で、またはＵＳＢポートを介して装置に伝送される――下記参照）を介して、ＯＣＲモジュールへ送信される。この「チートシート」はさらに、ユーザがセクションから所望の音色（単数または複数）を選択することができる、またはユーザが所望の音色（単数または複数）を手動で指定（入力）することができるセクションを含んでもよい。

別の実施形態では、装置１１００は、ＭＩＤＩシンセサイザーの機能を提供してもよい。ＯＣＲモジュールは、合成サウンドを作り出すＭＩＤＩモジュールにサウンド情報を送信してもよい。これは、調節可能な音色を提供する。ユーザは、楽曲の特定の楽節または一部分の、楽器の種類（ピアノ、バイオリン、フルートなど）を指定する。このモジュールはさらに、ユーザが、ピッチの変化なしで、楽譜に示されているメトロノーム（あれば）よりもゆっくりと（または速く）その楽節を聴くことができるように、調節可能なテンポを提供する。装置は、それ自体の小型ラウドスピーカを介して再生するが、さらにヘッドホンおよび／または外付けスピーカ用のヘッドホンジャック１１３４および無線能力も有する。

様々な実施形態において、装置１１００は、特定の視覚表示能力を提供してもよい。例えば、ＬＣＤ画面１１０２は、取り込まれている（撮影されている）小節が、聴こうとしている小節であることをユーザが確認する助けになってもよい。カーソル１１３６を備えたＬＣＤ画面１１０２は、楽節が再生されるとき、ユーザによって撮影された楽節から、または格納済みデータを備える音楽カードから、楽曲楽節１１０４を表示する。カーソルは、リアルタイムで楽曲楽節１１０４がプレイされているときに、指定されているテンポには関係なく、プレイされている現在の音符（単数または複数）の楽譜内での正確な楽曲位置を示す。従来の種類の移動するカーソルではなく、代わりに、カーソル１１３６はプレイされている音符を、その音符を強調表示すること（例えば、その音符をより明るくすること）、またはその音符がプレイされるときに他の音符とは異なる表示色を与えることによって示すことができる。別のオプションは、特に単一ラインの楽曲楽節１１０４に関して、ＬＣＤ画面１１０２が音符１１３８の名前を示すことである（英語とソルフェージュとの両方で）。楽曲楽節１１０４が、同時に存在する複数の楽曲ラインから成る場合、ユーザは、音符１１３８の名前が表示されるラインを指定することができる。

ＬＣＤ画面１１０２はさらに、プレイされるよう選択された楽曲楽節１１０４のインジケータを示してもよい。このインジケータは、楽節マーカー１１３９と呼ばれる。図１１では、楽節マーカー１１３９が、丸で囲まれた数字「１」として示されている。この数字「１」は、楽曲楽節１１０４の第１小節が現在表示されていることを示し、丸は、再生が第１小節で開始されたことを示す。再生が次の小節に続くと、「２」が「１」の代わりに表示されるが、この「２」には丸が付かないことになる。

別の実施形態では、装置１１００は、記録センサ機能を提供してもよい。例えば、マイクロホン１１１２は、問題になっている楽曲楽節１１０４をユーザ自身がプレイする（および／または歌う）のをユーザが記録して、直ちにその記録を再生し、ユーザのパフォーマンスと、装置１１００の（すなわち、前もって記録されたか、または合成された演奏の）パフォーマンスとを比較できるように構成されてもよい。この機能は、生徒が音符、調律、リズムおよび強弱を調節する助けとなると考えられる。上述の通り、ユーザのパフォーマンスがマイクロホン１１１２を介して記録され、「聴音」機能を提供することが可能である。

装置１１００のいくつかの実施形態は、無線能力を提供する。例えば、装置１１００は、ネットワークおよび他の無線対応装置との無線通信を可能にし、文脈情報を備えた符号化楽曲ファイルのダウンロードを可能にするよう動作可能であってもよい。本願明細書に記載される機能は、例えば、携帯用の音楽インタラクションのために、ＰＤＡまたはスマートフォンなどの無線プラットフォームにインストールされたｅＭｕｓｅソフトウェアによって提供されることが可能である。さらに、装置１１００は、ホームＰＣおよび／またはステレオシステム、または別のコンポーネントの計算およびメモリ（およびオーディオ再生）を使用してもよい。

別の実施形態では、ユーザのパフォーマンスが装置１１００によって記録され、そのユーザのパフォーマンスが音符解釈処理を受け、ユーザの記録済みパフォーマンスに対応する音符の表示を作り出すもとのデータが生成されてもよい。このようにして、装置は、「聴音」を行うことができ、ユーザによる生のオーディオパフォーマンスを、そのパフォーマンスに対応する楽曲楽譜の視覚表示に変換することができる。したがって、装置の楽曲解釈機能は、光または電子ネットワーク通信によって受信される両方の楽曲楽譜データを処理することができ、マイクロホンによって取り込まれたユーザの生のパフォーマンスによってつくり出される楽曲楽譜データを処理することができる。

本願明細書に記載されているソフトウェアは、様々なプラットフォームで使用可能である。一実施形態では、ｅＭｕｓｅの複数の側面が、ハイエンドの携帯電話に組み込まれ、携帯電話のカメラが楽曲楽譜内の特定の楽節を撮影する。次に、取り込み画像は、圧縮されてリモートサーバへ送信され、リモートサーバは、その画像データに対してＯＣＲ動作を実行して、画像を対応する音符情報へと解釈する。次に、サーバは、ｍｉｄｉファイルおよびグラフィックファイルの両方を送り返し、このバージョンのｅＭｕｓｅが、撮影された楽曲をプレイして、音符がプレイされるときに音符をＬＣＤに表示することができるようにする。

図１２は、図１１の装置１１００の実施形態の動作を示すプロセスフロー図の簡略化した例を提供する。最初の動作で、楽曲楽譜のデジタル表現が装置に提供される。デジタル表現は、装置と共に動作するデジタルカメラなどのデジタル画像キャプチャ装置１２０４を使用してデジタル方式で取り込まれる印刷されたページなど、装置への視覚的表現１２０２によって受信されることが可能である。次に、光学入力１２０６から生じるデジタルデータが、音符データ解釈プロセス１２０８に提供される。あるいは、楽曲楽譜のデジタル表現は、楽曲楽譜に対応するデジタルデータの無線伝送もしくはネットワーク上でのデータの有線伝送、またはメモリカードもしくは他の媒体などのストレージ媒体を介した入力などによって、電子的に１２１０提供されることが可能である。次に、楽曲楽譜１２１０の電子的に受信されたバージョンが、音符データ解釈プロセス１２０８に提供される。

音符データ解釈プロセス１２０８は、楽曲楽譜に対応するデジタルデータを受信し、それを処理して、楽曲楽譜を特定して適切なハードウェアによる楽譜の再現を可能にするのに十分な、音符と、付随する情報との組を作り出す。プロセス１２０８は、楽曲楽譜デジタルデータ１２０６、１２１０を認識して適切な変換データを作り出すよう機械学習技術で訓練された処理装置を含む。プロセス１２０８は、例えば、解釈プロセスの精度を実質的に１００％の精度まで上げるために、ニューラルネットワークソフトウェア工学技術を使用して訓練可能である。本発明に従って、入力楽曲楽譜データは、ユーザに対するリアルタイムのオーディオおよび視覚的表現用に作り出す必要がある。したがって、入力楽曲楽譜データの解釈は、リアルタイムでなければならず、１００％の精度の解釈（変換）に近づかなくてはならない。プロセス１２０８は、光学式文字認識（ＯＣＲ）技術を利用するが、音符の認識およびデジタルデータ（電子または光学スキャンから得られる）を適切な表現に解釈するよう適応している。

解釈プロセス出力１２１２は、装置のディスプレイ画面１２１４に提供される楽曲楽譜の視覚的表現、およびさらに、装置のスピーカまたは同様のものを介したオーディオ表現のために適切な装置システムおよびハードウェア１２１６に提供される楽曲楽譜の合成オーディオ演奏を含む。

（他の能力）
当然のことながら、上述の能力に加えて、他に多数の能力が考えられる。さらなる処理能力の１つの組は、ユーザに提供されるカスタマイズ性を高めることを含む。例えば、実施形態は、本発明の様々なコンポーネントおよび方法の、強化されたカスタマイズ性を可能にしてもよい。

いくつかの実施形態では、様々な理由から、様々な閾値、ウィンドウ、ならびにコンポーネントおよび方法に対するその他の入力はそれぞれ、調節可能とされてもよい。例えば、ユーザは、調判断が頻繁に行われすぎているように思われる場合に、調抽出ウィンドウを調整できてもよい（例えばユーザは、調からの短時間の離脱には、調の変更として楽譜上に現れてほしくないこともある）。別の例として、記録は、記録時のパフォーマンス中に使用される６０Ｈｚの電力から生じる背景雑音を含むこともある。ユーザは、この６０Ｈｚピッチを楽譜上に低音として表さないよう、様々なフィルタアルゴリズムを調節して、この６０Ｈｚピッチを無視することを希望するかもしれない。さらに別の例では、ユーザは、音符のピッチ分解能を調節するために、ピッチが量子化されるミュージックビン（ｍｕｓｉｃ ｂｉｎｓ）の分解能を調節してもよい。

他の実施形態では、より低いカスタマイズ性がユーザに提供されてもよい。一実施形態では、ユーザは、表現精度レベルを調節することができてもよい。ユーザは、テンポおよびピッチの様な個々の楽譜表現構成要素の精度の選択を含む１つ以上のパラメータに基づき、システムが精度のより高い楽譜表現を生成するべきか、またはより低い楽譜表現を生成するべきかを入力してもよい（例えば、物理的または仮想スライダー、ノブ、スイッチなどを介して）。

例えば、最小の音価が１６分音符となるように、いくつかの内部設定が連携してもよい。表現精度を調節することによって、より長いまたはより短い持続時間が検出され、最小値として表されてもよい。これは、演奏者が厳密に一定の拍で演奏していない場合（例えば、打楽器のセクションがない、メトロノームがないなど）に有用となり得、システムの精度が高すぎると、望ましくない表現（例えば複々付点音符）を生じることもある。別の例として、最小のピッチ変化が半音となる（すなわち、半音階での音符）よう、いくつかの内部設定が連携してもよい。

さらに他の実施形態では、さらに低いカスタマイズ性がユーザに提供されてもよい。一実施形態では、ユーザは、自らが初心者ユーザであるかまたは上級ユーザであるかを入力してもよい。別の実施形態では、ユーザは、システムの感度が高くあるべきかまたは低くあるべきかを入力してもよい。どちらの実施形態でも、多数のコンポーネントまたは方法において、多数の異なるパラメータが、所望のレベルに合うよう共に調節されてもよい。例えば、或る場合には、歌い手が、ピッチと持続時間のあらゆる揺れを正確に書き起こしたいこともある（例えば、間違いを発見するため、または特定のパフォーマンスを、そのすべての、感覚の微妙な違いとともに、忠実に再現するための練習の助けとして）。その一方で、別の場合には、歌い手は、システムに小さなずれを無視させることで、公開用の読みやすい楽譜を生成したいこともある。

特定の実施形態では、カスタマイズ性のレベル、機能の種類、およびシステムまたは方法のその他の側面は、種々の方法で決定されてよい。一実施形態では、ユーザは、そうした側面を決定するために、特定のプリファレンスを選択しても、特定の物理的または仮想コントロールを処理しても、または別の方法でシステムと能動的に対話してもよい。別の実施形態では、システムが、様々な側面を自動的に選択してもよい（例えば、ユーザに関するログインおよび／またはプロフィール情報から、またはユーザのシステムの使用パターンからなど）。

さらなる能力のもう１つの組は、様々な種類の入力を使用して、入力オーディオ信号の処理を精緻化するか、または別の形でこの処理に影響を及ぼすことを含む。一実施形態は、訓練された１つ以上の人工ニューラルネットワーク（ＡＮＮ）を使用して、特定の判断を精緻化する。例えば、心理音響学的判断（例えば、拍子、調、楽器編成など）は、訓練されたＡＮＮを使用するのに適している。

別の実施形態は、ユーザに、複数トラックをレイヤ状にする能力を提供する（例えば、ワンマンバンド）。ユーザが、ドラムトラックを演奏することによって開始してもよく、このトラックは、本発明のシステムを使用してリアルタイムで処理される。次に、ユーザは連続してギタートラック、キーボードトラック、およびボーカルトラックを演奏し、このそれぞれが処理される。場合によっては、ユーザは一緒に処理する複数のトラックを選択してもよく、他の場合には、ユーザは各トラックが別々に処理されるよう選んでもよい。続いて、いくつかのトラックからの情報が、他のトラックの処理を精緻化または指示するために使用されてもよい。例えば、ドラムトラックが独立して処理され、高信頼度のテンポおよび拍子情報が生成されてもよい。次に、テンポおよび拍子情報が、音符の持続時間および音価をより正確に判断するために他のトラックと共に使用されることも可能である。別の例として、ギタートラックは、小さな時間ウィンドウの間に多数のピッチを提供することもあり、これによって、調の判断が容易になることもある。次に、調の判断は、調のピッチの決定をキーボードトラックの各音符に割り当てるために使用されてもよい。さらに別の例として、複数トラックが、１つ以上の次元において位置合わせ、量子化、または正規化されてもよい（例えば、複数トラックが、同じテンポ、平均音量、ピッチの範囲、ピッチ分解能、最小音符持続時間などを有するように正規化されてもよい）。さらに、「ワンマンバンド」のいくつかの実施形態では、ユーザが、１つの楽器を使用してオーディオ信号を生成し、次に、システムまたは方法を使用して、単数または複数の異なる楽器に変換する（例えば、四重奏曲の４つのトラックすべてを、キーボードを使用してプレイして、そのキーボード入力を、システムを使用して弦楽四重奏に変換する）。場合によっては、これには、音色の調節、楽曲ラインの移調、および他の処理が必要となり得る。

さらに別の実施形態は、楽曲入力信号に付帯的な入力を使用して、処理を精緻化または指示する。一実施形態では、ジャンル情報がユーザ、別のシステム（例えばコンピュータシステムもしくはインターネット）、またはデジタルオーディオファイル内のヘッダ情報から受信され、様々なコスト関数を精緻化する。例えば、調のコスト関数は、ブルース、インドの古典音楽、フォークなどによって異なってもよい。または、異なる楽器編成の可能性は異なるジャンルで高くなると考えられる（例えば、「オルガンの様な」サウンドは、讃美歌音楽ではオルガンである可能性が高く、ポルカ音楽ではアコーディオンである可能性がより高いと考えられる）。

さらなる能力のもう１つの組は、複数のコンポーネントまたは方法にわたって情報を使用して、複雑な判断を精緻化することを含む。一実施形態では、楽器同定方法の出力が、特定されている楽器の既知の能力または限界に基づいて判断を精緻化するよう使用される。例えば、楽器同定方法が、楽曲ラインはピアノでプレイされている可能性が高いと判断すると仮定する。一方、ピッチ同定方法は、その楽曲ラインが、速くて浅いビブラート（例えば、検出された調のピッチ指示の１または２半音のみの範囲内でのピッチの震え）を含むと判断する。これは典型的にはピアノで作り出すことができる効果ではないため、システムは、このラインが別の楽器によりプレイされていると判断してもよい（例えば、電子キーボードまたはオルガン）。

さらなる能力のさらにもう１つの組は、システムおよび方法の様々な機能を使用して、着信音（例えば、携帯電話、ボイスオーバーインターネットプロトコル電話、およびその他の装置の）を処理することを含む。一実施形態では、分解された楽曲構成要素が着信音の規格に適合するように処理される。例えば、いくつかの装置は、着信音の帯域幅、ポリフォニーの深さ、および長さに制限があるかもしれない。したがって、場合によっては、システムが、着信音の規格に適合するよう共同制作プロジェクトを自動的に調節してもよく、または、そうした規格に従ってユーザを導くのに望ましい情報または必要な情報を用いて、ユーザにプロンプトで指示を求めてもよい。その結果、ユーザは、例えば着信音を聴くこと、着信音を携帯電話または他の装置（またはストレージ場所）にダウンロードすること、ネットワーク経由で他者と着信音を共有すること、着信音をオークションにかけることまたは販売することなどができると考えられる。

さらなる能力のさらにもう１つの組は、オーディオまたは楽譜出力を、販売またはオークション用の製品として構成することを含む。例えば、共同制作ポータルは、楽曲オークション機能または楽曲ストア機能を含んでもよい。買い物機能は、著作権使用料および価格設定、投票（例えば、所定の期間中で最も人気の高いものを特集する、または勝者がポータル上で特別な特集を得る）、装置または規格での検索、異なる支払い処理、安全な電子商取引、著作権保護およびデジタル著作権管理などに関する能力を含んでもよい。

さらに、さらなる能力のもう１つの組は、分解または受信された楽曲構成要素を使用して、類似の作品を検索し、著作権侵害を回避（または検出）することを含む。この能力は、この特定の結果を求めて検索を調整するために、システムに追加モジュールが組み込まれること、または方法に追加ステップが組み込まれることを必要とすることもある。例えば、いくつかの実施形態では、著作権法およびポリシーに関する情報が提供され、システムおよび方法が、潜在的な侵害があるかどうかを判断する助けになってもよい。

共同制作ポータルのいくつかの実施形態は、この種類および他の種類の検索機能を含んでもよい。例えば、「クリップアート」の音楽的な類似物を提供することが望ましいこともあり、それによって、共同制作者は、特定の種類の楽曲テーマ（例えば、「Ｈａｗａｉｉ Ｆｉｖｅ−Ｏ」ドラムフィルなど）を検索して、プロジェクトに追加することもできる。他の種類の情報がさらに検索されてもよい。例えば、共同制作者は、類似した作品を見つけて楽譜表現を見て、その作品がどのような形でオーケストラ用に編曲されたのかを判断したいことも、または、類似したコードの並びを見て、類似したコードの並びを解釈している任意のジャスボーカルの即興を見つけ、珍しいボーカルラインの考案の助けにしたいこともある。当然のことながら、この機能および他の機能を提供するために、楽曲ベースの検索の多数の方法が考えられる。楽曲ベースの検索のいくつかの実施形態が、Ｒｏｂｅｒｔ Ｄ．Ｔａｕｂらの、「ＭＵＳＩＣ−ＢＡＳＥＤ ＳＥＡＲＣＨ ＥＮＧＩＮＥ」という題の米国特許出願第 号明細書により詳しく記載されており、これは、本願と当時に提出されたものであり、あらゆる目的において、参照によって本願明細書に引用したものとする。

さらなる能力のさらにもう１つの組は、楽曲をビデオ情報に追加することを含む。いくつかの実施形態では、共同制作ポータルは、ユーザがビデオデータを提供できるようにしてもよい。例えば、ユーザは、共同制作プロジェクトに対するインスピレーション、共同制作プロジェクトに同期させる楽曲ビデオ、共同制作者たちが楽譜を書いているより大きなビデオプロジェクト（例えば映画）の中のセクションなどとして使用するためのビデオクリップを提供してもよい。別の例では、ユーザは、共同オーディオプロジェクトをビデオプロジェクトに同期させる際に共同制作者が使用する、特定のタイムコード情報（例えば、Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ（「ＳＭＰＴＥ」）タイムコード）を提供してもよい。

当然のことながら、本発明によれば、このようなさらなる処理能力が多数考えられる。なお、さらに、上記で説明された方法、システムおよび装置は、単に例であるものとする。様々な実施形態は、必要に応じて様々な手順またはコンポーネントを省略、置換、または追加してよいということを強調しなければならない。例えば、当然のことながら、代わりの実施形態では、本方法が説明とは異なる順序で実行されてもよく、様々なステップが追加、省略されても、または組み合わされてもよい。さらに、特定の実施形態に関して説明された特徴が、他の様々な実施形態に組み合わされてもよい。実施形態の種々の側面および構成要素が、同様の形で組み合わされてもよい。さらに、技術は進化するものであり、したがって、構成要素の多くは例であり、本発明の範囲を制限すると解釈されてはならないということを強調しなくてはならない。

説明の中では、実施形態が完全に理解されるよう具体的な詳細事項が与えられた。しかし、当業者には当然のことながら、実施形態はこれらの具体的な詳細事項を用いずに実践されてもよい。例えば、実施形態を分かりにくくすることを避けるために、周知の回路、プロセス、アルゴリズム、構造および技術を、不必要な詳細事項なしで示してきた。さらに、本願明細書で与えられた見出しは、単に様々な実施形態の説明を明快にするのを助けることを目的としており、本発明の範囲または本発明のいかなる部分の機能も制限するものと解釈されてはならない。例えば、特定の方法またはコンポーネントは、たとえそれらが異なる見出しの下で説明されていても、他の方法またはコンポーネントの一部として実装されてもよい。

なお、さらに、実施形態は、フロー図またはブロック図として示されるプロセスとして記載されていることもある。それぞれ、動作を逐次プロセスとして記載しているかもしれないが、動作の多くは、並行して、または同時に実行可能である。さらに、各動作の順序は配列し直されてもよい。プロセスは、図に含まれていない追加のステップを有してもよい。

Claims (29)

1. ネットワーク経由で楽曲寄与を共同処理する方法であって、
   楽曲寄与をポータルにおいて受信することであって、該楽曲寄与は、楽曲構成要素の組を含み、該ポータルは、該ネットワーク経由でアクセス可能である、ことと、
   複数の共同制作リクエストを該ネットワーク経由で該ポータルにおいて受信することであって、該複数の共同制作リクエストのそれぞれは、少なくとも部分的に該楽曲寄与に関係しており、
   該複数の共同制作リクエストの少なくとも第１の部分は第１のユーザからであり、該複数の共同制作リクエストの少なくとも第２の部分は第２のユーザからであり、
   少なくとも１つの共同制作リクエストが該楽曲構成要素の組に関係する、ことと、
   該楽曲寄与の少なくとも一部に関連し、該共同制作リクエストのうちの少なくとも１つに応答して、該ポータルにおいて楽曲出力を生成することと
   を含む、方法。
2. 前記楽曲寄与を前記ポータルにおいて受信することであって、該楽曲寄与はオーディオ信号を含む、ことと、
   前記楽曲構成要素の組の少なくとも一部を生成するために、該オーディオ信号を分解することと
   をさらに含む、請求項１に記載の方法。
3. 前記楽曲寄与は第１の楽曲寄与であり、前記方法は、
   第２の楽曲寄与を前記ポータルにおいて受信することであって、該第２の楽曲寄与はオーディオ信号を含む、ことをさらに含む、請求項１に記載の方法。
4. 前記楽曲構成要素の組に少なくとも部分的に基づいて、前記第２の楽曲寄与を編集することをさらに含む、請求項３に記載の方法。
5. 前記楽曲構成要素の組の少なくとも一部に基づいて、前記第１の楽曲寄与と、前記第２の楽曲寄与とを同期させることをさらに含む、請求項３に記載の方法。
6. 前記楽曲寄与は、前記複数のワークステーションのうちの１つから、前記ネットワーク経由で前記ポータルにおいて受信される、請求項１に記載の方法。
7. 前記楽曲寄与は、前記複数のワークステーションに対して遠隔のデータ記憶装置から、前記ポータルにおいて受信される、請求項１に記載の方法。
8. 前記楽曲寄与と、前記編集ステップの結果とに少なくとも部分的に基づいて、出力データの組を生成することをさらに含む、請求項１に記載の方法。
9. 前記出力データの組はオーディオ信号データを含む、請求項８に記載の方法。
10. 前記出力データの組は楽曲構成要素データを含む、請求項８に記載の方法。
11. 前記出力データの組は楽譜表現データを含む、請求項８に記載の方法。
12. 前記出力データの組をデータ記憶装置に格納することをさらに含む、請求項８に記載の方法。
13. ログイン情報を前記ネットワーク経由でユーザから受信することをさらに含み、該ユーザは前記複数のワークステーションのうちの１つを使用する、請求項１に記載の方法。
14. 前記ログイン情報に少なくとも部分的に基づいて、前記ユーザのアクセス権の組を判断することをさらに含む、請求項１３に記載の方法。
15. 前記ログイン情報に少なくとも部分的に基づいて、前記ユーザのプリファレンスの組を判断することをさらに含む、請求項１３に記載の方法。
16. ネットワーク経由で楽曲寄与を共同処理するシステムであって、該システムは、
    ポータルであって、該ポータルは、複数のユーザによって該ネットワーク経由でアクセス可能であり、かつ、
    共同制作ユニットであって、
    複数の楽曲寄与を受信することであって、該複数の楽曲寄与のうちの少なくとも１つが楽曲構成要素の組を含む、ことと、
    複数の共同制作リクエストを受信および解釈することであって、該複数の共同制作リクエストのうちの少なくとも第１の共同制作リクエストが該ネットワーク経由で第１のユーザから受信され、該複数の共同制作リクエストのうちの少なくとも第２の共同制作リクエストが該ネットワーク経由で第２のユーザから受信される、ことと
    が動作可能である、共同制作ユニットと、
    編集ユニットであって、該複数の共同制作リクエストに少なくとも部分的に基づいて、楽曲構成要素を編集する編集能力の組を提供するよう動作可能である、編集ユニットと、
    出力生成ユニットであって、該楽曲寄与および該複数の共同制作リクエストに少なくとも部分的に基づいて、出力データを生成するよう動作可能である、出力生成ユニットと、
    ネットワークインターフェースユニットであって、複数のワークステーションと該ポータルとの間の該ネットワークを介した通信を促すよう動作可能である、ネットワークインターフェースユニットと
    を含む、ポータルを
    含む、システム。
17. 楽曲寄与を受信し、該楽曲寄与を楽曲構成要素の組へと分解するよう動作可能である、オーディオ分解ユニットをさらに含む、請求項１６に記載のシステム。
18. 前記オーディオ分解ユニットは、前記複数のワークステーションのうちの少なくとも１つにある、請求項１７に記載のシステム。
19. 楽譜画像を受信し、
    該楽譜画像を楽曲構成要素の組へと分解するよう動作可能である楽譜分解ユニット
    をさらに含む、請求項１６に記載のシステム。
20. 前記楽譜分解ユニットは、前記複数のワークステーションのうちの少なくとも１つにある、請求項１７に記載のシステム。
21. 前記ネットワークインターフェースユニットは、前記ワークステーションのうちの１つのユーザからログイン情報を受信するようさらに動作可能である、請求項１６に記載のシステム。
22. 前記ネットワークインターフェースユニットは、前記ポータルと前記複数のワークステーションとの間に安全な仮想接続を提供するようさらに動作可能である、請求項１６に記載のシステム。
23. 前記ポータルと動作的に通信しており、かつ、オーディオデータ記録の組を格納するよう動作可能であるデータ記憶装置であって、各オーディオデータ記録は前記複数の楽曲寄与のうちの少なくとも１つと関連している、データ記憶装置をさらに含む、請求項１６に記載のシステム。
24. 前記データ記憶装置は、前記ネットワークを介して前記ポータルと動作的に通信している、請求項２３に記載のシステム。
25. 前記ネットワークインターフェースユニットは、前記ポータルと前記データ記憶装置との間に安全な仮想接続を提供するようさらに動作可能である、請求項２４に記載のシステム。
26. 前記出力生成ユニットによって生成される前記出力データは、オーディオデータ、楽曲構成要素、または楽譜表現データのうちの少なくとも１つを含む、請求項１６に記載のシステム。
27. 前記ネットワークはインターネットである、請求項１６に記載のシステム。
28. 前記ネットワークはローカルネットワークである、請求項１６に記載のシステム。
29. ネットワーク経由で楽曲寄与を共同処理するポータルの動作を指示するコンピュータ読み取り可能プログラムがそれに記録されているコンピュータ読み取り可能ストレージ媒体であって、該ポータルは、共同制作ユニットと、編集ユニットと、出力生成ユニットと、ネットワークインターフェースユニットとを含み、該コンピュータ読み取り可能プログラムは、以下の：
    該楽曲寄与をポータルにおいて受信することであって、該楽曲寄与は楽曲構成要素の組を含み、該ポータルは該ネットワーク経由でアクセス可能である、ことと、
    該ネットワーク経由で複数の共同制作リクエストを受信することであって、該複数の共同制作リクエストの少なくとも第１の部分は複数のワークステーションのうちの第１のワークステーションからであり、該複数の共同制作リクエストの少なくとも第２の部分は、該複数のワークステーションのうちの第２のワークステーションからである、ことと、
    該楽曲寄与の少なくとも一部に関係する楽曲出力を、該共同制作リクエストのうちの少なくとも１つに応答して該ポータルにおいて生成することと
    に従う、楽曲寄与の共同処理に関する命令を含む、コンピュータ読み取り可能ストレージ媒体。

Images