JP2015031885A

JP2015031885A - 音楽作成方法、装置、システム及びプログラム

Info

Publication number: JP2015031885A
Application number: JP2013162751A
Authority: JP
Inventors: 和秀岩本; Kazuhide Iwamoto
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2013-08-05
Filing date: 2013-08-05
Publication date: 2015-02-16
Anticipated expiration: 2033-08-05
Also published as: JP6179257B2

Abstract

【課題】ビデオデータとオーディオデータとからなる演奏コンテンツデータを利用して簡単に音楽作品を作成できるようにする。【解決手段】演奏コンテンツデータはビデオデータとオーディオデータとからなる。ソング作成画面１０は、パート１２とセクション１３により分割された複数のブロック１４からなり、各ブロック１４に演奏コンテンツデータ１５を配置する。ユーザは、複数のブロック１４に配置する演奏コンテンツデータの組み合わせを任意に変更しつつ、１又は複数のブロック１４に配置された演奏コンテンツデータ（動画と演奏音）を同時再生できる。複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する。例えば１楽曲の合奏の様子など、複数の演奏の内容を視覚的に理解できる。【選択図】図１

Description

この発明は、複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する音楽作成方法、装置、システム及びプログラムに関する。

従来、汎用のパーソナルコンピュータを用いて、オーディオデータ（波形データ）及びＭＩＤＩ（Musical Instrument Digital Interface）データの録音、編集、ミキシングなど、音楽制作に関する一連の作業が出来るように構成されたデジタルオーディオワークステーション（ＤＡＷ；Digital Audio Workstation）システムがあった。かかるＤＡＷシステムで用いるＧＵＩ（Graphical User Interface）画面は、典型的には、画面縦方向に配列された複数の録音トラック毎に、録音されたオーディオ（波形データ）やＭＩＤＩイベントを表す画像を、画面横方向に延びる時間軸上に時系列順に配置するものである（例えば非特許文献１を参照）。かかるＤＡＷシステムは、音楽作品の作成を精密に行うことができるように設計されており、音楽の演奏や音楽作品の制作に馴染みの薄いユーザにとって利用し難い。

特許文献１は、通信ネットワークで接続されたサーバ装置とクライアント端末とからなる音楽コンテンツ作成システムの一例として、サーバ装置が複数のクライアント端末から音声や映像を取得し、取得した音声や映像を合成して１つの音楽コンテンツを作成するシステムを開示している。これによれば、１つ音楽コンテンツを構成する複数部分（例えば楽器のイントロ、Ａメロ、Ｂメロ・・・エンディング）を複数の参加者が分担することにより、参加者全体で１つの音楽コンテンツを協働制作できる。このシステムは、映像を組み合わせた音楽コンテンツの作成を提案している点で、音楽の演奏に馴染みの薄いユーザにも利用しやすい。しかし、このシステムは、いわば「寄せ書き」のように、複数の参加者が各自の持分に該当するコンテンツを持ち寄り、それをサーバ装置で合成するだけであり、個々の参加者が独自に音楽作品を作成・編集できるものではなく、また、そのためのインタフェースを提供してもいない。

特許文献２には、リハーサルスタジオ内で行った音楽の演奏を、該スタジオに設置された録音設備を用いてマルチトラック録音して、その録音物をスタジオサーバに保存するとともに、スタジオサーバからインターネット上の共有サーバに録音物をアップロードして、その録音物を任意のユーザ端末で自由に再生できるようにした、オーディオデータ記録・利用システムが開示されている。しかし、このシステムは、複数の楽器演奏者が現実にリハーサルスタジオに集合することを前提としており、例えば複数の演奏者を集めることや、演奏者の集合日程を調整することなどの、種々の手間がかかる。

特開２００８−１３９５６０号公報特開２０１２−１４５６４３号公報

「Ｃｕｂａｓｅ７オペレーションマニュアル」、[online]、Steinberg Media Technologies GmbH、２０１２年２月１３日発行、［平成２５年５月２２日検索］、インターネット〈URL:h ttp://japan.steinberg.net/fileadmin/redaktion_japan/documents/Cubase/Cubase_7_Operation_Manual_jp.pdf〉

本発明は上述の点に鑑みてなされたもので、ビデオデータとオーディオデータとからなる演奏コンテンツデータを利用して簡単に音楽作品を作成できるようにした音楽作成方法、装置、システム及びプログラム提供することを目的とする。

この発明は、複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する音楽作成方法であって、前記演奏コンテンツデータはビデオデータとオーディオデータとからなり、前記１つの音楽作品を構成する前記複数の演奏コンテンツデータを表示するためのマトリクス状に配列された複数のブロックを備えた音楽作成画面を表示するステップであって、前記各ブロックは前記演奏コンテンツデータのビデオデータに基づく動画を再生可能なものと、ユーザによる変更指示に応じて、ユーザにより選択された１つの前記ブロックに配置された前記演奏コンテンツデータを、ユーザにより選択された別の演奏コンテンツデータに変更するステップと、ユーザによる再生指示に応じて、ユーザにより選択された１又は複数のブロックに配置された前記演奏コンテンツデータのビデオデータに基づく動画を再生し、且つ、該選択された１又は複数のブロックに配置された前記演奏コンテンツデータのオーディオデータに基づく演奏音を再生するステップとを具備することを特徴とする音楽作成方法である。

この発明によれば、音楽作品の構造を２種類の構成要素に分類して表すマトリクス状に配列された複数のブロックのそれぞれに、演奏コンテンツデータを配置（表示）する構成により、１つの音楽作品を構成する複数の演奏コンテンツデータをブロック単位で管理でき、各ブロックは演奏コンテンツデータのビデオデータに基づく動画を再生できる。ブロックに配置する演奏コンテンツデータを任意に変更することにより、簡単に音楽作品を編集及び作成できる。演奏コンテンツデータのビデオデータは、例えば楽器毎の演奏の様子を収録したビデオ等である。１又は複数のブロックに配置された演奏コンテンツデータの動画及び演奏音をリアルタイム再生しつつ、それらブロックに配置された演奏コンテンツデータを任意に変更できる。ユーザは、例えば１楽曲の合奏の様子など複数の演奏の内容を、ブロック内で再生される動画により視覚的に理解しつつ、簡単に、演奏コンテンツデータを組み合わせた音楽作品の作成を行うことができる。

一実施実施形態において、マトリクス状に配列された複数のブロックは、一方の軸に前記音楽作品を構成する時間軸をとり、他方の軸に前記音楽作品を構成する演奏音の種類をとるように構成される。時間軸は、前記音楽作品を構成する曲構成要素毎の時間区間を単位とするとよい。複数の演奏コンテンツデータを、時間軸と演奏音の種類とにより分割されたブロック単位で管理でき、音楽作品の構成を把握しやすい。したがって、動画を用いた視覚的な音楽作成がより簡単に行える。画面上のブロックに配置された演奏音の種類毎の動画に、自分の演奏を加えるだけで、一体感・臨場感溢れる合奏を擬似的に体験できる。

また、この発明は、複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する音楽作成装置であって、前記演奏コンテンツデータはビデオデータとオーディオデータとからなり、前記１つの音楽作品を構成する前記複数の演奏コンテンツデータを表示するためのマトリクス状に配列された複数のブロックを備えた音楽作成画面を表示する表示手段であって、前記各ブロックは前記演奏コンテンツデータのビデオデータに基づく動画を再生可能なものと、ユーザによる変更指示に応じて、ユーザにより選択された１つの前記ブロックに配置された前記演奏コンテンツデータを、ユーザにより選択された別の演奏コンテンツデータに変更する変更手段と、ユーザによる再生指示に応じて、ユーザにより選択された１又は複数のブロックに配置された前記演奏コンテンツデータのビデオデータに基づく動画を再生し、且つ、該選択された１又は複数のブロックに配置された前記演奏コンテンツデータのオーディオデータに基づく演奏音を再生する再生手段とを備えることを特徴とする音楽作成装置である。

また、この発明は、複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する処理をコンピュータに実行させるためのプログラムであって、前記演奏コンテンツデータはビデオデータとオーディオデータとからなり、前記１つの音楽作品を構成する前記複数の演奏コンテンツデータを表示するためのマトリクス状に配列された複数のブロックを備えた音楽作成画面を表示するステップであって、前記各ブロックは前記演奏コンテンツデータのビデオデータに基づく動画を再生可能なものと、ユーザによる変更指示に応じて、ユーザにより選択された１つの前記ブロックに配置された前記演奏コンテンツデータを、ユーザにより選択された別の演奏コンテンツデータに変更するステップと、ユーザによる再生指示に応じて、ユーザによる再生指示に応じて、ユーザにより選択された１又は複数のブロックに配置された前記演奏コンテンツデータのビデオデータに基づく動画を再生し、且つ、該選択された１又は複数のブロックに配置された前記演奏コンテンツデータのオーディオデータに基づく各演奏音を再生するステップとを前記コンピュータに実行させることを特徴とするプログラムである。

更に、この発明は、複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する音楽作成システムであって、前記演奏コンテンツデータはビデオデータとオーディオデータとからなり、前記音楽作成システムは、ネットワークにより接続されたサーバとクライアント端末からなり、前記サーバは、前記複数の演奏コンテンツデータを記憶するデータベースを備え、前記クライアント端末は、前記サーバの前記データベースから１つの前記音楽作品を構成する複数の演奏コンテンツデータを取得する取得手段と、前記取得した複数の演奏コンテンツデータを表示するためのマトリクス状に配列された複数のブロックを備えた音楽作成画面を表示するステップであって、前記各ブロックは前記演奏コンテンツデータのビデオデータに基づく動画を再生可能なものと、ユーザによる変更指示に応じて、前記サーバの前記データベースからユーザにより選択された１つの演奏コンテンツデータを取得して、前記選択されたブロックの演奏コンテンツデータを、前記取得した前記演奏コンテンツデータに変更する変更手段と、ユーザによる再生指示に応じて、ユーザによる再生指示に応じて、ユーザにより選択された１又は複数のブロックに配置された前記演奏コンテンツデータのビデオデータに基づく動画を再生し、且つ、該選択された１又は複数のブロックに配置された前記演奏コンテンツデータのオーディオデータに基づく各演奏音を再生する再生手段とを備えることを特徴とする音楽作成システムである。

この発明によれば、ビデオデータとオーディオデータとからなる演奏コンテンツデータを利用して簡単に音楽作品を作成できるようにした音楽作成方法、装置、システム及びプログラムを提供することができ、かかる簡便な音楽作成ツールを提供することにより、演奏の技術の程度に関わらず、音楽作りに興味を持つたくさんの人たちが、音楽制作というクリエイティブな楽しみを味わうことができる、という優れた効果を奏する。

本発明の一実施形態であるソング作成画面を説明する図。本発明の一実施形態として音楽作成システムを説明するブロック図。図２のクライアント端末の電気的ハードウェア構成例を示すブロック図。図２のクライアント端末において演奏コンテンツデータを再生するための機構を説明するブロック図。図２のコンテンツ提供サーバにおけるソングコンテンツデータベースのデータ構成を説明する図。図２のコンテンツ提供サーバで記憶するソングシナリオのデータ構成を説明する図。図２の音楽作成システムにおけるソング作成処理の流れを説明するフローチャート。ブロックに対する演奏コンテンツデータの登録処理を説明するフローチャート。ブロック内の演奏コンテンツデータを別の演奏コンテンツデータに変更する変更処理を説明するフローチャート。演奏コンテンツデータを再生する際の同期処理を説明するフローチャート。図４に示す演奏コンテンツデータ再生機構の変形例を説明するブロック図。

以下、添付図面を参照して、本発明の音楽作成方法、装置及びプログラムの一実施形態を説明する。

図１は、本発明の一実施形態に係るソング作成画面（音楽作成画面）の一例を説明する図である。ソング作成画面１０は、複数の演奏コンテンツデータ１５の組み合わせにより１つの「ソング」を作成するための画面である。１つの「ソング」は、例えば１曲分の音楽作品（楽曲）である。各演奏コンテンツデータ１５は、音楽演奏を表す動画（ビデオデータ）と演奏音（オーディオデータ）とからなる。演奏音は、例えば楽器の演奏音や、歌唱音声など、音楽演奏を表す何らかのオーディオデータである。

ソング作成画面１０は演奏コンテンツデータ表示部１１を備える。演奏コンテンツデータ表示部１１は、１つの音楽作品を構成する複数の演奏コンテンツデータ１５を表示するためのマトリクス状に配列された複数のブロック１４を備える。各ブロック１４は、それぞれ１つのコンテンツデータ１５を表示しており、表示された演奏コンテンツデータ１５のビデオデータに基づく動画を再生可能である。すなわち、各ブロック１４に表示される演奏コンテンツデータ１５は、動画再生機として機能する表示要素である。

図１の例では、マトリックス状に配列された複数のブロック１４は、一方の軸（図１の例では横軸）に音楽作品を構成する時間軸１３をとり、他方の軸（図１の例では縦軸）に前記音楽作品を構成する複数の演奏音の種類（パート）１２をとる。時間軸１３は、一例として、１つのソングを構成する複数の曲構成要素毎の時間区間（セクション）を単位とする。

各セクション１３は、それぞれ、例えば「イントロ」、「Ａメロ」、「Ｂメロ」・・・「エンディング」といった曲構成要素に対応付けられている。１つのセクション１３に属するブロック１４には、そのセクション１３に対応付けられた曲構成要素を内容として持つ演奏コンテンツデータ１５が配置される。各セクション１３は、一例として図上左から右へ向かって、１つのソングの時間進行を表すように、時系列順に配列される。各セクション１３は、それぞれ所定の再生時間長を持ち、１つのソング全体の再生時間長は、複数のセクション１３の再生時間長全体で規定される。１つのセクション１３の表示幅（横幅）は、ブロック１４に配置される演奏コンテンツデータ１５の表示サイズに基づいて設定される。すなわち、１つのセクション１３は、時間軸（時間区間）を表しているが、その横幅は、１つのセクションの再生時間長に対応付けられてはいない。各演奏コンテンツデータ１５は、セクション１３が規定する時間軸に沿って横一列に配列されるが、演奏コンテンツデータ１５の画像の横幅は時間軸に対応付けられていない。

また、各パート１２は、それぞれ、例えばボーカル（「Ｖｏ」）、キーボード（「ＫＢ」）、ベース（「Ｂａ」）、ドラムス（「Ｄｒ」）・・・など、演奏音の種類（すなわち楽器種類）に対応付けられている。１つのパート１２には、そのパートに対応する演奏音を持つ演奏コンテンツデータが配置される。画面１０におけるパート１２の配列順は、任意に設定されてよい。

すなわち、ソング作成画面１０の演奏コンテンツデータ表示部１１は、パート１２とセクション１３との２軸により分割されたブロック１４単位で、１つの「ソング」を構成する複数の演奏コンテンツデータ１５を管理できる。各ブロック１４に配置される演奏コンテンツデータ１５は、具体的には、或る曲の或るメロディー部分（例えば「Ａメロ」）のボーカルパートであるとか、或いは、該メロディー部分のドラムスの演奏などであり得る。

なお、演奏コンテンツデータ表示部１１の変形例として、縦軸にセクションをとり、横軸にパートをとるように構成してもよい。また、マトリックス状に配列された複数のブロック１４の縦軸及び横軸に対応付ける要素は、例示したパート１２とセクション１３に限定されず、音楽作品を分類及び管理するための２種類の要素でさえあれば、どのようなものでもよい。

ユーザは、ソング作成画面１０上で、所望のブロック１４を選択し、選択したブロック１４に配置する演奏コンテンツデータ１５を任意に変更及び編集できる。演奏コンテンツデータ１５の変更指示は一例として、演奏コンテンツデータ表示部１１とは別の領域に表示された演奏コンテンツデータ選択部２０から行う。演奏コンテンツデータ選択部２０は、ユーザにより選択されたブロック１４に配置可能な１又は複数の演奏コンテンツデータ１５を示す選択候補情報を、一覧表示する。選択候補情報は、例えばコンテンツデータ１５の動画のサムネイル画像２１と、名称、評価、コメントなどを含む各種情報２２とを含む各種属性情報である。

また、ソング作成画面１０は再生コントロール部３０を備えている。再生コントロール部３０は、再生ボタン画像３１、一時停止ボタン画像３２及び停止ボタン画像３３を備える。ユーザは、再生コントロール部３０の各ボタン３１〜３３を用いて、１又は複数のブロック１４に配置された各演奏コンテンツデータ１５の再生動作を制御する。演奏コンテンツデータ１５の再生は、一例として、セクション１３単位で行う。その場合、再生対象として選択された１つのセクション１３に属する一部又は全部のパート１２（つまり、当該セクション１３に該当する１行に並べられた一部又は全部のブロック１４）の演奏コンテンツデータ１５を同時並行的に再生できる。別の例として、複数のセクション１３を再生対象として演奏コンテンツデータ１５を再生すること、あるいは、全セクション１３（１つのソング全体）を再生対象として演奏コンテンツデータ１５を再生することもできる。各演奏コンテンツデータ１５の画像にはミュートボタン１６が含まれており、ブロック１４毎に演奏コンテンツデータ１５の再生音のミュートオン・オフを制御できる。また、パート１２単位で複数の演奏コンテンツデータ１５の再生音のミュートオン・オフを一括制御できるように、再生制御用の画像部品が構成されてもよい。また、ブロック１４単位、セクション単位１３、パート１２単位、又は、１ソング全体単位で、動画再生処理のオン・オフ、及び、オーディオ再生処理のオン・オフを指示できるように、再生制御用の画像部品が構成されてもよい。

上記のソング作成画面１０をディスプレイに表示することが、前記１つの音楽作品を構成する前記複数の演奏コンテンツデータを表示するためのマトリクス状に配列された複数のブロックを備えた音楽作成画面を表示するステップ乃至表示手段に相当する。ソング作成画面１０において、複数の演奏コンテンツデータ１５を、マトリクス状に配列されたブロック単位で管理、再生、編集及び変更できる構成により、ユーザは、例えば１つの楽曲をなす合奏の様子など、複数の演奏の内容を動画再生により視覚的に理解しつつ、簡単に、演奏コンテンツデータを組み合わせた音楽作品の作成を行うことができる。そして、動画を含む演奏コンテンツデータを用いた簡便な音楽作成ツールを提供することにより、演奏の技術の程度に関わらず、音楽作りに興味を持つたくさんの人たちが、音楽制作というクリエイティブな楽しみを味わうことができる。一例として、ソング作成画面１０で作成した音楽作品は、ソング作成画面１０とは別のソング再生画面で再生できる。ソング再生画面は、例えば、同一セクション毎に各パートの演奏コンテンツデータの動画を１ページにまとめた画面や、或いは、同一セクション毎に各パートの演奏コンテンツデータの動画をコンサートステージのような背景画像に合成した画面などであり得る。

図２は、本発明の一実施形態である音楽作成システムの全体構成図である。音楽作成システムは、複数のクライアント端末１００とコンテンツ提供サーバ２００とを通信ネットワーク３００によりデータ通信可能に接続して成る。クライアント端末１００は、図１のソング作成画面１０を表示部に表示し、音楽作成装置として機能するコンピュータであり、汎用のパーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、スマートフォンなど、任意のコンピュータ装置を適用できる。

コンテンツ提供サーバ２００は、通信ネットワーク３００に接続されたサーバコンピュピュータであり、後述するソングコンテンツデータベースを備え、クライアント端末１００に演奏コンテンツデータを含む各種データを提供できる。また、サーバ２００は、クライアント端末１００を本発明の演奏コンテンツデータ作成装置として機能させるためのアプリケーションプログラムの提供や、コンテンツ提供サーバ２００の提供する各種サービスを利用するユーザの管理などを行う。

通信ネットワーク３００は、例えばインターネットであるが、それに限らず、コンテンツ提供サーバ２００と複数のクライアント端末１００との間で後述する各種データの通信を行う能力を有してさえいれば、どのようなデータ通信ネットワークでもよい。

図３は、クライアント端末１００の電気的ハードウェア構成を示すブロック図である。クライアント端末１００は、中央処理装置（ＣＰＵ）１１０、リードオンリーメモリ（ＲＯＭ）１１１、ランダムアクセスメモリ（ＲＡＭ）１１２、表示制御回路１１３、操作検出回路１１４、通信インタフェース１１５（通信Ｉ／Ｆ）、オーディオインタフェース１１６（オーディオＩ／Ｆ）及び記憶装置１１７を備え、各部が通信バス１１８を介して接続される。

ＣＰＵ１１０は、ＲＯＭ１１１又はＲＡＭ１１２に記憶された各種ソフトウェアプログラムを実行して、クライアント端末１００の全体動作を制御する。ＲＯＭ１１１は、ＣＰＵ１１０が実行する各種のプログラムや各種のデータなどを格納した不揮発性メモリである。ＲＡＭ１１２は、ＣＰＵ１１０が実行するプログラムのロード領域やワーク領域に使用される。

表示制御回路１１３には、例えば液晶ディスプレイからなる表示部１２０が接続される。表示制御回路１１３は、ＣＰＵ１１０からの指示に基づいて、表示部１２０にソング作成画面１０（図１）を含む各種情報を表示する。操作検出回路１１４には、例えばキーボード、マウスなどを含む操作部１２５が接続される。ユーザは、操作部１２５を用いて、表示部１２０の画面上に表示したＧＵＩ（graphical user interface）に対する各種操作を行う。ＣＰＵ１１０は、操作検出回路１１４の検出した操作イベント取得して、該取得した操作イベントに対応する処理を行う。

クライアント端末１００は、通信Ｉ／Ｆ１１５を介して通信ネットワーク３００に接続される。通信Ｉ／Ｆ１１５は、例えばイーサネット（登録商標）など任意のネットワークインタフェースである。クライアント端末１００は、更に、例えばＵＳＢ（Universal Serial Bus）端子など、周辺機器を接続する周辺機器インタフェース１１９を具備する。周辺機器は、例えばデジタル楽器、ビデオカメラ、或いは、オーディオレコーダなどである。

オーディオＩ／Ｆ１１６は、オーディオ信号の入力ポート及び出力ポートと、ＡＤ変換部と、ＤＡ変換部とを含み、図示外の入力機器（例えばマイク）及び／又は出力機器（例えばスピーカ）に接続される。クライアント端末１００は、オーディオＩ／Ｆ１１６からアナログオーディオ信号を出力及び／又は入力できる。

記憶装置１１７は、例えばハードディスク、ＦＤ（フレキシブルディスク又はフロッピー（登録商標）ディスク）、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスク）、あるいは、フラッシュメモリ等の半導体メモリからなり、クライアント端末１００で使用する各種データを記憶し得る。

図４は、クライアント端末１００における演奏コンテンツデータ再生機構の構成例を説明するブロック図である。クライアント端末１００のハードウェア１４０は、例えばＰＣ、タブレット型コンピュータ、スマートフォンなど任意の汎用コンピュータ装置であり、ディスプレイ（表示部）１２０及びスピーカ１３０を含む各種ハードウェア要素（図３参照）を具備する。

オペレーティングシステム（ＯＳ）１５０は、例えばWindows（登録商標）、iOS（登録商標）、Linux（登録商標）などの基本ソフトウェアであり、ディスプレイ（表示部）１２０を制御するディスプレイドライバ１５１とスピーカ１３０を制御するスピーカドライバ１５２とを含む、ハードウェア要素を制御する機能を提供する。

ブラウザ１６０は、例えばGoogleChrome（登録商標）、FireFox（登録商標）、Safari（登録商標）など周知のＷｅｂブラウザである。ＣＰＵ１１０は、ブラウザ１６０に、図１に示すコンテンツ再生画面１０を表示する。ブラウザ１６０には、ソフトウェア処理によりビデオ再生（動画再生）処理を実現するビデオ再生処理部１６１と、ソフトウェア処理によりオーディオ再生処理を実現するオーディオ再生処理部１６２とが具備される。ビデオ再生処理部１６１は、前記コンテンツ再生画面１０の各ブロック１４に表示されたコンテンツデータ１５のビデオデータに基づく動画の再生処理を行う。オーディオ再生処理部１６２は、各ブロック１４に表示されたコンテンツデータ１５のオーディオ再生処理を行う。すなわち、複数のビデオファイル１７０に基づく動画の再生と、複数のオーディオファイル１８０に基づくオーディオ信号の再生は、それぞれ、ビデオ再生処理部１６１とオーディオ再生処理部１６２という独立したモジュールにより、別々に管理される。

複数のビデオファイル１７０及び複数のオーディオファイル１８０は、ソング作成画面１０の各ブロック１４に現在配置されている演奏コンテンツデータ１５に含まれるビデオデータ及びオーディオデータのデータファイルである。

ビデオ再生処理部１６１は、再生すべき１又は複数のビデオファイル１７０に基づく１又は複数の動画を略同時に再生して、ディスプレイドライバ１５１に出力する。オーディオ再生処理部１６２は、再生すべき１又は複数のオーディオファイル１８０を、１系統のオーディオ信号（例えば２チャンネルのステレオ信号）に混合して再生し、スピーカドライバ１５２へ出力する。オーディオ再生処理部１６２は、各種エフェクト付与、音量制御などの音特性制御や、複数の演奏音のミックスダウンなども行う。

一例として、ブラウザ１６０は、“ＨＴＭＬ５”仕様に準拠するＷｅｂブラウザであり、この仕様のＷｅｂブラウザに実装されたマルチメディア要素を用いたソフトウェア処理により、ビデオ再生処理部１６１とオーディオ再生処理部１６２とを実現できる。この場合、ビデオ再生処理部１６１は、ビデオファイル１７０毎にビデオ再生モジュールを用意して、描画処理によりビデオ再生モジュール毎の動画を生成する。ビデオ再生モジュール毎に生成された動画は、Ｃａｎｖａｓ要素を用いて、それぞれ、ブラウザ１６０上の描画領域（各ブロック１４に対応する領域）に描画される。つまり、ビデオ再生処理部１６１は、ビデオファイル１７０毎に独立した複数のビデオ再生処理を行い、各ビデオ再生処理により生成した複数の動画をブラウザ１６０上に並列的に出力する。

オーディオ再生処理部１６２は、複数のＡｕｄｉｏＮｏｄｅ要素と、それらの接続状態を管理するＡｕｄｉｏＣｏｎｔｅｘｔからなり、複数のＡｕｄｉｏＮｏｄｅ要素とそれらの接続状態に従って、１つのオーディオ再生処理を実現する。複数のＡｕｄｉｏＮｏｄｅ要素は、オーディオファイル１８０毎のオーディオ再生モジュールや、各種エフェクト付与要素や、音量制御要素や、ミキサ要素などといった各種オーディオ処理要素である。オーディオファイル１８０毎の複数のオーディオ信号は、フィルタ処理や音量制御等された後、例えば２チャンネルステレオ信号にミックスダウンして出力される。

再生制御モジュール１６３は、ユーザによる再生指示（再生コントロール部３０の各ボタン３１〜３３の操作）に基づいて、ビデオ再生処理部１８１のビデオファイル１７０毎のビデオ再生処理と、オーディオ再生処理部１６２のオーディオファイル１８０毎のオーディオ再生処理とのそれぞれの動作を制御する。制御される動作は、再生開始、再生一時停止、および、再生停止を含む。

再生位置制御モジュール１６４は、再生位置制御モジュール１６４は、オーディオ再生処理部１６２から現在のオーディオ信号の再生位置を取得して、取得した現在のオーディオ信号の再生位置に基づいて、ビデオファイル１７０毎の動画の再生位置を決定する。再生位置制御モジュール１６４は、決定した動画再生位置からビデオファイル１７０毎の動画の再生を開始するように、ビデオ再生処理部１６１を制御する。この再生位置制御モジュール１６４が、オーディオ信号と動画を同期させる同期機構として機能する。ここでオーディオ信号と動画の同期とは、オーディオ信号の再生位置に動画の再生位置を合わせることである。この同期機構が定期駆動されることにより、オーディオ信号の再生位置と動画の再生位置とにズレが生じる毎に、オーディオ信号の再生位置に合わせて動画の再生位置が補正される。なお、再生位置は先頭位置からの再生経過時間に対応する。

図５は、コンテンツ提供サーバ２００に備わるソングコンテンツデータベース２１０のデータ構成例を説明する図である。図５に示す通り、ソングコンテンツデータベース２１０は、複数のソングコンテンツ２２０を記憶する。各ソングコンテンツ２２０はそれぞれ名称（ソング名）２２１が付けられている。１つのソングコンテンツ２２０は、１曲分の音楽作品（楽曲）に対応する。

１つのソングコンテンツ２２０は、複数のセクションデータ２３０により構成される。１ソング内の複数のセクションデータ２３０は、イントロ、Ａメロ、Ｂメロ・・・エンディング等のセクション１３毎に１つずつ用意される。１つのセクションデータ２３０は名称（セクション名）２３１と、再生時間データ２３２を有する。再生時間データ２３２は、対応するセクション１３の再生時間長を表すデータである。例えば、或る「イントロ」セクションの時間長が１５秒とすると、その再生時間データ２３２は「１５秒」を表すデータである。

１つのセクションデータ２３０は、複数のパートデータ２４０により構成される。１つセクション２３０内の複数のパートデータ２４０は、ボーカル、キーボード、ベース、ドラムス・・・など楽器種類（パート１２）毎に１つずつ用意される。各パートデータ２４０は名称（「ボーカル」など、対応するパートのパート名）２４１を持つ。１つのパートデータ２４０には、１又は複数の演奏コンテンツデータ２５０が登録される。１つのパートデータ２４０に登録される１又は複数の演奏コンテンツデータ２５０は、対応するブロック１４（１つのセクション１３の１つのパート１２）に配置可能な演奏コンテンツデータ２５０の選択候補である。パートデータ２４０に登録された１又は複数の演奏コンテンツデータ２５０のうち１つの演奏コンテンツデータ２５０が、対応するブロック１４（１つのセクション１３の１つのパート１２）に配置される。

１つの演奏コンテンツデータ２５０は、ビデオファイル１７０へのリンクデータ２５１、及び、当オーディオファイル１８０へのリンクデータ２５２を持ち、ビデオファイル１７０及びオーディオファイル１８０に対応付けられている。ビデオファイル１７０及びオーディオファイル１８０自体は、ソングコンテンツデータベース２１０とは別の領域（ビデオ／オーディオデータベース）に記憶される。ビデオファイル１７０及びオーディオファイル１８０は、それぞれ独立したファイルとして、分離して記憶される。なお、ビデオファイル及びオーディオファイルが、対応するコンテンツデータ２５０の中に含まれてもよい。

また、演奏コンテンツデータ２５０は、一例として、開始時間データ２５３と、音量データ２５４とを持っていてもよい。開始時間データ２５３は、演奏コンテンツデータ２５０の先頭位置を規定するデータである。コンテンツデータ２５０を先頭から再生するとき、開始時間データ２５３の示す時間位置から、当該演奏コンテンツデータ２５０の再生が開始する。開始時間データ２５３は、同時に再生すべき複数のコンテンツデータ２５０相互の再生開始タイミングを揃えるように設定される。音量データ２５４は、コンテンツデータ２５０の音量を表しており、典同時に再生すべき複数のコンテンツデータ２５０相互の音量を揃えるように設定される。なお、演奏コンテンツデータの再生時に、同時に再生すべき複数の演奏コンテンツデータの再生開始タイミングと音量とを揃えることができれば、開始時間データ２５３と音量データ２５４とを持たない構成であってもよい。一例として、ビデオファイル及びオーディオファイルをノーマライズ（自動調整）した後に演奏コンテンツデータ２５０を記憶する場合、開始時間データ２５３と音量データ２５４とは不要である。別の例として、ユーザが指定した開始時間と音量とによりビデオファイル及びオーディオファイルを修正（手動調整）した後に演奏コンテンツデータ２５０を記憶する場合、開始時間データ２５３と音量データ２５４とは不要である。

１つの演奏コンテンツデータ２５０は、更に、サムネイル画像、エフェクタデータ、評価、ユーザコメント、タグ等を含む各種属性情報２５５を持つ。サムネイル画像は、当該演奏コンテンツデータ２５０のビデオファイルから切り出した静止画データである。エフェクタデータは、エフェクタの種類と、その設定値を含む。評価は、１又は複数のユーザから寄せられた、例えば「星の数」による評価である。コメントは、１又は複数のユーザから寄せられた意見、注釈などを含み得る。評価及びユーザコメントは、通信ネットワーク３００で接続された複数のクライアント端末１００のユーザ同士によるソーシャルネットワーク活動に寄与する。タグは、任意の分類語（例えば作者名や、音楽ジャンル、演奏のレベル）や、他の演奏コンテンツデータとの関連付けなど、演奏コンテンツデータ２５０を検索するための検索キーワードとして使用される。

なお、各種属性情報２５５は、演奏コンテンツデータ２５０毎に記憶する構成に限らず、例えば、パートデータ２４０毎、セクションデータ２３０毎、或いは、ソングコンテンツ２２０毎に記憶されてもよいし、これらのデータ２２０〜２５０の全て又は一部に記憶されてもよい。

１つのソングを表すデータ構造の別の例として、コンテンツ提供サーバ２００は、１又は複数のソングシナリオ２６０を記憶してもよい。前述したソングコンテンツ２２０が、各ブロック１４に配置可能な演奏コンテンツデータ２５０の集合であるのに対して、ソングシナリオ２６０は、ソングコンテンツ２２０の可変要素、すなわち、各ブロック１４に配置する１つの演奏コンテンツデータ２５０を特定したデータである。ソングシナリオ２６０は、ユーザが任意に選択した複数の演奏コンテンツデータ２５０の組み合わせからなる１つの音楽作品を表す。

図６は、ソングシナリオ２６０のデータ構成例である。１つのソングシナリオ２６０は、その名称（ソングシナリオ名）２６１と、１つのソングコンテンツ２２０へのリンク２６２とを持っており、ソングコンテンツデータベース２１０内の１つのソングコンテンツ２２０に対応付けられている。

１つのソングシナリオ２６０は、複数のセクションデータ２６３からなり、各セクションデータ２６３は複数のパートデータ２６４からなる。セクション及びパートの構成は、対応付けられた１つのソングコンテンツ２２０と同様である。そして、各パートデータ２６４は、１つの演奏コンテンツデータ２５０へのリンクデータ２６５を内容とする。リンクデータ２６５は、当該パートデータ２６４に対応するパートデータ２４０に選択候補として登録された複数の演奏コンテンツデータ２５０のうち１つを、当該リンクデータ２６５が属する１つのパート（つまり１つのブロック１４）に配置する１つの演奏コンテンツデータ２５０として指定する。

ソングシナリオ２６０の各パートデータ２６４には、演奏コンテンツデータに対する開始時間オフセットデータ２６６と音量オフセット２６７とが設定される。開始時間オフセットデータ２６６は、演奏コンテンツデータの規定の開始時間（例えばデータ先頭又は開始時間データ２５３）からの調整値（オフセット）であり、音量オフセット２６７は演奏コンテンツデータの規定の音量値（例えば音量データ２５４）からの調整値（オフセット）である。更に演奏コンテンツデータに対するエフェクト設定や、コメント、評価等の各種属性情報を、前述したソングコンテンツ２２０とは独立に、ソングシナリオ２６０に記憶するようにしてもよい。

次に、クライアント端末１００のソング作成画面１０において、ユーザがソングコンテンツ２２０又はソングシナリオ２６０（以下、両者を区別しない場合は「ソング」と総称する）を任意に作成及び編集する手順について説明する。図７は、ソングを作成及び編集する処理全体を示すシーケンス図であり、クライアント端末１００とサーバ２００との通信により処理が進行する。

ステップＳ１において、クライアント端末１００は、通信ネットワーク３００経由でコンテンツ提供サーバ２００をアクセスし、サーバ２００が提供するソング編集・作成サービスにログインする。例えば、クライアント端末１００のＣＰＵ１１０は、Ｗｅｂブラウザ１６０を用いて表示部１２０にサーバ２００から取得したログインインページを表示し、ログインページにおいて例えばユーザ名と認証パスワードを入力することで、サーバ２００００のサービスにログインする。

ステップＳ２において、サーバ２００は、ログインしたクライアント端末１００にフロントページの情報を送信する。クライアント端末１００は、Ｗｅｂブラウザ１６０を用いて表示部１２０にフロントページを表示して、ユーザによるソングコンテツ又はソングシナリオの選択を受け付ける。

一例として、フロントページは、入力された検索語に基づきソングコンテンツ２２０の選択候補を表示する検索画面である。検索語は、例えばソング名２２１や、演奏コンテンツデータのタグ等の属性情報２５５を用いる。検索結果は、例えばユーザによる評価順、検索語との一致度の高い順、名前順、作成日付順、作成者に基づく順番など、任意の順序で表示してよい。フロントページの別の例として、入力された検索語に基づき１つのソングシナリオ２６０を選択できるようにしてもよい。検索語としては、例えばソングシナリオ名２６１や、演奏コンテンツデータのタグ等の属性情報２５５を利用できる。

更に、別の例として、先ず、１つのソングコンテンツ２２０を検索及び選択した後に、そのソングコンテンツ２２０にリンクする全てのソングシナリオ２６０を一覧表示して、その一覧表示中から１つのソングシナリオ２６０を選択できるようにしてもよい。更に別の例として、フロントページから演奏コンテンツデータ２５０を検索できてもよい。

フロントページの表示構成例として、ユーザたちの間での情報共有、メッセージ交換、ユーザの検索などを行うソーシャルネットワーク機能を備えてもよい。ソーシャルネットワーク機能を用いて、例えば、自作のソングの提示、推薦、他のユーザによる活動の提示などを行い得る。

クライアント端末１００は、前述したフロントページにおいて選択されたソングをサーバ２００に通知する（ステップＳ３）。サーバ２００は、クライアント端末１００に対して、該選択されたソングに関するソング作成画面１０を送信する（ステップＳ４）とともに、ソング作成画面１０に必要な１又は複数の演奏コンテンツデータのビデオファイル及びオーディオファイルをクライアント端末１００に送信する（ステップＳ５）。クライアント端末１００は、サーバ２００から送信された１又は複数の演奏コンテンツデータのビデオファイル１７０及びオーディオファイル１８０（図４参照）を、ＲＡＭ１１２又は記憶装置１１７に保存する。そして、クライアント端末１００のＣＰＵ１１０は、前記ステップＳ４、Ｓ５で送信された情報に基づいて、表示部１２０にソング作成画面１０を表示し、且つ、各ブロック１４内に演奏コンテンツデータ１５を表示する。

ソングコンテンツ２２０が選択された場合は、一例として、前記ステップＳ５において、サーバ２００は、ソング作成画面１０の各ブロック１４に初期設定として配置されている演奏コンテンツデータに該当するビデオファイル１７０及びオーディオファイル１８０を送信する。別の例では、各ブロック１４に演奏コンテンツデータが初期設定されておらず、サーバ２００は、前記ステップＳ５において演奏コンテンツデータ２５０を送信しない。その場合。各ブロック１４は演奏コンテンツデータが未配置（すなわち空の状態）である。

ソングシナリオ２６０が選択された場合は、前記ステップＳ５において、サーバ２００は、そのソングシナリオ２６０を構成する複数の演奏コンテンツデータ２５０（すなわち各ブロック１４に配置されている演奏コンテンツデータ２５０）のビデオファイル１７０及びオーディオファイル１８０を送信する。

別の例として、前記ステップＳ５において、サーバ２００は、演奏コンテンツデータのビデオファイル１７０及びオーディオファイル１８０をクライアント端末１００に送信せずに、例えば各ブロック１４内に表示する情報（例えば動画の一場面の静止画像データ）のみをサーバ２００からクライアント端末１００に送信しておく。その後、必要に応じて（例えば再生指示に応じて）、サーバ２００が、ビデオファイル１７０及びオーディオファイル１８０をクライアント端末１００に送信してもよい。

ステップＳ６において、ユーザは、ソング作成画面１０の所望のブロック１４に、ユーザが新規に作成した演奏コンテンツデータを新規登録（アップロード）できる。演奏コンテンツデータ２５０の新規登録（アップロード）手順の一例について説明する。なお、クライアント端末１００は、前記ステップＳ５の新規登録処理を、前記ステップＳ１２において演奏コンテンツデータを受け取ってからサービスからログアウトするまで（後述のステップＳ１４）の間、任意のタイミングで行われてよい。

図８は、クライアント端末１００側で実行される演奏コンテンツデータ２５０の新規登録手順を説明するフローチャートである。ユーザは、まず、新規登録すべき演奏コンテンツデータを作成する。ユーザは、ソング作成画面１０上で、登録先となるブロック１４を１つ選択し、ソング又はセクションの再生を指示し（ステップＳ１５）、再生音に合わせて、演奏を録画及び録音する（ステップＳ１６）。ＣＰＵ１１０は、録画及び録音された演奏を内容とする演奏コンテンツデータを作成し、作成した演奏コンテンツデータを適宜のメモリ（例えばＲＡＭ１１２又は記憶装置１１７）に一時記憶する。前記ステップＳ１５で１つのソング全体の再生を指示する場合は、再生対象として１つのソングシナリオ２６０を指定する。１つのセクションを再生する場合は、再生対象として１つのソングコンテンツデータ又はソングシナリオ中のセクションを指定する。なお、ソング又はセクションを再生するためのテンポは、ソング毎に予め決められているものとする。

前記ステップＳ１５において、ソング又はセクションの再生処理は、一例として、全パート１２のオーディオ再生と動画再生とを行う。なお、演奏コンテンツデータの再生処理の細部は後述する。別の例として、この再生処理は、動画再生せずにオーディオ再生処理のみを行う。また、別の例において、この再生処理は、登録先となるブロック１４に対応するパートを除いた複数パート１２を再生（すなわちマイナスワン演奏）することであってよい。更に別の例として、この再生処理は、クリック音のみを再生することであってもよい。

また、前記ステップＳ１６の録画及び録音処理において、撮影機器は、例えばビデオカメラ、ＰＣあるいはスマートフォンなどのクライアント端末１００とは別体の撮影機器、若しくは、クライアント端末１００に内蔵の撮影機器（例えばＰＣのＷｅｂカメラ）など任意の撮影機器である。また、録音機器は、例えばオーディオレコーダや録音機能を有するデジタル楽器等などクライアント端末１００とは別体の録音機器、もしくは、クライアント端末１００に内蔵の録音機器（例えば端末本体に内蔵のマイク）など任意の録音機器である。ユーザは、録画と録音とを、同時に行っても良いし、それぞれ独立して行っても良い。なお、ビデオファイルの代わりに１又は複数の静止画ファイルを作成し、演奏コンテンツデータ１５の動画の代わりに、１又は複数の静止画ファイルをブロック１４内で再生するように構成してもよい。また、オーディオファイルの代わりに、演奏内容を表すＭＩＤＩファイルを作成してもよい。

前記ステップＳ１６の録画及び録音処理は、一例として、ソング作成画面１０上で行い得る。この場合、ユーザは、今回の新規登録先に指定されたブロック１４に、撮影中の映像をリアルタイムで表示しながら、録画及び録音を行う。この構成によれば、自分で演奏するパート以外の複数のパートを表す動画をソング作成画面１０上で再生しつつ、同じ画面１０上で自身のリアルタイム演奏を録画・録音できるので、あたかも自分以外のパートの演奏ととも自分の演奏を行っているかのような、臨場感及び／又は一体感を持って、演奏を録画・録音することができる。更に、ソング作成画面１０は、前記自分以外のパートの演奏として、通信ネットワーク３００を介して他のクライアント端末１００からリアルタイム配信された他人のリアルタイム演奏を表示できるように構成してもよい。なお、リアルタイム入力された演奏コンテンツデータ２５０（動画及び音声）を、通信ネットワーク３００越しに複数のクライアント端末１００間でリアルタイムデータ通信すること自体は、周知技術を利用して実現できる。この構成によれば、通信ネットワーク３００を介して接族された複数のクライアント端末１００のユーザは、ソング作成画面１０上でお互いのリアルタイム演奏を視覚的に確認しながら、該通信ネットワーク３００越しに略リアルタイムで合奏を行い、その合奏を録画及び録音できる。

ソング作成画面１０上で録画及び録音を行う場合の変形例として、撮影中の演奏映像を、例えばポップアップウィンドウなど、ソング作成画面１０とは別のウィンドウに表示するようにしてもよい。この場合、当該ユーザ自身の演奏以外のパート１２は、ブロック１４内での動画再生を行わず、オーディオ再生のみを行うとよい。こうすることで、クライアント端末１００にとって処理負担の軽い録画・録音環境を提供できる。

ステップＳ１７において、クライアント端末１００は、前記ステップＳ１６で作成した演奏コンテンツデータのビデオファイル及びオーディオファイルを、コンテンツ提供サーバ２００にアップロードする。コンテンツ提供サーバ２００は、アップロードされたビデオファイル１７０及びオーディオファイル１８０を所定の保存場所（ビデオ／オーディオデータベース）に記憶するとともに、ソングコンテンツデータベース２１０内の登録先ブロック（或るソングの或るセクション内の或るパート）に、アップロードされた演奏コンテンツデータ２５０を登録する。これにより、今回新規に作成した演奏コンテンツデータが当該ブロックに配置可能な選択候補の１として新規登録される。

前記ステップＳ１７のアップロードに際して、ユーザは、登録先のセクション及びパートと、名称と、ビデオファイル及びオーディオファイルの再生開始位置及び音量とを手動で指定できる。別の例として、サーバ２００が適当な再生開始位置及び音量を自動的に算出してもよい。サーバ２００は、ユーザに指定された又は自動的に算出した再生開始位置及び音量を、ソングコンテンツ２２０内の当該演奏コンテンツデータ２５０に含まれる開始時間２５３及び音量データ２５４として設定する。このように、登録時に演奏コンテンツデータ２５０に含まれる開始時間２５３及び音量データ２５４を設定しておくことで、演奏コンテンツ再生時の処理負荷を減らす。

また、一例として、コンテンツ提供サーバ２００は、必要に応じて、アップロードされたビデオファイルの画面サイズを縮小することにより、データサイズを削減してもよい。別の例として、アップロードする演奏コンテンツデータは、ビデオファイル又はオーディオファイルのいずれか一方だけであってもよい。オーディオファイルがアップロードされなかった場合、コンテンツ提供サーバ２００は、ビデオファイルに含まれるオーディオデータから、演奏コンテンツデータ用のオーディオファイルを作成してもよい。周知の通り、一般的なビデオファイルは撮影時の音を録音したオーディオファイルを含んでいる。従って、ビデオファイルの録画とは独立してオーディオファイルの録音を行っていない場合であっても、録画したビデオファイルから、オーディオファイルを分離することにより、分離したオーディオファイルを、演奏コンテンツデータを構成するオーディオファイルに利用できる。

ステップＳ１８において、クライアント端末１００は、ユーザ自身による演奏コンテンツデータの一覧に、今回アップロードされた演奏コンテンツデータを追加表示して、ユーザによる調整を受け付ける。ユーザは、ソング作成画面１０において、アップロードした演奏コンテンツデータについて、再生開始位置と音量とを更に調整し得る。ソングシナリオ２６０の作成時には、この調整にて再生開始時間と音量のオフセット２６６，２６７を設定し得る。調整結果はサーバ２００に反映される。

ステップＳ１９において、クライアント端末１００は、今回アップロードされた演奏コンテンツデータを通信ネットワーク３００上のユーザに向けて公開する。これにより、ソング作成画面１０の演奏コンテンツデータ選択部２０には、選択肢の１つとして今回アップロードされた演奏コンテンツデータのサムネイルを含む各種情報が表示される。ユーザは、自身でアップロードした演奏コンテンツデータの公開範囲を制限せずに不特定多数のユーザに公開し得る。また、ユーザは、自身でアップロードした演奏コンテンツデータの公開範囲を制限してもよい。以上で、演奏コンテンツデータの新規登録のための処理が終了する。

図７に戻ると、ユーザは、ソング作成画面１０上で、選択したブロック１４内の演奏コンテンツデータ１５を、別の演奏コンテツデータ１５に変更できる（ステップＳ７〜Ｓ１０）。ソング作成画面１０上でブロック１４が選択される度に、選択されたブロック１４を対象にステップＳ７〜Ｓ１０が繰り返される（ステップＳ１１）。このステップＳ７〜Ｓ１１が、ユーザによる変更指示に応じて、ユーザにより選択された１つの前記ブロックに配置された前記演奏コンテンツデータを、ユーザにより選択された別の演奏コンテンツデータに変更するステップ乃至変更手段に相当する。

前記ステップＳ７〜Ｓ１０による演奏コンテツデータの変更処理に関する動作を説明する。まず、ユーザによるブロック選択に応じて、クライアント端末１００は、ユーザに選択されたブロックの情報をサーバ２００に送信する（ステップＳ７）。そして、サーバ２００は、選択されたブロックに配置可能な１又は複数の演奏コンテンツデータ２５０の情報を、選択候補情報として、クライアント端末１００に送信する（ステップＳ８）。

選択候補情報は、当該選択されたブロックに対応するパートデータ２４０に登録されている１又は複数の演奏コンテンツデータ２５０それぞれの、サムネイル画像、名称、作者名、評価など属性情報２５５を含む。クライアント端末１００のＣＰＵ１０は、ソング作成画面１０上の演奏コンテンツデータ選択部２０に、受信した選択候補情報に基づく、１又は複数の演奏コンテンツデータの情報を提示する。

ユーザは、演奏コンテンツデータ選択部２０から所望の１つの演奏コンテンツデータを選択して、ブロック１４の演奏コンテンツデータ１５の変更を指示する。クライアント端末１００が、選択された演奏コンテンツデータの情報をサーバ２００に通知すると（ステップＳ９）、サーバ２００は、ユーザにより選択された演奏コンテンツデータ２５０（ビデオファイル１７０及びオーディオファイル１８０）をソングコンテンツデータベース２１０から取得して、クライアント端末１００に送信する（ステップＳ１０）。クライアント端末１００は、選択されたブロック１４に、送信された演奏コンテンツデータ１５を配置する。これにより、任意のブロック１４の演奏コンテンツデータ１５を、別の演奏コンテンツデータ１５に変更できる。選択されたブロック１４に演奏コンテンツデータ１５が配置されていない場合には、今回選択された演奏コンテンツデータ１５が新規追加されることになる。

また、ユーザは、ソング作成画面１０上のブロック１４又は演奏コンテンツデータ選択部２０にて選択した演奏コンテンツデータの内容を、編集できる。編集の内容は、例えば再生開始位置、音量或いはエフェクトの調整などである。この場合、クライアント端末１００は、演奏コンテンツデータの編集内容をサーバ２００に通知する（ステップＳ９）。サーバ２００は、通知された編集内容に基づいて、データベース２１０に保存している演奏コンテンツデータ２５０の内容を上書き更新したり、或いは、新たな演奏コンテンツデータ２５０を保存したりする。編集結果は、クライアント端末１００でソング作成画面の表示に反映される。

ステップＳ１２において、ユーザがソング作成画面１０上で再生指示をした場合、クライアント端末１００は、ユーザにより選択された１つのセクション１３に属する複数のパート（一列のブロック１４）の複数の演奏コンテンツデータ１５を略同時に再生できる。１つのセクション１３の再生時間長は再生時間データ２３２により決められているので、複数の演奏コンテンツデータ１５の再生開始位置を揃えておけば、それら複数の演奏コンテンツデータ１５の再生開始位置と再生終了位置とを略一致させ得る。前述の通り、サーバ２００のデータベース２１０に演奏コンテンツデータ２５０を新規登録する時（前記ステップＳ６）、再生開始位置を設定しているので、再生処理の負荷が軽減され、再生指示操作に対するレスポンスが良い。このステップＳ１２が、ユーザによる再生指示に応じて、ユーザにより選択された１又は複数のブロック１４に配置された演奏コンテンツデータ１５のビデオデータに基づく動画を再生し（図４のビデオ再生処理部１６１の動作）、且つ、該選択された１又は複数のブロック１４に配置された前記演奏コンテンツデータ１５のオーディオデータに基づく演奏音を再生する（図４のオーディオ再生処理部１６２の動作）ステップ乃至再生手段に相当する。

前記ステップＳ１２で、セクション１３に属する全パート又は一部のパートの演奏コンテンツデータを再生（視聴）しつつ、前記ステップＳ７〜Ｓ１０により再生中のブロック１４の演奏コンテンツデータを別の演奏コンテンツデータに変更したり、前記ステップＳ６により任意のブロック１４に演奏コンテンツデータを新規登録（新規録音）したりできる。

前記ステップＳ１２によるセクション１３単位の演奏コンテンツデータの再生処理は、当該セクションの先頭から末尾まで１回再生を終えた後に自動的に停止してもよいし、ユーザにより手動停止されるまで、当該セクションの再生をループしてもよい。また、前記ステップＳ１２の再生処理は、１セクションのみを再生対象とするのに限らず、複数のセクションを再生対象にしてもよいし、或いは、１つのソング（１つのソングシナリオ２６０）全体を再生対象にしてもよい。

クライアント端末１００のユーザは、前記ステップＳ６〜Ｓ１２によって行なわれた編集の結果物を、ソングコンテンツ２２０又はソングシナリオ２６０として、サーバ２００に上書き保存又は新規保存するように指示できる（ステップＳ１３）。サーバ２００は、前記ステップＳ６〜Ｓ１２によって行なわれた編集の結果物を、ソングコンテンツ２２０又はソングシナリオ２６０として、データベース２１０に上書き保存又は新規保存する。クライアント端末１００は、ステップＳ１４において、サーバ２００が提供するソング編集・作成サービスからログアウトして、処理を終える。

上述したような音楽作成システムの構成によれば、通信ネットワーク３００を通じて不特定多数のクライアント端末１００からアップロードされた演奏コンテンツデータを、サーバ２００のソングコンテンツデータベース２１０に蓄積できる。各クライアント端末１００のユーザは、様々なユーザが投稿・作成したソングコンテンツデータ２２０、ソングシナリオ２６０、或いは、演奏コンテンツデータを視聴できる。また、ユーザは、ソング作成画面１０に配置された様々なユーザの演奏コンテンツデータ群に、自らの演奏を加えるだけで、それら様々なユーザとの合奏を、気軽に擬似体験できる。従って、ユーザは、メンバー集めに奔走したり、メンバー間の日程調整や演奏技術レベルの差異に気遣ったりすることなく、気軽に合奏を体験できる。また、自らの作成した音楽作品や演奏コンテンツデータを、他のユーザたちに公開できる。公開することにより、本音楽作成システムを利用している他のユーザとコミュニケーションをとり、より充実した音楽作品の作成を行うことができる、などの効果も期待できる。

次に、前記ステップＳ７〜Ｓ１１による演奏コンテンツデータ変更処理について説明する。図９は、クライアント端末１００のＣＰＵ１１０が実行する演奏コンテンツデータ変更処理を示すフローチャートである。

クライアント端末１００のＣＰＵ１１０は、前記図７のステップＳ３〜Ｓ９に関連して説明した通り、ユーザによるソング選択を受け付けて（ステップＳ２０）、選択されたソングに関するソング作成画面１０を表示し（ステップＳ２１）、ソング作成画面１０上で１つのブロック１４の選択を受け付けて（ステップＳ２２）、演奏コンテンツデータ選択部２０に、選択されたブロック１４に配置可能な１又は複数の演奏コンテンツデータの選択候補情報を表示し（ステップＳ２３）、ユーザは演奏コンテンツデータ選択部２０から１つの演奏コンテンツデータ（変更先の演奏コンテンツデータ）を選択する（ステップＳ２４）。要するに、ユーザは、或るソングのソング作成画面１０上で、ブロック１４を１つ選択し、且つ、選択したブロック１４に新たに配置する「変更先の演奏コンテンツデータ」を１つ選択する。

ステップＳ２５において、ＣＰＵ１１０は、前記ステップＳ２２で選択されたブロック１４に現在配置されている演奏コンテンツデータがあるかどうか調べる。選択されたブロック１４に演奏コンテンツデータが配置されていない場合（ステップＳ２５のＮＯ）、ステップＳ２６において、ＣＰＵ１１０は、前記選択されたブロック１４に、前記ステップＳ２４にて選択された「変更先の演奏コンテンツデータ」を配置する。クライアント端末１００は、サーバ２００から、「変更先の演奏コンテンツデータ」のビデオファイル１７０とオーディオファイル１８０とを取得して、取得したビデオファイル１７０をビデオ再生処理部１６１にセットし、取得したオーディオファイル１８０をオーディオ再生処理部１６２にセットする。

ステップＳ２７において、ＣＰＵ１１０は、オーディオ再生処理部１６２から現在のオーディオ信号の再生位置を取得し、該取得した現在のオーディオ信号の再生位置に基づいて、変更先の演奏コンテンツデータ２５０の動画の再生位置を決定し、該決定した動画の再生位置に基づいて、オーディオ再生処理部１６２による動画の再生位置を移動する。１つのセクション１３が再生対象の場合、ＣＰＵ１１０は、オーディオ信号及び動画の再生位置は、そのセクション１３の先頭位置を基準に決定する。１つのソング（ソングコンテンツ２２０又はソングシナリオ２６０）が再生対象の場合、ＣＰＵ１１０は、ソングの再生開始位置を加味して、オーディオ信号及び動画の再生位置を決定する。変更先の演奏コンテンツデータ２５０が開始時間データ２５３を持つ場合、ＣＰＵ１１０は、当該ステップＳ２７において、前記取得した現在のオーディオ再生位置と、そのコンテンツデータが持つ前記開始時間データ２５３に基づいて、動画の再生位置を決定する。このステップＳ２７の処理により、オーディオ再生処理部１６２から取得した現在のオーディオ再生位置に、変更先の演奏コンテンツデータ２５０の動画の再生位置を合わせることができる。また、ＣＰＵ１１０は、当該ステップＳ２７において、オーディオ再生処理部１６２から取得した現在再生中のオーディオ再生位置に基づいて、変更先の演奏コンテンツデータ２５０のオーディオ信号の再生位置も決定する。また、ＣＰＵ１１０は、当該ステップＳ２７において、オーディオ再生処理部１６２から取得した現在再生中のオーディオ再生位置に基づいて、変更先の演奏コンテンツデータ２５０のオーディオ信号の再生位置も決定する。

そして、前記選択されたブロック１４に該当するセクション１３に属する複数の演奏コンテンツデータが再生中である場合（ステップＳ２８のＹＥＳ）、ステップＳ２９において、ＣＰＵ１１０は、前記ステップＳ２７で決定した動画の再生位置から、今回再生対象として新たに指定されたコンテンツデータのビデオファイル１７０に基づく動画の再生を開始する。また、ＣＰＵ１１０は、、前記ステップＳ２７で決定したオーディオ信号の再生位置から、今回再生対象として新たに指定されたコンテンツデータのオーディオファイル１８０に基づくオーディオ信号の再生を開始する。これにより、変更先の演奏コンテンツデータ２５０の動画及び演奏音は、現在再生中のオーディオ再生位置に合わせた再生位置から再生される。例えば、既に再生中の複数のコンテンツデータの現在の再生位置が先頭から１０秒経過の位置であった場合、変更先の演奏コンテンツデータ２５０は、先頭から１０秒経過後の位置から再生される。従って、ユーザは、複数パートの演奏コンテンツデータ（演奏動画及び演奏音）をリアルタイムで視聴しながら、再生中の演奏動画及び演奏音を途切れさせることなく自然に、再生中の複数のパートの一部のパートを別の演奏コンテンツデータに演奏コンテンツデータを変更できる。また、オーディオ信号の現在の再生位置に、動画の再生開始位置を合わせるように処理しているので、複数の動画同士を同期させる処理に比べて、処理負担が少ない。

一方、前記選択されたブロック１４に該当するセクション１３に属する複数の演奏コンテンツデータが再生中でない場合（ステップＳ２８のＮＯ）、ＣＰＵ１１０は、処理を終了する。この場合、ＣＰＵ１１０は、リアルタイム再生を行わず、選択されたブロック１４に、変更先の演奏コンテンツデータを表示するのみである。なお、前記選択されたブロック１４の属するセクションが再生停止中の場合、前記ステップＳ２７で設定する変更先の演奏コンテンツデータの再生位置は、データの先頭又は開始時間データ２５３の示す時間位置である。また、前記選択されたブロック１４の属するセクションが一時停止中の場合、変更先の演奏コンテンツデータの再生は、その一時停止位置から開始する。

前記ステップＳ２２で選択されたブロック１４に演奏コンテンツデータが配置されている場合（ステップＳ２５のＹＥＳ）、ＣＰＵ１１０は、ステップＳ３０において、選択されたブロック１４の演奏コンテンツデータが現在再生中かどうか調べる。その演奏コンテンツデータが再生中でない場合（ステップＳ３０のＮＯ）、ＣＰＵ１１０は、ステップＳ３１において、選択されたブロック１４における演奏コンテンツデータの配置を解除してから、前記ステップＳ２６〜Ｓ２９を行う。

一方、前記ステップＳ２２で選択されたブロック１４の演奏コンテンツデータが再生中の場合（ステップＳ２５のＹＥＳ、ステップＳ３０のＹＥＳ）、ＣＰＵ１１０は、ステップＳ３２において、選択されたブロック１４の演奏コンテンツデータの再生を停止して、前述したステップＳ３１にて、演奏コンテンツデータの配置を解除して、前記Ｓ２６〜Ｓ２９を行う。この場合、再生中の複数パート（複数ブロック１４）のうち１つの演奏コンテンツデータ（変更前）が、その演奏の途中から、別の演奏コンテンツデータ（変更先）の演奏に切り替わる。このとき、変更先の演奏コンテンツデータのビデオ再生位置を、現在再生中のオーディオ再生位置に合わせるようにしているので、音楽の演奏を聴覚上破綻させることなく、スムーズな演奏の切り替えを実現できる。

次に、演奏コンテンツデータの同期再生機構の一例について説明する。図１のソング作成画面１０において複数の演奏コンテンツデータ２５０を略同時再生（前記ステップＳ１２等）する場合、複数の動画同士の同期、複数のオーディオ信号同士の同期、並びに、ビデオとオーディオ信号の同期について考慮する必要がある。本実施例では、複数のオーディオ信号同士の同期に関しては、オーディオ再生処理部１６２が、複数のオーディオ信号を、１系統のオーディオ信号（２チャンネルのステレオ信号）にミックスダウンして、再生するので、特別な同期機構は不要である。一方、ビデオ再生処理に関しては、ビデオ再生処理部１６１において、ビデオファイル毎に独立した複数のビデオ再生処理を起動して、複数の再生機の動画を、１つのソング作成画面１０上の各ブロック１４に並列的に描画するので、複数のビデオ再生処理の同期を取る機構が必要となる。この実施例では、図４に示した通り、再生位置制御モジュール１６４により、オーディオ信号の再生位置に、動画の再生位置を合わせることにより、オーディオ信号と各動画との同期をとり、ひいては複数の動画同士の同期をとるようになっている。

図１０は、クライアント端末１００のＣＰＵ１０が実行する同期処理（図４の再生位置制御モジュール１６４の動作）を示すフローチャートである。この同期処理は、ソング又はセクションの再生中、例えば１秒毎など定期的に起動する。ステップＳ３３において、ＣＰＵ１１０は、ビデオ再生処理部１６１から現在の動画の再生位置を取得し、且つ、オーディオ再生処理部１６２から現在のオーディオ信号の再生位置を取得して、現在の動画の再生位置と現在のオーディオ信号の再生位置との差を算出する。

ステップＳ３４において、ＣＰＵ１１０は、前記ステップＳ３３で算出した差と、同期処理の要否を判断するための閾値とを比較する。閾値は、例えば３００ミリ秒など、適宜の値に設定できる。この「３００ミリ秒」という閾値は、動画の再生位置とオーディオ信号の再生位置との差が比較的広く開くことを許容した値である。閾値大きめに設定しているので、オーディオ信号の再生位置に合わせて動画の再生位置を補正する処理を実行する頻度を減らすことができる。よって処理負担が少ない。

差が閾値以上の場合（ステップＳ３４のＹＥＳ）、ＣＰＵ１１０は、現在のビデオ再生位置と現在のオーディオ再生位置とにズレが生じたものと判断する。そして、ステップＳ３５において、ＣＰＵ１１０は、移動回数パラメータの値を１つ歩進する。この移動回数は、現在のオーディオ信号の再生位置に合わせて動画の再生位置を移動した回数、すなわち、動画の再生位置の補正する処理を実行した回数（つまり補正回数）を示すパラメータである。ステップＳ３６において、ＣＰＵ１１０は、前記ステップＳ３５で設定した移動回数に基づき、ビデオ再生位置の移動量（補正量）を算出する。移動量は、例えば「移動回数×１００ミリ秒」（「×」は乗算を表す記号である）という計算式により算出し得る。

ステップＳ３７において、ＣＰＵ１１０は、オーディオ再生処理部１６２から取得した現在のオーディオ再生位置に、前記ステップＳ３６にて算出した移動量とに基づいて、補正後の動画の再生位置を算出して、前記算出した補正後の動画の再生位置へ、ビデオ再生処理部１６１による動画の再生位置を移動する。これにより、現在のオーディオ信号の再生位置に合わせるように、動画の再生位置を補正することができる。オーディオ信号の再生位置を基準として同期の要否を判断することにより、動画の厳密な同期処理をあきらめる一方で、同期の頻度を減らして処理負荷を軽減できる。動画とオーディオ信号との同期をとることよりも、オーディオ信号の再生を優先することにより、オーディオ信号再生の破綻を防ぐ。したがって、音楽用途に好適である。簡単な処理でビデオデータとオーディオデータとの同期をとることができるので、汎用のネットワークシステムや、汎用のＷｅｂブラウザなど、処理負荷変動が予測しにくい一般的な環境下においても、オーディオデータとビデオデータとからなるコンテンツデータを安定して再生できる。

一方、前記ステップＳ３３で算出した現在の動画の再生位置と現在のオーディオ信号の再生位置との差が閾値以下の場合（ステップＳ３４のＮＯ）、ＣＰＵ１１０は、現在の動画の再生位置と現在のオーディオ信号の再生位置とにズレが生じていないものと判断し、前記ステップＳ３５〜Ｓ３７の処理を行わない。

ソングの再生中は（ステップＳ３８のＮＯ）、ＣＰＵ１０は、前記ステップＳ３３以下を繰り返す。そして、現在の動画の再生位置と現在のオーディオ信号の再生位置とにズレが生じる度に、ＣＰＵ１０は、前記ステップＳ３５〜Ｓ３７の処理を行う。ＣＰＵ１１０は、前記ズレの発生を検出する度（つまり補正を行う度）に、前記ステップＳ３において、移動回数パラメータを１ずつ累積する。前記ステップＳ３６の移動量の計算式によれば、移動回数（同期処理の頻度）が大きくなるほど、算出される移動量（補正量）が大きくなる。クライアント端末１００の再生機構として、汎用環境（ブラウザ１６０、ＯＳ１５０、ハードウェア１４０）を想定する場合、前記ステップＳ３６で移動量を決めてから、移動後の位置から動画を再生するまでに要する時間は実行環境及び状況によって変化し得る。このような実行環境を想定した場合、同期処理の頻度に応じて補正量を広げる構成は、事前に特定できない最適な移動量（補正量）を探りながら補正できるという点で有利である。また、同期処理頻度に応じて移動量を広げてゆく構成は、同期処理の負荷が急激に上昇してシステム全体の動作に悪影響を与えることを防止できる点で有利である。

ソング再生が停止された場合（ステップＳ３８のＹＥＳ）、ＣＰＵ１１０は、ステップＳ３９において、移動回数パラメータの値を消去して処理を終了する。

変形例として、前記ステップＳ３９による移動回数パラメータの値を消去を行わず、その再生処理中に累積した移動回数を保持しておき、次回以降の再生処理において、過去の累積した移動回数を継続して使用するように構成してもよい。その場合、前記ズレの発生を検出する度（つまり補正を行う度）に、前記ステップＳ３５において、移動回数パラメータの値を歩進させるだけでなく、例えばビデオ再生位置とオーディオ再生位置との差が狭まった場合には移動回数パラメータの値を減らすというルールも必要になる。また、移動量を算出する式は、例えば、「移動回数の二乗」×「１００ミリ秒」という２次式を採用してもよい。また、移動量を算出するのに「１００ミリ秒」等の規定の固定値を用いる構成に替えて、実行環境の統計情報を収集して、その統計情報から推測した値を使用する構成を採用してもよい。また、移動量を求めるための計算式のパラメータとしてとして、更に、再生するビデオファイルの数（起動すべき動画再生機の数）を用いることも考えられる。また、同期処理の頻度が多すぎる場合や、システム動作状況が不安定な場合は、閾値を更に大きくとり、同期処理を起動し難くしてもよい。

前記図３で説明したソング再生機能や、図９の新規登録処理時の再生位置移動、及び、図１０の同期処理では、オーディオ再生処理部１６２から取得した現在のオーディオ信号の再生位置を基準にして、動画の再生位置を決定する構成を説明した。図１２は、その変形例であり、ブラウザ１６０が提供する時計機能１６５の時間情報を基準にして、動画の再生位置を決定する構成を示す。この場合、再生時間管理部１６６は、時計１６５から時間情報を取得し、取得した時間情報と、ビデオ再生処理部１６１における現在の動画の再生位置とを比較して、取得した時間情報と動画の再生位置との差が閾値以上の場合（前記ステップＳ３４のＹＥＳ）、再生位置補正部１６７は、移動回数に基づいて移動量を算出して、算出した移動量に基づいてビデオ再生処理部１６１の動画の再生位置を移動することにより、基準となる時間情報に動画の再生位置を合わせる（前記ステップＳ３５〜Ｓ３７）。従って、この場合も、同期の頻度を減らして処理負荷を軽減できる。簡単な処理でビデオデータとオーディオデータとの同期をとることができるので、汎用のネットワークシステムや、汎用のＷｅｂブラウザなど、処理負荷変動が予測しにくい一般的な環境下においても、オーディオデータとビデオデータとからなるコンテンツデータを安定して再生できる。なお、時計１６５は、ブラウザ１６０が提供する時計機能に限らず、コンテンツデータ再生の基準となる時間を供給できさえすれば、どのような時計手段により構成されてもよい。

なお、上記の実施例では、クライアント端末１００は、ブロック１４に演奏コンテンツデータ２５０が配置されたときに、それら演奏コンテンツデータ２５０（ビデオファイル１７０及びオーディオファイル１８０）をサーバ２００から取得する構成であったが、これに限らず、ブロック１４に配置された演奏コンテンツデータ２５０の再生指示があったときに、サーバ２００から１又は複数のビデオファイル１７０及びオーディオファイル１８０をダウンロードしつつ再生（ストリーミング再生）してもよいし、サーバ２００から１又は複数のビデオファイル１７０及びオーディオファイル１８０をダウンロードした後に、ビデオファイル１７０及びオーディオファイル１８０を再生してもよい。

上記実施例では、ネットワーク３００によりクライアント端末１００とコンテツ提供サーバ２００とを接続した音楽作成システムとして本発明を構成及び実施することを説明したが、本発明は、前述したソング作成画面１０を実行する音楽作成装置、音楽作成方法、コンピュータにより実行されるプログラムの発明として構成及び実施することもできる。

１０ソング作成画面、１１演奏コンテンツデータ表示部、１２パート、１３セクション、１４ブロック、１５演奏コンテンツデータ、１６ミュートボタン、２０演奏コンテンツデータ選択部、３０再生コントロール部、１００クライアント端末、１７０ビデオファイル、１８０オーディオファイル、１６１ビデオ再生処理部、１６２オーディオ再生処理部、２００コンテンツ提供サーバ、２１０ソングコンテンツデータベース、２２０ソングコンテンツ、２３０セクションデータ、２４０パートデータ、２５０演奏コンテンツデータ、２６０ソングシナリオ

Claims

複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する音楽作成方法であって、前記演奏コンテンツデータはビデオデータとオーディオデータとからなり、
前記１つの音楽作品を構成する前記複数の演奏コンテンツデータを表示するためのマトリクス状に配列された複数のブロックを備えた音楽作成画面を表示するステップであって、前記各ブロックは前記演奏コンテンツデータのビデオデータに基づく動画を再生可能なものと、
ユーザによる変更指示に応じて、ユーザにより選択された１つの前記ブロックに配置された前記演奏コンテンツデータを、ユーザにより選択された別の演奏コンテンツデータに変更するステップと、
ユーザによる再生指示に応じて、ユーザにより選択された１又は複数のブロックに配置された前記演奏コンテンツデータのビデオデータに基づく動画を再生し、且つ、該選択された１又は複数のブロックに配置された前記演奏コンテンツデータのオーディオデータに基づく演奏音を再生するステップと
を具備することを特徴とする音楽作成方法。
前記マトリクス状に配列された複数のブロックは、一方の軸に前記音楽作品を構成する時間軸をとり、他方の軸に前記音楽作品を構成する演奏音の種類をとるように構成されることを特徴とする請求項１に記載の音楽作成方法。
前記変更するステップは、更に、
ユーザにより選択された前記ブロックに配置可能な１又は複数の演奏コンテンツデータを表す選択候補情報を、前記音楽作成画面とは別の領域に表示するステップを備え、
前記表示された選択候補情報からユーザにより選択された１つの前記演奏コンテンツデータを、前記選択されたブロックに配置することを特徴とする請求項１又は２に記載の音楽作成方法。
前記複数のブロックに現在配置されている複数の演奏コンテンツデータを、それぞれが配置されたブロックの位置により規定される構造を持つ１つの音楽作品として保存するステップを更に備えることを特徴とする請求項１乃至３の何れかに記載の音楽作成方法。
１つの前記演奏コンテンツデータのビデオデータとオーディオデータとを分離して保存することを特徴とする請求項４に記載の音楽作成方法。
前記マトリクス状に配列された複数のブロックは、ユーザにより入力された演奏を表す演奏コンテンツデータをリアルタイムで表示するブロックを含むことを特徴とする請求項１乃至５の何れかに記載の音楽作成方法。
複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する音楽作成装置であって、前記演奏コンテンツデータはビデオデータとオーディオデータとからなり、
前記１つの音楽作品を構成する前記複数の演奏コンテンツデータを表示するためのマトリクス状に配列された複数のブロックを備えた音楽作成画面を表示する表示手段であって、前記各ブロックは前記演奏コンテンツデータのビデオデータに基づく動画を再生可能なものと、
ユーザによる変更指示に応じて、ユーザにより選択された１つの前記ブロックに配置された前記演奏コンテンツデータを、ユーザにより選択された別の演奏コンテンツデータに変更する変更手段と、
ユーザによる再生指示に応じて、ユーザにより選択された１又は複数のブロックに配置された前記演奏コンテンツデータのビデオデータに基づく動画を再生し、且つ、該選択された１又は複数のブロックに配置された前記演奏コンテンツデータのオーディオデータに基づく演奏音を再生する再生手段と
を備えることを特徴とする音楽作成装置。
複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する処理をコンピュータに実行させるためのプログラムであって、前記演奏コンテンツデータはビデオデータとオーディオデータとからなり、
前記１つの音楽作品を構成する前記複数の演奏コンテンツデータを表示するためのマトリクス状に配列された複数のブロックを備えた音楽作成画面を表示するステップであって、前記各ブロックは前記演奏コンテンツデータのビデオデータに基づく動画を再生可能なものと、
ユーザによる変更指示に応じて、ユーザにより選択された１つの前記ブロックに配置された前記演奏コンテンツデータを、ユーザにより選択された別の演奏コンテンツデータに変更するステップと、
ユーザによる再生指示に応じて、ユーザにより選択された１又は複数のブロックに配置された前記動画要素を用いて、それぞれ対応する前記演奏コンテンツデータのビデオデータに基づく動画を各ブロック内で再生し、且つ、該選択された１又は複数のブロックに配置された前記演奏コンテンツデータのオーディオデータに基づく演奏音を再生するステップと
を前記コンピュータに実行させることを特徴とするプログラム。
複数の演奏コンテンツデータの組み合わせにより１つの音楽作品を作成する音楽作成システムであって、前記演奏コンテンツデータはビデオデータとオーディオデータとからなり、前記音楽作成システムは、ネットワークにより接続されたサーバとクライアント端末からなり、
前記サーバは、前記複数の演奏コンテンツデータを記憶するデータベースを備え、
前記クライアント端末は、
前記サーバの前記データベースから１つの前記音楽作品を構成する複数の演奏コンテンツデータを取得する取得手段と、
前記取得した複数の演奏コンテンツデータを表示するためのマトリクス状に配列された複数のブロックを備えた音楽作成画面を表示する表示手段であって、前記各ブロックは前記演奏コンテンツデータのビデオデータに基づく動画を再生可能なものと、
ユーザによる変更指示に応じて、前記サーバの前記データベースからユーザにより選択された１つの演奏コンテンツデータを取得して、前記選択されたブロックの演奏コンテンツデータを、前記取得した前記演奏コンテンツデータに変更する変更手段と、
ユーザによる再生指示に応じて、ユーザにより選択された１又は複数のブロックに配置された前記演奏コンテンツデータのビデオデータに基づく動画を再生し、且つ、該選択された１又は複数のブロックに配置された前記演奏コンテンツデータのオーディオデータに基づく演奏音を再生する再生手段と
を備えることを特徴とする音楽作成システム。