JP2017044765A - 映像提供装置、映像提供システム及びプログラム - Google Patents

Abstract

【課題】利用者に対し、あたかも所望の施設で演奏しているかのような演奏体験を提供すること。【解決手段】映像提供装置は、第１楽器の演奏により取得された当該演奏の内容を示す情報を含む演奏制御ファイル、並びに当該演奏制御ファイルを記録したときに撮影された前記第１楽器の演奏者を含む映像を示す第１映像ファイルを取得する第１取得部と、第２楽器の自動演奏が行われる空間を含む映像を示す第２映像ファイルを取得する第２取得部と、前記第１取得部及び前記第２取得部で取得した各ファイルを記憶する記憶部と、前記第１映像ファイル及び前記第２映像ファイルに基づいて合成映像ファイルを生成する合成映像生成部と、前記演奏音ファイル及び前記合成映像ファイルを、基準情報に基づいて同期させた演奏映像ファイルを生成する演奏映像生成部と、前記演奏映像ファイルを出力する出力部と、を備える。【選択図】図３

Description

本発明は、利用者による楽器の演奏音及び演奏映像を提供する映像提供装置、映像提供システム、並びにプログラムに関する。

音楽の分野においては極めて多様な楽器が古くから提供されてきた。これらの楽器によれば、利用者は、その演奏動作に応じて楽器から発せられた音を聴取することができる。

ところで、楽器の演奏を行なう者には、様々な楽器を演奏したいという要求が生ずることがある。しかしながら、この要求を満たすためには所望の楽器を購入または借用する必要があり、利用者が多大な経済的負担を強いられる結果となる。また、極めて高価な楽器や、歴史的または資料的な価値を有する希少な楽器を演奏することは、一般の利用者にとってはほとんど不可能である。このように、自己の所有しない所望の楽器を演奏したいという要求が大きい場合に、それに近い疑似体験を提供する技術がある（特許文献１）。

特開２００３−２７１１４３号公報

特許文献１に記載された技術によれば、利用者の演奏に基づく楽音ファイルに基づいてユーザの演奏環境とは異なる場所にある楽器を自動演奏させ、その自動演奏による演奏音ファイルを利用者に提供することにより、利用者が所望の楽器を所有していなくても、あたかもその楽器を自分で演奏したかのような疑似体験を得ることができる。

しかしながら、特許文献１に記載された技術は、あくまで演奏音を楽しむためのものであり、外部で録音された結果を楽しめるにすぎなかった。したがって、利用者に対してより臨場感のある疑似体験を与えるためには、さらなる改善の余地があった。

本発明は、上述した事情に鑑みてなされたものであり、利用者に対し、あたかも所望の施設で演奏しているかのような演奏体験を提供することができる映像提供装置、映像提供システム、及びプログラムを提供することを目的としている。

本発明の一実施形態に係る映像提供装置は、時間進行に従って、第１楽器の演奏により取得された当該演奏の内容を示す情報（例えば、ピアノ等の楽音であればその音高（キーナンバなど）と発音タイミング（キーオンなど）とを指定する情報等、ドラムなど打楽器等の噪音であればその楽器種類とその発音タイミングを指定する情報等）を含む演奏制御ファイル、並びに当該演奏制御ファイルを記録したときに撮影された前記第１楽器の演奏者を含む映像を示す第１映像ファイルを取得する第１取得部と、第２楽器の自動演奏が行われる空間を含む映像を示す第２映像ファイルを取得する第２取得部と、前記演奏制御ファイル、前記第１映像ファイル、前記第２映像ファイル、及び取得した前記演奏制御ファイルのそれぞれの指定する情報に基づく前記第２楽器の自動演奏により発せられた演奏音を表す演奏音ファイルを記憶する記憶部と、前記第１映像ファイル及び前記第２映像ファイルに基づいて合成映像ファイルを生成する合成映像生成部と、前記演奏音ファイル及び前記合成映像ファイルを、基準情報に基づいて同期させた演奏映像ファイルを生成する演奏映像生成部と、前記演奏映像ファイルを出力する出力部と、を備えることを特徴とする。

本発明の一実施形態に係るプログラムは、コンピュータを、時間進行に従って、第１楽器の演奏により取得された当該演奏の内容を示す情報（例えば、ピアノ等の楽音であればその音高とその発音タイミングとを指定する情報等、ドラムなど打楽器等の噪音であればその楽器種類とその発音タイミングとを指定する情報等）を含む演奏制御ファイル、並びに当該演奏制御ファイルを記録したときに撮影された前記第１楽器の演奏者を含む映像を示す第１映像ファイルを取得する第１取得部、第２楽器の自動演奏が行われる空間を含む映像を示す第２映像ファイルを取得する第２取得部、前記演奏制御ファイル、前記第１映像ファイル、前記第２映像ファイル、及び取得した前記演奏制御ファイルの指定する情報のそれぞれに基づいて前記第２楽器の自動演奏により発せられた演奏音を表す演奏音ファイルを記憶する記憶部、前記第１映像ファイル及び前記第２映像ファイルに基づいて合成映像ファイルを生成する合成映像生成部、前記演奏音ファイル及び前記合成映像ファイルを、基準情報に基づいて同期させた演奏映像ファイルを生成する演奏映像生成部、並びに、前記演奏映像ファイルを出力する出力部、として機能させることを特徴とする。

本発明の一実施形態に係る映像提供システムは、映像提供装置、並びに当該映像提供装置にネットワークを介して接続された第１通信端末及び第２通信端末を含み、前記第１通信端末は、時間進行に従って、第１楽器の演奏により取得された当該演奏の内容を示す情報（例えば、ピアノ等の楽音であればその音高とその発音タイミングとを指定する情報等、ドラムなど打楽器等の噪音であればその楽器種類とその発音タイミングとを指定する情報等）を含む演奏制御ファイル、並びに当該演奏制御ファイルを記録したときに撮影された前記第１楽器の演奏者を含む映像を示す第１映像ファイルを取得する手段と、前記演奏制御ファイル及び前記第１映像ファイルを前記映像提供装置に送信する手段と、を備え、前記第２通信端末は、第２楽器の自動演奏が行われる空間を含む映像を示す第２映像ファイルを取得する手段と、前記映像提供装置から前記演奏制御ファイルを受信する手段と、受信した前記演奏制御ファイルの指定する情報のそれぞれに基づいて前記第２楽器の自動演奏により発せられた演奏音を表す演奏音ファイルを取得する手段と、前記第２映像ファイル及び前記演奏音ファイルを前記映像提供装置に送信する手段と、を備え、前記映像提供装置は、前記演奏制御ファイル、前記第１映像ファイル、前記第２映像ファイル及び前記演奏音ファイルを受信する手段と、受信した前記演奏制御ファイル、前記第１映像ファイル、前記第２映像ファイル、及び前記演奏音ファイルを記憶する手段と、前記第２通信端末に前記演奏制御ファイルを送信する手段と、前記第１映像ファイル及び前記第２映像ファイルに基づいて合成映像ファイルを生成する手段と、前記演奏音ファイル及び前記合成映像ファイルを基準情報に基づいて同期させた演奏映像ファイルを生成する手段と、前記演奏映像ファイルを出力する手段と、を備えることを特徴とする。

上述した構成によれば、利用者は、自ら楽器を演奏して得た演奏制御ファイルに基づいて所望の楽器を自動演奏させた演奏音と、自ら楽器を演奏する姿を表す映像とが合成された演奏映像ファイルを得ることができる。これにより、利用者に対し、あたかも所望の施設で演奏しているかのような演奏体験を提供することができる。

第１実施形態による映像提供システムを示す図である。 第１実施形態による映像提供システムを構成する通信端末の一例を示す図である。 第１実施形態による映像提供システムを構成する映像提供装置の一例を示す図である。 第１実施形態による映像提供システムの動作について説明するための図である。 スタジオ等の施設に設置されたＭＩＤＩ楽器から演奏制御ファイル及び第１映像ファイルを取得する状況を説明するための図である。 コンサートホール等の施設に設置された自動演奏楽器から演奏音ファイルを取得する状況を説明するための図である。 コンサートホール等の施設から第２映像ファイルを取得する状況を説明するための図である。 第１実施形態による映像提供装置において生成される演奏映像を説明するための図である。 第１実施形態における映像提供システムを用いた演奏体験サービスの流れについて説明するための図である。 第２実施形態による映像提供システムを示す図である。 第２実施形態による映像提供システムを構成する通信端末の一例を示す図である。 第２実施形態による映像提供システムを構成する映像提供装置の一例を示す図である。 第３実施形態による映像提供システムを示す図である。 第３実施形態による映像提供システムを構成する映像提供装置の一例を示す図である。

以下、本発明の一実施形態における映像提供システムについて、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。

（第１実施形態）
＜映像提供システムを用いたサービスの概要＞
本発明の一実施形態における映像提供システムは、利用者に対し、所望の演奏施設（コンサートホール、音楽大学のホール等）で楽器を演奏しているかのような疑似体験を提供するサービス（以下「演奏体験サービス」という）を提供するためのシステムである。まず、第１実施形態における映像提供システムを用いた演奏体験サービスの流れについて、図９を用いて説明する。

利用者は、演奏体験サービスを提供するサービス提供者に対して、サービス提供の要求を発注する（ステップＳ９１）。サービス提供の要求の発注は、様々な方法を採ることができる。例えば、利用者は、サービス提供者に対し、書面またはインターネットを通じてサービスの提供を要求してもよい。

サービス提供者は、利用者からの発注を受けて、提携する録音施設（スタジオ等）や提携する演奏施設（コンサートホール等）のリストを利用者に対し提供する（ステップＳ９２）。利用者は、提携施設のリストを確認し、演奏体験を希望する演奏施設を選択する。例えば、リスト中に希望するコンサートホールがあり、かつ、そのコンサートホールに自分で演奏可能な楽器（例えばピアノ）があれば、そのコンサートホールでの演奏体験サービスを選択することができる。

サービス提供者から提携施設のリストの提供を受けた利用者は、さらに提携施設の中から、選択したコンサートホールと同じ種類のＭＩＤＩ楽器（例えばＭＩＤＩピアノ）が設置されたスタジオを選択する。そして、利用者は、選択したスタジオに赴き、設置されたＭＩＤＩ楽器を用いて好きな楽曲を演奏する（ステップＳ９３）。この場合、利用者本人が演奏する場合だけでなく、利用者以外の人物（例えば利用者の子ども）が演奏する場合にも本サービスの提供を受けることができる。

利用者の演奏中、ＭＩＤＩ楽器から取得されたＭＩＤＩデータは、演奏の内容を示す情報を含む演奏制御ファイルとして記録される。また、演奏者（ここでは、演奏中の利用者）及び楽器を含む映像がカメラによって撮影され、演奏風景を示す映像ファイルとして記録される。記録された演奏制御ファイル及び映像ファイルを含む演奏記録は、スタジオに設置された通信端末を介してサービス提供者が所有するサーバ（映像提供装置）に提供される（ステップＳ９４）。

利用者からの演奏記録の提供を受けたサービス提供者は、利用者が選択した演奏施設に設置された自動演奏楽器を用いて、利用者から提供された前述の演奏制御ファイルを再生する。そして、自動演奏楽器から発せられた演奏音をレコーディング技術者が演奏音ファイルとして記録する（ステップＳ９５）。演奏音ファイルの記録は、サービス提供者に所属するレコーティング技術者が行ってもよいし、演奏施設に所属するレコーティング技術者が行ってもよい。また、利用者とレコーディング技術者のスケジュールを合わせ、演奏施設での演奏音の録音に利用者が立ち会えるようにしてもよい。これにより、利用者は、真に所望する内容の録音を行うことができる。

次に、利用者から提供された映像ファイルと、予め準備された演奏施設の背景映像（具体的には、自動演奏楽器の設置位置を含む空間を撮影した映像）を示す映像ファイルとを合成し、その合成映像に前述の演奏音ファイルに基づく演奏音を重ねることにより、演奏映像ファイルを生成する（ステップＳ９６）。具体的には、まず演奏者及び楽器を含む映像と演奏施設で準備した背景映像とを用いてクロマキー合成を行い、背景映像に演奏者及び楽器が重畳合成された合成映像ファイルを生成する。合成映像ファイルに基づく映像は、例えばステップＳ８２で提供されたリストから選択されたコンサートホールのステージ上で演奏者がピアノを演奏する映像となる。

なお、本実施形態では、サービス提供者が、演奏施設ごとに予め前述の背景映像を準備しておく構成としている。つまり、各演奏施設のステージ上の空間を様々なアングルから撮影した映像ファイルを準備しておき、それらを映像提供装置の記憶部に格納している。ただし、これに限らず、利用者からの発注を受けた後、利用者が指定するアングルで撮影した映像ファイルを生成することも可能である。

合成映像ファイルの生成が完了したら、合成映像ファイルと前述の演奏音ファイルとを合成して演奏映像ファイルを生成する。このとき、合成映像と演奏音との時間進行が一致するように、基準情報（例えば、演奏開始からの絶対時間を表すタイムコードなど）を用いて合成映像と演奏音との同期をとる。このようにして生成された演奏映像ファイルに基づく演奏映像は、コンサートホールで演奏者がピアノ演奏する姿に重ねて、コンサートホールの音響特性を反映した演奏音が流れるものとなる。

最後に、生成された演奏映像ファイルが、利用者に対して納品される（ステップＳ９７）。納品の方法は、様々な方法を選択することが可能である。例えば、インターネットを介した通信（ウェブ上からのダウンロードを含む）により納品したり、ＤＶＤ等の記録媒体に格納して郵送したりすることが可能である。利用者は、受け取った演奏映像ファイルを再生することにより、あたかも利用者が所望のコンサートホールで実際にピアノを演奏しているかのような疑似体験を得ることができる。

＜システム構成の概要＞
次に、前述の演奏体験サービスを提供するための映像提供システムについて図１〜３を用いて説明する。図１は、本発明の第１実施形態による映像提供システム１００を示す図である。図１に示すように、本実施形態による映像提供システム１００は、録音施設の一例である複数のスタジオ５０ａ、５０ｂ及び５０ｃにそれぞれ配置された複数の通信端末１０と、インターネットや公衆交換電話網などを含むネットワーク２０と、ネットワーク２０に接続された演奏施設の一例である複数のコンサートホール６０ｘ及び６０ｙにそれぞれ配置された複数の映像提供装置３０とを有する。

複数の通信端末１０の各々は、複数の映像提供装置３０との間でネットワーク２０を介した通信を行なうコンピュータシステムである。なお、通信端末１０の数と映像提供装置３０の数は、あくまで一例であり、これに限るものではない。また、説明の便宜上、各スタジオ及び各コンサートホールを個々に区別する必要がない場合は、スタジオ５０、コンサートホール６０のようにまとめて表現することとする。

図２は、映像提供システム１００を構成する通信端末１０の一例を示す図である。各通信端末１０は、図２に示すように、制御部１０１、記憶部１０２、表示部１０３、入力部１０４、ＭＩＤＩ（Musical Instrument Digital Interface）楽器１０５、読出／書込部１０６、撮像部１０７及び通信制御部１０８を有する。これらの各部はバス１５０に接続されている。

制御部１０１は、通信端末１０を構成する他の部位を制御する機能を有し、例えば、演算装置として機能するＣＰＵ（Central Processing Unit）、プログラム等の格納領域として機能するＲＯＭ（Read Only Memory）、及び一時記憶領域として機能するＲＡＭ（Random Access Memory）を有する。制御部１０１は、ＲＯＭに格納されたプログラムを読み出して実行することにより、通信端末１０の各部位を制御する。

記憶部１０２は、プログラムや各種データを格納する機能を有し、例えばハードディスク（Hard Disk）装置などの大容量記憶部を用いることができる。表示部１０３は、ＣＲＴ（Cathode Ray Tube）やＦＰＤ（Flat Panel Display）などを備え、制御部１０１による制御の下、各種の画像を表示する。入力部１０４は、各種の指示信号を入力して制御部１０１に出力する機能を有し、例えばポインティングデバイスやキーボード入力装置に加え、外部入力ポートとして機能する入力端子を含むことができる。

ＭＩＤＩ楽器１０５は、利用者の演奏動作に応じたＭＩＤＩデータを出力するための装置である。すなわち、ＭＩＤＩ楽器１０５は各楽音に対応した複数の操作子を備えるとともに、これら操作子のうちのいずれかが利用者によって操作されると、その操作に対応したＭＩＤＩデータを出力する。本実施形態におけるＭＩＤＩ楽器１０５は複数の鍵を備えた鍵盤楽器であり、利用者の演奏操作によっていずれかの鍵が押鍵または離鍵されると、この演奏操作に対応するＭＩＤＩデータを出力するようになっている。

制御部１０１は、このＭＩＤＩ楽器１０５から順次に出力されるＭＩＤＩデータを、ＳＭＦ（Standard MIDI File）形式の演奏制御ファイルとして記憶部１０２に記憶させる。この演奏制御ファイルには、利用者の演奏動作によって選択された楽音の音高（ノートナンバ）と、その楽音の音量（ベロシティ）と、その発音タイミング（キーオン）とが含まれている。

読出／書込部１０６は、可搬型の記録媒体１２０に格納されたデータを読み出したりデータを書き込んだりするための手段である。本実施形態における記録媒体１２０は可搬型の磁気ディスクであり、例えばＳＭＦ形式の演奏制御ファイルが格納されている。すなわち、本実施形態の通信端末１０は、例えば通信端末１０とＭＩＤＩ楽器１０５とが直接接続されていないような場合においても、外部のＭＩＤＩ楽器によって作成された演奏制御ファイルを、可搬型の記録媒体１２０を介して入力することが可能となっている。

撮像部１０７は、例えばカメラで構成され、カメラで撮影された映像データを制御部１０１に対して提供する手段である。本実施形態では、ＭＩＤＩ楽器１０５を演奏する演奏者を含む映像を撮影した映像データを制御部１０１に提供する。制御部１０１は、撮像部１０７から提供された映像データに基づいて映像ファイル（本実施形態では、第１映像ファイルと呼ぶ。）を生成し、生成した第１映像ファイルを記憶部１０２に格納する。

なお、設置するカメラの台数に制限はなく、１台であってもよいし、複数台であってもよい。各カメラは、天井等に備えたレールに沿ってＸＹ方向に自由に移動可能とし、伸縮可能なアームによりＺ方向（すなわち、高さ方向）にも移動可能とすることができる。複数台のカメラを設置する場合、各カメラで取得された映像データに基づいてカメラごとに第１映像ファイルが生成されるが、説明の便宜上、これらをまとめて「第１映像ファイル」と呼ぶことにする。

通信制御部１０８は、映像提供装置３０との間でネットワーク２０を介した通信を行なうための手段であり、例えばモデムである。すなわち、通信制御部１０８は、制御部１０１から供給されたデータを映像提供装置３０に送信する一方、映像提供装置３０から受信したデータを制御部１０１に出力する。例えば、通信制御部１０８は、記憶部１０２から読み出された演奏制御ファイル及び第１映像ファイルを制御部１０１から受信すると、これら演奏制御ファイル及び第１映像ファイルを映像提供装置３０に送信するようになっている。

ここで、上述した制御部１０１は、ＭＩＤＩ楽器１０５の演奏によるＭＩＤＩデータの取得とその際に撮影される演奏者の映像データの取得とに並行して、両者の時間進行を示す情報としてタイムコードを生成し、演奏制御ファイル及び第１映像ファイルとともに映像提供装置３０に送信する。タイムコードとは、演奏におけるイベント発生のタイミングや映像における動作タイミングなどの進行を管理するための基準となる時間情報（進行管理情報とも言える。）であり、例えば演奏開始から演奏終了までの絶対時間を示す情報として生成することができる。このタイミングコードは、後述するＭＩＤＩデータの再生時や演奏映像ファイルの生成時に基準情報（基準となる時間情報）として利用することができる。

また、本実施形態による通信端末１０は、映像提供装置３０に対し、上述した演奏制御ファイル、第１映像ファイル及びタイムコードと共に指定情報を送信することができる。指定情報とは、例えば、使用する楽器の種類、自動演奏の環境条件（例えば、使用する演奏施設、演奏施設の照明の明るさ、カメラの設置数、カメラの配置など）、自動演奏の記録条件（例えば、演奏音ファイルの記録形式、演奏音に対するエフェクトなど）を指定する情報である。つまり、本実施形態では、最終的に演奏映像ファイルを生成するに当たり、利用者が指定情報を介して様々な条件を指定することが可能となっており、この指定情報に応じて所望の演奏映像ファイルを生成することができるようになっている。

次に、図３に示した映像提供装置３０は、各通信端末１０から上述した演奏制御ファイル、第１映像ファイル及びタイムコードを受信するとともに、これらのデータに基づいて後述する演奏映像ファイルを生成するためのコンピュータシステムである。図３は、映像提供システム１００を構成する映像提供装置３０の一例を示す図である。本実施形態における映像提供装置３０は、制御部３０１、記憶部３０２、表示部３０３、通信制御部３０４、自動演奏楽器３０５、収音部３０６、Ａ／Ｄ変換部３０７、読出／書込部３０８、入力部３０９、及び撮像部３１０を有する。これらの各部位はバス３５０に接続されている。

制御部３０１は、映像提供装置３０を構成する他の部位を制御する機能を有し、例えば、演算装置として機能するＣＰＵ、プログラム等の格納領域として機能するＲＯＭ、及び一時記憶領域として機能するＲＡＭを有する。制御部３０１は、ＲＯＭに格納されたプログラムを読み出して実行することにより、映像提供装置３０の各部位を制御する。また、制御部３０１は、合成映像生成部３０１ａ及び演奏映像生成部３０１ｂを含む。これら合成映像生成部３０１ａ及び演奏映像生成部３０１ｂの詳細については後述する。

記憶部３０２は、プログラムや各種データを格納する機能を有し、例えばハードディスク装置などの大容量記憶部を用いることができる。記憶部３０２は、例えば、通信端末１０から取得した演奏制御ファイル、第１映像ファイル及びタイムコード、並びに後述する合成映像の生成時に用いる自動演奏楽器３０５の自動演奏が行われる空間（以下「自動演奏空間」と呼ぶ。）を含む映像を示す映像ファイル（本実施形態では、第２映像ファイルと呼ぶ。）を記憶することができる。第２映像ファイルは、静止画像であっても動画像であってもよい。表示部３０３は、ＣＲＴやＦＰＤなどを備え、制御部３０１による制御の下、各種の画像を表示する。通信制御部３０４は、各通信端末１０との間でネットワーク２０を介した通信を行なう。

自動演奏楽器３０５は、通信端末１０から送信された演奏制御ファイルに基づいて自動演奏を行なう楽器であり、音を発する発音源と、演奏制御ファイルに基づいてこの発音源を駆動する自動演奏機構とを備えている。本実施形態においては、自動演奏機能を備えた鍵盤楽器（具体的にはピアノ）を自動演奏楽器３０５として用いる。この場合、自動演奏楽器３０５は、発音源たる弦と、複数のハンマのうちいずれかを演奏制御ファイルに基づいて駆動することにより弦を打撃するハンマ機構とを備える。つまり、自動演奏楽器３０５は、演奏制御ファイルにおいて指定されている楽音に対応するハンマを、その楽音について指定されている発音タイミングにおいて駆動することによって、当該ハンマによる打弦に応じた音を発する。

収音部３０６は、自動演奏楽器３０５から発せられた音に対応する電気信号（アナログ信号）を出力する機能を有し、具体的には、マイクロホンを用いることができる。収音部３０６により取得された電気信号は、Ａ／Ｄ変換部３０７を経由してデジタルデータに変換される。制御部３０１は、Ａ／Ｄ変換部３０７から出力されたデジタルデータに基づいて演奏音ファイルを生成して記憶部３０２に記憶させる。

読出／書込部３０８は、可搬型の記録媒体３２０に格納されたデータの読出しや、この記録媒体３２０へのデータの書込みを行なう部位である。この記録媒体３２０としては、例えば可搬型の磁気ディスクを用いることができる。

入力部３０９は、各種の指示信号を入力して制御部３０１に出力する機能を有し、例えばポインティングデバイスやキーボードといった入力装置に加え、外部入力ポートとして機能する入力端子を含むことができる。さらに、入力部３０９は、合成映像ファイルの編集指示や演奏音ファイルの編集指示を入力するための操作子を含んでいてもよい。

撮像部３１０は、例えばカメラで構成され、カメラで撮影された映像データを制御部３０１に対して提供する手段である。本実施形態では、上述の自動演奏空間（例えば、コンサートホールのステージ上における所定範囲の空間）を撮影した映像データを制御部３０１に提供する。なお、設置するカメラの台数に制限はなく、１台であってもよいし、複数台であってもよい。各カメラは、天井等に備えたレールに沿ってＸＹ方向に自由に移動可能とし、伸縮可能なアームによりＺ方向（すなわち、高さ方向）にも移動可能とすることができる。

制御部３０１は、撮像部３１０から提供された映像データに基づいて第２映像ファイルを生成し、生成した第２映像ファイルを記憶部３０２に格納する。複数台のカメラを設置する場合、各カメラで取得された映像データに基づいて複数の第２映像ファイルが生成される。この場合も、説明の便宜上、これら複数の第２映像ファイルをまとめて「第２映像ファイル」と呼ぶことにする。

＜システム動作の流れ＞
次に、映像提供システム１００におけるシステム動作について、図４を用いて説明する。まず、通信端末１０では、利用者によって第１指定情報が設定され、その第１指定情報が映像提供装置３０に送信される（ステップＳ４１）。例えば、第１指定情報として、演奏体験を希望する演奏施設、演奏する楽器の種類、演奏施設の照明の明るさ、演奏音を記録する際の収音位置などを設定することができる。なお、指定されなかった条件は、映像提供装置３０に予め設定されたデフォルト条件を用いることも可能である。

通信端末１０から第１指定情報を受信した映像提供装置３０は、第１指定情報を記憶部３０２に格納するとともに、通信端末１０に対する第２指定情報を送信する（ステップＳ４２）。例えば、第２指定情報として、スタジオ側のカメラの配置（位置やアングル）や露出条件など、カメラの設定に関する情報を送信することができる。なお、指定されなかった条件は、通信端末１０に予め設定されたデフォルト条件を用いることも可能である。

映像提供装置３０から第２指定情報を受信した通信端末１０は、第２指定情報にしたがってカメラを設定し、ＭＩＤＩ楽器１０５を演奏する演奏者とＭＩＤＩ楽器とを含む映像を撮影する。さらに、ＭＩＤＩ楽器１０５から出力されるＭＩＤＩデータの記録も行う。そして、カメラを用いた撮影により取得された映像データに基づいて第１映像ファイルを生成するとともに取得されたＭＩＤＩデータに基づいて楽音の音高及び発音タイミングの指定を含む演奏制御ファイルを生成する（ステップＳ４３）。また、本実施形態では、制御部１０１により、基準情報として、タイムコードも同時に生成する。

図５は、スタジオに設置されたＭＩＤＩ楽器１０５から演奏制御ファイル及び第１映像ファイルを取得する状況を説明するための図である。図５において、演奏者５１は、スタジオ５０に設置されたＭＩＤＩピアノ５２を演奏している。ＭＩＤＩピアノ５２は、図２に示したＭＩＤＩ楽器１０５に対応する。なお、演奏者５１が着席する椅子は、ここでは説明を簡単にするため、ＭＩＤＩピアノ５２の一部であるとして説明する。カメラ５３ａ及び５３ｂは、図２に示した撮像部１０７に対応する。

なお、図５は、カメラ５３ａ及び５３ｂとは別のカメラから見た状況を説明しているものとする。すなわち、本実施形態では、スタジオに計３台のカメラが配置されているものとする。各カメラの配置は、利用者が第１指定情報を用いて指定してもよいし、映像提供装置３０から第２指定情報を用いて指定してもよい。本実施形態では、コンサートホール側で予めカメラの配置が決まっており、第２指定情報で指定されたカメラ配置にしたがってスタジオ側の各カメラの配置が設定されるものとする。

また、本実施形態では、演奏者５１及びＭＩＤＩピアノ５２の背景が、緑または青に統一されている。すなわち、図５では、演奏者５１及びＭＩＤＩピアノ５２と映像上区別できるようにスタジオ５０の壁５４及びステージ５５がすべて単一色で統一されている。これらの背景を単一色にしておくことにより、後述する合成映像の生成時にクロマキー合成を利用することができるため、精度良く演奏者５１及びＭＩＤＩピアノ５２の抽出が可能となる。勿論、公知の映像処理技術を用いて背景と演奏者５１及びＭＩＤＩピアノ５２とを分離することさえできれば、背景を単一色で統一することは必須ではない。

このとき、利用者は、通信端末１０が備える表示部１０３を用いて各カメラの映像を、ＭＩＤＩデータを再生しながら確認することもできる。これにより、利用者は、例えば演奏中のどの部分にどのアングルの映像を用いるかといった情報を実際に映像と楽音とを確認しながら決めることができる。ここで決めた情報は、改めて第１指定情報として映像提供装置３０に送ることができ、後に合成映像や演奏映像を生成する際に利用することが可能である。

また、利用者は、複数回の演奏を行い、最も気に入った演奏について第１映像ファイル及び演奏制御ファイルを生成するよう指示することができる。しかし、これに限らず、利用者が複数の演奏のそれぞれについて使用する部分を指定し、指定された区間のＭＩＤＩデータを繋ぎ合わせて１つの演奏制御ファイルを生成してもよい。

図４に戻って、通信端末１０は、生成した第１映像ファイル、演奏制御ファイル及びタイムコードを映像提供装置３０に対して送信する（ステップＳ４４）。これらの送信は、通信制御部１０８の制御により、ネットワーク２０を介して行われる。

通信端末１０から第１映像ファイル、演奏制御ファイル及びタイムコードを受信した映像提供装置３０は、これらを記憶部３０２に格納する。そして、レコーディング技術者による演奏音の録音に際しては、制御部３０１が、記憶部３０２から読み出した演奏制御ファイルを自動演奏楽器３０５に提供する。本実施形態の場合、映像提供装置３０は、自動演奏楽器３０５を構成の一部に含むため、有線通信または無線通信により自動演奏楽器３０５に対して演奏制御ファイルを転送すればよい。自動演奏楽器３０５と映像提供装置３０が別の機器として構成されている場合には、無線通信による転送を行うか、可搬型記録媒体を介して演奏制御ファイルを提供してもよい。

そして、自動演奏楽器３０５を用いて演奏制御ファイルに基づく自動演奏を行い、自動演奏楽器３０５から発せられた演奏音をマイクロホンなどの収音部３０６を介して記録する（ステップＳ４５）。このとき、前述の第１指定情報に基づいて、演奏音を記録する際の収音位置を設定する。例えば、演奏施設がコンサートホールであれば、「客席最前列」のように具体的な位置を指定することができる。この収音位置の設定は、実際に収音部３０６の配置を指定された位置とすることも可能であるし、記録した演奏音に対して畳み込み演算を施すことにより、指定された位置で収音したようにすることも可能である。

図６は、コンサートホール等の施設に設置された自動演奏楽器３０５から演奏音ファイルを取得する状況を説明するための図である。図６に示されるように、コンサートホール６０のステージ６１上には自動演奏ピアノ６２が設置され、その自動演奏ピアノ６２が、スタジオ４０（具体的には通信端末１０）から受信した前述の演奏制御ファイルに基づいて自動演奏されている。このとき、自動演奏ピアノ６２の自動演奏により発せられた演奏音は、図３に示したマイクロホン等の収音部３０６により入力され、制御部３０１により演奏音ファイルとして取得され、記憶部３０２に格納される。

本実施形態では、演奏音の録音は、レコーディング技術者によって行われるため、良好な音質で録音することができる。すなわち、コンサートホール等の演奏施設の音響特性を十分に反映させた演奏音ファイルを生成することが可能である。

次に、映像提供装置３０は、通信端末１０から取得した第１映像ファイルと、予め取得しておいた第２映像ファイルとを合成して合成映像ファイルを生成する（ステップＳ４６）。第２映像ファイルは、合成映像ファイルの生成に先立って、予め映像提供装置３０の記憶部３０２に格納しておくことができる。ここで、第２映像ファイルの取得について図７を用いて説明する。

図７は、コンサートホール等の施設から第２映像ファイルを取得する状況を説明するための図である。第２映像ファイルの取得は、前述の自動演奏の前に行ってもよいし、自動演奏の後で行ってもよい。いずれにしても本実施形態では、自動演奏ピアノ７２が設置されていない状態での撮影により第２映像ファイルを取得する例を示す。

図７において、コンサートホール６０には、自動演奏楽器としての自動演奏ピアノ６２による自動演奏が行われる空間（自動演奏空間）７１が含まれる。ただし、本実施形態では、自動演奏ピアノ６２を設置しない状態で自動演奏空間７１の撮影が行われるため、自動演奏ピアノ６２は点線で示されている。

本実施形態では、自動演奏空間７１の映像は、３台のカメラにより取得されるものとする。ただし、図７は、図示されているカメラ７３ａ及び７３ｂとは別のカメラから見た状況を説明しているものとし、３台目のカメラは図示しない。カメラ７３ａ及び７３ｂは、図３に示した撮像部３１０に対応する。各カメラの配置は、利用者が第１指定情報を用いて指定してもよいし、映像提供装置３０から第２指定情報を用いて指定してもよいが、本実施形態では、コンサートホール側で予めカメラの配置が決まっているものとする。

第２映像ファイルの取得時、スタジオに配置される各カメラ（図５）の位置とコンサートホールに配置される各カメラ（図７）の位置が一致するように設定されていることが望ましい。具体的には、スタジオに配置される各カメラの撮影アングルとコンサートホールに配置される各カメラの撮影アングルとが一致することが望ましい。例えば、コンサートホール６０側でカメラ配置が決定される場合、前述の第２指定情報にカメラ配置を指定する情報を含めて映像提供装置３０から通信端末１０へと送信し、スタジオ４０側でコンサートホール６０のカメラ配置に合わせて撮影する構成とすればよい。

さらに、カメラ配置を指定する情報には、撮影アングル（撮影する角度）だけでなく、被写体からの距離を含めることが好ましい。例えば、図４に示す撮影時において、予めＭＩＤＩ楽器４２に任意の基準点（例えば譜面台の一部）を定め、そこからカメラ５３ａ及び５３ｂまでの距離を指定情報に含めてもよい。そして、図７に示す撮影時において、自動演奏ピアノ７２が設置された状態を想定して自動演奏ピアノ７２の譜面台からカメラ７３ａ及び７３ｂまでの距離を上記指定情報に基づいて設定する。

これにより、後述する合成映像ファイルの生成処理において、第１映像ファイルと第２映像ファイルの画角を合わせることが容易となり、より違和感のない生成処理が可能となる。

なお、予め第２映像ファイルを準備しておく場合、カメラの設置数と同数のアングルから撮影した映像を用意してもよいし、全方位から撮影した映像を用意しておいてもよい。また、複数のアングルから撮影した映像とそれらを一部補完した映像を用いて全方位から撮影した映像の代わりとしてもよい。このようにしておくと、利用者から第１映像ファイル生成時の撮影アングルを指定された場合に、その指定に合わせた撮影アングルの映像を第２映像ファイルとして活用することが可能となる。

図４に戻って、次に、映像提供装置３０は、ステップＳ４６で生成した合成映像ファイルとステップＳ４５で取得した演奏音ファイルとを合成して、演奏映像ファイルを生成する（ステップＳ４７）。本実施形態では、ステップＳ４３において生成したタイムコードを基準情報として、合成映像と演奏音とを同期させつつ両者を合成する。これにより、合成映像に基づく映像に含まれる演奏者の動作と実際の演奏音とのタイミングを一致させることが可能となり、演奏映像を違和感のない自然なものとすることができる。

ここで、図８は、映像提供装置３０において生成される演奏映像を説明するための図である。図８に示す演奏映像８１は、背景として、第２映像ファイルに基づく背景映像（図７に示されるコンサートホール６０の自動演奏空間７１を含む映像）が用いられ、オブジェクトとして、第１映像ファイルに基づく演奏者５１及びＭＩＤＩピアノ５２の映像が用いられている。この演奏映像８１を示す演奏映像ファイルは、映像提供装置３０の制御部３０１が備える合成映像生成部３０１ａ及び演奏映像生成部３０１ｂにより生成される。すなわち、第１映像ファイルから抽出された演奏者５１及びＭＩＤＩピアノ５２が、第２映像ファイルに基づく背景映像に合成され、図８に示される演奏映像が生成される。

前述のとおり、合成映像生成部３０１ａ及び演奏映像生成部３０１ｂは、映像提供装置３０の制御部３０１に備えられている。なお、本実施形態では、制御部３０１が所定のプログラムを実行することにより実現される機能ブロックとして合成映像生成部３０１ａ及び演奏映像生成部３０１ｂを説明している。しかし、この構成に限らず、合成映像生成部３０１ａ及び演奏映像生成部３０１ｂを、制御部３０１とは別の構成、例えばＤＳＰ（Digital Signal Processor）として設けてもよい。

演奏映像ファイルを生成するに当たり、まず、合成映像生成部３０１ａにおいて第１映像ファイルと第２映像ファイルとを合成した合成映像が生成される。本実施形態では、合成映像の生成に公知のクロマキー合成を用いる。クロマキー合成とは、青などの単一色を背景として撮影されたオブジェクトを含む映像ファイルから、そのオブジェクトのみを抽出して別の映像ファイルに合成する技術である。クロマキー合成の詳細に関しては広く知られているため、ここでの説明は省略する。

合成映像ファイルを生成するに当たり、第１映像ファイルから演奏者５１及びＭＩＤＩピアノ５２のみを抽出し、抽出した演奏者５１及びＭＩＤＩピアノ５２を第２映像ファイルに合成する。本実施形態の場合、第２映像ファイルは、背景画像として撮影されているため、演奏者５１及びＭＩＤＩピアノ５２は、任意の位置に合成することができる。勿論、ＭＩＤＩピアノ５２の設置する位置と実際に自動演奏ピアノ６２が設置された位置とを合わせることにより、より違和感のない自然な合成映像ファイルを生成することができる。

なお、本実施形態では、合成映像ファイルを生成するに当たり、３台のカメラから取得した３つの映像ファイルを、所定のタイミングで切り替えながら時系列に合成して１つの合成映像ファイルを生成している。例えば、演奏開始から第１の期間はカメラ５３ａ及びカメラ７３ａから取得した映像ファイルを用い、続く第２の期間はカメラ５３ｂ及びカメラ７３ｂから取得した映像ファイルを用いるといったように、所定期間ごとに使用する映像ファイルを切り替えて全体として１つの合成映像ファイルを生成している。このとき、どのようなタイミングで映像ファイルを切り替え、どの期間にどの映像ファイルを用いるかといった情報は、通信端末１０を介して利用者が指定してもよいし、映像提供装置３０の側で指定してもよい。

また、合成処理の際、必要に応じて、第１映像ファイルまたは第２映像ファイルに対して映像処理を施してもよい。例えば、第１映像ファイルに基づく演奏者の映像を拡大または縮小したり色調を調整したりするなど所望の加工を行うことができる。また、そのような映像処理の条件に関する指定は、利用者が行ってもよいし、サービス提供者が行ってもよい。

次に、演奏映像生成部３０１ｂにおいて、合成映像生成部３０１ａで生成された合成映像ファイルに対して、自動演奏ピアノ６２の自動演奏により取得された演奏音ファイルを合成する。このとき、上述のタイムコードを基準情報（進行管理情報）として活用して合成映像ファイルと演奏音ファイルとを合成する。すなわち、演奏映像生成部３０１ｂは、合成映像ファイルと演奏音ファイルとを基準情報に基づいて同期させつつ合成することにより、映像の進行と演奏音の進行とが一致した演奏映像を示す演奏映像ファイルを生成することができる。

以上のとおり、演奏映像ファイルに基づく演奏映像８１においては、演奏者５１がコンサートホール６０に設置されたＭＩＤＩピアノ５２を演奏する動画像が表示され、その演奏者５１の動作に合わせて、実際に演奏者５１の演奏により生成された演奏制御ファイルに基づく演奏音が流れる。したがって、演奏映像８１を視聴者した利用者は、あたかも演奏者５１が、実際にコンサートホール６０のステージ上でＭＩＤＩピアノ５２を演奏しているかのような疑似体験を得ることができる。

以上のようにして生成された演奏映像ファイルは、映像提供装置３０から出力されて利用者に納品される。例えば、利用者が所有する通信端末と映像提供装置３０とがネットワーク２０を介して通信可能であれば、通信制御部３０４から演奏映像ファイルを出力してネットワーク２０を介して利用者に納品してもよい。また、記憶部３０２から読み出した演奏映像ファイルを読出／書込部３０８を介して可搬型の記録媒体３２０に格納し、演奏映像ファイルを可搬型の記録媒体３２０に格納した形で出力して利用者に納品することも可能である。

（第２実施形態）
本発明の第２実施形態における映像提供システム２００は、映像提供装置が、コンサートホール等の演奏施設とは別の場所に配置される点で第１実施形態とは異なる。具体的には、図１０に示すように、演奏体験サービスを提供するサービス提供者７０が、自社にサーバとして映像提供装置３６を備え、コンサートホール等に設置された通信端末３５とネットワーク２０を介した通信により協業して演奏体験サービスを提供する。

本実施形態において、各スタジオ５０に配置される通信端末１０の構成・機能は、第１実施形態と同様であるため、詳細な説明は省略する。ここでは、第１実施形態と異なる点に着目して説明する。

図１１は、映像提供システム２００を構成する通信端末３５の一例を示す図である。通信端末３５の基本的な構成は、前述の通信端末１０と同じであるため、通信端末１０と同一構成の部分については、同一の符号を用いて示している。通信端末１０と異なる点は、演奏音ファイルを生成するために、自動演奏楽器３５１に接続されるとともに、収音部３５２及びＡ／Ｄ変換部３５３を有する点である。

図１２は、映像提供システム２００を構成する映像提供装置３６の一例を示す図である。映像提供装置３６の基本的な構成は、前述の映像提供装置３０と同じであるため、映像提供装置３０と同一構成の部分については、同一の符号を用いて示している。第２実施形態における映像提供装置３６は、演奏音ファイルを生成する機能と、第２映像ファイルを生成する機能が不要であるため、映像提供装置３０に比べて簡易な構成となる。

本実施形態の場合、映像提供装置３６が配置されるサービス提供者と各コンサートホール６０ｘ及び６０ｙとが物理的に離れているため、映像提供装置３６と通信端末３５とがネットワーク２０を介して通信を行う必要がある。具体的には、映像提供装置３６は、通信端末１０から受信した演奏制御ファイル及びタイムコードを、ネットワーク２０を介して通信端末３５に転送する。そして、通信端末３５において、自動演奏楽器３０５から演奏音を取得して演奏音ファイルを生成し、生成した演奏音ファイルをタイムコードとともに映像提供装置３６へと送信する。

また、第２映像ファイルは、通信端末３５が備える撮像部１０７によって自動演奏空間を撮影して生成され、ネットワーク２０を介して映像提供装置３６へと送信される。この場合も、自動演奏の環境条件や録音条件については、利用者からの指定情報またはサービス提供者からの指定情報に基づいて設定すればよい。

本実施形態の構成とした場合、各コンサートホール６０に個別に映像提供装置３６を配置する必要がなく、録音機能を備えた通信端末３５を配置するだけで演奏体験サービスを実現することが可能となる。また、第１映像ファイル、第２映像ファイル、演奏制御ファイル、演奏音ファイルといった各種ファイルが、サービス提供者７０の映像提供装置３６にて一括管理されるため、バックアップ等のメンテナンスが容易であるというメリットがある。

（第３実施形態）
本発明の第３実施形態における映像提供システム３００は、サービス提供者がスタジオを兼ねている点で第１実施形態及び第２実施形態とは異なる。具体的には、図１３に示すように、演奏体験サービスを提供するサービス提供者７５が、自社にサーバとして録音機能を備えた映像提供装置４５を備え、コンサートホール等に設置された通信端末３５とネットワーク２０を介した通信により協業して演奏体験サービスを提供する。

本実施形態において、各コンサートホール６０に配置される通信端末３５の機能は、第２実施形態と同様であるため、詳細な説明は省略する。ここでは、第２実施形態と異なる点に着目して説明する。

図１４は、映像提供システム３００を構成する映像提供装置４５の一例を示す図である。映像提供装置４５の基本的な構成は、映像提供装置３０と同じであるため、映像提供装置３０と同一構成の部分については、同一の符号を用いて示している。第３実施形態における映像提供装置４５は、映像提供装置３０に比べて、演奏音ファイルを生成する機能と第２映像ファイルを生成する機能がない。その代わりに、第１映像ファイル及び演奏制御ファイルを生成する機能を新たに備えている。

本実施形態では、サービス提供者７５が、自社に専用の録音設備（スタジオ）を有し、様々なＭＩＤＩ楽器で演奏することが可能になっている。したがって、本実施形態における映像提供装置４５は、外部のＭＩＤＩ楽器４５１と入力部３０９を介して接続可能となっており、ＭＩＤＩ楽器４５１から出力されたＭＩＤＩデータを取得することができるようになっている。制御部３０１は、取得されたＭＩＤＩデータに基づいて演奏制御ファイルを生成し、記憶部３０２に格納することができる。

また、映像提供装置４５は撮像部３１０として複数のカメラを備え、利用者による演奏風景は、複数のカメラによって撮影される。撮影された映像データは、制御部３０１により第１映像ファイルとして記憶部３０２に格納される。

本実施形態の構成とした場合、第１実施形態のように複数のスタジオ５０に専用の録音設備をしたり通信端末１０を配置したりする必要がなく、サービス提供者７５が専用のスタジオを備えていればよい。したがって、映像提供システムを構築する上での設備投資を抑えることが可能である。この場合も、第２実施形態と同様に、第１映像ファイル、第２映像ファイル、演奏制御ファイル、演奏音ファイルといった各種ファイルが、サービス提供者７５の映像提供装置４５にて一括管理されるため、バックアップ等のメンテナンスが容易であるというメリットがある。

（第４実施形態）
本発明は、コンピュータを、映像提供装置３０が有する各手段として機能させるためのプログラムとして捉えることも可能である。さらに、本発明は、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体として捉えることも可能である。この記録媒体としては、ＣＤ、ＤＶＤ、ＵＳＢメモリ、メモリカードといった可搬型の記録媒体のほか、磁気ディスクや半導体メモリなどが考えられる。

＜変形例＞
ここまで各実施形態について説明したが、上記実施形態はあくまでも例示であり、上記実施形態に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。変形例としては、例えば以下のようなものが考えられる。

（変形例１）
第１実施形態及び第２実施形態では、専用のスタジオ５０に設置された通信端末１０を用いて第１映像ファイル及び演奏制御ファイルを生成する例を示したが、同様の設備を用意できる環境であれば、スタジオ５０以外の場所で第１映像ファイル及び演奏制御ファイルを生成してもよい。例えば、利用者の自宅に設置されたＭＩＤＩ楽器を演奏して演奏制御ファイルと第１映像ファイルとを取得し、パーソナルコンピュータを通信端末として用いて映像提供装置３０に送信する構成としてもよい。

（変形例２）
上記各実施形態では、合成映像の生成に先立って第２映像ファイルを用意しておく例を示したが、自動演奏楽器３０５を設置した状態の空間（例えば、ステージ上で自動演奏を行っている自動演奏楽器３０５を含む空間）を撮影して第２映像ファイルを生成してもよい。その場合、合成映像の生成時においては、例えば第２映像ファイルに基づく映像中の自動演奏楽器３０５を、第１映像ファイルに基づく映像中のＭＩＤＩ楽器１０５で置き換える映像処理を行えばよい。

また、他の方法として、第２映像ファイルに基づく映像中から自動演奏楽器３０５のみを消去し、その上で第１映像ファイルに基づく映像中のＭＩＤＩ楽器１０５を合成するか、または、第１映像ファイルに基づく映像中からＭＩＤＩ楽器１０５のみを消去し、演奏者の映像のみを第２映像ファイルに基づく映像中に合成することも可能である。

（変形例３）
上記各実施形態では、演奏音の録音をレコーディング技術者が行うものとしたが、予め映像提供装置にレコーディング条件に関する情報を記録しておき、そのレコーディング条件に関する情報を設定した録音機器を用いて演奏音の録音を行ってもよい。例えば、映像提供装置に対し、コンサートホールごとに一または複数のレコーディング条件を記録しておき、利用者が選択したコンサートホールに対応するレコーディング条件（レコーディング条件が複数記録されている場合は、そのうちのいずれか一つ）を選択し、それを録音機器に設定すればよい。

このとき、レコーディング条件としては、例えば「客席最前列にマイクを置いた場合を再現したもの」とか「客席後方にマイクを置いた場合を再現したもの」など、利用者が直観的に理解しやすい条件が好ましい。これにより、コンサートホール等で音楽を聴く場合にこだわりがある人にとってもイメージが掴みやすくなり、利用者の希望をさらに反映させたサービスが可能となる。

なお、第２実施形態及び第３実施形態のように、映像提供装置がコンサートホールとは別の場所に設置されている場合には、選択されたレコーディング条件に関する情報を、ネットワーク２０を介してコンサートホールに配置された通信端末（ここでは収音部を備えた録音機器として機能するものとする）に送信し、該通信端末にレコーディング条件に関する情報を設定すればよい。勿論、通信端末とは別に録音機器が配置されている場合には、通信端末を介して録音機器にレコーディング条件に関する情報を設定してもよい。

（変形例４）
上記実施形態では、基本的にスタジオで利用者の演奏を演奏制御ファイル及び第１映像ファイルを取得する例を示したが、コンサートホール等の演奏施設に設置された楽器が使えるのであれば、実際にコンサートホールで演奏制御ファイル及び第１映像ファイルを取得することも可能である。この場合、第１映像ファイルに演奏者、楽器及びホール背景が含まれるため、第２映像ファイルとの合成を行う必要はなく、第１映像ファイルと演奏音ファイルとの合成を行えばよい。

この変形例によれば、利用者がコンサートホールのステージ上に設置されたMIDI楽器を借りて自由に演奏を行い、その際に演奏制御ファイル及び第１映像ファイルを生成しておく。そして、後日、演奏制御ファイルに基づいて同じコンサートホールに設置された自動演奏楽器を用いて演奏音ファイルを生成し、その演奏音ファイルと第１映像ファイルとを合成して演奏映像ファイルを生成する。

これにより、利用者が演奏する姿を撮影した映像をそのまま演奏映像ファイルの映像部分として使えるため、上記各実施形態のように、第２映像ファイルを準備したり、第１映像ファイルと第２映像ファイルとを合成したりする手間を省くことができる、なお、利用者による演奏をそのまま演奏音ファイルとして利用することも可能であるが、この変形例のように演奏制御ファイルの取得と演奏音ファイルの取得とを分けると、利用者は、レコーディング技術者等の第三者がいない環境で緊張することなく演奏に集中することができるというメリットがある。また、利用者は、満足のいく演奏制御ファイルを取得できるまで何回も録り直しすることができるが、その際に、レコーディング技術者を拘束する必要がないというメリットもある。

（変形例５）
上記各実施形態では、３台のカメラで撮影したそれぞれの第１映像ファイル及び第２映像ファイルを用いて合成映像を生成する例を示したが、一部の撮影アングルの映像については合成せずにそのまま用いてもよい。例えば、演奏映像ファイルにおいて実際に表示される映像を２画面表示とし、一方の画面に様々なアングルからの映像を表示し、他方の画面に演奏者を側面から撮影した固定映像を表示することも可能である。また、第２映像ファイルに演奏施設の背景映像だけでなく自動演奏楽器をも含めて撮影しておき、その映像をそのまま第１映像ファイルと合成することなく用いてもよい。

（変形例６）
上記各実施形態では、演奏制御ファイルの生成と同時にタイムコードを生成し、演奏映像ファイルの生成時にそのタイムコードを基準情報として利用する例を示したが、映像と演奏音との同期を確保し、両者の進行を合わせるという目的を達成できるのであれば、如何なる基準情報を用いてもよい。

例えば、利用者による演奏時にＭＩＤＩデータの取得だけでなく音声データも同時に取得しておき、該音声データを基準情報として用いることも可能である。

（変形例７）
各実施形態においては、自動演奏機能を有する楽器（自動演奏楽器）を用いて演奏音ファイルを作成するものとしたが、演奏音ファイルの作成に用いられる楽器は、必ずしも自動演奏機能を内蔵しているものでなくてもよい。例えば、鍵盤楽器の鍵盤上に自動演奏装置を装着することによって、この鍵盤楽器を自動演奏するようにしてもよい。これにより、骨董的価値を有する楽器や歴史的または資料的な価値を有する楽器（教会に設置されたパイプオルガンなど）を用いて演奏音ファイルを作成することも可能である。

さらに、各実施形態においては、演奏音ファイルを作成するための楽器として鍵盤楽器を例示したが、本発明における「楽器」はこの種の楽器に限られるものではない。すなわち、演奏者が演奏制御ファイルを生成する楽器としては、自動演奏のイベントを生成するための情報を出力するセンサをもった楽器であればよく、アコースティック楽器にセンサを取り付けた構造でもよいし、電子鍵盤楽器、電子管楽器、電子打楽器等で代用してもよい。また、演奏音ファイルの作成に用いられる楽器は、演奏制御ファイルに基づいて自動演奏が可能な楽器であれば、いかなる形態や発音メカニズムを有するものであってもよい。例えば、管楽器であれば、特許第３８６１８０２号のような構造のもので自動演奏すればよいし、ドラムであれば、特開平７−３１９４５６号や特開平７−３１９４５７号のような構造の装置あるいは同様の機能の装置で自動演奏すればよい。

また、本発明における「音」および「演奏音」には、演奏操作によって発生されるもので、音の高さ・音色の違いを認識できる「楽音」と、上述の電子打楽器やドラム等のように、音高がはっきりしない打楽器系の音等の「噪音」とが含まれる。また、上記各実施形態では、演奏制御ファイルに、楽音の音高と発音タイミングとを指定する情報や噪音の楽器種類と発音タイミングとを指定する情報などが含まれることを例示したが、演奏制御のための情報であれば、これらの情報以外のものを含むようにしてもよい。例えば、演奏制御ファイルに「発音の強さ（発音ベロシティなど）」、「止音タイミング（キーオフなど）」等の情報を含むようにしてもよい。

（変形例８）
各実施形態においては、演奏制御ファイルをＳＭＦ形式のファイルとした場合を例示したが、演奏制御ファイルのファイル形式はこれに限られるものではない。すなわち、演奏制御ファイルは、楽器に自動演奏を行なわせるために必要なデータを含んでいればよい。より具体的には、演奏制御ファイルは、少なくとも演奏の内容を示す情報、例えば音とその発音タイミングとを指定できる情報を含んでさえいれば、如何なる形式であってもよい。具体的には、ピアノ等の楽器であれば、演奏制御ファイルとして、楽音の音高とその発音タイミングとを指定する情報を含むファイルを用いることができる。また、ドラム、シンバル等の打楽器であれば、演奏制御ファイルとして、噪音を発する楽器の種類とその発音タイミングとを指定する情報を含むファイルを用いることができる。

（変形例９）
各実施形態においては、利用者が選択した演奏施設において演奏音ファイルを作成するものとしたが、演奏制御ファイルの再生に当たり。利用者が選択した演奏施設と同等の音響効果を再生音に付与することも可能である。つまり、実際に利用者（または利用者の関係者）が楽器を演奏して取得した演奏制御ファイルに基づく音声信号に対して、利用者が希望する演奏施設の音響特性を音声処理により与え、疑似的にその演奏施設で演奏したかのような音響効果を与えることも可能である。

この場合、予め選択候補となる実際の演奏施設（例えばコンサートホールや教会など）においてインパルス応答波形のサンプルデータを取得しておき、そのサンプルデータをＡ／Ｄ変換部３０７から出力されるデジタルデータに対して畳み込めばよい。これにより、演奏音ファイルの作成に用いられる楽器を各種の演奏施設に実際に設置しなくても、利用者の所望の演奏施設における初期反射音やその後の残響音の効果を再現することが可能となる。

本発明の実施形態として説明した映像提供システムを基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったもの、又は、工程の追加、省略もしくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。

また、上述した実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。

１００、２００、３００…映像提供システム、１０、３５…通信端末、２０…ネットワーク、３０、３６、４５…映像提供装置、１５０、３５０…バス、５０…スタジオ、５１…演奏者、５２…ＭＩＤＩピアノ、５３ａ、５３ｂ…カメラ、５４…壁、５５…ステージ、６０…コンサートホール、６１…ステージ、６２…自動演奏ピアノ、７１…自動演奏空間、７３ａ、７３ｂ…カメラ、８１…演奏映像、７０、７５…サービス提供者

Claims (8)

1. 時間進行に従って、第１楽器の演奏により取得された当該演奏の内容を示す情報を含む演奏制御ファイル、並びに当該演奏制御ファイルを記録したときに撮影された前記第１楽器の演奏者を含む映像を示す第１映像ファイルを取得する第１取得部と、
   第２楽器の自動演奏が行われる空間を含む映像を示す第２映像ファイルを取得する第２取得部と、
   前記演奏制御ファイル、前記第１映像ファイル、前記第２映像ファイル、及び取得した前記演奏制御ファイルの指定する情報のそれぞれに基づいて前記第２楽器の自動演奏により発せられた演奏音を表す演奏音ファイルを記憶する記憶部と、
   前記第１映像ファイル及び前記第２映像ファイルに基づいて合成映像ファイルを生成する合成映像生成部と、
   前記演奏音ファイル及び前記合成映像ファイルを、基準情報に基づいて同期させた演奏映像ファイルを生成する演奏映像生成部と、
   前記演奏映像ファイルを出力する出力部と、
   を備えることを特徴とする映像提供装置。
2. 前記第１楽器と前記第２楽器とは、互いに異なる場所に配置されていることを特徴とする請求項１に記載の映像提供装置。
3. 前記第１取得部は、前記自動演奏に使用する楽器の種類、前記自動演奏の環境条件、及び前記自動演奏の記録条件のうち少なくとも一つの指定を含む指定情報を取得することを特徴とする請求項１に記載の映像提供装置。
4. 前記指定情報は、前記演奏者の撮影条件、及び前記合成映像ファイルの編集条件のうち少なくとも一つの指定をさらに含むことを特徴とする請求項３に記載の映像提供装置。
5. 前記合成映像生成部は、クロマキー合成により前記合成映像ファイルを生成することを特徴とする請求項１に記載の映像提供装置。
6. 前記第１映像ファイルは、前記第１楽器及び当該第１楽器を演奏する演奏者を含む映像を示し、
   前記合成映像ファイルは、前記第２楽器の自動演奏が行われる空間に、前記第１楽器を演奏する前記演奏者を合成した映像を示すことを特徴とする請求項１に記載の映像提供装置。
7. コンピュータを、
   時間進行に従って、第１楽器の演奏により取得された当該演奏の内容を示す情報を含む演奏制御ファイル、並びに当該演奏制御ファイルを記録したときに撮影された前記第１楽器の演奏者を含む映像を示す第１映像ファイルを取得する第１取得部、
   第２楽器の自動演奏が行われる空間を含む映像を示す第２映像ファイルを取得する第２取得部、
   前記演奏制御ファイル、前記第１映像ファイル、前記第２映像ファイル、及び取得した前記演奏制御ファイルの指定する情報のそれぞれに基づいて前記第２楽器の自動演奏により発せられた演奏音を表す演奏音ファイルを記憶する記憶部、
   前記第１映像ファイル及び前記第２映像ファイルに基づいて合成映像ファイルを生成する合成映像生成部、
   前記演奏音ファイル及び前記合成映像ファイルを、基準情報に基づいて同期させた演奏映像ファイルを生成する演奏映像生成部、並びに、
   前記演奏映像ファイルを出力する出力部、
   として機能させることを特徴とするプログラム。
8. 映像提供装置、並びに当該映像提供装置にネットワークを介して接続された第１通信端末及び第２通信端末を含む映像提供システムであって、
   前記第１通信端末は、
   時間進行に従って、第１楽器の演奏により取得された当該演奏の内容を示す情報を含む演奏制御ファイル、並びに当該演奏制御ファイルを記録したときに撮影された前記第１楽器の演奏者を含む映像を示す第１映像ファイルを取得する手段と、前記演奏制御ファイル及び前記第１映像ファイルを前記映像提供装置に送信する手段と、を備え、
   前記第２通信端末は、
   第２楽器の自動演奏が行われる空間を含む映像を示す第２映像ファイルを取得する手段と、前記映像提供装置から前記演奏制御ファイルを受信する手段と、受信した前記演奏制御ファイルの指定する情報のそれぞれに基づいて前記第２楽器の自動演奏により発せられた演奏音を表す演奏音ファイルを取得する手段と、前記第２映像ファイル及び前記演奏音ファイルを前記映像提供装置に送信する手段と、を備え、
   前記映像提供装置は、
   前記演奏制御ファイル、前記第１映像ファイル、前記第２映像ファイル及び前記演奏音ファイルを受信する手段と、受信した前記演奏制御ファイル、前記第１映像ファイル、前記第２映像ファイル、及び前記演奏音ファイルを記憶する手段と、前記第２通信端末に前記演奏制御ファイルを送信する手段と、前記第１映像ファイル及び前記第２映像ファイルに基づいて合成映像ファイルを生成する手段と、前記演奏音ファイル及び前記合成映像ファイルを基準情報に基づいて同期させた演奏映像ファイルを生成する手段と、前記演奏映像ファイルを出力する手段と、を備えることを特徴とする映像提供システム。
   

Images