JP2008116816A - 歌唱・演奏用装置及び歌唱・演奏用システム - Google Patents

Abstract

【課題】利用者８に演奏者７と一緒に歌唱・演奏しているような臨場感を与えることができ、更に、利用者８の高揚感を高めることができる歌唱・演奏用装置２及び歌唱・演奏用システムを提供する。
【解決手段】配信サーバ１は、演奏前のライブ会場６を撮影した背景映像と背景映像と同じアングルで演奏中のライブ会場を撮影した配信映像とを保持し、歌唱・演奏用装置２に背景映像、配信映像を順に配信する。歌唱・演奏用装置２は、背景映像を自装置内に格納する。歌唱・演奏用装置２は、配信映像を受信すると、配信映像に利用者８が選択したパートが含まれている場合、自装置のカメラ３１で撮影した利用者８と背景映像とを合成してモニタ３４に表示する。また、配信映像に利用者８が選択したパートが含まれていない場合は、配信映像と背景映像とを合成してモニタ３４に表示する。
【選択図】 図１

Description

本発明は、演奏中に自装置のモニタに表示される映像を合成処理する歌唱・演奏用装置及び当該歌唱・演奏用装置を含む歌唱・演奏用システムに関するものである。

従来、カラオケ演奏中に、演奏曲の映像と歌詞コードとをモニタに表示するカラオケ装置が各種考案されている。
例えば、特許文献１のカラオケ映像合成装置は、歌唱者をカメラで撮影し、歌唱者の画像を演奏曲の映像上に合成して、歌詞コードとともにモニタに表示している。これにより、歌唱者は、歌唱中の歌唱者自身が表示されているモニタを見ながら歌唱することができる。この際、演奏曲の映像は、予め設定された画一的なものである。
特開２００１−０４５３７３号公報

しかしながら、特許文献１の装置では、曲に対する映像が常に同じであるので、歌唱者に対して高揚感を与える効果があまり高くない。また、ライブ映像のような臨場感のある映像を歌唱者に提供することができない。
また、演奏曲の映像に演者が含まれている場合は、演奏曲の映像に歌唱者を合成すると、歌唱者と演者側の歌手との二人が同一モニタ上に表示されるため、同じパートの人物が２名存在してしまう。

したがって、この発明の目的は、歌唱者や演奏者に対して、より臨場感や高揚感を与えることができる歌唱・演奏用装置及び当該歌唱・演奏用装置を含む歌唱・演奏用システムを提供することにある。

請求項１の歌唱・演奏用装置は、複数の演奏者の各々の演奏パートを特定するパート情報及び前記演奏者の撮影情報が映像データ毎に付与されている配信映像と、歌唱用データとを受信する受信手段と、装置本体に接続されたカメラと、前記受信手段で受信した映像データのパート情報と予め指定した指定パートとに基づいて、該指定パートに対応する映像データを前記カメラで撮影した撮影データに差し替えて表示用映像データを形成する表示用映像データ形成手段と、前記表示用映像データ形成手段で形成された表示用映像データを出力するモニタと、を備えたことを特徴とする。

この構成により、歌唱・演奏用装置は、映像データに付与されたパート情報と利用者により指定された指定パートとに基づき、映像データを自装置のカメラで撮影した撮影データとを切り替えてモニタに表示する。パート情報とは、映像データに存在する演奏者の演奏パートを特定するためのものである。
これにより、歌唱・演奏用装置は、自装置のカメラで撮影した撮影データをモニタに表示することができるので、利用者は、自身の映像をモニタで見ることができ、高揚感を得ることができる。

請求項２の歌唱・演奏用装置は、撮影情報が背景映像データ毎に付与されている背景映像を記憶する背景映像記憶手段を更に備え、前記表示用映像データ形成手段は、前記受信手段で受信した映像データのパート情報に予め指定した指定パートが含まれるとき、前記カメラで撮影した撮影データと前記背景映像データとを合成し、前記受信手段で受信した映像データのパート情報に予め指定した指定パートが含まれないとき、受信した映像データと前記背景映像データとを合成することを特徴とする。

この構成により、歌唱・演奏用装置は、利用者により指定された指定パートが映像データのパート情報に含まれるとき、自装置のカメラで撮影した映像と背景映像とを合成して、自装置のモニタに出力する。また、歌唱・演奏用装置は、利用者により指定された指定パートが映像データのパート情報に含まれないとき、配信映像と背景映像とを合成して、自装置のモニタに出力する。
これにより、利用者は、自ら指定したパートに該当する映像が配信される際には、歌唱・演奏用装置で利用者自身を撮影した撮影データをモニタに表示することができる。このため、利用者は、自身が演奏者（配信映像に含まれる）と一体化して歌唱・演奏しているような臨場感を得ることがえきる。

請求項３の歌唱・演奏用装置は、前記表示用映像データ形成手段は、前記受信手段で受信した映像データの撮影情報に基づき、前記カメラの撮影位置と撮影方向を決定することを特徴とする。

この構成により、歌唱・演奏用装置は、自装置のカメラで、配信映像と同じ撮影位置及び撮影方向から撮影を行う。
これにより、利用者は、自身が演奏者と同じ会場で一緒に歌唱・演奏しているように感じ、より高揚感と臨場感を得ることができる。

請求項４の歌唱・演奏用システムは、配信サーバと、該配信サーバとネットワーク接続された複数の請求項１〜請求項３のいずれかに記載の歌唱・演奏用装置と、を備え、前記配信サーバは、前記配信映像を前記歌唱・演奏用装置に配信し、該歌唱・演奏用装置は、該配信映像を受信するとともに、前記表示用映像データ形成手段により表示用映像データを形成し、前記モニタに出力することを特徴とする。

この構成により、歌唱・演奏用システムは、配信サーバと複数の歌唱・演奏用装置から構成される。配信サーバと歌唱・演奏用装置とは、ネットワークを介して接続される。配信サーバは、歌唱・演奏用装置に配信映像を配信する。歌唱・演奏用装置は、配信映像を受信するとともに、モニタに出力する。
これにより、配信サーバは、演奏中の会場を撮影した配信映像を歌唱・演奏用装置に配信することができる。利用者は、演奏者と一緒に歌唱・演奏することができるので、高揚感を得ることができる。

請求項５の歌唱・演奏用システムは、配信サーバと、該配信サーバとネットワーク接続された複数の請求項２又は請求項３のいずれかに記載の歌唱・演奏用装置と、を備え、前記配信サーバは、前記背景映像を自装置内に格納し、第一の段階で、背景映像を前記歌唱・演奏用装置に配信し、第二の段階で、配信映像を該歌唱・演奏用装置に配信し、該歌唱・演奏用装置は、第一の段階で、前記背景映像を受信すると、前記背景映像記憶手段により該背景映像を記憶し、第二の段階で前記配信映像を受信するとともに、前記表示用映像データ形成手段により表示用映像データを形成し、モニタに出力することを特徴とする。

この構成により、歌唱・演奏用システムは、配信サーバと複数の歌唱・演奏用装置から構成される。配信サーバと歌唱・演奏用装置とは、ネットワークを介して接続される。配信サーバは、背景映像を保持しており、歌唱・演奏用装置に背景映像を配信する。歌唱・演奏用装置は、背景映像を受信すると、自装置内に格納する。歌唱・演奏用装置に背景映像の格納が完了した後、配信サーバは、歌唱・演奏用装置に配信映像を配信する。歌唱・演奏用装置は、配信映像を受信するとともに、配信映像と背景映像を合成してモニタに出力する。
これにより、歌唱・演奏用装置は、配信映像の配信時、背景映像を予め自装置内に保持しているので、配信サーバから随時受信する配信映像のデータ量が少なくてすむ。このため、ネットワークの負荷に関係なく、歌唱・演奏用装置は、配信サーバからスムーズに配信映像を取得することができる。

請求項６の歌唱・演奏用システムは、前記配信サーバが、第二の段階において、ライブ映像を取得して、歌唱用データ及び映像データを順次生成し、前記歌唱・演奏用装置に配信することを特徴とする。

この構成により、配信サーバはライブ映像を配信映像としてそのまま歌唱・演奏用装置に配信する。
これにより、歌唱・演奏用装置は、ライブ映像をリアルタイムで取得することができるので、利用者は、リアルタイムで演奏者と一緒に歌唱・演奏することができる。このため、利用者には、より臨場感とより高揚感を与えることができる。

以上のように、この発明によれば、歌唱・演奏用装置及び歌唱・演奏用システムは、利用者に演奏者と一緒に歌唱・演奏しているような臨場感を与えることができ、更に、利用者の高揚感を高めることができる。

［第１実施形態］
本発明の第１実施形態に係る歌唱・演奏用装置及び歌唱・演奏用システムについて、図１〜４を参照して説明する。
図１は、歌唱・演奏用システムを構成する配信サーバ１及び歌唱・演奏用装置２の機能を示すブロック図である。図２は、ライブ会場６で演奏中の演奏者７（７ａ〜７ｄ）とカメラ４（４ａ〜４ｃ）との配置を示す図である。図３は、居室９で演奏中の利用者８とカメラ３１との配置を示す図である。図４は、演奏曲の映像データの構成を示す図である。図４（Ａ）は、配信映像１２を示す。図４（Ｂ）は、パート情報の差し替え後の配信映像１２を示す。図４（Ｃ）は、モニタに表示する映像を示す。

図１に示すように、配信サーバ１は、ネットワーク５を介して、複数台の歌唱・演奏用装置２と接続される。
配信サーバ１のデータベース１００には、予めライブ会場で演奏される曲のＭＰＥＧ２形式の背景映像１３とＭＩＤＩ形式の楽譜・歌詞データ１４が格納されている。また、ライブ開始中には、演奏者７を撮影した映像に基づく配信映像１２や、演奏者７の演奏を録音した楽曲データ１１が随時配信サーバ１のＲＡＭ１０１内に一時的に格納される。そして、配信サーバ１は、これら楽曲データ１１及び配信映像１２を歌唱・演奏用装置２に随時配信する。

配信映像１２は、図４（Ａ）に示すような時系列に並べられた複数の映像データと映像データ毎に付与されたパート情報及び撮影情報とから構成される。パート情報には、映像データに含まれる演奏者のパート（ボーカル、ギター、ベース、キーボード、ドラム等）が記載される。撮影情報には、カメラ番号（４ａ〜４ｃ）、カメラの撮影方向（ｘ１〜ｘ３）、カメラ設置距離（ｄ１〜ｄ３）（カメラ４と演奏者７の距離）が記載される。カメラ番号とは、映像データを撮影したカメラの識別番号である。
背景映像１３は、複数の背景映像データと背景映像データ毎に付与された撮影情報とから構成される。背景映像１３は、カメラ番号、カメラの撮影方向、カメラ設置距離の順に並べられており、各背景映像データは、カメラ番号とカメラの撮影方向とカメラ設置距離とが同じものが存在しない。すなわち、それぞれに異なるアングル及び距離で撮影された複数種類の背景映像データが存在する。

配信映像１２、背景映像１３の作成方法について、図２を参照して説明する。
配信映像１２は、図２に示すように、ライブ会場６のステージ６１上で演奏している演奏者７を撮影して、映像データを生成する。複数台のカメラ４は、固定位置に設置され、ズーム等の処理を行いながら、演奏者７を撮影する。映像データは、カメラ４の撮影画像から、背景を取り除き演奏者７のみを抽出して作成される。映像データには、撮影した演奏者のパートがパート情報として付与され、撮影したカメラ番号（４ａ〜４ｃ）とカメラの撮影方向（ｘ１〜ｘ３）とカメラ設置距離（ｄ１〜ｄ４）とが撮影情報として付与される。
なお、第１実施形態では、３台のカメラ４を用いて演奏者７（７ａ〜７ｄ）の撮影を行っているが、これに限らず、より多くの台数のカメラ４を用いて撮影を行ってもよい。更に、カメラ４をパート毎に設けて撮影を行ってもよい。

また、背景映像１３は、ライブ開催前にライブ会場６のステージ６１を撮影して、背景映像データを生成する。ライブ開催前に、各カメラ４でズーム等の処理を行いながら、ライブ会場６のステージ６１の撮影を行う。この際、各カメラ４は、ライブ演奏時と同じ場所に設置する。

図１に示すように、歌唱・演奏用装置２は、ＣＰＵ２０、操作部２１、通信インタフェース２２、ＲＡＭ２３、ＲＯＭ２４、マイク２５、Ａ／Ｄ変換部２６、ミキサ（エフェクタ）２７、サウンドシステム２８、スピーカ２９、ＭＰＥＧデコーダ３０、カメラ３１、Ａ／Ｄ変換部３２、データ合成部３３、モニタ３４から構成される。

ＣＰＵ２０には、操作部２１、通信インタフェース２２、ＲＡＭ２３、ＲＯＭ２４、ミキサ２７、ＭＰＥＧデコーダ３０、データ合成部３３、カメラ３１が接続され、ＣＰＵ２０は、装置全体を制御する。

操作部２１は、パネルスイッチインタフェースやリモコン受信回路等から構成され、利用者により、演奏曲の選曲やパート（ボーカル、ギター、ベース、キーボード、ドラム等）の選択等の操作入力を受け付ける。

通信インタフェース２２は、ＣＰＵ２０から演奏曲情報が入力され、当該演奏曲情報に該当する楽曲データ１１、配信映像１２、背景映像１３、楽譜・歌詞データ１４を配信サーバ１からネットワーク５を介して取得し、ＣＰＵ２０へ出力する。この際、ＣＰＵ２０は、入出力する各種データのプロトコル制御を行う。

ＲＡＭ２３は、配信サーバ１から取得した各種データ（演奏曲の楽曲データ１１、配信映像１２、背景映像１３、楽譜・歌詞データ１４）が一時的に格納される。ＲＡＭ２３は、演奏時に、各種データをＣＰＵ２０へ出力する。

ＲＯＭ２４には、各種プログラムが格納される。これら各種プログラムは、ＣＰＵ２０から読み出されて実行される。

ミキサ２７は、ＣＰＵ２０から入力された楽曲データ１１、及び、マイク２５、Ａ／Ｄ変換部２６を介して入力された利用者からの音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ここで、ミキサ２７が各音声信号に付与する効果及びミキシングのバランスはＣＰＵ２０によって制御される。ミキシングされたデジタルの音声データはサウンドシステム２８に入力される。この際、ＣＰＵ２０からの指示を受け、楽曲データ１１のうち、パートに該当する楽曲データ１１を消去する。また、ミキサ２７は、他のパートのガイドメロディを消去する。ミキサ２７は、必要に応じて該当するパートのガイドメロディについても消去する。

例えば、パートに「ボーカル」を選択した場合、ミキサ２７には、ＣＰＵ２０から入力された楽曲データ１１、及び、マイク２５、Ａ／Ｄ変換部２６を介して利用者が発音した音声からなる音声信号が入力される。更に、ミキサ２７は、ＣＰＵ２０から入力された楽曲データ１１から「ボーカル」の楽曲データ１１を消去し、必要に応じて「ボーカル」のガイドメロディの消去を行う。
また、パートに「ギター」を選択した場合、ミキサ２７には、ＣＰＵ２０から入力された楽曲データ１１、及び、マイク２５、Ａ／Ｄ変換部２６を介して利用者が演奏したギターのギター音からなる音声信号が入力される。更に、ミキサ２７は、ＣＰＵ２０から入力された楽曲データ１１から「ギター」の楽曲データ１１を消去し、必要に応じて「ギター」のガイドメロディの消去を行う。

なお、本実施形態では、ミキサ２７にて、ＣＰＵ２０から入力された楽曲データ１１からパートに該当する楽曲データ１１を消去したが、これに限らず、ＣＰＵ２０で楽曲データ１１を消去してもよい。

サウンドシステム２８はＤ／Ａ変換部及びパワーアンプを備えており、入力された音声信号をデジタルデータからアナログ信号に変換して増幅し、スピーカ２９から放音する。

図３に示すように、カラオケボックスやレコーディングスタジオ等の居室９内に設置されたカメラ３１は、左右上下に移動可能であり、歌唱・演奏用装置２が入力を受け付けた演奏曲とパートとに対応した設置位置に固定される。カメラ３１は、配信映像１２がＣＰＵ２０に入力されると、配信映像１２の映像データに付与された撮影情報に基づいて、カメラ３１の設置位置や撮影方向が決定され、ズーム等の処理を行いながら、利用者８の撮影を行う。この際、ＣＰＵ２０は、撮影情報のカメラ番号に基づいてカメラ３１の設置場所を変更する。また、ＣＰＵ２０は、撮影情報のカメラ３１の撮影方向に基づいて撮影方向を決定し、撮影情報のカメラ設置距離に基づいてズーム等の処理を行い利用者８との撮影距離を変更する。利用者８の撮影データは、Ａ／Ｄ変換部３２を介して、データ合成部３３へ出力される。

また、ＣＰＵ２０は、配信映像１２が入力されると、配信映像１２の映像データに付与された撮影情報と背景映像１３の背景映像データに付与された撮影情報とに基づいて、背景映像１３の背景映像データを選択し、ＭＰＥＧデコーダ３０を介してデータ合成部３３へ出力する。この際、ＭＰＥＧデコーダ３０は、背景映像１３をＮＴＳＣの映像信号にデコードする。更に、ＣＰＵ２０は、配信映像１２をデータ合成部３３へ出力する。この際、配信映像２０の映像データに付与されたパート情報が選択したパートと等しい場合は、パート情報を「カメラ撮影」に差し替える。例えば、パートに「ギター」を選択した場合、ＣＰＵ２０は、パート情報が「ギター」の映像データがＣＰＵ２０に入力されると、その映像データのパート情報を「ギター」から「カメラ撮影」に差し替える。

更に、ＣＰＵ２０は、パートに対応する楽譜・歌詞データ１４をデータ合成部３３へ出力する。
データ合成部３３は、配信映像１２の映像データに付与されたパート情報に基づいて、背景映像１３の背景映像データの上に合成する映像（配信映像１２の映像データ又は利用者８の撮影データ）を選択する。パート情報が「カメラ撮影」の場合は、利用者８の撮影データを利用して、それ以外の場合は映像データを利用する。データ合成部３３は、背景映像１３の上に、配信映像１２の映像データ及び利用者８の撮影データのいずれか一方と楽譜・歌詞データ１４と種々のＯＳＤとを合成して、映像信号を生成する。この合成された映像信号は、モニタ３４に表示される。
次に、演奏時、モニタ３４に表示されるデータの処理の流れについて、図５を参照して説明する。なお、スピーカ２９から放音される音声信号については、説明を省略する。
図５は、演奏時の映像に関する処理の流れを示すフローチャートを示す図である。
なお、説明を簡単化するため、利用者８が、図２に示すライブ会場での演奏曲を選択し、「ボーカル」のパートを選択した場合について説明する。この際、配信サーバ１から歌唱・演奏用装置２が受信する配信映像１２は、図４（Ａ）に示す映像データの構成とする。

Ｓ１０１にて、歌唱・演奏用装置２は、利用者８から演奏曲の入力を受け付けて、Ｓ１０２へ進む。

Ｓ１０２にて、歌唱・演奏用装置２は、利用者８から演奏するパート（「ボーカル」）の入力を受け付けて、Ｓ１０３へ進む。

Ｓ１０３にて、歌唱・演奏用装置２は、配信サーバ１から背景映像１３と楽譜・歌詞データ１４とを取得する。歌唱・演奏用装置２は、背景映像１３と楽譜・歌詞データ１４とを一時的に自装置のＲＡＭ２３に格納する。ライブ会場６で、演奏曲が演奏されると、Ｓ１０４へ進む。

Ｓ１０４にて、歌唱・演奏用装置２は、配信サーバ１から配信映像１２の取得を開始して、Ｓ１０５へ進む。

Ｓ１０５にて、歌唱・演奏用装置２は、取得中の配信映像１２の映像データに付与されたパート情報が「ボーカル」に該当するかどうか調べる。該当する場合は、図４（Ａ），（Ｂ）に示すように、歌唱・演奏用装置２は、パート情報を「ボーカル」から「カメラ撮影」に差し替えて（Ｎｏ．１，４）、Ｓ１０７へ進む（Ｓ１０６）。該当しない場合は、Ｓ１０７へ進む。

Ｓ１０７にて、歌唱・演奏用装置２は、配信映像１２の映像データに付与されたパート情報が「カメラ撮影」であるかどうか調べる。「カメラ撮影」の場合は、Ｓ１０９へ進む。「カメラ撮影」以外の場合は、図４（Ａ）〜（Ｃ）に示すように、配信映像１２の映像データがそのまま利用される（Ｎｏ．２，３，５，６）。歌唱・演奏用装置２は、背景映像１３の背景映像データの上に、配信映像１２の映像データを重ね、楽譜・歌詞データ１４や種々のＯＳＤを合成して映像信号を生成し、Ｓ１１１へ進む（Ｓ１０８）。この際、背景映像１３の背景映像データは、配信映像１２の映像データの撮影情報のカメラ番号（４ａ）、カメラの撮影方向（ｘ１）、カメラ設置距離（ｄ１）に基づいて選択される。

Ｓ１０９にて、歌唱・演奏用装置２は、配信映像１２の映像データに付与された撮影情報のカメラ番号（４ａ）に基づき、自装置のカメラ３１の設置位置を決定する。更に歌唱・演奏用装置２は、カメラの撮影方向（ｘ１）に基づき、自装置のカメラ３１の撮影方向を決定する。歌唱・演奏用装置２は、カメラ設置距離（ｄ１）に基づき、自装置のカメラ３１にて、ズーム等の処理を行いながら、利用者８の撮影を行い、Ｓ１１０へ進む。

Ｓ１１０にて、図４（Ｂ），（Ｃ）に示すように、歌唱・演奏用装置２は、パート情報が「カメラ撮影」に該当するので、配信映像１２の映像データを撮影データに差し替える（Ｎｏ．１，４）。歌唱・演奏用装置２は、背景映像１３の背景映像データの上に、自装置のカメラ３１で撮影している撮影データを重ね、楽譜・歌詞データ１４や種々のＯＳＤを合成して映像信号を生成しＳ１１１へ進む。この際、背景映像１３の背景映像データは、配信映像１２の映像データに付与された撮影情報のカメラ番号（４ａ）、カメラの撮影方向（ｘ１）、カメラ設置距離（ｄ１）に基づいて選択される。

Ｓ１１１にて、歌唱・演奏用装置２は、合成された映像信号を自装置のモニタ３４に出力して、Ｓ１１２へ進む。

Ｓ１１２にて、歌唱・演奏用装置２は、演奏している演奏曲が終了するまで、Ｓ１０４〜Ｓ１１２の処理を繰り返して実行する。
以上で、歌唱・演奏用装置２による演奏処理を終了する。

なお、第１実施形態では、利用者８の演奏前に、演奏曲に対応した背景映像１３を配信サーバ１から受信している。しかしながら、これに限らず、歌唱・演奏用装置２内に設けたＲＯＭ内にデフォルトの背景映像１３を格納しておき、デフォルトの背景映像１３の背景映像データに配信映像１２の映像データ等と合成した映像信号を自装置のモニタ３４に出力してもよい。
また、第１実施形態では、歌唱・演奏用装置２は、自装置のカメラ３１の設置位置の移動や撮影時のズーム等の処理を行っている。しかしながら、これに限らず、歌唱・演奏用装置２は、自装置のカメラ３１の制御を行わず、一定の方向から利用者８と一定の距離を設けて撮影を行ってもよい。この際、歌唱・演奏用装置２のモニタ３４に出力する映像信号は、一定方向からステージ６１まで一定の距離を設けて撮影した背景映像１３の背景映像データに利用者８の撮影データ等を合成して生成される。

以上より、第１実施形態に係る歌唱・演奏用装置２は、演奏中の利用者８を自装置のカメラ３１で撮影する。歌唱・演奏用装置２は、利用者８と同じパートの演奏者７のライブ映像を利用者８の映像に差し替えて自装置のモニタ３４に表示する。これにより、利用者８に対してライブ会場６で演奏者７と一緒に演奏しているような感覚を与え、利用者８に臨場感と高揚感をもたらす。
また、歌唱・演奏用装置２は、利用者８の演奏前に、予め背景映像１３を配信サーバ１から取得して自装置内に格納する。これにより、利用者８の演奏時、ライブ会場から配信される映像が演奏者７のみから構成されるため、歌唱・演奏用装置２は、一度に配信サーバ１から受信するデータ量を少なくすることができる。このため、歌唱・演奏用装置２は、ネットワーク５の負荷の影響を受けにくく、ライブ会場６の演奏者７の映像をリアルタイムに受信することができ、利用者８は、リアルタイムでライブ会場６の演奏者７と一緒に演奏する感覚を享受することができる。

［第２実施形態］
本発明の第２実施形態に係る歌唱・演奏用装置２について、図６を参照して説明する。
図６は、配信サーバ１及び歌唱・演奏用装置２の機能を示すブロック図である。
第１実施形態では、ライブ会場６の演奏をリアルタイムに配信するが、第２実施形態では、ライブ会場６の演奏を予め配信サーバ１内に格納しておき、利用者の要求により配信する。これにより、利用者８は好きなタイミングで、ライブ会場６の演奏者７と一緒に演奏することができる。

図６に示すように、配信サーバ１は、ネットワーク５を介して、複数台の歌唱・演奏用装置２と接続される。
配信サーバ１のデータベース１００には、複数の演奏曲が格納され、演奏曲毎に、ＭＩＤＩ形式の楽曲データ１１とＭＰＥＧ２形式の配信映像１２とＭＰＥＧ２形式の背景映像１３とＭＩＤＩ形式の楽譜・歌詞データ１４が設けられる。

歌唱・演奏用装置２は、第１実施形態と異なり、ＭＩＤＩ形式の楽曲データ１１から複数の楽音信号を形成する音源３５が設けられる。
音源３５では、ＣＰＵ２０により入力された楽曲データ（ノートイベントデータ等）１１に応じて楽音信号を形成する。形成した楽音信号はミキサ２７に入力される。
また、ミキサ２７では、音源３５が発生した複数の楽音信号、及び、マイク２５、Ａ／Ｄ変換部２６を介して入力された利用者８からの音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ここで、ミキサ２７が各音声信号に付与する効果及びミキシングのバランスはＣＰＵ２０によって制御される。ミキシングされたデジタルの音声信号はサウンドシステム２８に入力される。この際、ＣＰＵ２０からの指示を受け、音源３５から入力された複数の楽音信号のうち、パートに該当する楽音信号を消去する。また、ミキサ２７は、他のパートのガイドメロディを消去する。ミキサ２７は、必要に応じて該当するパートのガイドメロディについても消去する。

なお、第２実施形態では、ミキサ２７でＣＰＵ２０から入力された楽音データからパートに該当する楽音信号を消去したが、これに限らず、ＣＰＵ２０でパートに該当する楽曲データ１１を消去してもよい。

なお、第２実施形態では、歌唱・演奏用装置２は、利用者８の演奏開始前に、背景映像１３と楽譜・歌詞データ１４を取得し、自装置のＲＡＭ２３内に格納する。歌唱・演奏用装置２は、演奏中に、楽曲データ１１と配信映像１２を取得する。しかしながら、これに限らず、歌唱・演奏用装置２は、利用者８の演奏開始前に、全データ（楽曲データ１１、配信映像１２、背景映像１３、楽譜・歌詞データ１４）を取得し、一時的に自装置のＲＡＭ２３に格納してもよい。これにより、ネットワーク５の影響を受けず、利用者８は、スムーズに演奏を行うことができる。

以上より、第２実施形態に係る歌唱・演奏用装置２は、撮影・録音したライブの演奏曲が複数格納された配信サーバ１から、利用者８が演奏したいタイミングで各種データを取得し、演奏することができる。
また、歌唱・演奏用装置２は、演奏中の利用者８を撮影し、利用者８と同じパートの演奏者７の映像を利用者８の映像に差し替えて自装置のモニタ３４に表示する。これにより、利用者８に対してライブ会場６で演奏者７と一緒に演奏しているような感覚を与え、利用者８に高揚感をもたらす。

配信サーバ１及び歌唱・演奏用装置２の機能を示すブロック図である。 ライブ会場６で演奏中の演奏者７とカメラ４との配置を示す図である。 居室９で演奏中の利用者８とカメラ３１との配置を示す図である。 演奏曲の映像データの構成を示す図である。 演奏時の映像に関する処理の流れを示すフローチャートを示す図である。 第２実施形態に係る配信サーバ１及び歌唱・演奏用装置２の機能を示すブロック図である。

符号の説明

１−配信サーバ，２−歌唱・演奏用装置，４（４ａ〜４ｃ），３１−カメラ，５−ネットワーク，６−ライブ会場，７（７ａ〜７ｄ）−演奏者，８−利用者，９−居室，１１−楽曲データ，１２−配信映像，１３−背景映像，１４−楽譜・歌詞データ，２０−ＣＰＵ，２１−操作部，２２−通信インタフェース，２３，１０１−ＲＡＭ、２４−ＲＯＭ，２５−マイク，２６，３２−Ａ／Ｄ変換部，２７−ミキサ，２８−サウンドシステム，２９−スピーカ，３０−ＭＰＥＧデコーダ，３３−データ合成部，３４−モニタ，３５−音源，６１−ステージ，１００−データベース

Claims (6)

1. 複数の演奏者の各々の演奏パートを特定するパート情報及び前記演奏者の撮影情報が映像データ毎に付与されている配信映像と、歌唱用データとを受信する受信手段と、
   装置本体に接続されたカメラと、
   前記受信手段で受信した映像データのパート情報と予め指定した指定パートとに基づいて、該指定パートに対応する映像データを前記カメラで撮影した撮影データに差し替えて表示用映像データを形成する表示用映像データ形成手段と、
   前記表示用映像データ形成手段で形成された表示用映像データを出力するモニタと、
   を備えた歌唱・演奏用装置。
2. 撮影情報が背景映像データ毎に付与されている背景映像を記憶する背景映像記憶手段を更に備え、
   前記表示用映像データ形成手段は、前記受信手段で受信した映像データのパート情報に予め指定した指定パートが含まれるとき、前記カメラで撮影した撮影データと前記背景映像データとを合成し、前記受信手段で受信した映像データのパート情報に予め指定した指定パートが含まれないとき、受信した映像データと前記背景映像データとを合成する請求項１に記載の歌唱・演奏用装置。
3. 前記表示用映像データ形成手段は、前記受信手段で受信した映像データの撮影情報に基づき、前記カメラの撮影位置と撮影方向を決定する請求項１又は請求項２に記載された歌唱・演奏用装置。
4. 配信サーバと、該配信サーバとネットワーク接続された複数の請求項１〜請求項３のいずれかに記載の歌唱・演奏用装置と、を備え、
   前記配信サーバは、前記配信映像を前記歌唱・演奏用装置に配信し、
   該歌唱・演奏用装置は、該配信映像を受信するとともに、前記表示用映像データ形成手段により表示用映像データを形成し、前記モニタに出力する歌唱・演奏用システム。
5. 配信サーバと、該配信サーバとネットワーク接続された複数の請求項２又は請求項３のいずれかに記載の歌唱・演奏用装置と、を備え、
   前記配信サーバは、前記背景映像を自装置内に格納し、第一の段階で、背景映像を前記歌唱・演奏用装置に配信し、第二の段階で、配信映像を該歌唱・演奏用装置に配信し、
   該歌唱・演奏用装置は、第一の段階で、前記背景映像を受信すると、前記背景映像記憶手段により該背景映像を記憶し、第二の段階で前記配信映像を受信するとともに、前記表示用映像データ形成手段により表示用映像データを形成し、モニタに出力する歌唱・演奏用システム。
6. 前記配信サーバは、第二の段階において、ライブ映像を取得して、歌唱用データ及び映像データを順次生成し、前記歌唱・演奏用装置に配信する請求項４又は請求項５の歌唱・演奏用システム。

Images