JP2008299038A - 背景映像演出機能を備えるカラオケシステム - Google Patents

Abstract

【課題】本発明は、背景映像演出機能を備えるカラオケシステムに関し、歌唱曲が同一楽曲であっても変化に富む映像演出を可能とし、映像演出内容を予め紐付けておくことなく効果的に映像演出させることを可能とする。
【解決手段】マイク１４に当該マイクの所定単位の移動に応じた３軸の各軸移動ベクトルデータを検出する３軸加速度センサ１６を附帯させておき、表示オブジェクト格納部３４に描写データにより連続描写される表示オブジェクトを所定数格納し、背景映像演出処理手段３０において、歌唱時のマイク移動による当該加速度センサ１６から取得した所定単位毎の各軸移動ベクトルデータに基づき合成ベクトルデータを算出して移動全体の移動軌跡データを算出し、当該移動軌跡データを抽出された所定の表示オブジェクトの描写データに対応させることで当該表示オブジェクトを連続描写させる構成とする。
【選択図】 図１

Description

本発明は、歌唱時の背景映像を変化させて演出する背景映像演出機能を備えるカラオケシステムに関する。

近年、カラオケシステムは、利用者に対する利用喚起や利用満足性の向上を図る種々の機能を提供してきている。例えば、歌詞本を見ながら歌うだけのシステムから、背景映像の表示、そして当該背景映像に歌手本人を登場させる等の他に、歌詞の表示に続いて歌詞テロップを演奏経過と共に色変わりさせる等の機能が提供されている。

従来、カラオケシステムや音楽再生装置に関して、映像や楽曲演奏を演出する機能を備えたものが下記特許文献により開示されている。特許文献１には、マイクからの音声信号を分析してその音響特性を示す音程などの音声パラメータを抽出し、当該音声パラメータを背景画像で表示されている３次元ＣＧオブジェクトに対して３次元的な動きを示す３次元動きパラメータを対応させることが開示されている。また、特許文献２には、マイクロホンユニットに動作センサを備えさせ、当該マイクロホンユニットの動きをカラオケ装置本体部で移動軌跡等を検出し、当該移動軌跡等により演奏制御情報を生成して曲データに基づくカラオケ曲の演奏を制御することが開示されている。

さらに、特許文献３には、音楽データ格納手段にアーチスト名・ジャンル等の音楽再生時に依存しない静的属性とテンポ・音の強弱等の音楽再生時に依存する動的属性とを付加した音楽データを格納しておくと共に、ＣＧオブジェクト格納手段に、形状を定義した３次元位置情報と描画方法を定義した描画情報を持つＣＧオブジェクトを時系列で格納しておき、音楽データの静的属性又は動的属性の少なくとも一方をもとにしてＣＧオブジェクトの描画情報を再設定して画面上に投影して表示することが開示されている。

特開平１０−２５４４６４号公報 特開２００３−０８４７７９号公報 特開２００５−０５６１０１号公報

しかしながら、上記特許文献１は、音声パラメータは歌唱時の音声信号の高低や音量の大小等より抽出することから同一楽曲が歌唱される場合には例えば歌唱者が異なっても同一若しくは似たような音声パラメータとなり、３次元ＣＧオブジェクトの動きに変化が乏しくなるという問題がある。また、特許文献３においても、再設定されるＣＧオブジェクトの表示は音楽データの静的属性、動的属性に依存されることから、同一音楽の場合には常に同一の再設定されたＣＧオブジェクトを表示することになるという問題がある。

一方、特許文献２は、マイクロホンユニットの移動軌跡に応じてカラオケ曲の演奏が制御されるものであるが、当該移動軌跡と演奏の制御内容とを予め紐付けておかなくてはならないという問題があると共に、紐付けておくことは予め設定されたマイクロホンユニットの動きに制限されて自由性がなく、当該紐付けた制御内容でしか演奏を制御できないという問題がある。

そこで、本発明は上記課題に鑑みなされたもので、歌唱曲が同一楽曲であっても変化に富む映像演出を可能とすると共に、映像演出内容を予め紐付けておくことなく効果的に映像演出させる背景映像演出機能を備えるカラオケシステムを提供することを目的とする。

上記課題を解決するために、請求項１の発明では、歌唱時の背景映像を表示させる際に当該背景映像を変化させる演出を行う背景映像演出機能を備えるカラオケシステムであって、表示オブジェクト格納手段、加速度センサ及び背景映像演出処理手段を有し、前記表示オブジェクト格納手段は、描写データにより連続描写される表示オブジェクトを所定数格納し、前記加速度センサは、歌唱時に使用されるマイクに附帯され、当該マイクの移動に応じた２軸若しくは３軸の各軸移動ベクトルデータを検出し、前記背景映像演出処理手段は、前記加速度センサが検出した所定単位毎の各軸移動ベクトルデータに基づき合成ベクトルデータを算出してマイク移動全体の移動軌跡データを算出し、当該移動軌跡データを前記表示オブジェクト格納手段より抽出された所定の表示オブジェクトの前記描写データに対応させることで当該表示オブジェクトを前記背景映像として連続描写させる、構成とする。

請求項２、３の発明では、「前記背景映像演出手段は、前記移動軌跡データを前記所定の表示オブジェクトの前記描写データに対応させることで当該表示オブジェクト全体を一として連続描写させる」構成であり、
「前記表示オブジェクト格納手段に格納されている表示オブジェクトを、描写データにより連続描写される複数の表示オブジェクトパーツの集まりとし、前記背景映像演出処理手段が、前記移動軌跡データを前記所定の表示オブジェクトの前記描写データに対応せせることで当該表示オブジェクトパーツ毎に連続描写させ、又は、当該表示オブジェクトパーツ毎及び前記表示オブジェクト全体の両方を連続描写させる」構成である。

本発明によれば、マイクに当該マイクの所定単位の移動に応じた２軸若しくは３軸の各軸移動ベクトルデータを検出する加速度センサを附帯させておき、表示オブジェクト格納手段に描写データにより連続描写される表示オブジェクトを所定数格納し、歌唱時のマイク移動による当該加速度センサから取得した所定単位毎の各軸移動ベクトルデータに基づき合成ベクトルデータを算出して移動全体の移動軌跡データを算出し、当該移動軌跡データを抽出された所定の表示オブジェクトの描写データに対応させることで当該表示オブジェクトを背景映像として連続描写させる構成とすることにより、歌唱曲が同一楽曲であってもマイクの移動に応じて変化に富む映像演出を行うことができると共に、映像演出内容を予め紐付けておくことなく効果的に映像演出させることができるものである。

以下、本発明の最良の実施形態を図により説明する。本実施形態では、マイクに附帯される加速度センサを３軸のものとし、表示オブジェクトを３次元で描写されたものとして説明するが、当該加速度センサが２軸のものとし、また、表示オブジェクトを２次元（２Ｄ）描写のものであっても適用することができるものである。例えば３Ｄの表示オブジェクトを２次元の描写データ（３次元描写データの一を「０」として扱えばよい）で連続描写させることが可能である。また、２Ｄの表示オブジェクトを３次元の描写データ（この場合も３次元描写データの一を「０」として扱えばよい）で連続描写させることが可能である。

図１に、本発明における背景映像演出機能を備えるカラオケシステムの構成図を示す。図１において、カラオケシステム１１は、選曲表示機能を備えたものとして、カラオケ演奏装置１２を主装置とし、当該カラオケ演奏装置１２に表示部１３、マイク１４及びスピーカ１５が有線方式、無線方式で接続される。また、マイク１４には３軸加速度センサ１６が附帯され、無線方式として送信部１７を内蔵する。

上記表示部１３は、通常の楽曲選曲表示やカラオケ演奏時の映像、歌詞テロップを表示するもので、例えば液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、その他種々のディスプレイを採用することができる。上記マイク１４は利用者が歌唱時に使用するもので、ここでは、上述のように無線方式としている。当該マイク１４の附帯する３軸加速度センサ１６は、当該マイク１４の所定単位の移動に応じて変化する加速度を３軸の各軸移動ベクトルデータを所定単位毎にマイク移動全体で検出する（図２で説明する）。送信部１７は、歌唱者の音声信号及び当該マイク移動全体における所定単位毎の各軸移動ベクトルデータをカラオケ演奏装置１２（後述の受信部２９）に送信するための電子回路であり、音声信号及び各軸移動ベクトルデータを、例えば搬送周波数を異ならせることにより識別させることができる。

上記カラオケ演奏装置１２は、バス２１、中央制御部２２、ＲＯＭ２３、ＲＡＭ２４、楽曲ＤＢ（楽曲データベース）２５、再生制御部２６、音楽曲出力部２７、ミキシングアンプ２８、受信部２９、背景映像演出処理手段３０及び背景映像ＤＢ（背景映像データベース）３３を適宜備える。当該背景映像演出処理手段３０は移動軌跡演算手段３１及び連続描写対応手段３２を備え、当該背景映像ＤＢ３３は表示オブジェクト格納部３４を備える。

上記中央制御部２２は、このシステムを統括的に処理制御する物理的なＣＰＵであり、ＲＯＭ２３に記憶されているプログラムに基づくアルゴリズム処理を行う。上記ＲＡＭ２４は、種々のプログラムを展開、実行させるための作業領域としての役割をなすと共に、所定のメモリ領域に予約楽曲を順次登録する予約待ち行列が形成されるもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。

上記楽曲ＤＢ２５は、楽曲ＩＤで管理される所定データ形式のカラオケ楽曲の演奏データを所定数格納するもので、当該楽曲毎に通常の背景映像表示のための所定数のシーン映像を割り当てる割当データが関連付けられる。ここで、上記背景映像ＤＢ３３は、通常の背景映像表示のための所定数のシーン映像データを所定数格納すると共に、表示オブジェクト格納部３４に描写データにより連続描写される所定数の表示オブジェクトを格納するデータベースである。なお、この楽曲ＤＢ２５及び背景映像ＤＢ３３を、カラオケ演奏装置１２ではなく、通信ネットワークを介してアクセス可能なホスト装置に備えさせることとしてもよい。

上記表示オブジェクトとしては、ここでは３ＤのＣＧ（コンピュータグラフィックス）とし、３次元のローカル座標が定義されたものである（陰影等の処理も適宜行われる）。当該３次元のローカル座標に移動量の変数と共に移動加速度の変数を与えることにより、当該表示オブジェクトを仮想的なカメラワークとして演出することができるものである。ここで、仮想カメラワークとしては、カメラ位置（視点）の移動、角度の変動、ズームの増減であり、当初静止画像の表示オブジェクトを連続的に描写させることができるものである。

上記再生制御部２６は、演奏時に、背景映像ＤＢ３３より抽出された所定数のシーン映像データ及び歌詞テロップデータ（歌詞文字データ）を当該楽曲の演奏データに同期させて表示部１３に出力する他に、後述の連続描写対応手段３２で移動軌跡データが対応された描写データにより表示オブジェクトを表示部１３で連続描写させる電子回路である。上記音楽曲出力部２７は、楽曲コードで楽曲ＤＢ２５より抽出された演奏データをデジタル再生し、アナログ変換してミキシングアンプ２８に出力する電子回路である。ミキシングアンプ２８は、楽曲ＤＢ２５より抽出された演奏信号とマイク１４より受信部２９を介して入力した歌唱者の歌唱音声信号とをミキシングし、増幅してスピーカ１５より出力させる電子回路である。

上記受信部２９は、マイク１４より送信されてくる歌唱音声信号及び３軸加速度センサ１６からのマイク移動全体における所定単位毎の各軸移動ベクトルデータを、その搬送周波数に応じて、歌唱音声信号をミキシングアンプ２８に送出し、所定数の各軸移動ベクトルデータを背景映像演出処理手段３０に送出するプログラムないし電子回路である。

上記背景映像演出処理手段３０において、備える上記移動軌跡演算手段３１及び連続描写対応手段３２は処理プログラムでありＲＡＭ２４に展開されて実行される。当該移動軌跡演算手段３１は、３軸加速度センサ１６が検出したマイク移動全体における所定単位毎の各軸移動ベクトルデータに基づき合成ベクトルデータを算出してマイク移動全体の移動軌跡データを算出するプログラムであり、当該連続描写対応手段３２は、上記算出した移動軌跡データを表示オブジェクト格納部３４より抽出された所定の表示オブジェクトの描写データに対応させることで当該表示オブジェクトを背景映像として再生制御部２６に送出して表示部１３で連続描写させるためのプログラムである。なお、これらの具体的な内容は図２で説明する。

ここで、図２に、図１の３軸加速度センサを備えるマイク及びベクトルデータの説明図を示す。図２（Ａ）において、マイク１４が附帯する３軸加速度センサ１６は、当該マイク１４の動き（移動）に応じて３軸（Ｘ軸、Ｙ軸、Ｚ軸）でその所定単位の移動に対する開始地点から終了地点までの連続する各軸の移動ベクトルデータを検出する。例えば、図２（Ｂ）に示すようなマイク１４の移動（Ｍｇ）を一単位とし、その各３軸移動ベクトルデータ（Ｘｇ、Ｙｇ、Ｚｇ）として検出し、マイク移動全体を上記一単位毎の各軸移動ベクトルデータとして順次検出する。そして、一単位毎の各軸移動ベクトルデータをマイク移動全体でカラオケ演奏装置１２（背景映像演出処理手段３０）に順次送信する。

例えば、図２（Ｂ）に示すように、マイク１４の直接的な一単位の移動がＭｇとすると、当該終点のＸ軸の移動ベクトルデータがＸｇ、Ｙ軸の移動ベクトルデータがＹｇ、Ｚ軸の移動ベクトルデータがＺｇとしてそれぞれの各軸移動ベクトルデータが当該３軸加速度センサ１６より出力される。

一方、図２（Ｂ）に示す一単位の各軸移動ベクトルデータ（Ｘｇ、Ｙｇ、Ｚｇ）は、背景映像演出処理手段３０の移動軌跡演算手段３１では、まず、各軸移動ベクトルデータ（Ｘｇ、Ｙｇ、Ｚｇ）のそれぞれを加算して合成ベクトルデータＭｇを算出し、マイク移動全体の各合成ベクトルデータ（Ｍｇ１，Ｍｇ２，・・・，Ｍｇｘ）の総てに基づいて、図２（Ｃ）に示すような移動軌跡データを算出する。当該移動軌跡データは、各軸移動ベクトルデータ（Ｘｇ、Ｙｇ、Ｚｇ）の集合である。また、これら各合成ベクトルデータより移動の傾き及び移動加速度の描写速度データが算出される。

連続描写対応手段３２では、上記算出された移動軌跡データを抽出された表示オブジェクトの描写データに対応させると共に、上記算出された傾き及び移動加速度の描写速度データに基づいて、方向及び連続描写速度が設定されるものである。上記移動軌跡データの上記描写データへの対応は、例えば３次元の座標を行列演算して変換後の座標データを求める一般的に知られているアフィン変換により実現することができる。これによって、上述のように、仮想カメラワークとして、カメラ位置（視点）の移動、角度の変動、ズームの増減で、当初静止画像の表示オブジェクトを連続的に描写させることができるものである。

そこで、図３に本発明における背景映像演出の処理フローチャートを示すと共に、図４に本発明における背景映像演出の一例の説明図を示す。ここでは、移動軌跡データを表示オブジェクトの描写データに対応させることで当該表示オブジェクト全体を一として連続描写させる形態について示す。図３（Ａ）において、まず、歌唱の際に、利用者に対して図示しない操作手段により、背景映像として表示オブジェクトを表示するか否かを選択させる（ステップ（Ｓ）１）。表示オブジェクトの表示を選択しない場合には、選択された楽曲に関連付けられた割当データに基づいて各シーン映像が背景映像ＤＢ３３より抽出されて表示部１３で表示される（Ｓ２）。一方、表示オブジェクトの表示が選択されると、背景映像ＤＢ３３の表示オブジェクト格納部３４に格納されている何れかの所定の表示オブジェクトを図示しない操作手段により選択させる。

そこで、図３（Ｂ）において、歌唱の際に、表示オブジェクト格納部３４より描写データで連続描写される所定の表示オブジェクトが抽出されて静止画像状態で表示部１３に表示する（Ｓ１１）。歌唱時に、受信部２９がマイク１４の３軸加速度センサ１６より図２（Ｂ）に示すような所定単位毎の各軸移動ベクトルデータ（Ｘｇデータ、Ｙｇデータ、Ｚｇデータ）をマイク移動全体で順次受信すると（Ｓ１２）、背景映像演出処理手段３０における移動軌跡演算手段３１が所定単位毎の各軸移動ベクトルデータ（Ｘｇ、Ｙｇ、Ｚｇ）のそれぞれを加算して合成ベクトルデータとし、マイク移動全体の各合成ベクトルデータより、図２（Ｃ）に示すような移動軌跡データを算出すると共に、当該各合成ベクトルデータの傾き及び移動加速度の描写速度データを算出する（Ｓ１３）。

続いて、連続描写対応手段３２において、算出した移動軌跡データを表示オブジェクトの描写データ（ローカル座標）に対応させ、当該傾き及び移動加速度の描写速度データに基づいて、方向及び連続描写速度を設定して再生制御部２６に送出する（Ｓ１４）。そして、図４（Ａ）〜（Ｃ）に示すように、移動軌跡データが対応された描写データ、及び描写速度データで静止画像の表示オブジェクトを表示部１３で連続的に描写する（Ｓ１５）。すなわち、図４（Ａ）〜（Ｃ）において、選択された例えば「波」の表示オブジェクトをあたかもカメラワークで視点の移動、角度の変動として連続的に描写させるものである。

このように、歌唱者のマイク１４の移動（歌唱時の振り）によって表示オブジェクトの背景映像が演出されることから、歌唱曲が同一楽曲であっても変化に富む映像演出を行うことができると共に、映像演出内容を予め紐付けておくことなく効果的に映像演出させることができるものである。

次に、図５に、本発明における背景映像演出の他の例の説明図を示す。上記実施形態は、単一の表示オブジェクトの背景映像を連続描写してあたかもカメラワークとして表示演出させた場合を示したが、ここでは、一の表示オブジェクトを、３Ｄ描画された描写データにより連続描写表示される複数の表示オブジェクトパーツの集まりとし、当該表示オブジェクトパーツ毎のそれぞれのローカル座標毎に３軸加速度センサ１６から取得した各軸移動ベクトルデータに基づいて合成ベクトルデータを算出し、マイク移動全体の移動軌跡データを算出し、移動軌跡データを選択された表示オブジェクトにおける表示オブジェクトパーツ毎の描写データに対応させることで連続描写させるものである。

例えば、図５（Ａ）に示すように、全体を単一の表示オブジェクトとし、頭、左右の上腕部及び下腕部、左右の大腿部及び脛部、左右の足などに分け、各表示オブジェクトパーツの集まりとして、腕や足等の表示オブジェクトパーツの描写データに上記移動軌跡演算手段３１で算出した移動軌跡データを対応させて、表示オブジェクトパーツ単位で連続描写させるものである。

ここでは、歌唱時間により連続描写させる表示オブジェクトパーツ（腕、足等）をアルゴリズム上で設定しておき、経過時間に対応したマイクの移動に応じて腕や足等に相当する表示オブジェクトパーツを連続描写させるものとしている。すなわち、図５（Ａ）の静止状態より歌唱開始から所定時間までのマイク移動に対しては、図５（Ｂ）に示すように、「腕」に相当する表示オブジェクトパーツを連続描写の対象とし、所定時間からは、「足」に相当する表示オブジェクトパーツを連続描写の対象とし、また、その後の所定時間からは、図５（Ｃ）に示すように、「腕」及び「足」の両方に相当する表示オブジェクトパーツを連続描写の対象とするものである。なお、連続描写させる表示オブジェクトパーツの対象を歌唱楽曲の歌唱区間毎に設定してもよい。

上記図５では、上述のように算出した移動軌跡データを選択された表示オブジェクトにおける表示オブジェクトパーツ毎の描写データに対応させることで連続描写させる場合を示したが、当該表示オブジェクトパーツ毎の連続描写とこれら表示オブジェクトパーツで構成される表示オブジェクト全体の連続描写との両方を同時に行うこととしてもよいものである。

このように、一の表示オブジェクトを表示オブジェクトパーツの集まりとして、表示オブジェクトパーツ毎の描写データに移動軌跡データを対応させ、また、表示オブジェクトパーツ毎の描写データと表示オブジェクト全体の描写データとの両方に移動軌跡データを対応させることによっても、上記同様に、変化に富む映像演出を行うことができると共に、映像演出内容を予め紐付けておくことなく効果的に映像演出させることができるものである。

本発明の背景映像演出機能を備えるカラオケシステムは、歌唱時に背景映像を表示させるカラオケシステム全般に利用可能である。

本発明における背景映像演出機能を備えるカラオケシステムの構成図である。 図１の３軸加速度センサを備えるマイク及びベクトルデータの説明図である。 本発明における背景映像演出の処理フローチャートである。 本発明における背景映像演出の一例の説明図である。 本発明における背景映像演出の他の例の説明図である。

符号の説明

１１ カラオケシステム
１２ カラオケ演奏装置
１３ 表示部
１４ マイク
１６ ３軸加速度センサ
３０ 背景映像演出処理手段
３１ 移動軌跡演算手段
３２ 連続描写対応手段

Claims (3)

1. 歌唱時の背景映像を表示させる際に当該背景映像を変化させる演出を行う背景映像演出機能を備えるカラオケシステムであって、
   表示オブジェクト格納手段、加速度センサ及び背景映像演出処理手段を有し、
   前記表示オブジェクト格納手段は、描写データにより連続描写される表示オブジェクトを所定数格納し、
   前記加速度センサは、歌唱時に使用されるマイクに附帯され、当該マイクの所定単位の移動に応じた２軸若しくは３軸の各軸移動ベクトルデータを検出し、
   前記背景映像演出処理手段は、前記加速度センサが検出した所定単位毎の各軸移動ベクトルデータに基づき合成ベクトルデータを算出してマイク移動全体の移動軌跡データを算出し、当該移動軌跡データを前記表示オブジェクト格納手段より抽出された所定の表示オブジェクトの前記描写データに対応させることで当該表示オブジェクトを前記背景映像として連続描写させる、
   ことを特徴とする背景映像演出機能を備えるカラオケシステム。
2. 請求項１記載の背景映像演出機能を備えるカラオケシステムであって、前記背景映像演出手段は、前記移動軌跡データを前記所定の表示オブジェクトの前記描写データに対応させることで当該表示オブジェクト全体を一として連続描写させることを特徴とする背景映像演出機能を備えるカラオケシステム。
3. 請求項１記載の背景映像演出機能を備えるカラオケシステムであって、
   前記表示オブジェクト格納手段に格納されている表示オブジェクトを、描写データにより連続描写される複数の表示オブジェクトパーツの集まりとし、
   前記背景映像演出処理手段が、前記移動軌跡データを前記所定の表示オブジェクトにおける表示オブジェクトパーツ毎の前記描写データに対応させることで連続描写させ、又は、当該表示オブジェクトパーツ毎及び前記表示オブジェクト全体の両方を連続描写させることを特徴とする背景映像演出機能を備えるカラオケシステム。

Images