以下、本発明の実施形態について説明する。図1に示すカラオケシステムは、ホスト装置1(サーバー)とカラオケ装置2とユーザー端末3とを有している。そして、これらが通信回線4を介して通信可能に接続されている。ホスト装置1は、歌唱動画コンテンツの基となる歌唱動画データを多数記憶しており、ユーザー端末3からの指示で選択された或る楽曲の歌唱動画コンテンツ(歌唱動画データ)を複数合成し、その楽曲の合成動画コンテンツを生成する。以下、カラオケシステムを構成する各装置1〜3について説明する。
まず、ホスト装置1について説明する。ホスト装置1は、サーバーとして機能し、顧客情報や歌唱動画データといった各種情報を蓄積して管理する。図2に示すように、ホスト装置1は、ホスト側制御部11と、ホスト側通信部12と、ホスト側記憶部13とを有している。ホスト側制御部11は、ホスト装置1における制御の中心となる部分であり、CPU11aやメモリ11bを有している。CPU11aは、メモリ11bに記憶された動作プログラムに従って各種の制御を実行する。メモリ11bは、CPU11aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。ホスト側通信部12は、ホスト装置1を通信回線4に接続するためのインタフェースを提供する。
ホスト側記憶部13は、大容量の情報を記憶する記憶装置であり、ハードディスクドライブ等によって構成されている。このホスト側記憶部13は、歌唱動画コンテンツの基となる歌唱動画データ(歌唱音声データと歌唱映像データの組,録画用動画データ,閲覧用動画データ)を、カラオケ楽曲毎の識別情報である楽曲IDに関連付けた状態で記憶していることから、歌唱動画コンテンツを楽曲に関連付けて記憶するコンテンツ記憶手段に相当する。
ホスト側記憶部13の一部領域は、顧客情報記憶領域、歌唱音声データ記憶領域、歌唱映像データ記憶領域、録画用動画データ記憶領域、閲覧用動画データ記憶領域、レイアウトテーブル記憶領域として用いられている。
顧客情報記憶領域には、歌唱者毎の識別情報である利用者IDに対応付けられた状態で、性別、年齢、生年月日、住所等の個人情報や、利用店舗、利用日時、歌唱履歴等の履歴データが記憶されている。
歌唱音声データ記憶領域には、カラオケ装置2からアップロードされた歌唱音声データが記憶され、歌唱映像データ記憶領域には、カラオケ装置2からアップロードされた歌唱映像データが記憶されている。これらの歌唱音声データや歌唱映像データは、歌唱動画コンテンツの基となる歌唱動画データであり、楽曲ID、利用者ID、歌唱履歴、コラボレーションされる他の歌唱動画コンテンツの選択情報と対応付けられた状態で記憶されている。本実施形態において、歌唱音声データはMP3形式のデータが用いられ、歌唱映像データはMPEG2形式のデータが用いられている。
録画用動画データ記憶領域には、他の歌唱動画とコラボレーションをする際に、カラオケ装置2へダウンロードされて再生される録画用動画データが記憶される。すなわち、録画用動画データは、コラボレーション時にカラオケ装置2で再生される合成動画コンテンツの基となる歌唱動画データである。本実施形態では、映像と音声とが別データであり、録画用に作成されたMPEG2形式の歌唱映像データ(録画用映像データ,コラボレーション歌唱時の背景映像データ)とMP3形式の歌唱音声データ(録画用音声データ)とが記憶される。なお、これらの録画用映像データ及び録画用音声データは、ユーザー端末3からの指示に応じ、ホスト側制御部11にて生成される。
閲覧用動画データ記憶領域には、ユーザー端末3に閲覧させるための閲覧用動画データが記憶される。この閲覧用動画データは、ユーザー端末3で再生される歌唱動画コンテンツの基となるデータである。この歌唱動画コンテンツには、未コラボレーションの単独歌唱で生成された単独動画コンテンツと、コラボレーション歌唱で生成された合成動画コンテンツとが含まれる。本実施形態の閲覧用動画データは、WMV形式やMP4形式の動画データであり、ユーザー端末3からの指示に応じてホスト側制御部11で生成される。
レイアウトテーブル記憶領域には、録画用動画データの表示レイアウト、及び、閲覧用動画データの表示レイアウトを規定するレイアウトテーブルが記憶される。図3(a),(b)に示すように、レイアウトテーブルは、合成対象である歌唱動画コンテンツの選択数と合成後の映像レイアウトの関係を規定する。ここで、映像レイアウトとは、選択された歌唱動画コンテンツの映像表示位置や大きさである。本実施形態では、レイアウトA〜F、及び、全画面からなる7種類のレイアウトが定義されている。また、コラボレーション時(録画用動画データ)と閲覧時(閲覧用動画データ)のそれぞれに対応するテーブルが用意されている。なお、各レイアウトについては、後で詳しく説明する。
次に、カラオケ装置2について説明する。このカラオケ装置2はカラオケ演奏や歌唱採点を行う装置であり、図1に示すように、例えばカラオケ店KBの各カラオケルームRMに設置されている。そして、図4に示すように、カラオケ装置2は、カラオケ本体21と、スピーカ22と、モニタ23と、マイク24と、ビデオカメラ25と、リモコン装置26とを有している。
カラオケ本体21は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、マイク24を通じて入力された歌唱音声信号の処理といった、カラオケに関する各種の制御を行う部分である。このカラオケ本体21については、後で詳しく説明する。
スピーカ22は、カラオケ本体21に接続されており、カラオケ本体21からの放音信号に基づいて放音する。モニタ23もカラオケ本体21に接続されており、カラオケ本体21からの映像信号に基づいて映像を画面に表示する。マイク24もカラオケ本体21に接続されており、歌唱者の音声をアナログの歌唱音声信号に変換してカラオケ本体21に入力させる。ビデオカメラ25もカラオケ本体21に接続されており、歌唱中の映像を歌唱映像信号に変換してカラオケ本体21に入力させる。
リモコン装置26は、カラオケ本体21との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、カラオケ楽曲の予約時などに操作される。カラオケ楽曲の予約時において、リモコン装置26からは、演奏対象の楽曲を識別するための楽曲IDを含んだ操作信号が送信される。登録された利用者がリモコン装置26を通じてログインした場合、その利用者の利用者IDがホスト装置1に送信される。そして、リモコン装置26には、お気に入り登録された歌唱動画コンテンツや歌唱履歴等の各種情報が表示される。
また、本実施形態のリモコン装置26は、ユーザー端末3としても機能する。この場合、リモコン装置26は、近隣のアクセスポイント(図示せず)、及び、通信回線4を経由してホスト装置1に接続される。このため、利用者は、カラオケ店KBに居ながらにして、マイページにアクセスできる。
次に、カラオケ本体21について詳細に説明する。図5に示すように、カラオケ本体21は、本体側制御部31と、本体側通信部32と、本体側記憶部33と、音響処理部34と、表示処理部35と、映像入力部36と、操作部37とを有している。そして、これらの各部がバスを介して通信可能な状態に接続されている。
本体側制御部31は、カラオケ本体21における制御の中心となる部分であり、CPU31aやメモリ31bを有している。CPU31aは、メモリ31bに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部37からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。メモリ31bは、CPU31aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。このため、メモリ31bには、各種のプログラムを記憶する記憶領域が設けられている。
本体側通信部32は、カラオケ本体21(カラオケ装置2)を通信回線4に接続するためのインタフェースを提供する。この本体側通信部32は、本体側制御部31によって動作が制御される。
本体側記憶部33は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この本体側記憶部33には、例えば、楽曲データ記憶領域、背景映像データ記憶領域、歌唱映像データ記憶領域、歌唱音声データ記憶領域、録画用動画データ記憶領域が設けられる。
楽曲データ記憶領域には、リモコン装置26で選択されたカラオケ楽曲を演奏するための楽曲データが記憶され、背景映像データ記憶領域には、モニタ23に背景映像を表示させるための背景映像データが記憶される。歌唱映像データ記憶領域には、ビデオカメラ25で撮影された歌唱映像データが記憶され、歌唱音声データ記憶領域には、歌唱音声信号をデジタルデータ化した歌唱音声データが記憶される。録画用動画データ記憶領域には、他の歌唱動画コンテンツとのコラボレーション用に、ホスト装置1から送信された録画用動画データ(録画用映像データ,録画用音声データ)が記憶される。
音響処理部34は、カラオケ楽曲に対する演奏の制御を行ったり、マイク24を通じて入力された歌唱音声信号をデジタルの歌唱音声データに変換する等の制御を行ったりする部分である。この音響処理部34では、伴奏データに応じて生成された楽音信号と歌唱音声データとが適当なバランスでミキシングされ、放音信号としてスピーカ22へ出力される。また、音響処理部34は、利用者がコラボレーションをする際、楽音信号や歌唱音声データに加え、ホスト装置1からの録画用音声データもミキシングする。これにより、利用者は、録画用音声データの再生音声と合唱が行える。
表示処理部35は、カラオケ演奏時における背景映像の表示等の制御を行う。カラオケ演奏時において、表示処理部35には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部35は、デコードで生成された背景映像の映像信号に歌詞テロップを合成し、合成後の映像信号をモニタ23に出力する。その結果、モニタ23には、背景映像に歌詞テロップが重ねられた映像が表示される。
また、表示処理部35は、利用者がコラボレーション歌唱をする際、背景映像データに代えて録画用映像データを用い、モニタ23に録画用映像を表示させる。このとき、モニタ23の所定位置(後述)には、ビデオカメラ25で撮影された映像、すなわち歌唱映像データに基づく映像が上書き(スーパーインポーズ)される。従って、録画用映像データは、コラボレーション歌唱時における背景映像データに相当する。
映像入力部36は、ビデオカメラ25からの歌唱映像信号の取り込み処理を行う部分であり、いわゆるビデオカードで構成されている。この映像入力部36は、例えば、ビデオカメラ25と接続するための外部インタフェース、バスを通じて本体側制御部31等と接続するための内部インタフェース、及び、フレームバッファとしてのビデオメモリを有している(何れも図示せず)。
操作部37は、パネルスイッチやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置26の操作に応じた操作信号を本体側制御部31に対して出力する。本体側制御部31は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置26は、操作を選択するための種々のキースイッチ(図示せず)を備えている。
そして、リモコン装置26を通じた操作により、ログインした利用者のマイページから、お気に入り登録された歌唱動画コンテンツを呼び出すことができる。この呼び出し操作により、当該歌唱動画コンテンツに対応する録画用動画データがカラオケ装置2にダウンロードされ、録画用動画データ記憶領域に記憶される。あわせて、当該歌唱動画コンテンツに対応するカラオケ楽曲の楽曲IDが本体側制御部31のメモリ31bに記憶され、演奏処理の待ち行列で管理される。
その後、当該カラオケ楽曲の順序がやってくると、カラオケ伴奏に同期して、録画用映像データに基づく映像にビデオカメラ25で撮影された歌唱映像がスーパーインポーズされ、モニタ23で表示される。また、録画用音声データに基づく歌唱音声がカラオケ伴奏と共にスピーカ22から放音される。さらに、ビデオカメラ25で撮影された歌唱映像が、歌唱映像データとして歌唱映像データ記憶領域に記憶され、マイク24で集音された歌唱音声が、歌唱音声データとして歌唱音声データ記憶領域に記憶される。なお、記憶された歌唱映像データ及び歌唱音声データは、カラオケ楽曲の終了後の操作によりホスト装置1へアップロードされ、ホスト側記憶部13(歌唱映像データ記憶領域,歌唱音声データ記憶領域)に記憶される。
次に、ユーザー端末3について説明する。ユーザー端末3は、カラオケの利用者によって操作される通信端末であり、図1に示すように、パーソナルコンピュータ3A、タブレットコンピュータ3B、携帯電話機3Cなどが含まれる。また、前述したように、リモコン装置26もユーザー端末3に含まれる。
図6に示すように、ユーザー端末3は、端末側制御部41と、端末側通信部42と、端末側記憶部43と、表示部44と、入力部45とを有している。
端末側制御部41は、ユーザー端末3における制御の中心となる部分であり、CPU41aやメモリ41bを有している。CPU41aは、メモリ41bに記憶された動作プログラムに従って各種の制御を実行する。メモリ41bは、CPU41aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。端末側通信部42は、ユーザー端末3を通信回線4に接続するためのインタフェースを提供する。端末側記憶部43は、各種の情報を記憶する記憶装置であり、不揮発性メモリやハードディスクドライブ等によって構成される。
表示部44及び入力部45は、いずれもユーザインタフェースを提供する部分である。表示部44は、各種メニューや操作用のラジオボタン等を表示する部分であり、例えば液晶表示装置やブラウン管で構成される。入力部45は、利用者による操作を操作情報として取り込む部分であり、例えばキーボード、マウス、タッチパネルによって構成される。なお、可搬性が要求されるタブレットコンピュータ3Bやリモコン装置26では、表示部44と入力部45とが一体化されたタッチパネル付きの液晶表示パネルが好適に用いられる。
次に、レイアウトテーブル、及び、映像の各種レイアウトについて説明する。図7(a),(b)に示すように、レイアウトAは、2つの動画コンテンツに対応する2つの映像を合成する際のレイアウトであり、レイアウトBは3つの映像を合成する際のレイアウトである。そして、図7(c)〜(f)に示すように、レイアウトCは4つの映像を、レイアウトDは5つの映像を、レイアウトEは6つの映像を、レイアウトFは7つの映像を合成表示する際のレイアウトである。
図7(a)に示すように、レイアウトAでは、カラオケ装置2のモニタ23やユーザー端末3の表示部44の表示範囲を左右方向の中心で2分割し、右側部分に歌唱映像Aを表示させ、左側部分にビデオカメラ25からのキャプチャー映像若しくは歌唱映像Bを表示させる。すなわち、カラオケ装置2でのコラボレーション時において、モニタ23の右側部分にはコラボレーション対象のダウンロード映像が表示され、左側部分にはビデオカメラ25からのキャプチャー映像(歌唱映像データに基づく映像)が表示される。一方、ユーザー端末3による合成動画コンテンツの閲覧時には、選択された2つの歌唱動画コンテンツのうち一方が歌唱映像Aとして右側部分に表示され、他方が歌唱映像Bとして左側部分に表示される。
モニタ23や表示部44の画面をレイアウトAのように2分割した場合、分割された画面の縦横比と各映像の縦横比とが相違する可能性が高い。そこで、図8に示すように、レイアウトテーブルでは、各映像の縦横比が維持されるように、映像の表示範囲が規定されている。すなわち、画面左下の座標(xa,ya)から画面左上の座標(xc,yd)の範囲が画面の全範囲と規定され、画面左下の座標(xa,ya)から画面上端中央の座標(xb,yd)の範囲が左側部分の表示範囲に規定され、画面下端中央の座標(xb,ya)から画面左上の座標(xc,yd)の範囲が右側部分の表示範囲に規定されている。
そして、基となる映像の縦横比が維持され、左側部分や右側部分において面積が最大となり、かつ、画面の上下中央に映像が表示されるように、各映像の表示位置が規定されている。この例では、座標(xa,yb)から座標(xb,yc)の範囲がキャプチャー映像若しくは歌唱映像Bの表示位置に規定され、座標(xb,yb)から座標(xc,yc)の範囲が歌唱映像Aの表示位置に規定される。
図7(b)に示すように、レイアウトBでは、画面の左側半部がキャプチャー映像若しくは歌唱映像Cの表示範囲に規定され、右側の上側半部が歌唱映像Aの表示範囲に規定され、右側の下側半部が歌唱映像Bの表示範囲に規定される。図7(c)に示すように、レイアウトCでは、画面の左側半部がキャプチャー映像若しくは歌唱映像Dの表示範囲に規定されるとともに、右側半部が上下方向に3等分されて歌唱映像A〜Cの表示範囲に規定される。すなわち、右上部分が歌唱映像Aの表示範囲に、右中部分が歌唱映像Bの表示範囲に、右下部分が歌唱映像Cの表示範囲に規定される。
図7(d)〜(f)に示すように、レイアウトD〜Fでは、キャプチャー映像等の表示範囲の大きさはレイアウトA等と同じであり、画面の全範囲における左右中央に配置される。そして、他の歌唱映像については、キャプチャー映像等の左右に振り分けられる。
すなわち、図7(d)に示すレイアウトDでは、キャプチャー映像若しくは歌唱映像Eの表示範囲が画面の左右中央に規定される。そして、歌唱映像Aの表示範囲が画面の右上部分に、歌唱映像Bの表示範囲が画面の右下部分に、歌唱映像Cの表示範囲が画面の左上部分に、歌唱映像Dの表示範囲が画面の左下部分に、それぞれ規定される。また、図7(e)に示すレイアウトEでは、キャプチャー映像若しくは歌唱映像Fの表示範囲が画面の左右中央に、歌唱映像A〜Cの表示範囲が画面の右側に、歌唱映像D,Eの表示範囲が画面の左側に、それぞれ規定される。同様に、図7(f)に示すレイアウトFでは、キャプチャー映像若しくは歌唱映像Fの表示範囲が画面の左右中央に、歌唱映像A〜Cの表示範囲が画面の右側に、歌唱映像D〜Fの表示範囲が画面の左側に、それぞれ規定される。
なお、詳細は省略するが、これらのレイアウトB〜Fにおいても、レイアウトAと同様に、各歌唱映像の表示面積が最大となるように表示位置が定められる。また、各歌唱映像が離れて表示されてしまうと、視聴者に対して間延びした印象を与える可能性があるため、これらのレイアウトB〜Fでは、各歌唱映像が互いに隣接するように表示位置が定められる。
次に、図9及び図10等を参照し、上記構成を有するカラオケシステム(合成動画コンテンツの生成システム)の動作について説明する。ここで、図9における符号Sn(n=自然数)は、以下の処理におけるステップに相当する。これらのステップは、ホスト側制御部11、本体側制御部31、及び、端末側制御部41がプログラムを実行することで実現される。また、以下の処理で述べる各手段は、各制御部11,31,41がプログラムを実行することで構成される機能実現手段である。
このカラオケシステムでは、リモコン装置26や操作部37でカラオケ楽曲が選択され、かつ、動画を撮影する旨の指示が与えられると(S1)、カラオケ装置2は、歌唱映像データ取得手段や歌唱音声データ取得手段として機能する。
すなわち、カラオケ本体21は、対象のカラオケ楽曲が演奏されている期間に亘り、ビデオカメラ25からの映像信号をキャプチャーし、キャプチャー映像をモニタ23に表示させるとともに、歌唱映像データとして本体側記憶部33の歌唱映像データ記憶領域に記憶させる(S2)。例えばMPEG2形式のデータとして記憶させる。また、カラオケ本体21は、対象のカラオケ楽曲が演奏されている期間に亘り、マイク24を通じて入力された歌唱音声信号を歌唱音声データとして取得し、ミキシング等を施してスピーカ22に出力したり、本体側記憶部33の歌唱音声データ記憶領域に記憶させたりする(S3)。前述したように、本実施形態では、記憶される歌唱音声データとしてMP3形式のデータが用いられている。
そして、リモコン装置26を通じてアップロードの指示が与えられると、カラオケ装置2は、アップロード手段として機能し、本体側記憶部33に記憶された歌唱映像データ及び歌唱音声データを、利用者ID、楽曲ID、動画ID、及び、選択数情報等と対応付けた状態でホスト装置1にアップロードする(S4)。
ここで、動画IDとは、歌唱動画データ(歌唱映像データ,歌唱音声データ)の識別情報である。選択数情報とは、生成される動画コンテンツでの表示レイアウトを決定するための情報であり、或る動画コンテンツを生成するために選択された他の動画コンテンツ(映像)の数を示す。この段階で生成される動画コンテンツは、他の動画コンテンツとはコラボレーションされないため、選択数情報として「1」が設定される。これらの利用者ID、楽曲ID、動画ID、及び、選択数情報といった各種情報は、例えば歌唱音声データにおけるMP3タグに含ませて送信される。
ホスト装置1は、アップロードされた歌唱映像データ及び歌唱音声データを、ホスト側記憶部13の歌唱映像データ記憶領域及び歌唱音声データ記憶領域に記憶させる(S5)。そして、ホスト装置1は、アップロードされた歌唱映像データ及び歌唱音声データの組から、閲覧用動画データを生成する(S6)。例えば、パーソナルコンピュータ3Aによる閲覧用としてWMV形式の閲覧用動画データを生成し、タブレットコンピュータ3Bや携帯電話機3Cによる閲覧用としてMP4形式の閲覧用動画データを生成する。
閲覧用動画データの生成に際し、ホスト装置1は、選択数情報取得手段として機能し、選択数情報を取得する。本実施形態では、ホスト側制御部11が歌唱音声データのMP3タグに含まれる選択数情報を取得する。選択数情報を取得したならば、ホスト装置1は、レイアウト決定手段として機能し、動画コンテンツの表示レイアウトを決定する。本実施形態では、ホスト側制御部11がホスト側記憶部13に記憶されたレイアウトテーブルを参照する。ここでは、選択数情報が「1」であることから、図3(b)に示すように全画面の表示レイアウトに決定される。表示レイアウトが決定されたならば、ホスト装置1は、コンテンツ生成手段として機能し、アップロードされた歌唱動画データについての動画コンテンツを生成する。ここでは、ホスト側制御部11が、アップロードされた歌唱動画データ(歌唱映像データ,歌唱音声データ)を読み出し、決定された表示レイアウトに基づいて閲覧用動画データを生成する。
生成された閲覧用動画データは、ホスト側記憶部13の閲覧用動画データ記憶領域に記憶される。これに伴い、閲覧用動画データに基づく歌唱動画コンテンツが、その利用者のマイページで閲覧可能になる。ユーザー端末3による操作によって利用者がマイページにアクセスし、歌唱動画コンテンツの公開を指示すると、この歌唱動画コンテンツは他の利用者からも閲覧可能な状態になる(S7)。その際、コラボレーションによる利用を許可すると、その歌唱動画コンテンツは、コラボレーション可能な状態で公開される。
前述の各処理S1〜S7が繰り返し行われることで、閲覧用動画データ記憶領域には多数の閲覧用動画データが蓄積され、これらの閲覧用動画データに基づく歌唱動画コンテンツが複数の利用者から閲覧可能になる。
図10(a)は、コラボレーション可能に公開された或る楽曲の歌唱動画コンテンツ群であり、ユーザー端末3における一覧表示画面の例である。この一覧表示画面では、それぞれの歌唱動画コンテンツの説明画像44a(サムネイル画像及び説明文)が、表示部44においてマトリクス状に配置されている。この一覧表示画面は、例えば、利用者がユーザー端末3を通じてログインし、コラボレーション可能な歌唱動画コンテンツの表示ページにて、楽曲名による検索を行うことで表示される(S8)。
ユーザー端末3を通じ、利用者が或る歌唱動画コンテンツの説明画像44aを選択すると、図10(b)に示すように、選択された歌唱動画コンテンツ44bがユーザー端末3の表示部44で再生される(S9)。そして、選択された歌唱動画コンテンツの再生画面で、この歌唱動画コンテンツのお気に入り登録を指示すると、例えば「お気に入り登録」のラジオボタン44cを操作すると、その指示を示す指示情報がホスト装置1に送信される(S10)。ホスト装置1では、受信した指示情報に従い、選択された歌唱動画コンテンツを、その利用者のお気に入り歌唱動画コンテンツとして登録する(S11)。
図10(c)は、或る利用者によってお気に入り登録された、或る楽曲についての歌唱動画コンテンツ群の一覧画面である。この一覧画面では、歌唱動画コンテンツの説明画像44aの左上部にチェックボックス44dが表示されている。このチェックボックス44dは、お気に入り登録された動画コンテンツ群から、合成対象とする動画コンテンツを選択するためのものである。利用者は、ユーザー端末3を通じてチェックボックス44dにチェックを入れ、コラボレーション対象となる歌唱動画コンテンツを選択する(S12)。図示の例では、8つの歌唱動画コンテンツのうち、チェックボックス44dの内部にチェックマークが描かれた4つの歌唱動画コンテンツが選択されている。
ここで、選択した歌唱動画コンテンツの組み合わせが適切か否かを確認する場合、利用者は、ユーザー端末3を通じて合成動画コンテンツの視聴を指示する(S13)。例えば、図10(c)の一覧画面における「コラボ視聴」のラジオボタン44eを操作する。これにより、その指示を示す指示情報がホスト装置1に送信される(S14)。
指示情報の受信に伴いホスト装置1は、選択された歌唱動画コンテンツを合成し、閲覧用の合成動画コンテンツを生成する(S15)。すなわち、選択された歌唱動画コンテンツに対応する歌唱動画データを読み出して合成し、合成動画コンテンツに対応する新たな閲覧用動画データを生成する。
この場合、ホスト装置1は、指示情報の受信に伴って選択数情報取得手段として機能し、選択された歌唱動画コンテンツの数を選択数情報として取得する。すなわち、チェックボックス44dがチェックされた歌唱動画コンテンツの数(この例では「4」)を選択数情報として取得する。あわせて、ホスト装置1は、選択された歌唱動画コンテンツに対応する動画ID、及び、各歌唱動画コンテンツの選択順序を示す順序情報を取得する。順序情報の情報は、合成動画コンテンツの表示レイアウトを定めるための情報として用いられる。
次に、ホスト装置1は、コンテンツ選択手段として機能し、ホスト側記憶部13(コンテンツ記憶手段)に記憶された或る楽曲の歌唱動画コンテンツを複数選択する。本実施形態では、ホスト側制御部11が動画IDに対応する歌唱動画データ(歌唱映像データ,歌唱音声データ)を複数選択する。また、ホスト装置1は、レイアウト決定手段としても機能し、合成動画コンテンツの表示レイアウトを決定する。本実施形態では、ホスト側制御部11がホスト側記憶部13に記憶されたレイアウトテーブルを参照する。ここでは、選択数情報が「4」であることから、合成対象の歌唱動画コンテンツが4つと判定され、図3(b)及び図7(c)に示すようにレイアウトCと決定される。
表示レイアウトが決定されたならば、ホスト装置1は、合成コンテンツ生成手段として機能し、選択された複数の歌唱動画コンテンツの映像を、決定された表示レイアウトに従って合成し、合成動画コンテンツを生成する。
本実施形態では、先の処理で選択された複数の歌唱動画コンテンツの映像を、順序情報に基づいてレイアウトCの各表示領域に割り振って合成する。すなわち、1番目に選択された歌唱動画コンテンツの映像を歌唱映像Aの位置に、2番目に選択された歌唱動画コンテンツの映像を歌唱映像Bの位置に、3番目に選択された歌唱動画コンテンツの映像を歌唱映像Cの位置に、4番目に選択された歌唱動画コンテンツの映像を歌唱映像Dの位置に、それぞれ配置して合成する。また、先の処理で選択された複数の歌唱音声データを合成し、新たな歌唱音声データを生成する。そして、合成後の歌唱映像データと歌唱音声データが、合成動画コンテンツの基となる閲覧用動画データとされ、閲覧用動画データに記憶される。
閲覧用動画データが生成されたならば、ホスト装置1は、閲覧用動画データをユーザー端末3に配信する(S16)。これにより、合成動画コンテンツがユーザー端末3で再生される(S17)。このとき、ホスト装置1は、生成された閲覧用動画データのコピーをユーザー端末3に転送してもよいし、生成された閲覧用動画データに基づく映像信号及び音声信号をユーザー端末3にストリーミング配信してもよい。
視聴の結果、選択した歌唱動画コンテンツの組み合わせが適切であり、選択した歌唱動画コンテンツとのコラボレーションを希望する場合、利用者は、ユーザー端末3を通じて合成動画コンテンツによる録画を指示する(S18)。例えば、図10(c)の一覧画面における「コラボ録画」のラジオボタン44fを操作する。これにより、その指示を示す指示情報がホスト装置1に送信される(S19)。
指示情報の受信に伴いホスト装置1は、選択された歌唱動画コンテンツを合成し、録画用の合成動画コンテンツを生成する(S20)。すなわち、選択された歌唱動画コンテンツの基となる歌唱動画データを選択して合成し、録画用の合成動画コンテンツの基となる録画用動画データを生成する。
録画用動画データの生成に際しても、ホスト側制御部11は、ホスト側記憶部13に記憶されたレイアウトテーブルを参照する。図10(c)の例では、選択された歌唱動画コンテンツが4つであることから、図3(a)に示すようにレイアウトDに決定され、図7(d)のレイアウトDによる録画用動画データが生成される。
この場合も、選択された順序に従って各映像の表示位置が定められる。具体的には、選択された4つの歌唱動画コンテンツのうち、1番目に選択された歌唱動画コンテンツの映像を歌唱映像Aの位置に、2番目に選択された歌唱動画コンテンツの映像を歌唱映像Bの位置に、3番目に選択された歌唱動画コンテンツの映像を歌唱映像Cの位置に、4番目に選択された歌唱動画コンテンツの映像を歌唱映像Dの位置に、それぞれ配置して合成する。なお、画面中央に位置する最大面積の表示領域は、その利用者の歌唱映像(キャプチャー映像)の表示用に確保される。また、先の処理で選択された複数の歌唱音声データを合成し、新たな歌唱音声データを生成する。そして、合成後の歌唱映像データと歌唱音声データを録画用動画データ(録画用映像データ,録画用音声データ)とする。
生成された録画用動画データは、ホスト側記憶部13の録画用動画データ記憶領域に記憶され、録画用の合成動画コンテンツとして登録される。その後、カラオケ店KBに赴いた利用者は、リモコン装置26を通じた操作により、自身のマイページから、お気に入り登録された録画用の合成動画コンテンツを呼び出す(S21)。この呼び出し操作により、呼び出し指示を示す指示情報がホスト装置1に送信され(S22)、ホスト装置1からカラオケ本体21へ、録画用の合成動画コンテンツの基となる録画用動画データがダウンロードされる(S23)。あわせて、当該合成動画コンテンツに対応するカラオケ楽曲の楽曲IDが本体側制御部31のメモリ31bに記憶され、演奏処理の待ち行列で管理される。
当該カラオケ楽曲の順序がやってくると、カラオケ伴奏に同期して、録画用の合成動画コンテンツが再生される。すなわち、録画用映像データに基づく映像がモニタ23で表示され、録画用音声データに基づく歌唱音声がスピーカ22から放音される。その際、ビデオカメラ25で撮影された歌唱者のキャプチャー映像が、モニタ23における中央部の表示領域に他の映像よりも大きな面積で表示される。これにより、歌唱者は、気分よく歌唱することができる。
このとき、カラオケ装置2は、歌唱映像データ取得手段や歌唱音声データ取得手段としても機能する。すなわち、ビデオカメラ25で撮影された歌唱映像が、歌唱映像データとして歌唱映像データ記憶領域に記憶され、マイク24で集音された歌唱音声が、歌唱音声データとして歌唱音声データ記憶領域に記憶される(S24)。
当該カラオケ楽曲の演奏が終了し、リモコン装置26を通じてアップロードの指示が与えられると、カラオケ装置2は、アップロード手段として機能する。これにより、記憶された歌唱動画データ(歌唱映像データ,歌唱音声データ)が、ホスト装置1へアップロードされ(S25)、ホスト側記憶部13(歌唱映像データ記憶領域,歌唱音声データ記憶領域)に記憶される(S26)。なお、カラオケ装置2は、アップロードされる歌唱動画データ(本実施形態では歌唱音声データのMP3タグ)に、利用者ID、楽曲ID、動画ID、及び、選択数情報等の必要な情報を書き込んで送信する。
ホスト装置1は、アップロードされた歌唱動画データから閲覧用動画データを生成する(S27)。本実施形態では、2種類の閲覧用動画データが作成される。一方は、他の歌唱動画データと合成された閲覧用動画データであり、他方は、今回アップロードされた歌唱動画データのみに基づく閲覧用動画データである。ここでも、ホスト側制御部11は、ホスト側記憶部13に記憶されたレイアウトテーブルを参照する。この例では、前者の閲覧用動画データを構成する歌唱動画コンテンツが5つであることから、図3(b)に示すようにレイアウトDが選択され、図7(d)のレイアウトDによる合成動画データが生成される。また、後者の閲覧用動画データを構成する歌唱動画コンテンツが1つであることから、図3(b)に示すように全画面のレイアウトが選択され、合成動画データが生成される。
これらの閲覧用動画データに基づく歌唱動画コンテンツもまた、その利用者のマイページで閲覧可能な状態にされる。そして、利用者がマイページにアクセスし、その歌唱動画コンテンツの公開を指示すると、この歌唱動画コンテンツは他の利用者からも閲覧可能な状態になる。
以上の説明から明らかなように、本実施形態のカラオケシステムによれば、選択数情報に基づいて合成動画コンテンツの表示レイアウトが決定されるので、選択された歌唱動画コンテンツの数に適した表示レイアウトの合成動画コンテンツを生成することができる。これより、表示レイアウトの自由度を高めることができ、ひいては合成動画コンテンツに対する興趣を高めることができる。
また、本実施形態のカラオケシステムでは、図7のレイアウトB〜Fに示すように、最後に選択された歌唱動画コンテンツの表示面積が、他の歌唱動画コンテンツの表示面積の表示面積よりも大きくなるように、合成動画コンテンツの表示レイアウトが決定されているので、合成動画コンテンツに対する興趣をより高めることができる。
また、本実施形態のカラオケシステムでは、ホスト装置1(サーバー)は、選択された歌唱動画コンテンツの数と表示レイアウトとの関係を規定するレイアウトテーブルを有しており、このレイアウトテーブルの内容を参照して表示レイアウトを決定しているので、表示レイアウトを容易に決定することができる。
以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。例えば、次のように構成してもよい。
利用者ID、楽曲ID、動画ID、選択数情報といった各種情報に関し、前述の実施形態では、MP3タグを利用して情報の送受信を行っていたが、この方法に限定されるものではない。例えば、これらの各種情報を別のファイルで送信してもよい。
また、前述の実施形態では、歌唱動画コンテンツを扱っていたが、音声のみからなる歌唱音声コンテンツを合成の対象にしてもよい。この場合、ホスト側記憶部13(コンテンツ記憶手段)は、歌唱音声コンテンツの基となる歌唱音声データをも、楽曲IDに関連付けた状態で記憶する。そして、ホスト装置1(コンテンツ選択手段)は、ユーザー端末3からの指示に応じて、ホスト側記憶部13に記憶された或る楽曲の歌唱音声データ(歌唱音声コンテンツ)を選択する。また、ホスト装置1(コンテンツ生成手段)は、歌唱音声データを選択した場合、他に選択された歌唱動画データ(歌唱動画コンテンツ)とともに、歌唱音声データを合成の対象とする。このように構成することで、映像を含まない歌唱音声コンテンツも合成することができ、表示対象となる映像の数を増やさなくても、多数の歌唱音声が合成された合成動画コンテンツを生成できる。
また、前述の実施形態では、歌唱動画コンテンツの選択順に合成動画コンテンツのレイアウトを定めるようにしたが、この方法に限定されるものではない。例えば、図10(c)の一覧画面にレイアウトテーブルも表示させ、歌唱動画コンテンツの説明画像44aをレイアウトテーブルの各表示領域にドラッグ及びドロップさせるようにしてもよい。その際、ドロップされた歌唱動画コンテンツのサムネイル画像を各表示領域で表示させると、各歌唱動画コンテンツの配置を視覚で判断できるので好ましい。
また、合成動画コンテンツの表示レイアウトに関し、図7に示した例以外の表示レイアウトを採用してもよい。例えば、図11に示すレイアウトD´のように、各映像の表示面積を段階的に小さくするようにしてもよい。