まず本発明の第1実施形態について説明する。図1に示す通信カラオケシステムは、ホスト装置1とカラオケ装置2とユーザー端末3とを有している。そして、これらが伝送路4を介して通信可能に接続されている。カラオケ装置2は、例えばカラオケ店KBの各カラオケルームRMに設置されている。
詳細は後述するが、伝送路4を通じたデュエット歌唱(以下、通信デュエットという)に際し、ユーザー端末3は、ホスト装置1から配信された募集用動画データ及びカラオケデータを再生する。また、カラオケ装置2は、ユーザー端末3から伝送路4を通じて送信された端末利用者の歌唱音とカラオケ演奏音との混合音信号を出力する。以下、各装置について説明する。
ホスト装置1は、サーバーとして機能し、顧客情報などの各種情報を蓄積して管理する。図2に示すように、ホスト装置1は、ホスト側制御部11と、ホスト側通信部12と、ホスト側記憶部13とを有している。ホスト側制御部11は、ホスト装置1における制御の中心となる部分であり、CPU11aやメモリ11bを有している。CPU11aは、メモリ11bに記憶された動作プログラムに従って各種の制御を実行する。メモリ11bは、CPU11aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。ホスト側通信部12は、ホスト装置1を伝送路4に接続するためのインタフェースを提供する。そして、ホスト側制御部11とホスト側通信部12の組は、歌唱音データと演奏音データの組(後述する募集用動画データとカラオケデータの組)を、ユーザー端末3に配信するデータ配信手段に相当する。
ホスト側記憶部13は、大容量の情報を記憶する記憶装置であり、サーバー側記憶手段に相当する。このホスト側記憶部13は、ハードディスクドライブ等によって構成されており、その一部領域は、顧客情報記憶領域、歌唱録音データ記憶領域、映像録画データ記憶領域、募集用動画データ記憶領域、カラオケデータ記憶領域として用いられている。
顧客情報記憶領域は、利用者(顧客)の属性情報や履歴情報が記憶される領域である。属性情報としては、例えば図3(a)に示すように、利用者ID、住所、電話番号、年齢、性別、職業、及び平均点が記憶されている。これらの中で、利用者IDは、利用者を識別するための情報であり、個々の利用者に対して付与される。平均点は、その利用者が歌唱した楽曲の採点値の平均である。また、履歴情報としては、例えば図3(b)や図3(c)に示すように、楽曲ID、利用店舗、歌唱日時、及び採点値が記憶されている。これらの中で、楽曲IDは、過去に歌唱したカラオケ楽曲を識別するための情報である。採点値は、当該カラオケ楽曲を歌唱した際にカラオケ装置2の採点処理で付与された点数であり、歌唱の巧拙を示す指標である。なお、この顧客情報記憶領域に記憶される利用者の一部が、ユーザー端末3の利用者でもある。
図2に示す歌唱録音データ記憶領域は、カラオケ歌唱時のマイク入力音を記録した音声のデータ(以下歌唱録音データという)が記憶される領域であり、映像録画データ記憶領域は、カラオケ歌唱時の利用者や室内を撮影した映像のデータ(以下映像録画データという)が記憶される領域である。歌唱録音データ及び映像録画データは、カラオケルームRMで行われたカラオケ歌唱を録音及び録画したデータであり、カラオケルームRMの利用者(ルーム利用者)の要求に応じてカラオケ装置2からアップロードされる。
歌唱録音データ及び映像録画データの組(すなわち歌唱動画データ)は、利用者ID、楽曲ID、及び履歴情報と対応付けられた状態で記憶されている。すなわち、ホスト側記憶部13は、カラオケ楽曲の歌唱に伴って取得された歌唱動画データを、利用者を示す利用者ID、カラオケ楽曲を示す楽曲ID、及び履歴情報に対応付けた状態で蓄積して記憶する。
この歌唱動画データは、例えばオフラインでのデュエット歌唱(以下コラボレーション歌唱という)をする際に利用される。コラボレーション歌唱では、ルーム利用者によって選択された歌唱動画データが、ホスト装置1からカラオケ装置2へダウンロードされ、カラオケ演奏音信号と共に再生される。この再生により、カラオケルームRMでは、歌唱動画データに基づく音声(カラオケ歌唱音)、及びカラオケ演奏音信号に基づくカラオケ演奏音が出力され、歌唱動画データに基づく映像(歌唱映像)が表示される。そして、歌唱動画データに基づく音声及びカラオケ演奏音にあわせて歌唱することで、ルーム利用者は、歌唱動画データの歌唱者とデュエットを行っている雰囲気を味わうことができる。なお、コラボレーション歌唱では、利用者が録画しアップロードした歌唱動画が公開され、ルーム利用者はそれらの中から好みの歌唱動画を選択するが、通信デュエットにおいては、使用される歌唱動画は公開されず、ホスト装置1が決定したユーザー端末3に対してのみ個別に配信される。
募集用動画データ記憶領域は、募集用動画データが記憶される領域である。この募集用動画データは、ルーム利用者(第1利用者)が通信デュエットの相手を募集する場合に、ホスト装置1からユーザー端末3へ配信される。本実施形態の募集用動画データは、歌唱時の音声が録音された募集用音声データ(歌唱音データに相当する)と、歌唱時の映像が録画された募集用録画データ(歌唱映像データに相当する)の組とで構成されている。この募集用動画データは、ユーザー端末3での再生に適したデータ形式が採用されており、利用者IDや楽曲IDに対応付けられた状態で募集用動画データ記憶領域に記憶されている。
この募集用動画データは、例えばデュエット相手の募集を決めたルーム利用者が、カラオケルームRMでカラオケ歌唱を録音及び録画することで得られた募集用の歌唱動画データから作成される。また、募集用動画データは、歌唱録音データ記憶領域や映像録画データ記憶領域に記憶されているコラボレーション歌唱用の歌唱動画データから作成することもできる。
カラオケデータ記憶領域は、カラオケデータが記憶される領域である。このカラオケデータは、通信デュエットの相手を募集する時に、募集用動画データとともにホスト装置1からユーザー端末3へ配信される。本実施形態のカラオケデータは、カラオケ楽曲の演奏音が録音された募集用演奏音データとカラオケ楽曲の歌詞が記録された募集用歌詞データの組で構成されており、募集用動画データと同様にユーザー端末3での再生に適したデータ形式が採用されている。本実施形態におけるカラオケデータは、通信デュエット対象曲の全てに対して予め作成されており、楽曲IDに対応付けられた状態で記憶されている。
次に、カラオケ装置2について説明する。カラオケ装置2は、カラオケ演奏、及び、カラオケ歌唱時の音声録音や映像録画等を行うものであり、例えば図4に示すように、カラオケ本体21と、スピーカー22と、モニタ23と、歌唱マイク24と、ビデオカメラ25と、リモコン装置26とを有している。
カラオケ本体21は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、歌唱マイク24で生成されたマイク信号の処理、録音及び録画制御といった、カラオケ歌唱に関する各種の制御を行う部分である。このカラオケ本体21については、後で詳しく説明する。
スピーカー22は、カラオケ本体21に接続されており、カラオケ本体21から出力される放音信号に基づいて音を出力する。例えば、個々のカラオケルームRMで行われる通常のカラオケ歌唱では、ルーム利用者の音声及びカラオケ本体21に記憶されている楽曲データに基づいて再生されるカラオケ演奏音の混合音がスピーカー22から出力される。また、通信デュエットでは、ユーザー端末3を利用する端末利用者の音声、及び、カラオケ演奏音が混合された混合音信号が、ユーザー端末3から伝送路4を通じてカラオケ本体21へ送信される。そして、カラオケ本体21では、受信した混合音信号に基づく端末利用者の音声、及び、カラオケ演奏音に、ルーム利用者の音声をさらに混合し、混合後の放音信号をスピーカー22に出力する。これにより、スピーカー22からは、ルーム利用者の音声、端末利用者の音声、及び、カラオケ演奏音の混合音が出力される。
従って、カラオケ本体21とスピーカー22の組は、ユーザー端末3から送信された混合音信号を受信して再生し、端末利用者(第2利用者)のカラオケ歌唱音及びカラオケ演奏音を出力する信号再生手段(音声信号再生手段)に相当する。
モニタ23は、カラオケ本体21に接続されており、カラオケ本体21からの映像信号に基づいて映像を画面に表示する。例えば、歌唱対象のカラオケ楽曲における歌詞や背景映像を表示させる。また、通信デュエットでは、ユーザー端末3から伝送路4を通じてカラオケ本体21へ送信された映像信号に基づき、端末利用者の映像がモニタ23に表示される。
従って、カラオケ本体21とモニタ23の組は、ユーザー端末3から送信された映像信号を受信して再生し、端末利用者の歌唱映像を表示する信号再生手段(映像信号再生手段)に相当する。
歌唱マイク24はカラオケ本体21に接続されており、ルーム利用者の音声等をマイク信号に変換してカラオケ本体21に入力させる。このマイク信号はカラオケ本体21で適宜調整され、カラオケ演奏音等と混合される。ビデオカメラ25は、カラオケルームRMを撮影することで、映像信号を生成する。このビデオカメラ25もカラオケ本体21に接続されており、生成された映像信号がカラオケ本体21に入力される。そして、カラオケ本体21は、入力された映像信号に基づく映像をモニタ23に表示させたり、入力された映像信号を変換して歌唱録画データを生成したりする。
リモコン装置26は、カラオケ本体21との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、カラオケ楽曲の予約時などに操作される。カラオケ楽曲の予約時において、リモコン装置26からは、演奏対象の楽曲を識別するための楽曲IDを含んだ操作信号が送信される。そして、カラオケ本体21は、ルーム利用者が選択したカラオケ楽曲を待ち行列で管理する。
また、本実施形態のリモコン装置26は、ルーム利用者を認証するときに用いられたり、通信デュエットの相手を募集するときに用いられたりする。その際、ルーム利用者による操作に応じた操作情報をホスト装置1に対して送信する。この場合において、ホスト装置1に対しては、操作信号が近隣のルーター装置RT1及び伝送路4を介して送信される。このような動作をするリモコン装置26は、操作情報送信手段に相当する。
次に、カラオケ本体21について詳細に説明する。図5に示すように、カラオケ本体21は、本体側制御部31と、本体側通信部32と、本体側記憶部33と、音源部34と、音響処理部35と、表示処理部36と、映像入力部37と、操作部38とを有している。そして、これらの各部がバスBS1を介して通信可能な状態に接続されている。
本体側制御部31は、カラオケ本体21における制御の中心となる部分であり、CPU31aやメモリ31bを有している。CPU31aは、メモリ31bに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部38からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。メモリ31bは、CPU31aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。
本体側通信部32は、ルーター装置RT1を介してカラオケ本体21を伝送路4に接続するためのインタフェースを提供する。このため、本体側通信部32は、ルーター装置RT1との間で情報の送受信を行う。そして、本体側通信部32は、本体側制御部31によって動作が制御される。
本体側記憶部33は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この本体側記憶部33には、例えば、楽曲データ記憶領域、背景映像データ記憶領域、歌唱録音データ記憶領域、及び映像録画データ記憶領域が設けられる。
楽曲データ記憶領域には、リモコン装置26で選択されたカラオケ楽曲を演奏するための楽曲データが記憶され、背景映像データ記憶領域には、モニタ23に背景映像を表示させるための背景映像データが記憶される。
楽曲データには、MIDIデータと歌詞データとが含まれる。MIDIデータは、電子楽器による音楽の演奏情報(演奏データ)であり、時系列のノート情報によって構成される。ノート情報は、例えば発音や消音のタイミング、キーの押圧力、音量や音質、再生テンポ(ピッチ)などを制御する各種の命令によって構成される。歌詞データは、カラオケ楽曲における歌詞テロップをモニタ23で表示させるためのデータである。なお、これらのMIDIデータと歌詞データは、カラオケ装置2で演奏可能なカラオケ楽曲のそれぞれについて、楽曲IDに対応付けられた状態で記憶されている。
歌唱録音データ記憶領域には、カラオケ歌唱時に録音された歌唱録音データが記憶され、映像録画データ記憶領域には、カラオケ歌唱時に撮影された映像録画データが記憶される。そして、歌唱録音データや映像録画データは、ルーム利用者の要求に応じてカラオケ装置2からホスト装置1へアップロードされる。
音源部34は、MIDIデータに基づいてカラオケ演奏音信号を生成する部分であり、CPU34aと、メモリ34bと、波形メモリ34cとを有している。CPU34aは、メモリ34bに記憶された動作プログラムに従って各種の制御を実行する。メモリ34bは、CPU34aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。波形メモリ34cは、対象楽器が奏でた様々な音の波形データを読み出し可能に記憶する記憶素子である。この音源部34は、本体側制御部31がシーケンサ処理を行うと、MIDIデータに応じて波形データを加工し、加工後の楽音信号を音響処理部35に出力する。
音響処理部35は、カラオケ演奏音信号の処理、及び、歌唱マイク24で生成されたマイク信号の処理を行う部分である。例えば、カラオケ楽曲の演奏制御において、音響処理部35は、音源部34から出力された楽音信号をアナログ変換し、カラオケ演奏音信号を生成する。また、歌唱マイク24からのマイク信号が入力されると、適宜調整を施して音声信号を生成する。この音声信号は、カラオケ演奏音信号と混合されてスピーカー22に出力される。また、通信デュエットにおいて、音響処理部35は、伝送路4を通じて受信した混合音信号と音声信号とを混合してスピーカー22に出力する。加えて、カラオケ歌唱を録音する場合、音響処理部35は、生成した音声信号をデジタルの歌唱録音データに変換して本体側記憶部33に記憶させる。
表示処理部36は、カラオケ演奏時における背景映像の表示等の制御を行う。通常のカラオケ演奏時において、表示処理部36には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部36は、デコードで生成された背景映像の映像信号に歌詞テロップを合成し、合成後の映像信号をモニタ23に出力する。その際、表示処理部36は、本体側制御部31でのシーケンサ処理で出力される歌詞データに基づき、歌詞テロップを合成する。また、シーケンサ処理で出力される色換え命令に従って、歌詞テロップの表示色を変更する。その結果、モニタ23には、背景映像に歌詞テロップが重ねられた映像が表示され、かつ、カラオケ楽曲の進行にあわせて歌詞テロップの表示色が変更される。また、通信デュエットにおいて、表示処理部36は、伝送路4を通じて受信した映像信号をモニタ23に出力する。ここで、歌詞付きの映像信号を受信した場合には映像信号をそのまま出力し、歌詞のない映像信号を受信した場合には歌詞テロップを合成した映像信号を出力する。
映像入力部37は、ビデオカメラ25からの映像信号を取り込む部分であり、例えばインタフェース回路によって構成されている。カラオケ歌唱の映像撮影時において、ビデオカメラ25からはルーム利用者等を撮影した映像信号が出力される。そして、映像入力部37は、入力された映像信号を表示処理部36に出力する。これにより、モニタ23には、ルーム利用者の映像が表示される。また、映像入力部37は、入力された映像信号をデジタルの映像録画データに変換して本体側記憶部33に記憶させることも行う。
また、後述するように、通信デュエット時においてユーザー端末3からは、端末利用者等を撮影した映像信号が伝送路4を通じて送信される。この場合において、映像入力部37は、受信した映像信号を表示処理部36に出力する。これにより、モニタ23には端末利用者の映像が表示される。
操作部38は、パネルスイッチやリモコン受信回路などからなっており、パネルスイッチやリモコン装置26の操作に応じた操作信号を本体側制御部31に対して出力する。本体側制御部31は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置26は、操作を選択するための種々のキースイッチ(図示せず)を備えている。そして、リモコン装置26を通じた操作により、通常のカラオケ歌唱や通信デュエットを選択して実行できる。
次に、ユーザー端末3について説明する。ユーザー端末3は、端末利用者が保有する装置であり、図1に示すように、パーソナルコンピュータ3A、タブレットコンピュータ3B、及び、携帯電話機3C等が該当する。このユーザー端末3にインストールされたアプリケーションソフトウェアを実行することで、ユーザー端末3を簡易型のカラオケ端末として利用できる。また、ホスト装置1からのプッシュ通知をユーザー端末3に送信することもできる。
図6(a)に示すように、ユーザー端末3は、端末側制御部41と、第1通信部42と、第2通信部43と、端末側記憶部44と、入力操作部45と、カメラ制御部46と、音声制御部47と、表示制御部48とを有しており、これらがバスBS2を介して通信可能な状態に接続されている。また、カメラ制御部46にはカメラユニット49が接続され、音声制御部47にはマイクユニット50及びスピーカーユニット51が接続され、表示制御部48には表示ユニット52が接続されている。
端末側制御部41は、ユーザー端末3における制御の中心となる部分であり、CPU41aやメモリ41bを備えている。CPU41aは、メモリ41bに記憶された動作プログラムに従って各種の制御を実行する。メモリ41bは、CPU41aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。
第1通信部42は、基地局BTSやルーター装置RT2と通信可能に接続するためのインタフェースを提供する。この第1通信部42は、端末側制御部41によって動作が制御され、基地局BTSに対して電気通信事業者の回線を利用した無線通信を行い、ルーター装置RT2に対して短距離無線通信や有線通信を行う。ユーザー端末3は、基地局BTSやルーター装置RT2を介して伝送路4に接続され、ホスト装置1やカラオケ装置2との間で各種データや各種信号を送受信する。
なお、第1通信部42は、デュエット歌唱時において、端末利用者(第2利用者)によるカラオケ歌唱音とカラオケ演奏音とを混合した混合音信号をカラオケ装置2に向けて送信する。このため、第1通信部42と、この第1通信部42の動作を制御する端末側制御部41の組は、混合音信号をカラオケ装置2に送信する信号送信手段に相当する。
第2通信部43は、ヘッドセット53と通信可能に接続するためのインタフェースを提供する。この第2通信部43は、ヘッドセット53に対して短距離無線通信や有線通信を行う。ヘッドセット53を用いることで端末利用者は、ユーザー端末3で表示される映像を視ることができ、ユーザー端末3から出力される音声を聴くこと、ユーザー端末3に音声を入力することをハンズフリーで行うこともできる。
端末側記憶部44は、ユーザー端末3で使用される情報を記憶する記憶装置である。図6(b)に示すように、端末側記憶部44の一部領域は、アプリケーション記憶領域、募集用動画データ記憶領域、カラオケデータ記憶領域として用いられている。
アプリケーション記憶領域は、アプリケーションソフトウェアがインストールされる領域である。このアプリケーションソフトウェアは、ユーザー端末3を簡易型のカラオケ端末として利用させるためのものであり、端末利用者からの指示に基づいて端末側制御部41によって実行される。
募集用動画データ記憶領域は、ホスト装置1の募集用動画データ記憶領域と同様に募集用動画データが記憶される領域である。すなわち、伝送路4を通じてホスト装置1から送信された募集用動画データが記憶される領域である。
カラオケデータ記憶領域もまた、ホスト装置1のカラオケデータ記憶領域と同様にカラオケデータが記憶される領域である。すなわち、伝送路4を通じてホスト装置1から送信されたカラオケデータが記憶される領域である。
前述したように、募集用動画データは、歌唱音データに相当する募集用音声データと、歌唱映像データに相当する募集用録画データの組で構成されている。また、カラオケデータは、演奏音データに相当する募集用演奏音データと、歌詞データに相当する募集用歌詞データの組で構成されている。このため、これらのデータを記憶する端末側記憶部44は、端末側記憶手段に相当する。
なお、本実施形態では、ユーザー端末3のOS自身、あるいはアプリケーションソフトウェアがMIDI音源を搭載しており、ホスト装置1はユーザー端末3に募集用演奏音データとして、MIDIデータとキー/テンポ設定情報を送信するが、ユーザー端末3がMIDI音源を搭載していない場合には、ホスト装置1からはMIDIデータに基づいて音源を鳴らしたオーディオデータを送信する。このオーディオデータは、カラオケ装置2で募集用歌唱音声データが録音される際に、同時に分離可能に録音しておくことができる。
入力操作部45は、端末利用者によって入力操作される部分であり、例えばタッチパネル、キーボード、マウス、トラックボールといった各種入力デバイスによって構成される。そして、端末側制御部41には、入力操作部45への入力操作に応じた操作信号が出力される。この操作信号に基づき、端末側制御部41は端末利用者の入力操作を認識する。例えば、入力操作部45への操作により、後述する応募通知をホスト装置1へ送信(回答)することができる。この場合において、端末側制御部41、入力操作部45、第1通信部42の組は、応募手段に相当する。
カメラ制御部46は、カメラユニット49に対する制御など撮影に関する制御を行う部分である。例えば、カメラユニット49の動作を制御したり、カメラユニット49での撮影で得られた映像信号を取り込んだりする。このカメラ制御部46は、端末側制御部41からの制御に従って動作を行う。
音声制御部47は、音声信号の入出力など音声に関する制御を行う部分である。例えば、マイクユニット50で変換されたマイク信号を取り込んだり、スピーカーユニット51に対して放音信号を出力したり、第2通信部43に接続されたヘッドセット53との間でマイク信号や放音信号をやりとりしたりする。
さらに、音声制御部47は、通信デュエットにおいて、端末側記憶部44に記憶された募集用音声データ及び募集用演奏音データを同期再生すると共に、ヘッドセット53或いはマイクユニット50からのマイク信号を混合する。これにより、ヘッドセット53或いはスピーカーユニット51からは、募集用音声データに基づくルーム利用者の歌唱音声と、募集用演奏音データに基づくカラオケ演奏音と、端末利用者の歌唱音声とが出力される。
この音声制御部47もまた、端末側制御部41からの制御に従って動作を行う。このため、端末側制御部41、音声制御部47、及び、スピーカーユニット51(又はヘッドセット53)の組は、記憶された募集用音声データ(歌唱音データ)と募集用演奏音データ(演奏音データ)を再生し、ルーム利用者(第1利用者)のカラオケ歌唱音をカラオケ演奏音と同期させて出力するデータ再生手段(音声データ再生手段)に相当する。
加えて、音声制御部47は、募集用音声データに基づくカラオケ歌唱音にあわせて、端末利用者による歌唱音のマイク信号をマイクユニット50或いはヘッドセット53から取得する。そして、音声制御部47は、募集用演奏音データの再生によって得られた演奏音信号をマイク信号と混合することで混合音信号を生成する。生成された混合音信号は、第1通信部42を介してカラオケ装置2に送信される。
このため、端末側制御部41と音声制御部47の組は、データ再生時の端末利用者の歌唱音とカラオケ演奏音との混合音信号を生成する混合音信号生成手段に相当する。また、端末側制御部41と第1通信部42の組は、生成された混合音信号をカラオケ装置2に送信する信号送信手段に相当する。
表示制御部48は、表示ユニット52に対する制御など表示に関する制御を行う部分である。例えば、端末側記憶部44に記憶された募集用録画データを募集用音声データ等と同期再生し、募集用録画データに基づく映像を表示ユニット52に表示させる。また、表示制御部48は、デュエット相手の募集に関して必要な情報を表示ユニット52に表示させたり、カメラユニット49で撮影された端末利用者の映像を表示ユニット52に表示させたりする。なお、ホスト装置1が送信する募集用演奏音データに歌詞情報を含ませることも可能である。このように構成すれば、受信したユーザー端末3の表示ユニット52に、歌詞を色変えしながら他の映像と合成して表示することができる。
この表示制御部48もまた、端末側制御部41からの制御に従って動作を行う。このため、端末側制御部41、表示制御部48、及び、表示ユニット52の組は、記憶された募集用録画データ(歌唱映像データ)を再生し、ルーム利用者(第1利用者)の歌唱映像をルーム利用者のカラオケ歌唱音及びカラオケ演奏音と同期させて表示させるデータ再生手段(録画データ再生手段)に相当する。
次に、上記構成を有する通信カラオケシステムの動作について説明する。このカラオケシステムは、通信デュエットの処理に特徴を有している。このため、通信デュエットの動作を中心に説明を行う。
図7に示すように、この通信カラオケシステムでは、ホスト装置1とカラオケ装置2とユーザー端末3とが、伝送路4を介して相互に通信可能な状態で接続されている。図7の例では、便宜上、1台のカラオケ装置2と3台のユーザー端末3を例示したが、実際には多数のカラオケ装置2及びユーザー端末3が接続されている。
この通信カラオケシステムでは、ルーム利用者(第1利用者)がデュエット歌唱を希望するとき、ホスト装置1(サーバー)に依頼をすることで、ホスト装置1が複数の端末利用者(第2利用者)に対して募集をかける。すなわち、ホスト装置1は、ルーム利用者による募集用動画データをカラオケデータとともに複数のユーザー端末3へ配信する。募集用動画データを視聴した端末利用者が募集に応じると、募集に応じた端末利用者とルーム利用者との間で通信デュエットが行われる。
この通信デュエットにおいて、募集に応じた端末利用者のユーザー端末3では、配信された募集用動画データ及びカラオケデータが再生される。このため、端末利用者は、募集用動画データに基づく音声及びカラオケデータに基づくカラオケ演奏音に対してデュエット歌唱を行う。そして、ユーザー端末3は、端末利用者の歌唱音声とカラオケ演奏音を混合した混合音信号を生成し、伝送路4を通じてカラオケ装置2へ送信する。カラオケ装置2は、受信した混合音信号を再生し、端末利用者の歌唱音声をカラオケ演奏音とともに出力する。ルーム利用者は、端末利用者の歌唱音声及びカラオケ演奏音に対してデュエット歌唱を行う。
図8は、通信デュエットにおける各装置の動作を説明するフローチャートである。同図に示すように、通信デュエットを行うに際し、ルーム利用者の認証処理(S10)、募集用動画データの生成処理(S20)、配信対象となる端末利用者の選定処理(S30)、デュエット相手となる端末利用者の決定処理(S40)、及び、デュエット歌唱処理(S50)が行われる。以下、各処理について具体的に説明する。
ルーム利用者の認証処理(S10)において、ルーム利用者(歌唱者)はリモコン装置26を操作し、ログイン処理を行う(S11)。このログイン処理では、利用者IDやパスワードが入力される。そして、ホスト装置1は、ルーム利用者の認証処理を行う(S12)。この認証処理では、入力された利用者IDとパスワードの組み合わせが正しいか否かが判定され、正しい場合にルーム利用者が特定される。
募集用動画データの生成処理(S20)は、募集用動画データを生成してホスト装置1に記憶させる処理である。この処理では、まずルーム利用者がデュエット歌唱を行うカラオケ楽曲を選択して予約する(S21)。これにより、選択されたカラオケ楽曲が待ち行列で管理される。また、ルーム利用者は、カラオケ装置2を歌唱動画の記録モードに設定し、歌唱中の様子を録音並びに録画できる状態にする。その後、選択したカラオケ楽曲が演奏されるので、ルーム利用者は演奏音にあわせて自身のパートを歌唱する。そして、歌唱中の様子が録音並びに録画され、歌唱録音データ及び映像録画データとして本体側記憶部33に記憶される(S22)。
納得のいく動画が得られたならば、ルーム利用者はカラオケ装置2(リモコン装置26)を操作してアップロードを指示する。これにより、図9に示すように、歌唱動画データ(歌唱録音データ,映像録画データ)がアップロードされる(S23)。一方、ホスト装置1は、アップロードされた歌唱動画データをホスト側記憶部13に記憶する(S24)。あわせて、ホスト装置1は、歌唱動画データを変換し、募集用動画データ(募集用音声データ,募集用録画データ)を生成してホスト側記憶部13に記憶する(S25)。
端末利用者の選定処理(S30)は、募集用動画データ等の配信対象となる端末利用者を選定する処理である。この選定処理において、ルーム利用者は、カラオケ装置2を操作してホスト装置1に募集依頼を行う(S31)。例えば、リモコン装置26を操作して、募集に際して端末利用者にアピールするメッセージを作成したり、募集条件を設定したりする。その後、募集用ボタンを操作することで、メッセージや募集条件等を含む募集コマンドがホスト装置1へ送信される。
募集コマンドを受信したホスト装置1は、候補者の抽出処理を行う(S32)。この抽出処理において、ホスト装置1は、ホスト側記憶部13の顧客情報記憶領域に記憶された利用者の属性情報や履歴情報を参照し、募集を依頼したルーム利用者に適する端末利用者を抽出する。例えば、ホスト装置1は、選択されたカラオケ楽曲の歌唱経験の有無、ルーム利用者の採点値及び端末利用者の採点値、性別、年齢等を参照し、候補者となる端末利用者を抽出する。なお、候補者として抽出されるか否かを端末利用者が設定可能とし、許可設定されている端末利用者のみを抽出対象とする構成にしてもよい。
候補者となる端末利用者を抽出したならば、ホスト装置1とカラオケ装置2との間で候補者絞込処理(S33)と絞込指示(S34)が行われる。例えば、ホスト装置1は、候補者となる端末利用者が記載された候補者リストをカラオケ装置2に送信する。一方、カラオケ装置2では、リモコン装置26やモニタ23を利用し、受信した候補者リストをルーム利用者に提示する。そして、ルーム利用者の指示に基づく絞込指示が行われると、その絞込条件等の情報がカラオケ装置2からホスト装置1へ送信される。これにより、ホスト装置1は、絞込条件を加味した新たな候補者リストを作成し、カラオケ装置2に送信する。このような処理を繰り返し、ルーム利用者が納得したならば、その旨を示す情報がホスト装置1に送信され、候補者となる1名ないし複数の端末利用者が確定する。なお、個人情報に配慮し、ルーム利用者は候補者人数だけを指定し、ホスト装置1はその人数以下の端末利用者を候補者として確定してもよい。
デュエット相手の決定処理(S40)は、候補者となる端末利用者の中からデュエット相手を決定する処理である。この決定処理において、ホスト装置1のホスト側制御部11は、ユーザー端末選択手段として機能する。そして、ホスト装置1は、候補者として確定された端末利用者に対し、ルーム利用者がデュエット相手を募集中である旨を通知する(S41)。例えば、図10に示すように、ホスト装置1は、確定された端末利用者のユーザー端末3に対し、募集内容の情報を募集用動画データ及びカラオケデータとともに配信する。なお、募集内容は、例えばカラオケ楽曲やルーム利用者のニックネームである。そして、これらの募集内容の情報、募集用動画データ、及び、カラオケデータは、ユーザー端末3に受信され(S42)、端末側記憶部44に記憶される。なお、これらの処理において、ホスト装置1が有するホスト側制御部11とホスト側通信部12の組は、データ配信手段として機能する。
募集に対して興味を持った端末利用者は、ユーザー端末3に記憶された募集用動画データ及びカラオケデータを、当該ユーザー端末3によって同期再生する(S43)。そして、応募の意思を固めた端末利用者は、ユーザー端末3を操作して応募通知(応募回答)を送信する(S44)。例えば、応募通知として、応募の意思を示す応募コマンドを端末利用者の利用者IDと共に送信する。この応募通知はホスト装置1にて受信される(S45)。応募通知の受信によってホスト装置1は、デュエット相手となる端末利用者を決定し、決定通知を送信する(S46)。この決定通知は、決定された端末利用者のユーザー端末3とカラオケ装置2のそれぞれに受信される(S47,S48)。
なお、多数の端末利用者から応募通知が送信された場合、ホスト装置1は、所定人数の端末利用者を適宜選択する。例えば、応募通知の受信順に端末利用者を選択してもよいし、所定期間内に応募通知を受信した端末利用者の中から、採点値が最も高い端末利用者を選択してもよい。そして、決定された端末利用者のユーザー端末3とカラオケ装置2に決定通知が送信されるので、デュエット対象の端末利用者を、当該端末利用者とルーム利用者のそれぞれに通知できる。
デュエット歌唱処理(S50)は、決定された端末利用者とルーム利用者のそれぞれにデュエット歌唱を行わせる処理である。この処理では、決定された端末利用者のユーザー端末3から開始予告が送信され(S51)、この開始予告がカラオケ装置2に受信される(S52)。これにより、カラオケ装置2ではモニタ23で予告表示が行われ、ルーム利用者はデュエット歌唱が開始されることを認識できる。
その後、端末利用者とルーム利用者のそれぞれがデュエット歌唱を行う(S53,S54)。ここでは、図11に示すように、ユーザー端末3で募集用動画データがカラオケデータと共に再生される。このため、端末利用者は、これらのデータに基づく音声及び映像を視聴しながらデュエット歌唱を行う。そして、ユーザー端末3では、端末利用者の音声とカラオケ演奏音とが混合され、混合音信号が生成される。この混合音信号は、カメラユニット49で撮影された端末利用者の映像を示す映像信号とともに、伝送路4を介してカラオケ装置2に送信される。カラオケ装置2では、混合音信号及び映像信号を再生することで、端末利用者の音声及びカラオケ演奏音をスピーカー22から出力させ、端末利用者の映像をモニタ23に表示させる。ルーム利用者は、端末利用者の音声や映像を視聴しながらデュエット歌唱を行う。
本実施形態の通信カラオケシステムでは、端末利用者(第2利用者)は、ユーザー端末3で再生及び出力された歌唱動画データ及びカラオケデータ(歌唱音データ及び演奏音データ)に基づく、ルーム利用者(第1利用者)のカラオケ歌唱音及びカラオケ演奏音とデュエット歌唱を行う。そして、このデュエット歌唱に伴って混合音信号が生成され、ルーム利用者が利用するカラオケ装置2に送信される。一方、ルーム利用者は、カラオケ装置2で再生及び出力された、混合音信号に基づく端末利用者のカラオケ歌唱音及びカラオケ演奏音とデュエット歌唱を行う。
このように、歌唱動画データ及びカラオケデータがユーザー端末3へ配信されることから、カラオケルームRMの利用者のみを対象にするよりも、募集対象の利用者を多く集めることができ、ひいてはデュエット歌唱を成立し易くさせることができる。また、各利用者のカラオケ歌唱音の信号が伝送路4を介して往復されないことから、伝送遅延によるデュエット歌唱への悪影響を抑制できる。
また、データの配信対象となるユーザー端末3を抽出するに際し、ホスト側制御部11(データ配信手段)は、ルーム利用者と端末利用者の採点値(指標情報)を参照しているので、ルーム利用者に適した歌唱レベルの端末利用者を選別できる。
以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。
例えば、前述の実施形態では、映像と音声の両方でデュエット歌唱を行わせるシステムについて説明したが、音声のみでデュエット歌唱を行わせるシステムにも同様に適用できる。
また、候補者となる端末利用者の抽出に際し、端末利用者の採点値を用いたが、これに限定されるものではなく、種々の方法を用いることができる。
また、通信デュエット時におけるカラオケ装置2での歌詞表示に関し、ユーザー端末3からの映像信号に合成してもよく、カラオケ装置2の歌詞表示機能を用いてもよい。
また、ユーザー端末3に配信された募集用動画データやカラオケデータに関し、デュエット歌唱の終了後において自動的に消去させるようにしてもよい。
さらに、或る端末利用者とのデュエット歌唱が終了した場合、募集に応じた他の端末利用者とルーム利用者とによるデュエット歌唱を、引き続き行わせてもよい。