JP2009009158A - カラオケシステム、音楽演奏通信装置、及び音楽演奏通信装置における通信方法 - Google Patents

Abstract

【課題】遠隔地で多拠点の利用者同士で、双方の空間の映像・音響信号を共有できる多拠点におけるデュエット・合唱カラオケ制御方式を提供する。
【解決手段】利用者の映像を入力するための映像入力手段と、利用者の音声を入力するための音声入力手段と、カラオケデータを記憶する記憶手段と、前記カラオケデータを用いて演奏を行う演奏手段と、前記演奏手段を制御し演奏を進行させる演奏進行制御手段と、通信網に接続するための通信手段と、を備えた複数の音楽演奏通信装置を前記通信手段により前記通信網に接続し、夫々の前記音楽演奏通信装置が前記通信網を介して、前記入力された映像を映像信号ストリームとして、且つ、前記入力された音声を音響信号ストリームとして、互いに送信するようにしたカラオケシステムであって、一の前記音楽演奏通信装置は、前記映像信号ストリームよりも前記音響信号ストリームを優先して他の前記音楽演奏通信装置に前記通信網を介して送信する。
【選択図】図１

Description

この発明は、多拠点におけるデュエット・合唱カラオケ制御方式に関し、更に詳しくは多拠点の遠隔地の利用者同士で、双方の空間の映像・音響信号を共有できる多拠点に於けるデュエット・合唱カラオケ制御方式に関する。

遠隔地のカラオケ利用者同士が互いの歌、映像等をネットワークを介してやりとりしたい要望がある。

これらの要望に対し、既にカラオケ等のコンテンツを情報端末管理サーバからネットワークを介して多数の情報端末に提供する映像・音声配信サービスの送受信システムが提案されている。

その例としては、
特開２００２−３６６１６９が挙げられる。

しかし、多拠点の遠隔地の利用者同士でカラオケのデュエットや合唱をすることが難しく、遠隔地の利用者同士で、双方の空間の映像・音響信号を共有できないため、従来のインターネット電話（ＩＰ）等の手法では、多数の拠点で映像・音響信号を相互に通信し合うことは難しかった。他方、多数の拠点で映像・音響信号の共有ができるＩＰマルチキャストの技術では、特定の相手を検索することは難しかった。このため、カラオケのデュエット・合唱等を実現することが困難であった。

従来は、遠隔地の利用者の楽曲演奏を用いて他の利用者が歌う場合、他の利用者側のマイクロフォンにより取得された音が再度楽曲演奏側の利用者に届く際に、通信網の遅延によって楽曲演奏側の利用者では、本来の演奏の音と、遠隔地の演奏とが重なり、聞き辛いものになっている。

この発明は、前述の課題を解決するものであり、請求項１に記載の発明は、利用者の映像を入力するための映像入力手段と、利用者の音声を入力するための音声入力手段と、カラオケデータを記憶する記憶手段と、前記カラオケデータを用いて演奏を行う演奏手段と、前記演奏手段を制御し演奏を進行させる演奏進行制御手段と、通信網に接続するための通信手段と、を備えた複数の音楽演奏通信装置を前記通信手段により前記通信網に接続し、夫々の前記音楽演奏通信装置が前記通信網を介して、前記入力された映像を映像信号ストリームとして、且つ、前記入力された音声を音響信号ストリームとして、互いに送信するようにしたカラオケシステムであって、一の前記音楽演奏通信装置は、前記映像信号ストリームよりも前記音響信号ストリームを優先して他の前記音楽演奏通信装置に前記通信網を介して送信することを特徴としている。

請求項２に記載の発明は、請求項１に記載のカラオケシステムにおいて、前記他の音楽演奏通信装置は、前記受信された音響信号ストリームのデータ欠損率を算出する欠損率算出手段と、前記算出されたデータ欠損率が規定値を超過しているか否かを判断する欠損率監視手段と、前記欠損率監視手段により、前記データ欠損率が規定値を超過していると判断された場合に、映像ストリームのデータ量制限信号を前記通信網を介して前記一の音楽演奏通信装置に送信するデータ量制限信号送信手段と、を更に備え、前記一の音楽演奏通信装置は、前記他の音楽演奏通信装置から送信された前記映像ストリームのデータ量制限信号を受信するデータ量制限信号受信手段を更に備え、当該一の音楽演奏通信装置は、前記データ量制限信号が受信された場合に、前記映像信号ストリームのデータ量を制限することにより、前記映像信号ストリームよりも前記音響信号ストリームを優先して前記他の音楽演奏通信装置に前記通信網を介して送信することを特徴としている。

請求項３に記載の発明は、請求項１に記載のカラオケシステムにおいて、前記他の音楽演奏通信装置は、前記受信された音響信号ストリームの遅延時間を算出する遅延算出手段と、前記算出された遅延時間が規定値を超過しているか否かを判断する遅延監視手段と、前記遅延監視手段により、前記遅延時間が規定値を超過していると判断された場合に、映像ストリームのデータ量制限信号を前記通信網を介して前記一の音楽演奏通信装置に送信するデータ量制限信号送信手段と、を更に備え、前記一の音楽演奏通信装置は、前記他の音楽演奏通信装置から送信された前記映像ストリームのデータ量制限信号を受信するデータ量制限信号受信手段を更に備え、当該一の音楽演奏通信装置は、前記データ量制限信号が受信された場合に、前記映像信号ストリームのデータ量を制限することにより、前記映像信号ストリームよりも前記音響信号ストリームを優先して前記他の音楽演奏通信装置に前記通信網を介して送信することを特徴としている。

請求項１に記載の発明によれば、一の音楽演奏通信装置が、映像信号ストリームよりも音響信号ストリームを優先して他の前記音楽演奏通信装置に送信するようにしたので、遠隔地間の複数の利用者が同時にデュエット・合唱カラオケ・演奏に参加する場合の相互の音響信号データ遅延を極小化することが可能となり、違和感のないデュエットや合唱が可能となるという効果がある。

請求項２に記載の発明によれば、音響信号ストリームのデータ欠損率が規定値を超過している場合に、他の音楽演奏通信装置が映像ストリームのデータ量制限信号を一の音楽演奏通信装置に送信して該一の音楽演奏通信装置に映像信号ストリームのデータ量を制限させる。これにより、一の音楽演奏通信装置が映像信号ストリームよりも音響信号ストリームを優先して他の前記音楽演奏通信装置に送信するようにした構成したので、音響信号ストリームの通信上の欠損率（通信パケットロスの割合）が大きくならないようにすることができるという効果がある。また、遠隔地間の複数の利用者が同時にデュエット・合唱カラオケ・演奏に参加する場合の相互の音響信号データ遅延を極小化することが可能となり、違和感のないデュエットや合唱が可能となるという効果がある。

請求項３に記載の発明によれば、音響信号ストリームの遅延時間が規定値を超過している場合に、他の音楽演奏通信装置が映像ストリームのデータ量制限信号を一の音楽演奏通信装置に送信して該一の音楽演奏通信装置に映像信号ストリームのデータ量を制限させる。これにより、一の音楽演奏通信装置が映像信号ストリームよりも音響信号ストリームを優先して他の前記音楽演奏通信装置に送信するようにした構成したので、音響信号ストリームの遅延が大きくならないようにすることができるという効果がある。また、遠隔地間の複数の利用者が同時にデュエット・合唱カラオケ・演奏に参加する場合の相互の音響信号データ遅延を極小化することが可能となり、違和感のないデュエットや合唱が可能となるという効果がある。

また、上記本発明によれば、通信網上でデュエットや合唱相手を相互に登録・検索するために映像・音響信号とは別に、各利用者は特徴情報信号を音楽演奏通信装置から送出し、相互にその信号を受信し、自分が希望するデュエット相手、合唱相手を見つけることができる通信手段を有するため、利用者はデュエット相手、合唱相手を探すための特別な操作を必要とせず、更に、相手がすでに歌いはじめている場合でも、歌の途中から他の遠隔地の利用者をある条件に従って検索し、参加することが可能となるという効果もある。

この発明は、遠隔地で多拠点におけるデュエット・合唱カラオケを可能にするため、通信網に複数の音楽演奏通信装置と、情報管理サーバとを通信網に接続し、遠隔地の複数の利用者が同時に演奏・歌唱に参加することができるカラオケ制御方式であり、例えば、本発明を用いてカラオケボックス等の歌唱のための個別の空間を接続し、従来は同じボックス内の利用者でしか楽しめなかったデュエットや合唱を、他のカラオケボックスや海外の拠点にいる歌唱者との間で楽しむことができる。

実施例に係るカラオケ制御方式は、図１に示す様に、この発明の主目的である遠隔地で他拠点におけるデュエット・合唱カラオケを可能にするため、マルチキャスト及びユニキャストブリッジ技術を使用したＩＰマルチキャスト環境の双方向ブロードバンド方式無線・有線の通信網(インターネット、ローカルエリアネットワーク、LAN)１０に、情報管理サーバ１２を接続し、該通信網１０に個人宅・店舗、スタジオ、オフィス等の複数利用者の音楽演奏通信装置１４をブロードバンド回線１６等を介して接続する。また、カメラ・マイクロフォン、スピーカ、ディスプレイ等を内蔵する利用者（ユーザ）の携帯電話、PDA端末等は、基地局を介して該通信網１０に接続される。

図２は、この発明が適用された音楽演奏通信装置１４の構成を示す。図２に示すように、該音楽演奏通信装置１４は、ＣＰＵ２２、ＲＯＭ２４、ＲＡＭ２６、ＨＤＤ２８、ネットワークインタフェース３０、映像出力部３５、ビデオキャプチャ３８、音声出力部４１、音源部４２、音声入力部４５、リモコン入力部４８とを内蔵し、該映像出力部３５にＴＶモニタ３６を、該ビデオキャプチャ３８にビデオカメラ３９を、該音声出力部４１にスピーカ４３を、該音声入力部４５にマイクロフォン４６を夫々接続し、該音楽演奏通信装置１４にリモコン４９を接続可能とする。

従って、該音楽演奏通信装置１４は、該通信網１０及びブロードバンド回線１６を介して該音楽演奏通信装置１４同士で映像・音響信号ストリーム、制御信号等をやりとりする。

加えて他の音楽演奏通信装置１４は、カラオケボックス、個人宅・店舗、スタジオ、オフィス等に設けられる。

図３は、この発明の実施例を示す機能ブロック線図である。音楽演奏通信装置１４は、利用者の映像を取り込むため映像入力手段２２５を有する。映像入力手段２２５は、図２のビデオカメラ３９及びビデオキャプチャ３８に該当する。

また、該音楽演奏通信装置１４の映像を出力する映像出力手段２２６は、TVモニタ３６及び映像出力部３５に該当する。映像ストリーム入出力手段２２２は、映像の信号処理とデータブロック化の機能を有し、CPU２２及びROM２４及びRAM２６による演算処理により実現される。また映像ストリーム入出力手段２２２を制御しネットワーク１０に出力する送出データ量を変更するため送信条件指定手段２２０を有する。

音声入力手段２２９は、図２ではマイクロフォン４６及び音声入力部４５に該当し、利用者の音声を入力する。また該音楽演奏通信装置１４で受信した音声は、図２のスピーカ４３及び音声出力部４１に該当する音声出力手段２３０により出力される。音声ストリーム入出力手段２２８は、音響信号処理とブロック化の機能を有する。

該音楽演奏通信装置１４のカラオケ機能を実現するため、カラオケ情報選択手段２０２及びテロップ表示手段２０３、演奏進行制御手段２０５と演奏手段２０７とを有する。カラオケ情報選択手段２０２は、図２に示すカラオケデータを記憶するHDD２８から、指定されたカラオケデータを取り出し、RAM２６に記憶する。テロップ表示手段２０３はRAM２６からテロップを取り出し、映像出力手段２２６に表示する。演奏手段２０７は、図２では音源部４２に該当し、カラオケデータを用いて演奏を行い、音声出力手段２３０にて演奏音として出力する。演奏進行制御手段２０５は、カラオケ演奏を実現するため、テロップ表示手段２０３及び演奏手段２０７を制御する。更に音楽演奏通信装置全体のタイミング制御及び時刻を管理するための計時手段２０１を有する。

また該音楽演奏通信装置１４は、通信網１０と接続するためネットワークインタフェース３０である通信手段２３８を有する。通信手段２３８を用いて、利用者の映像や音響信号を交換するための映像ストリーム信号や音響信号ストリーム信号が通信網１０に入出力される。

通信網１０に接続された夫々の音楽演奏通信装置１４が同期して動作を行うため、演奏を同期する機能を有しており、演奏監視手段２０９及び同期信号発生手段２３２、同期信号・応答信号入出力手段２３５、同期応答信号発生手段２１２、同期手段２１１により構成される。

更に、夫々の音楽演奏通信装置の利用において、演奏や歌唱映像及び音声の伝送において、通信により発生する信号の遅延や欠損のために、利用者が違和感を持つことを防止するため、遅延監視手段２３６及び欠損率監視手段２３７を有する。

また、多地点で遠隔地に接続された音楽演奏通信装置１４を利用する複数の利用者の中から、デュエットや合唱を行いたい利用者を選び出し、接続するための特徴情報入出力手段２１４、特徴情報表示手段２１５、特徴情報管理手段２１６、特徴情報送受信手段２１８を有する。

該音楽演奏通信装置１４の動作を、図３、及び図１、図２を用いて説明する。図３において、該音楽演奏通信装置１４は、多拠点の遠隔地の利用者同士でのデュエットやカラオケを希望する利用者の映像を入出力するため映像入出力手段２２５により、利用者の映像を入出力する。入力された利用者の映像は、該ＣＰＵ２２の演算処理を行った後、利用者映像として映像出力手段２２６を通じて該ＴＶモニタ３６に出力される。同時に、利用者の映像は、映像ストリーム入出力手段２２２により映像ストリームに変換され、通信手段２３８により、該ブロードバンド回線１６を介して該通信網１０に送出される。

一方、該通信網１０に接続された他の音楽演奏通信装置１４より該ブロードバンド回線１６等を介して通信手段２３８へ送られた他の利用者映像の映像ストリームは、該ＣＰＵ２２の演算処理により映像ストリーム入出力手段２２２を介して映像出力手段２２６により表示される。

また、利用者の歌唱等の音声は、音声入力手段２２９により入力される。入力された音声は、該ＣＰＵ２２の演算処理により音声ストリーム入出力手段２２８により、指定されたブロックに分割され、音響信号ストリームとして、映像ストリームと同様に、通信手段２３８により該ブロードバンド回線１６を介して該通信網１０に送出される。

また、他の音楽演奏通信装置１４より該ブロードバンド回線１６を介して通信手段２３８へ送られた他の利用者の音響信号ストリームは、該ＣＰＵ２２の演算処理により音声ストリーム入出力手段２２８により、音声出力手段２３０を介して該スピーカ４３より出力される。

以上の機能により、該音楽演奏通信装置１４は、遠隔地の利用者の映像・音声の共有を実現する。

該音楽演奏通信装置１４は、カラオケ装置としてカラオケ情報選択手段２０２によりＨＤＤ２８よりカラオケデータを取り出し、演奏手段２０７により演奏を行い、音声出力手段２３０により、演奏音を出力する。演奏に際して、テロップ表示手段２０３は、カラオケ情報選択手段２０２により取り出されたカラオケデータからテロップ情報を取り出し、映像出力手段２２６を介して該ＴＶモニタ３６にテロップを表示する。演奏進行制御手段２０５は、演奏手段２０７を制御し、演奏を進めると同時に、テロップ表示手段２０３を制御し、テロップの色変えを行い、該映像出力手段２２６に表示する。

以上の機能により、演奏の進行に合わせて、テロップ表示を行い、テロップの色変えを行うことで、カラオケ機能を実現する。

また該音楽演奏通信装置１４は、相互の歌唱を快適に行うための相互の該音楽演奏通信装置１４の演奏の同期を取るための同期手段として、演奏監視手段２０９、同期信号発生手段２３２、同期信号・応答信号入力手段２３５、同期手段２１１を有し、該演奏監視手段２０９の情報により、該同期信号発生手段２３２により作成された同期信号は、該同期信号・応答信号入力手段２３５を介して通信手段２３８より該通信網１０に出力され、デュエット・合唱相手である他の音楽演奏通信装置１４に伝えられる。

また該通信手段２３８より該同期信号・応答信号入力手段２３５を介して同期信号を受信すると、該同期手段２１１により該演奏進行制御手段２０５を制御し、該通信網１０に接続されてデュエット・合唱を行っている該音楽演奏通信装置１４の演奏の同期を行う。これらのタイミングの管理のため、計時手段２０１を用いる。

更に該音楽演奏通信装置１４は、快適なデュエット・合唱を実現するため、該通信網１０や該ブロードバンド回線１６において発生する音響信号ストリームの遅延やデータ欠損を最小にするため、遅延監視手段２３６と欠損率監視手段２３７の出力により同期応答信号発生手段２１２を用いて同期応答信号を発生し、同期信号・応答信号入出力手段２３５、通信手段２３８により音響信号ストリームの受信状況を、該音響信号ストリームを送信している他の音楽演奏通信装置１４に伝える。また、通信手段２３８及び同期信号・応答信号入出力手段２３５を介して音響信号ストリームの受信状況を含む同期信号を受信した場合、同期手段２１１により送信条件指定手段２２０を制御し、該映像入力手段２２５より入力される映像情報を映像ストリーム入出力手段２２２で、適切なブロックに変換することで、音響信号ストリームの遅延や欠損率の低減を実現する。

加えて該音楽演奏通信装置１４は、遠隔地の利用者とデュエットや合唱を行うために、特徴情報入力手段２１４、特徴情報表示手段２１５、特徴情報管理手段２１６を有しており、特徴情報送受信手段２１８により該通信手段２３８を介して他の音楽演奏通信装置１４と通信を行うことにより、歌唱相手の決定を行う。

次に図６〜８において音楽演奏通信装置１４の利用の一実施例を説明する。

図６は、該音楽演奏通信装置１４を用いてデュエットや合唱を行っている時の該ＴＶモニタ３６に表示される歌唱中画面の一例であり、該ビデオカメラ３９で撮影されている音楽演奏通信装置１４の利用者の映像は、確認用映像１１０として表示されると共に、該通信網１０に送出し、他の音楽演奏通信装置１４に送られる。また、他の音楽演奏通信装置１４により受信された他の歌唱者の映像は、複数の歌唱者映像１０４として該ビデオカメラ３９で撮影された確認用映像１１０と共に表示される。

また状態表示部１０１には、歌唱中である表示を行い、歌唱曲情報表示部１０２では歌唱曲の曲名や選曲番号等の表示を行うと共にテロップ表示部１０３では、カラオケで必要となるテロップを表示する。

以上の表示により、複数の音楽演奏通信装置１４を利用する複数の歌唱者の映像空間が共有されることで、遠隔地で多拠点を意識させないデュエットや合唱が可能となる。

図７は、歌唱相手を探す希望者一覧画面の一例であり、利用者（募集者）が特徴情報入力手段２１４であるリモコン４９を用いて、歌いたい曲を登録した結果として、デュエットもしくは合唱の登録に応募した他の利用者(応募者)の一覧を表示する。歌唱希望者一覧画面では、応募者とパートが表示される応募者情報部１０６と応募者映像１０５等が表示される。

これらの画面と図８とを用いて、歌唱相手を探す利用者（募集者）が使用する音楽演奏通信装置Aと、該通信網１０を介して接続され、募集者の募集に応募する利用者（応募者）が使用する音楽演奏通信装置Bの動作を説明する。

まず募集者は、該特徴情報入力手段２１４により、デュエットしたい曲の選曲番号やパート（特徴情報）を該音楽演奏通信装置１４に入力する。音楽演奏通信装置Aは、特徴情報を一定時間保持すると共に特徴情報信号１（募集信号）として特徴情報送受信手段２１８を用いて、通信手段２３８により該ブロードバンド回線１６を介して該通信網１０に送出する。

該通信網１０に接続された他方の音楽演奏通信装置Bは、この募集信号を受信すると、該通信手段２３８及び該特徴情報送受信手段２１８を介して該特徴情報表示手段２１５により映像出力手段２２６に歌唱希望者一覧画面を表示する。歌唱希望者一覧画面の情報は、複数の希望者（募集者）の情報を表示する。この情報は、一定時間に応募が無い場合は、破棄され、画面から消去される。この画面表示に対して同じ選曲番号の入力や表示された端末番号を選択することで、音楽演奏通信装置Bは音楽演奏通信装置Aに対して特徴情報信号２（応募信号）を返す。

該音楽演奏通信装置Aは、募集信号を送出後募集信号の応募である応募信号を待つが、一定時間の応答が無ければ、記憶された特徴情報を破棄する。一定時間内に応募信号が受信されると、歌唱者応募一覧画面を表示する。

募集者は、応募一覧画面より歌唱したい相手を選ぶと、該音楽演奏通信装置Aは該音楽演奏通信装置Bに対して特徴情報信号３（成立信号）を送出すると共に歌唱者応募画面に選択されたマークを表示する。また該音楽演奏通信装置Aは演奏の同期信号を発信するマスター機となる。

該音楽演奏通信装置Bは、成立信号を受信すると歌唱希望者一覧の該音楽演奏通信装置Aに対応する表示にマークを表示することで選択されたことを表示する。続いて該音楽演奏通信装置Bは、時刻の設定を行うための時刻設定信号を該音楽演奏通信装置Aに送る。時刻設定信号を受け取ったマスター機である該音楽演奏通信装置Aは、時刻情報を含んだ時刻設定確認信号を該音楽演奏通信装置Bに送信する。

該音楽演奏通信装置Bは、時刻設定確認信号を受信すると歌唱開始が可能であることを示す準備完了信号を該音楽演奏通信装置Aに送り、歌唱準備が完了する。

該音楽演奏通信装置Aは、準備完了信号を受け取ると歌唱のための演奏を開始すると共に該音楽演奏通信装置Bに演奏開始を伝える同期信号を送る。該音楽演奏通信装置Bは、演奏開始を伝える同期信号を受け取ると演奏を開始すると共に演奏の同期を開始する。

演奏の開始により、該音楽演奏通信装置A及び該音楽演奏通信装置Bは、該ビデオカメラ３９及び該マイクロフォン４６により入力した映像・音響信号ストリームを相手方の該TVモニタ３６及び該スピーカ４３に出力することで、相互の歌唱者の映像・音声が共有される。演奏中には通信機器の演奏の同期を行うため同期信号も一定間隔で送出される。

歌唱のための演奏が終了すると、該音楽演奏通信装置Aより演奏終了信号が該音楽演奏通信装置Bに送られることで、相互の音楽演奏通信の演奏が終了すると共に、歌唱者が挨拶する挨拶画面が一定時間交換される。挨拶画面では、歌唱時と同様に映像・音響信号ストリームを交換することでも良い。挨拶画面の交換が終了すると、該音楽演奏通信装置A及びBの通信が切断される。

これにより一連のデュエット動作が完了する。なお本説明では、デュエットの一例を説明したが、合唱の場合も複数の歌唱応募者を選ぶことで同様の動作を行う。

図９を用いて演奏途中から歌唱に参加する動作について説明する。

歌唱を希望する利用者の音楽演奏通信装置Dは、特徴情報信号１を該通信網１０に送出する。該通信網１０に接続されている音楽演奏通信装置Aは、特徴情報信号１を受信するとそれに含まれる選曲番号に該当する曲が音楽演奏通信装置Aですでに演奏されているかを調べる。演奏されていない場合は、歌唱希望者一覧画面を表示するが、すでに演奏されている場合（他の音楽演奏通信装置と歌唱中の場合）は、特徴情報信号４を該音楽演奏通信装置Dに送信する。

特徴情報信号４を受信した該音楽演奏通信装置Dは、送出した特徴情報信号に対して応答を返してきた音楽演奏通信装置A等の情報を歌唱希望者一覧画面に表示する。該音楽演奏通信装置Dの利用者が、該音楽演奏通信装置Aの利用者である歌唱中の相手を選択すると、該音楽演奏通信装置Dは特徴情報信号２を該音楽演奏通信装置Aに対して送出する。

歌唱中の利用者である該音楽演奏通信装置Aの歌唱中画面には、割り込み要求の表示がされ、表示された割り込み相手に対して「現在の歌唱相手と取り替える。」、「一緒に歌う。」、「歌わない（歌唱を拒否する）。」が選択できる。表示された割り込み相手を選択すると特徴情報信号５が該音楽演奏通信装置Dに送出される。

特徴情報信号５を受信した該音楽演奏通信装置Dの画面には、該音楽演奏通信装置Aの利用者が該音楽演奏通信装置Dの歌唱希望に対して了解の表示が行われ、時刻設定信号が該音楽演奏通信装置Aに送られる。該音楽演奏通信装置Aでは、時刻設定信号を受信すると、時刻情報を含む時刻確認信号を該音楽演奏通信装置Dに送出し、音楽演奏通信装置Dの時刻を設定する。該音楽演奏通信装置Dは、準備が完了すると、該音楽演奏通信装置Aに対して準備完了信号を送出し、該音楽演奏通信装置Aの映像・音響信号ストリームを受信する。

歌唱中の利用者が使用する該音楽演奏通信装置Aは、準備完了信号を受信した後、演奏の区切り位置である同期信号発生位置までは、同期信号を発生しない。

これにより、該音楽演奏通信装置D側では、同期信号の受信までは、歌唱を開始しないため、歌唱の参加は、同期信号受信後となることで違和感の無い参加が可能となる。

その後の動作は、図８と同様である。

図４は、複数の遠隔地の利用者が同時に演奏・合唱・デュエットを行うことを可能とするために、演奏開始時刻及び進行中の演奏位置を相互で同期する同期信号方式を用いる処理のフローチャートである。この図を用いて、音楽演奏通信装置Aと音楽演奏通信装置Bが遠隔地で演奏を同期する処理を説明する。

該音楽演奏通信装置A、Bにおいて、記憶手段（ＲＯＭ２４、ＲＡＭ２６，ＨＤＤ２８等）には演奏監視手段２０９等の図３記載の各手段が記憶されている。まず、演奏監視手段２０９を用いて楽曲の演奏開始時かどうかを判断し（Ｓ１５０）、演奏開始時ならば、音楽演奏通信装置Bに対して、同期信号発生手段２３２、同期信号・応答信号入出力手段２３５を用いて、演奏開始を告げる同期信号を送信する（Ｓ１５１）。また、演奏開始時ではないならば、現在、演奏中か否かの判断を行う（Ｓ１３０）。処理Ｓ１３０において、演奏中でないならば、処理を終了し、再び処理Ｓ１５０の状態判断を行う。処理Ｓ１３０において、演奏中ならば演奏監視手段２０９より同期位置を抽出し（Ｓ１３２）、同期信号発生手段２３２、同期信号・応答信号入出力手段２３５により、同期信号送信を行う（Ｓ１３４）。該音楽演奏通信装置A、B間の同期信号の通信には、各々の音楽演奏通信装置のネットワークインタフェース３０、ブロードバンド回線１６、通信網１０を介して行う。

処理Ｓ１５１、Ｓ１３４の同期信号送信の後、音楽演奏通信装置Aでは、音楽演奏通信装置Bからの同期応答信号を待機し（Ｓ１３６）、同期応答信号を受信した場合は、同期状況を画面に表示し（Ｓ１３８）、音楽演奏通信装置Aの処理を一度終了した後に、再び音楽演奏通信装置Aの処理Ｓ１５０の処理に遷移する。また、処理Ｓ１３６において、一定時間、同期応答信号を受信しない場合は、音楽演奏通信装置Aの処理を一度終了した後に、再び音楽演奏通信装置Aの処理Ｓ１５０の処理に遷移する。

一方、該音楽演奏通信装置Bにおいては、現在、楽曲を演奏中か否かの判断を行う（Ｓ１４０）。処理Ｓ１４０において、演奏中でない場合は、演奏前の状態と認識して、音楽演奏通信装置Aからの同期信号の受信を待機する（Ｓ１５５）。同期信号を一定時間以上受信しない場合は、音楽演奏通信装置Bの処理は終了し、再び最初の処理Ｓ１４０に戻る。処理Ｓ１５５において、同期信号を受信した場合は、計時手段２０１、演奏進行制御手段２０５によって演奏開始時刻設定を行い（Ｓ１５７）、演奏手段２０７によって演奏開始を行う（Ｓ１５９）。

処理Ｓ１４０において、演奏中と判断された場合も同様に、演奏中は音楽演奏通信装置Aからの同期信号の受信を待機する（Ｓ１４２）。同期信号を受信しないときは、処理を終了し再度、音楽演奏通信装置Bの最初の処理Ｓ１４０に遷移する。処理Ｓ１４２において、同期信号を受信した場合は、演奏監視手段２０９により現在の演奏位置を抽出する（Ｓ１４３）。同期手段２１１、演奏進行制御手段２０５により、現在の演奏位置を、同期位置に合わせ（Ｓ１４６）、その結果を同期応答信号発生手段２１２により同期応答信号を作成し、同期信号・応答信号入出力手段２３５により、音楽演奏通信装置Aに対して、同期応答信号を送信する（Ｓ１４８）。最後に、同期状況を画面に表示し（Ｓ１４９）、再び、音楽演奏通信装置Bの処理Ｓ１４０を行う。

図１０にて、演奏監視手段２０９によって同期位置の検出を行う処理を説明する。演奏手段２０７によって、楽曲演奏がなされている最中に、テロップ表示手段２０３によって、歌詞のテロップが断続的に表示され、テロップは歌詞の進行とともに色が変わる。テロップ表示中は、利用者の歌唱が行われている個所であるため、テロップ色代わり終了時刻に、同期信号発生手段２３２によって、同期信号を発生させることで、利用者が歌唱中でない時刻に演奏を同期させることが可能となる。また、遠隔地の利用者同士は同期信号発生後、最初の歌詞の開始位置から歌唱を同期することができる。

図５を用いて、本発明のカラオケ制御方式において、複数の遠隔地の利用者が同時に演奏・合唱・デュエットを行うことを可能とするため、通信網における音響信号ストリームの通信上の欠損率（通信パケットロスの割合）や遅延が大きくならないように、他の映像信号ストリームや特徴信号よりも、音響信号ストリームを優先して配信する処理について説明する。

音楽演奏通信装置A、B の記憶手段（ＲＯＭ２４、ＲＡＭ２６、ＨＤＤ２８）には、図３記載の演奏監視手段等の各手段が記憶されている。音楽演奏通信装置Aと音楽演奏通信装置Bとの間で、他の映像信号ストリームや特徴信号よりも、音響信号ストリームを優先して配信するために、まず、音楽演奏通信装置Aでは、現在、演奏中か否かを演奏監視手段２０９を用いて行う。演奏中でなければ、処理は終了し、再び演奏中か否かを演奏監視手段２０９を用いて監視する（Ｓ１００）。

音楽演奏通信装置Aで演奏が開始された場合は、まず、映像や音響信号のストリーミングの受信ブロック数のカウンタを初期化し（Ｓ１０１）、音楽演奏通信装置Bからのブロック受信を待機する。音楽演奏通信装置Bからのブロック受信がある場合は（Ｓ１０３）、映像・音響信号ブロックの受信処理を行い（Ｓ１０４）、受信したブロック数の計測（ブロック数カウンタの加算）を行う（Ｓ１０６）。一方、ブロック受信がない場合は、音楽演奏通信装置Bからの同期信号を待機する（Ｓ１０７）。ここで、音楽演奏通信装置A、B間の信号通信、映像や音響信号のストリーミングの送受信には、各音楽演奏通信装置のネットワークインタフェース３０、ブロードバンド回線１６及び通信網１０を介して行う。

次に、音楽演奏通信装置Aが音楽演奏通信装置Bからの同期信号を受信した場合は、同期信号受信処理を行う（Ｓ１０９）。同期信号受信処理では、前回の同期信号送出後から受信すべきブロック総数及び同期信号内の時刻情報を、受信した同期信号から取り出す。同期信号を受信しない場合は、再びＳ１０３のブロック受信を待機する。

同期信号受信処理（Ｓ１０９）の後、音楽演奏通信装置Aでは、データ欠損率・遅延の算出を行う（Ｓ１１１）。ここで、「データ欠損率＝受信したブロック数/ 総ブロック数」とし、また、「遅延時間＝同期信号を受信した時刻−同期信号内の時刻情報」と定義する。

欠損率算出の結果、欠損率監視手段２３７を用いて、欠損率が規定値を超過しているかどうかの判断を行い（Ｓ１１３）、規定値を超過している場合は、同期応答手段２１２を用いて、音楽演奏通信装置Bに対して映像ストリームのデータ量制限信号（同期応答信号）送信し（Ｓ１１８）、処理を一度終了した上で、再び処理Ｓ１００を行う。

一方、遅延算出の結果、遅延監視手段２３６を用いて、遅延が規定値を超過しているかどうかの判断を行い（Ｓ１１５）、規定値を超過している場合は、同様に、同期応答手段２１２を用いて、音楽演奏通信装置Bに対して映像ストリームのデータ量制限信号（同期応答信号）を送信し（Ｓ１１８）、処理を一度終了した上で、再び処理Ｓ１００を行う。

欠損率も遅延も規定値以下の場合には、音楽演奏通信装置Bに対して正常応答を行い（Ｓ１１６）、同期信号を送信した上で、再び処理Ｓ１００を行う。

音楽演奏通信装置Bにおいては、まず、現在、演奏中か否かを演奏監視手段２０９を用いて行う。演奏中でなければ、処理は終了し、再び演奏中か否かを演奏監視手段２０９を用いて監視する（Ｓ１２０）。

演奏が開始された場合は、音楽演奏通信装置Bから音楽演奏通信装置Aに対して、映像・音のストリーミングのブロックを送信する（Ｓ１２２）。映像・音響信号のストリーミングのブロックを送信中、所定数のブロック送信を行ったか否かを判断し（Ｓ１２４）、所定数に至った場合は、同期信号発生手段２３２、同期信号・応答信号入出力手段２３５及び通信手段２３５を利用して音楽演奏通信装置Aに対して同期信号を送信する（Ｓ１２６）。

音楽演奏通信装置Bから送信した同期信号に対する同期応答信号として、音楽演奏通信装置Aからは、同期信号・応答信号入出力手段２３５及び通信手段２３８を通して、正常応答もしくは映像ストリームのデータ量制限信号が送信され、音楽演奏通信装置Bは、その信号を受信する（Ｓ１２８）。

受信した同期信号が正常応答信号か否かを判断し（Ｓ１３０）、正常応答の場合は、処理を終了し、再び処理Ｓ１２０を行う。正常応答信号でない場合は、映像ストリームのデータ量制限信号と判断し、送信条件指定手段２２０によって、映像ストリームのデータ量制限（フレームレートを下げる等）を行う（Ｓ１３１）。

なお、本説明では欠損率・遅延の検出動作を同期信号を用いて行ったが、その他の方法として、映像や音響信号ストリーミングの各々のブロック信号に、ブロック数及び信号送出時の時間情報を付加することで、欠損率・遅延の検出動作を行う方法もある。

以上双方向ブロードバンド通信網に接続された音楽演奏通信装置１４を用いた遠隔地の複数の利用者を接続したデュエット・合唱を実現するシステムの動作の一例を説明したが、相互の信号の交換は、この特許請求の範囲内で変更して実施可能である。

は、この発明に係る多拠点におけるデュエット・合唱カラオケ制御方式の概 略図である。 は、この発明の一例で音楽演奏通信装置の構成を示すブロック図である。 は、この発明の動作を示す機能ブロック線図である。 は、この発明の演奏同期手段を示すフローチャートである。 は、この発明のデータ欠損率や遅延の算出・制御を行うフローチャートであ る。 は、歌唱中の画面構成を示す拡大ブロック図である。 は、歌唱希望者の選択画面を示す拡大ブロック図である。 は、この発明の音楽演奏通信装置の利用における画面遷移と信号の送受信を 示す説明図である。 は、演奏途中からの参加手順における画面遷移と信号の送受信を示す説明図 である。 は、演奏監視手段による同期位置の検出を説明するタイミング図である。

符号の説明

１０ 通信網
１２ 情報管理サーバ
１４ 音楽演奏通信装置(A, B, C, D)
１６ ブロードバンド回線

Claims (9)

1. 利用者の映像を入力するための映像入力手段と、
   利用者の音声を入力するための音声入力手段と、
   カラオケデータを記憶する記憶手段と、
   前記カラオケデータを用いて演奏を行う演奏手段と、
   前記演奏手段を制御し演奏を進行させる演奏進行制御手段と、
   通信網に接続するための通信手段と、
   を備えた複数の音楽演奏通信装置を前記通信手段により前記通信網に接続し、夫々の前記音楽演奏通信装置が前記通信網を介して、前記入力された映像を映像信号ストリームとして、且つ、前記入力された音声を音響信号ストリームとして、互いに送信するようにしたカラオケシステムであって、
   一の前記音楽演奏通信装置は、前記映像信号ストリームよりも前記音響信号ストリームを優先して他の前記音楽演奏通信装置に前記通信網を介して送信することを特徴とするカラオケシステム。
2. 請求項１に記載のカラオケシステムにおいて、
   前記他の音楽演奏通信装置は、
   前記受信された音響信号ストリームのデータ欠損率を算出する欠損率算出手段と、
   前記算出されたデータ欠損率が規定値を超過しているか否かを判断する欠損率監視手段と、
   前記欠損率監視手段により、前記データ欠損率が規定値を超過していると判断された場合に、映像ストリームのデータ量制限信号を前記通信網を介して前記一の音楽演奏通信装置に送信するデータ量制限信号送信手段と、
   を更に備え、
   前記一の音楽演奏通信装置は、
   前記他の音楽演奏通信装置から送信された前記映像ストリームのデータ量制限信号を受信するデータ量制限信号受信手段
   を更に備え、
   当該一の音楽演奏通信装置は、前記データ量制限信号が受信された場合に、前記映像信号ストリームのデータ量を制限することにより、前記映像信号ストリームよりも前記音響信号ストリームを優先して前記他の音楽演奏通信装置に前記通信網を介して送信することを特徴とするカラオケシステム。
3. 請求項１に記載のカラオケシステムにおいて、
   前記他の音楽演奏通信装置は、
   前記受信された音響信号ストリームの遅延時間を算出する遅延算出手段と、
   前記算出された遅延時間が規定値を超過しているか否かを判断する遅延監視手段と、
   前記遅延監視手段により、前記遅延時間が規定値を超過していると判断された場合に、映像ストリームのデータ量制限信号を前記通信網を介して前記一の音楽演奏通信装置に送信するデータ量制限信号送信手段と、
   を更に備え、
   前記一の音楽演奏通信装置は、
   前記他の音楽演奏通信装置から送信された前記映像ストリームのデータ量制限信号を受信するデータ量制限信号受信手段
   を更に備え、
   当該一の音楽演奏通信装置は、前記データ量制限信号が受信された場合に、前記映像信号ストリームのデータ量を制限することにより、前記映像信号ストリームよりも前記音響信号ストリームを優先して前記他の音楽演奏通信装置に前記通信網を介して送信することを特徴とするカラオケシステム。
4. 請求項１に記載のカラオケシステムに備えられる前記一の音楽演奏通信装置であって、
   前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、及び前記通信手段を備え、
   当該一の音楽演奏通信装置は、前記映像信号ストリームよりも前記音響信号ストリームを優先して他の前記音楽演奏通信装置に前記通信網を介して送信することを特徴とする音楽演奏通信装置。
5. 請求項２又は３に記載のカラオケシステムに備えられる前記一の音楽演奏通信装置であって、
   前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、前記通信手段、及び前記データ量制限信号受信手段を備え、
   当該一の音楽演奏通信装置は、前記データ量制限信号が受信された場合に、前記映像信号ストリームのデータ量を制限することにより、前記映像信号ストリームよりも前記音響信号ストリームを優先して前記他の音楽演奏通信装置に前記通信網を介して送信することを特徴とする音楽演奏通信装置。
6. 請求項１に記載のカラオケシステムに備えられる前記他の音楽演奏通信装置であって、
   前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、及び前記通信手段を備え、
   当該他の音楽演奏通信装置は、前記一の音楽演奏通信装置から送信された前記映像信号ストリーム及び前記音響信号ストリームを受信することを特徴とする音楽演奏通信装置。
7. 請求項２に記載のカラオケシステムに備えられる前記他の音楽演奏通信装置であって、
   前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、前記通信手段、前記欠損率算出手段、前記欠損率監視手段、及び前記データ量制限信号送信手段を備えることを特徴とする音楽演奏通信装置。
8. 請求項３に記載のカラオケシステムに備えられる前記他の音楽演奏通信装置であって、
   前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、前記通信手段、前記遅延算出手段、前記遅延監視手段、及び前記データ量制限信号送信手段を備えることを特徴とする音楽演奏通信装置。
9. 利用者の映像を入力するための映像入力手段と、
   利用者の音声を入力するための音声入力手段と、
   カラオケデータを記憶する記憶手段と、
   前記カラオケデータを用いて演奏を行う演奏手段と、
   前記演奏手段を制御し演奏を進行させる演奏進行制御手段と、
   通信網に接続するための通信手段と、
   を備えた複数の音楽演奏通信装置が前記通信網に接続され、夫々の前記音楽演奏通信装置が前記通信網を介して、前記入力された映像を映像信号ストリームとして、且つ、前記入力された音声を音響信号ストリームとして、互いに送信するようにした音楽演奏通信装置における通信方法であって、
   前記通信方法は、一の前記音楽演奏通信装置に、前記映像信号ストリームよりも前記音響信号ストリームを優先して他の前記音楽演奏通信装置へ前記通信網を介して送信させる送信ステップを含むことを特徴とする音楽演奏通信装置における通信方法。