JP2008131379A - 配信システム、および端末装置 - Google Patents

Abstract

【課題】配信映像をユーザの趣向に応じた映像にコントロールすることができる配信システム、および端末装置を提供する。
【解決手段】センタ１では、ライブ演奏を複数のカメラで撮影している。センタ１は、各カメラの撮影した映像データのうちいずれか１つ、またはこれらを合成した映像データを各カラオケ装置７に配信する。ユーザは、リモコン９を用いて、配信映像の切換、カメラ設定の変更、合成映像の映像配置の変更を指示することができる。ユーザがこれらの指示を行うと、カラオケ装置７からセンタ１に指示情報が送信される。センタ１は、指示情報に基づいて、配信映像の切換、カメラの設定変更、合成映像の配置変更を行う。
【選択図】図１

Description

この発明は、ライブ映像や音楽を配信する配信システムに関し、特に配信されてくる映像をユーザがコントロールすることができる配信システム、および端末装置に関する。

従来、歌唱する姿をビデオカメラで撮影し、記録する機能を有したカラオケ装置が提案されている（例えば特許文献１参照）。特許文献１の装置では、サーボ式雲台を駆動させ、マイクを持って歌唱する歌唱者を追従して撮影する。また、カラオケデータ（楽曲データ）に予め付与されたビデオカメラ制御データに基づいて、サーボ式雲台を駆動させ、曲調に合ったカメラワークを実現している。
特開平１１−２８２４７９号公報

しかし、特許文献１に記載の装置では、カラオケルームに備え付けられたカメラの動きをコントロールするだけであり、自室を撮影した映像（歌唱者の映像）を自動変更することはできても、他の装置からリアルタイムに配信されてくる映像（各曲用に表示される映像等）をコントロールすることができなかった。

この発明は、配信映像をユーザの趣向に応じた映像にコントロールすることができる配信システム、および端末装置を提供することを目的とする。

この発明の配信システムは、センタと、該センタにネットワークを介して接続される複数の受信端末と、からなる配信システムであって、前記センタは、ライブ映像を撮影する複数のカメラと、前記複数のカメラの撮影設定をそれぞれ制御するカメラ制御部と、前記複数のカメラが撮影したライブ映像をそれぞれ入力し、配信映像を生成する映像処理部と、各受信端末からの指示情報に基づいて前記カメラ制御部または前記映像処理部で形成される前記配信映像を複数の受信端末に配信するセンタ通信部と、を備え、前記受信端末は、前記配信映像を受信する端末通信部と、受信した配信映像から映像信号を生成する映像信号生成部と、前記映像信号を入力して映像を表示する表示部と、ユーザが行う配信映像の変更操作を受け付ける受付部と、配信映像の変更を指示する指示情報を前記端末通信部を介してセンタに送信する指示情報生成部と、を備えたことを特徴とする。

この構成では、ライブ会場（センタ）に設置された複数のカメラでライブ映像を撮影する。センタでは、各カメラで撮影した映像データから配信映像が生成される。配信映像は、ネットワークを介して接続されている複数の受信端末（例えばカラオケ装置）に配信される。各受信端末では、配信映像を表示する。ここで、ユーザが配信映像の変更操作を行うと、この操作に基づいた変更指示情報がセンタに送信される。これにより、配信映像をユーザの趣向に応じた映像にコントロールすることができる。

この発明は、さらに、前記指示情報は、前記カメラ制御部における複数のカメラの撮影設定を変更する指示情報を含むことを特徴とする。

この構成では、配信映像の変更として、カメラの撮影設定を変更する。すなわち、カメラのパン、チルト、ズームを変更する。

この発明は、さらに、前記映像処理部は、前記複数のカメラが撮影したライブ映像のうちいずれか１つを選択して配信映像として受信端末に送信し、前記指示情報は、前記映像処理部が選択する配信映像を変更する指示情報を含むことを特徴とする。

この構成では、配信映像の変更として、カメラ映像の切換を指示する。

この発明は、さらに、前記映像処理部は、前記複数のカメラが撮影したライブ映像を合成して１つの映像データとして受信端末に配信し、前記指示情報は、前記映像データの合成態様を変更する指示情報を含む事を特徴とする。

この構成では、各カメラが撮影した映像を１つの映像に合成する。例えば、カメラがヴォーカル、ギター、ベース、ドラムを撮影している場合、画面中心に大きくヴォーカルの映像、右側にギターの映像、左側にベースの映像、上側にドラムの映像を配置し、１つの映像データとする。ここで、配信映像の変更として、合成態様の変更を行う。例えば、画面中心に大きくギターの映像、右側にヴォーカルの映像を配置するように変更する。

この発明は、さらに、前記映像処理部は、前記複数のカメラが撮影したライブ映像をそれぞれ配信映像として受信端末に配信し、受信端末の映像信号生成部は、受信した複数の配信映像のうちいずれか１つを選択して映像信号を生成し、前記指示情報生成部は、前記指示情報を前記映像信号生成部に出力し、前記指示情報は、前記映像信号生成部が選択する配信映像を変更する指示情報を含むすることを特徴とする。

この構成では、各カメラの撮影したライブ映像をそれぞれ配信する。受信端末は、配信された各ライブ映像のうち、いずれか１つを選択して表示する。配信映像の変更として、選択するライブ映像の切換を指示する。

この発明は、さらに、前記映像処理部は、前記複数のカメラが撮影したライブ映像をそれぞれ配信映像として受信端末に配信し、前記受信端末の映像信号生成部は、受信した複数の配信映像を合成して１つの映像信号を生成し、前記指示情報生成部は、前記指示情報を前記映像信号生成部に出力し、前記指示情報は、前記映像データの合成態様を変更する指示情報を含むことを特徴とする。

この構成では、各カメラの撮影したライブ映像をそれぞれ配信する。受信端末は、配信された各ライブ映像を合成して１つの映像データとして表示する。例えば、カメラがヴォーカル、ギター、ベース、ドラムを撮影したライブ映像を受信している場合、画面中心に大きくヴォーカルの映像、右側にギターの映像、左側にベースの映像、上側にドラムの映像を配置し、１つの映像データとして表示する。ここで、配信映像の変更として、合成態様の変更を行う。例えば、画面中心に大きくギターの映像、右側にヴォーカルの映像を配置するように変更する。

この発明は、さらに、前記受信端末は、ユーザの映像を撮影する端末用カメラを備え、前記映像信号生成部は、前記配信映像のうち一部を、前記端末用カメラが撮影した映像に置き換えることを特徴とする。

この構成では、受信端末側でユーザを撮影するカメラを備える。配信映像のうち一部をユーザの映像に置き換える。例えば、ヴォーカルの映像をユーザの歌唱する映像に置き換える。

この発明は、さらに、前記受付部は、ユーザの演奏音、または歌唱音を収音する収音部と、収音した音声の音量レベルを検出する音量レベル検出部と、を含み、前記音量レベルをユーザの配信映像の変更操作として受け付けることを特徴とする。

この構成では、ユーザの演奏音、または歌唱音を収音する。演奏音の場合は、マイクから収音してもよいし、電子楽器から直接音声信号を入力するようにしてもよい。この構成では、さらに、収音した音声の音量レベルを検出する。音量レベルによって配信映像の変更を行う。例えば、歌唱音の音量レベルが大きくなった場合、ヴォーカルの映像に切り換えるよう指示したり、ヴォーカルの映像をズームするよう指示したり、ヴォーカルの映像を画面中心に配置するように指示したりする。逆に、歌唱音の音量レベルが小さくなった場合、ヴォーカル以外の映像に切り換えるよう指示したり、ズームアウトするよう指示したり、ヴォーカルの映像を画面端に配置するように指示したりする。

この発明は、さらに、前記受付部は、収音した音声のピッチを検出するピッチ検出部と、検出したピッチと、基準メロディのピッチと、の一致度を算出する比較部と、を含み、前記比較部の一致度をユーザの配信映像の変更操作として受け付けることを特徴とする。

この構成では、ユーザの歌唱音のピッチと基準メロディのピッチの一致度を算出する。この一致度は、カラオケの採点などに用いられるが、この構成では、一致度によって配信映像の変更を行う。一致度（点数）が高くなった場合に、上記音量レベルが大きくなった場合の処理を行う。逆に、一致度（点数）が低くなった場合に、上記音量レベルが小さくなった場合の処理を行う。

この発明の端末装置は、ユーザの映像を撮影する端末用カメラと、前記端末用カメラの撮影設定を制御する端末用カメラ制御部と、前記端末用カメラが撮影したユーザの映像を入力し、配信映像を生成する端末映像処理部と、他の装置からの指示情報に基づいて前記端末用カメラ制御部または前記端末映像処理部で形成される前記配信映像をネットワークを介して接続される他の端末装置に配信するとともに、他の端末装置から配信される配信映像を受信する通信部と、受信した配信映像から映像信号を生成する映像信号生成部と、前記映像信号を入力して映像を表示する表示部と、ユーザが行う配信映像の変更操作を受け付ける受付部と、配信映像の変更を指示する指示情報を他の端末装置に送信する指示情報生成部と、を備えたことを特徴とする。

この構成では、スタジオ等に設置されたカメラでライブ映像を撮影する。各スタジオの端末装置（例えばカラオケ装置）では、カメラで撮影した映像データから配信映像が生成される。配信映像は、ネットワークを介して接続されている他の端末装置に配信される。各端末装置では、受信した配信映像を表示する。ここで、ユーザが配信映像の変更操作を行うと、この操作に基づいた変更指示情報が他の端末装置に送信される。これにより、配信映像をユーザの趣向に応じた映像にコントロールすることができる。

この発明は、さらに、前記指示情報は、他の端末装置の端末用カメラ制御部における端末用カメラの撮影設定を変更する指示情報を含むことを特徴とする。

この構成では、配信映像の変更として、カメラの撮影設定を変更する。すなわち、カメラのパン、チルト、ズームを変更する。

この発明は、さらに、前記映像信号生成部は、他の端末装置から受信した配信映像のうちいずれか１つを選択して映像信号を生成し、前記指示情報は、前記映像信号生成部が選択する配信映像を変更する指示情報を含むことを特徴とする。

この構成では、配信映像の変更として、受信した複数の配信映像のうち、選択、表示する配信映像を変更する。

この発明は、さらに、前記映像信号生成部は、他の端末装置から受信した配信映像を合成して１つの映像信号を生成し、前記指示情報は、前記配信映像の合成態様を変更する指示情報を含むことを特徴とする。

この構成では、受信した複数の配信映像を合成する。例えば、ヴォーカル、ギター、ベース、ドラムの配信映像を受信している場合、画面中心に大きくヴォーカルの映像、右側にギターの映像、左側にベースの映像、上側にドラムの映像を配置し、１つの映像データとして表示する。ここで、配信映像の変更として、合成態様の変更を行う。例えば、画面中心に大きくギターの映像、右側にヴォーカルの映像を配置するように変更する。

この発明は、さらに、前記配信映像のうち一部を、前記端末用カメラが撮影した映像に置き換える端末映像処理部を備えたことを特徴とする。

この構成では、配信映像のうち一部を自装置のカメラで撮影したユーザの映像に置き換える。例えば、ヴォーカルの映像を自装置のユーザの歌唱する映像に置き換える。

この発明は、さらに、前記受付部は、ユーザの演奏音、または歌唱音を収音する収音部と、収音した音声の音量レベルを検出する音量レベル検出部と、を含み、前記音量レベルをユーザの配信映像の変更操作として受け付けることを特徴とする。

この構成では、ユーザの演奏音、または歌唱音を収音する。演奏音の場合は、マイクから収音してもよいし、電子楽器から直接音声信号を入力するようにしてもよい。この構成では、さらに、収音した音声の音量レベルを検出する。音量レベルによって配信映像の変更を行う。例えば、歌唱音の音量レベルが大きくなった場合、ヴォーカルの映像に切り換えるよう指示したり、ヴォーカルの映像をズームするよう指示したり、ヴォーカルの映像を画面中心に配置するように指示したりする。逆に、歌唱音の音量レベルが小さくなった場合、ヴォーカル以外の映像に切り換えるよう指示したり、ズームアウトするよう指示したり、ヴォーカルの映像を画面端に配置するように指示したりする。

この発明は、さらに、前記受付部は、収音した音声のピッチを検出するピッチ検出部と、検出したピッチと、基準メロディのピッチと、の一致度を算出する比較部と、を含み、前記比較部の一致度をユーザの配信映像の変更操作として受け付けることを特徴とする。

この構成では、ユーザの歌唱音のピッチと基準メロディのピッチの一致度を算出する。この一致度は、カラオケの採点などに用いられるが、この構成では、一致度によって配信映像の変更を行う。一致度（点数）が高くなった場合に、上記音量レベルが大きくなった場合の処理を行う。逆に、一致度（点数）が低くなった場合に、上記音量レベルが小さくなった場合の処理を行う。

この発明の配信システムは、請求項１０乃至請求項１６のいずれかに記載の端末装置をネットワークを介して相互に接続した配信システムであって、そのうち一部の端末装置の通信部に、前記配信映像を他の端末装置へ配信させ、他の一部の端末装置の通信部に、他の端末装置から配信される配信映像を受信させる配信モードと、全ての端末装置の通信部に、前記配信映像を他の端末装置に配信するとともに、他の端末装置から配信される配信映像を受信させる双方向モードと、を全ての端末装置に備え、各端末装置は、これらのモードを切り換えて通信することを特徴とすることを特徴とする。

この構成では、各スタジオで撮影された映像データ、および音声データを他の全ての端末装置に送信する双方向モードと、データを配信する端末装置と、配信しない端末装置と、を設定する配信モードと、を切り換える。双方向モードは、各スタジオで撮影した演奏者の映像データが互いの端末装置に送受信されるため、各スタジオのユーザが配信映像に合わせて歌唱、または演奏を行う場合に好適である。すなわち、ネットワークを介してセッション演奏を行う場合に好適なモードである（セッションモード）。一方、配信モードは、一部の端末装置では他の端末装置から配信映像が配信され、配信映像に合わせて歌唱、または演奏を行うことができるが、他の一部の端末装置のユーザは、配信映像を配信するだけのモードである（カラオケモード）。

この発明によれば、配信映像をユーザの趣向に応じた映像にコントロールすることができ、よりリアルに楽しみながらカラオケ、およびセッション演奏を行うことができる。

本発明の配信システムの実施形態として、ライブ映像配信カラオケシステムについて、図面を参照して説明する。

（１）第１実施形態
図１は、第１実施形態に係るライブ映像配信カラオケシステムの構成を示す図である。このライブ映像配信カラオケシステムは、センタ１と、インターネット２を介して接続される複数のカラオケ店舗３と、からなる。ライブ映像配信カラオケシステムとは、センタ１で撮影した演奏者の映像データ（ライブ映像）、および演奏者の音声を収音した音声データ（ライブ楽曲）を各カラオケ店舗３に配信し、ユーザがこのライブ映像、ライブ楽曲に合わせて歌唱、または演奏を行うものである。

カラオケ店舗３には、店舗内のＬＡＮ５を介してルータ４と、複数台のカラオケ装置７とが接続されており、さらに各カラオケ装置７には、ユーザ操作用のリモコン９が設置されている。

ルータ４は、カラオケ店舗の管理室内等に設置される。複数台のカラオケ装置７は、それぞれ個室（カラオケボックス）に１台ずつ設置される。ルータ４は、インターネット２を介してセンタ１と接続されている。センタ１は、各カラオケ店舗３のカラオケ装置７に、ライブ映像、およびライブ楽曲を配信する。各カラオケ装置７は、ＬＡＮ５、ルータ４、およびインターネット２を介してセンタ１にアクセスし、ライブ映像、ライブ楽曲のダウンロードを行う。

リモコン９は、ユーザがカラオケ曲をリクエストするためのリクエスト機能や、後述する配信映像コントロール機能を有している。ユーザがリモコン９を操作して行ったリクエストは、赤外線等によりカラオケ装置７に送信される。カラオケ装置７は、受信したリクエストのカラオケ曲を演奏する。また、ユーザがリモコン９を用いてライブ配信のリクエストを行うと、カラオケ装置７は、ライブ映像、ライブ楽曲をダウンロードして再生する。

ライブ映像、ライブ楽曲の配信について図２を用いて説明する。図２は、センタ１の構成を示すブロック図である。センタ１は、センタ全体の動作を制御するＣＰＵ５０、このＣＰＵ５０に接続される各種機器、およびライブ会場で構成されている。ＣＰＵ５０には、カメラ制御部５２、ＲＡＭ５３、ＨＤＤ５４、ミキサ５５、およびＬＡＮＩ／Ｆ（インタフェース）５６が接続されている。ライブ会場では、演奏者であるヴォーカルＶｏ１、ギターＧ、ベースＢ、ドラムＤｒが演奏を行う。

ＨＤＤ５４は、ＣＰＵ５０の動作用プログラムが記録されており、ＣＰＵ５０は、この動作用プログラムをＲＡＭ５３に展開して種々の処理を行う。また、ＨＤＤ５４は、過去のライブ映像、ライブ楽曲のデータも記録している。

カメラ制御部５２は、接続されている複数のカメラ５１を制御する。カメラ制御部５２は、具体的には、ＣＰＵ５０の指示に基づいて、各カメラ５１のパン、チルト、ズームを設定する。詳細は後述するが、カラオケ店舗３に居るユーザは、リモコン９を用いて各カメラ５１のパン、チルト、ズームを設定することができ、ＣＰＵ５０は、このユーザの設定に基づいてカメラ制御部５２にパン、チルト、ズームの設定を指示する。この結果、ユーザは配信映像をコントロールすることができる。

また、カメラ制御部５２は、各カメラ５１が撮影した映像データをＣＰＵ５０に出力する。なお、同図においては、カメラ５１は、各演奏者を撮影するように１台ずつ設置されているが、カメラの数、配置はこの例に限らず、例えばライブ会場全体を撮影するカメラや、複数の演奏者を撮影するカメラを設置してもよい。

ＣＰＵ５０は、各カメラ５１から入力された映像データを編集し、ネットワーク送受信に適した形式のデータに変換して、ＬＡＮインタフェース５６を介してカラオケ装置７に配信する。ＣＰＵ５０は、図４（Ａ）に示すように、各カメラ５１が撮影している映像（ヴォーカルＶｏ１、ギターＧ、ベースＢ、およびドラムＤｒの撮影映像）のうちいずれか１つの映像を選択して、カラオケ装置７に配信する。選択する映像は、カラオケ装置７を介してユーザの指示により決定される。また、ＣＰＵ５０は、各カメラ５１が撮影している映像を合成し、１つの映像を生成することもできる。例えば図５に示すように、画面中心に大きくヴォーカルＶｏ１の映像、右側にギターＧの映像、左側にベースＢの映像、上側にドラムＤｒの映像を配置し、１つの映像データとすることができる。ＣＰＵ５０は、この合成後の映像データをカラオケ装置７に配信する。合成する各映像の配置は、カラオケ装置７を介してユーザの指示により決定される。

ミキサ５５には、複数のマイク等（ヴォーカル用マイク、ギター用マイク、ベース用ライン、ドラム用マイク）が接続されており、各マイク等が取得した演奏音声が複数入力される。ミキサ５５は、これらの演奏音声をヴォーカルトラック、ギタートラック、ベーストラック、およびドラムトラックとしてＣＰＵ５０に出力する。なお、トラックの数はこの例に限定するものではない。さらにキーボードトラック等を設けてもよい。

また、ミキサ５５は、ギタートラック、ベーストラック、およびドラムトラックをミキシングし、歌唱音声（ヴォーカルトラック）と楽音音声（伴奏トラック）との２系統でＣＰＵ５０に出力してもよい。ミキシングする音声、出力するトラックの数、およびトラックの種類は、ＣＰＵ５０により設定される。

また、ミキサ５５は、タイムコードを生成し、ＣＰＵ５０に入力する。タイムコードは、カラオケ装置７において、ダウンロードした各トラックの音声と同期して歌詞を表示する場合に用いられる。

ＣＰＵ５０は、ミキサ５５から入力された各トラックの音声、およびタイムコード、をそれぞれネットワーク送受信に適した形式のデータに変換して、カラオケ装置７に配信する。

図３は、カラオケ装置７の構成を示すブロック図である。カラオケ装置７は、装置全体の動作を制御するＣＰＵ１０と、このＣＰＵ１０に接続される各種機器で構成されている。ＣＰＵ１０には、ＨＤＤ１１、ＲＡＭ１２、音源１３、ミキサ（エフェクタ）１４、ＭＰＥＧデコーダ２０、合成回路２１、操作部２３、ＬＡＮインタフェース２４、赤外線通信部２５、およびカメラ制御部２６が接続されている。

ＨＤＤ１１は、カラオケ曲を演奏するための楽曲データやモニタ２２に背景映像として表示するための映像データ等を記憶している。映像データは動画、静止画の両方を記憶している。ＲＡＭ１２には、ＣＰＵ１０の動作用プログラムを実行するために読み出すエリアやカラオケ曲を演奏するために楽曲データを読み出すエリアなどが設定される。

ＣＰＵ１０は、センタ１から配信されたライブ映像を映像信号に変換して合成回路２１に出力する。また、センタ１から配信された複数トラックからなるライブ楽曲をデジタル音声信号に変換してミキサ１４に出力する。さらに、ＣＰＵ１０は、カメラ制御部２６にカメラ２７の設定を指示する。カメラ制御部２６は、ＣＰＵ５０の指示に基づいて、接続されているカメラ２７のパン、チルト、ズームを設定する。カラオケ店舗３に居るユーザ（ここでは歌唱者Ｖｏ２）は、リモコン９を用いてカメラ２７のパン、チルト、ズームを設定することができ、ＣＰＵ１０は、このユーザの設定に基づいてカメラ制御部２６にパン、チルト、ズームの設定を指示する。

また、カメラ制御部２６は、カメラ２７が撮影した映像データをＣＰＵ１０に出力する。ＣＰＵ１０は、入力された映像データを映像信号に変換して合成回路２１に出力する。

ＣＰＵ１０は、機能的にシーケンサを内蔵している。シーケンサは、曲シーケンサ、および歌詞シーケンサからなる。
曲シーケンサは、ＨＤＤ１１に記憶されている楽曲データに基づいてカラオケ曲の演奏を実行するプログラムである。曲シーケンサは、ＭＩＤＩデータの楽音トラックやガイドメロディトラック等のデータに基づいて音源１３を制御し、カラオケ曲の楽音を発生する。また、歌詞シーケンサは、ＭＩＤＩデータの歌詞トラックに基づいてモニタ２２に歌詞テロップを表示するためのプログラムである。歌詞シーケンサは、ＭＩＤＩデータのうち、歌詞トラックに基づいて曲の進行に同期して歌詞の文字パターンを合成し、この文字パターンを映像信号に変換して合成回路２１に入力する。

また、歌詞シーケンサは、ライブ映像配信時には、センタ１から配信されたタイムコードに基づいて、曲の進行（ライブの進行）に同期して歌詞の文字パターンを合成し、この文字パターンを映像信号に変換して合成回路２１に入力する。なお、この場合、数行程度の歌詞を一度に表示する。

音源１３は、曲シーケンサの処理によってＣＰＵ１０から入力されたデータ（楽音トラックやガイドメロディトラックのノートイベントデータ）に応じて楽音信号（デジタル音声信号）を形成する。形成した楽音信号はミキサ１４に入力される。

ミキサ１４は、音源１３が発生した複数の楽音信号、およびマイク１７からＡＤコンバータ１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。また、ミキサ１４は、ライブ楽曲配信時には、ＣＰＵ１０から入力されたライブ楽曲に基づくデジタル音声信号、およびマイク１７からＡＤコンバータ１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。なお、この例では、ＡＤコンバータ１８にマイク１７が接続されており、歌唱者Ｖｏ２の歌唱音声信号をミキサ１４に入力する例について示しているが、マイク１７が収音する音声は、歌唱者の音声に限らず、ギター等の演奏音声であってもよい。また、ＡＤコンバータ１８に直接（ライン接続で）電子楽器を接続するようにしてもよい。

ミキシングされた各デジタル音声信号はサウンドシステム（ＳＳ）１５に入力される。サウンドシステム１５はＤ／Ａコンバータおよびパワーアンプを内蔵しており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１６から放音する。ミキサ１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。

また、ライブ楽曲配信時には、ＣＰＵ１０は、センタ１から配信された複数トラックのうち、ユーザが指定したトラック（ヴォーカルトラック、ギタートラック等）を削除した後にミキサ１４に出力することもできる。この場合、ユーザは、自身の担当パート（例えばヴォーカル）を自身の音声で、他のパートを配信楽曲の音声で再生を行うことができる。これにより、ライブ楽曲に合わせてカラオケ、セッション演奏を行うことができる。なお、ユーザが指定したトラックをミキサ１４で削除する（音量ゼロとする）ようにしてもよい。

ＣＰＵ１０は、上記シーケンサによる楽音の発生、歌詞テロップの生成と同期して、ＨＤＤ１１に記憶されている映像データを読み出して背景映像等を再生する。動画の映像データは、ＭＰＥＧ形式にエンコードされている。ＣＰＵ１０は、読み出した映像データをＭＰＥＧデコーダ２０に入力する。ＭＰＥＧデコーダ２０は、入力されたＭＰＥＧデータを映像信号に変換して合成回路２１に入力する。合成回路２１には、背景映像の映像信号以外に上記歌詞テロップの文字パターン等が入力される。合成回路２１は、背景映像の映像信号の上に歌詞テロップなどのＯＳＤを合成してモニタ２２に出力する。モニタ２２は、合成回路２１から入力された映像信号を表示する。

また、合成回路２１には、ライブ映像配信時には、ＣＰＵ１０から入力されたライブ映像に基づく映像信号が入力される。合成回路２１は、ライブ映像の映像信号の上に歌詞テロップなどのＯＳＤを合成してモニタ２２に出力する。ここで、ライブ映像は、例えば複数のカメラ５１で撮影された映像のうちいずれか１つの映像である。図４は、モニタ２２に表示される映像を示す図である。同図（Ａ）に示すように、モニタ２２には、ヴォーカルＶｏ１、ギターＧ、ベースＢ、ドラムＤｒの演奏者のいずれかの映像が表示される。映像の切換は、ユーザが操作部２３、またはリモコン９を用いて指示する。
操作部２３は、カラオケ装置７の操作パネル面に設けられた各種のキースイッチからなる。また、赤外線通信部２５は、リモコン９から赤外線信号を受信する回路である。赤外線通信部２５、および操作部２３から入力されるユーザの操作情報は、ＣＰＵ１０に入力される。

ＣＰＵ１０は、ユーザが操作部２３、またはリモコン９を用いて映像の切換を指示した場合、センタ１に映像切換の指示情報を送信する。センタ１では、ＣＰＵ５０が、各カメラ５１が撮影している映像（ヴォーカルＶｏ１、ギターＧ、ベースＢ、およびドラムＤｒの撮影映像）のうち指示された映像を選択して、カラオケ装置７に配信する。これにより、図４（Ａ）に示すように、モニタ２２に表示する映像を切り換えることができる。

また、ユーザは、表示されている映像の表示態様を変更することができる。すなわちライブ会場に設置されている各カメラ５１のパン、チルト、ズームの設定を変更することができる。例えば、ユーザがリモコン９を用いて現在表示されている映像のズームを指示すると、ＣＰＵ１０は、センタ１にズーム指示情報を送信する。センタ１では、ＣＰＵ５０が、現在配信している映像に対応するカメラ５１のズームを指示する。その結果、カメラ５１のズーム設定が変更され、図４（Ｂ）のようにモニタ２２に表示する映像がズーム映像に切り替わる。

また、ユーザは、図４に示した各演奏者のライブ映像配信状態から、図５に示す合成映像のライブ映像配信状態に切換指示をすることができる。図５は、合成映像が配信される場合において、モニタ２２に表示される映像を示す図である。

ユーザが、操作部２３、またはリモコン９を用いて合成映像への切換指示を行うと、ＣＰＵ１０は、センタ１に合成映像への切換指示情報を送信する。センタ１では、ＣＰＵ５０が、各カメラ５１が撮影している映像（ヴォーカルＶｏ１、ギターＧ、ベースＢ、およびドラムＤｒの撮影映像）を合成し、図５（Ａ）に示すような画面中心に大きくヴォーカルＶｏ１の映像、右上側にギターＧの映像、左上側にベースＢの映像、中央上側にドラムＤｒの映像を配置した１つの映像データを生成し、カラオケ装置７に配信する。ここで、ユーザは、合成映像の配置変更を指示することができる。例えば、ヴォーカルＶｏ１の映像とギターＧの映像を入れ替える指示を行うと、ＣＰＵ１０は、センタ１に映像入れ替え指示情報を送信する。センタ１では、ＣＰＵ５０が、映像の配置を変更し、図５（Ｂ）に示すような画面中心に大きくギターＧの映像、右上側にヴォーカルＶｏ１の映像、左上側にベースＢの映像、中央上側にドラムＤｒの映像を配置した１つの映像データを生成し、カラオケ装置７に配信する。

さらに、ユーザは、配置されている各映像の表示態様を変更することができる。すなわち、この場合においても、ライブ会場に設置されている各カメラ５１のパン、チルト、ズームの設定を変更することができる。例えば、ユーザがリモコン９を用いてギターＧの映像のズームを指示すると、ＣＰＵ１０は、センタ１にギター映像のズーム指示情報を送信する。センタ１では、ＣＰＵ５０が、ギターＧを撮影しているカメラ５１のズームを指示する。その結果、カメラ５１のズーム設定が変更され、図５（Ｃ）のようにモニタ２２に表示する映像のうち、画面中心のギターＧの映像がズーム映像に切り替わる。

なお、センタ１が全ての映像（ヴォーカルＶｏ１、ギターＧ、ベースＢ、ドラＤｒ）をカラオケ装置７に配信し、カラオケ装置７のＣＰＵ１０において上記映像合成処理を行ってもよい。ユーザがズームを指示した場合はソフトウェア処理により映像をズームする。また、カラオケ装置７のＨＤＤ１１にライブ会場の背景映像を記録している場合、この背景映像に各演奏者の映像（ヴォーカルＶｏ１、ギターＧ、ベースＢ、ドラムＤｒ）を合成し、１つの映像とすることもできる。この場合、各演奏者の映像から、演奏者の部分のみの映像を切り出し、これらを背景映像に重ねることで、ライブ会場全体を撮影したかのような映像にすることもできる。

また、ユーザは、モニタ２２に表示されるライブ映像のうち、一部の配置映像（ヴォーカルＶｏ１、ギターＧ、ベースＢ、ドラムＤｒの映像のうちいずれか）をカメラ２７で撮影した自身の映像に置き換え指示をすることができる。

図６は、ボーカルの映像を自身の映像に置き換える場合の例を示す図である。ユーザがリモコン９を用いてヴォーカルＶｏ１の映像を自身の映像に置き換えるよう指示すると、ＣＰＵ１０は、同図（Ａ）に示す配信ライブ映像（合成映像）のうち、ヴォーカルＶｏ１の配置映像をカメラ制御部２６から入力される映像に置き換える処理を行う。このとき、演奏者（ヴォーカルＶｏ１）の部分のみカメラ制御部２６から入力される映像に置き換わるように、クロマキー合成を用いる。また、センタ１からライブ会場全体を撮影した映像が配信されている場合は、このうち演奏者（ヴォーカルＶｏ１）の部分のみカメラ制御部２６から入力される映像に置き換わるようにすればよい。これにより、同図（Ｂ）に示すように、ライブ映像のうち、ヴォーカルの映像が自身の映像（歌唱者Ｖｏ２）に置き換わる。ライブ映像のうち、一部の演奏者のみ自身の映像に置き換わるため、あたかも自身がライブ会場に居て演奏（歌唱）を行っているようにモニタ２２に表示される。これにより、よりリアルにライブ楽曲、ライブ映像に合わせてカラオケ、セッション演奏を行うことができる。

なお、映像配置の切換指示、カメラ設定の指示は、操作部２３、およびリモコン９を用いて指示する例に限るものではない。例えば、以下のようにして自動切換、自動カメラ設定を行うことができる。

ＣＰＵ１０は、マイク１７からＡＤコンバータ１８を介して歌唱音声信号を入力する。ＣＰＵ１０は、この歌唱音声信号の音量レベルを検出し、音量レベルに基づいてセンタ１に映像切換の指示情報、カメラ設定指示（ズーム指示）情報、および映像入れ替え指示情報を送信する。例えば、音量レベルが大きくなった場合、ヴォーカルの映像に切り換えるよう指示したり、ヴォーカルの映像をズームするよう指示したり、ヴォーカルの映像を画面中心に配置するように指示したりする。逆に、音量レベルが小さくなった場合、ヴォーカル以外の映像に切り換えるよう指示したり、ズームアウトするよう指示したり、ヴォーカルの映像を画面端に配置するように指示したりする。また、歌唱音声のピッチ等を検出し、リファレンスとなる基準メロディとの一致度の高さで評価して歌唱者を採点する場合、点数が高くなった場合に、上記音量レベルが大きくなった場合の処理を行ってもよい。逆に、点数が低くなった場合に、上記音量レベルが小さくなった場合の処理を行ってもよい。

さらに、ＣＰＵ１０は、カメラ制御部２６から入力される映像をモニタ２２に表示している場合、音量レベルが小さくなったり点数が低くなった場合に、歌唱者以外の場所（例えば同室内にいる他のユーザ）を撮影するように、カメラ２７のパン、チルト、ズームを変更するようカメラ制御部２６に指示してもよい。

また、ＣＰＵ１０は、センタ１から入力されるライブ楽曲の各トラックの音量レベルを検出し、これらの音量レベルに基づいて上記各種指示情報を送信するようにしてもよい。例えば、ギターソロ時にはギターの音量レベルに比べ、他の音量レベルが低くなるが、この場合、ＣＰＵ１０は、ギターの映像に切り換えるよう指示したり、ギターの映像をズームするよう指示したり、ギターの映像を画面中心に配置するように指示したりする。また、曲間等で、全てのトラックが音量レベルが低い時、ライブ会場全体（客席）の映像に切り換えるように指示してもよい。

以上のように、本実施形態のライブ映像配信カラオケシステムは、配信映像をユーザの趣向に応じた映像にコントロールすることができ、よりリアルに楽しみながらカラオケ、およびセッション演奏を行うことができる。

（２）第２実施形態
図７は、第２実施形態に係るライブ映像配信システムの構成を示す図である。このライブ映像配信システムは、インターネット２を介して接続される複数のスタジオ６からなる。スタジオ６には、ＬＡＮ５を介してルータ４と、カラオケ装置７とが接続されており、さらにカラオケ装置７には、ユーザ操作用のリモコン９が設置されている。なお、同図において、図１に示したライブ映像配信カラオケシステムと共通する構成部については、同一の符号を付し、その説明を省略する。また、カラオケ装置７については、図３に示したカラオケ装置と同一の構成部を有するため、詳細な説明を省略する。

このライブ映像配信システムは、各スタジオ６で撮影、収音した演奏者の映像データ（ライブ映像）、および音声データ（ライブ楽曲）を他のスタジオ６に配信し、各スタジオ６のユーザがこのライブ映像、ライブ楽曲に合わせて歌唱、または演奏を行うものである。すなわち、インターネット２を介してセッション演奏を行うものである。

図８は、実際にセッション演奏を行う場合の例について、第２実施形態に係るライブ映像配信システムの構成を示す図である。
各カラオケ装置７のカメラ２７で撮影されたライブ映像は、他のカラオケ装置７に配信される。なお、この実施形態では、ＣＰＵ１０は、カメラ制御部２６から入力した映像データに基づいて、ライブ映像を生成する映像処理部として機能する。また、各カラオケ装置７のマイク１７で収音された音声データも他のカラオケ装置７に送信される。

各カラオケ装置７のＣＰＵ１０は、受信した複数の音声データをデジタル音声信号に変換してミキサ１４に出力し、ミキサ１４は、他のスタジオの音声と、自装置のＡＤコンバータ１８を介してマイク１７から入力された音声と、をミキシングしてサウンドシステム１５に出力する。したがって、各スタジオの演奏者は、配信された音声に合わせて歌唱、または演奏を行うことができる。

ここで、例えばスタジオ６Ａのカラオケ装置７のＣＰＵ１０は、受信した複数の映像データのうち、いずれか１つの映像を選択して合成回路２１に出力する。映像の選択は、ユーザがリモコン９を用いて指示する。すなわち、図４（Ａ）に示したように、モニタ２２には、ヴォーカルＶｏ１、ギターＧ、ベースＢ、ドラムＤｒの演奏者のいずれかの映像が表示される。

また、ＣＰＵ１０は、受信した複数の映像データを合成し、１つの映像を生成することもできる。すなわち、図８に示すように、スタジオ６Ａ（ヴォーカル担当のスタジオ）のモニタ２２には、画面中心に大きくヴォーカルＶｏ１の映像（この場合自身の映像）、右上側にギターＧの映像、左上側にベースＢの映像、中央上側にドラムＤｒの映像が表示される。一方で、スタジオ６Ｄ（ギター担当のスタジオ）のモニタ２２には、画面中心に大きくギターＧの映像（この場合自身の映像）、右上側にヴォーカルＶｏ１の映像、左上側にベースＢの映像、中央上側にドラムＤｒの映像が表示される。

なお、合成する各映像の配置は、ユーザがリモコン９を用いて指示することにより変更することができる。無論、自身の映像はモニタ２２に表示せず、他のスタジオから配信された映像のみ表示することも可能である。

この実施形態においても、ユーザは、表示されている映像の表示態様を変更することができる。すなわち各スタジオに設置されている各カメラ２７のパン、チルト、ズームの設定を変更することができる。例えば、スタジオ６Ａに居るユーザがリモコン９を用いて、ギターＧの映像をズームするように指示すると、スタジオ６Ａのカラオケ装置７は、スタジオ６Ｄのカラオケ装置７にズーム指示情報を送信する。スタジオ６Ｄのカラオケ装置７では、ＣＰＵ１０が、カメラ２７をズームするようにカメラ制御部２６に指示する。その結果、スタジオ６Ｄのカメラ２７のズーム設定が変更され、他のスタジオ６に表示されるギターＧの映像がズーム映像に切り替わる。なお、スタジオ６Ｄのカラオケ装置７は、スタジオ６Ａに配信するギターＧの映像のみズーム映像とし、他のカラオケ装置７に配信するギターＧの映像はそのまま（ズームしないで）送信するようにしてもよい。この場合、カメラ制御部２６がカメラ２７の光学（レンズ）設定を変更するのではなく、ＣＰＵ１０が画像処理によりズーム映像に変更すればよい。

また、この実施形態においても、映像配置の切換指示、カメラ設定の指示は、操作部２３、およびリモコン９を用いて指示する例に限るものではない。上述のように、音量レベルや採点結果を用いて自動的に映像を切り換えたり、カメラの設定を変更したり、合成映像の配置を変更したりすればよい。

なお、上記例では各スタジオ６で撮影された映像データ、および音声データを他の全てのカラオケ装置７に送信する例（セッションモード）について説明したが、データを配信するカラオケ装置７と、配信しないカラオケ装置７と、を設定しておき、第１実施形態のようにライブ映像配信カラオケシステム（カラオケモード）を実現することもできる。例えば、図８において、スタジオ６Ａのカラオケ装置７は、カメラ２７で撮影した映像データ、およびマイク１７で収音した音声データを他のカラオケ装置７に送信しないように設定し、スタジオ６Ａ〜スタジオ６Ｄのカラオケ装置７は、カメラ２７で撮影した映像データ、およびマイク１７で収音した音声データをスタジオ６Ａのカラオケ装置７に送信するように設定する。

この結果、スタジオ６Ａのカラオケ装置７には、ギター、ベース、ドラムの映像データ、音声データが配信され、スタジオ６Ａに居るユーザは、配信された映像、音声に合わせて歌唱、演奏を行うことができる。また、第１実施形態のように、配信映像をユーザの趣向に応じた映像にコントロールすることができ、よりリアルに楽しみながら歌唱、および演奏を行うこともできる。

なお、第１実施形態、および第２実施形態ではカラオケ装置７を用いてセッション演奏、またはカラオケを行う例について説明したが、本発明においてカラオケ機能（ユーザのリクエストに応じて楽曲データをシーケンスし、楽音を発生させる機能）は必須ではない。

第１実施形態に係るライブ映像配信カラオケシステムの構成を示す図である。 第１実施形態に係るセンタ１の構成を示すブロック図である。 第１実施形態に係るカラオケ装置７の構成を示すブロック図である。 モニタ２２に表示される映像を示す図である。 合成映像が配信される場合において、モニタ２２に表示される映像を示す図である。 ボーカルの映像を自身の映像に置き換える場合の例を示す図である。 第２実施形態に係るライブ映像配信システムの構成を示す図である。 実際にセッション演奏を行う場合の例について、第２実施形態に係るライブ映像配信システムの構成を示す図である。

符号の説明

１−センタ
２−インターネット
３−カラオケ店舗
４−ルータ
５−ＬＡＮ
７−カラオケ装置
９−リモコン

Claims (17)

1. センタと、該センタにネットワークを介して接続される複数の受信端末と、からなる配信システムであって、
   前記センタは、ライブ映像を撮影する複数のカメラと、
   前記複数のカメラの撮影設定をそれぞれ制御するカメラ制御部と、
   前記複数のカメラが撮影したライブ映像をそれぞれ入力し、配信映像を生成する映像処理部と、
   各受信端末からの指示情報に基づいて前記カメラ制御部または前記映像処理部で形成される前記配信映像を複数の受信端末に配信するセンタ通信部と、を備え、
   前記受信端末は、前記配信映像を受信する端末通信部と、
   受信した配信映像から映像信号を生成する映像信号生成部と、
   前記映像信号を入力して映像を表示する表示部と、
   ユーザが行う配信映像の変更操作を受け付ける受付部と、
   配信映像の変更を指示する指示情報を前記端末通信部を介してセンタに送信する指示情報生成部と、
   を備えた配信システム。
2. 前記指示情報は、前記カメラ制御部における複数のカメラの撮影設定を変更する指示情報を含む請求項１に記載の配信システム。
3. 前記映像処理部は、前記複数のカメラが撮影したライブ映像のうちいずれか１つを選択して配信映像として受信端末に送信し、
   前記指示情報は、前記映像処理部が選択する配信映像を変更する指示情報を含む請求項１、または請求項２に記載の配信システム。
4. 前記映像処理部は、前記複数のカメラが撮影したライブ映像を合成して１つの映像データとして受信端末に配信し、
   前記指示情報は、前記映像データの合成態様を変更する指示情報を含む請求項１、または請求項２に記載の配信システム。
5. 前記映像処理部は、前記複数のカメラが撮影したライブ映像をそれぞれ配信映像として受信端末に配信し、
   受信端末の映像信号生成部は、受信した複数の配信映像のうちいずれか１つを選択して映像信号を生成し、
   前記指示情報生成部は、前記指示情報を前記映像信号生成部に出力し、
   前記指示情報は、前記映像信号生成部が選択する配信映像を変更する指示情報を含むする請求項１、または請求項２に記載の配信システム。
6. 前記映像処理部は、前記複数のカメラが撮影したライブ映像をそれぞれ配信映像として受信端末に配信し、
   前記受信端末の映像信号生成部は、受信した複数の配信映像を合成して１つの映像信号を生成し、
   前記指示情報生成部は、前記指示情報を前記映像信号生成部に出力し、
   前記指示情報は、前記映像データの合成態様を変更する指示情報を含む請求項１、または請求項２に記載の配信システム。
7. 前記受信端末は、ユーザの映像を撮影する端末用カメラを備え、
   前記映像信号生成部は、前記配信映像のうち一部を、前記端末用カメラが撮影した映像に置き換える請求項１乃至請求項６のいずれかに記載の配信システム。
8. 前記受付部は、ユーザの演奏音、または歌唱音を収音する収音部と、収音した音声の音量レベルを検出する音量レベル検出部と、を含み、
   前記音量レベルをユーザの配信映像の変更操作として受け付ける請求項１乃至請求項７のいずれかに記載の配信システム。
9. 前記受付部は、収音した音声のピッチを検出するピッチ検出部と、検出したピッチと、基準メロディのピッチと、の一致度を算出する比較部と、を含み、
   前記比較部の一致度をユーザの配信映像の変更操作として受け付ける請求項８に記載の配信システム。
10. ユーザの映像を撮影する端末用カメラと、
    前記端末用カメラの撮影設定を制御する端末用カメラ制御部と、
    前記端末用カメラが撮影したユーザの映像を入力し、配信映像を生成する端末映像処理部と、
    他の装置からの指示情報に基づいて前記端末用カメラ制御部または前記端末映像処理部で形成される前記配信映像をネットワークを介して接続される他の端末装置に配信するとともに、他の端末装置から配信される配信映像を受信する通信部と、
    受信した配信映像から映像信号を生成する映像信号生成部と、
    前記映像信号を入力して映像を表示する表示部と、
    ユーザが行う配信映像の変更操作を受け付ける受付部と、
    配信映像の変更を指示する指示情報を他の端末装置に送信する指示情報生成部と、
    を備えた端末装置。
11. 前記指示情報は、他の端末装置の端末用カメラ制御部における端末用カメラの撮影設定を変更する指示情報を含む請求項１０に記載の端末装置。
12. 前記映像信号生成部は、他の端末装置から受信した配信映像のうちいずれか１つを選択して映像信号を生成し、
    前記指示情報は、前記映像信号生成部が選択する配信映像を変更する指示情報を含む請求項１０、または請求項１１に記載の端末装置。
13. 前記映像信号生成部は、他の端末装置から受信した配信映像を合成して１つの映像信号を生成し、
    前記指示情報は、前記配信映像の合成態様を変更する指示情報を含む請求項１０、または請求項１１に記載の端末装置。
14. 前記配信映像のうち一部を、前記端末用カメラが撮影した映像に置き換える端末映像処理部を備えた請求項１０乃至請求項１３のいずれかに記載の端末装置。
15. 前記受付部は、ユーザの演奏音、または歌唱音を収音する収音部と、収音した音声の音量レベルを検出する音量レベル検出部と、を含み、
    前記音量レベルをユーザの配信映像の変更操作として受け付ける請求項１０乃至請求項１４のいずれかに記載の端末装置。
16. 前記受付部は、収音した音声のピッチを検出するピッチ検出部と、検出したピッチと、基準メロディのピッチと、の一致度を算出する比較部と、を含み、
    前記比較部の一致度をユーザの配信映像の変更操作として受け付ける請求項１５に記載の端末装置。
17. 請求項１０乃至請求項１６のいずれかに記載の端末装置をネットワークを介して相互に接続した配信システムであって、
    そのうち一部の端末装置の通信部に、前記配信映像を他の端末装置へ配信させ、
    他の一部の端末装置の通信部に、他の端末装置から配信される配信映像を受信させる配信モードと、
    全ての端末装置の通信部に、前記配信映像を他の端末装置に配信するとともに、他の端末装置から配信される配信映像を受信させる双方向モードと、
    を全ての端末装置に備え、各端末装置は、これらのモードを切り換えて通信することを特徴とする配信システム。

Images