JP2022134638A - 画像表示システム、表示制御方法、発光制御方法、及びプログラム - Google Patents

Abstract

【課題】ライブの画像を遠隔にて視聴する視聴者に、ライブの臨場感を感じさせることができる画像表示システム、表示制御方法、発光制御方法、及びプログラムを提供する。【解決手段】画像情報を取得する画像情報取得部と、前記画像情報に対応する対象画像が表示された仮想空間を表示させ、前記対象画像に示されている対象空間の状態を示す状態情報に基づいて、前記仮想空間に設けられた仮想的な照明装置に発光させる光を制御する表示制御部と、を備える。【選択図】図３

Description

本発明は、画像表示システム、表示制御方法、発光制御方法、及びプログラムに関する。

ライブ会場で行われているライブの様子を撮像した画像などが遠隔にある視聴者側の装置に配信され、視聴者側の装置にてライブの画像が再現されるシステムがある。例えば、特許文献１には、視聴者側から配信者側に送信された評価情報に基づいて、ライブ会場に設けられた舞台照明の制御が行われる技術が開示されている。また、特許文献２にはライブ会場の照明情報に基づいて、視聴者側に設けられた照明装置の制御が行われる技術が開示されている。

特開２０２０－９５８８号公報 特開２００５－３４１１２２号公報

このようなシステムでは、ライブの画像を遠隔にて視聴する視聴者に、ライブの臨場感を感じさせる仕組みが求められている。

本発明は、このような状況に鑑みてなされたもので、その目的は、ライブの画像を遠隔にて視聴する視聴者に、ライブの臨場感を感じさせることができる画像表示システム、表示制御方法、発光制御方法、及びプログラムを提供することである。

上述した課題を解決するために、本発明の一態様は、画像情報を取得する画像情報取得部と、前記画像情報に対応する対象画像が表示された仮想空間を表示させ、前記対象画像に示されている対象空間の状態を示す状態情報に基づいて、前記仮想空間に設けられた仮想的な照明装置に発光させる光を制御する表示制御部と、を備える画像表示システムである。

また、本発明の一態様は、画像情報を取得する画像情報取得部と、前記画像情報に対応する対象画像が表示された仮想空間における視聴位置を示す位置情報を取得する位置情報取得部と、前記位置情報に基づいて、照明装置に発光させる光を制御する発光制御部と、前記位置情報に基づいて、前記対象画像が表示された仮想空間を表示させる表示制御部と、を備える画像表示システムである。

また、本発明の一態様は、コンピュータが行う表示制御方法であって、画像情報取得部が、画像情報を取得し、表示制御部が、前記画像情報に対応する対象画像が表示された仮想空間を表示させ、前記対象画像に示されている対象空間の状態を示す状態情報に基づいて、前記仮想空間に設けられた仮想的な照明装置に発光させる光を制御する、表示制御方法である。

また、本発明の一態様は、コンピュータが行う発光制御方法であって、画像情報取得部が、画像情報を取得し、位置情報取得部が、前記画像情報に対応する対象画像を表示された仮想空間における視聴位置を示す位置情報を取得し、発光制御部が、前記位置情報に基づいて、照明装置に発光させる光を制御し、表示制御部が、前記位置情報に基づいて、前記対象画像が表示された仮想空間を表示させる、発光制御方法である。

また、本発明の一態様は、コンピュータに、画像情報を取得する画像情報取得手段、前記画像情報に対応する対象画像が表示された仮想空間を表示させ、前記対象画像に示されている対象空間の状態を示す状態情報に基づいて、前記仮想空間に設けられた仮想的な照明装置に発光させる光を制御する表示制御手段、を実行させるプログラムである。

また、本発明の一態様は、コンピュータに、画像情報を取得する画像情報取得手段、前記画像情報に対応する対象画像が表示された仮想空間における視聴位置を示す位置情報を取得する位置情報取得手段、前記位置情報に基づいて、照明装置に発光させる光を制御する発光制御手段、前記位置情報に基づいて、前記対象画像が表示された仮想空間を表示させる表示制御手段、を実行させるプログラムである。

本発明によれば、ライブの画像を遠隔にて視聴する視聴者に、ライブの臨場感を感じさせることができる。

実施形態における画像表示システム１の概要を示す図である。 実施形態における画像表示システム１の構成の例を示すブロック図である。 実施形態における制御装置５０の構成の例を示すブロック図である。 実施形態における接続情報５２０の構成の例を示す表である。 実施形態における状態情報５２１の構成の例を示す表である。 実施形態における照明装置６０の構成の例を示すブロック図である。 実施形態における表示装置７０の構成の例を示すブロック図である。 実施形態におけるスピーカ装置８０の構成の例を示すブロック図である。 実施形態における入力装置９０の構成の例を示すブロック図である。 実施形態の制御装置５０が行う処理の流れを説明するフローチャートである。 実施形態の制御装置５０が行う処理の流れを説明するフローチャートである。

以下、本発明の実施形態を、図面を参照して説明する。

図１は、実施形態における画像表示システム１の概要を示す図である。画像表示システム１は、ライブ会場Ｐ１において行われているライブの状況を、遠隔地Ｐ２に配信するシステムである。遠隔地Ｐ２は、例えば、ライブ会場Ｐ１から遠隔にある利用者の自宅などである。

画像表示システム１において、ライブの状況として、例えば、ライブ会場Ｐ１における画像信号、音信号、及び照明信号などが取得され、これらの信号が、制御装置５０に配信される。画像信号は、例えば、ライブ会場Ｐ１にて撮像された映像などを示す画像の信号である。音信号は、例えば、ライブ会場Ｐ１にて集音された音響などを示す音の信号である。照明信号は、例えば、ライブ会場Ｐ１に設けられた各種の舞台照明を制御する信号である。

画像表示システム１において、制御装置５０は、例えば、遠隔地Ｐ２に設けられたコンピュータ装置である。遠隔地Ｐ２には、制御装置５０によって制御される１つ又は複数の照明装置６０が設けられている。照明装置６０は、例えば、ライブ会場における舞台照明の構成に応じて配置される。照明装置６０は、ライブ会場における舞台照明の構成と完全に一致させる必要はないが、できるだけライブ会場における舞台照明の構成と同じような構成とし、ライブ会場と同等な照明の効果を演出できることが望ましい。

制御装置５０は、ライブ会場Ｐ１における画像信号、音信号、及び照明信号を受信する。制御装置５０は、受信したこれらの信号に基づいて、照明制御信号、表示制御信号、及び音制御信号を生成する。照明制御信号は、遠隔地Ｐ２にある照明装置６０に発光させる光を制御する制御信号であり、例えば、ＤＭＸ５１２（Digital Multiplex 512）信号である。表示制御信号は、遠隔地Ｐ２にある表示装置（図２の表示装置７０）に表示させる画像を制御する制御信号である。音制御信号は、遠隔地Ｐ２にあるスピーカ装置（図２のスピーカ装置８０）に出力させる音を制御する制御信号である。図２は、実施形態における画像表示システム１の構成の例を示すブロック図である。制御装置５０が、照明制御信号などを生成する具体的な方法については後で詳しく説明する。

制御装置５０は、生成した照明制御信号を、照明装置６０に出力する。これにより、照明装置６０は、照明制御信号に応じた光を発光する。制御装置５０は、生成した表示制御信号を、表示装置７０に出力する。これにより、表示装置７０は、表示制御信号に応じた画像を表示する。制御装置５０は、生成した音制御信号を、スピーカ装置８０に出力する。これにより、スピーカ装置８０は、音制御信号に応じた音を出力する。これにより、画像表示システム１では、遠隔地Ｐ２において、ライブ会場Ｐ１の状況を再現することができる。

本実施形態では、制御装置５０は、表示装置７０に仮想空間を表示させる。仮想空間は、ライブ会場を模した仮想的な空間であって、例えば、中央に、仮想的なスクリーン、或いはステージが設けられ、その周辺に仮想的な観客席が設けられているような空間である。制御装置５０は、例えば、仮想空間に設けられたスクリーンに、ライブ会場Ｐ１にて撮像された映像を表示させる。なお、表示装置７０の例としては、ＰＣモニター、ヘッドマウントディスプレイ（略称ＨＭＤ（Head Mounted Display））も含まれる。表示装置７０の具体例としては、例えば、Microsoft（登録商標）社のHoloLens（登録商標）がある（［令和３年１月２８日検索］、インターネット〈URL:https://www.microsoft.com/en-us/hololens〉参照）。

制御装置５０は、利用者の動き等に応じた仮想空間を表示する。これにより、利用者は、あたかも仮想空間を自由に移動してライブを鑑賞することができる。制御装置５０は、例えば、ＨＭＤなどの入力装置（図２の入力装置９０）から利用者における実際の視線方向や、表示装置７０に表示された画面を視聴する利用者の動きなどを示す入力信号を受信する。制御装置５０は、受信した信号に応じて、仮想空間における利用者の視聴位置、及び仮想空間における利用者の視線方向を変更し、変更した視聴位置から視線方向にみえる仮想空間をリアルタイムに表示装置７０に表示させる。これにより、画像表示システム１では、利用者が自由に選択した仮想空間における視聴位置及び視線方向に応じた仮想空間の画像を表示することができる。このため、利用者は、あたかもライブ会場Ｐ１を自由に歩き回って様々な位置から見るライブの状況を体験することができる。

また、制御装置５０は、仮想空間における利用者の視聴位置に応じて、照明装置６０に発光させる光を制御する。制御装置５０は、例えば、仮想空間における利用者の視聴位置が、ステージの正面である場合には、舞台上部（或いは、舞台床面）に設けられた舞台照明に対応する照明信号を用いて、照明装置６０に発光させる光を制御する。仮想空間における利用者の視聴位置が、例えば、ステージ脇の方に移動した場合には、舞台横からステージに光を照射する舞台照明に対応する照明信号を用いて、照明装置６０に発光させる光を制御する。これにより、画像表示システム１では、利用者における実際の視線等の動きに応じて照明装置６０の発光を制御することができる。このため、利用者は、あたかもライブ会場Ｐ１を自由に歩き回って、ライブ会場Ｐ１に設けられた照明を身近に体感することができる。

また、制御装置５０は、ライブ空間の状態を示す状態情報に応じて、照明装置６０に発光させる光を制御する。状態情報は、遠隔地Ｐ２にてライブの画像等を視聴する利用者にライブの臨場感を感じさせるようなライブ会場の状態を示す情報である。状態情報は、例えば、ライブ会場において人の感覚を刺激し得る光の状態である。或いは、状態情報は、ライブ会場における音を示す情報である。状態情報は、例えば、ライブ会場に設けられた舞台照明を制御する情報、例えばＤＭＸ５１２信号である。状態情報は、ライブの状況が撮像された画像の色を代表する代表色を示す情報であってもよい。状態情報は、ライブ空間において集音された音の周波数に応じた色を示す情報であってもよい。また、状態情報として、ライブ会場の環境を示す情報、例えば、ライブ会場における湿度、匂い、温度などを示す情報が用いられてもよい（図５参照）。

これにより、制御装置５０は、例えば、ライブ会場において照明が落とされたり、静かなバラードが演奏されたりしている場合には、表示装置７０の照明を落として、静寂な雰囲気を演出する。また、制御装置５０は、状態情報に基づいて、ライブ会場において照明が一気に点灯されたり、大音量にて演奏されたりしている場合には、表示装置７０の照明を明るくしたり点滅させたりして、ライブが盛り上がっている雰囲気を演出する。これにより、利用者は、ライブ会場Ｐ１との一体感を感じることができる。

なお、ライブ会場において、大音量にて演奏されている場合には、表示装置７０の照明を明るくしたり点滅させたりするだけでなく、スピーカ装置８０から出力させる音量を大きくするようにしてもよい。この場合、制御装置５０は、例えば、ライブ空間において集音された音信号の音量等をイコライザで変更した信号を音制御信号としてスピーカ装置８０に出力する。

このように、画像表示システム１では、ライブの映像を、仮想空間における様々な位置から視聴することができ、尚且つ、仮想空間における視聴位置や状態情報に応じて照明装置６０に発光させる光を制御する。これにより、画像表示システム１では、利用者が自由に仮想空間における視聴位置を選択することができ、またその仮想空間における視聴位置に応じてライブ会場Ｐ１に設けられた照明を体感することができる。このため、利用者は、あたかもライブ会場Ｐ１を自由に歩き回って様々な位置からライブの状況を体験することができ、また、仮想空間における視聴位置やライブの状態に応じて照明装置６０の発光が変化するので、より高い臨場感を体験することが可能となる。

図２に示すように、画像表示システム１は、例えば、ライブ会場Ｐ１側の装置群と、遠隔地Ｐ２側の装置群と、で構成される。ライブ会場Ｐ１側の装置群の配信サーバ４０と、遠隔地Ｐ２側の制御装置５０とは、通信ネットワークＮＷを介して、通信可能に接続される。

なお、以下では、ライブの状況が、リアルタイムに配信される場合を例示して説明するが、これに限定されない。ファイルなどを使って、ライブの状況が録画されたデータなどがオンデマンドにて取得できるような態様であってもよい。ファイルなどを使ってデータを読み込む場合は、制御装置５０は、例えば、制御装置５０に備えられたメモリ（後述する図３の記憶部５２）からデータを取得する。この場合、制御装置５０の通信機能（後述する図３の通信部５１）は省略することが可能である。

また、以下では、ライブ会場Ｐ１における画像信号、音信号、及び照明信号が、１つの配信サーバ４０から配信される場合を例示して説明するが、これに限定されない。画像信号、音信号、及び照明信号のそれぞれが別々のサーバから配信されてもよいし、ファイル形式にて取得できるように運用されてもよい。

ライブ会場Ｐ１側の装置群は、ライブ会場Ｐ１における画像信号、音信号、及び照明信号の各々を生成して配信する装置群である。ライブ会場Ｐ１側の装置群は、例えば、撮像装置１０と、集音装置２０と、照明制御装置３０と、配信サーバ４０とで構成される。撮像装置１０は、ライブ会場Ｐ１で行われているライブを撮像し、撮像した画像信号を配信サーバ４０に出力する。集音装置２０は、ライブ会場Ｐ１にて集音し、集音した音信号を配信サーバ４０に出力する。照明制御装置３０は、ライブ会場Ｐ１に設けられた照明を、照明信号を用いて制御すると共に、その照明信号を配信サーバ４０に出力する。配信サーバ４０は、ライブ会場Ｐ１において生成された画像信号、音信号、及び照明信号の各々を、制御装置５０に送信する。

例えば、状態情報をライブ会場Ｐ１に設けられた舞台照明を制御する情報とする場合、状態情報は、照明制御装置３０が舞台照明の制御に用いた照明信号に基づいて生成される。状態情報をライブ会場Ｐ１の状況が撮像された画像の色を代表する代表色を示す情報とする場合、状態情報は、撮像装置１０によって撮像された画像の画像信号に基づいて生成される。状態情報をライブ会場Ｐ１において集音された音の周波数に応じた色を示す情報とする場合、状態情報は、集音装置２０によって集音された音の音信号に基づいて生成される。状態情報をライブ会場Ｐ１の環境を示す情報とする場合、状態情報は、ライブ会場Ｐ１において測定された湿度、匂い、温度などに基づいて生成される。この場合、ライブ会場Ｐ１において測定された湿度、匂い、温度などを示す情報が、配信サーバ４０に集約される。配信サーバ４０は、ライブ会場Ｐ１において測定された湿度、匂い、温度などを示す情報を制御装置５０に送信する。なお、状態情報は、ライブ会場Ｐ１で生成されてもよいし、遠隔地Ｐ２で生成されてもよい。ライブ会場Ｐ１で状態情報が生成される場合、例えば、ライブ会場Ｐ１が撮像された画像の画像信号に基づいて、撮像装置１０や配信サーバ４０が、画像の代表色を、状態情報として生成する。配信サーバ４０は、生成した状態情報を遠隔地Ｐ２に配信する。遠隔地Ｐ２で状態情報が生成される場合、制御装置５０は、配信サーバ４０から、ライブ会場Ｐ１が撮像された画像の画像信号を受信し、受信した情報に基づいて、画像の代表色を、状態情報として生成する。

遠隔地Ｐ２側の装置群は、ライブ会場Ｐ１における画像信号、音信号、及び照明信号の各々を用いて、遠隔地Ｐ２にてライブの状況を再現する装置群である。遠隔地Ｐ２側の装置群は、例えば、制御装置５０と、照明装置６０と、表示装置７０と、スピーカ装置８０と、入力装置９０とで構成される。制御装置５０は、ライブ会場Ｐ１において生成された画像信号、音信号、及び照明信号の各々を、配信サーバ４０から受信する。制御装置５０は、配信サーバ４０から受信した各種の信号を用いて、照明制御信号、表示制御信号、及び音制御信号を生成する。制御装置５０は、照明制御信号を、照明装置６０に出力する。照明装置６０は、照明制御信号に応じた光を発光する。制御装置５０は、表示制御信号を、表示装置７０に出力する。表示装置７０は、表示制御信号に応じた画像を表示する。制御装置５０は、音制御信号を、スピーカ装置８０に出力する。スピーカ装置８０は、音制御信号に応じた音を出力する。入力装置９０は、利用者に装着されることによって利用者における実際の視線等の動きを検知し、検知結果を入力情報として制御装置５０に出力する。制御装置５０は、入力情報に基づく仮想空間における視聴位置からみえる仮想空間を示す表示制御信号を生成し、生成した表示制御信号を表示装置７０に出力する。また、制御装置５０は、入力情報に基づく仮想空間における視聴位置に基づいて、照明制御信号を生成し、生成した照明制御信号を照明装置６０に出力する。

図３は、実施形態における制御装置５０の構成の例を示すブロック図である。制御装置５０は、例えば、通信部５１と、記憶部５２と、制御部５３とを備える。

通信部５１は、例えば、汎用の通信用ＩＣ（Integrated Circuit）によって実現される。通信部５１は、通信ネットワークを介して、配信サーバ４０と通信を行う。また、通信部５１は、照明装置６０、表示装置７０、スピーカ装置８０、及び、入力装置９０と通信を行う。

記憶部５２は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）、或いはこれらの組合せによって実現される。記憶部５２は、制御装置５０の各構成要素を実現するためのプログラム、プログラムを実行する際に用いられる変数、及び各種の情報を記憶する。記憶部５２は、例えば、接続情報５２０と、状態情報５２１を記憶する。

図４は、実施形態における接続情報５２０の構成の例を示す表である。接続情報５２０は、制御装置５０に接続された装置群に関する情報であり、例えば、照明装置情報、表示装置情報、及びスピーカ装置情報などの項目を備える。照明装置情報は、制御装置５０に接続される照明装置に関する情報である。照明装置に関する情報は、例えば、照明装置の設置位置、サイズ、照明装置の数、それぞれの照明装置の仕様、照明装置を制御する制御信号の信号プロトコルなどを示す情報である。表示装置情報は、制御装置５０に接続される表示装置に関する情報である。表示装置に関する情報は、例えば、表示装置の設置位置、サイズ、表示装置の仕様、表示装置を制御する制御信号の信号プロトコルなどを示す情報である。スピーカ装置情報は、制御装置５０に接続されるスピーカ装置に関する情報である。スピーカ装置に関する情報は、例えば、スピーカの設置位置、サイズ、スピーカ装置の数、それぞれのスピーカ装置の仕様、スピーカ装置を制御する制御信号の信号プロトコルなどを示す情報である。

図５は、実施形態における状態情報５２１の構成の例を示す表である。状態情報５２１は、配信サーバ４０から配信された配信情報に基づいて生成される。状態情報５２１は、ライブ空間の状態を示す情報であり、例えば、状態情報識別ＩＤ、入力信号、及び状態情報生成の手段などの項目を備える。状態情報識別ＩＤは、状態情報を識別する識別情報である。

入力信号は、状態情報識別ＩＤにて特定される状態情報を生成する際に用いられる信号である。例えば、状態情報が、照明信号を用いて生成される場合、入力信号として「照明信号」が示される。状態情報が、画像信号を用いて生成される場合、入力信号として「画像信号」が示される。状態情報が、音信号を用いて生成される場合、入力信号として「音信号」が示される。状態情報が、湿度を示す信号を用いて生成される場合、入力信号として「湿度情報」が示される。状態情報が、匂いを示す信号を用いて生成される場合、入力信号として「匂い情報」が示される。状態情報が、温度を示す信号を用いて生成される場合、入力信号として「温度情報」が示される。

状態情報生成の手段は、状態情報識別ＩＤにて特定される状態情報を生成する具体的な処理を示す情報である。状態情報識別ＩＤは、状態情報５２１の一番左の項目に示される情報である。例えば、状態情報識別ＩＤ（１）にて特定される状態情報は、仮想空間における視聴位置等に応じて舞台照明を選択することにより生成される。状態情報識別ＩＤ（２）にて特定される状態情報は、画像の色情報から代表色を抽出することにより生成される。状態情報識別ＩＤ（３）にて特定される状態情報は、音の周波数を抽出することにより生成される。状態情報識別ＩＤ（４）にて特定される状態情報は、ライブ会場の湿度を用いて生成される。状態情報識別ＩＤ（５）にて特定される状態情報は、ライブ会場の匂いを用いて生成される。状態情報識別ＩＤ（６）にて特定される状態情報は、ライブ会場の温度を用いて生成される。

なお、状態情報５２１の例に示した複数の状態情報のうち、いずれの状態情報を生成するかを、ユーザの入力操作により選択するようにしてもよい。この場合、制御装置５０は、表示部（不図示）に、図５に示すような状態情報の一覧を表示する。ユーザは、例えば、マウスやキーボードなどの入力装置を操作することによって、複数の状態情報のうち、いずれの状態情報を生成するかを指定する。

また、照明信号が配信されない、もしくは、配信サーバ４０から配信されたデータに照明信号が埋め込まれていない場合に、状態情報を自動的に生成するようにしてもよい。この場合、例えば、いずれの信号（例えば、音信号や画像信号）に基づいて、どのような状態情報を生成するかが、ユーザの入力操作などにより指定される。

また、複数の状態情報のうち、１つの複数の状態情報だけが選択される場合に限定されることはなく、複数の状態情報が同時に生成されるように指定されてもよい。

図３の説明に戻り、制御部５３は、例えば、制御装置５０が備えるＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサが、記憶部５２に格納されたプログラムを実行することにより実現されるように構成される。或いは、制御装置５０における上記の各構成要素の全部または一部が、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）等の専用ハードウェアにより実現されてもよい。

制御部５３は、例えば、第１取得部５３０と、第２取得部５３１と、生成部５３２と、照明制御部５３３と、表示制御部５３４と、音制御部５３５と、装置制御部５３６とを備える。第１取得部５３０は、配信情報を取得する。配信情報は、配信サーバ４０から制御装置５０に送信されたライブ会場Ｐ１における画像信号、音信号、及び照明信号の各々を示す情報である。第１取得部５３０は、取得した配信情報を、生成部５３２、表示制御部５３４、及び音制御部５３５に出力する。

第２取得部５３１は、入力情報を取得する。入力情報は、入力装置９０から制御装置５０に出力された、利用者における実際の視線等の動きを示す情報である。第２取得部５３１は、取得した入力情報を、生成部５３２及び表示制御部５３４に出力する。

生成部５３２は、配信サーバ４０から配信された配信情報に基づいて状態情報５２１を生成し、生成した情報を、記憶部５２の状態情報５２１として記憶させる。生成部５３２は、例えば、ライブ会場における光の状態を示す情報を、状態情報５２１として生成する。この場合、生成部５３２は、例えば、照明信号に基づいて、状態情報５２１を生成する。生成部５３２は、例えば、ライブ会場に設けられた舞台照明のうち特定の照明、例えば、舞台の人物の動きに合わせて光の方向や、光量などが変化する舞台照明の照明信号を、状態情報５２１とする。

或いは、生成部５３２は、画像信号から、ライブ会場における光の状態を示す情報を抽出し、抽出した情報に応じた値を状態情報５２１としてもよい。生成部５３２は、例えば、画像信号に対応する画像（対象画像）の色彩情報から、当該画像を代表する色（代表色）を決定し、決定した代表色の色彩情報に応じた値を、状態情報５２１とする。生成部５３２は、例えば、対象画像の全画素のＲＧＢ値（色彩情報の一例）に基づいて、代表色のＲＧＢ値を決定する。生成部５３２は、例えば、全画素のＲＧＢ値における平均値、最頻値、最大値、最小値等の統計量を、代表色のＲＧＢ値とする。或いは、生成部５３２は、対象画像を複数に分割した領域における画素のＲＧＢ値の代表値を、代表色のＲＧＢ値としてもよい。

或いは、生成部５３２は、音信号から、ライブ会場における音を示す情報を抽出し、抽出した情報に応じた値を状態情報５２１としてもよい。生成部５３２は、例えば、音信号の強弱や高低などを示す情報を、状態情報５２１とする。

具体的に、生成部５３２は、例えば、音信号をフーリエ変換することにより、音信号を構成する音について周波数ごとの信号強度を算出する。生成部５３２は、例えば、音を構成する全周波数帯域のうち最も大きい信号強度に応じた値を、状態情報５２１とする。或いは、生成部５３２は、音を構成する全周波数帯域のうち最も小さい周波数に応じた値を、状態情報５２１としてもよい。生成部５３２は、音を構成する全周波数帯域のうち最も大きい周波数に応じた値を、状態情報５２１としてもよい。この場合、生成部５３２は、例えば、音を構成する全周波数帯域のうち最も大きい周波数が、高域、中域、低域の何れであるか応じた値を、状態情報５２１とする。或いは、生成部５３２は、音を構成する全周波数帯域のうち最も大きい信号強度の周波数に応じた値を、状態情報５２１としてもよい。また、生成部５３２は、例えば、所定の時間区間における音信号の最大値に応じた値を、状態情報５２１としてもよい。

生成部５３２は、第１取得部５３０から取得した照明情報を用いて照明装置６０を制御するか、状態情報５２１を用いて照明装置６０を制御するかを判定する。例えば、生成部５３２は、利用者による操作入力に応じて、照明装置６０を制御する情報を、照明情報、又は状態情報５２１に切り替える。或いは、生成部５３２は、照明情報又は状態情報５２１をミックスした情報を、照明装置６０を制御する情報とするようにしてもよい。生成部５３２は、照明装置６０を制御する情報を、照明制御部５３３に出力する。

照明制御部５３３は、生成部５３２から照明装置６０を制御する情報を取得する。照明制御部５３３は、生成部５３２から取得した情報に基づいて照明制御信号を生成し、生成した信号を照明装置６０に出力する。これによって、照明装置６０に発光させる光を制御する。照明制御部５３３は、例えば、配信情報のうち照明装置６０の制御に用いる特定の舞台照明の照明信号を、必要に応じて接続情報５２０に示されている照明装置６０の制御プロトコルに変換することにより照明制御信号を生成する。照明制御部５３３は、生成した照明制御信号を、照明装置６０に出力する。照明制御部５３３は、照明信号の制御プロトコルを変換する場合、例えば、接続情報５２０に記憶された情報（照明装置６０の制御プロトコル）に基づいて変換を行う。

例えば、照明制御部５３３は、照明装置６０を制御する情報として、生成部５３２から利用者における実際の視線等の動きを示す入力信号を取得する。この場合、照明制御部５３３は、入力情報に基づいて、仮想空間における利用者の視聴位置を特定する。照明制御部５３３は、特定した仮想空間における視聴位置及び視線方向に基づいて、配信情報のうち照明装置６０の制御に用いる舞台照明を変更する。照明制御部５３３は、例えば、ライブ会場Ｐ１において、仮想空間における利用者の視聴位置及び視線方向に対応する位置付近に設けられた舞台照明の照明信号を、照明装置６０の制御に用いる信号として選択する。照明制御部５３３は、選択した照明信号を、照明装置６０の制御プロトコルに変換することにより照明制御信号を生成する。照明制御部５３３は、生成した照明制御信号を、照明装置６０に出力する。

なお、上記では照明制御部５３３は、生成部５３２から取得した入力情報を用いて照明装置６０を制御する場合を例示して説明した。しかしながら、これに限定されない。照明制御部５３３は、入力情報ではなく、下記のように、状態情報５２１に基づいて照明装置６０を制御してもよい。

また、照明制御部５３３は、照明装置６０を制御する情報として、状態情報５２１を取得する。この場合、照明制御部５３３は、例えば、状態情報５２１と色とを対応付けたカラーテーブルなどを用いて、状態情報５２１に応じた色の光を発光させる照明制御信号を生成し、生成させた照明制御信号を、照明装置６０に出力する。カラーテーブルは、例えば、接続情報５２０などに記憶されており、照明制御部５３３は接続情報５２０を参照することによってカラーテーブルを取得する。

例えば、状態情報５２１が対象画像を複数に分割した領域における代表色に応じた値である場合を考える。この場合、照明制御部５３３は、例えば、対象画像の右側の領域における代表色に対応する状態情報５２１を用いて、右側に配置された照明装置６０を制御する。また、照明制御部５３３は、対象画像の左側の領域における代表色に対応する状態情報５２１を用いて、左側に配置された照明装置６０を制御する。これにより、仮想空間における右側（或いは左側）と同じ色の光が、実空間の右側（或いは左側）において照射され、あたかも仮想空間と実空間がシームレスに広がったような演出をすることができる。なお、この場合における仮想空間は、部屋の壁面などに設けられたモニター上に映し出されている仮想空間であることを前提とする。すなわち、ＨＭＤなどに表示された仮想空間ではないことを前提とする。

表示制御部５３４は、表示制御信号を生成し、生成した信号を表示装置７０に出力することによって、表示装置７０に表示させる画像を制御する。表示制御部５３４は、例えば、配信情報のうちの画像信号に対応する画像を含む仮想空間、例えば、スクリーンにライブ映像が映し出されたライブ会場が示された仮想空間の三次元情報を生成し、生成した三次元情報を表示制御信号として生成する。表示制御部５３４は、生成した表示制御信号を、表示装置７０に出力する。表示制御部５３４は、例えば、記憶部５２を参照して接続情報５２０を取得する。表示制御部５３４は、取得した接続情報５２０に示された表示装置７０におけるモニターのサイズなどの情報に基づいて、仮想空間における三次元情報を生成する。例えば、表示制御部５３４は、表示装置７０のモニターサイズが十分大きい場合には、観客席の領域が広く設定された仮想空間を表示する三次元情報を生成して、ライブ会場Ｐ１の立体感を演出する。一方、表示装置７０のモニターサイズが小さい場合には、メインステージがメインとなる（観客席の領域が狭い）仮想空間を表示する三次元情報を生成して、ステージ上のパフォーマンスが鑑賞し易くなるような演出する。なお、仮想空間を生成するために必要な三次元データ（例えば、ステージの位置や仮想空間内の照明の位置を示す三次元データ）（以下、仮想空間情報という）については、モニターの接続情報５２０とは別の情報として取得される。例えば、配信サーバ４０によって仮想空間情報が配信されてもよいし、音信号や画像信号に、仮想空間情報が埋め込まれてもよいし、プログラムに埋め込まれるなどして、事前に仮想空間情報が取得されてもよい。
なお、接続情報５２０は任意の方法により取得されてよい。例えば、配信サーバ４０が遠隔地Ｐ２の視聴環境に応じた接続情報５２０を配信するようにしてもよいし、事前にプログラムに埋め込まれていてもよいし、画像信号や、音信号等に埋め込まれて配信されてもよい。

また、表示制御部５３４は、利用者における実際の視線等の動きを示す入力信号を取得した場合、入力情報に基づいて、仮想空間における利用者の視聴位置を特定する。表示制御部５３４は、特定した仮想空間における視聴位置に基づいて、視聴位置からみえるライブ会場が示された仮想空間の三次元情報を生成し、生成した三次元情報を表示制御信号として生成する。表示制御部５３４は、生成した表示制御信号を、表示装置７０に出力する。

音制御部５３５は、音制御信号を生成し、生成した信号をスピーカ装置８０に出力することによって、スピーカ装置８０に出力させる音を制御する。音制御部５３５は、例えば、配信情報のうちの音信号を、照明装置６０の制御プロトコルに変換することにより照明制御信号を生成する。
音制御部５３５は、表示制御部５３４によって特定された仮想空間における利用者の視聴位置を、例えば、表示制御部５３４から取得する。音制御部５３５は、取得した仮想空間における視聴位置に基づいて、その視聴位置から聴こえるライブ会場の音を生成する。

装置制御部５３６は、制御装置５０を統合的に制御する。例えば、装置制御部５３６は、配信サーバ４０から配信された配信情報に基づいて、照明信号、画像信号、及び音信号のそれぞれのタイムコードを同期させる。それぞれのタイムコードを同期させる方法は、従来から行われている何らかの同期させる手法が採用されてよい。例えば、照明信号、画像信号、及び音信号のそれぞれの信号に埋め込まれたタイムコードを利用して、それぞれの信号を同期させる。装置制御部５３６は、同期させた照明信号、画像信号、及び音信号のそれぞれを、生成部５３２、照明制御部５３３、表示制御部５３４、及び音制御部５３５に出力する。

図６は、実施形態における照明装置６０の構成の例を示すブロック図である。照明装置６０は、例えば、制御信号取得部６１と、発光部６２とを備える。制御信号取得部６１は、制御装置５０から照明制御信号を取得し、取得した信号を発光部６２に出力する。発光部６２は、制御信号取得部６１からの照明制御信号に応じて発光する。

図７は、実施形態における表示装置７０の構成の例を示すブロック図である。表示装置７０は、例えば、制御信号取得部７１と、表示部７２とを備える。制御信号取得部７１は、制御装置５０から表示制御信号を取得し、取得した信号を表示部７２に出力する。表示部７２は、制御信号取得部７１からの表示制御信号に応じた画像を表示する。

図８は、実施形態におけるスピーカ装置８０の構成の例を示すブロック図である。スピーカ装置８０は、例えば、制御信号取得部８１と、音出力部８２とを備える。制御信号取得部８１は、制御装置５０から音制御信号を取得し、取得した信号を音出力部８２に出力する。音出力部８２は、制御信号取得部８１からの音制御信号に応じた音を出力する。

図９は、実施形態における入力装置９０の構成の例を示すブロック図である。入力装置９０は、例えば、入力情報取得部９１と、入力情報出力部９２とを備える。入力情報取得部９１には、利用者における実際の視線等の動きを示す情報が入力される。入力情報出力部９２は、入力情報取得部９１に入力された入力情報を、制御装置５０に出力する。

なお、上記では、入力装置９０がＨＭＤであって、利用者における実際の視線や頭部の動きなどを検知する装置である場合を一例として説明したが、これに限定されることはない。入力装置９０は、マウスやキーボード、ゲームコントローラ、又はタッチパッドなどの入力装置であってもよい。この場合、利用者がマウス等を操作することによって、仮想空間における視線方向などが操作され、その操作された情報が入力情報取得部９１に入力される。入力情報出力部９２は、入力情報取得部９１に入力された入力情報を、制御装置５０に出力する。

図１０は、実施形態の制御装置５０が行う処理の流れを説明するフローチャートである。制御装置５０は、仮想空間における利用者の視聴位置を取得する（ステップＳ１０）。制御装置５０、入力装置９０からの入力信号に応じて仮想空間における利用者の視聴位置を決定する。制御装置５０は、配信情報を取得する（ステップＳ１１）。制御装置５０は、配信情報のうちの画像信号に基づいて、表示制御信号を生成する（ステップＳ１２）。この場合、制御装置５０は、視聴位置に応じた画像が表示装置７０に表示されるように、表示制御信号を生成する。制御装置５０は、画像信号に対応する画像（ライブ映像）がスクリーンに映し出されたライブ会場を模した仮想空間の三次元情報を生成し、生成した三次元情報を表示制御信号とする。制御装置５０は、生成した表示制御信号を表示装置７０に出力する（ステップＳ１３）。

また、制御装置５０は、配信情報のうちの音信号に基づいて、音制御信号を生成する（ステップＳ１４）。この場合、制御装置５０は、視聴位置に応じた音がスピーカ装置８０から出力されるように、音制御信号を生成する。制御装置５０は、生成した音制御信号をスピーカ装置８０に出力する（ステップＳ１５）。この場合において、制御装置５０は、例えば、仮想空間における視聴位置に応じた音制御信号を生成し、仮想空間における視聴位置によって音の聞こえ方を制御する。

また、制御装置５０は、仮想空間における利用者の視聴位置に基づいて、照明制御信号を生成する（ステップＳ１６）。制御装置５０は、生成した照明制御信号を照明装置６０に出力する（ステップＳ１７）。制御装置５０は、ステップＳ１０に示す処理に戻る。

なお、上述したフローチャートでは、表示装置７０に画像を表示させる表示処理の後に、スピーカ装置８０音を出力させる音出力処理をし、その後に照明装置６０に発光させる発光処理を行う流れを説明した。しかしながらこれに限定されない。表示処理、音出力処理、及び発光処理の各処理は、任意の順に実行されてよい。また、表示処理、音出力処理、及び発光処理の各処理が並行して実行されてもよい。

また、上述したフローチャートにおいて、制御装置５０は、状態情報５２１に応じて、照明装置６０に発光させる光を制御する、状態情報５２１に基づく発光処理（以下、第２発光処理という）を実行してもよい。第２発光処理は、表示処理、音出力処理、及び発光処理の各処理と同様に、任意の順に実行されてよいし、各処理が並行して実行されてもよい。

以上説明したように、実施形態の画像表示システム１は、第１取得部５３０と、表示制御部５３４と、照明制御部５３３とを備える。第１取得部５３０は、画像情報を取得する。画像情報は、ライブの状況（視認対象）が撮像された画像（対象画像）を示す情報である。第１取得部５３０は、「画像情報取得部」の一例である。表示制御部５３４は、位置情報を取得する。位置情報は、仮想空間において、利用者が、対象画像を視認する位置である。仮想空間は、ライブの状況（視認対象）が撮像された画像（対象画像）が表示された仮想的な空間である。表示制御部５３４は、「位置情報取得部」の一例である。照明制御部５３３は、位置情報に基づいて、照明装置６０に発光させる光を制御する。照明制御部５３３は、「発光制御部」の一例である。

これにより、実施形態の画像表示システム１は、利用者に、ライブ会場を模した仮想空間をあたかも歩き回っているかのような体験を提供することができる。また、仮想空間における視聴位置に応じて、照明装置６０の発光状態を変化させることができる。したがって、利用者に、ライブの臨場感をより強く感じさせることができる。

また、実施形態の画像表示システム１では、照明制御部５３３は、状態情報５２１に基づいて、照明装置６０による発光を制御する。状態情報５２１は、ライブ（視認対象）が存在するライブ空間（対象空間）の状態を示す情報である。これにより、実施形態の画像表示システム１は、ライブ会場における音や光による演出の状態に応じて、照明装置６０の発光状態を変化させることができる。したがって、利用者に、ライブとの一体感を体感させることができる。

また、実施形態の画像表示システム１では、音制御部５３５を更に備える。第１取得部５３０が、音情報を取得する。音情報は、ライブ（視認対象）が存在するライブ空間（対象空間）において集音された音を示す情報である。第１取得部５３０は、「音情報取得部」の一例である。音制御部５３５は、音情報に基づいて、スピーカ装置８０に出力させる音を制御する。音制御部５３５は「スピーカ制御部」の一例である。これにより、実施形態の画像表示システム１は、ライブ会場における音を、スピーカ装置８０から出力させることができる。したがって、上述した効果と同様の効果を奏し、利用者に、ライブの臨場感をより強く感じさせることができる。また、仮想空間における利用者の視聴位置に応じて、スピーカ装置８０から出力される音が変化するようにしてもよい。この場合、例えば、頭部伝達関数（ＨＴＲＦ（Head-Related Transfer Function））などのバーチャル効果を用いて、スピーカ装置８０から出力させる音を、視聴位置に応じて移動させたり変化させたりする。

（実施形態の変形例１）
ここで、実施形態の変形例１について説明する。本変形例では、仮想空間に、仮想的な照明装置（以下、バーチャル照明という）が設定される点において、上述した実施形態と相違する。

表示制御部５３４は、仮想空間に対応する三次元情報を生成する際に、仮想空間にバーチャル照明を設定する。表示制御部５３４は、例えば、バーチャル照明を仮想空間における光源として設定する。バーチャル照明は、例えば、ライブ会場における舞台照明の構成に応じて、仮想空間の光源として設定される。バーチャル照明は、ライブ会場における舞台照明の構成と完全に一致させる必要はないが、できるだけライブ会場における舞台照明の構成と同じような構成とし、ライブ会場と同等な照明の効果を演出できることが望ましい。

表示制御部５３４は、バーチャル照明に発光させる光を制御する。表示制御部５３４は、例えば、配信情報のうち、バーチャル照明に対応させた特定の舞台照明の照明信号に応じて、バーチャル照明に光を発光させる。

また、表示制御部５３４は、入力情報に基づいて、仮想空間における利用者の視聴位置及び視線方向を特定し、特定した視聴位置及び視線方向に基づいて、仮想空間全体の見え方を変更する。仮想空間における照明はある決められた対応ルールに応じて、選択し得る。その結果、視聴者から見える仮想空間全体の見え方が変わる。表示制御部５３４は、選択した舞台照明の照明信号に応じて、バーチャル照明に光を発光させる。この場合において、表示制御部５３４は、バーチャル照明の配置位置を示す情報を、例えば、入力装置９０から取得する。或いは、表示制御部５３４は、バーチャル照明の配置位置を示す情報を、接続情報５２０に示されている情報から取得するようにしてもよい。この場合、接続情報５２０には、バーチャル照明に関する項目が設けられ、その項目にバーチャル照明の設置位置を示す情報が記憶される。

表示制御部５３４は、例えば、仮想空間において、ライブ会場Ｐ１の舞台照明が設置されている位置と同等の位置に、バーチャル照明を配置する。表示制御部５３４は、仮想空間に配置したバーチャル照明を、ライブ会場Ｐ１の舞台照明に対応づけ、舞台照明の発光に応じてバーチャル照明の発光を制御する。或いは、表示制御部５３４は、予め、ライブ会場Ｐ１の舞台照明と、仮想空間に配置したバーチャル照明とを対応付けておき、その対応に基づいて、舞台照明の発光に応じてバーチャル照明の発光を制御するようにしてもよい。この場合において、仮想空間に配置したバーチャル照明がライブ会場Ｐ１における舞台照明と同様に配置された場合、バーチャル照明と舞台照明とが、自動的に、対応づけられるようにしてもよい。

また、表示制御部５３４は、例えば、状態情報５２１と色とを対応付けたカラーテーブルなどを用いて、状態情報５２１に応じた色の光を、バーチャル照明に発光させる。

図１１は、実施形態の変形例に係る制御装置５０が行う処理の流れを説明するフローチャートである。制御装置５０は、配信情報を取得する（ステップＳ２０）。制御装置５０は、配信情報のうちの画像信号に基づいて、仮想的なライブ会場にバーチャル照明が設定された仮想空間の三次元情報を生成し（ステップＳ２１）する。生成した三次元情報を、表示制御信号として表示装置７０に出力する（ステップＳ２２）。

また、制御装置５０は、配信情報に基づいて、状態情報５２１を生成する（ステップＳ２２）。制御装置５０は、例えば、ライブ会場に設けられた舞台照明を制御する情報、例えばＤＭＸ信号を状態情報５２１として生成する。制御装置５０は、例えば、ライブの状況が撮像された画像（対象画像）の色を代表する代表色を示す情報を状態情報５２１として生成する。制御装置５０は、例えば、ライブ空間において集音された音の周波数に応じた色を示す情報を状態情報５２１として生成する。制御装置５０は、生成した状態情報５２１に基づいて、バーチャル照明による発光を制御する（ステップＳ２３）。

制御装置５０は、仮想空間における利用者の視聴位置を取得する（ステップＳ２４）。制御装置５０、取得した視聴位置に応じてバーチャル照明による発光を制御する（ステップＳ２５）。制御装置５０は、視聴位置に応じて、視聴位置から見える画像が表示装置７０に表示されるように表示制御信号を生成する（ステップＳ２６）。制御装置５０は、生成した表示制御信号を表示装置７０に出力する（ステップＳ２７）。制御装置５０は、視聴位置に応じて、音制御信号を生成する（ステップＳ２８）。制御装置５０は、生成した音制御信号をスピーカ装置８０に出力する（ステップＳ２９）。制御装置５０は、ステップＳ２０に示す処理に戻る。

なお、上述したフローチャートでは、図１０と同様に、表示処理、音出力処理、及び発光処理（図１１ではバーチャル照明を発光させる処理）、仮想空間における視聴位置に応じてバーチャル照明に発光させる光を制御する処理、仮想空間における視聴位置に応じて表示装置７０に表示させる光を制御する処理、及び仮想空間における視聴位置に応じてスピーカ装置８０に出力させる音を制御する処理の各処理は、任意の順に実行されてよい。また、上記の各処理が並行して実行されてもよい。また、バーチャル照明と表示装置７０（リアル照明）との両方を同時に制御するようにしてもよい。

以上説明したように、実施形態の変形例に係る画像表示システム１は、第１取得部５３０と、表示制御部５３４とを備える。第１取得部５３０は、画像情報を取得する。画像情報は、ライブの状況（視認対象）が撮像された画像（対象画像）を示す情報である。第１取得部５３０は、「画像情報取得部」の一例である。表示制御部５３４は、仮想空間を表示させる。仮想空間は、ライブの状況（視認対象）が撮像された画像（対象画像）が表示された仮想的な空間である。表示制御部５３４は、状態情報５２１に基づいて、仮想空間に設けられたバーチャル照明（仮想的な照明装置）に発光させる光を制御する。状態情報５２１は、例えば、ライブ空間における音又は光の状態を示す情報である。状態情報５２１は、例えば、ライブ会場に設けられた舞台照明を制御する情報、例えばＤＭＸ信号である。状態情報５２１は、ライブの状況が撮像された画像（対象画像）の色を代表する代表色を示す情報である。状態情報５２１は、ライブ空間において集音された音の周波数に応じた色を示す情報である。これにより、実施形態の画像表示システム１は、ライブ会場における音や光による演出の状態に応じて、バーチャル照明の発光状態を変化させることができる。したがって、上述した効果と同様な効果を奏し、利用者に、ライブとの一体感を体感させることができる。

なお、上述した実施形態では、配信サーバ４０から、舞台照明を制御するＤＭＸ信号を照明信号として配信する場合を例示して説明したが、これに限定されない。一般に、照明機器は、機器によってＤＭＸ信号のコマンド列が異なる。この対策として、例えば、配信サーバ４０に、利用者の照明装置６０（標準機という）を登録しておき、配信サーバ４０が、舞台照明のＤＭＸ信号を、標準機のＤＭＸ信号に変換した信号を、照明信号として配信するようにしてもよい。なお、標準機のＤＭＸ信号に変換する処理は、配信サーバ４０に代えて、制御装置５０により行われてもよい。

また、配信情報に含まれる照明信号の取り扱いとして、以下の態様が考えられる。
（１）画像信号及び音信号とは別の信号とする態様
（２）音信号（又は画像信号）に照明信号を埋め込む態様
（３）音信号（又は画像信号）に照明信号識別ＩＤやＵＲＬを埋め込む態様

（１）の態様では、タイムコードなどを用いて、画像信号と音信号に、照明信号を同期させることによって、これらの信号のタイミングを同期させ、同期させた信号を用いることが考えられる。（２）の態様では、同期処理を行う必要がなく、配信情報をそのまま使用することができるが、照明信号を後から修正しようとする場合には、音信号（又は画像信号）を再度作成する必要がある。例えば、配信サーバ４０が、利用者の照明装置６０の環境に応じて、音信号（又は画像信号）に、その照明環境に応じた照明信号を埋め込んだ配信情報を生成するような対応が考えられる。（３）の態様では、埋め込まれた照明信号識別ＩＤに応じた照明信号を配信情報に含めて配信したり、埋め込まれたＵＲＬに応じた照明信号をダウンロードしたりすることによって、同期した照明信号を使用することができる。（３）の態様であれば、照明信号を後から修正しようとする場合であっても、音信号（又は画像信号）を再度作成する必要がない。また、（３）の態様を応用して、照明信号のみならず、メタ情報（例えば、ライブ演奏者の情報など）を照明信号識別ＩＤやＵＲＬに対応付けて配信することも可能である。この場合において、生成部５３２は、（１）～（３）それぞれの態様にて含まれている照明信号を用いて、照明制御信号を生成したり、状態情報５２１を生成したりするようにしてよい。特に、（２）の態様にて音信号（又は画像信号）に照明信号が埋め込まれている場合には、例えば、生成部５３２は、音信号（又は画像信号）に埋め込まれている照明信号を抽出し、抽出した照明信号に基づいて、照明制御信号を生成する。

また、上述した実施形態では照明装置６０、その変形例ではバーチャル照明を制御する場合を例示して説明したが、これに限定されることはない。画像表示システム１では、照明装置６０とバーチャル照明の両方を制御するようにしてもよい。また、照明装置６０とバーチャル照明の両方を利用者の操作によってオン状態又はオフ状態に設定可能としてもよい。

また、スピーカ装置８０が複数ある場合には、複数のスピーカ装置８０のそれぞれに出力させる音を変化させて立体的は音場を表現するようにしてもよい。また、仮想空間における利用者の視点位置に応じて音場が変化するようにしてもよい。また、スピーカ装置８０がヘッドホンである場合には、ヘッドホンにて３Ｄ音響処理を行うことにより立体的な音場を出力するようにしてもよい。

また、照明装置６０又はバーチャル照明に発光させる光を制御するとは、発光させる光の強度、色、方向、及び発光態様を制御することが含まれる。発光態様とは、光を発光させる態様であって、例えば、点灯、点滅、徐々に明るくする、徐々に暗くするなどの態様が含まれる。

また、上述した実施形態では、ライブの状況を、リアルタイムに再現する場合を例示して説明したが、これに限定されない。ライブの状況が録画されたビデオなどを、利用者の自宅などで再生する場合にも適用することができる。

また、上述した実施形態では、照明信号が舞台照明を制御するＤＭＸ信号である場合を例示して説明したが、これに限定されることはない。照明信号は、ライブ会場Ｐ１にて測定された照度などを示す信号であってもよい。

なお、ＨＭＤが表示装置７０として用いられてもよい。この場合、ステージ、観客席、及びバーチャル照明等が設けられたライブ会場の全体が、仮想空間としてＨＭＤの画面に表示される。そして、制御装置５０は、仮想空間における視聴位置に応じて、仮想空間全体が一体となって動くように制御する。つまり、制御装置５０は、仮想空間を固定させたままでバーチャル照明のみを単独で動かすような制御を行わない。一方、上述した実施形態にて説明したような物理的な表示装置７０（リアル照明）の場合、実世界に固定して配置されている。このため、仮想空間が動いた場合であっても、リアル照明の位置は動かすことができない。制御装置５０は、例えば、仮想空間を動かした場合に、バーチャル照明の画像が表示されている位置の近くにリアル照明が設置されている場合には、近くにあるリアル照明と、バーチャル照明とが連動するように制御する。これにより、仮想空間の視聴位置に連動して、あたかもリアル照明が動いているように演出することができる。

上述した実施形態における画像表示システム１、及び制御装置５０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…画像表示システム、１０…撮像装置、２０…集音装置、３０…照明制御装置、４０…配信サーバ、５０…制御装置、６０…照明装置、７０…表示装置、８０…スピーカ装置、９０…入力装置、５１…通信部、５２…記憶部、５２０…接続情報、５３…制御部、５３０…第１取得部、５３１…第２取得部、５３２…生成部、５３３…照明制御部、５３４…表示制御部、５３５…音制御部、５３６…装置制御部

Claims (14)

1. 画像情報を取得する画像情報取得部と、
   前記画像情報に対応する対象画像が表示された仮想空間を表示させ、前記対象画像に示されている対象空間の状態を示す状態情報に基づいて、前記仮想空間に設けられた仮想的な照明装置に発光させる光を制御する表示制御部と、
   を備える画像表示システム。
2. 前記仮想空間における視聴位置を示す位置情報を取得する位置情報取得部を更に備え、
   前記表示制御部は、前記位置情報に基づいて、前記仮想的な照明装置に発光させる光を制御する、
   請求項１に記載の画像表示システム。
3. 前記表示制御部は、前記位置情報に基づいて、前記仮想空間を表示させる、
   請求項２に記載の画像表示システム。
4. 画像情報を取得する画像情報取得部と、
   前記画像情報に対応する対象画像が表示された仮想空間における視聴位置を示す位置情報を取得する位置情報取得部と、
   前記位置情報に基づいて、照明装置に発光させる光を制御する発光制御部と、
   前記位置情報に基づいて、前記対象画像が表示された仮想空間を表示させる表示制御部と、
   を備える画像表示システム。
5. 前記発光制御部は、前記対象画像に示されている対象空間の状態を示す状態情報に基づいて、前記照明装置による発光を制御する、
   請求項４に記載の画像表示システム。
6. 前記状態情報は、前記対象空間における音又は光の状態を示す情報である、
   請求項１から請求項３又は請求項５のいずれか一項に記載の画像表示システム。
7. 前記状態情報は、前記対象空間に設けられた照明装置を制御する情報である、
   請求項６に記載の画像表示システム。
8. 前記状態情報は、前記対象画像の色を代表する代表色を示す情報である、
   請求項６に記載の画像表示システム。
9. 前記状態情報は、前記対象空間において集音された音の周波数に応じた色を示す情報である、
   請求項６に記載の画像表示システム。
10. 前記対象空間において集音された音を示す音情報を取得する音情報取得部と、
    前記音情報取得部によって取得された前記音情報に基づいて、スピーカ装置に出力させる音を制御するスピーカ制御部と、
    を更に備える、
    請求項１から請求項３、又は請求項５から請求項９のいずれか一項に記載の画像表示システム。
11. コンピュータが行う表示制御方法であって、
    画像情報取得部が、画像情報を取得し、
    表示制御部が、前記画像情報に対応する対象画像が表示された仮想空間を表示させ、前記対象画像に示されている対象空間の状態を示す状態情報に基づいて、前記仮想空間に設けられた仮想的な照明装置に発光させる光を制御する、
    表示制御方法。
12. コンピュータが行う発光制御方法であって、
    画像情報取得部が、画像情報を取得し、
    位置情報取得部が、前記画像情報に対応する対象画像を表示された仮想空間における視聴位置を示す位置情報を取得し、
    発光制御部が、前記位置情報に基づいて、照明装置に発光させる光を制御し、
    表示制御部が、前記位置情報に基づいて、前記対象画像が表示された仮想空間を表示させる、
    発光制御方法。
13. コンピュータに、
    画像情報を取得する画像情報取得手段、
    前記画像情報に対応する対象画像が表示された仮想空間を表示させ、前記対象画像に示されている対象空間の状態を示す状態情報に基づいて、前記仮想空間に設けられた仮想的な照明装置に発光させる光を制御する表示制御手段、
    を実行させるプログラム。
14. コンピュータに、
    画像情報を取得する画像情報取得手段、
    前記画像情報に対応する対象画像が表示された仮想空間における視聴位置を示す位置情報を取得する位置情報取得手段、
    前記位置情報に基づいて、照明装置に発光させる光を制御する発光制御手段、
    前記位置情報に基づいて、前記対象画像が表示された仮想空間を表示させる表示制御手段、
    を実行させるプログラム。

Images