JP2019139697A - 表示装置、映像表示システム、及び映像表示方法 - Google Patents

Abstract

【課題】映像に含まれる目標映像に関連付けられた仮想オブジェクトを適切に重畳する。【解決手段】通信回路３３は、複数の撮像素子１３ａ〜１３ｄによってそれぞれ生成された複数の撮影映像から生成された１つの第１の連結映像をサーバ装置１から受信する。記憶装置３６は、予め決められた目標画像及び目標画像に関連付けられた仮想オブジェクトからなる少なくとも１つのペアを含む拡張現実情報リストを記憶した。制御回路３１は、第１の連結映像から、表示装置３の表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成する。制御回路３１は、第２の連結映像から目標画像を検出し、目標画像に関連付けられた仮想オブジェクトを第２の連結映像に重畳した合成映像を生成する。制御回路３１は、合成映像から、表示装置３の表示範囲に対応する切り出し映像を生成する。切り出し映像を視覚可能な形式で出力するように映像形成装置３５を制御する。【選択図】図１

Description

本開示は、サーバ装置から配信された映像を受信し、映像に拡張現実情報を重畳して表示する表示装置に関する。本開示はまた、サーバ装置からそのような複数の表示装置に映像を配信して表示する映像表示システム及び映像表示方法に関する。

近年、複数の撮像素子を備え、周囲の風景を全方位又は全天球にわたって撮影する全方向カメラが普及しつつある。全方向カメラは、例えば、仮想現実の分野において、現実の風景から仮想空間の映像（動画像）を生成するために使用される。

全方向カメラの複数の撮像素子によってそれぞれ生成された複数の撮影映像は、一般的には、何らかの地図投影法、例えば正距円筒図法を用いて、全方位又は全天球をカバーする１つの映像（連結映像）に合成される。この場合、全方向カメラによって撮影された映像を表示装置に表示するときは、連結映像から表示装置の表示範囲に対応する部分が切り出される。表示装置の表示位置及び表示範囲は、ユーザ操作に応じて変更される。

全方向カメラによって撮影された映像のうち、その全範囲を表示するために、又は、１つの表示装置の表示範囲を超える範囲を表示するために、複数の表示装置を含むマルチディスプレイシステムが使用されることがある。全方向カメラによって撮影された映像は、サーバ装置から複数の表示装置に配信される。例えば、特許文献１は、複数の表示装置を含む表示システムであって、全方向カメラにより撮影された映像、又は、ある一点を中心として放射方向に設置された複数の撮像装置を含むカメラシステムにより撮影された映像を表示する表示システムを開示している。

また一方で、撮影映像において予め決められた目標画像が検出されたとき、それに関連付けられた仮想オブジェクト（画像又はテキスト）を重畳する拡張現実（ＡＲ：augmented reality）の技術が普及しつつある。特許文献２は、パノラマ画像を再生する際により多くの情報をユーザに提示する情報処理装置を開示している。特許文献２の情報処理装置は、時間条件と方向条件とを含む制御データを取得し、時間条件および方向条件の判定結果に応じて、再生中のパノラマ動画とともに画像および／または音を出力することに関する所定の情報処理を実行する。

特開２００６−２９４０３２号公報 特開２０１４−１８３３８０号公報

しかしながら、リアルタイムの撮影映像に仮想オブジェクトを重畳しようとする場合、目標画像は、必ずしも、決まった時刻かつ決まった位置に出現するとは限らない。例えば、表示装置の表示位置及び表示範囲をユーザ操作に応じてリアルタイムで変更する場合には、目標画像が出現する時刻及び位置はさらに予測不能になる。従って、任意に変化する映像に含まれる目標画像に対して適切に仮想オブジェクトを重畳することが求められる。

本開示の目的は、全方向カメラによって撮影されてサーバ装置から配信された映像を表示する表示装置であって、映像に含まれる目標映像に関連付けられた仮想オブジェクトを適切に重畳することができる表示装置を提供することにある。

また、本開示の目的は、サーバ装置からそのような複数の表示装置に映像を配信して表示する映像表示システム及び映像表示方法を提供することにある。

本開示の一態様によれば、サーバ装置から配信された映像を表示する表示装置が提供される。表示装置は、通信回路、映像形成装置、記憶装置、及び制御回路を備える。通信回路は、複数の撮像素子によってそれぞれ生成された複数の撮影映像から生成された１つの第１の連結映像をサーバ装置から受信する。映像形成装置は、映像を視覚可能な形式で出力する。記憶装置は、予め決められた目標画像及び目標画像に関連付けられた仮想オブジェクトからなる少なくとも１つのペアを含む拡張現実情報リストを記憶する。制御回路は、第１の連結映像から、表示装置の表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成する。制御回路は、第２の連結映像から目標画像を検出し、目標画像に関連付けられた仮想オブジェクトを第２の連結映像に重畳した合成映像を生成する。制御回路は、合成映像から、表示装置の表示範囲に対応する切り出し映像を生成する。制御回路は、切り出し映像を視覚可能な形式で出力するように映像形成装置を制御する。

本開示によれば、映像に含まれる目標映像に関連付けられた仮想オブジェクトを適切に重畳することができる。

実施形態に係る映像表示システムの構成を示す図である。 図１のサーバ装置１の周囲の風景５を示す概略図である。 図１のサーバ装置１の構成を示すブロック図である。 図１の表示装置３の構成を示すブロック図である。 図１のコマンド入力装置４の構成を示すブロック図である。 図１の映像表示システムによって実行される処理を示すシーケンス図である。 図６の映像データ生成及び配信処理のサブルーチンを示すフローチャートである。 図６の映像データ受信及び表示処理のサブルーチンを示すフローチャートである。 各表示装置３によって管理されるＡＲ情報リストを示す図である。 図１の撮像素子１３ａによって生成される撮影映像１０１ａを示す図である。 図１の撮像素子１３ｂによって生成される撮影映像１０１ｂを示す図である。 図１の撮像素子１３ｃによって生成される撮影映像１０１ｃを示す図である。 図１の撮像素子１３ｄによって生成される撮影映像１０１ｄを示す図である。 図１のサーバ装置１によって生成される第１の連結映像１１１を示す図である。 図１の各表示装置３によって第１の連結映像１１１から生成されたキューブマップ１２１を示す図である。 図１５のキューブマップ１２１を撮影する仮想カメラ１２２を示す概略図である。 図１５のキューブマップ１２１から生成された第１の切り出し映像１２３を示す図である。 図１５のキューブマップ１２１から生成された第１の切り出し映像１２４を示す図である。 図１５のキューブマップ１２１から生成された第１の切り出し映像１２５を示す図である。 図１５のキューブマップ１２１から生成された第１の切り出し映像１２６を示す図である。 図１の表示装置３ａによって第１の切り出し映像１２３，１２４，１２５から生成された第２の連結映像１３１ａを示す図である。 図２１の第２の連結映像１３１ａに仮想オブジェクト２０２を重畳した合成映像を示す図である。 図２２の合成映像から生成された第２の切り出し映像１４１ａを示す図である。 図１の表示装置３ｂによって第１の切り出し映像１２３，１２４，１２６から生成された第２の連結映像１３１ｂを示す図である。 図２４の第２の連結映像１３１ｂに仮想オブジェクト２０２を重畳した合成映像を示す図である。 図２５の合成映像から生成された第２の切り出し映像１４１ｂを示す図である。 図１の表示装置３ｃによって第１の切り出し映像１２３，１２５，１２６から生成された第２の連結映像１３１ｃを示す図である。 図２７の第２の連結映像１３１ｃから生成された第２の切り出し映像１４１ｂを示す図である。 実施形態の変形例に係るコマンド入力装置４Ａ及びリモートコントローラ８の構成を示すブロック図である。

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施形態）
以下、図面を参照して実施形態について説明する。

［１−１．構成］
［１−１−１．映像表示システムの全体構成］
図１は、実施形態に係る映像表示システムの構成を示す図である。図１の映像表示システムは、サーバ装置１、ハブ２、表示装置３ａ〜３ｃ、及びコマンド入力装置４を備える。

サーバ装置１、表示装置３ａ〜３ｃ、及びコマンド入力装置４は、ハブ２を含むローカルエリアネットワークなどの有線のネットワークを介して互いに接続される。

サーバ装置１は、例えば、床面に平行な面内において９０度ずつ異なる方向に向かって配置された、複数の撮像素子１３ａ〜１３ｄを備える。撮像素子１３ａはθ１＝０度の方向に向かって配置され、撮像素子１３ｂはθ１＝９０度の方向に向かって配置され、撮像素子１３ｄはθ１＝２７０度の方向に向かって配置され、撮像素子１３ｄはθ１＝１８０度の方向に向かって配置される。撮像素子１３ａ〜１３ｄには、魚眼タイプのレンズ１２ａ〜１２ｄにより集光された光がそれぞれ入射する。これにより、撮像素子１３ａ〜１３ｄは、サーバ装置１の周囲の風景５を全方位又は全天球にわたって撮影する全方向カメラとして機能する。サーバ装置１は、撮像素子１３ａ〜１３ｄによって撮影して処理した映像を、ハブ２を介して複数の表示装置３ａ〜３ｃに配信する。

図２は、図１のサーバ装置１の周囲の風景５を示す概略図である。風景５は、屋外であっても屋内であってもよい。サーバ装置１に対して＋Ｙ側、＋Ｘ側、−Ｘ側、−Ｙ側、＋Ｚ側、及び−Ｚ側に見える風景の像を、元像５ａ〜５ｆとしてそれぞれ概略的に示す。図１の撮像素子１３ａ〜１３ｄは、それらの視野の中心において、図２の＋Ｙ側、＋Ｘ側、−Ｘ側、及び−Ｙ側の元像５ａ〜５ｄをそれぞれ撮影するように配置される。また、撮像素子１３ａ〜１３ｄは、＋Ｚ側及び−Ｚ側の元像５ｅ及び５ｄのうちの少なくとも一部をそれぞれ撮影してもよい。

再び図１を参照すると、表示装置３ａ〜３ｃは、サーバ装置１から配信された映像をスクリーン６ａ〜６ｃにそれぞれ投写して表示する。スクリーン６ａは、視聴のための基準位置（図１においてユーザ７が立っている位置）に対してθ２＝０度の方向に配置され、スクリーン６ｂは基準位置に対してθ２＝９０度の方向に配置され、スクリーン６ｃは基準位置に対してθ２＝２７０度の方向に配置される。表示装置３ａ〜３ｃは、一体の映像（撮像素子１３ａ〜１３ｄによって撮影された全方位又は全天球の映像）から空間的に分割された３つの映像をスクリーン６ａ〜６ｃにそれぞれ表示するマルチディスプレイシステムを構成する。

本明細書では、表示装置３ａ〜３ｃを総称して「表示装置３」ともいい、スクリーン６ａ〜６ｃを総称して「スクリーン６」ともいう。

コマンド入力装置４は、ユーザ７からコマンドを取得し、ハブ２を介してコマンドを表示装置３ａ〜３ｃに送信する。コマンドは、表示装置３ａ〜３ｃによってそれぞれ表示される映像の範囲を示す表示位置を指定又は変更することを含む。また、コマンドは、映像の配信及び表示の一時停止及び停止、映像表示システムの電源オフ、などを含んでもよい。コマンド入力装置４は、後述するように、ユーザのジェスチャーを撮影して認識する距離画像検出器を備え、ジェスチャーに基づいてコマンドを生成する。

［１−１−２．サーバ装置１の構成］
図３は、図１のサーバ装置１の構成を示すブロック図である。サーバ装置１は、制御回路１１、レンズ１２ａ〜１２ｄ、撮像素子１３ａ〜１３ｄ、映像処理回路１４、通信回路１５、及び記憶装置１６を備える。

制御回路１１は、サーバ装置１の全体の動作を制御する。レンズ１２ａ〜１２ｄは、サーバ装置１の周囲の風景５からの光を集光して撮像素子１３ａ〜１３ｄにそれぞれ入射させる。撮像素子１３ａ〜１３ｄは、レンズ１２ａ〜１２ｄを介して入射した光を電気信号にそれぞれ変換して、撮像素子１３ａ〜１３ｄにそれぞれ対応する４つの撮影映像を生成する。映像処理回路１４は、撮像素子１３ａ〜１３ｄによってそれぞれ生成された４つの撮影映像を、制御回路１１の制御下で処理する。通信回路１５は、ハブ２を含むネットワークを介して、各表示装置３及びコマンド入力装置４に通信可能に接続される。記憶装置１６は、サーバ装置１の動作のために必要な情報を記憶する。

制御回路１１は、ネットワーク設定器１１ａ、時刻同期器１１ｂ、映像データ生成器１１ｃ、及び配信データ生成器１１ｄを備える。

ネットワーク設定器１１ａは、通信回路１５を用いて、サーバ装置１のネットワーク接続の初期設定、例えばＩＰアドレスの設定を行う。

時刻同期器１１ｂは、サーバ装置１の内蔵時計を備え、さらに、通信回路１５を介して、内蔵時計の時刻を各表示装置３の内蔵時計の時刻と同期させる。サーバ装置１及び各表示装置３は、例えばＩＥＥＥ１５８８の時刻同期プロトコルに従って動作し、サーバ装置１が時刻同期マスタとして動作する。

映像データ生成器１１ｃは、映像処理回路１４を制御し、撮像素子１３ａ〜１３ｄによってそれぞれ生成された４つの撮影映像を処理させる。映像処理回路１４は、映像データ生成器１１ｃの制御下で、４つの撮影映像から１つの第１の連結映像を生成する。

配信データ生成器１１ｄは、映像処理回路１４によって生成された第１の連結映像にタイムスタンプを付加し、通信回路１５を介して各表示装置３に配信する。配信データ生成器１１ｄは、第１の連結映像をマルチキャストパケットとして各表示装置３に配信してもよい。

サーバ装置１の制御回路１１の内部の各回路部分１１ａ〜１１ｄは、ハードウェアとして構成されても、ソフトウェアとして構成されてもよい。

［１−１−３．表示装置３の構成］
図４は、図１の各表示装置３の構成を示すブロック図である。各表示装置３は、制御回路３１、入力装置３２、通信回路３３、映像処理回路３４、映像形成装置３５、及び記憶装置３６をそれぞれ備える。

制御回路３１は、サーバ装置１の全体の動作を制御する。入力装置３２は、互いに関連付けられた目標画像及び仮想オブジェクトを含む拡張現実情報（ＡＲ情報）、表示装置３の物理的な配置を示す配置情報をサーバ装置１に入力するためのインターフェースである。入力装置３２は、例えばユニバーサルシリアルバス（ＵＳＢ）のソケットであり、ＡＲ情報及び配置情報を記録したＵＳＢメモリを接続することにより、これらの情報はサーバ装置１に入力される。入力装置３２は、ユーザ入力を受けるキーボード又はボタンなどを含んでもよい。通信回路３３は、ハブ２を含むネットワークを介して、サーバ装置１及びコマンド入力装置４に通信可能に接続される。映像処理回路３４は、通信回路３３によりサーバ装置１から受信された第１の連結映像を制御回路３１の制御下で処理する。映像形成装置３５は、映像処理回路３４によって処理された映像をスクリーン６に投写することにより視覚可能な形式で出力する。表示装置３は、映像形成装置３５の画素数及びスクリーン６の寸法などによって決まる所定の表示範囲を有する。記憶装置３６は、表示装置３の動作のために必要な情報、例えば、ＡＲ情報、表示装置３の配置情報、表示装置３の表示範囲、コマンド入力装置４から受信したユーザ操作を示すコマンド、などを記憶する。

制御回路３１は、ネットワーク設定器３１ａ、時刻同期器３１ｂ、配置情報設定器３１ｃ、ＡＲ情報設定器３１ｄ、コマンド処理器３１ｅ、表示位置計算器３１ｆ、及び表示データ生成器３１ｇを備える。

ネットワーク設定器３１ａは、通信回路３３を用いて、表示装置３のネットワーク接続の初期設定、例えばＩＰアドレスの設定を行う。

時刻同期器３１ｂは、表示装置３の内蔵時計を備え、さらに、通信回路３３を介して、内蔵時計の時刻をサーバ装置１の内蔵時計の時刻と同期させる。サーバ装置１及び各表示装置３は、前述のように、例えばＩＥＥＥ１５８８の時刻同期プロトコルに従って動作し、各表示装置３が時刻同期スレーブとして動作する。

配置情報設定器３１ｃは、入力装置３２から表示装置３の配置情報を取得して表示装置３に設定する。図１の例では、配置情報は、各表示装置３の物理的な配置に代えて、各スクリーン６の物理的な配置を示す。配置情報設定器３１ｃは、設定した配置情報を記憶装置３６に記憶し、記憶した配置情報を記憶装置３６から読み出す。

ＡＲ情報設定器３１ｄは、入力装置３２から、互いに関連付けられた目標画像及び仮想オブジェクトを含むＡＲ情報を取得して表示装置３に設定する。目標画像は、サーバ装置１から受信した映像において認識すべき対象を示す。仮想オブジェクトは、目標画像に関連付けて表示すべき画像又はテキストを含む。ＡＲ情報設定器３１ｄは、取得したＡＲ情報を、互いに関連付けられた目標画像及び仮想オブジェクトからなる少なくとも１つのペアを含むＡＲ情報リストとして記憶装置３６に記憶し、また、記憶したＡＲ情報リストを記憶装置３６から読み出す。

コマンド処理器３１ｅは、通信回路３３を介して、ユーザ操作を示すコマンドをコマンド入力装置４から受信し、受信したコマンドを解釈して実行する。コマンドは、撮像素子１３ａ〜１３ｄによってそれぞれ生成された４つの撮影映像によって表される範囲のうち、前述のように、各表示装置３によってそれぞれ表示される映像の範囲を示す表示位置を指定又は変更することを含む。ただし、コマンドは、「現在表示している映像を撮影した撮像素子の右に隣接する撮像素子によって撮影した映像に切り換える」、「各表示装置３の上方から見て映像を時計回りにθ２度回転させる」など、各表示装置３の大まかな表示位置（又はその変更量）を指定する。コマンド処理器３１ｅがコマンドを解釈して実行することにより、後述の表示位置計算器３１ｆ及び表示データ生成器３１ｇは、コマンドの内容（すなわち、各表示装置３の大まかな表示位置）に従って動作する。コマンド処理器３１ｅは、受信したコマンドを記憶装置３６に記憶し、記憶したコマンドを記憶装置３６から読み出す。

表示位置計算器３１ｆは、配置情報設定器３１ｃによって設定された配置情報と、コマンド処理器３１ｅによって取得された表示装置３の大まかな表示位置とに基づいて、表示装置３によって表示すべき映像の詳細な表示位置を計算する。ここで、詳細な表示位置は、例えば、各画素の座標などを含む。コマンド処理器３１ｅは、配置情報を記憶装置３６から読み出してもよく、表示装置３の大まかな表示位置を記憶装置３６から読み出してもよい。

表示データ生成器３１ｇは、通信回路３３を介してサーバ装置１から第１の連結映像を受信する。表示データ生成器３１ｇは、さらに、表示位置計算器３１ｆによって計算された表示装置３の表示位置に基づいて、かつ、ＡＲ情報設定器３１ｄによって設定されたＡＲ情報リストに基づいて、映像処理回路３４を制御し、受信した映像を処理させる。映像処理回路３４は、表示データ生成器３１ｇの制御下で、表示装置３の表示位置に基づいて、第１の連結映像から、表示装置３の表示範囲に対応する切り出し映像と、隣接表示範囲に対応する切り出し映像とを生成する。ここで、隣接表示範囲は、スクリーン６の左側もしくは右側に実際に隣接する他のスクリーン６の表示範囲、又は、スクリーン６の左側もしくは右側に仮想的に隣接する表示範囲を示す。次いで、映像処理回路３４は、第１の連結映像の３つの切り出し映像から第２の連結映像を生成する。これにより、映像処理回路３４は、第１の連結映像から、表示装置３の表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成する。表示データ生成器３１ｇは、ＡＲ情報リストに基づいて、第２の連結映像から目標画像を検出する。目標画像が検出されたとき、映像処理回路３４は、表示データ生成器３１ｇの制御下で、目標画像に関連付けられた仮想オブジェクトを第２の連結映像に重畳した合成映像を生成する。映像処理回路３４は、表示データ生成器３１ｇの制御下で、合成映像から、表示装置３の表示範囲に対応する切り出し映像を生成する。表示データ生成器３１ｇは、サーバ装置１から受信した第１の連結映像に付加されたタイムスタンプに基づいて決定される時刻において、合成映像の切り出し映像を映像形成装置３５から視覚可能な形式で出力させる。

本明細書では、第１の連結映像の切り出し映像を「第１の切り出し映像」ともいい、合成映像の切り出し映像を「第２の切り出し映像」ともいう。

各表示装置３の制御回路３１の内部の各回路部分３１ａ〜３１ｇは、ハードウェアとして構成されても、ソフトウェアとして構成されてもよい。

［１−１−４．コマンド入力装置４の構成］
図５は、図１のコマンド入力装置４の構成を示すブロック図である。コマンド入力装置４は、制御回路４１、赤外線発光器４２、レンズ４３、撮像素子４４、映像処理回路４５、及び通信回路４６を備える。

制御回路４１は、コマンド入力装置４の全体の動作を制御する。赤外線発光器４２は、赤外線を発生して図１のユーザ７の身体に照射する。レンズ４３は、赤外線発光器４２からユーザ７の身体に照射されて反射された光を集光して撮像素子４４に入射させる。撮像素子４４は、レンズ４３を介して入射した光を電気信号に変換して赤外線映像を生成する。映像処理回路４５は、制御回路４１の制御下で、撮像素子４４によって生成された赤外線映像を距離画像として処理し、赤外線映像からユーザ７のジェスチャーを認識する。通信回路４６は、ハブ２を含むネットワークを介して、各表示装置３に通信可能に接続される。

制御回路４１は、ネットワーク設定器４１ａ、距離画像生成器４１ｂ、画像認識器４１ｃ、移動量計算器４１ｄ、及びコマンド生成器４１ｅを備える。

ネットワーク設定器４１ａは、通信回路４６を用いて、コマンド入力装置４のネットワーク接続の初期設定、例えばＩＰアドレスの設定を行う。

距離画像生成器４１ｂは、赤外線発光器４２から所定のパターンの赤外線を発生させ、撮像素子４４によって生成された赤外線映像を、距離画像として映像処理回路４５に取得させる。

画像認識器４１ｃは、映像処理回路４５に赤外線映像を距離画像として処理させることにより、赤外線映像からユーザ７のジェスチャーを認識する。ユーザ７のジェスチャーは、例えば、各表示装置３の表示位置を左又は右に移動させるために、手を左右に動かすことを含む。

移動量計算器４１ｄは、画像認識器４１ｃにより認識されたジェスチャーに基づいて、各表示装置３の現在の表示位置から、ユーザ７によって所望される各表示装置３の新たな表示位置までの移動量（例えば角度変化量）を計算する。

コマンド生成器４１ｅは、移動量計算器４１ｄにより計算された移動量に基づいてコマンドを生成し、生成したコマンドを、通信回路４６を介して各表示装置３に送信する。

これにより、コマンド入力装置４は、ユーザ７のジェスチャーを撮影して認識する距離画像検出器として動作し、ジェスチャーに基づいてコマンドを生成する。

コマンド入力装置４の制御回路４１の内部の各回路部分４１ａ〜４１ｅは、ハードウェアとして構成されても、ソフトウェアとして構成されてもよい。

［１−２．動作］
図６は、図１の映像表示システムによって実行される処理を示すシーケンス図である。

図６のステップＳ１〜Ｓ５において、サーバ装置１、表示装置３ａ〜３ｃ、及びコマンド入力装置４は、起動後、ネットワークの初期設定を行い、それらのＩＰアドレスを設定する。

次にステップＳ６において、サーバ装置１は時刻同期マスタとして起動する。一方、ステップＳ７〜Ｓ９において、表示装置３ａ〜３ｃは時刻同期スレーブとしてそれぞれ起動する。次にステップＳ１０〜Ｓ１３において、サーバ装置１及び表示装置３ａ〜３ｃは、例えばＩＥＥＥ１５８８の時刻同期プロトコルに従って時刻同期処理を行い、表示装置３ａ〜３ｃの時刻はサーバ装置１の時刻と同期する。

次にステップＳ１４〜Ｓ１６において、表示装置３ａ〜３ｃに現在の配置情報を設定する。図１の例では、表示装置３ａが中央に配置され（θ２＝０度）、表示装置３ｂが表示装置３ａの右側９０度の位置に配置され（θ２＝９０度）、表示装置３ｃが表示装置３ａの左９０度の位置に配置される（θ２＝２７０度）。各表示装置３ａ〜３ｃは、入力装置３２を介して配置情報のユーザ入力を取得してもよく、予め取得された配置情報を記憶装置３６から読み出してもよい。

次にステップＳ１７〜Ｓ１９において、表示装置３ａ〜３ｃは、互いに関連付けられた目標画像及び仮想オブジェクトからなる少なくとも１つのペアを含むＡＲ情報リストを設定する。

図９は、各表示装置３によって管理されるＡＲ情報リストを示す図である。ＡＲ情報リストは、前述のように、互いに関連付けられた目標画像２０１及び仮想オブジェクト２０２からなる少なくとも１つのペアを含む。

再び図６を参照し、ステップＳ２０において、コマンド入力装置４は、ユーザ７のジェスチャーを撮影して認識し、認識したジェスチャーに基づいてコマンドを生成し、生成したコマンドを表示装置３ａ〜３ｃに送信する。次にステップＳ２１〜Ｓ２３において、表示装置３ａ〜３ｃは、コマンド入力装置４から送信されたコマンドを受信する。

次にステップＳ２４において、サーバ装置１は、映像データ生成及び配信処理を実行する。

図７は、図６の映像データ生成及び配信処理のサブルーチンを示すフローチャートである。

図７のステップＳ４１において、サーバ装置１は、サーバ装置１の撮像素子１３ａ〜１３ｄによってそれぞれ生成された撮影映像から第１の連結映像を生成する。

図１０は、図１の撮像素子１３ａによって生成される撮影映像１０１ａを示す図である。図１１は、図１の撮像素子１３ｂによって生成される撮影映像１０１ｂを示す図である。図１２は、図１の撮像素子１３ｃによって生成される撮影映像１０１ｃを示す図である。図１３は、図１の撮像素子１３ｄによって生成される撮影映像１０１ｄを示す図である。前述のように、図１の撮像素子１３ａ〜１３ｄは、それらの視野の中心において、図２の＋Ｙ側、＋Ｘ側、−Ｘ側、及び−Ｙ側の元像５ａ〜５ｄをそれぞれ撮影する。レンズ１２ａ〜１２ｄは魚眼タイプであり、図１０〜図１３の例では、９０度より大きく、１８０度よりも小さな視野角を有する。

図１４は、図１のサーバ装置１によって生成される第１の連結映像１１１を示す図である。図１４に示すように、撮影映像１０１ａ〜１０１ｄは互いに連結され、第１の連結映像１１１が生成される。第１の連結映像１１１は、例えば正距円筒図法を用いて、撮影映像１０１ａ〜１０１ｄから生成される。撮像素子１３ａ〜１３ｄから見た各点（すなわち、撮影映像１０１ａ〜１０１ｄにおける各点）の方位角及び仰角は、第１の連結映像１１１における経度及び緯度に対応する。図１０〜図１３の撮影映像１０１ａ〜１０１ｄは、図２の＋Ｚ側及び−Ｚ側の元像５ｅ，５ｆの一部をそれぞれ含んでいる。しかしながら、図１の例では、ユーザ７に対して上方向及び下方向に投写する表示装置及びスクリーンが設けられていないので、図１４に示すように、第１の連結映像１１１において、元像５ｅ，５ｆに対応する部分を除去してもよい。

再び図７を参照し、次にステップＳ４２において、サーバ装置１は、第１の連結映像にタイムスタンプを付加する。次にステップＳ４３において、サーバ装置１は、タイムスタンプが付加された第１の連結映像をマルチキャストパケットとして各表示装置３に配信する。

再び図６を参照し、次にステップＳ２５〜Ｓ２７において、表示装置３ａ〜３ｃは、映像データ受信及び表示処理を実行する。

図８は、図６の映像データ受信及び表示処理のサブルーチンを示すフローチャートである。

図８のステップＳ６１において、表示装置３は、サーバ装置１から第１の連結映像を受信する。

次にステップＳ６２において、表示装置３は、表示装置３自体の配置情報を取得する。次にステップＳ６３において、表示装置３は、コマンド入力装置４から受信したコマンドから、表示装置３の表示位置の移動量を取得する。次にステップＳ６４において、表示装置３は、表示装置３の配置情報及び移動量に基づいて、ユーザ７によって所望される表示装置３の新たな表示位置を計算する。

次にステップＳ６５において、表示装置３は、第１の連結映像の各点の経度及び緯度情報と、表示装置３の新たな表示位置とに基づいて、第１の連結映像を立方体にマッピングする。

図１５は、図１の各表示装置３によって第１の連結映像１１１から生成されたキューブマップ１２１を示す図である。図１５の角度θ３は図１の角度θ２に対応する。図１５のキューブマップ１２１において、水平面に対して垂直な４つの面は、表示装置３ａ〜３ｃの表示範囲と、スクリーン６ｂの右側かつスクリーン６ｃの左側に仮想的に隣接する表示範囲とにそれぞれ対応する。図１５の例は、表示装置３ａが図２の元像５ａ，５ｂにまたがる範囲を表示し、表示装置３ｂが図２の元像５ｂ，５ｄにまたがる範囲を表示し、表示装置３ｃが図２の元像５ａ，５ｃにまたがる範囲を表示する場合を示す。

再び図８を参照し、次にステップＳ６６において、表示装置３は、第１の連結映像をマッピングした立方体において、立方体の内部から外部に向かって、表示装置３の表示位置に対応する面と、その左側及び右側に隣接する面とを仮想的に撮影して、３つの第１の切り出し映像を生成する。

図１６は、図１５のキューブマップ１２１を撮影する仮想カメラ１２２を示す概略図である。図１７は、図１５のキューブマップ１２１から生成された第１の切り出し映像１２３を示す図である。図１６及び図１７は、図１５のキューブマップ１２１において、表示装置３ａの表示範囲に対応する面を仮想的に撮影する場合を示す。

また、図１８は、図１５のキューブマップ１２１から生成された第１の切り出し映像１２４を示す図である。図１８は、図１５のキューブマップ１２１において、表示装置３ｂの表示範囲に対応する面を仮想的に撮影する場合を示す。

図１９は、図１５のキューブマップ１２１から生成された第１の切り出し映像１２５を示す図である。図１９は、図１５のキューブマップ１２１において、表示装置３ｃの表示範囲に対応する面を仮想的に撮影する場合を示す。

図２０は、図１５のキューブマップ１２１から生成された第１の切り出し映像１２６を示す図である。図２０は、図１５のキューブマップ１２１において、スクリーン６ｂの右側かつスクリーン６ｃの左側に仮想的に隣接する表示範囲に対応する面を仮想的に撮影する場合を示す。

ステップＳ６６では、表示装置３は、図１５のキューブマップ１２１の水平面に対して垂直な４つの面のうち、θ３＝ｎ（ｎ＝０、９０、又は２７０度）の方向の面と、θ３＝ｎ±９０度の方向の面とを仮想的に撮影する。

再び図８を参照し、次にステップＳ６７において、表示装置３は、３つの第１の切り出し映像から第２の連結映像を生成する。

図２１は、図１の表示装置３ａによって第１の切り出し映像１２３，１２４，１２５から生成された第２の連結映像１３１ａを示す図である。第１の切り出し映像１２３が表示装置３ａの表示範囲に対応し、第１の切り出し映像１２４，１２５がその隣接表示範囲に対応する。

図２４は、図１の表示装置３ｂによって第１の切り出し映像１２３，１２４，１２６から生成された第２の連結映像１３１ｂを示す図である。第１の切り出し映像１２３が表示装置３ｂの表示範囲に対応し、第１の切り出し映像１２３，１２６がその隣接表示範囲に対応する。

図２７は、図１の表示装置３ｃによって第１の切り出し映像１２３，１２５，１２６から生成された第２の連結映像１３１ｃを示す図である。第１の切り出し映像１２５が表示装置３ｃの表示範囲に対応し、第１の切り出し映像１２３，１２６がその隣接表示範囲に対応する。

再び図８を参照し、次にステップＳ６８において、表示装置３は、ＡＲ情報リストを取得する。次にステップＳ６９において、ＡＲ情報リストに基づいて、第２の連結映像から目標画像を検出する。次にステップＳ７０において、表示装置３は、第２の連結映像から目標画像を検出したか否かを判断し、ＹＥＳのときはステップＳ７１に進み、ＮＯのときはステップＳ７２に進む。

ステップＳ７１において、表示装置３は、目標画像に関連付けられた仮想オブジェクトを第２の連結映像に重畳して合成映像を生成する。

図２２は、図２１の第２の連結映像１３１ａに仮想オブジェクト２０２を重畳した合成映像を示す図である。図２５は、図２４の第２の連結映像１３１ｂに仮想オブジェクト２０２を重畳した合成映像を示す図である。図２１の第２の連結映像１３１ａ及び図２４の第２の連結映像１３１ｂは、図９の目標画像２０１を含む。従って、図２２及び図２５に示すように、連結映像１３１ａ，１３１ｂにおいて、目標画像２０１と同じ部分画像に仮想オブジェクト２０２が重畳される。一方、図２７の連結画像１３１ｃは図９の目標画像２０１を含まないので、連結画像１３１ｃには仮想オブジェクト２０２は重畳されない。

仮想オブジェクト２０２は、図２２及び図２５に示すように、目標画像２０１と同じ部分画像の上に重畳されてもよく、部分画像の近傍に重畳されてもよい。

再び図８を参照し、次にステップＳ７２において、表示装置３は、合成映像から第２の切り出し映像を生成する。

図２３は、図２２の合成映像から生成された第２の切り出し映像１４１ａを示す図である。図２６は、図２５の合成映像から生成された第２の切り出し映像１４１ｂを示す図である。図２８は、図２７の第２の連結映像１３１ｃから生成された第２の切り出し映像１４１ｂを示す図である。図２３、図２６、及び図２８に示すように、表示装置３ａ〜３ｃは、それらの表示範囲に対応する第２の切り出し映像をそれぞれ生成する。

再び図８を参照し、次にステップＳ７３において、各表示装置３は、第２の切り出し映像１４１ａ〜１４１ｃをタイムスタンプに従ってそれぞれ表示する。

このように、図８の映像データ受信及び表示によれば、各表示装置３は、サーバ装置１から受信した第１の連結映像から、当該表示装置３の表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成する。次いで、各表示装置３は、第２の連結映像から目標画像を検出し、目標画像に関連付けられた仮想オブジェクトを第２の連結映像に重畳した合成映像を生成する。次いで、各表示装置３は、合成映像から、当該表示装置３の表示範囲に対応する切り出し映像を生成し、映像形成装置３５から切り出し映像を出力する。

これにより、図１に示すように、複数の表示装置３を含む映像表示システムにおいて、各表示装置３の表示位置及び表示範囲がユーザ操作に応じてリアルタイムに変化する場合であっても、表示される映像に仮想オブジェクト２０２を適切に重畳することができる。

実施形態に係る映像表示システムによれば、各表示装置３の表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成し、第２の連結映像から目標画像を検出することにより、図１に示すように目標画像が複数の表示装置３の表示範囲にまたがる場合であっても、表示される映像に仮想オブジェクト２０２を適切に重畳することができる。

このように、実施形態に係る映像表示システムによれば、映像に含まれる目標映像に関連付けられた仮想オブジェクトを適切に重畳することができる。

［１−３．変形例］

図２９は、実施形態の変形例に係るコマンド入力装置４Ａ及びリモートコントローラ８の構成を示すブロック図である。図２１の変形例では、図５のコマンド入力装置４のように距離画像検出器として動作してユーザ７のジェスチャーを認識することに代えて、ユーザ７によるリモートコントローラ８の空間的な動きを検出することによりユーザ７のジェスチャーを認識する。

コマンド入力装置４Ａは、制御回路４１Ａ、通信回路４６、及び無線受信回路４７を備える。

制御回路４１Ａは、コマンド入力装置４Ａの全体の動作を制御する。通信回路４６は、図５の通信回路４６と同様に構成される。無線受信回路４７は、リモートコントローラ８と通信し、リモートコントローラ８の空間的な動きを示す信号を受信する。

制御回路４１Ａは、ネットワーク設定器４１ａ、ジェスチャー認識器４１ｆ、移動量計算器４１ｄ、及びコマンド生成器４１ｅを備える。

ネットワーク設定器４１ａ、移動量計算器４１ｄ、及びコマンド生成器４１ｅは、図５の対応する構成要素と同様に構成される。

ジェスチャー認識器４１ｆは、リモートコントローラ８から受信した信号に基づいて、ユーザ７のジェスチャーを認識する。

リモートコントローラ８は、制御回路８１、入力装置８２、加速度センサ８３、及び無線送信回路８４を備える。

制御回路８１は、リモートコントローラ８の全体の動作を制御する。入力装置８２は、ユーザ入力を受けるキーボード又はボタンなどを含む。加速度センサ８３は、リモートコントローラ８を保持するユーザ７のジェスチャーによって生じた、リモートコントローラ８にかかる加速度を検出する。制御回路８１は、加速度センサ８３によって検出された加速度に基づいて、リモートコントローラ８の空間的な動きを検出する。無線送信回路８４は、コマンド入力装置４Ａと通信し、リモートコントローラ８の空間的な動きを示す信号を送信する。

コマンド入力装置４Ａの制御回路４１Ａの内部の各回路部分４１ａ，４１ｄ，４１ｅ，４１ｆは、ハードウェアとして構成されても、ソフトウェアとして構成されてもよい。

図２１のコマンド入力装置４Ａ及びリモートコントローラ８もまた、図５のコマンド入力装置４と同様に、ジェスチャーに基づいてコマンドを生成する。

次に、実施形態の他のいくつかの変形例について説明する。

サーバ装置は、４つ以外の複数の撮像素子を備えていてもよい。撮像素子は、サーバ装置の本体に一体化されていても、所定のインターフェースを介してサーバ装置の外部に接続されていてもよい。

映像表示システムは、ユーザを包囲するように例えば４つの表示装置を備えてもよい。
また、映像表示システムは、ユーザから見て９０度とは異なる角度間隔で配置された複数の表示装置を備えてもよく、曲面（例えば円筒面）のスクリーンを備えてもよい。映像表示システムは、天井及び／又は床に投影する表示装置をさらに備えてもよい。この場合、第１の連結映像から、各表示装置の表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成するとき、第２の連結映像は、左側及び右側の隣接表示範囲だけでなく、上側及び下側の隣接表示範囲も含むように生成される。

各表示装置の配置情報は、図４を参照して説明したように、表示装置の入力装置を介して入力されてもよく、カメラにより各表示装置を撮影することにより取得されてもよい。また、各表示装置の配置情報は、各表示装置に入力されることに代えて、サーバ装置に入力されてもよい。

各表示装置の映像形成装置は、投写型表示装置に代えて、例えば、液晶パネル、ＬＥＤパネルなどであってもよい。

コマンド入力装置は、サーバ装置又は表示装置のうちの１つに一体化されていてもよい。

コマンド入力装置は、サーバ装置を制御するコマンド（映像の配信及び表示の一時停止及び停止、映像表示システムの電源オフ、など）を取得し、当該コマンドをサーバ装置に送信してもよい。

［１−４．効果等］
本開示の態様に係る表示装置によれば、サーバ装置１から配信された映像を表示する表示装置３ａ〜３ｃが提供される。表示装置３ａ〜３ｃは、通信回路３３、映像形成装置３５、記憶装置３６、及び制御回路３１を備える。通信回路３３は、複数の撮像素子１３ａ〜１３ｄによってそれぞれ生成された複数の撮影映像から生成された１つの第１の連結映像をサーバ装置１から受信する。映像形成装置３５は、映像を視覚可能な形式で出力する。記憶装置３６は、予め決められた目標画像及び目標画像に関連付けられた仮想オブジェクトからなる少なくとも１つのペアを含む拡張現実情報リストを記憶する。制御回路３１は、第１の連結映像から、表示装置３ａ〜３ｃの表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成する。制御回路３１は、第２の連結映像から目標画像を検出し、目標画像に関連付けられた仮想オブジェクトを第２の連結映像に重畳した合成映像を生成する。制御回路３１は、合成映像から、表示装置３ａ〜３ｃの表示範囲に対応する切り出し映像を生成する。制御回路３１は、切り出し映像を視覚可能な形式で出力するように映像形成装置３５を制御する。

これにより、映像に含まれる目標映像に関連付けられた仮想オブジェクトを適切に重畳することができる。

本開示の態様に係る映像表示システムによれば、サーバ装置１と、請求項１記載の複数の表示装置３ａ〜３ｃとを含む映像表示システムが提供される。サーバ装置１は、複数の撮像素子１３ａ〜１３ｄによってそれぞれ生成された複数の撮影映像を処理して第１の連結映像を生成する映像処理回路１４と、複数の表示装置３ａ〜３ｃに第１の連結映像を配信する通信回路１５とを備える。

これにより、映像に含まれる目標映像に関連付けられた仮想オブジェクトを適切に重畳することができる。

本開示の態様に係る映像表示システムによれば、複数の撮影映像は、複数の撮像素子１３ａ〜１３ｄの周りの全方位又は全天球をカバーする。

これにより、全方向カメラによって撮影された映像を表示することができる。

本開示の態様に係る映像表示システムによれば、サーバ装置１の映像処理回路１４は、正距円筒図法を用いて複数の撮影映像から第１の連結映像を生成する。

これにより、複数の撮影映像から連結映像を適切に生成することができる。

本開示の態様に係る映像表示システムによれば、映像表示システムは、複数の撮影映像によって表される範囲のうち、複数の表示装置３ａ〜３ｃによってそれぞれ表示される映像の範囲を示す表示位置を指定するコマンドをユーザ７から取得するコマンド入力装置４をさらに含む。各表示装置３ａ〜３ｃは、コマンド入力装置４からコマンドを受信する。

これにより、各表示装置３の表示位置及び表示範囲がユーザ操作に応じてリアルタイムに変化する場合であっても、表示される映像に仮想オブジェクト２０２を適切に重畳することができる。

本開示の態様に係る映像表示システムによれば、コマンド入力装置４は、ユーザ７のジェスチャーを撮影して認識する距離画像検出器を備え、ジェスチャーに基づいてコマンドを生成する。

これにより、ジェスチャーに基づいてコマンドを確実に生成することができる。

本開示の態様に係る映像表示システムによれば、リモートコントローラ８は、ユーザ７のジェスチャーを検出する加速度センサ８３を備え、コマンド入力装置４は、ジェスチャーに基づいてコマンドを生成する。

これにより、ジェスチャーに基づいてコマンドを確実に生成することができる。

本開示の態様に係る映像表示方法によれば、サーバ装置１から複数の表示装置３ａ〜３ｃに映像を配信して表示する映像表示方法が提供される。本方法は、各表示装置３ａ〜３ｃが、予め決められた目標画像及び目標画像に関連付けられた仮想オブジェクトからなる少なくとも１つのペアを含む拡張現実情報リストを記憶装置３６から読み出すステップを含む。本方法は、サーバ装置１が、複数の撮像素子１３ａ〜１３ｄによってそれぞれ生成された複数の撮影映像から１つの第１の連結映像を生成して各表示装置３ａ〜３ｃに配信するステップを含む。本方法は、各表示装置３ａ〜３ｃが、第１の連結映像から、当該表示装置３ａ〜３ｃの表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成するステップを含む。本方法は、各表示装置３ａ〜３ｃが、第２の連結映像から目標画像を検出し、目標画像に関連付けられた仮想オブジェクトを第２の連結映像に重畳した合成映像を生成するステップを含む。本方法は、各表示装置３ａ〜３ｃが、合成映像から、当該表示装置３ａ〜３ｃの表示範囲に対応する切り出し映像を生成するステップを含む。本方法は、各表示装置３ａ〜３ｃが、切り出し映像を視覚可能な形式で出力するステップを含む。

これにより、映像に含まれる目標映像に関連付けられた仮想オブジェクトを適切に重畳することができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、第１及び第２の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

以上のように、本開示に係る技術の例示として実施形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

以上のように、添付図面および詳細な説明によって、ベストモードと考える実施形態を提供した。これら、特定の実施形態を参照することにより、当業者に対して、特許請求の範囲に記載の主題を例証するために提供されるものである。したがって、特許請求の範囲またはその均等の範囲において、上述の実施形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、全方向カメラによって撮影された一体の映像にリアルタイムで拡張現実情報を重畳して表示する、ビデオウォール及びマルチプロジェクションなどのマルチディスプレイシステムに適用可能である。

１…サーバ装置、
２…ハブ、
３ａ〜３ｃ…表示装置、
４，４Ａ…コマンド入力装置、
５…風景、
６ａ〜６ｃ…スクリーン、
７…ユーザ、
８…リモートコントローラ、
１１…サーバ装置の制御回路、
１２ａ〜１２ｄ…サーバ装置のレンズ、
１３ａ〜１３ｄ…サーバ装置の撮像素子、
１４…サーバ装置の映像処理回路、
１５…サーバ装置の通信回路、
１６…サーバ装置の記憶装置、
３１…制御回路、
３２…表示装置の入力装置、
３３…表示装置の通信回路、
３４…表示装置の映像処理回路、
３５…表示装置の映像形成装置、
３６…表示装置の記憶装置、
４１，４１Ａ…コマンド入力装置の制御回路、
４２…コマンド入力装置の赤外線発光器、
４３…コマンド入力装置のレンズ、
４４…コマンド入力装置の撮像素子、
４５…コマンド入力装置の映像処理回路、
４６…コマンド入力装置の通信回路、
４７…無線受信回路、
８１…リモートコントローラの制御回路、
８２…リモートコントローラの入力装置、
８３…リモートコントローラの加速度センサ、
８４…リモートコントローラの無線送信回路。

Claims (8)

1. サーバ装置から配信された映像を表示する表示装置であって、前記表示装置は、
   複数の撮像素子によってそれぞれ生成された複数の撮影映像から生成された１つの第１の連結映像を前記サーバ装置から受信する通信回路と、
   映像を視覚可能な形式で出力する映像形成装置と、
   予め決められた目標画像及び前記目標画像に関連付けられた仮想オブジェクトからなる少なくとも１つのペアを含む拡張現実情報リストを記憶した記憶装置と、
   制御回路とを備え、
   前記制御回路は、
   前記第１の連結映像から、前記表示装置の表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成し、
   前記第２の連結映像から前記目標画像を検出し、前記目標画像に関連付けられた仮想オブジェクトを前記第２の連結映像に重畳した合成映像を生成し、
   前記合成映像から、前記表示装置の表示範囲に対応する切り出し映像を生成し、
   前記切り出し映像を視覚可能な形式で出力するように前記映像形成装置を制御する、
   表示装置。
2. サーバ装置と、請求項１記載の複数の表示装置とを含む映像表示システムであって、
   前記サーバ装置は、
   複数の撮像素子によってそれぞれ生成された複数の撮影映像を処理して前記第１の連結映像を生成する映像処理回路と、
   前記複数の表示装置に前記第１の連結映像を配信する通信回路とを備えた、
   映像表示システム。
3. 前記複数の撮影映像は、前記複数の撮像素子の周りの全方位又は全天球をカバーする、
   請求項２記載の映像表示システム。
4. 前記サーバ装置の映像処理回路は、正距円筒図法を用いて前記複数の撮影映像から前記第１の連結映像を生成する、
   請求項３記載の映像表示システム。
5. 前記映像表示システムは、前記複数の撮影映像によって表される範囲のうち、前記複数の表示装置によってそれぞれ表示される映像の範囲を示す表示位置を指定するコマンドをユーザから取得するコマンド入力装置をさらに含み、
   前記各表示装置は、前記コマンド入力装置から前記コマンドを受信する、
   請求項２〜４のうちの１つに記載の映像表示システム。
6. 前記コマンド入力装置は、前記ユーザのジェスチャーを撮影して認識する距離画像検出器を備え、前記ジェスチャーに基づいて前記コマンドを生成する、
   請求項５記載の映像表示システム。
7. 前記コマンド入力装置は、前記ユーザのジェスチャーを検出する加速度センサを備え、前記ジェスチャーに基づいて前記コマンドを生成する、
   請求項５記載の映像表示システム。
8. サーバ装置から複数の表示装置に映像を配信して表示する映像表示方法であって、
   前記各表示装置が、予め決められた目標画像及び前記目標画像に関連付けられた仮想オブジェクトからなる少なくとも１つのペアを含む拡張現実情報リストを記憶装置から読み出すステップと、
   前記サーバ装置が、複数の撮像素子によってそれぞれ生成された複数の撮影映像から１つの第１の連結映像を生成して前記各表示装置に配信するステップと、
   前記各表示装置が、前記第１の連結映像から、当該表示装置の表示範囲の映像及び隣接表示範囲の映像を含む第２の連結映像を生成するステップと、
   前記各表示装置が、前記第２の連結映像から前記目標画像を検出し、前記目標画像に関連付けられた仮想オブジェクトを前記第２の連結映像に重畳した合成映像を生成するステップと、
   前記各表示装置が、前記合成映像から、当該表示装置の表示範囲に対応する切り出し映像を生成するステップと、
   前記各表示装置が、前記切り出し映像を視覚可能な形式で出力するステップとを含む、
   映像表示方法。

Images