JP2005354289A - 端末装置、環境管理サーバ、カメラサーバ及び映像生成方法 - Google Patents

Abstract

【課題】複数のカメラが設置された遠隔環境において、一部のカメラが故障しても、リアルタイムに任意視点映像を生成し続けることができる端末装置を提供する。
【解決手段】端末装置１は、カメラサーバの動作状況情報などを保持する環境情報保持部１０４と、カメラサーバの動作状況情報などをもとに、注視領域を撮影できるカメラサーバ３の順位付けを行う選択対象カメラ序列算出部１０８と、任意視点映像を生成するために一度も選択されていないカメラサーバ３の中で、順位の最も高いカメラサーバ３を選択するカメラ候補選択部１０９と、オクルージョン非発生領域において任意視点映像を生成し、当該任意視点映像に欠損部分が存在しており、かつ、選択されていないカメラサーバ３が残っている場合、カメラ候補選択部１０９によって選択し直された次候補のカメラサーバを用いて、再度、欠損部分の任意視点映像を生成する任意視点映像生成部１１２とを備える。
【選択図】図１

Description

本発明は、複数のカメラが設置された遠隔環境における、ユーザが指定した視点からの映像を近似した合成映像を生成する端末装置、環境管理サーバ、カメラサーバ及び映像生成方法に関する。

従来、複数のカメラが設置された遠隔環境をユーザが監視するシステムにおいて、ユーザが指定した視点からの映像を近似した合成映像（以下において、「任意視点映像」という。）をリアルタイムに生成することが行われている。

複数のカメラ映像から、任意視点映像を生成するシステムとして、実環境中の３次元形状データ、映像データ、人の眼球位置と視線方向を獲得し、これらを利用することで、人の眼球位置と視線方向に対応した映像を生成するシステムは開示されている（例えば、特許文献１参照）。
特開２００３−２５６８０４号公報

しかしながら、従来技術では、視点によって使用するカメラ（複数の場合は、使用するカメラの組み合わせ）が固定的に決められているので、もし一部のカメラが故障すると、カメラ映像に欠損が生じ、適切な任意視点映像をリアルタイムに生成することが困難であった。

そこで、上記の課題に鑑み、複数のカメラが設置された遠隔環境における任意視点映像を生成するシステムにおいて、一部のカメラが故障しても、リアルタイムに任意視点映像を生成し続けることができる端末装置、環境管理サーバ、カメラサーバ及び映像生成方法を提供することを目的とする。

上記目的を達成するため、本発明の第１の特徴は、複数のカメラサーバが設置された遠隔環境における任意視点映像を生成する端末装置であって、（イ）遠隔環境を管理する環境管理サーバから取得した、カメラサーバの位置・特性情報と、遠隔環境における環境モデル情報と、遠隔環境における動物体の位置・範囲情報と、遠隔環境における照明変動情報と、カメラサーバの動作状況情報とを保持する環境情報保持部と、(ロ)ユーザの視点位置・視線方向情報と、当該ユーザの視点位置・視線方向情報及び環境モデル情報によって算出されたユーザの注視領域と、カメラサーバの位置・特性情報と、カメラサーバの動作状況情報と、動物体の位置・範囲情報とをもとに、現在使用できるカメラサーバのうち、注視領域を撮影できるカメラサーバの順位付けを行う選択対象カメラ序列算出部と、（ハ）選択対象カメラ序列算出部によって算出された順位をもとに、任意視点映像を生成するために一度も選択されていないカメラサーバの中で、順位の最も高いカメラサーバを選択するカメラ候補選択部と、（ニ）ユーザの注視領域と、カメラサーバの位置・特性情報と、動物体の位置・範囲情報とをもとに、オクルージョン非発生領域を算出するオクルージョン非発生領域算出部と、（ホ）オクルージョン非発生領域算出部によって算出されたオクルージョン非発生領域において任意視点映像を生成し、当該任意視点映像に欠損部分が存在しており、かつ、選択されていないカメラサーバが残っている場合、カメラ候補選択部によって選択し直された次候補のカメラサーバを用いて、再度、欠損部分の任意視点映像を生成する任意視点映像生成部とを備える端末装置であることを要旨とする。

ここで、「任意視点映像」とは、ユーザが指定した視点からの映像を近似した合成映像をいう。又、「注視領域」とは、ユーザの視点位置・視線方向情報などから算出されるユーザの注視する領域をいう。又、「カメラサーバの位置・特性情報」とは、カメラサーバの配置された位置情報、カメラサーバの特性情報（画角などのレンズ特性）をいう。又、「動物体」とは、映像の中に存在する、動く対象物（例えば、人間、車など）をいう。又、「オクルージョン」とは、カメラ映像の中の使用したい領域が他の物体で隠されてしまうことをいい、「オクルージョン非発生領域」とは、オクルージョンが発生しない領域をいう。

第１の特徴に係る端末装置によると、フレーム毎に、環境管理サーバが提供するカメラの動作や通信状態、遠隔環境に基づくカメラの利用可能性を判断することにより、適切なカメラサーバを選択するため、一部のカメラの故障などに対して、動的にリアルタイムに対応することができる。

又、オクルージョン発生などにより、任意視点映像に欠損部分が存在した場合、選択し直された次候補のカメラサーバを用いて、再度欠損部分の任意視点映像をリアルタイムに生成することができる。

又、第１の特徴に係る端末装置は、ユーザの視点位置・視線方向と、動物体の位置・範囲情報と、遠隔環境における照明変動情報と、カメラサーバの動作状況情報とをもとに、変化があったか否かを判断する任意視点映像生成処理判断部を更に備え、任意視点映像生成部は、任意視点映像生成処理判断部が変化があったと判断した場合のみ、任意視点映像を生成してもよい。この端末装置によると、変化があった場合のみ、任意視点映像を生成し直すことにより、端末装置の処理負担を軽減できる。

本発明の第２の特徴は、（イ）遠隔環境に設置された複数のカメラサーバの通信機能並びにネットワークが正常に動作しているか否かを監視するカメラサーバ接続状態監視部と、（ロ）カメラサーバの動作情報を取得するカメラ動作情報取得部と、（ハ）カメラサーバ接続状態監視部とカメラ動作情報取得部が取得した情報により、使用可能なカメラサーバを特定するカメラサーバ動作状況情報取得部と、（ニ）遠隔環境における任意視点映像を生成する端末装置へ、カメラサーバ動作状況情報取得部によって取得した使用可能なカメラサーバ情報を送信する通信処理部とを備える環境管理サーバであることを要旨とする。

第２の特徴に係る環境管理サーバによると、複数のカメラサーバの状態を端末装置に送信することができる。このため、一部のカメラが故障しても、任意視点映像を生成することができる。

本発明の第３の特徴は、遠隔環境における任意視点映像を生成する端末装置に情報を提供するカメラサーバであって、（イ）遠隔環境の映像を取得する映像取得部と、（ロ）映像取得部で得られた映像をもとに、カメラが正しく動作しているか否かを調査するカメラ動作診断部と、（ハ）カメラ動作診断部によって取得したカメラ動作診断情報を送信する通信処理部とを備えるカメラサーバであることを要旨とする。

第３の特徴に係るカメラサーバによると、カメラが正しく動作しているかというカメラ動作診断情報を環境管理サーバあるいは端末装置に提供することができる。このように、各カメラサーバからカメラ動作診断情報が得られるため、一部のカメラが故障しても、他のカメラサーバを用いることにより、任意視点映像を生成することができる。

本発明の第４の特徴は、複数のカメラサーバが設置された遠隔環境における任意視点映像を生成する映像生成方法であって、（イ）遠隔環境を管理する環境管理サーバから、カメラサーバの位置・特性情報と、遠隔環境における環境モデル情報と、遠隔環境における動物体の位置・範囲情報と、遠隔環境における照明変動情報と、カメラサーバの動作状況情報とを取得するステップと、（ロ）ユーザの視点位置・視線方向情報と、当該ユーザの視点位置・視線方向情報及び環境モデル情報によって算出されたユーザの注視領域と、カメラサーバの位置・特性情報と、カメラサーバの動作状況情報と、動物体の位置・範囲情報とをもとに、任意視点映像を生成するために適切なカメラサーバの順位付けを行うステップと、（ハ）順位をもとに、任意視点映像を生成するために一度も選択されていないカメラサーバの中で、順位の最も高いカメラサーバを選択するステップと、（ニ）ユーザの注視領域と、カメラサーバの位置・特性情報と、動物体の位置・範囲情報とをもとに、オクルージョン非発生領域を算出するステップと、（ホ）オクルージョン非発生領域において任意視点映像を生成するステップと、（へ）任意視点映像に欠損部分が存在しており、かつ、選択されていないカメラサーバが残っている場合、選択するステップによって選択し直された次候補のカメラサーバを用いて、再度、欠損部分の任意視点映像を生成するステップとを含む映像生成方法であることを要旨とする。

第４の特徴に係る映像生成方法によると、フレーム毎に、環境管理サーバが提供するカメラの動作や通信状態、遠隔環境に基づくカメラの利用可能性を判断することにより、適切なカメラサーバを選択するため、一部のカメラの故障などに対して、動的にリアルタイムに対応することができる。

又、オクルージョン発生などにより、任意視点映像に欠損部分が存在した場合、選択し直された次候補のカメラサーバを用いて、再度欠損部分の任意視点映像をリアルタイムに生成することができる。

本発明によると、複数のカメラが設置された遠隔環境における任意視点映像を生成するシステムにおいて、一部のカメラが故障しても、リアルタイムに任意視点映像を生成し続けることができる端末装置、環境管理サーバ、カメラサーバ及び映像生成方法を提供することができる。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。

本発明の実施の形態では、複数のカメラが設置された遠隔環境を監視するシステムにおいて、一部のカメラが故障しても、残りの利用可能なカメラからの映像を用いて、リアルタイムに任意視点映像を生成する映像生成システム及び映像生成方法について説明する。

（映像生成システム）
本発明の実施の形態に係る映像生成システム１００は、図１に示すように、端末装置１と、環境管理サーバ２と、カメラサーバ３と、共有ディスク４と、通信ネットワーク（インターネット）５とから構成される。図１では、カメラサーバ３は一つ示されているが、カメラサーバ３は複数存在する。又、本発明の実施の形態では、端末装置１、環境管理サーバ２、カメラサーバ３間の情報のやりとりは、その一例として、共有ディスク４を介して行う。

端末装置１は、複数のカメラサーバ３が設置された遠隔環境における任意視点映像を生成する。具体的には、端末装置１は、環境管理サーバ２及びカメラサーバ３から情報や映像を受信し、任意視点映像を生成する。端末装置１としては、例えば、携帯電話、パーソナルコンピュータ、ノートパソコン、ＰＨＳ、ＰＨＳ、ＰＤＡ、電子手帳等が使用可能である。又、端末装置１は、ユーザインタフェース部（ＵＩ部）１０１と、プログラム制御部１０２と、任意視点映像処理部１０３と、環境情報保持部１０４と、通信処理部１１７とを備える。

ＵＩ部１０１は、生成された任意視点映像を出力部に表示する。出力部は、図示していないが、タッチパネル、モニタなどの画面を指し、液晶表示装置（ＬＣＤ）、発光ダイオード（ＬＥＤ）パネル、エレクトロルミネッセンス（ＥＬ）パネル等が使用可能である。又、ＵＩ部１０１は、プログラムの終了やユーザの見たい映像の視点位置・視線方向の情報を入力部から受信する。入力部は、図示していないが、タッチパネル、キーボード、マウス等の機器を指す。入力部から入力操作が行われると対応するキー情報や位置情報がＵＩ部１０１に伝達される。その他、端末装置１が方位センサや加速度センサを備え、端末装置１の傾きや動きを検出し、その値をＵＩ部１０１への入力としてもよい。

プログラム制御部１０２は、ＵＩ部１０１からの入力に従って、任意映像生成プログラム全体の終了若しくは継続を制御する。

任意視点映像処理部１０３は、視点位置・視線方向情報取得部１０５、任意視点映像生成処理判断部１０６、注視領域算出部１０７、選択対象カメラ序列算出部１０８、カメラ候補選択部１０９、カメラ映像取得部１１０、オクルージョン非発生領域算出部１１１、任意視点映像生成部１１２とを備える。

視点位置・視線方向情報取得部１０５は、ＵＩ部１０１が受信したユーザの見たい映像の視点位置・視線方向情報を取得する。

任意視点映像生成処理判断部１０６は、ユーザの視点位置・視線方向と、動物体の位置・範囲情報と、遠隔環境における照明変動情報と、カメラサーバの動作状況情報をもとに、変化があったか否かを判断する。変化があった場合のみ、任意視点映像生成部１１２は、任意視点映像を生成する。尚、変化がない場合は、直前に生成した任意視点映像が出力部に表示される。

注視領域算出部１０７は、視点位置・視線方向情報取得部１０５によって取得された情報などから、ユーザの注視する領域を算出する。この方法の一例としては、ユーザの視点からユーザの視線方向に直線を延ばし、この直線と、環境モデル情報から算出された測定対象となる壁のジオメトリー情報との交点を算出する。そして、同様の処理をユーザの見たい映像の画角の範囲内で繰り返し行い、その交点の集合を注視領域とする方法がある。ここで、「環境モデル情報」とは、どの程度離れた位置に測定対象となる壁があるかといった実際の環境における情報を指し、環境モデル情報を参照することにより、カメラ映像から任意視点映像を生成することができる。

選択対象カメラ序列算出部１０８は、ユーザの視点位置・視線方向情報と、ユーザの注視領域と、カメラサーバの位置・特性情報と、カメラサーバの動作状況情報と、動物体の位置・範囲情報とをもとに、現在使用できるカメラサーバ３のうち、注視領域を撮影できるカメラサーバの順位付けを行う。この方法の一例としては、ユーザの位置とユーザの視線と環境中の壁（環境モデル情報）との交点と、カメラの位置がなす三角形の面積の値に、ユーザの視線方向とカメラの光軸中心の差を定数倍化した値を加えた値を降順に並べる方法がある。

カメラ候補選択部１０９は、任意視点映像生成において、選択対象カメラ序列算出部１０８によって算出された順位をもとに、任意視点映像を生成するために一度も選択されていないカメラサーバ３の中で、順位の最も高いカメラサーバを選択する。

カメラ映像取得部１１０は、遠隔環境にあるカメラサーバ３が提供した映像のうち、ＵＩ部１０１によって選択されたカメラの映像を取得する。

オクルージョン非発生領域算出部１１１は、ユーザの注視領域と、カメラサーバの位置・特性情報と、動物体の位置・範囲情報とをもとに、取得されたカメラ映像中にオクルージョンが発生するかどうかを判定し、発生しない領域を算出する。この方法の一例として、注視領域上のすべての点と選択されたカメラとの線分状に壁や動物体が存在しないかどうかを調べ、存在しなければ、オクルージョン非発生領域とする方法がある。

任意視点映像生成部１１２は、カメラサーバ３から受信した映像を変換して、オクルージョン非発生領域算出部によって算出されたオクルージョン非発生領域において任意視点映像を生成する。この方法の一例として、注視領域の各点が選択されたカメラ映像上のどの画素に対応しているかを算出し、その画素値を注視領域上の各点の画素値とする方法がある。又、任意視点映像生成部１１２は、オクルージョンのために生成された任意視点映像に欠損部分が残っていないか、あるいはすべての候補のカメラサーバ３が選択されたかを判断し、欠損部分が残っていない場合、あるいはすべてのカメラサーバ３の候補が選択された場合は、任意視点映像の生成が完了したとして、映像を表示する。それ以外の場合、即ち、当該任意視点映像に欠損部分が存在しており、かつ、選択されていないカメラサーバが残っている場合、カメラ候補選択部１０９によって選択し直された次候補のカメラサーバ３を用いて、再度、欠損部分の任意視点映像を生成する。

環境情報保持部１０４は、共有ディスク４を介して取得した情報を保持する。環境情報保持部１０４は、カメラ位置・特性情報・環境モデル情報保持部１１３と、動物体の位置・範囲情報保持部１１４と、照明変動情報保持部１１５と、カメラサーバ動作状況情報保持部１１６とを備える。

カメラ位置・特性情報・環境モデル情報保持部１１３は、環境管理サーバ２から受信した、デフォルトのカメラ位置、特性情報、環境モデル情報を保持する。

動物体の位置・範囲情報保持部１１４は、環境管理サーバ２から受信した、動物体の位置や範囲の情報を保持する。

照明変動情報保持部１１５とは、環境管理サーバ２から受信した、照明変動の情報を保持する。

カメラサーバ動作状況情報保持部１１６は、環境管理サーバ２から受信した、カメラサーバ３の動作状況情報を保持する。

通信処理部１１７は、任意視点映像を生成する上で必要な情報や映像を、共有ディスク４を介して、環境管理サーバ２及びカメラサーバ３から受信する。

又、本実施の形態に係る端末装置１は、処理制御装置（ＣＰＵ）を有し、選択対象カメラ序列算出部１０８、任意視点映像生成部１１２などをモジュールとしてＣＰＵに備える構成とすることができる。これのモジュールは、パーソナルコンピュータ等の汎用コンピュータにおいて、所定のプログラム言語を利用するための専用プログラムを実行することにより実現することができる。

又、端末装置１における環境情報保持部１０４は、情報を保存する記録媒体である。記録媒体は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどが挙げられる。尚、このような記録媒体によると、他の端末装置に情報を提供することも可能である。又、環境情報保持部１０４は、視点位置・視線方向情報やカメラ映像を保持してもよい。

又、図示していないが、端末装置１は、任意視点映像生成処理などを処理制御装置（ＣＰＵ）に実行させるためのプログラムを保存するプログラム保持部を備えてもよい。プログラム保持部は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどの記録媒体である。このような記録媒体によれば、映像生成プログラムの保存、運搬、販売などを容易に行うことができる。

環境管理サーバ２は、ユーザインタフェース部（ＵＩ部）２０１と、プログラム制御部２０２と、環境情報管理部２０３と、通信処理部２１１とを備える。

ＵＩ部２０１は、プログラムの終了命令など、プログラム全体の制御命令を入力する。

プログラム制御部２０２は、ＵＩ部２０１からの入力に従って、環境管理サーバプログラム全体の終了若しくは継続を制御する。

環境情報管理部２０３は、カメラ位置・特性情報・環境モデル情報取得部２０４と、カメラサーバ接続状態監視部２０５と、カメラ映像取得部２０６と、カメラ動作情報取得部２０７と、カメラサーバ動作状況情報取得部２０８と、動物体の位置・範囲検出部２０９と、照明変動検出部２１０とを備える。

カメラ位置・特性情報・環境モデル情報取得部２０４は、環境管理サーバ２が管理する領域内のカメラ位置、カメラ特性情報、環境モデル情報の初期情報を取得する。

カメラサーバ接続状態監視部２０５は、遠隔環境に設置された複数のカメラサーバ３の通信機能並びにネットワークが正常に動作しているか否かを監視する。この方法の一例として、カメラ診断情報が常時更新されているか否かを調査する方法がある。又、pingのような命令を発行し、カメラサーバが応答を返すか否か調査する方法もある。

カメラ映像取得部２０６は、カメラサーバ接続状態監視部２０５で調査した接続可能なカメラサーバ３から受信したカメラ映像を取得する。

カメラ動作情報取得部２０７は、カメラサーバの動作情報を取得する。即ち、カメラサーバ３のセンサが正しく動作しているか否か調査する。このとき、カメラサーバ３自身にカメラ動作診断部３０４が存在する場合は、カメラサーバ３からカメラ動作診断情報を受信する。カメラ動作診断部３０４が存在しない場合は、カメラ映像取得部２０６によって取得された映像をもとに、センサが正しく動作しているか否かを調査する。この方法の一例として、カメラ映像の全画素の平均彩度や平均明度を調べ、それらがある閾値以下ならばセンサが正しく動作していないと判断する方法がある。

カメラサーバ動作状況情報取得部２０８は、カメラサーバ接続状態監視部２０５とカメラ動作情報取得部２０７とから得られた情報をもとに、遠隔環境に存在するカメラサーバ３のうち、使用可能なカメラサーバ３を特定する。

動物体の位置・範囲検出部２０９は、遠隔環境内の動物体の位置と範囲を検出する。この方法の一例として、カメラ映像取得部２０６によって取得された各カメラ映像を用い、異なるフレームの画像間の差分情報を用いて、位置と形状を計測する方法がある。又、別途レンジファインダを用いてもよい。

照明変動検出部２１０は、遠隔環境内の照明変動を検出する。この方法の一例として、カメラ映像取得部２０６によって取得された各カメラ映像の全画素値の平均輝度を計測し、輝度の変化がある閾値以上のとき、照明変動があったと判断する方法がある。

通信処理部２１１は、デフォルトのカメラ位置・特性情報、環境モデル情報、遠隔環境内の動物体や照明変動やカメラサーバ３の動作状況の情報を、共有ディスク４を介してやりとりする。例えば、通信処理部２１１は、遠隔環境における任意視点映像を生成する端末装置１へ、カメラサーバ動作状況情報取得部２０８によって取得した使用可能なカメラサーバ情報を送信する。

又、本実施の形態に係る環境管理サーバ２は、処理制御装置（ＣＰＵ）を有し、カメラ動作情報取得部２０７、カメラサーバ動作状況情報取得部２０８などをモジュールとしてＣＰＵに備える構成とすることができる。これのモジュールは、パーソナルコンピュータ等の汎用コンピュータにおいて、所定のプログラム言語を利用するための専用プログラムを実行することにより実現することができる。

又、図示していないが、環境管理サーバ２は、カメラ映像や、各種情報を保持する情報保持部を備えてもよい。情報保持部は、情報を保存する記録媒体であり、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどが挙げられる。尚、このような記録媒体によると、他のサーバに情報を提供することも可能である。

又、図示していないが、環境管理サーバ２は、カメラサーバ動作状況情報取得処理などを処理制御装置（ＣＰＵ）に実行させるためのプログラムを保存するプログラム保持部を備えてもよい。プログラム保持部は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどの記録媒体である。このような記録媒体によれば、制御プログラムの保存、運搬、販売などを容易に行うことができる。

カメラサーバ３は、ユーザインタフェース部（ＵＩ部）３０１と、プログラム制御部３０２と、カメラ情報・映像取得部３０３と、通信処理部３０６と、カメラ部３０７とを備える。

ＵＩ部３０１は、プログラムの終了命令など、プログラム全体の制御命令を入力する。

プログラム制御部３０２は、ＵＩ部３０１からの入力に従って、カメラサーバプログラム全体の終了若しくは継続を制御する。

カメラ情報・映像取得部３０３は、カメラ動作診断部３０４と、映像取得部３０５とを備える。

カメラ動作診断部３０４は、映像取得部３０５で得られた映像をもとに、カメラが正しく動作しているか否かを調査する。この方法の一例として、カメラ映像の全画素の平均彩度や平均明度を調べ、それらがある閾値以下であれば、カメラが正しく動作していないと判断する方法である。

映像取得部３０５は、遠隔環境の映像を取得する。取得された映像は、通信処理部３０６によって常時共有ディスク４へ書き込まれる。尚、共有ディスク４の容量に限界がある場合は、共有ディスク４は、最新の一定時間の映像のみを保持するようにしてもよい。

通信処理部３０６は、カメラ動作診断情報や映像を共有ディスク４に書き込む。環境管理サーバ２及び端末装置１は、共有ディスク４にアクセスして、情報や映像を取得する。

カメラ部３０７は、カメラ機能を有し、映像を撮影する。

又、本実施の形態に係るカメラサーバ３は、処理制御装置（ＣＰＵ）を有し、カメラ動作診断部３０４、映像取得部３０５などをモジュールとしてＣＰＵに備える構成とすることができる。これのモジュールは、パーソナルコンピュータ等の汎用コンピュータにおいて、所定のプログラム言語を利用するための専用プログラムを実行することにより実現することができる。

又、図示していないが、カメラサーバ３は、カメラ映像や、各種情報を保持する情報保持部を備えてもよい。情報保持部は、情報を保存する記録媒体であり、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどが挙げられる。尚、このような記録媒体によると、他のサーバに情報を提供することも可能である。

又、図示していないが、カメラサーバ３は、カメラ動作診断処理などを処理制御装置（ＣＰＵ）に実行させるためのプログラムを保存するプログラム保持部を備えてもよい。プログラム保持部は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどの記録媒体である。このような記録媒体によれば、制御プログラムの保存、運搬、販売などを容易に行うことができる。

（映像生成方法）
次に、本実施の形態に係る映像生成方法について、図２〜４を用いて説明する。

まず、カメラサーバ３の動作について、図２を用いて説明する。

（イ）ステップＳ１０１において、動作命令入力が入力される。ステップＳ１０２において、プログラム制御部３０２は、入力された命令が終了命令であるかどうかを判断し、終了命令であればサーバプログラムを終了する。終了命令でない場合は、カメラサーバ３の動作を継続する。

（ロ）ステップＳ１０３において、カメラ部３０７の動作により、映像取得部３０５は、映像を取得する。そして、ステップＳ１０４において、通信処理部３０６は、取得した映像を共有ディスク４へ書き込む。

（ハ）次に、ステップＳ１０５において、カメラ動作診断部３０４は、ステップＳ１０３で得られたカメラ映像からカメラセンサが正しく動作しているか否かを診断する。そして、ステップＳ１０６において、通信処理部３０６は、ステップＳ１０５で得られたカメラ動作診断情報を共有ディスク４へ書き込む。そして、ステップＳ１０１の処理へ戻る。

次に、環境管理サーバ２の動作について、図３を用いて説明する。

（イ）まず、ステップＳ２０１において、環境管理サーバ起動時に、カメラ位置・特性情報・環境モデル情報取得部２０４は、予め記録しておいた遠隔環境の情報（カメラ位置、カメラ特性情報、環境モデル情報（壁等の位置情報））を取得し、通信処理部２１１は、これらの情報を共有ディスク４へ書き込む。

（ロ）次に、ステップＳ２０２において、動作命令入力が入力される。ステップＳ２０３において、プログラム制御部２０２は、入力された命令が終了命令であるかどうかを判断し、終了命令であればサーバプログラムを終了する。終了命令でない場合は、環境管理サーバ２の動作を継続する。

（ハ）次に、ステップＳ２０４において、カメラサーバ接続状態監視部２０５は、遠隔環境側に存在する各カメラサーバ３が通信できる状態であるか否か調査する。次に、ステップＳ２０５において、カメラ映像取得部２０６は、カメラサーバ３で撮影され、共有ディスク４に書き出された映像を取得する。

（ニ）次に、ステップＳ２０６において、カメラ動作情報取得部２０７は、ステップＳ２０１で得られたカメラ特性情報から、カメラサーバ３が動作診断機能を備えているか否か判断する。カメラサーバ３が動作診断機能を備えている場合、ステップＳ２０７へ進み、カメラ動作診断情報を共有ディスク４から取得する。カメラサーバ３が動作診断機能を備えていない場合、ステップＳ２０８へ進み、ステップＳ２０５において得られた映像から、カメラの動作診断を行い、カメラ動作診断情報を取得する。

（ホ）次に、ステップＳ２０９において、カメラサーバ動作状況情報取得部２０８は、ステップＳ２０４及び、ステップＳ２０７又はステップＳ０８で得られた情報をもとに、正しく映像を配信できるカメラサーバ３を調べ、通信処理部２１１は、その情報を共有ディスク４へ書き込む。

（へ）次に、ステップＳ２１０において、動物体の位置・範囲検出部２０９は、カメラ映像取得部２０６によって取得されたカメラ映像から遠隔環境に存在する動物体を見つけ出し、その位置と範囲を検出する。そして、ステップＳ２１１において、通信処理部２１１は、ステップＳ２１０で得られた情報を共有ディスク４へ書き込む。

（ト）次に、ステップＳ２１２において、照明変動検出部２１０は、カメラ映像取得部２０６によって取得されたカメラ映像から遠隔環境の照明変動を検出する。そして、ステップＳ２１３において、通信処理部２１１は、ステップＳ２１２で得られた情報を共有ディスク４へ書き込む。

次に、端末装置１の動作について、図４を用いて説明する。

（イ）まず、ステップＳ３０１において、任意視点映像生成プログラムの起動時に、遠隔環境の情報（カメラ位置、カメラ特性情報、環境モデル情報（壁等の位置情報））を共有ディスク４から取得し、これらの情報をカメラ位置・特性情報・環境モデル情報保持部１１３は保持する。

（ロ）次に、ステップＳ３０２において、動作命令入力が入力される。ステップＳ３０３において、プログラム制御部１０２は、入力された命令が終了命令であるかどうかを判断し、終了命令であれば任意視点映像生成プログラムを終了する。終了命令でない場合は、プログラムの動作を継続する。

（ハ）次に、ステップＳ３０４において、ＵＩ部１０１は、ユーザが見たい視点位置と視線方向の入力を受け取る。そして、ステップＳ３０５において、環境管理サーバ２によって書き込まれた情報を受信し、物体が存在するか否かの情報を取得し、存在する場合は、更に動物体の位置と動物体が存在する範囲の情報を取得する。動物体の位置・範囲情報は、動物体の位置・範囲情報保持部１１４に保持される。

（ニ）次に、ステップＳ３０６において、環境管理サーバ２によって書き込まれた情報を受信し、遠隔環境で照明変動が起こったか否かの情報を取得する。照明変動情報は、照明変動情報保持部１１５に保持される。次に、ステップＳ３０７において、環境管理サーバ２によって書き込まれた情報を受信し、現在映像を提供できるカメラサーバ３の情報を取得する。このカメラサーバ動作状況情報は、カメラサーバ動作状況情報保持部１１６に保持される。

（ホ）次に、ステップＳ３０８において、任意視点映像生成処理判断部１０６は、初めて任意視点映像を生成するか否かを判断し、初めての場合は、ステップＳ３１０へ進み、初めてでない場合は、ステップＳ３０９へ進む。そして、ステップＳ３０９において、視点位置・視線情報と、動物体の位置・範囲情報と、照明変動情報と、カメラサーバ動作情報の変化の有無を調べ、すべて変化が無い場合は、ステップＳ３０２へ戻る。少なくとも１つに変化が有る場合は、ステップＳ３１０へ進む。ステップＳ３１０において、注視領域算出部１０７は、視点位置・視線情報と、環境モデル情報をもとに、環境のどの領域を注視しているのか算出する。

（へ）次に、ステップＳ３１１において、選択対象カメラ序列算出部１０８は、ユーザの視点位置・視線情報と、ステップＳ３１０において算出された注視領域と、カメラサーバの位置・特性情報と、カメラサーバの動作状況情報とをもとに、任意視点映像を生成するために適切なカメラの順位付けを行う。そして、ステップＳ３１２において、カメラ候補選択部１０９は、一度も選択されていないカメラサーバ３候補の中で、順位の最も高いカメラを選択する。

（ト）次に、ステップＳ３１３において、オクルージョン非発生領域算出部１１１は、環境モデル情報と、動物体の位置・範囲情報とを用いて、選択されたカメラ映像中でオクルージョンが発生しない領域を算出する。次に、ステップＳ３１４において、カメラ映像取得部１１０は、選択されたカメラサーバ３によって書き込まれた遠隔環境の映像を取得する。

（チ）次に、ステップＳ３１５において、任意視点映像生成部１１２は、オクルージョンの発生しない領域で、環境情報とカメラ映像をもとに変換を行い、任意視点映像を生成する。そして、ステップＳ３１６において、任意視点映像生成部１１２は、オクルージョンのために生成された任意視点映像に欠損部分が残っていないか、あるいはすべての候補のカメラサーバ３が選択されたかを判断し、欠損部分が残っていない場合、あるいはすべてのカメラサーバ３の候補が選択された場合は、任意視点映像の生成が完了したとして、ステップＳ３０２へ戻り、次フレームの任意視点映像を生成する。それ以外の場合は、ステップＳ３１２へ戻り、カメラ候補選択部１０９によりカメラサーバ３を選択し、現在のフレームの任意視点映像生成処理を継続する。

（作用及び効果）
本実施形態に係る映像生成システム、端末装置１及び映像生成方法によると、フレーム毎に、環境管理サーバが提供するカメラの動作や通信状態、遠隔環境に基づくカメラの利用可能性を判断することにより、適切なカメラサーバを選択するため、一部のカメラの故障などに対して、動的にリアルタイムに対応することができる。

又、オクルージョン発生などにより、任意視点映像に欠損部分が存在した場合、選択し直された次候補のカメラサーバを用いて、再度欠損部分の任意視点映像をリアルタイムに生成することができる。

又、本実施形態に係る端末装置１は、ユーザの視点位置・視線方向と、動物体の位置・範囲情報と、遠隔環境における照明変動情報と、カメラサーバの動作状況情報とをもとに、変化があったか否かを判断し、変化があったと判断した場合のみ、任意視点映像を生成することができる。このように、変化があった場合のみ、任意視点映像を生成し直すので、端末装置の処理負担を軽減できる。

本実施形態に係る映像生成システム及び環境管理サーバ２によると、複数のカメラサーバの状態を端末装置に送信することができる。このため、一部のカメラが故障しても、任意視点映像を生成することができる。

本実施形態に係る映像生成システム及びカメラサーバ３によると、カメラ映像をもとに、カメラが正しく動作しているか否かを調査することができる。この情報を環境管理サーバ２及び端末装置１に送信することにより、環境管理サーバ２及び端末装置１は、カメラサーバの状態を認識することができる。従って、一部のカメラが故障しても、任意視点映像を生成することができる。

（その他の実施形態）
本発明は上記の実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

例えば、本実施形態に係るカメラサーバ３は、カメラ動作診断部３０４を備えると説明したが、カメラサーバ３はカメラ動作診断部３０４を備えなくてもよい。この場合、図３のステップＳ２０１において取得する情報に、どのカメラサーバ３がカメラ動作診断部３０４を備えないかという情報を書き込んでおき、その情報をもとに、ステップＳ２０６において診断機能の有無を判断し、ステップＳ２０７においてカメラ動作診断を行うこととする。

又、端末装置１について、一つのＣＰＵに、選択対象カメラ序列算出部１０８、任意視点映像生成部１１２などをモジュールとして備えてもよいと説明したが、それぞれ異なるＣＰＵに備えられ、異なる装置としてもよい。その場合、複数の装置間をバスなどで接続するものとする。環境管理サーバ２及びカメラサーバ３についても同様である。

このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の実施の形態に係る映像生成システムの構成ブロック図である。 本発明の実施の形態に係る映像生成方法を示すフローチャートである（その１）。 本発明の実施の形態に係る映像生成方法を示すフローチャートである（その２）。 本発明の実施の形態に係る映像生成方法を示すフローチャートである（その３）。

符号の説明

１…端末装置
２…環境管理サーバ
３…カメラサーバ
４…共有ディスク
５…通信ネットワーク
１００…映像生成システム
１０１…ＵＩ部
１０２…プログラム制御部
１０３…任意視点映像処理部
１０４…環境情報保持部
１０５…視点位置・視線方向情報取得部
１０６…任意視点映像生成処理判断部
１０７…注視領域算出部
１０８…選択対象カメラ序列算出部
１０９…カメラ候補選択部
１１０…カメラ映像取得部
１１１…オクルージョン非発生領域算出部
１１２…任意視点映像生成部
１１３…カメラ位置・特性情報・環境モデル情報保持部
１１４…動物体の位置・範囲情報保持部
１１５…照明変動情報保持部
１１６…カメラサーバ動作状況情報保持部
１１７…通信処理部
２０１…ＵＩ部
２０２…プログラム制御部
２０３…環境情報管理部
２０４…カメラ位置・特性情報・環境モデル情報取得部
２０５…カメラサーバ接続状態監視部
２０６…カメラ映像取得部
２０７…カメラ動作情報取得部
２０８…カメラサーバ動作状況情報取得部
２０９…動物体の位置・範囲検出部
２１０…照明変動検出部
２１１…通信処理部
３０１…ＵＩ部
３０２…プログラム制御部
３０３…カメラ情報・映像取得部
３０４…カメラ動作診断部
３０５…映像取得部
３０６…通信処理部
３０７…カメラ部

Claims (5)

1. 複数のカメラサーバが設置された遠隔環境における任意視点映像を生成する端末装置であって、
   前記遠隔環境を管理する環境管理サーバから取得した、前記カメラサーバの位置・特性情報と、前記遠隔環境における環境モデル情報と、前記遠隔環境における動物体の位置・範囲情報と、前記遠隔環境における照明変動情報と、前記カメラサーバの動作状況情報とを保持する環境情報保持部と、
   ユーザの視点位置・視線方向情報と、当該ユーザの視点位置・視線方向情報及び前記環境モデル情報によって算出されたユーザの注視領域と、前記カメラサーバの位置・特性情報と、前記カメラサーバの動作状況情報と、前記動物体の位置・範囲情報とをもとに、現在使用できる前記カメラサーバのうち、注視領域を撮影できるカメラサーバの順位付けを行う選択対象カメラ序列算出部と、
   該選択対象カメラ序列算出部によって算出された順位をもとに、任意視点映像を生成するために一度も選択されていないカメラサーバの中で、順位の最も高いカメラサーバを選択するカメラ候補選択部と、
   ユーザの注視領域と、前記カメラサーバの位置・特性情報と、前記動物体の位置・範囲情報とをもとに、オクルージョン非発生領域を算出するオクルージョン非発生領域算出部と、
   該オクルージョン非発生領域算出部によって算出されたオクルージョン非発生領域において任意視点映像を生成し、当該任意視点映像に欠損部分が存在しており、かつ、選択されていないカメラサーバが残っている場合、前記カメラ候補選択部によって選択し直された次候補のカメラサーバを用いて、再度、前記欠損部分の任意視点映像を生成する任意視点映像生成部と
   を備えることを特徴とする端末装置。
2. 前記ユーザの視点位置・視線方向と、前記動物体の位置・範囲情報と、前記照明変動情報と、前記カメラサーバの動作状況情報とをもとに、変化があったか否かを判断する任意視点映像生成処理判断部を更に備え、
   前記任意視点映像生成部は、前記任意視点映像生成処理判断部が変化があったと判断した場合のみ、任意視点映像を生成することを特徴とする請求項１に記載の端末装置。
3. 遠隔環境に設置された複数のカメラサーバの通信機能並びにネットワークが正常に動作しているか否かを監視するカメラサーバ接続状態監視部と、
   前記カメラサーバの動作情報を取得するカメラ動作情報取得部と、
   前記カメラサーバ接続状態監視部と前記カメラ動作情報取得部が取得した情報により、使用可能なカメラサーバを特定するカメラサーバ動作状況情報取得部と、
   前記遠隔環境における任意視点映像を生成する端末装置へ、前記カメラサーバ動作状況情報取得部によって取得した使用可能なカメラサーバ情報を送信する通信処理部と
   を備えることを特徴とする環境管理サーバ。
4. 遠隔環境における任意視点映像を生成する端末装置に情報を提供するカメラサーバであって、
   前記遠隔環境の映像を取得する映像取得部と、
   前記映像取得部で得られた映像をもとに、カメラが正しく動作しているか否かを調査するカメラ動作診断部と、
   前記カメラ動作診断部によって取得したカメラ動作診断情報を送信する通信処理部と
   を備えることを特徴とするカメラサーバ。
5. 複数のカメラサーバが設置された遠隔環境における任意視点映像を生成する映像生成方法であって、
   前記遠隔環境を管理する環境管理サーバから、前記カメラサーバの位置・特性情報と、前記遠隔環境における環境モデル情報と、前記遠隔環境における動物体の位置・範囲情報と、前記遠隔環境における照明変動情報と、前記カメラサーバの動作状況情報とを取得するステップと、
   ユーザの視点位置・視線方向情報と、当該ユーザの視点位置・視線方向情報及び前記環境モデル情報によって算出されたユーザの注視領域と、前記カメラサーバの位置・特性情報と、前記カメラサーバの動作状況情報と、動物体の位置・範囲情報とをもとに、任意視点映像を生成するために適切な前記カメラサーバの順位付けを行うステップと、
   前記順位をもとに、任意視点映像を生成するために一度も選択されていないカメラサーバの中で、順位の最も高いカメラサーバを選択するステップと、
   ユーザの注視領域と、前記カメラサーバの位置・特性情報と、前記動物体の位置・範囲情報とをもとに、オクルージョン非発生領域を算出するステップと、
   前記オクルージョン非発生領域において任意視点映像を生成するステップと、
   前記任意視点映像に欠損部分が存在しており、かつ、選択されていないカメラサーバが残っている場合、前記選択するステップによって選択し直された次候補のカメラサーバを用いて、再度、前記欠損部分の任意視点映像を生成するステップと
   を含むことを特徴とする映像生成方法。

Images