JP2022041594A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】仮想視点映像の画質の低下を抑制する仮想視点を容易に設定できるようにする。【解決手段】制御装置１１８は、複数の撮像装置が行う撮影に基づく画像から仮想視点画像を生成するための仮想視点の設定を行う装置であって、ユーザ操作に基づき、仮想視点を設定する仮想視点設定部１０２と、複数の撮像装置に関する情報に基づいて、設定された仮想視点が変更されるように制御する仮想視点制御部１０４と、を有する。【選択図】図４

Description

本発明は、仮想視点映像を生成する際の仮想視点の制御技術に関する。

昨今、複数の撮影装置をそれぞれ異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点映像を用いて、指定された視点（仮想視点）からの見えを表す仮想視点映像を生成する技術が注目されている。仮想視点映像の場合、仮想視点を一定条件下で自由に設定できることから通常の映像と比較してユーザに高臨場感を与えられる一方、その映像品質は撮影に使用する撮像装置群の配置に影響を受ける。例えば、ある被写体（オブジェクト）をぐるりと取り囲むように撮像装置を設置した場合、撮像装置の台数が少ないほど隣のカメラとの撮影角度（視線方向同士の成す角）は広くなる。そのように隣り合う撮像装置の間の角度が広く開いた位置での仮想視点映像の生成は、撮像装置位置の高い校正精度や画像処理における高度な推定処理が必要となり、映像の品質を維持するのは難しく、原理的に画質低下が発生しやすい。この点、特許文献１には、撮像装置の故障の有無などや、撮像装置に設定されているフォーカス値、ズーム値などから仮想視点映像の空間内で影響のある範囲を制限領域として特定し、その制限領域をユーザに対して表示・通知する技術が開示されている。

特開２０１７－２１２５９２号公報

上記特許文献１の技術によれば、例えば故障した撮像装置がある場合にその影響を受ける領域が制限領域として示されることから、ユーザは当該制限領域には仮想視点を入れないようにすることで、仮想視点映像の画質低下を回避することができる。しかしながら、３次元空間の中で仮想視点を適切に設定するには高度な操作スキルや知識が求められるところ、回避すべき制限領域を把握できただけでは、より適切な位置に仮想視点を設定することまでは困難であった。
そこで、本開示の技術は、仮想視点映像の画質の低下を抑制する仮想視点を容易に設定できるようにすることを目的とする。

本開示に係る情報処理装置は、複数の撮像装置が行う撮影に基づく画像から仮想視点画像を生成するための仮想視点の設定を行う情報処理装置であって、ユーザ操作に基づき、仮想視点を設定する設定手段と、前記複数の撮像装置に関する情報に基づいて、前記設定手段にて設定された仮想視点が変更されるように制御する制御手段と、を備えたことを特徴とする。

本開示の技術によれば、仮想視点映像の画質の低下を抑制する仮想視点を容易に設定することができる。

画像処理システムの構成の一例を示すブロック図。 撮像モジュール１１０の配置の一例を示す図。 情報処理装置のハードウェア構成図。 制御装置の主要機能を表す機能ブロック図。 （ａ）は撮影対象空間を１５個の単位空間に分割した状態を示す図。（ｂ）は各単位空間の代表位置を示すテーブルの一例を示す図。 単位空間毎の空間評価値を示した図。 単位空間の空間評価値が変化した一例を示す図。 仮想視点候補）の位置を示す図。 仮想カメラの移動先の決定方法を説明する図。 仮想視点の自動制御を実現する処理の流れを示すフローチャート。 空間評価値を視線方向毎に付与した場合の一例を示す図。 単位空間がどの方向から見えているかを求める手法の説明図。 （ａ）及び（ｂ）は、どの方向から見えているかを考慮した空間評価値を用いて仮想視点の評価を行った場合の一例を示す図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
［実施形態１］

（基本的なシステム構成）
図１は、本実施形態に係る画像処理システムの構成の一例を示すブロック図である。画像処理システム１００は、複数の撮像モジュール１１０、スイッチングハブ１１５、サーバ１１６、データベース（ＤＢ）１１７、制御装置１１８、及び表示装置１１９を有する。複数の撮像モジュール１１０のそれぞれには、撮像装置であるカメラ１１１とカメラアダプタ１１２が、それぞれ内部配線によって接続されて存在する。各撮像モジュール１１０は、ネットワークケーブルによって伝送を行う。スイッチングハブ（以下、「ＨＵＢ」と表記）１１５は、各ネットワーク装置間のルーティングを行う装置である。撮像モジュール１１０それぞれは、ネットワークケーブル１１３でＨＵＢ１１５に接続されている。同様に、サーバ１１６、ＤＢ１１７及び制御装置１１８もネットワークケーブル１１３でそれぞれＨＵＢ１１５に接続されている。そして、制御装置１１８と表示装置１１９との間は、映像用ケーブル１１４で接続されている。各カメラ１１１は、同期信号に基づいて互いに高精度に同期して撮影を行う。本実施形態においては、全１００台の撮像モジュール１１０が、図２に示すとおり、撮影対象であるサッカーのフィールドを囲むように（便宜上１０台のみ図示）設置されている。図２は、撮像モジュール１１０の配置の一例を示す図であり、各撮像モジュール１１０は、地上からある一定の同じ高さに設置されているものとする。ただし、１００台の撮像モジュール１１０のカメラ１１１は、そのすべてが同じ注視点をむいて撮影を行っているわけではない。本実施形態では、全撮像モジュールを３つのグループに分け、それぞれ異なる注視点（例えば、一方のゴール前、センターサークル、他方のゴール前の３か所）を向いて、各グループに属する撮像モジュール１１０のカメラ１１１が撮影を行うものとする。また、撮像モジュール１１０がグループ分けされない場合においても、本実施形態は適用可能である。すなわち、複数のカメラ１１１がそれぞれフィールドにおける異なる領域を撮影することにより、フィールド全体が複数のカメラ１１１の画角に収まるように撮影される構成であってもよい。なお、本実施形態では撮像モジュール１１０の台数を１００台としているが、あくまでも一例でありこれに限定されない。

サーバ１１６は、撮像モジュール１１０で得られた撮影画像の加工、オブジェクトの三次元モデルの生成、生成された三次元モデルへの色付け（「テクスチャの貼り付け」、「テクスチャマッピング」とも呼ばれる）などを行う情報処理装置である。本実施形態において三次元モデルの生成対象となるオブジェクトは、選手やボールといった動体オブジェクトである。ここで、「三次元モデル」とは、オブジェクトの三次元形状を表す形状データを意味している。サーバ１１６は、本システムの時刻同期を行うための時刻同期信号を生成するタイムサーバ機能も有している。データベース（以下、「ＤＢ」と表記）１１７は、各撮像モジュール１１０で得られた撮影画像や生成された三次元モデル等のデータを蓄積したり、蓄積されているデータをサーバ１１６や制御装置１１８に提供したりする。制御装置１１８は、各撮像モジュール１１０やサーバ１１６を制御する情報処理装置である。また、制御装置１１８は、仮想カメラ（仮想視点）の設定にも利用される。表示装置１１９は、制御装置１１８においてユーザが仮想視点を指定するための設定用ユーザインタフェース画面（ＵＩ画面）の表示や、生成された仮想視点画像の閲覧用ＵＩ画面の表示などを行う。表示装置１１９は、例えばテレビ、コンピュータのモニタ、タブレットやスマートフォンの液晶表示部などであり、機器の種類は問わない。

（画像処理システムの動作）
次に、画像処理システム１００における大まかな動作を説明する。撮像モジュール１１０にて得られた撮影画像は前景背景分離等の所定の画像処理が施された後、次の撮像モジュール１１０に伝送される。同様に次の撮像モジュール１１０では、自モジュールにて得た撮影画像を、前の撮像モジュール１１０から受け取った撮影画像と合わせて、さらに次の撮像モジュール１１０に伝送する。このような動作を続けることにより、１００セット分の撮影画像（前景画像を含む）が、ＨＵＢ１１５を介してサーバ１１６へ伝送される。

サーバ１１６は、すべての撮像モジュール１１０から取得した視点の異なる撮影画像データ（以下、「複数視点画像データ」と呼ぶ。）に基づき、オブジェクトの三次元モデルの生成やレンダリング処理を行って、仮想視点画像を生成する。また、サーバ１１６は、時刻及び同期信号を各撮像モジュール１１０に対して送信する。時刻と同期信号を受信した各撮像モジュール１１０は、受信した時刻及び同期信号を用いて撮像を行い、撮影画像のフレーム同期を行う。即ち、各撮像モジュール１１０では同じ時刻に同期してフレーム単位で撮影が行われる。なお、撮影画像データのフォーマットについては、特に限定するものではない。例えば、画素単位のビット深度（８ビット、１０ビットなど）、画素単位の色を表現するフォーマット（ＹＵＶ４４４、ＹＵＶ４２２、ＲＧＢなど）を限定するものではない。画像ファイル形式についても限定しない。例えば、一般的なＰＮＧ（Portable Network Graphics）、やＪＰＥＧ（Joint Photographic Experts Group）の形式であるとする。

仮想視点画像の生成に際しては、まず、複数視点画像データから前景となるオブジェクト毎にそのシルエットが抽出される。シルエットを抽出する方法には、例えば背景差分法が用いられる。背景差分法は、予め背景画像としてオブジェクトが存在しない状態を撮影しておき、オブジェクトが存在する時間の画像と背景画像との差分を画素毎に求め、得られた差分値が閾値より大きい画素についてはオブジェクトに対応する部分であると判定する手法である。なお、オブジェクトのシルエットを抽出する手法については、特徴量や機械学習を用いる手法など様々な手法がある。次に、抽出したオブジェクトのシルエットを表す画像（シルエット画像）を使用して、ＶｉｓｕａｌＨｕｌｌ方式によってオブジェクトの３次元モデルを生成する。ＶｉｓｕａｌＨｕｌｌ方式では、まず、３次元モデルの対象となるオブジェクトについて、そのシルエットを、物理カメラ１１１の光学主点位置から仮想的にオブジェクト方向に逆投影する。その結果、光学主点位置を頂点とし、断面がオブジェクトのシルエットとなる錐体領域が形成される。そして、物理カメラ１１１毎に形成された錐体領域の重複領域（論理積）をオブジェクトの３次元モデルとする。なお、３次元モデルを生成する手法についても、複数の撮影画像間で共通する特徴点を抽出し、抽出した特徴点の３次元上の位置を算出して形状を推定する手法など、様々な手法がある。最後に、生成したオブジェクトの３次元モデルに対して、各物理カメラ１１１の撮影画像に含まれる色情報（テクスチャ情報）を利用して色を付ける。本実施形態では、各物理カメラ１１１の各撮影画像からの３次元モデルを構成する各点との距離を表す距離画像を生成して利用する。具体的には、距離画像が表す距離情報から、３次元モデルまでの距離が最も近い物理カメラを選択し、その物理カメラの対応する画素位置の色情報を取得して、３次元モデルに色を付ける。色の付け方についても距離が近い複数のカメラの色をブレンドするなど、様々な手法がある。以上のような処理により、任意の仮想視点からの見えを表す仮想視点画像が得られる。なお、仮想視点映像を生成する際に、上述のモデルベースの方式に代えて、モーフィング方式やビルボーディング方式を用いてもよい。モーフィング方式は、近接したカメラ間の映像をカメラの位置関係に応じて補間することで合成し、カメラ間の仮想視点映像を生成する方式である。また、ビルボーディング方式は、撮影画像の被写体の２次元画像を抜き出し、仮想視点に応じて３次元空間上で射影演算処理によって向きを変えることで仮想視点映像を生成する方式である。こういった、物理カメラによる複数の撮影画像を合成処理や射影変換処理することで仮想視点映像を取得する手法はイメージベースレンダリングと呼ばれる。

上記のような画像処理システムにおいて、本実施形態では、物理カメラ１１１の故障等による影響を抑えつつ、より適切な仮想視点の設定制御を可能にするものである。

（情報処理装置のハードウェア構成）
続いて、サーバ１１６及び制御装置１１８といった情報処理装置のハードウェア構成について、図３を用いて説明する。なお、撮像モジュール１１０ａ～１１０ｊ内のカメラアダプタ１１２ａ～１１２ｊなども、基本的には同様のハードウェア構成を有している。情報処理装置は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、通信Ｉ／Ｆ２０５、操作部２０６及びバス２０７を有する。

ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているプログラムやデータを用いて情報処理装置の全体を制御する。なお、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２０３は、補助記憶装置２０４から提供されるプログラムやデータ、及び通信Ｉ／Ｆ２０５を介して外部から提供されるデータなどを一時記憶する。補助記憶装置２０４は、例えばＨＤＤやＳＳＤ等で構成され、画像データや音声データといった入力データの他、後述の各種処理で参照されるテーブル、各種アプリケーションプログラムなど、様々なデータやプログラムを記憶する。通信Ｉ／Ｆ２０５は、外部装置との通信に用いられる。例えば、外部装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０５に接続され、外部装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０５はアンテナを備える。操作部２０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。バス２０７は、上記各部を繋いでデータや信号を伝達する。

なお、本実施形態では、制御装置１１８から仮想カメラ（仮想視点）の位置・姿勢を示す情報（仮想視点情報）が提供されてサーバ１１６にて仮想視点映像が生成され、それをユーザは表示装置１１９にて視聴するシステム構成としている。しかし、システム構成はこれに限定されるものではない。例えば、仮想視点情報を入力するためのユーザインタフェース機能と仮想視点映像を視聴するためのユーザインタフェース機能とを兼ね備えた１台の情報処理装置がシステム内に組み込まれていてもよい。

（制御装置の機能構成）
次に、仮想視点の設定・制御を行う制御装置１１８の機能構成を説明する。図４は、制御装置１１８における、仮想視点の設定に関わる主要な機能を表した機能ブロック図である。図４に示す各部の機能は、制御装置１１８のＣＰＵが所定のプログラムを実行することで実現される。

データ取得部１０１は、上述の複数視点画像データ及び、各撮像モジュール１１０ａ～１１０ｊ内の物理カメラ１１１ａ～１１１ｊのカメラパラメータをＤＢ１１７から取得する。ここで、カメラパラメータは、カメラ１１１の状態を表す情報であり、各物理カメラ１１１の世界座標上の３次元位置（設置位置）、姿勢（カメラの撮影方向）、画角、焦点距離、主点（カメラ画像上の中心）などを表すパラメータである。なお、カメラパラメータは、予め各物理カメラ１１１のカメラ位置を校正するための校正パターンを撮影し、校正パターンを基準として定義される３次元座標と２次元のカメラ座標との座標変換を行うことにより測定、算出されているものとする。

仮想視点設定部１０２は、例えばジョイスティック、マウス、キーボードといった入力デバイスを介したユーザ操作に基づき、仮想カメラ（仮想視点）を設定し、仮想視点映像を生成するための仮想視点を表す情報（仮想視点情報）を生成する。ここで、仮想視点情報には、ユーザが指定した仮想カメラの世界座標上の３次元位置、姿勢（向き）、焦点距離、主点（カメラ画像上の中心座標）、および仮想視点画像の生成に用いる複数視点画像（フレーム）を特定する時刻情報を含む。生成された仮想視点情報は、仮想視点制御部１０４に出力される。

視点評価部１０３は、撮影対象の３次元空間において、現在設定中の仮想視点及び予め設定した複数の仮想視点候補について、画質低下の起きやすさを定量的に評価する。視点評価部１０３の詳細については後述する。評価結果は、仮想視点制御部１０４に出力される。

仮想視点制御部１０４は、仮想視点設定部１０２から入力された仮想視点情報で特定される仮想視点を、視点評価部１０３から入力された評価結果に基づいて、画質低下の生じにくいより適切な仮想視点（移動先）を決定する。仮想視点制御部１０４の詳細については後述する。

以上が、制御装置１１８の仮想視点の設定・制御に関わる機能部の概要である。そして、仮想視点制御部１０４にて生成される移動先の仮想視点に対応する仮想視点情報が、サーバ１１６へと送られ、サーバ１１６において仮想視点映像の生成が実行されることになる。

＜空間評価値＞
続いて、視点評価部１０３が仮想視点の評価に用いる空間評価値について説明する。本明細書における空間評価値とは、撮影対象の３次元空間を一定の体積を持つ部分空間（以下、「単位空間」と表記）に分割したときの、各物理カメラからの見え具合を単位空間毎に数値化したものである。図５（ａ）は、撮影対象空間であるサッカーのフィールド５０１を、１５個の単位空間Ａ～Ｏに等分に分割した状態を示している。そして、各単位空間Ａ～Ｏ内の黒丸５０２は、各単位空間を代表する位置を示す。各単位空間とその代表位置は予め決定され、例えば図５（ｂ）に示すようなテーブル形式で保持されているものとする。いま、単位空間Ａの代表位置を表す座標値は（Ｘａ，Ｙａ，Ｚａ）であり、以下同様に、単位空間Ｂの代表位置を表す座標値（Ｘｂ，Ｙｂ，Ｚｂ）から単位空間Ｏの代表位置を表す座標値（Ｘｏ，Ｙｏ，Ｚｏ）までが図５（ｂ）のテーブルに記載されている。なお、説明を容易にするため、図５（ａ）ではフィールド５０１をＺ方向から俯瞰したＸＹ平面で示しているが、実際には各単位空間は立体空間であり、Ｚ方向にも値を持つ。また、この例ではＺ方向には空間を分割していないが、Ｚ方向にも分割してさらに細かく単位空間を規定してもよい。また、それぞれの単位空間の大きさは等分である必要はなく不均一でもよい。さらにその形状についても直方体以外の任意の形状でもよい。また、単位空間同士で一部が重複してもよいが、オブジェクトの３次元モデルは必ずいずれかの単位空間に含まれるものとする。

図６は、図５（ａ）に示す１５個の単位空間Ａ～Ｏそれぞれに対する空間評価値の一例を示した図である。図６の例では、単位空間A～Oに対応する空間評価値が数値により表されており、値が大きいほど、対応する領域を画角内に含むカメラの数が多いことを示す。例えば、単位空間Ａ、Ｅ、Ｋ、Ｏの空間評価値は“１８”であるのに対し、それ以外の単位空間の空間評価値は“１９”～“２１”である。これはフィールド５０１の各コーナー領域を含む単位空間を画角内に収めている物理カメラの数が相対的に少ないことを意味している。このような空間評価値が低い単位空間を含むような画角を持つ仮想視点を設定した場合には、仮想視点映像の画質が低下する可能性が高いことになる。図６に示される単位空間毎の空間評価値は、各物理カメラ１１１の撮影画像およびカメラパラメータに基づき算出できる。具体的には、まず、各単位空間の代表位置に対して各物理カメラ１１１のカメラパラメータを用いて射影変換を行い、各物理カメラ１１１のカメラ座標に変換する。例えば単位空間Ａの場合、その代表位置の座標値（Ｘａ，Ｙａ，Ｚａ）を各物理カメラ１１１のカメラパラメータを使用して射影変換を行った結果を座標値（Ｘｃｏｎｖ，Ｙｃｏｎｖ）であるとする。そして、変換後の座標値（Ｘｃｏｎｖ，Ｙｃｏｎｖ）がある物理カメラ１１１の画角座標内である場合に、単位空間Ａは当該物理カメラ１１１の画角内にあるものと見做す。いま、各物理カメラ１１１の画像解像度が横１９８０画素、縦１２００画素であったとする。この場合、変換後の座標値（Ｘｃｏｎｖ，Ｙｃｏｎｖ）が、０≦Ｘｃｏｎｖ＜１９８０、０≦Ｙｃｏｎｖ＜１２００、に当て嵌まるような代表位置の単位空間であれば、対象となる物理カメラの画角内であると判断できる。このような判定処理を全ての物理カメラ１１１について行い、ある物理カメラの画角内に含まれると判断された数を単位空間毎に集計し、単位空間毎の空間評価値を求める。つまり、図６に示される単位空間毎の空間評価値は、各単位空間が、どれだけの数の物理カメラから見えているか（物理カメラ視点数）を示すこととなる。

＜仮想視点制御部の詳細＞
続いて、仮想視点制御部１０４について詳しく説明する。その前に、本開示に係る技術の課題について確認しておく。例えば、上述の図６に示す単位空間毎の空間評価値の一覧データを、例えば表示装置１１９に表示することでユーザはフィールド５０１内のどこに仮想視点を設定すれば画質低下が起きにくいかを事前に把握することが可能となる。ただし、突然に一定数の物理カメラ１１１が故障するなどして一部の撮影画像が取得できなくなった場合に、それにより画質低下を回避しつつ適切な仮想視点を速やかに設定するのは困難である。仮想的な撮影空間の中で、現在どの場所をどの方向からどのような画角で見ているかを正確に把握し、物理カメラの故障の影響範囲との関係を計算しながら適切な位置に仮想視点を設定するのは、極めて高度なスキルと知識が要求される。そこで、本実施形態では、上記空間評価値を随時更新し、最新の空間評価値を仮想カメラ（仮想視点）の設定制御に反映して、適切な仮想視点が自動的に設定されるようにする。

図７は、フィールドの周囲に配置した１００台の撮像モジュール１１０のうち一定数について異常が発生し、単位空間Ｉの空間評価値が“２１”から“１０”に変化したことを示している。なお、いずれかの撮像モジュール１１０において、内部の物理カメラ１１１或いはカメラアダプタ１１２に異常が発生した場合にはその事実が当該撮像モジュール１１０から通知されてＤＢ１１７内に異常情報として格納されるものとする。そして、制御装置１１８は当該異常情報を随時参照できるものとする。また、撮像モジュール１１０自身では認識できない故障が発生する場合もある。そこで、ＤＢ１１７に格納された各撮像モジュール１１０の撮影画像を解析して何らかの異常が見つかった場合に、撮像モジュール１１０の故障と判断し、異常情報として格納してもよい。画像解析によって見つかる異常としては、例えば、撮影画像に不自然な色が存在する、撮影画像に線が入っている、など一部データの中身が破壊されているようなケースが考えられる。そして、上記のような異常が発生した状態下における、仮想カメラの現在位置が図中の矩形７０１で示され、その画角が２点鎖線の台形７０２で示されている。画角内に含まれる単位空間についてその空間評価値が大きく減少する時、仮想視点映像における画質低下の影響が大きい。すなわち、ユーザは、明らかに映像品質の低下を感じることになるため、仮想カメラ（仮想視点）を自動で移動してその影響を回避する。以下、その具体的な方法を説明する。

図８は、本実施形態において自動移動先となり得る６つの候補（以下、「仮想視点候補」と表記）の位置を示す図である。図６の例では番号１～６まで６つの仮想視点候補が１点鎖線の矩形で示され、さらに各仮想視点候補における画角が１点鎖線の台形で示されている。これら仮想視点候補は予め定めておく。この際、仮想視点候補の数や位置は任意である。また、例えば複数の仮想視点候補から成る移動パターンを用意しておき、現在の仮想視点位置に応じて異なる移動パターンを選択して、その中から移動先を決定してもよい。仮想視点候補の位置とその画角を決定する際には、従来、複数の物理カメラで撮影している状況下で特定のカメラから別のカメラに切り替える場合に準じればよい。すなわち、物理カメラで撮影する場合において通常の切り替え先となるようなカメラ位置及び画角と同じようなカメラ位置と画角を仮想視点候補として設定することで、自動で仮想視点が切り替わった後も違和感を少なくできる。仮想カメラの場合は現実の３次元空間に実際に設置する訳ではないため物理カメラよりも数の制約が少なく、多くの仮想視点候補を設定することが可能である。

図９は、上記図７に示したように空間評価値に変化があった場合の仮想カメラの移動先として、図８に示された６つの仮想視点候補の中から番号４の仮想視点候補が選択される様子を示している。いま、仮想視点が位置７０１にあって、その画角内に含まれる単位空間Ｉの空間評価値が“２１”から“１０”に低下している。複数の仮想視点候補の中から１つの移動先を決定する際には、最も画質劣化が起きにくい仮想視点候補を、各仮想視点候補の画角内に含まれる単位空間の空間評価値に基づいて決定する。具体的には、各仮想視点候補について、その画角内に含まれるすべての単位空間の空間評価値の平均値（以下、「視点評価値」と呼ぶ。）を求め、得られた視点評価値が最大となる仮想視点候補を、移動先として決定する。ここで、対象の仮想視点候補の画角内に各単位空間が「含まれる」かどうかは、前述の図５の表に示す単位空間毎の代表位置の座標が、画角の範囲内にあるかどうかで判断する。各単位空間の代表位置の座標値を、仮想カメラのカメラパラメータを使用してカメラ座標に変換し、変換後の座標値が画角の範囲内にある場合に、その単位空間は仮想視点候補の画角に含まれると判断される。

以下の表１は、図８に示す番号１～６の仮想視点候補それぞれに対する、単位空間Ｉの空間評価値が“２０”から“１０”に変化後の視点評価値をまとめたものである。

例えば、番号１の仮想視点候補の場合は、その画角内に４つの単位空間（Ａ、Ｂ、Ｃ、Ｄ）が含まれることから、その視点評価値は｛（18+19+20+21）÷4｝となるので、上述の表１にあるように“１９．５”となる。そして、現在位置７０１においては、５つの単位空間（Ｃ、Ｄ、Ｅ、Ｉ、Ｎ）が含まれることから、その視点評価値は｛（19+19+18+10+19）÷5｝となるので、その画角内にける視点評価値は“１７．０”まで低下していることになる。

そして、単位空間毎の空間評価値を都度更新した上で、現在の仮想カメラ位置における視点評価値を算出し、算出した視点評価値が予め規定した閾値未満になった場合、仮想視点制御部１０７によって自動で仮想カメラを遷移させる。具体的には、現在の仮想カメラ位置の視点評価値が一定基準未満になった時点で、予め設定されたすべての移動先項候補について視点評価値を求め、視点評価値が最も高かった仮想視点候補の位置に仮想カメラを移動させる。この際、視点評価値が最大値を取る仮想視点候補が複数存在した場合には、仮想カメラの現在位置に近い方を選択するなどすればよい。閾値としては、例えば全単位空間の空間評価値の最小値などを用いる。上述の例では、空間評価値の最小値は各コーナーの単位空間（Ａ、Ｅ、Ｋ、Ｏ）の“１８”であり、これを閾値とした場合には現在の仮想カメラの位置７０１の視点評価値“１７．０”はこれを下回ことになる。この例の場合、上記表１によって、最も視点評価値が高い仮想視点候補は番号１と番号４の“１９．５”であるので、より現在位置７０１に近い番号４の仮想視点候補が、移動先として決定されることになる。なお、閾値をより大きな値にすることで、空間評価値の比較的小さな変化にも追従して仮想カメラを自動で制御することが可能となる。ただし、変化への追従よりも、画質の低下をある程度許容してでもユーザの仮想カメラの操作を優先したい場合がある。その場合には、閾値をより小さな値にすることで、空間評価値に大きな変化があった場合のみ自動制御を有効とすることが可能となる。

上記のような自動制御によって仮想カメラの位置（仮想視点）を移動させた場合、ユーザ側からの見え方として、あたかも視点の異なるカメラに瞬時に切り替わったかのような映像となる。そこで、滑らかに映像を切り替えたい場合は、仮想視点候補の中から移動先が決定した後、現在の仮想視点位置から移動先までの経路上を、一定の時間をかけて遷移するように仮想カメラの移動制御を行えばよい。いま、仮想視点映像の生成を６０フレーム／秒で行っていることとし、仮想視点の指定（サーバ１１６に対する仮想視点情報の送信）を仮想視点制御部１０７が毎フレーム行っているとする。この場合、現在位置の座標と移動先の座標Ｘの差分ΔＸを予め定められた一定の時間Ｔ秒（６０フレーム／秒）で移動させるようにする。具体的には、座標の差分値ΔＸ／（６０フレーム×Ｔ秒）を毎フレーム、現在の仮想視点位置の座標に加算していけばよい。座標Ｙ、Ｚについても同様である。

なお、一定の時間ではなく一定の速度で移動させてもよい。その場合、座標の差分値の増量ΔＸが一定となるので、毎フレームΔＸを現在の仮想視点の座標に加算すればよい。座標Ｙ、Ｚについても同様である。

さらには、短時間で大きく現在位置における視点評価値が変化した場合、すなわち、一定時間内に、閾値を下回る前の視点評価値と閾値を下回った後の視点評価値との差が予め規定した値以上となった場合には、仮想点位置を瞬時に変更する方が望ましい。視点評価値が短時間で大きく変化した場合は、生成している仮想視点映像の品質に大きな影響があり、画質低下が顕著に現れるためである。また、視点評価値の変化量が大きいほど移動速度を早くするなど、変化の度合いに応じて仮想視点位置を変更するようにしてもよい。

＜仮想視点（仮想カメラ）の自動制御＞
続いて、上述した仮想視点の自動制御を実現する処理の流れを図１０のフローチャートを用いて説明する。図１０のフローチャートに示す一連処理は、制御装置１１８のＣＰＵ２０１が所定のプログラムをＲＯＭ２０２等から読み込んでＲＡＭ２０３に展開し、これをフレーム単位で実行することで実現されるものとする。また、制御開始の時点で、生成元となる複数視点画像データがデータ取得部１０１によって取得されているものとする。なお、以下の説明において符号「Ｓ」はステップを意味する。

Ｓ１００１では、視点評価部１０３が、撮像モジュール１０１の異常情報とカメラパラメータに基づいて、撮影対象空間の各単位空間についての空間評価値を更新する。次のＳ１００２では、視点評価部１０３が、現在の仮想視点に対する視点評価値を算出する。続くＳ１００３では、Ｓ１００２で算出した視点評価値が一定の条件を満たしているか否か、具体的には予め規定した閾値を下回っていないかが判定される。判定の結果、算出された視点評価値が閾値未満である場合は、現在の仮想視点をいずれかの仮想視点候補に遷移させるためＳ１００４に進む。一方、算出された視点評価値が閾値以上であれば、Ｓ１００７に進む。

現在の仮想視点の視点評価値が閾値未満になった場合のＳ１００４では、仮想視点制御部１０４が、予め設定された複数の仮想視点候補のうち、処理対象となる注目する仮想視点候補について、Ｓ１００１にて更新後の空間評価値に基づき、視点評価値を算出する。すなわち、仮想視点候補の数Ｎの分だけ視点評価値の算出が本ステップで実施される。本実施形態では、上述の図８に示す６つの仮想視点候補のそれぞれについて、視点評価値の算出が順次行われることになる。

全ての仮想視点候補に対する視点評価値の算出が完了すると、Ｓ１００５にて、仮想視点制御部１０４が、算出結果に基づき、最も視点評価値の高かった仮想視点候補を移動先に決定する。次のＳ１００６では、仮想視点制御部１０４が、Ｓ１００５にて決定した移動先への変更指示となる仮想視点情報を生成し、サーバ１１６に送信する。この際には、前述のようにあたかも物理カメラが切り替わるかのように仮想視点を瞬時に移動させてもよいし、複数フレームに亘って滑らかに移動させてもよい。また、仮想視点を自動で移動させる変更指示を行う場合、その後一定時間、ユーザによる仮想カメラの操作を中止するようにしてもよい。自動で仮想カメラを移動させた後にユーザによる仮想カメラの操作を一旦中止することで、ユーザが状況を把握して落ち着くまで画質を維持した状態で仮想視点映像の生成を継続することが可能となる。そして、ユーザが状況を把握して落ち着いた後、改めてユーザによる仮想カメラの操作に戻してもよい。
Ｓ１００７では、仮想視点映像の生成が終了か否かが判定される。予定されたフレーム数分の仮想視点映像の生成が完了していれば本処理を終了する。一方、未処理のフレームがあれば、Ｓ１００１に戻って処理が続行される。

以上が、本実施形態に係る、仮想視点の自動制御の内容である。なお、本実施形態では予め必要な複数視点画像データが取得済みであることを前提に説明を行ったがこれに限定されない。仮想視点映像の生成に必要な複数視点画像データを間断なく取得できるのであれば、撮像モジュール１０１による撮影と並行して上記の処理を行ってもよい。

＜変形例１＞
上述の実施形態では、撮像モジュールの故障等によって特定の単位空間における物理カメラ視点数に変化が生じたことにより、視点評価値に変化が生じた場合の対処法であった。しかしながら上述の手法は、視点評価値の変化とは無関係に、撮像モジュールの配置に伴い最初から空間評価値が低い単位空間が存在しているケースにおいても同様に適用できる。例えば、前述の図６において、各コーナーを包含する単位空間（Ａ、Ｅ、Ｋ、Ｏ）における物理カメラ視点数が当初から“１０”であったとする。この場合において、これら４つの単位空間（Ａ、Ｅ、Ｋ、Ｏ）をその画角内に含むようにユーザが仮想視点を指定したとする。このとき、当該指定された仮想視点の評価を行い（前述の図１０のフローのＳ１００２）、その評価結果に応じて前述した自動制御（Ｓ１００３～Ｓ１００６）を行えばよい。これにより、当初から空間評価値の低い特定の単位空間については仮想視点の画角内に入らないように制御することが可能となる。

＜変形例２＞
さらに、上述の実施形態では、予め定めた仮想視点候補の中から移動先を決定していたが、これに限定されない。例えば、同時刻に別のオペレータによって操作される他の仮想カメラが複数存在する場合には、当該他の仮想カメラの中から移動先を決定してもよい。この場合も、上記図１０のフローによって対応可能である。具体的には、図１０のフローチャートにおける「仮想視点候補」を、その時点で存在する「他の仮想カメラ」と読み替えて適用すればよい。この場合、最も視点評価値が高い他のユーザ制御に係る仮想カメラの位置に自動で移動することになる。よって、移動後の仮想カメラの制御については、移動先の仮想カメラを操作していたユーザが担うようにすればよい。

＜変形例３＞
また、仮想視点候補の視点評価値を算出する際に、現在の仮想視点から各仮想視点候補までの距離を考慮してもよい。例えば、前述の図９の例において、現在の仮想視点位置７０１から仮想視点候補４～６までの距離は、仮想視点候補１～３までの距離と比較して近い。仮想カメラの移動を自動で行う際にはなるべくユーザに違和感を与えないようにするのが望ましく、そのためには移動距離は短い方がよい。そこで、仮想視点候補を評価する際に、現在の仮想視点位置からの距離に応じて、各単位空間の空間評価値に重み付けを行う。具体的には、現在の仮想視点位置からの距離が近いほど重みを大きくして視点評価値の算出を行う。どの程度の重み付けを行うかはユーザが任意に設定すればよく、例えば画質低下が生じたとしても仮想視点が大きく変化（すなわち、仮想カメラの移動距離が長い）するのは望ましくないと考える場合は、重み付けを大きくする。さらには、現在の仮想カメラの光軸と仮想視点候補の光軸との成す角度に応じて、各単位空間の空間評価値に重み付けをしてもよい。例えば角度が０度に近いほど重みを大きくすることで、角度の変化が少ない仮想視点候補を優先的に選択することが可能となる。

＜変形例４＞
さらには、仮想視点候補の視点評価値を算出する際に、被写体（オブジェクト）の存在する位置を考慮してもよい。オブジェクトの位置情報については、各オブジェクトの３次元モデル生成時に得られているのでそれをサーバ１１６から取得すればよい。そして、オブジェクトの位置座標（Ｘ，Ｙ，Ｚ）が各単位空間の座標範囲内に含まれるどうかを判定し、判定結果に応じた重み付けを、単位空間の空間評価値に対して行う。具体的には、物理カメラ視点数を空間評価値とする上述の実施形態の場合であれば、物理カメラ視点数に重み分の係数を乗算する。この際、オブジェクトが存在する場合に空間評価値を高く評価するため、重みは１より大きな値とする。どの程度大きな値とするかは、ユーザがオブジェクトの存在を重視する度合いに応じて予め決めておけばよい。さらには、存在するオブジェクトの数が多いほど重みを大きくするなど、存在する数に応じて重みを変えてもよい。なお、複数のオブジェクトの中で注目度の高低がある場合には、注目度が高いオブジェクトほど重みを大きくするなど、注目度に応じて重みを変えてもよい。これにより、ユーザの関心が高いと考えられる、オブジェクトの存在する空間をより高く評価した結果に応じた仮想視点の制御が可能となる。

以上のとおり本実施形態によれば、撮像モジュールの故障等に伴い現在の仮想視点の視点評価値が低下した場合に、一定レベル以上の画質が見込めるような位置に仮想視点を自動で遷移させる。これにより、ユーザの操作スキルや知識に拠らず、画質低下を回避可能な適切な位置に仮想カメラを容易に設定することが可能になる。

［実施形態２］
実施形態１では、単位空間の空間評価値をその代表位置が見えている物理カメラの数としていた。次に、単位空間がどの方向から見えているかについても考慮した空間評価値を用いる態様を、実施形態２として説明する。なお、システム構成などの基本構成は実施形態１とするため、以下では実施形態１との差異点である空間評価値の求め方とそれに基づく仮想視点ないしは仮想視点候補の評価を中心に説明を行うものとする。

本実施形態の具体的な説明に入る前に、単位空間がどの方向から見えているかが、仮想視点映像の画質に与える影響について説明する。いま、ある座標を代表位置とする単位空間が、１０台の物理カメラから見えている場合を考える。そして、ある方向からは９台の物理カメラから見えていて、その１８０度反対方向（Ｚ座標を固定としたＸＹ平面上の視点で反対方法）からは１台の物理カメラしか見えていないとする。この場合、１台のみからしか見えていない方向の仮想視点に対応する仮想視点映像では、画質が低下する可能性が高い。具体的には、どのような仮想視点映像の生成手法によっても、唯一見えている物理カメラの視線方向に選手が重なることで遮蔽領域（オクルージョン）が発生し、当該遮蔽領域部分の形や色を他の物理カメラの撮影画像によって補填することが不可能となる。よって、空間評価値に視線方向の要素を加えることで、より望ましい評価指標になると考えられる。

図１１に、本実施形態に係る、空間評価値を視線方向毎に付与した場合の一例を示す。まず、実施形態１の場合と同様、撮影対象空間を単位空間に分割し、単位空間毎に代表位置を求める。次に、各単位空間の代表位置について、どの角度が何台の物理カメラから見えているかを求める。図１１の例では、単位空間の代表位置に対して９０度ずつ、すなわち、３６０度を４つの方向範囲に分けて、それぞれの角度範囲で単位領域が見えている物理カメラの台数を求めている。図１１において単位空間Ａは、０度～９０度の角度範囲からは６台、９０度～１８０度の角度範囲からは８台、１８０度～２７０度の角度範囲からは６台、２７０度～３６０度（＝０度）の角度範囲からは４台の物理カメラから見えていることを示している。そのため、単位空間Ａを９０度～１８０度の角度範囲から見る仮想視点の場合、２７０度～３６０度の角度範囲から見る仮想視点と比較して、見えている物理カメラが多いことから、より高画質な仮想視点映像を生成することができる。

ここで、図１２を参照して、単位空間がどの方向から見えているかを求める手法について説明する。いま、ある物理カメラ１２００の画角の範囲内に、ある単位空間１２０１の代表位置１２０２を含んでいるとする。この時、１８０度～２７０度の角度範囲の代表ベクトル１２０３を、代表位置１２０２を２２５度の方向から示すベクトル１２０３として規定する。図１２において、この代表ベクトル１２０３と物理カメラ１２００の光軸１２０４との成す角度αは、マイナス４５度～プラス４５度までの値になる。この時、物理カメラ１２００は、１８０度～２７０度の角度範囲から単位空間１２０１が見えている物理カメラとしてカウントされる。そして、０度～９０度、９０度～１８０度、２７０度～３６０度についても同様に、それぞれの角度を４５度に分割する位置に代表ベクトルを規定する。光軸１２０４を持つ物理カメラ１２００の場合、１８０度～２７０度の視点以外の方向では、代表ベクトルと物理カメラの光軸との角度がマイナス４５度～プラス４５度までの値にならない。例えば、２７０度～３６０度の間の代表ベクトル１２０５と光軸１２０４との成す角度βは９０度以上開いている。

上述のようにして、どの方向から見えているかについても考慮した空間評価値を単位空間毎に求めた結果、前述の図１１に示すように、９０度ずつ分割した各角度範囲について物理カメラの視点数がそれぞれ求まる。ここで、単位空間１２０１をその画角内に含むある仮想カメラについて、その視線方向を評価することを考えた場合、上述したように当該仮想カメラの光軸との角度を求めることで、４つの角度範囲のいずれから代表位置１２０２を見ているかを判定できる。
図１３（ａ）及び（ｂ）は、上記判定の結果に基づき、どの方向から見えているかについても考慮した空間評価値を用いて、現在の仮想視点の評価（Ｓ１００２）や仮想視点候補の仮想視点の評価（Ｓ１００４）を行った場合の結果の一例を示している。図１３（ａ）において、仮想カメラ１３００の画角内に代表位置が含まれる５つの単位空間（Ｄ、Ｉ、Ｊ、Ｎ、Ｏ）の空間評価値を用いて視点評価値が算出される。この際、仮想カメラ１３００の光軸１３０１がマイナス４５度～プラス４５度までの範囲に含まれる角度の空間評価値を使用する。図１３の例では、１８０度～２７０度の範囲から見ている物理カメラの視点数（図中の白抜き数字：１８、１９、２０、１７、１６）が用いられることになる。同様に、仮想視点候補における視点評価値を算出する際にも、それぞれの仮想視点候補の光軸を参照することで、４分割したいずれの方向範囲の空間評価値を使用するかを決定する。図１３（ｂ）は、図１３（ａ）における仮想カメラ１３００の１８０度反対側の位置の仮想カメラ１３００’から、同じ５つの単位空間（Ｄ、Ｉ、Ｊ、Ｎ、Ｏ）を見た場合を示している。この際、仮想カメラ１３００’の光軸１３０１’が０度～９０度の方向範囲に含まれるため、各単位空間の０度～９０度の角度範囲から見ている物理カメラの視点数（図中の白抜き数字：１２、１２、１４、１４、１３、１２）が用いられることになる。図１３（ａ）の場合と比較して、各単位空間における空間評価値は低いことから、同じ単位空間を含む画角であっても方向によって視点評価値が異なることが分かる。
このようにどの角度からみているかという点も評価指標とすることで、より適切な視点評価値が得られる。なお、本実施形態では、３６０度を９０度ずつ４つの角度範囲に分割した場合を例に説明したが、この場合の分割数は任意である。例えば３０度ずつ１２個の角度範囲に分割するなどより細かく分割することで精度は高まるが、その分だけ演算負荷が高まる。そのため、システムの処理能力や、仮想視点の評価において何を重視したいかに応じて、分割する際の角度の細かさをユーザは選択すればよい。さらには、撮影対象空間の分割数（単位空間のサイズ）についても同様のことがいえる。例えば、撮影対象空間をより緻密に評価したい場合は単位空間を細かく設定して物理カメラ視点数のみで評価し、方向を重視したい場合は角度範囲を細かく分割しつつ単位空間は粗めにするといった具合に調整すればよい。

なお、理解を容易とするため、Ｘ方向とＹ方向の２次元で話を進めたが、撮影対象空間の分割と同様、角度範囲の分割についても３次元的に行ってもよい。すなわち、単位空間の代表位置を中心に自由な方向に一定の角度範囲を定義して分割してよい。また、本実施形態は、前述の実施形態１及びその変形例１～４と適宜組み合わせてもよい。

以上のとおり本実施形態によれば、どの方向から見えているかについても考慮した空間評価値を用いることで、より適切に仮想カメラを自動制御することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 仮想視点設定部
１０４ 仮想視点制御部
１１８ 制御装置

Claims (18)

1. 複数の撮像装置が行う撮影に基づく画像から仮想視点画像を生成するための仮想視点の設定を行う情報処理装置であって、
   ユーザ操作に基づき、仮想視点を設定する設定手段と、
   前記複数の撮像装置に関する情報に基づいて、前記設定手段にて設定された仮想視点が変更されるように制御する制御手段と、
   を備えたことを特徴とする情報処理装置。
2. 前記複数の撮像装置に関する情報に基づいて、前記設定手段により設定される仮想視点を評価する評価手段をさらに有し、
   前記制御手段は、前記評価手段による評価結果に基づいて仮想視点を変更する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記評価手段は、前記複数の撮像装置により撮像される撮像対象空間に含まれる複数の部分空間のうち、前記設定手段により設定された仮想視点の画角に含まれる部分空間に対応付けられた空間評価値に基づいて、前記設定手段により設定された仮想視点を評価する、ことを特徴とする請求項２に記載の情報処理装置。
4. 前記制御手段は、前記評価の結果が一定の条件を満たさない場合に、前記変更を行う、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記空間評価値は、部分空間に対する視線方向毎に与えられている、ことを特徴とする請求項４に記載の情報処理装置。
6. 前記視線方向毎に付与される空間評価値は、部分空間の代表位置を中心として任意の方向に一定の角度範囲を定義して分割された方向毎に付与される、ことを特徴とする請求項５に記載の情報処理装置。
7. 前記評価手段は、前記評価として、前記設定手段にて設定された仮想視点の画角に含まれるすべての部分空間の空間評価値の平均値を求める処理を行い、
   前記一定の条件を満たさない場合とは、前記平均値が所定の閾値を下回る場合である、
   ことを特徴とする請求項４乃至６のいずれか１項に記載の情報処理装置。
8. 前記評価手段は、予め定めた複数の仮想視点候補それぞれについてその画角に含まれるすべての部分空間の空間評価値の平均値を求める処理を行ない、
   前記制御手段は、前記複数の仮想視点候補の中で最も平均値が高い仮想視点候補を前記移動先に決定する、
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記評価手段は、同一の撮影対象空間を対象として設定されている他の仮想視点についてその画角に含まれるすべての部分空間の空間評価値の平均値を求める処理を行ない、
   前記制御手段は、前記他の仮想視点の中で最も平均値が高い仮想視点を前記移動先に決定する、
   ことを特徴とする請求項７に記載の情報処理装置。
10. 前記評価手段は、オブジェクトが存在する部分空間の空間評価値がオブジェクトが存在しない部分空間の空間評価値よりも大きくなるように重み付けして、前記平均値を求める、ことを特徴とする請求項８または９に記載の情報処理装置。
11. 前記評価手段は、前記複数の仮想視点候補それぞれについて前記処理を行う場合において、処理対象の仮想視点候補から現在の仮想視点までの距離が近いほど、その画角内に含まれる部分空間の空間評価値が大きくなるように重み付けして前記平均値を求める、ことを特徴とする請求項８に記載の情報処理装置。
12. 前記評価手段は、前記他の仮想視点について前記処理を行う場合において、処理対象の他の仮想視点から現在の仮想視点までの距離が近いほど、その画角内に含まれる部分空間の空間評価値が大きくなるように重み付けして前記平均値を求める、ことを特徴とする請求項９に記載の情報処理装置。
13. 前記評価手段は、前記複数の仮想視点候補それぞれについて前記処理を行う場合において、処理対象の仮想視点候補の光軸と現在の仮想視点の光軸との角度が近いほど、その画角内に含まれる部分空間の空間評価値が大きくなるように重み付けして前記平均値を求める、ことを特徴とする請求項８に記載の情報処理装置。
14. 前記評価手段は、前記他の仮想視点それぞれについて前記処理を行う場合において、処理対象の他の仮想視点の光軸と現在の仮想視点の光軸との角度が近いほど、その画角内に含まれる部分空間の空間評価値が大きくなるように重み付けして前記平均値を求める、ことを特徴とする請求項９に記載の情報処理装置。
15. 前記制御手段は、前記評価の結果が、一定の時間内で、前記設定手段にて設定された仮想視点の画角に含まれる部分空間の空間評価値の変化量に応じて、決定した移動先までの移動速度を決定する、ことを特徴とする請求項４乃至６のいずれか１項に記載の情報処理装置。
16. 前記複数の撮像装置に関する情報には、前記複数の撮像装置それぞれの設置位置、撮影方向、及び、画角を示す情報を含む、ことを特徴とする請求項１乃至１５の何れか１項に記載の情報処理装置。
17. 複数の撮像装置が行う複数の視点での撮影に基づく画像から仮想視点画像を生成するための仮想視点の設定を行う情報処理方法であって、
    ユーザ操作に基づき、仮想視点を設定する設定ステップと、
    前記複数の撮像装置に関する情報に基づいて、前記設定ステップにて設定された仮想視点が変更されるように制御する制御ステップと、
    を含むことを特徴とする情報処理方法。
18. コンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images