JP2019118042A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】カメラグループ毎に異なる注視点を設定して仮想視点画像の元になる複数視点画像を得るシステムにおいて、オクルージョン領域の発生を抑えた高精度の３次元モデルを生成する。【解決手段】複数のカメラで撮影された複数視点画像を用いて、仮想カメラから見た仮想視点画像を生成するための情報処理装置であって、第１の注視点で撮影を行う第１のカメラグループによって得られた第１の複数視点画像及び前記第１の注視点とは異なる第２の注視点で撮影を行う第２のカメラグループによって得られた第２の複数視点画像のうち、前記仮想カメラの注視する方向を示す仮想注視点に近い方の注視点で撮影された複数視点画像を少なくとも用いて、オブジェクトの３次元モデルを生成する画像処理手段を備え、前記画像処理手段は、前記仮想注視点から遠い方の注視点で撮影された複数視点画像のうち所定の条件を満たす画像をさらに用いて、前記３次元モデルの生成を行うことを特徴とする。【選択図】図１４

Description

本発明は、複数の視点位置から撮像した複数視点画像に基づき、仮想視点からの画像を生成する技術に関する。

昨今、複数台の実カメラで撮影した画像を用いて、３次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの画像を再現する仮想視点画像技術が注目されている。この仮想視点画像技術によれば、例えばスポーツの試合におけるハイライトシーンを様々な角度から視聴することが可能になるため、ユーザにより高臨場感を与えることができる。ここで、例えばサッカーやラグビーといった比較的競技エリアの広いスポーツでは、カメラの視線方向を表す注視点が１つだけでは全エリアをカバーすることが困難な場合がある。このように撮影エリアが広範囲に及ぶ場合に、複数のカメラで構成されるカメラグループ毎に異なる注視点を設定して、全エリアの撮影をカバーすることがある。

特開２０１５−２５２９号公報

仮想視点画像の生成においては、まずオブジェクトの３次元モデルを生成し、これを仮想カメラから見た場合の形状推定を行ってマッピングするという処理が行われる。より多くの視点からの撮影画像があるほどより高精度の３次元モデルが得られることになるが、現実にはコストやデータ伝送量の制約などがあるため、設置できるカメラ台数にも制限がある。そうなると、上述のように撮影エリアが広く、カメラグループ毎に異なる注視点を設定して撮影を行うシステムにおいては、各カメラグループに対して十分な数のカメラを割り当てることが難しくなる。その結果、いわゆるオクルージョン領域が発生しやすくなり、特にオブジェクトが複雑な形状をしている場合などは、その形状を正確に再現するのに十分な数の複数視点画像が得られないということが起こりやすくなる。

この点、例えば特許文献１では、オクルージョン領域が発生しないようにするためのカメラ位置の導出技術が提案されている。しかしながら、撮影シーンがサッカー等のスポーツシーンの場合、選手やボールといった主要なオブジェクトはフィールド内を自由に移動する。スタジアム等に設置された各カメラの位置や姿勢を、選手やボールの動きに合わせ瞬時に制御することは困難である。したがって、スポーツの試合等の撮影画像から３次元モデルを生成する場合において、この特許文献１の技術によってオクルージョン領域を十分に除去することはできない。

本発明に係る情報処理装置は、複数のカメラで撮影された複数視点画像を用いて、仮想カメラから見た仮想視点画像を生成するための情報処理装置であって、第１の注視点で撮影を行う第１のカメラグループによって得られた第１の複数視点画像及び前記第１の注視点とは異なる第２の注視点で撮影を行う第２のカメラグループによって得られた第２の複数視点画像のうち、前記仮想カメラの注視する方向を示す仮想注視点に近い方の注視点で撮影された複数視点画像を少なくとも用いて、オブジェクトの３次元モデルを生成する画像処理手段を備え、前記画像処理手段は、前記近い方の注視点とは異なる注視点で撮影された複数視点画像のうち所定の条件を満たす画像をさらに用いて、前記３次元モデルの生成を行うことを特徴とする。

本発明によれば、カメラグループ毎に異なる注視点を設定して仮想視点画像の元になる複数視点画像を得るシステムにおいて、オクルージョン領域の発生を抑えた高精度の３次元モデルを生成することができる。

仮想視点画像生成システムの構成の一例を示す図 カメラアダプタの内部構成を示す機能ブロック図 （ａ）はサーバのソフトウェア構成を示すブロック図、（ｂ）は設置シミュレータのソフトウェア構成を示すブロック図 カメラシステム１１０ａ〜１１０ｈのグループ分けを説明する図 点Ａを注視点とするカメラグループに属する４台のカメラＡ１〜Ａ４の撮影可能範囲を示す図 カメラＡ１の撮影可能範囲を示す図 カメラＡ２の撮影可能範囲を示す図 カメラＡ３の撮影可能範囲を示す図 カメラＡ４の撮影可能範囲を示す図 点Ｂを注視点とするカメラグループに属する４台のカメラＢ１〜Ｂ４の撮影可能範囲を示す図 カメラＢ１の撮影可能範囲を示す図 カメラＢ２の撮影可能範囲を示す図 カメラＢ３の撮影可能範囲を示す図 カメラＢ４の撮影可能範囲を示す図 カメラマップの作成手順を示すフローチャート 設置シミュレーション用ＵＩ画面の一例を示す図 設置シミュレーション用ＵＩ画面の一例を示す図 設置シミュレーション用ＵＩ画面の一例を示す図 設置シミュレーション用ＵＩ画面の一例を示す図 カメラマップの一例を示す図 仮想視点画像を生成する処理の流れを示すフローチャート

実施形態１

本実施形態は、複数のカメラで構成されるカメラグループ毎に異なる注視点を設定して、全撮影範囲をカバーする仮想視点画像の生成システムを前提とする。本実施形態の説明に入る前に、用語について確認しておく。まず、注視点とは、カメラが注視する方向（視線方向）を表す点である。仮想視点画像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される映像であり、自由視点画像や任意視点画像などとも呼ばれる。また、生成される仮想視点画像やその元になる複数視点画像は、動画であっても、静止画であってもよい。すなわち、本明細書において「画像」という文言は、動画と静止画の双方の概念を含み得るものとして用いる。以下では、入力される複数視点画像及び出力される仮想視点画像が、共に動画である場合の例を中心に説明するものとする。

（システム構成）
まず、競技場（スタジアム）などの施設に複数のカメラを設置して、仮想視点画像の元となる複数視点画像の撮影を行うシステムの概要について、図面を参照して説明する。図１は、仮想視点画像生成システムの構成の一例を示す図である。図１の仮想視点画像生成システムは、全８台のカメラシステム１１０ａ〜１１０ｈ、スイッチングハブ（以下、「ＨＵＢ」）１２０、制御装置１３０、サーバ１４０、データベース（以下、「ＤＢ」）１５０及び設置シミュレータ１８０で構成される。

カメラシステム１１０ａ〜１１０ｈは、レンズや撮像センサなどで構成されるカメラ１１１ａ〜１１１ｈ、及び制御装置１３０の指示に従って撮影制御や所定の画像処理を行うカメラアダプタ１１２ａ〜１１２ｈを備える。図２は、カメラアダプタの内部構成を示す機能ブロック図である。カメラアダプタは、カメラ制御部２００、前景分離部２１０、伝送部２２０及びネットワークアダプタ２３０で構成される。カメラ制御部２００は、撮影制御、撮影画像の取得、同期信号の提供、時刻設定などを行う。カメラの撮影制御とは、例えばフレームレートといった撮影パラメータの設定・参照、撮影中やエラーといった状態情報の取得、撮影の開始や停止、ピント調整などである。同期信号の提供や時刻設定には、後述の同期制御部２２２によってタイムサーバとしてのサーバ１４０と同期した時刻が利用される。同期信号の提供により、撮影タイミング（制御クロック）がカメラに指示され、時刻設定により、カメラから受け取る画像データに対しサーバ１４０と同期した時刻のタイムコードが付与される。前景分離部２１０は、カメラが撮影した画像（全景画像）を、撮影シーン内の特定のオブジェクトに対応する前景の画像領域とそれ以外の背景の画像領域とに分離する処理を行う。ここで、特定のオブジェクトとは、撮影シーンが例えばサッカーの試合であれば、選手やボールといった時系列に撮影を行った場合に動きのある画像部分が主に該当し、フィールドや観客席といった動きない部分が通常は背景となる。伝送部２２０は、画像伝送処理部２２１と同期制御部２２２とからなり、後述のネットワークアダプタ２３０を介してＨＵＢ１２０等に対するデータの伝送を制御する。画像伝送処理部２２１は、画像データを、後述のデータ送受信部２３１を介して他のカメラアダプタ１１２やサーバ１４０へ転送する際に必要なメタ情報の生成などを行う。また、画像伝送処理部２２１は、他のカメラアダプタからデータ送受信部２３１を介して受信したデータ（伝送プロトコル規定のパケットサイズにフラグメントされたデータ）を画像データに復元する。同期制御部２２２は、例えばＩＥＥＥ１５８８規格のＰＴＰ（Precision Time Protocol）に準拠し、タイムサーバとしてのサーバ１４０と時刻同期に係わる処理を行う。ネットワークアダプタ２３０は、データ送受信部２３１と時刻制御部２３２とからなる。データ送受信部２３１は、ネットワークケーブル１６０を介して他のカメラアダプタとデータ通信を行う。またネットワークケーブル１６０／１７０及びＨＵＢ１２０を介して、サーバ１４０や制御装置１３０とデータ通信を行う。時刻制御部２３２、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、タイムサーバとしてのサーバ１４０との間で送受信したデータのタイムスタンプの保存や、時刻同期を行う。

ＨＵＢ１２０は、ネットワーク上のデータ伝送のルーティングを行う。カメラシステム１１０ａ〜１１０ｈの間は、ネットワークケーブル１６０ａ〜１６０ｇによって、隣り合うカメラシステム同士がデイジーチェーン方式で接続されている。ネットワークは特に限定されるものではなく、イーサネットやＩｎｆｉｎｉｂａｎｄ等が用いられる。カメラ１１１ａ〜１１１ｈで撮影された画像のデータは、ネットワークケーブル１６０ａ〜１６０ｇを介して伝送される。ＨＵＢ１２０とカメラシステム１１０ａとの間はネットワークケーブル１７０ａで接続され、ＨＵＢ１２０とカメラシステム１１０ｈとの間はネットワークケーブル１７０ｂで接続されている。上述のような構成を有する全８台のカメラシステム１１０ａ〜１１０ｈにおいて取得された撮影画像データは、以下のようにしてサーバ１４０に集約され、ＤＢ１５０に保存される。まず、カメラシステム１１０ａが、撮影した全景画像に対し前景・背景分離処理を行って前景領域の画像を抽出し、そのデータをネットワークケーブル１６０ａ介して、カメラシステム１１０ｂに伝送する。カメラシステム１１０ｂでも、撮影した全景画像に対し同様の処理を行って、当該処理後の画像データを、カメラシステム１１０ａから取得した画像データと合わせてカメラシステム１１０ｃに伝送する。残りのカメラシステムでも同様の処理が実行され、８台のカメラシステム１１０ａ〜１１０ｈそれぞれで取得された計８視点分の画像データが、ネットワークケーブル１７０ｂを介してＨＵＢ１２０に伝送され、サーバ１４０により最終的にＤＢ１５０に保存される。こうして得られた複数視点画像データを用いてサーバ１４０は、３次元モデルの生成やレンダリングを行う。なお、本実施形態では、背景領域の画像データについては別途用意したものを予めサーバ１４０で保持しておきこれを使用するものとする。しかし、このような態様に限定されるものではなく、前景分離部２１０を省略し、撮影した全景画像のデータをそのまま伝送し、前景と背景との分離をサーバ１４０で行うような構成であってもよい。

制御装置１３０は、各カメラシステム１１０ａ〜１１０ｈやサーバ１４０を統括的に制御する。制御装置１３０は、カメラ１１１ａ〜１１１ｈそれぞれの位置、姿勢、画角ないしは焦点距離といった基本情報（以下、「カメラパラメータ」と呼ぶ。）をキャリブレーションによって取得する。また、制御装置１３０は、仮想視点画像の生成条件、具体的には、仮想カメラの位置を表す仮想視点や仮想カメラの視線方向を表す仮想注視点の指定を受け付けるＧＵＩ（グラフィカル・ユーザ・インタフェース）を備える。なお、仮想視点や仮想注視点は、撮影された画像の解析結果（例えば特定の選手に対応するオブジェクト領域の抽出と追跡など）に基づいて自動で設定するようにしてもよい。キャリブレーションにより得られたカメラパラメータは各カメラシステム１１０に送られ、ユーザ入力等に基づき設定された仮想カメラに関する情報はサーバ１４０に送られる。また、制御装置１３０は、複数視点画像を元にサーバ１４０で生成された仮想視点画像を、例えば不図示の表示装置やネットワーク上の他の情報処理装置に出力する。

サーバ１４０は、制御装置１３０で受け付けた仮想視点画像の生成条件（仮想カメラ情報）に基づいて、ＤＢ１５０からその元となる複数視点画像データを読み出し、３次元モデルの生成やレンダリングを行って仮想視点画像を生成する。図３（ａ）は、サーバ１４０において仮想視点画像の生成を実現するソフトウェアの構成を示すブロック図である。図３（ａ）に示すとおり、サーバ１４０における仮想視点画像の生成は、カメラマップ管理部３０１、画像データ管理部３０２、仮想カメラ情報管理部３０３及び画像処理部３０４の４つの主要ソフトウェアモジュールによって実現される。カメラマップ管理部３０１は、後述するカメラマップのデータを設置シミュレータ１８０から取得して内部メモリ（不図示）或いはＤＢ１５０に保存したり、それを必要に応じて読み出すといった管理を行う。画像データ管理部３０２は、各カメラアダプタ１１２ａ〜１１２ｈから受信した画像データを取得してＤＢ１５０に保存したり、それを必要に応じて読み出すといった管理を行う。カメラアダプタ１１２ａ〜１１２ｈから送られてくる画像データには、その撮影を行ったカメラ１１１ａ〜１１１ｈのカメラパラメータのデータも付加されており、両者は関連付けて管理される。仮想カメラ情報管理部３０３は、ユーザによって設定された仮想カメラの位置や姿勢といった仮想視点画像の生成ために必要な情報を制御装置１３０から取得して内部メモリ（不図示）に保存したり、それを必要に応じて読み出すといった管理を行う。画像処理部３０４は、カメラマップ、複数視点から撮影された画像（カメラパラメータを含む）、仮想カメラ情報に基づき、仮想視点画像を生成する。画像処理部３０４は、画像選択部３０５、３次元モデル生成部３０６、レンダリング部３０７で構成される。画像処理部３０４を構成する各部の詳細については後述する。また、サーバ１４０は、タイムサーバ機能を有し、カメラシステム１１０ａ〜１１０ｈで同期撮影を行うための制御も担う。なお、同期撮影のための処理を、サーバ１４０に代えて各カメラシステム１１０ａ〜１１０ｈが独立して行ってもよい。

ＤＢ１５０は、サーバ１４０から受け取った画像データを蓄積し、蓄積した画像データを必要に応じてサーバ１４０に提供する。なお、ＨＵＢ１２０とサーバ１４０との間はネットワークケーブル１７０ｃで、サーバ１４０とＤＢ１５０との間はネットワークケーブル１７０ｄで、ＨＵＢ１２０と制御装置１３０との間はネットワークケーブル１７０ｅで接続されている。

設置シミュレータ１８０は、カメラの設置シミュレーションを行なう。そして、設置後の各カメラが、３次元モデルの生成に適した画像を撮影できるかどうかを特定可能な情報である、各カメラグループに属するカメラ毎の撮影可能範囲を示したカメラマップを生成する。本実施形態においては、スタジアム等の撮影対象空間内に複数の注視点を設定することを前提としており、設定された複数の注視点のそれぞれに関し、どのカメラで撮影した画像であれば３次元モデル生成に使用可能かを示したカメラマップが事前に作成される。図３（ｂ）に示すとおり、設置シミュレータ１８０は、ＵＩ制御部３１１、解析部３１２及びカメラマップ生成部３１３の３つの主要モジュールを備える。ＵＩ制御部３１１は、カメラマップを作成するためのＵＩ画面を表示装置（不図示）に表示し、ＵＩ画面上で行われたユーザ操作を受け付ける等の制御を行う。ＵＩ画面を介してなされたユーザ操作の情報は、解析部３１２に渡される。解析部３１２は、ＵＩ制御部３１１から受け取ったユーザ操作情報に基づいて、各カメラ１１１ａ〜１１１ｈの位置や姿勢等のシミュレーションを行なう。カメラマップ生成部３１３は、解析部３１２におけるシミュレーション結果に基づきカメラマップを作成する。作成されたカメラマップのデータは、不図示のメモリ等に保存され、必要に応じてサーバ１４０に送られる。

上述した制御装置１３０、サーバ１４０、ＤＢ１５０、設置シミュレータ１８０は、一般的なコンピュータが備える基本的なハードウェア構成を有している。具体的には、演算処理装置としてのＣＰＵ、そのワークエリアを提供するＤＲＡＭ、プログラムや各種データを記憶するＨＤＤやフラッシュメモリ等を備えている。さらに、制御装置１３０や設置シミュレータ１８０は、上記基本構成に加え、ユーザに各種情報を提示し必要な入力操作を受け付けるためのＧＵＩ、例えばタッチパネル式の表示装置、マウスやキーボードといった入力装置なども備える。また、図３（ａ）及び（ｂ）の機能ブロック図において示されるソフトウェア構成の一部をハードウェアで実現しても構わない。また、前述の図１に示すシステム構成では、複数のカメラシステム間をデイジーチェーン方式で接続しているが、ＨＵＢ１２０と各カメラシステム１１０ａ〜１１０ｈをそれぞれ直接接続するスター型接続でも構わない。また、カメラシステムの数は８台に限定されるものではなく、対象撮影シーンや撮影環境、要求される画質等に応じて適宜決定される。さらに図１のシステム構成では、デイジーチェーンとなるようすべてのカメラシステムをカスケード接続しているが、例えば複数のカメラシステムをいくつかのグループに分割し、グループ単位でカメラシステム間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタがスイッチングハブに接続されて、サーバ１４０へ画像データの入力を行うようにしてもよい。このような構成は、例えば、複数フロアで構成されるスタジアムにカメラシステムを配備する場合など、撮影対象空間が大規模施設である場合において特に有効である。このような接続構成とすることで、例えばフロア毎或いはスタジアムの半周毎にサーバ１４０への画像データの入力を行うことができるため、全カメラシステムを１つのデイジーチェーンで接続することが困難な場合にも柔軟にシステムを構築できる。また、本実施形態では、各カメラシステムは、カメラとカメラアダプタとをそれぞれ有しているが、この構成に限定するものではなく、例えば１台のカメラシステムが１台のカメラアダプタと複数のカメラを有する構成でもよい。また、カメラアダプタの機能の少なくとも一部をサーバ１４０が有していてもよい。

以下、特別な説明がない場合は、カメラシステム１１０ａ〜１１０ｈまでを区別せず「カメラシステム１１０」と表記するものとする。また、各カメラシステム１１０内の構成やネットワークケーブルについても同様に、「カメラ１１１」、「カメラアダプタ１１２」、「ネットワークケーブル１６０」といった具合に表記するものとする。
続いて、本実施形態におけるカメラシステム１１０の配置と、そのグループ分けについて説明する。図４は、サッカーの試合を行うスタジアムに設置される計８台のカメラシステム１１０ａ〜１１０ｈのグループ分けを説明する図である。図４において、各カメラシステム１１０は１系統のデイジーチェーンで接続されている。そして、サッカーを行うフィールド４００のうち点Ａを注視点とした領域の撮影を担当するカメラグループＡと点Ｂを注視点とした領域の撮影を担当するカメラグループＢとにグループ分けされている。より詳細には、黒で示すカメラシステム１１０ａ、１１０ｃ、１１０ｆ及び１１０ｈがカメラグループＡに属し、白で示すカメラシステム１１０ｂ、１１０ｄ、１１０ｅ及び１１０ｇがカメラグループＢに属している。注視点Ａ及び注視点Ｂはそれぞれフィールド４００の半分の領域における中心に該当し、各カメラグループが担当する撮影領域を分けることで、フィールド４００全体の撮影をカバーするようになっている。そして、各カメラグループが担当する撮影領域は、以下のようにフィールド４００を分割した小領域によって特定される。本実施形態の場合、撮影対象であるフィールド４００の領域を８つの小領域（サブエリア）に分割している。そして、注視点Ａに隣接する４つのサブエリア｛サブエリア（1,1）、サブエリア（1,2）、サブエリア（2,1）、サブエリア（2,2）｝が、カメラグループＡが担当する領域となっている。同様に、注視点Ｂに隣接する４つのサブエリア｛サブエリア（1,3）、サブエリア（1,4）、サブエリア（2,3）、サブエリア（2,4）｝が、カメラグループＢが担当する領域となっている。

サーバ１４０は、カメラ１１１ａ〜１１１ｈによって撮影された複数視点画像の中から、カメラマップと仮想注視点の情報とに基づき選択した画像を用いて、３次元モデルの生成や仮想視点画像の生成を行う。以降、説明の便宜上、カメラグループＡに属するカメラシステム１１０ａ、１１０ｃ、１１０ｆ及び１１０ｈをそれぞれカメラＡ１、Ａ２、Ａ３、Ａ４と表記するものとする。同様に、カメラグループＢに属するカメラシステム１１０ｂ、１１０ｄ、１１０ｅ及び１１０ｇをそれぞれカメラＢ１、Ｂ２、Ｂ３、Ｂ４と表記するものとする。

図５は、点Ａを注視点とするカメラグループＡに属するカメラＡ１、Ａ２、Ａ３、Ａ４がそれぞれ撮影することが可能な範囲を示す図である。図５において、カメラＡ１から伸びる二点鎖線の三角形５０１がカメラＡ１の撮影可能な範囲を示し、同様に、カメラＡ２〜Ａ４からそれぞれ伸びる三角形５０２〜５０４がカメラＡ２〜Ａ４の撮影可能な範囲をそれぞれ示している。上述のとおり、カメラグループＡに属する４台のカメラＡ１〜Ａ４は、注視点Ａに隣接するサブエリア（1,1）、サブエリア（1,2）、サブエリア（2,1）、サブエリア（2,2）を適切に撮影できるように、その撮影方向や画角（焦点距離）が設定されている。

図６は、カメラＡ１の撮影可能範囲５０１のみを示した図である。図６から明らかなように、カメラＡ１の画角範囲である撮影可能範囲５０１には、上記４つのサブエリア｛サブエリア（1,1）、サブエリア（1,2）、サブエリア（2,1）、サブエリア（2,2）｝が包含されている。これら４つのサブエリアに加え、カメラグループＢが担当する注視点Ｂに隣接するサブエリア（2,3）とサブエリア（2,4）も完全に包含されている。なお、本実施形態では、例えばサブエリア（1,3）の多くの部分が撮影可能範囲５０１に含まれているもののその一部が欠けていることから、サブエリア（1,3）は撮影可能範囲５０１に含まれるサブエリアとしてはカウントされない。しかし、分割単位をもっと細かく（サブエリアのサイズをもっと小さく）することで、より多くの部分が撮影可能範囲５０１に含まれるサブエリアとしてカウントされ得ることになる。

図７は、カメラＡ２の撮影可能範囲５０２のみを示した図である。図７から明らかなように、カメラＡ２の撮影可能範囲５０２には、カメラグループＢが担当する注視点Ｂに隣接するどのサブエリアも完全には含まれないことが分かる。また、図８は、カメラＡ３の撮影可能範囲５０３のみを示した図である。図８から明らかなように、カメラＡ３の撮影可能範囲５０３には、カメラＡ２の撮影可能範囲５０２と同様、カメラグループＢが担当する注視点Ｂに隣接するどのサブエリアも完全には含まれないことが分かる。そして、図９は、カメラＡ４の撮影可能範囲５０４のみを示した図である。図９から明らかなように、カメラＡ１の撮影可能範囲５０４には、上記４つのサブエリア｛サブエリア（1,1）、サブエリア（1,2）、サブエリア（2,1）、サブエリア（2,2）｝が包含されている。これら４つのサブエリアに加え、カメラグループＢが担当する注視点Ｂに隣接するサブエリア（1,3）とサブエリア（1,4）も完全に包含されている。

図１０〜図１４は、前述の図５〜図９にそれぞれ対応している。まず図１０は、図５に対応する図であり、点Ｂを注視点とするカメラグループＢに属するカメラＢ１、Ｂ２、Ｂ３、Ｂ４がそれぞれ撮影することが可能な範囲を示す図である。図１０において、カメラＢ１から伸びる二点鎖線の三角形１００１がカメラＢ１の撮影可能範囲を示し、同様に、カメラＢ２〜Ｂ４からそれぞれ伸びる三角形１００２〜１００４がカメラＢ２〜Ｂ４の撮影可能範囲をそれぞれ示している。上述のとおり、カメラグループＢに属する４台のカメラＢ１〜Ｂ４は、注視点Ｂに隣接するサブエリア（1,3）、サブエリア（1,4）、サブエリア（2,3）、サブエリア（2,4）を適切に撮影できるように、その撮影方向や画角（焦点距離）が設定されている。図１１は、カメラＢ１の撮影可能範囲１００１のみを示した図である。図１１から明らかなように、カメラＢ１の撮影可能範囲１００１には、カメラグループＡが担当する注視点Ａに隣接するどのサブエリアも完全には含まれないことが分かる。図１２は、カメラＢ２の撮影可能範囲１００２のみを示した図である。図１２から明らかなように、カメラＢ２の撮影可能範囲１００２には、４つのサブエリア｛サブエリア（1,3）、サブエリア（1,4）、サブエリア（2,3）、サブエリア（2,4）｝が包含されている。これら４つのサブエリアに加え、カメラグループＡが担当する注視点Ａに隣接するサブエリア（2,1）とサブエリア（2,2）も完全に包含されている。図１３は、カメラＢ３の撮影可能範囲１００３のみを示した図である。図１３から明らかなように、カメラＢ３の撮影可能範囲１００３には、カメラＢ２の撮影可能範囲１００２と同様、４つのサブエリア｛サブエリア（1,3）、サブエリア（1,4）、サブエリア（2,3）、サブエリア（2,4）｝が包含されている。これら４つのサブエリアに加え、カメラグループＡが担当する注視点Ａに隣接するサブエリア（2,1）とサブエリア（2,2）も完全に包含されている。図１４は、カメラＢ４の撮影可能範囲１００４のみを示した図である。図１４から明らかなように、カメラＢ４の撮影可能範囲１００４には、カメラＢ１の撮影可能範囲１００１と同様、カメラグループＡが担当する注視点Ａに隣接するどのサブエリアも含まれないことが分かる。

（カメラマップの作成）
次に、設置シミュレータ１８０における、カメラマップの作成について詳しく説明する。図１５は、カメラマップが作成されるまでの処理の流れを示すフローチャートである。このフローに示す一連の処理は、前述のＵＩ制御部３１１、解析部３１２及びカメラマップ生成部３１３の機能を実現するためのプログラムをＣＰＵが実行することで実現される。以下、図１５のフローチャートに沿って、カメラマップが完成するまでの流れについて説明する。

まず、ステップ１５０１では、ＵＩ制御部３１１が、カメラ１１１の設置シミュレーション用のＵＩ画面を不図示の表示装置に表示する。図１６は、設置シミュレーション用のＵＩ画面の一例を示す図である。図１６のＵＩ画面の左側にある画像表示部１６０１には、撮影対象の場所（ここではサッカー用のスタジアム）を俯瞰で見た場合の画像が表示されている。この俯瞰画像は、例えばコンピュータグラフィック（ＣＧ）によって作成する。本実施形態では、プルダウンメニュー１６０２において、“注視点位置”又は“カメラ位置”が選択されていると図１６に示すようなスタジアム全体の俯瞰画像が表示される。また、プルダウンメニュー１６０２において、“撮影可能範囲”が選択されていると設定中のカメラパラメータに基づき撮影可能な範囲を示す画像が表示される。ユーザはこのようなＵＩ画面を用いて、カメラ１１１の設置のシミュレーションを行う。なお、撮影対象空間の俯瞰画像として、スタジアムを真上から見た平面的な画像を用いてもよい。

続くステップ１５０２では、まず、いずれかのカメラグループに対応する注視点がユーザ入力に基づいて設定される。この注視点設定は、どの注視点に対応するカメラグループのカメラ１１１の設定を行うのかを決めることと同義である。フィールド４００を二分するように各カメラグループで担当を分けて撮影を行う本実施形態では、前述の注視点Ａまたは注視点Ｂのいずれかが設定されることになる。例えば注視点Ａを設定する場合、ユーザは、名前入力欄１６０３に“Ａ”と入力し、マウスを操作してポインタ１６１０の位置でＯＫボタンを押下する。これにより、ユーザが指定した位置が注視点Ａとして設定されることになる。また、注視点Ｂについても同様に設定される。注視点Ａの設定に続けて、プルダウンメニュー１６０２で“カメラ位置”が選択されると、ＵＩ制御部３１１はＵＩ画面を図１７の状態に遷移させ、ステップ１５０３に進む。

ステップ１５０３では、ステップ１５０２で設定された注視点に対応するカメラグループに属するカメラとなる、設置シミュレーションの対象カメラが、ユーザ入力に基づいて決定される。本実施形態の場合、ユーザが、例えば名前入力欄１７０１に“カメラＡ１”と入力し、ＯＫボタンを押下することで、対象カメラを表すアイコン１７１０が画像表示部１６０１に表示される。

ステップ１５０４では、解析部３１２が、対象カメラに対し、カメラパラメータの初期値を設定する。ここでの初期値は任意の値でよく、例えば設置予定の総カメラ台数などから推測される大凡のカメラ位置や姿勢を表す値などでも構わない。この設定を受けて、ＵＩ制御部３１１は、当該初期値の内容をＵＩ画面に反映する。これにより、対象カメラを表すアイコン１７１０が、初期値に対応する位置まで移動する（矢印１７１１はこの移動を示す）。

ステップ１５０５では、ＵＩ制御部３１１が、ユーザによる対象カメラの調整を受け付ける。具体的には、マウスやキーボードを介して入力されたカメラパラメータに関するユーザ指定を受け付け、当該指定された内容に従ってＵＩ画面上のカメラアイコン１７１０の位置や姿勢を変更する。例えば、ユーザは、初期値に対応する位置にあるカメラアイコン１７１０が注視点Ａを向くよう、姿勢入力欄１７０３に所望の値を入力し、ＯＫボタンを押下する。このユーザ入力に応じて、例えば図１８に示すように、カメラアイコン１７１０の向きが変化する。このとき、調整を行いやすくするために、例えば現時点のカメラパラメータにおける対象カメラの視線方向を表す線１８００を表示してもよい。また、ユーザが、ＵＩ画面上のプルダウンメニュー１６０２の中から“撮影可能範囲”を選択すると、ＵＩ制御部３１１は、画像表示部１６０１における表示内容を、対象カメラが撮影可能な範囲を示す画像に切り替える。図１９はこの切り替え後のＵＩ画面の状態を示している。これによりユーザは、カメラパラメータの現時点の入力値に対応する対象カメラから撮影可能な映像を確認することができ、その確認結果を踏まえ、当該対象カメラの位置や姿勢の微調整を行なうことができる。また、図１８や図１９のＵＩ画面上に、例えば画角（或いは焦点距離）を調整するための画角入力欄（不図示）をさらに設けてもよい。この場合、例えば図１８の状態の画像表示部１６０１において対象カメラの画角を示す線等を重畳表示し、図１９の状態に遷移したときには画像表示部１６０１に示される撮影可能範囲が指定された画角に応じて変化するようにすればよい。

次に、ステップ１５０６では、調整後の内容で対象カメラに関するカメラパラメータの設定が問題ないかどうかが判定される。この判定は、ユーザ入力に基づくものであってもよいし、解析部３１２が自動で行うものであってもよい。ユーザ入力に基づく場合は、ＵＩ画面上でユーザが目視で判断した結果をマウス等で入力させ、その結果に従えばよい。自動判定の場合は、ステップ１５０２で設定された注視点に対応する撮影領域（本実施形態では注視点に隣接する４つのサブエリア）が、調整後のカメラパラメータに基づく対象カメラによって撮影可能かどうかを画像解析によって判定すればよい。対象カメラに関するカメラパラメータの設定に問題がなければステップ１５０７に進む。一方、問題があれば、現在の設定内容では問題がある旨のメッセージ等をＵＩ画面上にサブウィンドウ等で表示（不図示）するなどした上でステップ１５０５に戻り、再度の調整を受け付ける。

ステップ１５０７では、ステップ１５０２で設定した注視点に対応するカメラグループに属するすべてのカメラ１１１についてのカメラパラメータの設定が完了したか否かが判定される。例えば、各カメラグループを構成するカメラの台数が予め分かっていてその情報を解析部３１２に保持しておけば、当該台数分のカメラパラメータの設定が済んだ段階で設定完了と判定されることになる。或いは、ユーザ自身が設定完了の入力を行ってもよい。設定された注視点に対応するすべてのカメラ１１１についての設置シミュレーションが完了していれば、ステップ１５０８に進む。一方、引き続き他のカメラの設置シミュレーションを行う場合はステップ１５０３戻り、次の対象カメラが決定されて処理が続行される。

ステップ１５０８では、注視点の設定が完了したか否かが判定される。例えば、撮影対象空間内に合計で何個の注視点を設定するのかが予め分かっていてその情報を解析部３１２に保持しておけば、予定数分の注視点の設定が済んだ段階で注視点の設定は完了と判定されることになる。或いは、ユーザ自身が設定完了の入力を行ってもよい。設定すべき注視点が残っている場合は、ステップ１５０２に戻り、別の注視点が設定される。一方、必要な注視点の設定が完了した場合は、ステップ１５０９に進む。

ステップ１５０９では、解析部３１２が、設定されたすべての注視点の中から、注目する注視点を決定する。ここでは、注視点Ａが注目注視点として決定されたものとして以下の説明を行うものとする。

ステップ１５１０では、解析部３１２が、注目注視点に対応しないカメラグループ（ここではカメラグループＢ）に属するすべてのカメラの中から、注目するカメラを決定する。続くステップ１５１１では、解析部３１２が、注目注視点に対応するカメラグループ（ここではカメラグループＡ）が担当する撮影領域を、注目カメラが撮影可能かどうかを判定する。ここでは、注視点Ａに隣接する４つのサブエリア｛サブエリア（1,1）、サブエリア（1,2）、サブエリア（2,1）、サブエリア（2,2）｝）の中のいずれかを、カメラグループＢに属するカメラＢ１〜Ｂ４が撮影可能かどうかが順次判定されることになる。なお、この判定処理は、一方のカメラグループに属する各カメラの撮影領域が、他方のカメラグループの担当する撮影領域と重複するかどうかを判定する処理と言い換えることもできる。判定の結果、注目注視点に対応するカメラグループが担当する撮影領域を、他のカメラグループに属する注目カメラが撮影可能である場合はステップ１５１２に進む。一方、撮影可能でない場合は、ステップ１５１３に進む。

ステップ１５１２では、解析部３１２が、注目カメラを、注目注視点に対応するカメラ１１１として設定する。本実施形態の場合、例えば注視点Ａに対応するカメラグループＡに属するカメラＡ１は、前述の図６で示したとおり、注視点Ｂに対応するカメラグループＢが担当する撮影領域のうちサブエリア（2,3）とサブエリア（2,4）も撮影可能である。従って、カメラＡ１は、注視点Ｂにも対応可能なカメラとして設定されることになる。

ステップ１５１３では、解析部３１２が、ステップ１５０９で決定した注目注視点に対応しないカメラグループに属するすべてのカメラ１１１が注目カメラとして処理されたか否かを判定する。すべてのカメラ１１１についての処理が完了していれば、ステップ１５１４に進む。一方、未処理のカメラ１１１があればステップ１５１０戻り、次の注目カメラが決定されて処理が続行される。続くステップ１５１４では、解析部３１２が、各カメラグループと対応付けられているすべての注視点が注目注視点として処理されたか否かを判定する。すべての注視点についての処理が完了していれば、ステップ１５１５に進む。一方、未処理の注視点があればステップ１５０９に戻り、次の注目注視点が決定されて処理が続行される。

最後に、ステップ１５１５では、カメラマップ生成部３１３が、ここまでの処理結果に基づいて、前述のカメラマップを作成する。図２０は、各カメラ１１１の撮影可能範囲が前述の図５及び図１０に示すような範囲となるカメラパラメータが設定された場合のカメラマップを示している。図２０に示すカメラマップの例では、設定された複数の注視点（ここでは、注視点Ａ及びＢ）のそれぞれについて、３次元モデルの生成に用いる撮影画像として使用可能か否かが、所定領域単位で（サブエリア単位で）示されている。このようなカメラマップに基づき、フィールド４００のエリア内のどこに仮想注視点が設けられたかによって、対応するカメラグループに属する４台のカメラに加え、他のカメラグループに属するカメラも、３次元モデルの生成等に使用されることになる。例えば、設定された仮想注視点が注視点Ａに近い場合は、カメラＢ２或いはカメラＢ３で撮影した画像データが、カメラグループＡで撮影した画像データと併せて３次元モデル生成に使用される。こうして可能な限り多くの視点から撮影された画像を用いて３次元モデルの生成等を行うことにより、オクルージョン領域の発生が抑制された、高精度の３次元モデル或いは仮想視点画像を得ることができる。

以上が、設置シミュレータ１８０におけるカメラマップの作成手順である。こうして得られたカメラマップのデータは、メモリ等に一旦保存され、サーバ１４０の要求に応じてサーバ１４０に送信される。

（仮想視点画像の生成）
続いて、カメラマップを用いた仮想視点画像の生成処理について説明する。図２１は、サーバ１４０における、仮想視点画像を生成する処理の流れを示すフローチャートである。このフローに示す一連の処理は、３つの管理部３０１〜３０３、画像処理部３０４を構成する画像選択部３０５、３次元モデル生成部３０６及びレンダリング部３０７の各機能を実現するためのプログラムをＣＰＵが実行することで実現される。以下、図２１のフローチャートに沿って、カメラマップを用いた仮想視点画像の生成について説明する。

まず、ステップ２１０１では、カメラマップ管理部３０１が、予め用意しておいたカメラマップをＤＢ１５０から読み出して取得する。或いはこのタイミングで設置シミュレータ１８０に要求して受信することによりカメラマップを取得してもよい。取得したカメラマップは画像処理部３０４に渡される。続くステップ２１０２では、画像データ管理部３０２が、予め保存された複数視点の画像データをＤＢ１５０から読み出し、或いはカメラアダプタ１１２から送られてきた複数視点の画像データを受信して、仮想視点画像の元となる画像データを取得する。ここで取得される画像データは、各注視点と対応付けられた各カメラグループに属するすべてのカメラ（本実施形態では、カメラ１１１ａ〜１１１ｈ）で撮影された、全視点分の画像データである。また、この際、各カメラ１１１のカメラパラメータも併せて取得される。取得した画像データはカメラパラメータと共に画像処理部３０４に渡される。

そして、ステップ２１０３では、仮想カメラ情報管理部３０３が、ユーザが制御装置１３０のＧＵＩを介して設定した或いは自動で設定された仮想カメラ情報（仮想視点や仮想注視点の情報）を制御装置１３０から取得する。取得した仮想カメラの情報は画像処理部３０４に渡される。

次に、ステップ２１０４では、画像処理部３０４内の画像選択部３０５が、仮想カメラ情報とカメラマップとに基づいて、ステップ２１０２で取得した全視点分の画像データの中から３次元モデルの生成に用いる画像データを選択する。本実施形態の場合、設定された仮想注視点の位置に応じ、図２０のカメラマップに従ってこの選択が行われることになる。例えば、設定された仮想注視点の位置が注視点Ａにより近く、カメラグループＡの担当撮影領域であるサブエリア（2,1）の中に存在する場合は、カメラＡ１〜Ａ４によって撮影された画像データに加え、カメラＢ２によって撮影された画像データも選択される。仮想注視点の位置がどの注視点に近くて、どのサブエリア内に存在するのかは、例えば、仮想注視点の位置を表す２次元座標（x,y）が、各サブエリアの頂点を表す座標で特定される矩形内に含まれるか否かをチェックすることで判別可能である。また、ステップ２１０４は、画像選択部３０５は、生成される仮想視点画像の撮影範囲に基づいて、全視点分の画像データの中から３次元モデルの生成に用いる画像データを選択してもよい。また、生成する仮想視点画像に写す領域を撮影するカメラの画像を画像選択部３０５は選択してもよい。すなわち、画像選択部３０５は、ステップ２１０３で取得した仮想カメラの位置、向きおよび画角を示す情報に基づいて画像を選択してもよい。

ステップ２１０５では、３次元モデル生成部３０６が、ステップ２１０４で選択した画像データを用いて３次元モデルを生成する。具体的には、以下のとおりである。まず、フィールド４００上の３次元空間を一定の大きさを持つ立方体（ボクセル）で充填したボリュームデータを用意する。ボリュームデータを構成するボクセルの値は０と１で表現され、「１」が形状領域、「０」が非形状領域をそれぞれ示す。次に、各カメラ１１１のカメラパラメータを用いて、ボクセルの３次元座標をワールド座標系からカメラ座標系に変換する。そして、選択した画像内に存在する選手等のオブジェクトがそのカメラ座標系にある場合は、ボクセルによって当該オブジェクトの３次元形状を表したモデルが生成される。なお、ボクセルそのものではなく、ボクセルの中心を示す点の集合（点群）によって、３次元形状を表現してもよい。このように、注視点と対応付けられていない他のカメラグループに属するカメラで撮影した画像も可能な限り利用することで、オクルージョン領域が少ない高精度の３次元モデルを得ることができる。

ステップ２１０６では、レンダリング部３０７が、ステップ２１０５で生成された３次元モデルを用いて仮想カメラ情報に従ったレンダリング処理を実行し、仮想視点画像を生成する。具体的には、例えばVisual Hull手法などを用いて、設定された仮想視点から見た場合の３次元モデルの形状推定を行う。仮想視点から見たオブジェクトの３次元形状が得られると、次に、これらオブジェクトの３次元形状の色を複数の撮影画像における対応する位置の画素値から求めてマッピングする。上述のとおり本実施形態では、オクルージョン領域の少ない３次元モデルが得られていることから、高画質の仮想視点画像を得ることができる。

以上が、カメラマップを用いた仮想視点画像の生成処理の内容である。こうして、カメラグループ毎に異なる注視点を設定して仮想視点画像の元になる複数視点画像を得るシステムにおいて、オクルージョン領域の発生を抑えた高精度の３次元モデルを生成できる。また、その結果として高画質の仮想視点画像を得ることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ａ〜１１０ｈ カメラシステム
１４０ サーバ
３０４ 画像処理部
１８０ 設置シミュレータ
３１２ 解析部
３１３ カメラマップ生成部

Claims (16)

1. 複数のカメラで撮影された複数視点画像を用いて、仮想カメラから見た仮想視点画像を生成するための情報処理装置であって、
   第１の注視点で撮影を行う第１のカメラグループによって得られた第１の複数視点画像及び前記第１の注視点とは異なる第２の注視点で撮影を行う第２のカメラグループによって得られた第２の複数視点画像のうち、前記仮想カメラの注視する方向を示す仮想注視点に近い方の注視点で撮影された複数視点画像を少なくとも用いて、オブジェクトの３次元モデルを生成する画像処理手段を備え、
   前記画像処理手段は、前記近い方の注視点とは異なる注視点で撮影された複数視点画像のうち所定の条件を満たす画像をさらに用いて、前記３次元モデルの生成を行う
   ことを特徴とする情報処理装置。
2. 前記所定の条件を満たす画像は、前記近い方の注視点で撮影された複数視点画像のカメラグループに対応する撮影領域における所定の領域を撮影している画像であることを特徴とする請求項１に記載の情報処理装置。
3. 前記画像処理手段は、前記第１及び第２のカメラグループに属する各カメラの撮影可能範囲を示した情報に基づいて、前記所定の条件を満たす画像を決定することを特徴とする請求項２に記載の情報処理装置。
4. 前記所定の領域は、各カメラグループに対応する撮影領域を複数に分割した領域であり、
   前記情報には、前記分割した領域単位で、前記各カメラが撮影可能かどうかが示されている
   ことを特徴とする請求項３に記載の情報処理装置。
5. 仮想視点画像の元になる複数視点画像を撮影するためのカメラの設置シミュレーションを行う装置であって、
   第１の注視点で撮影を行う第１のカメラグループ及び前記第１の注視点とは異なる第２の注視点で撮影を行う第２のカメラグループに属する各カメラに対し、その位置及び姿勢を少なくとも含む所定のパラメータを設定する設定手段と、
   前記各カメラが、設定された前記所定のパラメータの下で、オブジェクトの３次元モデルの生成に適した画像を撮影できるかどうかを特定可能な情報を生成する生成手段と
   を備えたことを特徴とする装置。
6. 前記所定のパラメータは、さらに、前記各カメラの画角又は焦点距離を含むことを特徴とする請求項５に記載の装置。
7. 前記情報は、前記各カメラが、設定された前記所定のパラメータの下で、前記３次元モデルの生成に適した画像を撮影できるかどうかを特定可能な情報であることを特徴とする請求項５又は６に記載の装置。
8. 前記生成手段は、一方のカメラグループに属する各カメラが、他方のカメラグループに対応する撮影領域における所定の領域を撮影できるかどうかに基づいて、前記情報を生成することを特徴とする請求項１に記載の情報処理装置。
9. 前記所定の領域は、各カメラグループに対応する撮影領域を複数に分割した領域であり、
   前記情報には、前記分割した領域単位で、前記各カメラが撮影可能かどうかが示されている
   ことを特徴とする請求項８に記載の装置。
10. 前記所定のパラメータをユーザが指定するためのＧＵＩをさらに備えたことを特徴とする請求項５乃至９のいずれか１項に記載の装置。
11. 前記ＧＵＩは、各カメラグループに属するカメラの撮影可能な範囲を示す画像を表示したＵＩ画面を用いて、ユーザの指定を受け付けることを特徴とする請求項１０に記載の装置。
12. 前記ＧＵＩは、撮影対象空間の全体を表す画像及び各カメラグループに属するカメラの撮影可能な範囲を示す画像を、ユーザの選択に応じて切り替えて前記ＵＩ画面に表示することを特徴とする請求項１１に記載の装置。
13. 前記ＵＩ画面に表示される各カメラグループに属するカメラの撮影可能な範囲を示す画像は、ユーザが指定したパラメータの値に応じて変化することを特徴とする請求項１１又は１２に記載の装置。
14. 前記生成手段は、各カメラグループに属するカメラの撮影可能な範囲に、当該カメラが属さないカメラグループに対応する撮影領域における所定の領域が含まれている場合に、他方のカメラグループに対応する撮影領域における所定の領域を撮影できると判断して、前記情報を生成することを特徴とする請求項１１乃至１３のいずれか１項に記載の装置。
15. 複数のカメラで撮影された複数視点画像を用いて、仮想カメラから見た仮想視点画像を生成するための情報処理方法であって、
    第１の注視点で撮影を行う第１のカメラグループによって得られた第１の複数視点画像及び前記第１の注視点とは異なる第２の注視点で撮影を行う第２のカメラグループによって得られた第２の複数視点画像のうち、前記仮想カメラの注視する方向を示す仮想注視点に近い方の注視点で撮影された複数視点画像を少なくとも用いて、オブジェクトの３次元モデルを生成するステップを有し、
    前記生成するステップでは、前記近い方の注視点とは異なる注視点で撮影された複数視点画像のうち所定の条件を満たす画像をさらに用いて、前記３次元モデルの生成を行う
    ことを特徴とする情報処理方法。
16. 仮想視点画像の元になる複数視点画像を撮影するためのカメラの設置シミュレーション方法であって、
    第１の注視点で撮影を行う第１のカメラグループ及び前記第１の注視点とは異なる第２の注視点で撮影を行う第２のカメラグループに属する各カメラに対し、その位置及び姿勢を少なくとも含む所定のパラメータを設定するステップと、
    前記各カメラが、設定された前記所定のパラメータの下で、オブジェクトの３次元モデルの生成に適した画像を撮影できるかどうかを特定可能な情報を生成するステップと
    を含むことを特徴とするシミュレーション方法。

Images