JP2021002889A

JP2021002889A - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JP2021002889A
Application number: JP2020171282A
Authority: JP
Inventors: 望糟谷; Nozomu Kasuya
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-10-09
Filing date: 2020-10-09
Publication date: 2021-01-07

Abstract

【課題】撮像領域を撮像する複数の撮像装置が全体として所定の条件を満たすかを容易に判断できるようにする。【解決手段】情報処理装置１０は、撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置１１に関するパラメータを特定する。そして情報処理装置１０は、特定された複数の撮像装置１１に関するパラメータに基づいて、前記撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記撮像領域が何れの方向から撮像されるかに応じて変化する適合状態を識別可能にする情報を出力する。【選択図】図１１

Description

本発明は、複数の撮像装置により撮像領域を撮像するシステムに関するものである。

近年、複数の撮像装置により所定の撮像領域をそれぞれ異なる方向から撮像するシステムが利用されている。例えば、監視領域に死角が生まれないように複数の撮像装置を設置して複数の方向から撮像する監視システムがある。また例えば、複数の撮像装置を異なる位置に設置して同期撮像し、当該撮像により得られた複数の撮像画像を用いて、視点を任意に変更可能な仮想視点画像を生成する技術がある。具体的には、複数の撮像画像に基づいて、撮像画像に含まれる被写体の３次元形状データを生成し、仮想視点の位置及び向きに基づくレンダリング処理を行うことにより、仮想視点画像が生成される。

このようなシステムにおいては、各撮像装置を適切な位置や向きで設置することが求められる。特許文献１には、同じマーカを複数の撮像装置により撮像することで得られた複数の画像を用いて、共通の座標系における各撮像装置の位置を示すパラメータを特定することが開示されている。特許文献１の技術を用いれば、設置された各撮像装置の位置が予め定められた適切な位置からずれていないかを確認することができる。

特開２０１８−２０７２５２号公報

しかしながら、個別の撮像装置に関するパラメータを特定するだけでは、撮像領域を撮像する複数の撮像装置が全体として所定の条件を満たすかを判断することが困難な場合が考えられる。例えば、撮像領域の仮想視点画像を高画質で生成するためには、撮像領域内の各位置が複数の方向から撮像されるように複数の撮像装置を設置することが求められる。このような条件が満たされているかを、個別の撮像装置に関するパラメータからユーザが判断することは容易でない。

本発明は上記の課題に鑑み、撮像領域を撮像する複数の撮像装置が全体として所定の条件を満たすかを容易に判断できるようにすることを目的とする。

上記の課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置に関するパラメータを特定する特定手段と、前記特定手段により特定された前記複数の撮像装置に関するパラメータに基づいて、前記撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記撮像領域が何れの方向から撮像されるかに応じて変化する適合状態を識別可能にする情報を出力する出力手段とを有し、前記出力手段により出力される情報には、前記撮像装置の設置の状況を特定するための情報が含まれる。

本発明によれば、撮像領域を撮像する複数の撮像装置が全体として所定の条件を満たすかを容易に判断できるようになる。

処理システムの構成例を示す図である。情報処理装置のハードウェア構成例を示す図である。情報処理装置の処理の例を示すフローチャートである。撮像装置の設置例を示す図である。撮像対象領域を含むボクセル空間を示す図である。撮像装置の撮像適正範囲を識別可能にする画像の例を示す図である。撮像条件の判定結果を識別可能にする画像の例を示す図である。撮像装置１１のグループ配置の例を示す図である。グループに属する撮像装置の視野を示す図である。グループの撮像適正範囲を識別可能にする画像の例を示す図である。撮像条件を満たすか否かを識別可能にする画像の例を示す図である。情報処理装置１０の処理の例を占めるフローチャートである。撮像装置の暫定撮像範囲を示す図である。撮像装置のパンチルト撮像範囲を示す図である。

以下、図面を参照して本発明の実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［システム構成］
図１は、処理システム１の構成例を示す図である。処理システム１は、情報処理装置１０、複数の撮像装置１１、制御装置１２、及び表示装置１３を有する。情報処理装置１０は、範囲特定部１０１、範囲決定部１０２、判定部１０３、及び情報出力部１０４を有する。

処理システム１には、撮像装置１１ａから撮像装置１１ｎまでの複数の撮像装置が含まれる。本実施形態において、これらの撮像装置を区別しない場合には、単に撮像装置１１と表記する。複数の撮像装置１１は、それぞれ異なる位置に設置され、撮像対象の領域を複数の方向から撮像することで、仮想視点画像を生成するために用いられる複数の撮像画像を取得する。

撮像対象領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置１１は、このような撮像対象領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置１１は撮像対象領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像対象領域の一部の方向にのみ設置されていてもよい。また、撮像装置１１の数は図に示す例に限定されず、例えば撮像対象領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置１１が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置１１が設置されていてもよい。

本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであり、複数の撮像装置１１により取得された複数の撮像画像と、指定された仮想視点とに基づいて生成される、仮想視点からの見えを表す画像である。仮想視点画像は、例えば以下のような方法で生成される。

まず、複数の撮像装置１１によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

なお、本実施形態では複数の撮像装置１１が仮想視点画像の生成のための画像取得に用いられる場合を中心に説明するが、複数の撮像装置１１により取得される画像の用途は、仮想視点画像の生成に限定されない。例えば、複数の撮像装置１１がそれぞれ異なる方向から所定の監視領域を撮像できるように設置され、撮像画像が監視領域の監視用途に用いられてもよい。

複数の撮像装置１１は、制御装置１２により制御され、情報処理装置１０へ撮像画像や撮像に関する設定情報を出力する。制御装置１２は、複数の撮像装置１１を制御して撮像画像や設定情報の入出力を制御する。範囲特定部１０１は、撮像装置１１から撮像画像や設定情報を受け取り、受け取った撮像画像や設定情報に基づいて、各撮像装置１１が所定の条件を満たして撮像可能な撮像適正範囲を特定し、その結果を範囲決定部１０２及び情報出力部１０４に出力する。範囲決定部１０２は、範囲特定部１０１が特定した撮像装置１１それぞれの撮像適正範囲に基づいて、システム全体の撮像適正範囲（処理システム１に含まれる複数の撮像装置１１全体により撮像される範囲）を決定する。そして決定した結果を判定部１０３及び情報出力部１０４に供給する。

判定部１０３は、範囲決定部１０２から受け取ったシステム全体の撮像適正範囲に基づいて、所定の撮像条件が満たされるかを判定し、その結果を情報出力部１０４に出力する。情報出力部１０４は、範囲特定部１０１、範囲決定部１０２、及び判定部１０３から受け取った情報に基づいて、判定に用いられた情報や判定結果などを可視化する画像情報を生成し、生成した情報を表示装置１３に出力する。表示装置１３は、情報処理装置１０の情報出力部１０４から受け取った情報に基づいて画像を表示する。

なお、処理システム１の構成は図１の例に限定されない。例えば、制御装置１２と情報処理装置１０とが一体となって構成されていてもよいし、情報処理装置１０と表示装置１３とが一体となって構成されていてもよい。また、情報出力部１０４による情報の出力先が、不図示の記憶装置であってもよい。

［ハードウェア構成］
図２は、情報処理装置１０のハードウェア構成例を示す図である。なお、制御装置１２のハードウェア構成も、以下で説明する情報処理装置１０の構成と同様である。情報処理装置１０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信Ｉ／Ｆ２０７、及びバス２０８を有する。

ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて情報処理装置１０全体を制御することで、情報処理装置１０の各機能を実現する。なお、情報処理装置１０がＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、画像データなどの種々のデータを記憶する。

表示部２０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１０を操作するためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）などを表示する。なお、情報処理装置１０の表示部２０５が表示装置１３として機能してもよい。操作部２０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部として動作する。

通信Ｉ／Ｆ２０７は、情報処理装置１０の外部の装置との通信に用いられる。例えば、情報処理装置１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０７に接続される。情報処理装置１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０７はアンテナを備える。バス２０８は、情報処理装置１０の各部をつないで情報を伝達する。

本実施形態では表示部２０５と操作部２０６が情報処理装置１０の内部に存在するものとするが、表示部２０５と操作部２０６の少なくとも一方が情報処理装置１０の外部に別の装置として存在していても良い。

［処理フロー］
以下では、図４に示すように、撮像対象領域４０２内の所定の注視点４０１近傍を複数の方向から撮像するように設置された複数の撮像装置１１が、所定の撮像条件を満たしているか確認するための処理について説明する。図３は、情報処理装置１０の処理について説明するためのフローチャートである。

図３に示す処理は、情報処理装置１０のＣＰＵ２０１がＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に展開して実行することで実現される。なお、図３に示す処理の少なくとも一部を、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。図３に示す処理は、撮像装置１１と情報処理装置１０とが通信可能となるように接続及び初期設定が行われ、撮像条件の確認のための指示が情報処理装置１０に入力されたタイミングで開始される。ただし、図３に示す処理の開始タイミングはこれに限定されない。

Ｓ３０１では、判定部１０３が、操作部２０６を介したユーザによる操作に基づいて撮像条件を設定する。ここでは撮像条件として、撮像方向間隔θと撮像分解能ｐが設定されるものとする。図４は、複数の撮像装置１１の設置の例を示す。撮像装置１１ａから撮像装置１１ｆまでの６台の撮像装置１１が、撮像対象領域４０２内の注視点４０１に向けて設置される。例えば注視点４０１の近傍領域について撮像条件が満たされる状況とは、以下のような状況である。すなわち、６台の撮像装置１１がいずれも注視点近傍を設定された撮像分解能ｐ以上の分解能で撮像でき、且つ、隣り合う２台の撮像装置１１と注視点を結ぶ線がなす角である装置間角度４０３が設定された撮像方向間隔θ未満となる状況である。このような撮像条件が満たされるように複数の撮像装置１１が設置されている場合、取得された複数の撮像画像に基づいて注視点近傍の仮想視点画像を高画質に生成することができる。これは、撮像の分解能が高ければ仮想視点画像の解像度を高くすることができ、閾値未満の間隔で複数の方向から撮像できれば仮想視点画像の生成に用いられる三次元モデルの形状精度を高くすることができるためである。なお、撮像装置１１がある領域をどの程度の分解能で撮像できるかは、その撮像装置１１の焦点距離、撮像画素数、及びその領域と撮像装置１１の位置との距離に応じて決まる。

なお、撮像条件の内容はこれに限定されない。例えば、撮像条件として撮像方向間隔θと撮像分解能ｐの何れか一方が設定されてもよいし、その他の条件が設定されてもよい。撮像方向間隔θのみが設定された場合の撮像条件は、判定対象の領域（例えば注視点４０１の近傍領域）を複数の方向から撮像でき、且つその複数の方向の間隔がθ未満であるという条件である。また、撮像条件の設定方法はユーザによる操作に限らず、他の装置から情報処理装置１０への入力に基づいて撮像条件が設定されてもよいし、ＲＯＭ２０２やＲＡＭ２０３に格納されている値を用いて撮像条件が設定されてもよい。撮像対象領域４０２の縦横高さ、および注視点４０１の三次元座標は、予め情報処理装置１０が記憶していてもよいし、撮像条件と共にユーザ操作に基づいて入力されてもよい。ここでは、撮像対象領域４０２が注視点４０１を中心とする直方体であるものとするが、これに限らず、撮像対象領域４０２は球形でも良いし、半球形でも良いし、円柱形でも良い。

Ｓ３０２では、範囲特定部１０１が、制御装置１２による制御に応じてそれぞれの撮像装置１１で撮像された画像を取得する。ここで取得される各画像には、撮像対象領域内の既知の位置に設置された二次元マーカなどの特定オブジェクトが含まれる。マーカの数は限定されないが、例えば各画像に３つ以上のマーカが写るように、マーカと撮像装置１１が設置される。Ｓ３０３では、範囲特定部１０１が、撮像装置１１から撮像に関する設定情報を取得する。取得される設定情報には、例えば撮像装置１１の焦点距離を示す情報と、縦横の撮像画素数を示す情報とが含まれる。

Ｓ３０４では、範囲特定部１０１が、Ｓ３０２で取得した撮像画像と、Ｓ３０３で取得した設定情報とに基づいて、撮像装置１１の内部パラメータと外部パラメータを特定する。そして範囲特定部１０１は、それらのパラメータに基づいて各撮像装置１１の撮像適正範囲を特定する。内部パラメータは撮像装置１１の焦点距離及び撮像画素数に関する情報であり、外部パラメータは撮像装置１１の位置及び向きに関する情報である。内部パラメータＫは、主点を画像の中心として、以下の式（１）のように表される。

式（１）におけるｗｉｄｔｈは撮像画像の横方向の画素数を表し、ｈｅｉｇｈｔは縦方向の画素数を表し、ｆは焦点距離を表す。

外部パラメータＴは、Ｓ３０２で取得した撮像画像から検出されたマーカの位置の二次元座標と、既知である撮像対象領域におけるマーカの三次元座標とに基づいてＰｎＰ問題を解くことで得られ、４行４列の行列で表される。

ある撮像装置１１の内部パラメータＫと外部パラメータＴとを用いれば、図５に示す撮像対象領域４０２を含む空間を構成する複数のボクセル５０１が、Ｓ３０１で設定された撮像分解能ｐ以上の分解能でその撮像装置により撮像できるかを判定できる。三次元座標（ｘ，ｙ，ｚ）で表される位置のボクセル５０１の実際の分解能ｐｂは、以下の式（２）により算出される。

式（２）における（ｕ_ｂ，ｖ_ｂ）はボクセル５０１の下端の座標を表し、（ｕ_ｔ，ｖ_ｔ）はボクセル５０１の上端の座標を表し、ａはボクセルのサイズを表す。そして、以下の式（３）の条件を満たすボクセル５０１により構成される範囲が、その撮像装置の撮像適正範囲として算出される。

すなわち、ある撮像装置により設定された撮像分解能ｐ以上の分解能で撮像可能な範囲が、その撮像装置の撮像適正範囲となる。

なお、撮像適正範囲の特定方法は上記に限定されない。また、撮像適正範囲の定義は設定された撮像条件に応じて異なる。例えば、設定された撮像条件に分解能に関する条件が含まれない場合には、ある撮像装置の撮像適正範囲は、その撮像装置により撮像可能な範囲（撮像画像に含まれる範囲）であってもよい。また、範囲特定部１０１が特定する撮像装置１１に関するパラメータは、位置、向き、焦点距離、及び画素数を示すパラメータに限定されない。例えば、範囲特定部１０１は、撮像装置１１の動作状態を示すパラメータを設定情報として取得することで、撮像装置１１が正常に撮像可能な状態であるか、正常に撮像できない異常状態であるかを特定してもよい。そして範囲特定部１０１は、異常状態の撮像装置１１については、撮像適正範囲が存在しないものとして扱ってもよい。また、範囲特定部１０１は例えば撮像装置１１の位置及び向きなどの特定のパラメータのみを撮像画像に基づいて特定し、その他のパラメータには既定の値を用いてもよい。

Ｓ３０５では、範囲決定部１０２が、Ｓ３０４で範囲特定部１０１が特定した複数の撮像装置１１それぞれの撮像適正範囲に基づいて、システム全体の撮像適正範囲を決定する。ここでは、複数の撮像装置１１の撮像適正範囲が重複する範囲を、システム全体の撮像適正範囲とする。ただしこれに限らず、複数の撮像装置１１の撮像適正範囲の少なくとも何れかに含まれる範囲を、システム全体の撮像適正範囲としてもよい。範囲決定部１０２は、撮像適正範囲の決め方をユーザ操作に基づいて設定してもよい。

Ｓ３０６では、判定部１０３が、Ｓ３０５で決定されたシステム全体の撮像適正範囲に含まれる各ボクセル５０１において、Ｓ５０１で設定された撮像条件が満たされるかを判定する。例えば、判定部１０３は、判定対象のボクセル５０１を撮像適正範囲に含む複数の撮像装置１１の外部パラメータに基づいて、撮像方向間隔θの条件が満たされるような複数の方向からそのボクセル５０１を撮像できるかを判定できる。すなわち判定部１０３は、判定対象のボクセル５０１から見て、そのボクセル５０１を撮像適正範囲に含む複数の撮像装置１１のうち隣り合う２台の撮像装置１１の方向の差が、撮像方向間隔θ未満となっているかを判定できる。また判定部１０３は、システム全体の撮像適正範囲が、予め定められた撮像対象領域４０２の全体を覆っているかの判定を行う。

なお、撮像条件の判定はボクセル単位で行われるものに限定されず、撮像対象領域４０２を含む空間を分割した分割領域ごとに判定が行われればよい。また、撮像条件の判定は、システム全体の撮像適正範囲に含まれるボクセル５０１のうち特定のボクセル５０１（例えば注視点４０１の位置を含むボクセル５０１）についてのみ行われてもよい。

Ｓ３０７では、情報出力部１０４が、Ｓ３０４からＳ３０６までの処理に応じて、撮像条件の適合状態を識別可能にする情報を生成する。Ｓ３０８では、情報出力部１０４が生成した情報を表示装置１３へ出力することで、情報を表示装置１３に表示させる。情報出力部１０４により出力される情報の例を図６に示す。画像６００は、情報出力部１０４が生成する画像情報の一例であり、情報表示対象として選択された撮像装置１１ａの識別情報である撮像装置ＩＤ６０１と、撮像装置１１ａの撮像適正範囲６０２と、撮像対象領域６０３と、判定結果６０４を示す。図６の例における判定結果６０４は、撮像装置１１ａの撮像適正範囲６０２が撮像対象領域６０３の全体を覆っているか否かの判定結果を示しており、撮像対象領域６０３の左下部分が覆われていないことから、「ＮＧ」と表示されている。撮像装置１１ａの焦点距離を短くしてより広角な撮像を行うか、撮像装置１１ａの向きを少し左に変更することで、撮像対象領域６０３の全体が撮像適正範囲６０２により覆われれば、判定結果６０４は「ＯＫ」となる。

なお、判定結果６０４の表示方法はこのようなテキスト形式に限定されず、例えば撮像対象領域６０３の色を変化させることで判定結果が示されてもよい。また、判定内容はこれに限らず、画像６００においてその他の判定の結果が同様に示されてもよい。

また、図６の例では、撮像適正範囲を俯瞰図により二次元的に表示させている。この場合、例えば地面に対して０〜５ｍなどの所定の高さ範囲内のボクセル５０１すべてが撮像適正範囲に含まれるような二次元位置を塗りつぶした撮像適正範囲６０２が表示させることで、三次元情報を二次元に投影して画像化してもよい。ただしこれに限らず、撮像適正範囲を三次元情報として可視化してもよい。このようにすることで、高さ方向に撮像適正範囲の大きさが不足していることをユーザが識別できるようになる。また、撮像装置１１の視野に含まれるが分解能不足によって撮像適正範囲から外れた領域と、撮像装置１１の視野外の領域とを、色分けすることなどにより識別可能に表示しても良い。また、分解能ｐｂの値に応じて領域の色分けをすることで、各領域の分解能がどの程度不足しているのかを視認できるようにしても良い。

図７は、情報出力部１０４が出力する情報の別の例を示す。画像７００には、複数の撮像装置１１を示す画像と、撮像対象領域４０２内の選択された位置から見て撮像装置１１が存在しない方向を表す円形のインジケータ７０１が含まれる。図７の例における選択された位置は注視点４０１を含むボクセル５０１であり、そのボクセル５０１に対して撮像装置１１が存在しない方向に対応するインジケータ７０１の右方向及び左下方向が色付けされている。これはすなわち、注視点４０１に対して撮像装置１１ａが位置する方向と撮像装置１１ｆが位置する方向との差が設定された撮像方向間隔θ以上であることを示している。さらに、撮像装置１１ｂが位置する方向と撮像装置１１ｃが位置する方向との差も撮像方向間隔θ以上であることを示している。

図７の状態から、撮像装置１１ｂと撮像装置１１ｃとの間隔、および撮像装置１１ｆと撮像装置１１ａの間隔を小さくすれば、撮像方向間隔θの条件は満たされ、インジケータ７０１の色付け部分はなくなる。情報出力部１０４が出力する画像７００は、撮像方向間隔θの条件が満たされるような複数の方向から注視点４０１の近傍の領域を撮像できるか否かを識別可能にする情報の一例である。このように、図７に示すような画像を表示装置１３に表示させることで、注視点近傍の仮想視点画像を高画質に生成するための撮像条件が満たされているか否かをユーザが容易に識別することができる。例えば、注視点４０１からみて特定の方向に撮像装置１１が位置しないことがわかれば、その方向から注視点４０１を見るような仮想視点に応じた仮想視点画像が低画質になることが推測できる。

なお、情報出力部１０４が出力する情報が画像情報に限定されない。例えば、情報出力部１０４は撮像条件が満たされているか否かを示すテキスト情報を出力してもよい。また例えば、情報出力部１０４が撮像条件の判定結果を示すフラグや撮像適正範囲を示す座標情報を表示装置１３に出力し、表示装置１３がそれらの情報に基づいて画像情報を生成してもよい。

以上で図３に示す情報処理装置１０の処理の説明を終わる。なお、上述のＳ３０４の説明では、Ｓ３０２で取得した撮像画像から検出されたマーカの位置に基づいて撮像装置１１の外部パラメータを算出し、Ｓ３０３で取得した設定情報から撮像装置１１の内部パラメータを算出した。ただし、撮像適正範囲を特定するための撮像装置１１の内部パラメータ及び外部パラメータの求め方はこれに限るものではない。

例えば、範囲特定部１０１は、三次元座標が既知の点を撮像画像上でユーザが指定する操作に基づいて外部パラメータを算出してもよい。また例えば、撮像装置１１により取得される撮像画像と、撮像対象領域に関連付けられる環境の三次元モデルとを用いたモデルフィッティングによって、外部パラメータを算出してもよい。また例えば、複数の撮像装置１１により取得した複数の撮像画像における画像特徴点の対応関係に基づいて各撮像装置１１の相対的な位置姿勢を求めてもよい。そして、上述のような方法で外部パラメータを決定した１台の撮像装置１１を基準として他の撮像装置１１の外部パラメータを求めても良い。また、電子的にパン及びチルトの変更が可能な撮像装置１１または雲台を用いる場合には、パンチルトの制御情報に基づいて外部パラメータを算出してもよい。具体的には、範囲特定部１０１はパン及びチルトの設定値を取得し、変更前の設定値において算出しておいた外部パラメータと変更後の設定値とに基づいて、変更後の外部パラメータを算出してもよい。また、内部パラメータを求めるためには、範囲特定部１０１は、カメラキャリブレーションを行っても良いし、ＥＸＩＦ情報のように画像ファイルに埋め込まれた情報を利用してもよい。

［撮像装置のグループ化］
以下では、撮像装置１１の設置の仕方を変更した変形例について説明する。本変形例では、注視点近傍に限定されない広い領域の仮想視点画像を高画質に生成するために、所定の撮像対象領域内の各位置を、閾値以上の分解能で所定数以上の方向から撮像できるように、撮像装置１１が設置される。そして、このような設置が実現できているか否かをユーザが識別できるようにするための情報を情報処理装置１０が出力する。本変形例における処理システム１の構成は図１を用いて説明したものと同様であり、情報処理装置１０のハードウェア構成は図２を用いて説明したものと同様である。以下では、図１から図７を用いて説明した実施形態と異なる点を中心に説明する。

撮像装置１１の設置例を図８に示す。撮像装置１１ａａから１１ａｄの４台の撮像装置１１が撮像対象領域８０２に対してほぼ同一の方向に位置し、これらの撮像装置１１がグループ８０１ａとして扱われる。同様に、グループ８０１ｂからグループ８０１ｌまでの各グループも、複数の撮像装置１１により構成される。なお、各グループの撮像装置１１の台数は同一である必要はなく、その台数は図８に示す例に限定されない。

各グループに含まれる複数の撮像装置１１は、撮像対象領域８０２内の各位置がそれらの撮像装置１１の少なくとも何れかの視野に含まれるように設置される。図９（ａ）は、グループ８０１ａに含まれる撮像装置１１の視野を示している。領域９０１ａａ、領域９０１ａｂ、領域９０１ａｃ、及び領域９０１ａｄは、それぞれ、撮像装置１１ａａ、撮像装置１１ａｂ、撮像装置１１ａｃ、及び撮像装置１１ａｄの視野に含まれる領域である。図９（ｂ）は、撮像装置１１ａｄと撮像装置１１ａｂの視野を横方向からみた様子を示している。

図３を用いて、本変形例における情報処理装置１０の処理のうち、すでに説明した内容と異なる点を中心に説明する。Ｓ３０１における撮像条件の設定において、判定部１０３は撮像条件として、撮像分解能ｐに加えて撮像方向数ｎを設定する。撮像対象領域８０２内の位置についてこのような撮像条件が満たされる状況とは、その位置を撮像方向数ｎ以上の数の方向から撮像分解能ｐ以上の分解能で撮像できる状況である。このような撮像条件が満たされるように複数の撮像装置１１が設置されている場合、取得された複数の撮像画像に基づいて仮想視点画像を高画質に生成することができる。なお、同じグループの撮像装置１１は近い方向に位置するため、ある位置がいくつの方向から撮像されるかは、その位置を撮像可能なグループの数を基準に決定される。なお、撮像装置１１のグループ構成を示す情報は、予め情報処理装置１０が記憶していてもよいし、撮像条件と共にユーザ操作に基づいて入力されてもよい。

Ｓ３０５におけるシステム全体の撮像適正範囲の決定において、範囲決定部１０２は、まずグループごとの撮像適正範囲を決定する。具体的には、グループに含まれる複数の撮像装置１１により撮像分解能ｐ以上の分解能で撮像可能な範囲を、そのグループの撮像適正範囲とする。そして、撮像方向数ｎ以上の数のグループの撮像適正範囲に含まれるボクセル５０１により構成される範囲が、システム全体の撮像適正範囲として決定される。グループごとの撮像適正範囲とシステム全体の撮像適正範囲はともに、判定部１０３及び情報出力部１０４に出力される。

Ｓ３０６においては、Ｓ３０５で決定した撮像適正範囲が、撮像対象領域８０２の全体を覆っているか否かを判定する。また、撮像対象領域８０２内の各ボクセル５０１について、そのボクセル５０１を撮像適正範囲に含むグループの数を特定する。Ｓ３０７では、情報出力部１０４が、Ｓ３０４からＳ３０６までの処理に応じた情報を生成する。情報出力部１０４は、図６を用いて説明したような撮像装置１１ごとの撮像適正範囲に関する情報に変えて、図１０に示すようなグループごとの撮像適正範囲に関する情報を生成してもよい。

画像１０００は、情報表示対象として選択されたグループ８０１ａの識別情報であるグループＩＤ１００１と、グループ８０１ａの撮像適正範囲１００４と、撮像対象領域１００３と、判定結果１００２と、分解能カラーバー１００５を示す。撮像適正範囲１００４は各位置の分解能に応じて色付けされており、分解能カラーバー１００５は色と分解能との対応関係を示す。図１０の例における判定結果１００２は、撮像適正範囲１００４が撮像対象領域１００３の全体を覆っているか否かの判定結果を示しており、撮像対象領域１００３の中央下部分が覆われていないため、「ＮＧ」と表示されている。図１０の右下の領域を撮像する撮像装置１１ａａを少し左に向けるか、左下の領域を撮像している撮像装置１１ａｂの焦点距離を短くして広角な撮像を行うことで、撮像対象領域１００３の全体が撮像適正範囲１００４により覆われる。これにより、判定結果１００２は「ＯＫ」となる。このような情報が表示装置１３に出力されることにより、ユーザはグループごとの撮像適正範囲及び撮像条件の判定結果を容易に確認でき、撮像装置１１ごとに撮像適正範囲を確認する場合よりも手間を削減できる。

図１１は、情報出力部１０４が出力する情報の別の例を示す。画像１１００には、システム全体の撮像適正範囲１１０１と、撮像適正範囲１１０１が撮像対象領域１１０３の全体を覆っているか否かの判定結果１１０２と方向数カラーバー１１０４が含まれる。撮像適正範囲１１０１は、範囲内の各位置を撮像可能な方向の数に応じて色付けされたヒートマップ形式で表示されており、方向数カラーバーは撮像可能な方向の数と色との対応関係を示す。図１１の例では、撮像対象領域１１０３のうち中央近傍の領域は多数の方向から撮像可能であり、周辺の領域は少数の方向から撮像可能であることが示されている。

図１１に示す撮像適正範囲１１０１の画像情報によれば、撮像対象領域１１０３に含まれる複数の分割領域（例えばボクセル５０１）それぞれについて撮像条件が満たされるか否かが識別可能となる。また、図１１に示す判定結果１１０２の情報によれば、撮像対象領域１１０３に含まれる複数の分割領域の全てにおいて撮像条件が満たされるか否かが識別可能となる。

情報出力部１０４が出力する画像７００は、撮像方向数ｎの条件が満たされるような複数の方向から撮像対象領域１１０３内の各位置を撮像できるか否かを識別可能にする情報の一例である。図１１に示すような画像を表示装置１３に表示させることで、撮像対象領域１１０３内の各位置について撮像条件が満たされているか否か、及び各位置をいくつの方向から撮像できるかをユーザが容易に識別することができる。すなわちユーザは、撮像対象領域１１０３内のどの位置の仮想視点画像が高画質に生成でき、どの位置の仮想視点画像は低画質になりうるかを容易に判断できる。

なお、図１１に示す例では、撮像方向数ｎとして設定された値である１０をヒートマップの下限値として、撮像可能な方向の数がそれ以下である領域には背景色が付けられている。ただしこれに限らず、ヒートマップの下限値を０や１などにしてもよい。また、各位置を撮像可能な方向の数（グループの数）に応じたヒートマップに限らず、各位置を撮像可能な撮像装置１１の数に応じたヒートマップが表示されてもよい。すなわち、情報出力部１０４は、各位置を撮像できる撮像装置１１の数を示す情報を出力してもよい。撮像分解能ｐに関する撮像条件が設定されている場合には、情報出力部１０４が出力する情報は、各位置を撮像分解のｐ以上の分解能で撮像できる撮像装置の数を示す情報となる。撮像装置１１の数を示す情報の出力は、撮像装置１１がグループ化されない場合（例えば図４に示すような配置の場合）にも適用できる。また、撮像適正範囲１１０１がヒートマップ形式で且つ三次元的に表示されてもよい。

なお、システム全体の撮像適正範囲は、撮像方向数ｎによらずに決定されてもよい。例えば、システム全体の撮像適正範囲を、少なくとも何れかのグループの撮像適正範囲に含まれる範囲としてもよいし、少なくとも何れかの撮像装置１１の撮像適正範囲に含まれる範囲としてもよい。また、設定された撮像条件に撮像分解能ｐに関する条件が含まれない場合などには、グループの撮像適正範囲を、そのグループに属する複数の撮像装置１１の少なくとも何れかにより撮像可能な範囲としてもよい。

［撮像装置のパンチルト制御］
以上の説明では、複数の撮像装置１１が撮像条件を満たすように適切に設置されると、その設置状態を固定したまま撮像が行われることを前提とした場合の例を中心に説明した。以下では、制御装置１２が撮像中の撮像装置１１のパンチルトを制御可能な場合に適用される変形例について説明する。撮像装置１１が撮像中にパンチルト制御可能なシステムとしては、例えば複数の撮像装置１１により監視領域を撮像する監視システムなどがある。

図１２は、本変形例における情報処理装置１０の処理を示すフローチャートである。図３を用いて説明した処理と同様の処理には同一の符号を付している。以下では上述した処理との差異を中心に説明する。

Ｓ３０１では、上述した処理と同様に撮像条件の設定を行う。ただし、監視対象となる撮像対象領域に壁や障害物などがある場合には、撮像適正範囲の判定に影響するため、範囲特定部１０１は撮像条件とあわせて、壁や障害物を含む撮像対象領域の環境情報（例えば三次元モデル）を取得する。範囲特定部１０１は、ユーザによる入力操作に基づいて環境情報を取得してもよいし、外部の装置から環境情報を取得してもよい。また、範囲特定部１０１は、各撮像装置１１のパンチルトの可動域に関する情報を、撮像装置１１の設定情報として取得する。

Ｓ１２０１では、範囲特定部１０１が制御装置１２を介して、撮像装置１１のパンチルトを初期状態に設定する。Ｓ３０２からＳ３０４までの処理では、すでに説明した処理と同様に、各撮像装置１１の撮像適正範囲が特定される。Ｓ３０４の処理が終わるとＳ１２０１に戻り、範囲特定部１０１は撮像装置１１のパンチルトを変更する。そして、再度Ｓ３０２からＳ３０４の処理が行われ、パンチルト変更後の撮像装置１１の撮像適正範囲が特定される。ここでは、パンの最小値と最大値、及びチルトの最小値および最大値の組み合わせで、各撮像装置１１についてＳ３０２からＳ３０４の処理が４ループ行われるものとする。ただし、撮像装置１１の撮像適正範囲の特定処理の回数はこれに限定されず、より細かくパンチルトを変更しながら特定処理が行われてもよい。Ｓ１２０２において、各撮像装置１１の可動域内での撮像適正範囲の特定が完了したと判断されると、Ｓ３０５に進む。

Ｓ３０５では、範囲決定部１０２が、システム全体の撮像適正範囲を決定する。具体的には、範囲決定部１０２はまず、各撮像装置１１について、パンチルトを変更することで撮像適正範囲に含めることが可能な暫定撮像範囲を求める。上述の処理では、パンチルトの最小値及び最大値での撮像適正範囲のみが得られているため、その他のパンチルト設定に対応する撮像適正範囲は補間によって特定する。例えば、図１３に示すように、同じ撮像装置１１ａについて特定された複数の撮像適正範囲１３０１ａ、１３０１ｂ、１３０１ｃ、及び１３０１ｄの各頂点を直線で結んで囲まれる領域が、撮像装置１１ａの暫定撮像範囲１３０１となる。ただし、補間方法は直線補間に限定されず、例えば撮像装置１１ａを中心とする円弧で補間してもよい。

次に範囲決定部１０２は、Ｓ３０１で取得した環境情報を用いて、図１４に示すように障害物１４０２および障害物１４０３により撮像不可能な範囲１４０４とを、暫定撮像範囲１３０１から除去して、パンチルト撮像範囲１４０１を決定する。そして、範囲決定部１０２は、各撮像装置１１のパンチルト撮像範囲１４０１に基づいて、システム全体の撮像適正範囲を決定する。例えば、何れかの撮像装置１１のパンチルト撮像範囲１４０１に含まれる範囲や、もしくは所定数以上の撮像装置１１のパンチルト撮像範囲１４０１に含まれる範囲を、システム全体の撮像適正範囲に決定する。Ｓ３０５以降の処理は、図３を用いてすでに説明した処理と同様である。

なお、図１２の例では、撮像装置１１のパンチルトを変更して撮像画像の取得を繰り返すことで、各パンチルト設定値における撮像適正範囲を特定するものとした。ただし、パンチルト値と撮像装置１１の外部パラメータの関係を事前に校正しておけば、撮像画像を用いた撮像適正範囲の算出は１回のみ行い、他のパンチルト設定値に対応する撮像適正範囲は、校正したパンチルト値と外部パラメータの関係から求めても良い。

以上説明したように、上述の実施形態に係る情報処理装置１０は、撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置１１に関するパラメータを特定する。そして情報処理装置１０は、特定された複数の撮像装置１１に関するパラメータに基づいて、撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記撮像領域が何れの方向から撮像されるかに応じて変化する適合状態を識別可能にする情報を出力する。このような構成によれば、撮像領域を撮像する複数の撮像装置１１が全体として所定の撮像条件を満たすかを、ユーザが容易に判断できるようになる。また、例えば複数の撮像装置１１により取得される撮像画像が仮想視点画像の生成に用いられる場合には、撮像領域の仮想視点画像を高画質に生成できるか否かをユーザが容易に判断できるようになる。

なお、上述の実施形態では、複数の撮像装置１１がほぼ同一の高さに設置されるものとして説明した。ただしこれに限らず、複数の撮像装置１１の高さが異なっていてもよい。この場合に、情報処理装置１０は、撮像対象領域に対する水平面での方向（ｘｙ方向）が同じで高さが異なる複数の撮像装置１１を、同じ方向から撮像する撮像装置１１として扱ってもよい。一方、複数の高さから撮像した撮像画像を用いることで仮想視点画像をさらに高画質化できることから、高さの異なる撮像装置１１が、異なる方向から撮像する撮像装置１１として扱われてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１処理システム
１０情報処理装置
１１撮像装置

Claims

撮像領域を異なる方向から撮像する複数の撮像装置に関するパラメータを特定する特定手段と、
前記特定手段により特定された前記複数の撮像装置に関するパラメータに基づいて、前記撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記撮像領域が何れの方向から撮像されるかに応じて変化する適合状態を識別可能にする情報を出力する出力手段とを有し、
前記出力手段により出力される情報には、前記撮像装置の設置の状況を特定するための情報が含まれることを特徴とする情報処理装置。
前記出力手段により出力される情報は、前記撮像装置に関するパラメータの変更に用いられることを特徴とする請求項１に記載の情報処理装置。
前記出力手段により出力される情報は、前記撮像装置の向きの変更に用いられることを特徴とする請求項２に記載の情報処理装置。
前記出力手段により出力される情報は、前記撮像装置の焦点距離の変更に用いられることを特徴とする請求項２又は３に記載の情報処理装置。
前記出力手段により出力される情報には、所定の対象領域に含まれる複数の撮像領域それぞれについて前記所定の条件が満たされるか否かを識別可能に示す情報が含まれることを特徴とする請求項１乃至４のうち何れか１項に記載の情報処理装置。
前記出力手段により出力される情報には、所定の対象領域に含まれる複数の撮像領域の全てにおいて前記所定の条件が満たされるかを示す情報が含まれることを特徴とする請求項１乃至５のうち何れか１項に記載の情報処理装置。
前記出力手段により出力される情報は、前記撮像領域を撮像できる撮像装置の数を示すことを特徴とする請求項１乃至６のうち何れか１項に記載の情報処理装置。
前記出力手段により出力される情報は、前記撮像領域を撮像できる撮像装置が位置しない方向を示すことを特徴とする請求項１乃至７のうち何れか１項に記載の情報処理装置。
前記出力手段により出力される情報は、前記撮像領域を閾値以上の分解能で撮像できる撮像装置の数を示すことを特徴とする請求項１乃至８のうち何れか１項に記載の情報処理装置。
前記出力手段により出力される情報には、所定の対象領域に含まれる複数の撮像領域それぞれについて当該撮像領域を撮像可能な方向の数を示すヒートマップ形式の画像情報が含まれることを特徴とする請求項１乃至９のうち何れか１項に記載の情報処理装置。
前記出力手段により出力される情報は、撮像装置の向きがなす角度に基づく情報を含むことを特徴とする請求項１乃至１０のうち何れか１項に記載の情報処理装置。
前記所定の条件は、前記撮像領域を閾値以上の数の方向から撮像できるという条件を含むことを特徴とする請求項１乃至１１のうち何れか１項に記載の情報処理装置。
前記所定の条件は、前記撮像領域を複数の方向から撮像でき、且つ、当該複数の方向の間隔が閾値未満であるという条件を含むことを特徴とする請求項１乃至１２のうち何れか１項に記載の情報処理装置。
前記所定の条件は、前記撮像領域を閾値以上の分解能で撮像できるという条件を含むことを特徴とする請求項１乃至１３のうち何れか１項に記載の情報処理装置。
前記特定手段により特定される前記複数の撮像装置に関するパラメータには、前記複数の撮像装置の位置及び向きを示すパラメータが含まれることを特徴とする請求項１乃至１４のうち何れか１項に記載の情報処理装置。
前記特定手段により特定される前記複数の撮像装置に関するパラメータには、前記複数の撮像装置の焦点距離及び撮像画素数を示すパラメータが含まれることを特徴とする請求項１乃至１５のうち何れか１項に記載の情報処理装置。
前記特定手段により特定される前記複数の撮像装置に関するパラメータには、前記複数の撮像装置の可動域を示すパラメータが含まれることを特徴とする請求項１乃至１６のうち何れか１項に記載の情報処理装置。
前記特定手段は、撮像装置により取得される撮像画像から検出されたオブジェクトの位置に基づいて当該撮像装置に関するパラメータを特定することを特徴とする請求項１乃至１７のうち何れか１項に記載の情報処理装置。
前記特定手段は、撮像装置により取得される撮像画像と、当該撮像装置により撮像される領域に関連付けられる三次元モデルとに基づいて、当該撮像装置に関するパラメータを特定することを特徴とする請求項１乃至１７のうち何れか１項に記載の情報処理装置。
ユーザによる操作に基づいて前記所定の条件を設定する設定手段をさらに有することを特徴とする請求項１乃至１９のうち何れか１項に記載の情報処理装置。
前記複数の撮像装置の撮像により取得される画像は、仮想視点画像の生成に用いられることを特徴とする請求項１乃至２０のうち何れか１項に記載の情報処理装置。
撮像領域を異なる方向から撮像する複数の撮像装置に関するパラメータを特定する特定工程と、
前記特定工程において特定された前記複数の撮像装置に関するパラメータに基づいて、前記撮像領域の撮像に係る所定の条件の適合状態であって少なくとも前記撮像領域が何れの方向から撮像されるかに応じて変化する適合状態を識別可能にする情報を出力する出力工程とを有し、
前記出力工程により出力される情報には、前記撮像装置の設置の状況を特定するための情報が含まれることを特徴とする情報処理方法。
コンピュータを、請求項１乃至２１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。