JP2019185178A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】撮影領域に照射される光が急激に変化した場合でも、より高精度にオブジェクトの形状を決定することを目的とする。【解決手段】それぞれ異なる視点からオブジェクトを撮影する複数の撮像部に含まれる撮像部により撮影された画像から、前記画像が撮影された際の前記撮像部の撮影対象の領域に照射された光に応じた手法で、前記オブジェクトの領域を分離する分離手段と、前記複数の撮像部のそれぞれにより撮影された複数の画像それぞれから前記分離手段により分離された前記オブジェクトの領域に基づいて、前記オブジェクトの形状を決定する決定手段と、を有する。【選択図】図５

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、画像に含まれるオブジェクトを抽出する方法として、オブジェクトが含まれる画像とオブジェクトが含まれない背景のみの背景画像との差分をとってオブジェクトを抽出する背景差分法等の手法が知られている。このような手法は、複数視点のオブジェクト領域から視体積交差法によりオブジェクトの形状を取得する際等に用いられる。背景差分法等の手法を用いたオブジェクト抽出では、背景画像と異なる色・輝度値の画素をオブジェクトが存在する画素として抽出する。オブジェクト、背景を含むシーン全体に照射される光が一定であれば、高精度にオブジェクトを抽出することが可能である。しかし、照明環境の変化等が原因でオブジェクトと同時に背景の色も逐次変化する場合、オブジェクト抽出精度が低下するという課題がある。この課題に対し、特許文献１では、画像の変動量に基づいて、オブジェクト抽出時の閾値を更新することにより、画素値の時系列変動に応じたオブジェクト抽出を実現している。

特開平１０−２１４０８号公報

オブジェクトをそれぞれ異なる視点から撮影する複数の撮像部それぞれにより撮影された複数の画像それぞれからオブジェクトの領域を分離して、この複数の画像それぞれから分離されたオブジェクトの領域を用いて、オブジェクトの形状を決定することが行われている。撮像部の撮影領域において、フラッシュの点灯、照明機器から照射される照明の急激な変化等により撮影領域に照射される光が急激に変化する場合がある。このような場合、特許文献１の技術では、撮像部により撮影された画像からオブジェクトを高精度に分離することができない。そのため、オブジェクトの形状を高精度に決定できなかった。
本発明は、撮影領域に照射される光が変化した場合でも、より高精度にオブジェクトの形状を決定できるようにすることを目的とする。

本発明の情報処理装置は、それぞれ異なる視点からオブジェクトを撮影する複数の撮像部に含まれる撮像部により撮影された画像から、前記画像が撮影された際の前記撮像部の撮影対象の領域に照射された光に応じた手法で、前記オブジェクトの領域を分離する分離手段と、前記複数の撮像部のそれぞれにより撮影された複数の画像それぞれから前記分離手段により分離された前記オブジェクトの領域に基づいて、前記オブジェクトの形状を決定する決定手段と、を有する。

本発明によれば、撮影領域に照射される光が変化する場合でも、より高精度にオブジェクトの形状を決定することができる。

情報処理装置のハードウェア構成等の一例を示す図である。 撮像装置の配置状況の一例を示す図である。 分離が適切に行われない場合の一例を説明する図である。 情報処理装置の機能構成等の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 効果の一例を説明する図である。 情報処理装置の処理の一例を示すフローチャートである。 情報処理装置の処理の一例を示すフローチャートである。 撮像装置の配置状況の一例を示す図である。 分離が適切に行われない場合の一例を説明する図である。 情報処理装置の機能構成等の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 照明機器の照射状況と撮像装置の画素との対応を示すテーブルの一例を示す図である。

以下に、本発明の実施の形態を、図面を用いて詳細に説明する。

＜実施形態１＞
図１は、情報処理装置１００のハードウェア構成等の一例を示す図である。情報処理装置１００は、それぞれ視点の異なる複数の撮像装置１０８と接続され、撮像装置１０８から取得した画像からオブジェクトの領域を分離し、分離したオブジェクトの領域に基づいて、オブジェクトの形状を決定する情報処理装置である。情報処理装置１００は、例えば、パーソナルコンピュータ、サーバ装置、タブレット装置、スマートホン、デバイスに組み込まれたコンピュータ等の情報処理装置である。また、情報処理装置１００は、ネットワークカメラ等の撮像装置であってもよい。
情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、出力インターフェース１０６を含む。そして、各要素は、システムバス１０７を介して、相互に通信可能に接続されている。
ＣＰＵ１０１は、情報処理装置１００を制御する中央演算装置である。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１０２は、ＣＰＵ１０１のワークエリアやデータの一時的な記憶場所として機能する記憶装置である。Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）は、情報処理装置１００の各要素を制御するためのプログラム等を記憶する記憶装置である。ＣＰＵ１０１は、ＲＡＭ１０２をワークエリアとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して情報処理装置１００の各構成部を統括的に制御することとなる。

二次記憶装置１０４は、各種プログラム、各種設定情報、撮像装置１０８から取得した画像等を記憶するハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、光ディスクドライブ等の記憶装置である。ＣＰＵ１０１は、システムバス１０７を介して、二次記憶装置１０４へのデータの書き込み、二次記憶装置１０４に記憶されたデータの読出しを行うことができる。
入力インターフェース１０５は、例えば、ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、外部の装置から情報処理装置１００へのデータや命令等の入力に用いられる。情報処理装置１００は、入力インターフェース１０５を介して、複数の撮像装置１０８のそれぞれ、外部記憶装置１０９等と接続されている。ＣＰＵ１０１は、入力インターフェース１０５を介して、撮像装置１０８から各種データ（例えば、撮像装置１０８が撮像した画像（静止画及び動画）、撮像装置１０８の撮像条件に関するパラメータ等のデータ）を取得する。また、ＣＰＵ１０１は、入力インターフェース１０５を介して、外部記憶装置１０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等の記憶媒体）からデータを取得する。

出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、外部の装置への情報の出力に用いられる。また、出力インターフェース１０６は、例えば、ＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子であってもよい。情報処理装置１００は、出力インターフェース１０６を介して、外部記憶装置１０９、表示装置１１０等と接続されている。ＣＰＵ１０１は、出力インターフェース１０６を介して、表示装置１１０（液晶ディスプレイ等の各種画像表示デバイス）に、処理された画像等を出力することで、画像の表示を行う。
ＣＰＵ１０１が、ＲＯＭ１０３、二次記憶装置１０４等に記憶されたプログラムに従って処理を実行することで、図４、１１で後述する情報処理装置１００の機能、図５、７、８、１２で後述するフローチャートの処理等が実現される。

図２は、複数の撮像装置１０８それぞれが配置されている状況の一例を示す図である。撮像装置１０８それぞれは、例えば、ネットワークカメラ、監視カメラ等の撮像装置（撮像部）である。複数の撮像装置１０８それぞれは、予め定められた領域をそれぞれ異なる視点で撮影するように配置されている。図２の例では、この領域は、２人の人物であるオブジェクト２０１が存在するステージである。
図２（ａ）は、撮影対象の領域を斜め上から見た状況の一例を示す図である。図２（ａ）は、予め定められた領域を真上から見た状況の一例を示す図である。図２の状況は、ステージを囲むように配置された複数の撮像装置１０８により、ステージ上にいるオブジェクト２０１が撮影されている状況である。オブジェクト２０１はステージ上で演技、歌唱、運動等を行っており、その様子が撮像装置１０８により撮影されている。
図２における座標系２０２は、この領域内に定められている座標系であり、撮像装置１０８の位置等を表す際に用いられる座標系である。例えば、撮像装置１０８の位置は、座標系２０２における座標値として表される。カメラ２０３は、フラッシュ機能を備え、情報処理装置１００とは独立した系で稼動しているオブジェクト２０１の動きを単視点で撮影するカメラである。

ここで図２に示すような状況で生じうる問題について、図３を用いて説明する。カメラ２０３は、オブジェクトをより鮮明に撮影するため、撮影時にフラッシュを点灯する。図２ではステージ上でオブジェクトである人が動作するシーンを例にとって説明したが、本実施形態の処理は、ある人間以外の物体を取り囲んで撮像装置１０８を配置し、その物体の形状を復元する等のシーンにも適用可能である。
図３（ａ）の画像は、撮像装置１０８の１つで撮影された撮影対象領域の背景画像である。ここで、背景画像とは、撮像装置の撮影対象の領域の画像であってオブジェクトが存在していない画像である。
図３（ｂ）、（ｃ）の画像は、同じ撮像装置１０８で撮影されたオブジェクト２０１が含まれる画像である。ここで図３（ｂ）の画像が撮影された時点では、カメラ２０３による撮影は行われておらず、カメラ２０３のフラッシュは点灯していない。図３（ｃ）の画像が撮影された時点では、カメラ２０３によりフラッシュ点灯を伴う撮影が行われており、オブジェクト２０１とステージの一部とがカメラ２０３のフラッシュを受けて明るくなっている。

図３（ｄ）、（ｅ）の画像は、それぞれ図３（ｂ）、（ｃ）の画像に対して、図３（ａ）の背景画像を用いて背景差分法の処理を行った結果を示す画像である。図３（ｄ）の画像を見ると、背景差分法によってオブジェクト２０１のみが分離されていることが分かる。しかし、図３（ｅ）の画像を見ると、点灯されたカメラ２０３のフラッシュの影響で、オブジェクト２０１以外にステージの一部が抽出されていることが分かる。
図３（ｄ）の画像と同等にフラッシュの影響を受けずにオブジェクト２０１を分離した複数視点の背景差分の結果を入力データとした視体積交差法（Ｖｉｓｕａｌ Ｈｕｌｌ）等の手法でオブジェクト２０１の形状を決定すれば、高精度にオブジェクト２０１の形状を決定できる。しかし、図３（ｅ）の画像のようにフラッシュの影響でオブジェクト２０１以外の部分を分離した背景差分の結果を入力データとした場合、オブジェクト２０１の形状を精度よく決定することは困難である。例えば、オブジェクト２０１の膝下の部分が、正確な形状でなく、１つの塊のような形状として分離されているため、正確に足の形状を取得することは困難である。

以下では図４、図５を用いて、本実施形態の情報処理装置１００の処理について説明する。
図４は、情報処理装置１００の機能構成等の一例を示す図である。情報処理装置１００は、撮像データ群取得部４０１、照明情報取得部４０２、分離手法決定部４０３、分離部４０４、パラメータ取得部４０５、形状決定部４０６を含む。
撮像データ群取得部４０１は、撮像装置１０８それぞれから撮像装置１０８それぞれにより撮影された画像のデータを取得する。
照明情報取得部４０２は、撮像データ群取得部４０１により取得された画像に基づいて、撮像装置１０８の撮影対象の領域にどのような光が照射されているかを示す情報である照明情報を取得する。
分離手法決定部４０３は、照明情報取得部４０２により取得された照明情報に基づいて、撮像装置１０８により撮影された画像からオブジェクトを分離する際に用いる手法を決定する。

分離部４０４は、分離手法決定部４０３により決定された手法を用いて、撮像装置１０８により撮影された画像からオブジェクトの領域を分離する。
パラメータ取得部４０５は、入力インターフェース１０５を介して、撮像装置１０８それぞれから撮像装置１０８それぞれの内部パラメータ・外部パラメータ・歪曲パラメータ等のカメラパラメータを取得する。内部パラメータとは、画像中心の座標値やカメラのレンズの焦点距離等のパラメータである。外部パラメータとは、カメラの位置と向きを表すパラメータである。歪曲パラメータとは、カメラのレンズの歪曲を表すパラメータである。カメラパラメータは、複数視点の画像データを元にｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎによって推定されることとしてもよいし、予めチャート等を用いたキャリブレーションを行うことで算出されることとしてもよい。また、パラメータ取得部４０５は、二次記憶装置１０４から、撮像装置１０８それぞれの内部パラメータ・外部パラメータ・歪曲パラメータ等のカメラパラメータを取得することとしてもよい。
形状決定部４０６は、パラメータ取得部４０５により取得された撮像装置１０８それぞれのカメラパラメータと、分離部４０４により分離されたオブジェクトの領域と、に基づいて、オブジェクトの形状を決定する。

図５を用いて、情報処理装置１００の各機能構成部により行われる処理の流れを説明する。図５は、情報処理装置１００の処理の一例を示すフローチャートである。
Ｓ５０１において、撮像データ群取得部４０１は、入力インターフェース１０５を介して、複数の撮像装置１０８それぞれにより撮影された時間的に連続した多視点の画像データ群を取得する。本実施形態では、１６台の撮像装置１０８が存在するとする。撮像装置１０８それぞれは、同期したタイミングで、６０ｆｐｓで１０秒間の動画（６００枚のフレーム（静止画））を撮影する。即ち、撮像データ群取得部４０１は、６００枚×１６台の画像のデータを取得する。撮像データ群取得部４０１は、取得した画像データを、照明情報取得部４０２と分離部４０４とに出力する。
Ｓ５０２において、照明情報取得部４０２は、撮像データ群取得部４０１から取得した画像データに基づいて、各撮像装置１０８について、各フレームが撮影された際に各撮像装置１０８の撮影対象の領域に照射された光の情報である照明情報を取得する。本実施形態では、照明情報は、複数の撮像装置１０８について、各フレームが撮影された際に各撮像装置１０８の撮影対象の領域に照射された光が、カメラのフラッシュ等の瞬間的に照射される光を含んでいるか否かを示す情報であるとする。カメラのフラッシュは、短期光の一例である。短期光とは、予め定められた閾値以下の期間の間だけ照射される光であり、カメラのフラッシュ、火花の光、雷の光等の光である。本実施形態では、撮像装置１０８それぞれの撮影対象の領域には、カメラのフラッシュが照射されることがあるとする。
照明情報取得部４０２は、各撮像装置１０８について、各撮像装置１０８により撮影されたフレームの中から、撮影の際に撮影対象の領域にカメラのフラッシュが照射されていたフレームを特定する。そして、照明情報取得部４０２は、特定したフレームの情報（そのフレームを撮影した撮像装置１０８を示す情報（例えば、撮像装置１０８のＩＤ等の識別情報）、及びフレームの識別情報（例えばフレーム番号））を、照明情報として取得する。本実施形態では、照明情報取得部４０２は、以下の式（１）〜（３）を満たすフレームをフラッシュの影響をうけたフレームとして特定する。

式（１）、式（２）中のＩ（ｆ、ｕ、ｖ）は、フレームｆの画像の座標（ｕ、ｖ）の画素の輝度値を示す。式（１）、式（２）、式（３）中のｆ、ｆ'は、フレーム番号を示す。フレーム番号とは、フレームが何番目のフレームであるかを示す番号である。式（１）、式（２）中のｕ、ｖは、画像内における座標値を示す。式（１）、式（２）、式（３）中のα、β、χは、それぞれ予め定められた閾値を示す。
フラッシュの影響を受けたか否かの検査対象となるフレームをｆとする。式（１）は、同じ撮像装置１０８により撮影されたフレームｆ−１（フレームｆの１つ前に撮影されたフレーム）とフレームｆとの座標（ｕ、ｖ）の輝度値に閾値α以上の差があるか否かを検出する際に用いられる式である。照明情報取得部４０２は、式（１）を用いて、フレームｆが撮影された時点において、フレームｆ−１が撮影された時点と比べて、輝度の急峻な上昇があったか否かを判定できる。

フレームｆ'は、フレームｆよりも後に同一の撮像装置１０８により撮影されたフレームである。式（２）は、同じ撮像装置１０８により撮影されたフレームｆ'−１（フレームｆ'の１つ前に撮影されたフレーム）とフレームｆ'との座標（ｕ、ｖ）の輝度値に閾値α以上の差があるか否かを検出する際に用いられる式である。照明情報取得部４０２は、式（２）を用いて、フレームｆ'が撮影された時点において、フレームｆ'−１が撮影された時点と比べて、輝度の急峻な下降があったか否かを判定できる。
照明情報取得部４０２は、例えば、フレームｆが式（１）を満たすと判定した場合、フレームｆ'を、フレームｆ＋１として初期化する。そして、照明情報取得部４０２は、フレームｆ'について、式（２）を満たすか否かを判定し、式（２）を満たさないと判定した場合、フレームｆ'のフレーム番号を１つインクリメントすることで、フレームｆ'を更新する。即ち、フレームｆ'がフレームｆ＋１である場合、フレームｆ＋２に更新される。そして、照明情報取得部４０２は、再度、フレームｆ'について、式（２）を満たすか否かを判定する。照明情報取得部４０２は、以上の処理を式（２）を満たすフレームｆ'が現れるまで繰り返すことで、式（２）を満たすフレームｆ'を検出する。

照明情報取得部４０２は、式（２）を満たすフレームｆ'を検出した場合、フレームｆとフレームｆ'とが式（３）を満たすか否か（フレームｆとフレームｆ'のフレーム間隔がβ（例えば、１、２等）以上χ（例えば、５、６等）以下であるか否か）を判定する。そして、照明情報取得部４０２は、フレームｆとフレームｆ'とが式（３）を満たすと判定した場合、フレームｆ、フレームｆ＋１、・・・、フレームフレームｆ'−１を、フラッシュの影響を受けたフレームとして特定する。
式（１）〜（３）を満たすということは、予め定められた閾値以下の期間（例えばχ個のフレーム間隔に想到する期間以下の期間）照射される予め定められた強度以上の光が撮影対象の領域に照射されたこととなる。照明情報取得部４０２は、式（１）〜（３）を満たすフレームｆとフレームｆ'とを検出することで、このような光の影響を受けたフレームを特定することができる。

そして、照明情報取得部４０２は、フラッシュの影響を受けたフレームとして特定したフレームに対応する撮像装置１０８を示す情報と、そのフレームのフレーム番号の情報と、を対応付けて照明情報として、分離手法決定部４０３に出力する。
本実施形態では、照明情報取得部４０２は、以上のような処理でフラッシュの影響を受けたフレームを特定して、照明情報を取得し、出力することとした。しかし、照明情報取得部４０２は、例えば、背景差分法により前景背景分離をフレーム番号が隣接する全フレーム間で行い、前景領域サイズが急激に増加したフレームをフラッシュの影響により輝度変化が発生したフレームであると特定することとしてもよい。

Ｓ５０３において、分離手法決定部４０３は、複数の撮像装置１０８それぞれにより撮影された全てのフレーム（Ｓ５０１で取得された全てのフレーム）それぞれに対してＳ５０４〜Ｓ５０６の処理が実行されるよう制御する。より具体的には、分離手法決定部４０３は、Ｓ５０１で取得された全てのフレームのうち、Ｓ５０４〜Ｓ５０６の処理の対象となるフレームを１つ選択する。以下では、選択されたフレームを選択フレームとする。
そして、選択フレームについてＳ５０４〜Ｓ５０６の処理が完了した場合、分離手法決定部４０３は、Ｓ５０１で取得された全てのフレームの中から選択フレームとして選択されたことのないフレームを新たな選択フレームとして選択する。分離手法決定部４０３は、以上の処理を、Ｓ５０１で取得された全てのフレームについて、Ｓ５０４〜Ｓ５０６の処理が完了するまで繰り返す。

Ｓ５０４において、分離手法決定部４０３は、Ｓ５０２で取得された照明情報に基づいて、各撮像装置１０８により撮影された各フレームからオブジェクトの領域を分離するための手法を決定する。本実施形態では、照明情報とは、フラッシュが照射された領域を撮影した撮像装置の番号と撮影されたフレームのフレーム番号である。そこで、分離手法決定部４０３は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれるか否かを判定する。
分離手法決定部４０３は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれると判定した場合、選択フレームに対するオブジェクトの分離の手法をＳ５０６の手法に決定し、Ｓ５０６の処理に進む。分離手法決定部４０３は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれないと判定した場合、選択フレームに対するオブジェクトの分離の手法をＳ５０５の手法に決定し、Ｓ５０５の処理に進む。

Ｓ５０５において、分離部４０４は、フラッシュの影響を受けていない選択フレームに対してオブジェクトの領域を分離する処理を行う。本実施形態では、分離部４０４は、フラッシュの影響を受けていないフレームに対して、背景差分法を用いてオブジェクトの領域を分離する。背景差分法とは、オブジェクトのいない背景画像とオブジェクトの含まれる画像とを比較し、色、輝度の違いにより、前景領域を抽出する手法である。この処理により、背景領域とオブジェクト領域を分離することが可能となる。本実施形態では、分離部４０４は、例えば、Ｓ５０１で取得された同一の撮像装置により撮影された時間的に連続した複数の画像を入力とし、画像中の各画素について、この複数の画像の画素値を特定し、特定した画素値の中間値を求める。そして、分離部４０４は、画像中の各画素の画素値が、求めた中間値である画像を背景画像として生成する。
そして、分離部４０４は、生成した背景画像の画素の画素値と選択フレームの同じ画素の画素値とを比較し、閾値以上であればその画素の領域を、オブジェクトの領域であるとして分離する。本実施形態では、分離部４０４は、各撮像装置１０８により撮影された画像に基づいて各撮像装置１０８により撮影された画像に用いられる背景画像を生成した。しかし、分離部４０４は、例えば、事前にオブジェクトがいない状態で、各撮像装置１０８を介して、撮影対象の領域を撮影することで、背景画像を生成してもよい。
分離部４０４は、形状決定部４０６へと分離したオブジェクトの領域の情報を出力する。オブジェクトの領域の情報は、例えば、画像中でオブジェクトが存在する領域を白、オブジェクトの存在しない背景領域を黒とした２値画像（シルエットデータ）である。

Ｓ５０６において、分離部４０４は、フラッシュの影響をうけた選択フレームに対してオブジェクトの領域を分離する処理を行う。本実施形態では、分離部４０４は、フラッシュの影響をうけた選択フレームに対するオブジェクトの領域の分離処理の結果として、以下のものを用いる。即ち、分離部４０４は、選択フレームと同じ撮像装置１０８により撮影された１つ前のフレームに対するオブジェクトの領域の分離処理の結果をそのまま用いる。ここで、選択フレームの１つ前のフレームがフラッシュの影響を受けている場合が生じうる。しかし、選択フレームの１つ前のフレームについてのオブジェクトの領域の分離の結果は、その更に１つ前のフレームについてのオブジェクトの領域の分離の結果が適用される。このように、分離部４０４は、フラッシュの影響を受けたフレームについてのオブジェクトの領域の分離の結果を、
解像度：４０９６×２１６０、フレームレート：６０ｆｐｓのカメラでオブジェクトとなる人物を画像中で縦１／８の大きさになるように撮影した場合、人間の移動速度は約４ｋｍ／ｈ程であるため、フレーム間でオブジェクトは、約２．８画素移動することとなる。実際のオブジェクト位置から２．８画素ずれた位置でオブジェクトが分離されることとなるが、２．８画素のずれは、解像度：４０９６×２１６０の画像においては微小なずれとみなせる。そのため、本実施形態のように時間的に連続したフレーム（６０ｆｐｓ）についてオブジェクトの分離を行い、オブジェクトの形状を決定する場合においては、隣接するフレーム間のオブジェクトの位置の微小なずれは無視できる。分離部４０４は、形状決定部４０６へとオブジェクトの領域の分離の結果を出力する。

本実施形態では、分離部４０４は、Ｓ５０６で、以上のような手法でフラッシュの影響をうけたフレームからオブジェクトの領域を分離した。しかし、分離部４０４は、例えば、フラッシュの影響を受けたフレームについてのオブジェクトの領域の分離結果として、このフレームの１つ前のフレーム以外のこのフレームと異なる時点に撮影されたフレームについてのオブジェクトの領域の分離結果を適用してもよい。例えば、分離部４０４は、フラッシュの影響を受けたフレームについてのオブジェクトの領域の分離結果として、このフレームの後に撮影されたフラッシュの影響を受けていないフレームについてのオブジェクトの領域の分離結果を適用してもよい。例えば、分離部４０４は、フラッシュの影響を連続する２フレームがうけた場合、以下のようにしてもよい。即ち、分離部４０４は、１フレーム目については対象のフレームの１つ前のフレームについてのオブジェクトの領域の分離結果を適用し、２フレーム目については対象のフレームの１つ後のフレームについてのオブジェクトの領域の分離結果を適用することとしてもよい。
また、分離部４０４は、フラッシュの影響を受けたフレームについてのオブジェクトの領域の分離結果を、このフレームと異なる時点に撮影された複数のフレームそれぞれについてのオブジェクトの領域の分離結果に基づいて生成してもよい。例えば、分離部４０４は、フラッシュの影響を１つのフレームが受けた場合、対象のフレームの１つ前のフレームについてのオブジェクトの領域の分離結果と、対象のフレームの１つ後のフレームについてのオブジェクトの領域の分離結果と、の平均を求める。そして、分離部４０４は、求めた平均の分離結果を、フラッシュの影響を受けた対象のフレームについてのオブジェクトの領域の分離結果として決定してもよい。

Ｓ５０７において、パラメータ取得部４０５は、入力インターフェース１０５を介して各撮像装置１０８から、又は、二次記憶装置１０４から、各撮像装置１０８のカメラパラメータを取得する。パラメータ取得部４０５は、取得したカメラパラメータを形状決定部４０６に出力する。
Ｓ５０８において、形状決定部４０６は、Ｓ５０５又はＳ５０６で分離部４０４から入力されたオブジェクトの領域の情報と、Ｓ５０７でパラメータ取得部４０５から入力されたカメラパラメータと、に基づいて、オブジェクトの形状を決定する。本実施形態では、形状決定部４０６は、視体積交差法を用いて、オブジェクトの形状を決定する。視体積交差法による形状決定では、オブジェクトが存在する可能性のる空間中のサンプリング点をオブジェクトの領域の分離結果（シルエットデータ）に射影し、複数視点で共通してシルエットに含まれるかを検証することにより、オブジェクトの形状を復元する。視体積交差法において、空間中のサンプリング幅を小さくすることにより高精度な形状復元が可能である。形状決定部４０６は、決定したオブジェクトの形状の情報を、例えば、表示装置１１０に表示することで出力する。また、形状決定部４０６は、決定したオブジェクトの形状の情報を、二次記憶装置１０４に記憶することで出力することとしてもよい。また、形状決定部４０６は、決定したオブジェクトの形状の情報を、外部の情報処理装置等の予め定められた送信先に送信することで出力することとしてもよい。
本実施形態では、情報処理装置１００は、撮像装置１０８の撮影対象の領域にカメラのフラッシュが照射された場合について、より精度よくオブジェクトの形状を決定する処理について説明した。しかし、情報処理装置１００は、撮像装置１０８の撮影対象の領域にカメラのフラッシュと異なる短期光（例えば、雷や火花の光等）が照射された場合にも、同様の処理で、オブジェクトの形状をより精度よく決定できる。

以上、本実施形態では、情報処理装置１００は、複数の撮像装置１０８により撮影された画像から、その画像の撮影の際の撮影対象の領域に照射された光に応じた手法を用いて、オブジェクトの領域を分離した。そして、情報処理装置１００は、分離したオブジェクトの領域に基づいて、オブジェクトの形状を決定した。これにより、情報処理装置１００は、撮像装置１０８の撮影領域に照射される光が急激に変化した場合でも、より高精度にオブジェクトの形状を決定することができる。
図３で説明したように、フラッシュの影響をうけたフレームで背景差分法によるオブジェクト分離を行うと、図３（ｅ）のようにオブジェクト以外の領域もオブジェクトとして誤って分離される。この分離結果に基づいて決定されたオブジェクトの形状を、ある仮想視点から見た状況の一例を、図６（ａ）に示す。図６（ａ）のオブジェクト６０１のように、実際には何もないところにオブジェクトの一部の形状があるとされ、オブジェクトが立っているステージの形状が変形しているように見える。これは、フラッシュの影響をうけた複数のカメラで誤ったオブジェクト分離結果が取得され、それらを用いて形状が求められたためである。フラッシュを点灯して撮影するカメラの性能、位置等により、オブジェクト６０１の形状・大きさは変化する。例えば、時間的に連続して撮影した全てのフレームに対し形状取得を行い、時間的に連続した形状として視聴した場合であっても、フラッシュが点灯された間だけ取得する形状が乱れるため、視聴者にとっては大きな違和感となる。
本実施形態では、情報処理装置１００は、図３（ｅ）の代わりに図３（ｄ）のようにフラッシュの影響がない画像から分離されたオブジェクトの領域を用いて、オブジェクトの形状を決定した。決定されたオブジェクトの形状を図６（ａ）と同じ視点から見た状況の一例を図６（ｂ）に示す。図６（ａ）で現れていた実際にはないオブジェクト６０１が消えていることがわかる。

＜実施形態２＞
実施形態１では、フラッシュの影響をうけたフレームのオブジェクト分離結果を、同じカメラの他のフレームのオブジェクト分離結果に基づいて求めることにより、フラッシュが点灯されたタイミングであってもより高精度にオブジェクトの形状を決定する処理について説明した。
しかし、図５のＳ５０６で説明したように、オブジェクトが移動している場合、オブジェクトの分離の結果に微小な誤差が生じる。そこで、本実施形態では、オブジェクトの移動により生じる誤差を軽減する処理について説明する。
本実施形態の情報処理装置１００のハードウェア構成は、実施形態１と同様である。
本実施形態の情報処理装置１００の機能構成は、実施形態１と同様に、撮像データ群取得部４０１、照明情報取得部４０２、分離手法決定部４０３、分離部４０４、パラメータ取得部４０５、形状決定部４０６を含む構成となっている。しかし、照明情報取得部４０２は、実施形態１と異なる照明情報を取得する。また、分離部４０４の処理内容は、実施形態１と異なる。
以下では、本実施形態と実施形態１との差異を中心に、本実施形態の処理を説明する。

図７は、本実施形態の情報処理装置１００の処理の一例を示すフローチャートである。
Ｓ８０１において、撮像データ群取得部４０１は、入力インターフェース１０５を介して、複数の撮像装置１０８それぞれにより撮影された時間的に連続した多視点の画像データ群を取得する。撮像データ群取得部４０１は、取得した画像データを、照明情報取得部４０２と分離部４０４とに出力する。
Ｓ８０２において、照明情報取得部４０２は、照明情報を取得する。本実施形態では、照明情報取得部４０２は、互いに対応付けられた、撮像装置１０８を示す情報と、フラッシュの影響を受けたフレームの情報（例えば、フレーム番号）と、フラッシュの影響を受けた画素の座標値の情報と、を含む照明情報を取得する。フラッシュの影響を受けた画素の座標値は、例えば、式（１）〜（３）を満たすｕ、ｖの情報である。

Ｓ８０３において、パラメータ取得部４０５は、入力インターフェース１０５を介して各撮像装置１０８から、又は、二次記憶装置１０４から、各撮像装置１０８のカメラパラメータを取得する。パラメータ取得部４０５は、取得したカメラパラメータを形状決定部４０６に出力する。
Ｓ８０４において、分離手法決定部４０３は、複数の撮像装置１０８それぞれにより撮影された全てのフレーム（Ｓ８０１で取得された全てのフレーム）それぞれに対してＳ８０５〜Ｓ５０７の処理が実行されるよう制御する。より具体的には、分離手法決定部４０３は、Ｓ８０１で取得された全てのフレームのうち、Ｓ８０５〜Ｓ８０７の処理の対象となるフレームを１つ選択する。以下では、選択されたフレームを選択フレームとする。そして、選択フレームについてＳ８０５〜Ｓ８０７の処理が完了した場合、分離手法決定部４０３は、Ｓ８０１で取得された全てのフレームの中から選択フレームとして選択されたことのないフレームを新たな選択フレームとして選択する。分離手法決定部４０３は、以上の処理を、Ｓ８０１で取得された全てのフレームについて、Ｓ８０５〜Ｓ８０７の処理が完了するまで繰り返す。

Ｓ８０５において、分離手法決定部４０３は、Ｓ８０２で取得された照明情報に基づいて、選択フレームからオブジェクトの領域を分離するための手法を決定する。分離手法決定部４０３は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれるか否かを判定する。
分離手法決定部４０３は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれると判定した場合、選択フレームに対するオブジェクトの分離の手法をＳ８０７の手法に決定し、Ｓ８０７の処理に進む。分離手法決定部４０３は、選択フレームに対応する撮像装置の番号と選択フレームに対応するフレーム番号との対応情報が照明情報に含まれないと判定した場合、選択フレームに対するオブジェクトの分離の手法をＳ８０６の手法に決定し、Ｓ８０６の処理に進む。
Ｓ８０６において、分離部４０４は、Ｓ５０５と同様に、背景差分を用いて、フラッシュの影響を受けていない選択フレームに対してオブジェクトの領域を分離する処理を行う。

Ｓ８０７において、分離部４０４は、フラッシュの影響をうけた選択フレームに対して、オブジェクトの領域を分離する処理を行う。Ｓ８０７の処理の詳細を、図８に示す。図８は、Ｓ８０７の処理の一例の詳細を示すフローチャートである。
Ｓ９０１において、分離部４０４は、Ｓ８０３で取得されたカメラパラメータを取得する。
Ｓ９０２において、分離部４０４は、Ｓ９０１で取得したカメラパラメータを用いて、選択フレームにおけるフラッシュの影響をうけた各画素（選択フレーム中で式（１）〜（３）を満たすとされた座標値（ｕ、ｖ）における画素）の奥行きを算出する。ここで、画素の奥行きとは、選択フレームを撮影した撮像装置１０８と、その画素に写っているオブジェクトと、の間の距離のことである。選択フレームを撮影した撮像装置１０８と、その画素に写っているオブジェクトと、の間の距離は、例えば、その撮像装置１０８の撮像素子におけるその画素に対応する位置とそのオブジェクトとの間の距離である。
分離部４０４は、Ｓ９０１で取得されたカメラパラメータに基づいて、例えば、仮想レイヤを設定しステレオマッチングの要領でオブジェクトの奥行きを推定するＰｌａｎｅ Ｓｗｅｅｐ法等を用いて、選択フレームのフラッシュの影響をうけた各画素の奥行を求める。

Ｓ９０３において、分離部４０４は、選択フレームの１つ前のフレームについて、選択フレーム中のフラッシュの影響を受けた各画素と同じ座標の各画素とその画素の近傍の画素について、Ｐｌａｎｅ Ｓｗｅｅｐ法等を用いて、奥行きを求める。画素の近傍の画素とは、その画素の周囲に存在する画素であり、例えば、その画素を中心に予め定められた大きさの領域（例えば、１１画素×１１画素の矩形の領域、９画素×９画素の矩形の領域等）に含まれる画素である。
撮像装置１０８が撮影の際に、距離センサ等を用いて各画素に対応するオブジェクトと撮像装置１０８との距離を取得する場合、分離部４０４は、撮像装置１０８により取得されたこれらの距離を、Ｓ９０２、Ｓ９０３で各画素の奥行きとして取得してもよい。

Ｓ９０４において、分離部４０４は、Ｓ９０２とＳ９０３とで取得した距離に基づいて、選択フレームにおけるフラッシュの影響をうけた画素の部分についてオブジェクト分離を行う。分離部４０４は、フラッシュの影響を受けた各画素について、以下の処理を行う。
即ち、分離部４０４は、フラッシュの影響を受けたある画素と同じ座標の画素とその近傍の画素について、Ｓ９０３で選択フレームの１つ前のフレームから求めた距離それぞれと、選択フレームにおけるその画素についてＳ９０２で求めた距離と、を比較する。そして、分離部４０４は、その画素とその近傍の画素についてＳ９０３で選択フレームの１つ前のフレームから求めた距離のうち、選択フレームにおけるその画素についてＳ９０２で求めた距離に最も近い距離を特定する。分離部４０４は、選択フレームの１つ前のフレームにおける特定した距離に対応する画素を、選択フレームにおけるフラッシュの影響を受けたその画素と同じオブジェクトが撮影された画素であると決定する。

そして、分離部４０４は、選択フレームの１つ前のフレームにおける特定した距離に対応する画素が、オブジェクトの領域であれば、選択フレームにおけるフラッシュの影響を受けたその画素を、オブジェクトの領域として決定する。また、分離部４０４は、選択フレームの１つ前のフレームにおける特定した距離に対応する画素が、オブジェクトでない背景の領域であれば、選択フレームにおけるフラッシュの影響を受けたその画素を、背景の領域として決定する。
このような処理により、分離部４０４は、選択フレームにおけるフラッシュの影響を受けた各画素に対応するオブジェクトが、１つ前のフレームにおいてオブジェクトとして分離されたか否かをより精度よく決定できる。これにより、分離部４０４は、選択フレームにおけるフラッシュの影響を受けた各画素がオブジェクトの領域であるか否かをより精度よく決定できる。
また、分離部４０４は、選択フレーム中のフラッシュの影響を受けていない各画素については、Ｓ８０６の処理と同様に背景差分法を用いてオブジェクトの領域を分離する。

Ｓ８０８において、形状決定部４０６は、Ｓ８０６又はＳ８０７で分離部４０４により分離されたオブジェクトの領域の情報と、Ｓ８０３でパラメータ取得部４０５により取得されたカメラパラメータと、に基づいて、オブジェクトの形状を決定する。本実施形態では、形状決定部４０６は、視体積交差法を用いて、オブジェクトの形状を決定する。
形状決定部４０６は、決定したオブジェクトの形状の情報を、例えば、表示装置１１０に表示することで出力する。また、形状決定部４０６は、決定したオブジェクトの形状の情報を、二次記憶装置１０４に記憶することで出力することとしてもよい。また、形状決定部４０６は、決定したオブジェクトの形状の情報を、外部の情報処理装置等の予め定められた送信先に送信することで出力することとしてもよい。

以上、本実施形態では、情報処理装置１００は、フラッシュの影響をうけた画素に対して、フラッシュの影響を受けた画素の奥行きを用いてオブジェクト分離を行う。これにより、情報処理装置１００は、実施形態１と比較して、より精度よりオブジェクトの領域を分離することができ、結果として、より精度よくオブジェクトの形状を決定することができる。

＜実施形態３＞
本実施形態では、例えば、コンサートやライブ等における照明のように複雑に変化する照明の状況に対応するための処理について説明する。
本実施形態の情報処理装置１００のハードウェア構成は、実施形態１と同様である。本実施形態の情報処理装置１００の機能構成の詳細は、図１１で後述する。
以下では、本実施形態と実施形態１との差異を中心に、本実施形態の処理を説明する。

図９は、本実施形態における複数の撮像装置１０８の配置状況の一例を示す図である。座標系１００１は、撮影対象の領域に予め定められた座標系である。撮像シーンにおけるステージの形状や撮像装置１０８の位置姿勢、照明機器１００２、１００３の位置姿勢等は、座標系１００１における座標やベクトルとして表される。照明機器１００２、１００３は、ステージに光を照射する照明機器であり、撮像装置１０８と同期したタイムコードを有する。以下では、照明機器１００２、１００３が照射する光を照明光とする。また、照明機器１００２、１００３は、情報処理装置１００等の外部の装置からの指示に応じて、照明光の照射角、姿勢、照明光の色等が制御される。
図１０は、オブジェクトの領域の分離が適切に行われない状況の一例を説明する図である。図１０（ａ）の画像は、本実施形態の複数の撮像装置１０８の撮影対象の領域を正面から撮影した背景画像である。背景画像はオブジェクトや照明がない状態で撮像した画像であってもよいし、時間的に連続して撮像した複数フレームの各画素において、平均画素値、又は中間値を取得することによって生成した画像でもよい。
図１０（ｂ）、（ｃ）の画像は、それぞれオブジェクトがステージ上に立った状態を撮影した画像と、その画像に対して図１０（ａ）の背景画像を用いて背景差分法を適用することで求まったオブジェクトの領域の分離の結果を示す画像である。図１０（ｃ）の画像を見ると、オブジェクトのみが分離されていることがわかる。

図１０（ｄ）、（ｅ）は、それぞれ、オブジェクトに加えてステージに照明機器１００２又は１００３からの照明光が照射されている状態を撮像した画像と、その画像に対するオブジェクトの領域の分離処理の結果を示す画像である。図１０（ｆ）、（ｇ）は、それぞれ、オブジェクトに加えてステージに照明機器１００２又は１００３からの照明光が照射されている状態を撮像した画像と、その画像に対するオブジェクトの領域の分離処理の結果を示す画像である。
図１０（ｅ）、（ｇ）の画像を見ると、オブジェクトと同時に照明機器１００２又は１００３によって照明光が照射されたステージの領域もオブジェクトとして分離されていることが分かる。特に図１０（ｇ）の例では、オブジェクトと照明機器１００２又は１００３によって照明光が照射されたステージの領域とが重複しており、オブジェクトとステージの境界が不明瞭になっている。このようなオブジェクト分離結果を用いて、オブジェクトの形状の決定処理を行うと、図６（ａ）のようにオブジェクト以外に実際には存在しないオブジェクトの形状が生じる。本実施形態の処理は、このような状況に対応するための処理である。

本実施形態の処理について、図１１、図１２を用いて説明する。
図１１は、本実施形態の情報処理装置１００の機能構成の一例を示す図である。本実施形態の情報処理装置１００は、図４と同様に、撮像データ群取得部４０１、照明情報取得部４０２、分離手法決定部４０３、分離部４０４、パラメータ取得部４０５、形状決定部４０６を含む。また、情報処理装置１００は、図４と異なり、シーン情報取得部１２０１を含む。
シーン情報取得部１２０１は、入力インターフェース１０５を介して撮像装置１０８から、又は、二次記憶装置１０４から、ステージの形状を示すステージ形状情報を取得する。本実施形態では、撮像装置１０８は、距離センサを介してステージを計測することで、ステージの形状を特定することができる。
また、本実施形態の照明情報取得部４０２は、照明情報を、撮像データ群取得部４０１から入力された画像データに基づいて取得するのではなく、入力インターフェース１０５を介して照明機器１００２、１００３から、又は、二次記憶装置１０４から取得する。
また、本実施形態の分離手法決定部４０３は、パラメータ取得部４０５からカメラパラメータの入力を受付ける。

Ｓ１３０１において、撮像データ群取得部４０１は、撮像装置１０８が撮像した画像を取得し、分離部４０４へと出力する。
Ｓ１３０２において、照明情報取得部４０２は、入力インターフェース１０５を介して照明機器１００２、１００３から、又は、二次記憶装置１０４から、照明情報を取得する。本実施形態では、照明情報は、互いに対応付けられた、撮像装置１０８と同期したタイムコードにおける予め定められた時点における照明機器１００２、１００３の位置姿勢、照明光の照射角、照明光の色の情報を含む。照明情報取得部４０２は、取得した照明情報を分離手法決定部４０３へと出力する。
Ｓ１３０３において、パラメータ取得部４０５は、各撮像装置１０８のカメラパラメータを取得し、取得したカメラパラメータを分離手法決定部４０３と形状決定部４０６とに出力する。
Ｓ１３０４において、シーン情報取得部１２０１は、入力インターフェース１０５を介して撮像装置１０８から、又は二次記憶装置１０４から、撮影対象の領域のステージの形状を示す形状情報を取得する。シーン情報取得部１２０１は、取得した形状情報を分離手法決定部４０３へと出力する。

Ｓ１３０５において、分離手法決定部４０３は、Ｓ１３０２で取得された照明情報と、Ｓ１３０３で取得されたカメラパラメータと、Ｓ１３０４で取得された形状情報と、に基づいて、以下のようなテーブルを生成する。即ち、分離手法決定部４０３は、各撮像装置１０８により撮影された各フレーム（タイムコード）の各画素がどのような照明光の影響を受けているかを示すテーブルを生成する。このテーブルの一例について、図１３で後述する。
分離手法決定部４０３は、照明情報に基づいて、予め定められた時点それぞれにおいて、照明機器１００２、１００３の状況（位置姿勢、照射角、色情報）を把握することが可能である。分離手法決定部４０３は、この照明機器１００２、１００３の状況と形状情報とに基づき、例えば、以下の式（４）〜（６）を用いて、ステージ上に照明機器１００２、１００３からの照明光が照射されている領域を求めることができる。

式（４）は、照明機器１００２、１００３が照射する照明光の光線方向のベクトルを示す式である。式（５）は、ステージ形状を示す式である。本実施形態では、ステージは、平面であるとする。式（６）は、式（４）、（５）から求めた光線方向ベクトルと平面の交点ｘ_s（３次元座標）を求めるための式である。式（４）〜（６）で、ｘは、照明光の方向を示すベクトルである。また、ｘ₀は、照明の位置座標である。ｓは、ベクトルｘの大きさを示す予め定められた係数である。ｐは、照明機器の姿勢（照明機器から照射される照明光の向き）を示すベクトルである。ｎは、ステージの平面の法線ベクトルである。ｑは、ステージの平面上の１点の位置座標である。
分離手法決定部４０３は、式（４）〜（６）を用いて、照明機器１００２、１００３から照射される照明光の中心がステージ上のどの位置と交差するかを求めることができる。また、分離手法決定部４０３は、ベクトルｐに照明機器１００２、１００３の照射角分の回転を与えたベクトルｐ'をｐの代わりに式（６）に代入することで、照明機器１００２、１００３から照射される照明光の端部とステージとの交差する位置を特定できる。また、分離手法決定部４０３は、ベクトルｐに照明機器１００２、１００３の照明光の照射角よりも小さい角度分の任意の回転を与えたベクトルをｐの代わりに式（６）に代入することで、以下のことができる。即ち、分離手法決定部４０３は、照明機器１００２、１００３の照明光に含まれる任意の光とステージとの交差する位置を特定できる。

更に、分離手法決定部４０３は、ステージ上の照明照射領域とカメラパラメータとに基づき、例えば式（７）により撮像装置１０８を構成する各カメラの画像上での照明照射領域を算出することができる。式（７）で、Ａは、カメラの内部パラメータにより求まる内部行列である。ｕは、撮像装置１０８により撮影された画像におけるｘ_sに対応する位置である。Ｒは、外部パラメータにより求まる外部行列である。ｔは、カメラの位置である。を示している。

分離手法決定部４０３は、式（４）〜（７）を用いることで、予め定められた時点で各撮像装置１０８により撮影された画像上で照明光が照射されている領域を求めることができる。分離手法決定部４０３は、ここで求めた領域に基づいて、図１３に示すようなテーブルを生成する。このテーブルは、照明情報に基づいて、予め定められた時点それぞれにおいて、各撮像装置１０８により撮影される画像の各画素にどの照明が照射されているかを示している。分離手法決定部４０３は、例えば、生成したこのテーブルを二次記憶装置１０４等に記憶する。
二次記憶装置１０４等に記憶されたこのテーブルを参照することで、予め定められた時点でステージ上にオブジェクトがいない状態において、各撮像装置１０８により撮影された画像の各画素には、どのような照明光の影響が出ているかを把握することが可能となる。図１３の例では、例えば、カメラ番号１の撮像装置１０８によりフレーム番号１に対応する時点で撮影された画像の座標値（１、１）の画素には、照明機器１００３（青色の照明光）の影響が出ていることが分かる。また、カメラ番号２の撮像装置１０８によりフレーム番号１に対応する時点で撮影された画像の座標値（１、１）の画素には、照明機器１００２（黄色の照明光）と照明機器１００３（赤色の照明光）との影響が出ていることが分かる。分離手法決定部４０３は、生成した図１３のようなテーブルを分離部４０４へと出力する。

Ｓ１３０６において、分離手法決定部４０３は、複数の撮像装置１０８それぞれにより撮影された全てのフレーム（Ｓ１３０１で取得された全てのフレーム）それぞれに対してＳ１３０７〜Ｓ１３０８の処理が実行されるよう制御する。より具体的には、分離手法決定部４０３は、Ｓ１３０１で取得された全てのフレームのうち、Ｓ１３０７〜Ｓ１３０８の処理の対象となるフレームを１つ選択する。以下では、選択されたフレームを選択フレームとする。
そして、選択フレームについてＳ１３０７〜Ｓ１３０８の処理が完了した場合、分離手法決定部４０３は、Ｓ１３０１で取得された全てのフレームの中から選択フレームとして選択されたことのないフレームを新たな選択フレームとして選択する。分離手法決定部４０３は、以上の処理を、Ｓ１３０１で取得された全てのフレームについて、Ｓ１３０７〜Ｓ１３０８の処理が完了するまで繰り返す。

Ｓ１３０７において、分離部４０４は、Ｓ１３０５で生成されたテーブルに基づいて、予め定められた各時点で各撮像装置１０８により撮影された画像に対する背景差分法に用いられる背景画像を生成する。分離部４０４は、Ｓ１３０５で生成されたテーブルを参照し、背景画像を生成するカメラ番号、フレーム番号ｆ、座標値（ｕ，ｖ）の照明状況（どの照明、色に照射されているか）を把握する。そして、分離部４０４は、同じカメラ番号ｃ、座標値（ｕ、ｖ）で、把握した照明状況と同じ照明状況になるフレーム番号を、このテーブル上で探索する。
分離部４０４は、同じ照明状況であるフレーム全てを探索し、例えば、探索した複数のフレームの座標（ｕ、ｖ）の平均画素値、又は中間値を求め、背景画像の座標（ｕ、ｖ）における画素値を決定する。分離部４０４は、以上の処理を、画像の全画素について行うことで背景画像を生成する。

Ｓ１３０８において、分離部４０４は、Ｓ１３０７で生成した背景画像を用いて、この背景画像に対応する撮像装置１０８によりこの背景画像に対応する時点に撮影された画像に対して、背景差分を行い、オブジェクトを分離する。分離部４０４は、オブジェクトの分離結果を形状決定部４０６へと出力する。
Ｓ１３０９において、形状決定部４０６は、Ｓ１３０８で分離部４０４により分離されたオブジェクトの領域の情報と、Ｓ１３０３でパラメータ取得部４０５により取得されたカメラパラメータと、に基づいて、オブジェクトの形状を決定する。本実施形態では、形状決定部４０６は、視体積交差法を用いて、オブジェクトの形状を決定する。

以上、本実施形態では、情報処理装置１００は、照明情報、形状情報、カメラパラメータに基づいて、照明光が照射される位置を特定し、全ての撮像装置１０８により各時点で撮影される画像の各画素にどのような照明光の影響があるかを示すテーブルを生成する。そして、情報処理装置１００は、生成したテーブルに基づき、各撮像装置１０８、各フレームで照明状況に対応した背景画像を生成し、その背景画像を用いた背景差分法によりオブジェクト分離を行った。これにより、情報処理装置１００は、コンサートやライブ等における照明のように複雑に変化する光が撮影対象の領域に照射されている場合でも、より精度よくオブジェクトの形状を決定できる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した情報処理装置１００の機能構成の一部又は全てをハードウェアとして情報処理装置１００に実装してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。

１００ 情報処理装置
１０１ ＣＰＵ
１０８ 撮像装置

Claims (14)

1. それぞれ異なる視点からオブジェクトを撮影する複数の撮像部に含まれる撮像部により撮影された画像から、前記画像が撮影された際の前記撮像部の撮影対象の領域に照射された光に応じた手法で、前記オブジェクトの領域を分離する分離手段と、
   前記複数の撮像部のそれぞれにより撮影された複数の画像それぞれから前記分離手段により分離された前記オブジェクトの領域に基づいて、前記オブジェクトの形状を決定する決定手段と、
   を有する情報処理装置。
2. 前記分離手段は、前記複数の撮像部に含まれる撮像部により撮影された画像から、前記画像が撮影された際の前記撮像部の撮影対象の領域に照射された光に応じた背景差分法の手法で、前記オブジェクトの領域を分離する請求項１記載の情報処理装置。
3. 前記分離手段は、前記複数の撮像部に含まれる撮像部により撮影された画像が撮影された際の前記撮像部の撮影対象の領域に照射された光が予め定められた閾値以下の期間だけ照射される光である短期光を含む場合、前記画像から、前記画像が撮影された第１の時点と異なり、前記撮像部の撮影対象の領域に前記短期光が照射されていない第２の時点に前記撮像部により撮影された画像から分離された前記オブジェクトの領域に基づいて、前記オブジェクトの領域を分離する請求項１又は２記載の情報処理装置。
4. 前記分離手段は、前記複数の撮像部に含まれる撮像部により撮影された画像が撮影された際に前記撮像部の撮影対象の領域に照射された光が前記短期光を含む場合、前記画像から、前記画像における前記オブジェクトの領域として、前記画像における前記第２の時点に前記撮像部により撮影された画像から分離された前記オブジェクトの領域を分離する請求項３記載の情報処理装置。
5. 前記分離手段は、前記複数の撮像部に含まれる撮像部により撮影された画像が撮影された際に前記撮像部の撮影対象の領域に照射された光が前記短期光を含む場合、前記画像から、前記画像における複数の前記第２の時点それぞれに前記撮像部により撮影された複数の画像それぞれから分離された前記オブジェクトの複数の領域に基づいて、前記オブジェクトの領域を分離する請求項３記載の情報処理装置。
6. 前記分離手段は、前記複数の撮像部に含まれる撮像部により撮影された画像が撮影された際の前記撮像部の撮影対象の領域に照射された光が前記短期光を含む場合、前記画像から、前記第２の時点に前記撮像部により撮影された画像から分離された前記オブジェクトの領域と、前記第１の時点における前記短期光が照射された領域と前記撮像部との距離と、に基づいて、前記オブジェクトの領域を分離する請求項３乃至５何れか１項記載の情報処理装置。
7. 前記分離手段は、前記複数の撮像部に含まれる撮像部により撮影された画像から、前記画像が撮影された際の前記撮像部の撮影対象の領域に照射された光に応じた背景画像を用いた背景差分法の手法で、前記オブジェクトの領域を分離する請求項１乃至６何れか１項記載の情報処理装置。
8. 前記分離手段は、前記複数の撮像部に含まれる撮像部により撮影された画像から、前記画像が撮影された際の前記撮像部の撮影対象の領域に照射された光の前記画像の各画素に対する影響を示すテーブルに基づいて、前記画像が撮影された際の前記撮像部の撮影対象の領域に照射された光に応じた手法で、前記オブジェクトの領域を分離する請求項１乃至７何れか１項記載の情報処理装置。
9. 前記分離手段は、前記複数の撮像部に含まれる撮像部により撮影された画像から、前記撮像部の撮影領域に照射される光に関する情報である照明情報に基づいて決定された手法で、前記オブジェクトの領域を分離する請求項１乃至８何れか１項記載の情報処理装置。
10. 前記照明情報は、光が照射される時点を示す情報と、前記光が照射された領域を撮影する撮像部を示す情報と、を含む請求項９記載の情報処理装置。
11. 前記照明情報は、前記複数の撮像部に含まれる撮像部により撮影された画像中で前記撮像部の撮影領域に照射される光の影響がある領域を示す情報を含む請求項９又は１０記載の情報処理装置。
12. 前記照明情報は、光を照射する照明機器についての照射のタイミングを示す情報と、前記照明機器が配置された位置を示す情報と、前記照明機器の照射する光が照射される方向を示す情報と、前記照明機器が照射する光の色を示す情報と、を含む請求項９乃至１１何れか１項記載の情報処理装置。
13. 情報処理装置が実行する情報処理方法であって、
    それぞれ異なる視点からオブジェクトを撮影する複数の撮像部に含まれるそれぞれの撮像部について、前記撮像部により撮影された画像から、前記画像が撮影された際の前記撮像部の撮影対象の領域に照射された光に応じた手法で、前記オブジェクトの領域を分離する分離ステップと、
    前記分離ステップで複数の撮像部のそれぞれにより撮影された複数の画像それぞれから分離された前記オブジェクトの領域に基づいて、前記オブジェクトの形状を決定する決定ステップと、
    を含む情報処理方法。
14. コンピュータを、請求項１乃至１２何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。

Images