JP2018010483A - 前景領域抽出装置、方法、及びプログラム - Google Patents

Abstract

【課題】前景領域を得ることにより、太陽光が直接被写体に当たるような環境であっても、前景領域を精度よく抽出することができる前景領域抽出装置を提供する。【解決手段】前景領域抽出装置１００において、仮想前景領域生成部４０が、予め定められた物体の長さに基づいて仮想的な物体の領域又は仮想的な物体の影の領域を含む仮想前景領域を生成する。領域マッチング部４４が、画像から、背景画像との差分により、物体を表す実前景領域を抽出し、生成された仮想前景領域と、抽出された実前景領域とが重なる領域に基づいて、物体らしい領域又は物体の影らしい領域を表すマップ画像を生成する。選択的前景領域処理部４６が、マップ画像に基づいて、抽出された実前景領域から、前景領域を得る。【選択図】図１

Description

本発明は、前景領域抽出装置、方法、及びプログラムに係り、特に、入力された画像から、背景画像との差分により、物体を表す前景領域を抽出するための前景領域抽出装置、方法、及びプログラムに関する。

近年、監視カメラ設置台数の増加に伴い、画像処理技術を使って映像の意味理解を自動的に行い、人手で監視するコストを削減するサービスに注目が集まっている。映像の意味を理解するには、例えば、物体や人を検出し、検出した物体や人の状態を認識するといった処理が必要であるが、すべてのフレームについて画像全体を走査すると計算コストが大きくなってしまうという問題がある。そこで、監視カメラ映像では、長時間にわたってカメラが定位置に固定されており、環境物がほとんど変化しないという前提を用いることで、映像中に出入りする物体・人部分（前景）だけを前処理的に抽出し、処理対象を狭めるというアプローチがよく用いられる。

Z. Zivkovic and F. van der Heijden, Efficient adaptive density estimation per image pixel for the task of background subtraction , Pattern Recognit. Lett., vol. 27, pp. 773-780, 2006

前景領域は、ある時刻に得られた画像と、別途用意した背景の環境だけが映った画像（背景画像）との差分をとることにより得られる。このような処理で行う性質上、単純に差分をとるだけでは前景領域に本来注目対象ではない影が含まれてしまうという問題がある。これを解決する手段として、Gaussian mixtureモデルを使って逐次的に背景を構築することで、影部分を推定する手法などがある（非特許文献１参照）。しかしながら、非特許文献１のような技術では、照明が間接的に被写体に当たっており、影が薄くなる環境においては良好に影を検出することができるが、太陽光が被写体に直接当っており、影が濃くはっきりでる環境においては精度よく影を検出することができない。

本発明は、上記事情を鑑みて成されたものであり、太陽光が直接被写体に当たるような環境であっても、前景領域を精度よく抽出することができる前景領域抽出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る前景領域抽出装置は、入力された画像から、背景画像との差分により、物体を表す前景領域を抽出する前景領域抽出装置であって、予め定められた前記物体の長さに基づいて仮想的な前記物体の領域又は仮想的な前記物体の影の領域を含む仮想前景領域を生成する仮想前景領域生成部と、前記画像から、前記背景画像との差分により、前記物体を表す実前景領域を抽出する前景領域抽出部と、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体らしい領域又は前記物体の影らしい領域を表すマップ画像を生成する領域マッチング部と、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された前記実前景領域から、前記前景領域を得る選択的前景領域処理部と、を含んで構成されている。

また、第１の発明に係る前景領域抽出装置において、前記仮想前景領域生成部は、予め定められた物体のサイズに基づいて、前記仮想的な前記物体の領域を計算し、前記仮想的な前記物体の領域を含む前記仮想前景領域を生成し、前記領域マッチング部は、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体らしい領域を表す前記マップ画像を生成し、前記選択的前景領域処理部は、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された実前景領域から、前記物体の領域を抽出した前景領域を得るようにしてもよい。

また、第１の発明に係る前景領域抽出装置において、前記画像を撮影した日時を取得する日時取得部を更に含み、前記仮想前景領域生成部は、予め求められた前記画像を撮影したカメラの方角及び設置位置と、前記日時取得部により取得した前記日時と、前記物体の長さとに基づいて、前記日時における前記物体の影の領域を計算し、前記物体の影の領域を含む前記仮想前景領域を生成し、前記領域マッチング部は、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体の影らしい領域を表す前記マップ画像を生成し、前記選択的前景領域処理部は、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された実前景領域から、前記影の領域を除去した前記前景領域を得るようにしてもよい。

また、第１の発明に係る前景領域抽出装置において、前記領域マッチング部は、前記仮想前景領域を走査する毎に、前記仮想前景領域と前記実前景領域とが重なる領域の面積比により求まる一致度を算出することにより、前記マップ画像を生成するようにしてもよい。

第２の発明に係る前景領域抽出方法は、入力された画像から、背景画像との差分により、物体を表す前景領域を抽出する前景領域抽出装置における前景領域抽出方法であって、仮想前景領域生成部が、予め定められた前記物体の長さに基づいて仮想的な前記物体の領域又は仮想的な前記物体の影の領域を含む仮想前景領域を生成するステップと、前景領域抽出部が、前記画像から、前記背景画像との差分により、前記物体を表す実前景領域を抽出するステップと、領域マッチング部が、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体らしい領域又は前記物体の影らしい領域を表すマップ画像を生成するステップと、選択的前景領域処理部が、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された前記実前景領域から、前記前景領域を得るステップと、を含んで実行することを特徴とする。

また、第２の発明に係る前景領域抽出方法において、前記仮想前景領域生成部が生成するステップは、予め定められた物体のサイズに基づいて、前記仮想的な前記物体の領域を計算し、前記仮想的な前記物体の領域を含む前記仮想前景領域を生成し、前記領域マッチング部が生成するステップは、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体らしい領域を表す前記マップ画像を生成し、前記選択的前景領域処理部が前景領域を得るステップは、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された実前景領域から、前記物体の領域を抽出した前景領域を得るようにしてもよい。

また、第２の発明に係る前景領域抽出方法において、日時取得部が、前記画像を撮影した日時を取得するステップを更に含み、前記仮想前景領域生成部が生成するステップは、予め求められた前記画像を撮影したカメラの方角及び設置位置と、前記日時取得部により取得した前記日時と、前記物体の長さとに基づいて、前記日時における前記物体の影の領域を計算し、前記物体の影の領域を含む前記仮想前景領域を生成し、前記領域マッチング部が生成するステップは、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体の影らしい領域を表す前記マップ画像を生成し、前記選択的前景領域処理部が前景領域を得るステップは、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された実前景領域から、前記影の領域を除去した前記前景領域を得るようにしてもよい。

また、第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る前景領域抽出装置の各部として機能させるためのプログラムである。

本発明の前景領域抽出装置、方法、及びプログラムによれば、予め定められた物体の長さに基づいて仮想的な物体の領域又は仮想的な物体の影の領域を含む仮想前景領域を生成し、画像から、背景画像との差分により、物体を表す実前景領域を抽出し、生成された仮想前景領域と、抽出された実前景領域とが重なる領域に基づいて、物体らしい領域又は物体の影らしい領域を表すマップ画像を生成し、マップ画像に基づいて、抽出された実前景領域から、前景領域を得ることにより、太陽光が直接被写体に当たるような環境であっても、前景領域を精度よく抽出することができる、という効果が得られる。

本発明の第１の実施の形態に係る前景領域抽出装置の構成を示すブロック図である。 仮想的な人を上から見た例と、人の両端の位置を射影して得た点から生成した仮想前景領域の一例を示す図である。 実前景領域に対する探索枠の一例を示す図である。 仮想前景領域の走査の一例を示す図である。 マスク画像の生成、及び前景領域の抽出の一例を示す図である。 本発明の第１の実施の形態に係る前景領域抽出装置における前景領域抽出処理ルーチンを示すフローチャートである。 本発明の第１の実施の形態に係る仮想前景領域生成処理ルーチンを示すフローチャートである。 本発明の第１の実施の形態に係る領域マッチング処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る選択的前景領域処理ルーチンを示すフローチャートである。 本発明の第２の実施の形態に係る前景領域抽出装置の構成を示すブロック図である。 仮想的な人を上から見た例と、人の両端の位置、及び当該人の影の両端の位置を射影して得た点から生成した仮想前景領域の一例を示す図である。 仮想前景領域の走査の一例を示す図である。 本発明の第２の実施の形態に係る前景領域抽出装置における前景領域抽出処理ルーチンを示すフローチャートである。 本発明の第２の実施の形態に係る仮想前景領域生成処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。本発明の実施の形態では上記の課題の解決を図るために、カメラ設置時に行うカメラキャリブレーションの情報や、カメラの向いている方角及び設置場所の緯度・経度といった環境情報をもとに、人の長さの比をシミュレートするか、又は影の長さの比や、影の出る方角をシミュレートすることで仮想的に前景領域を生成し、仮想的な前景領域と実際の前景領域とを比較することによって、人領域を選択的に得る処理を行うことを特徴としている。なお、本実施の形態では、物体として人の前景領域を得る場合について説明するが、これに限定されるものではなく、他の物体（例えば動物、車等）としてもよい。

本実施の形態の手法を用いることで、屋外環境のように、太陽光が直接当たり、影が濃くはっきりと出る環境において、ある時刻に取得された画像と背景画像との差分処理によって得られた影を含む前景領域から、物体の領域を選択的に残すことができる。

＜本発明の第１の実施の形態に係る前景領域抽出装置の構成＞

次に、本発明の第１の実施の形態に係る前景領域抽出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る前景領域抽出装置１００は、ＣＰＵと、ＲＡＭと、後述する前景領域抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この前景領域抽出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

入力部１０は、固定された位置に設置されたカメラにより撮影された映像を受け付ける。また、入力部１０は、カメラに関するキャリブレーション情報を受け付ける。

演算部２０は、キャリブレーション情報保存部２６と、カメラ情報ＤＢ２８と、映像取得部３０と、撮影情報取得部３２と、照明状態判定部３４と、既存前景領域抽出部３６と、仮想前景領域生成部４０と、前景領域抽出部４２と、領域マッチング部４４と、選択的前景領域処理部４６とを含んで構成されている。

キャリブレーション情報保存部２６は、入力部１０により受け付けたカメラのキャリブレーション情報を、カメラ情報ＤＢ２８に保存する。カメラのキャリブレーションは、監視カメラ設置時に行うが、例えば非特許文献２のような方法によりキャリブレーションを行う。キャリブレーションにより、カメラと床面との距離、床面に対するカメラの角度、焦点距離・歪み係数といったカメラ内部パラメータを取得することができる。さらに、これらのキャリブレーション情報に加え、カメラの撮影方向の方角、カメラ設置位置の緯度・経度の情報を別途、キャリブレーション情報として取得する。キャリブレーション情報保存部２６は、取得した各種のキャリブレーション情報を、カメラ情報ＤＢ２８に保存する。

［非特許文献２］I. Miyagawa , H. Arai and H. Koike, Simple camera calibration from a single image using five points on two orthogonal 1-d objects, IEEE Trans. Image Process., vol. 19, no. 6, pp. 1528-1538, 2010.

映像取得部３０は、入力部１０で受け付けた映像について、各時刻における画像の各々を取得する。なお、画像取得には、撮影情報取得部３２に必要な情報を取得することができるカメラを使用しているものとする。

撮影情報取得部３２は、映像取得部３０で取得した画像の各々から、露光に関する情報を取得する。本実施の形態では、露光に関する情報を取得することとするが、例えば、逆光補正の値や、インターネットから入手できる天候の情報など、照明状態判定部３４において、照明状態を推定するための情報として用いることができる他の情報を取得してもよい。

照明状態判定部３４は、既存技術では推定が難しい濃い影が出現する環境であるかどうかを判定するため、撮影情報取得部３２で得られた情報に基づいて、直射日光のような明るい光が被写体に当たっているか否かを判定する。例えば、露光状態と輝度値と、照明状態の情報をあらかじめ蓄積し、露光状態と輝度値から、照明状態を推定する方法などによって判定できる。

照明状態判定手段の結果、明るい光が被写体に当たっていない（曇っていたりなどして、濃い影が出ていない状況）と判定された場合には、既存手法による既存前景領域抽出部３６により、画像の各々について、非特許文献１のような既存の影推定方法を用いて、背景画像との差分により、物体を表す前景領域を抽出し、出力部５０に出力する。一方で、明るい光が被写体に当たっていると判定された場合には、仮想前景領域生成部４０以降の処理を行う。

仮想前景領域生成部４０は、予め定められた人のサイズと、カメラ情報ＤＢ２８に保存されているキャリブレーション情報とに基づいて、仮想的な人の領域を計算し、仮想的な人の領域を含む仮想前景領域を生成する。仮想前景領域生成部４０では、まず、カメラ情報ＤＢ２８に保存された、カメラと床面との距離、角度、焦点距離と歪みパラメータ等のキャリブレーション情報を用いて、仮想的なカメラ位置から人を撮影した場合を仮定した投影面に対して、人の両端の位置を射影する。次に、射影された人の両端の位置に基づいて、人の領域を長方形で近似したボリュームで表現し、仮想前景領域を生成する。なお、本実施の形態においては、人の領域を長方形で近似したが、楕円形など他の図形で近似してもよい。図２に仮想的な人を上から見た例と、人の両端の位置を射影して得た点から生成した仮想前景領域の一例を示す。

前景領域抽出部４２は、映像取得部３０で取得した画像の各々から、背景画像との差分により、人を表す実前景領域を抽出する。実前景領域の抽出には、既存前景領域抽出部３６と同様、既存手法を用いればよい。

領域マッチング部４４は、以下に説明するように、仮想前景領域生成部４０により生成された仮想前景領域のうちの人の領域と、前景領域抽出部４２により抽出された実前景領域とが重なる領域に基づいて、人らしい領域を表すマップ画像を生成する。

領域マッチング部４４では、まず、実前景領域の個々の塊に接するような枠に対してオフセットｏを足して拡張した枠（探索枠）を計算する。図３に探索枠の一例を示す。次に、画素（ｉ，ｊ）毎に、計算した探索枠の内部全領域に仮想前景領域を走査させたときの仮想前景領域と実前景領域との一致度合いを計算していく。このオフセットｏは、恣意的に指定してもよいし、計算結果の精度がよくなるよう学習されたパラメータを用いてもよい。探索枠内の実前景領域中の位置における画素（ｉ，ｊ）に対し、人に対する一致度の積算値Ｓ_ｈ（ｉ，ｊ）を計算する。これにより、人らしい領域を表すマップ画像を得ることができる。一致度は、仮想前景領域の面積に対する、仮想前景領域と実前景領域とが重なる領域の面積比であり、仮想前景領域を走査する毎に求められる。図４に仮想前景領域の走査の一例を示す。今、探索枠の中で、仮想前景領域の左上座標が実前景領域における座標（ｋ，ｌ）である時の一致度をｍ（ｋ，ｌ）としたとき、人の領域に対する画素（ｉ，ｊ）の一致度の積算値は、以下（１）式により計算される。

ここで、Ｃは、画素（ｉ，ｊ）が仮想前景領域と実前景領域の重なった部分に含まれるような（ｋ，ｌ）の集合を表し、画素（ｉ，ｊ）毎に求められる。Ｈは、仮想前景領域の左上座標が（ｋ，ｌ）にある時、仮想前景領域中の人の領域と重なる実前景領域の座標の集合を表す。計算により得られた積算値Ｓ_ｈにより、人らしい領域を表すマップ画像Ｓ_ｈが生成される。また、人の映り込む大きさは画像位置によって大きさが異なるため、仮想前景領域を、比較する実前景領域の位置に合わせて拡大縮小しながら一致度を計算することとする。この拡大縮小の倍率は、カメラＤＢ２８に保存されたパラメータを用いて、ある画像位置に高さｈの物体の領域の下端が来る場合、画像上何ピクセルになるかを計算しておくことで得ることができる。本実施の形態では、一致度ｍ（ｉ，ｊ）を面積比としたが、他の指標を用いて一致度を計算してもよい。また、積算値Ｓ_ｈについても、単純な和をとる例を示したが、和をとって積算数で割るなど、別の方法を用いてもよい。

選択的前景領域処理部４６は、以下に説明するように、領域マッチング部４４により生成されたマップ画像に基づいて、前景領域抽出部４２により抽出された実前景領域から、物体の領域を抽出した前景領域を得る。

選択的前景領域処理部４６では、まず、領域マッチング部４４によって得られた人らしい領域を表すマップ画像Ｓ_ｈのうち、閾値Ｔ以上の画素位置を１、閾値以下となる画素位置を０として、マスク画像を生成する。生成したマスク画像Ｓ_ｈを、実前景領域にオーバーラップし、Ｓ_ｈで１となっている位置のみ、前景領域を残す処理を行う。これにより、人の領域としての確からしさが高い前景領域のみを選択的に得ることができる。図５にマスク画像の生成、及び前景領域の抽出の一例を示す。

＜本発明の第１の実施の形態に係る前景領域抽出装置の作用＞

次に、本発明の第１の実施の形態に係る前景領域抽出装置１００の作用について説明する。入力部１０において、固定された位置に設置されたカメラにより撮影された映像、及びカメラに関するキャリブレーション情報を受け付け、カメラ情報ＤＢ２８に保存すると、前景領域抽出装置１００は、図６に示す前景領域抽出処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０で受け付けた映像について、各時刻における画像の各々を取得する。

次に、ステップＳ１０２では、映像取得部３０で取得した画像の各々から、露光に関する情報を取得する。

ステップＳ１０４では、ステップＳ１０２で得られた情報に基づいて、直射日光のような明るい光が被写体に当たっているか否かを判定し、明るい光が被写体に当たっていないと判定された場合は、ステップＳ１０６へ移行し、明るい光が被写体に当たっていると判定された場合には、ステップＳ１０８へ移行する。

ステップＳ１０６では、画像の各々について、非特許文献１のような既存の影推定方法を用いて、背景画像との差分により、物体を表す前景領域を抽出し、出力部５０に出力し、処理を終了する。

ステップＳ１０８では、予め定められた人のサイズと、カメラ情報ＤＢ２８に保存されているキャリブレーション情報とに基づいて、仮想的な人の領域を計算し、仮想的な人の領域を含む仮想前景領域を生成する。

ステップＳ１１０では、ステップＳ１００で取得した画像の各々から、背景画像との差分により、人を表す実前景領域を抽出する。

ステップＳ１１２では、画像の各々について、ステップＳ１０８で生成された仮想前景領域のうちの人の領域と、ステップＳ１１０で抽出された実前景領域とが重なる領域に基づいて、仮想前景領域を走査する毎に、仮想前景領域の面積に対する、仮想前景領域と実前景領域とが重なる領域の面積比により求まる一致度を算出することにより、物体らしい領域を表すマップ画像を生成する。

ステップＳ１１４では、画像の各々について、ステップＳ１１２で生成されたマップ画像に基づいて、ステップＳ１１０で抽出された実前景領域から、物体の領域を抽出した前景領域を得て、出力部５０に出力し、処理を終了する。

上記ステップＳ１０８は、図７に示す仮想前景領域生成処理ルーチンによって実行される。

ステップＳ２００では、カメラ情報ＤＢ２８に保存された、カメラと床面との距離、角度、焦点距離と歪みパラメータ等のキャリブレーション情報を用いて、仮想的なカメラ位置から人を撮影した場合を仮定した投影面に対して、人の両端の位置を射影する。

ステップＳ２０２では、射影された人の両端の位置に基づいて、人の領域を長方形で近似したボリュームで表現し、仮想前景領域を生成し、仮想前景領域生成処理ルーチンを終了する。

上記ステップＳ１１２は、図８に示す領域マッチング処理ルーチンによって実行される。

ステップＳ３００では、画像を選択し、当該画像における実前景領域の個々の塊に接するような枠に対してオフセットｏを足して拡張した枠（探索枠）を計算する。

ステップＳ３０２では、実前景領域の塊を選択し、仮想前景領域を走査する毎に、仮想前景領域の面積に対する、仮想前景領域と実前景領域とが重なる領域の面積比により求まる一致度を算出し、画素（ｉ，ｊ）毎に、上記（１）式に従って、人の領域に対する一致度の積算値Ｓ_ｈ（ｉ，ｊ）を得て、人らしい領域を表すマップ画像を生成する。

ステップＳ３０４では、全ての実前景領域の塊について処理を終了したか否かを判定し、終了していなければステップＳ３０２に戻って次の実前景領域の塊を選択して処理を繰り返し、終了していればステップＳ３０６へ移行する。

ステップＳ３０６では、全ての画像について処理を終了したか否かを判定し、終了していなければステップＳ３００に戻って次の画像を選択して処理を繰り返し、終了していれば領域マッチング処理ルーチンを終了する。

上記ステップＳ１１４は、図９に示す選択的前景領域処理ルーチンによって実行される。

ステップＳ４００では、画像を選択し、当該画像について生成された、人らしい領域を表すマップ画像Ｓ_ｈのうち、閾値Ｔ以上の画素位置を１、閾値以下となる画素位置を０として、マスク画像を生成する。

ステップＳ４０２では、ステップＳ４００で生成したマスク画像Ｓ_ｈを、当該画像の実前景領域にオーバーラップし、Ｓ_ｈで１となっている位置のみの前景領域を残す処理を行うことで、前景領域を得て、出力部５０に出力する。

ステップＳ４０４では、全ての画像について処理を終了したか否かを判定し、終了していなければステップＳ４００に戻って次の画像を選択して処理を繰り返し、終了していれば選択的前景領域処理ルーチンを終了する。

以上説明したように、本発明の第１の実施の形態に係る前景領域抽出装置によれば、予め定められた物体の長さに基づいて仮想的な物体の領域を含む仮想前景領域を生成し、画像から、背景画像との差分により、人を表す実前景領域を抽出し、生成された仮想前景領域と、抽出された実前景領域とが重なる領域に基づいて、人らしい領域を表すマップ画像を生成し、マップ画像に基づいて、抽出された実前景領域から、前景領域を得ることにより、太陽光が直接当たるような環境であっても、前景領域を精度よく抽出することができる。

＜本発明の第２の実施の形態に係る前景領域抽出装置の構成＞

次に、本発明の第２の実施の形態に係る前景領域抽出装置の構成について説明する。なお、第１の実施の形態と同様の構成となる箇所については同一符号を付して説明を省略する。

第２の実施の形態では、影らしい領域を含む仮想前景領域を生成し、前景領域を得る点が第１の実施の形態と異なっている。

図１０に示すように、本発明の実施の形態に係る前景領域抽出装置２００は、ＣＰＵと、ＲＡＭと、後述する前景領域抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この前景領域抽出装置２００は、機能的には図１０に示すように入力部１０と、演算部２２０と、出力部５０とを備えている。

演算部２０は、キャリブレーション情報保存部２６と、カメラ情報ＤＢ２８と、映像取得部３０と、撮影情報取得部３２と、照明状態判定部３４と、既存前景領域抽出部３６と、日時取得部２３８と、仮想前景領域生成部２４０と、前景領域抽出部４２と、領域マッチング部２４４と、選択的前景領域処理部２４６とを含んで構成されている。

日時取得部２３８は、画像を撮影した日時を取得する。画像を撮影した日時は、ネットワーク（図示省略）経由でカメラ設置場所と時間同期がとれたコンピュータのシステム時間等から得てもよいし、ＩＰカメラ等を利用する場合には、カメラデバイスそのものの時刻を取得してもよい。

仮想前景領域生成部２４０は、予め求められた画像を撮影したカメラの方角及び設置位置と、日時取得部２３８により取得した日時と、人の長さとに基づいて、仮想的な人の領域と、当該日時における人の影の領域とを計算し、仮想的な人の領域及び仮想的な人の影の領域を含む仮想前景領域を生成する。仮想前景領域生成部２４０では、まず、カメラの方角及び設置位置（緯度・経度）の情報と日時の情報から、その時刻と場所における太陽の高度と方角を計算する。本実施の形態では、緯度・経度を用いるが、都市程度の粒度で場所がわかる設置位置の情報を用いてもよい。また、太陽の高度と方角については、例えば国立天文台等が公開しているデータ等を用いる。太陽の高度をαと、太陽の方角が得られると、長さｈの物体の影の長さは

と計算され、その日時における影の長さを得ることができる。次に、予め定められた人のサイズと、カメラ情報ＤＢ２８に保存された、カメラと床面との距離、角度、焦点距離と歪みパラメータ等のキャリブレーション情報を用いて、仮想的なカメラの方角及び設置位置から仮想的な人と影を撮影する場合を仮定した投影面に対して、人の両端の位置、及び当該人の影の両端の位置を射影する。次に、人と影の領域を長方形で近似しボリュームを表現し、これを仮想前景領域とする。なお、本実施の形態においては、人領域を長方形で近似したが、楕円形など他の図形で近似してもよい。図１１に仮想的な人と影を上から見た例と、人の両端の位置、及び当該人の影の両端の位置を射影して得た点から生成した仮想前景領域の一例を示す。

領域マッチング部２４４は、以下に説明するように、仮想前景領域生成部４０により生成された仮想前景領域のうちの影の領域と、前景領域抽出部４２により抽出された実前景領域とが重なる領域に基づいて、影らしい領域を表すマップ画像を生成する。

領域マッチング部２４４では、まず、第１の実施の形態と同様の処理を行って、実前景領域の個々の塊に接するような枠に対してオフセットｏを足して拡張した枠（探索枠）を計算する。次に、探索枠内の実前景領域中の位置における画素（ｉ，ｊ）の各々に対し、影に対する一致度の積算値Ｓ_ｓ（ｉ，ｊ）を計算する。これにより、影らしい領域を表すマップ画像を得ることができる。一致度は、仮想前景領域の面積に対する、仮想前景領域と実前景領域とが重なる領域の面積比であり、仮想前景領域を走査する毎に求められる。図１２に走査の一例を示す。今、探索枠の中で、仮想前景領域の左上座標が実前景領域における座標（ｋ，ｌ）である時の一致度をｍ（ｋ，ｌ）としたとき、影の領域に対する画素（ｉ，ｊ）の一致度の積算値は、以下（３）式により計算される。

ここで、Ｄは、仮想前景領域の左上座標が（ｋ，ｌ）にある時、仮想前景領域中の影の領域と重なる実前景領域の座標の集合を表し、画素（ｉ，ｊ）毎に求められる。計算により得られた積算値Ｓ_ｓにより、影らしい領域を表すマップ画像Ｓ_ｓが生成される。

選択的前景領域処理部２４６は、以下に説明するように、領域マッチング部４４により生成されたマップ画像に基づいて、前景領域抽出部４２により抽出された実前景領域から、物体の領域を抽出した前景領域を得る。

選択的前景領域処理部２４６では、まず、領域マッチング部４４によって得られた影らしい領域を表すマップ画像Ｓ_ｓのうち、閾値Ｔ以上の画素位置を１、閾値以下となる画素位置を０として、マスク画像を生成する。生成したマスク画像Ｓ_ｓを、実前景領域にオーバーラップし、Ｓ_ｓで１となっている位置のみの前景領域を除去する処理を行う。これにより、人の領域としての確からしさが高い前景領域のみを選択的に得ることができる。

なお、第２の実施の形態の他の構成は第１の実施の形態と同様であるため説明を省略する。

＜本発明の第２の実施の形態に係る前景領域抽出装置の作用＞

次に、本発明の第２の実施の形態に係る前景領域抽出装置１００の作用について説明する。なお、第１の実施の形態と同様の作用となる箇所については同一符号を付して説明を省略する。

入力部１０において、固定された位置に設置されたカメラにより撮影された映像、及びカメラに関するキャリブレーション情報を受け付け、カメラ情報ＤＢ２８に保存すると、前景領域抽出装置２００は、図１３に示す前景領域抽出処理ルーチンを実行する。

ステップＳ１０４では、ステップＳ１０２で得られた情報に基づいて、直射日光のような明るい光が被写体に当たっているか否かを判定し、明るい光が被写体に当たっていないと判定された場合は、ステップＳ１０６へ移行し、明るい光が被写体に当たっていると判定された場合には、ステップＳ５００へ移行する。

ステップＳ５００では、画像の各々について、当該画像を撮影した日時を取得する。

ステップＳ５０２では、カメラ情報ＤＢ２８に保存された画像を撮影したカメラの方角及び設置位置と、ステップＳ５００で取得した日時と、人の長さとに基づいて、仮想的な人の領域と当該日時における人の影の領域とを計算し、仮想的な人の領域及び仮想的な人の影の領域を含む仮想前景領域を生成する。

ステップＳ５０４では、ステップＳ５００で生成された仮想前景領域のうちの影の領域と、ステップＳ１１０で抽出された実前景領域とが重なる領域に基づいて、影らしい領域を表すマップ画像を生成する。

ステップＳ５０６では、画像の各々について、ステップＳ５０４で生成されたマップ画像に基づいて、ステップＳ１１０で抽出された実前景領域から、物体の領域を抽出した前景領域を得て、出力部５０に出力し、処理を終了する。

上記ステップＳ５０２は、図１４に示す仮想前景領域生成処理ルーチンによって実行される。

ステップＳ６００では、画像を選択し、予め求められた当該画像を撮影したカメラの方角及び設置位置（緯度・経度）と、ステップＳ５００で取得した日時とに基づいて、その時刻と場所における太陽の高度と方角を計算する。

ステップＳ６０２では、ステップＳ６００で計算された太陽の高度と方角と、人の長さｈとに基づいて、カメラの緯度・経度と、太陽の方角との関係から、影の出る方角を算出する。また、上記（２）式に従って、影の長さを算出する。そして、算出された影の方角と長さにより、影の両端の位置を決定する。

ステップＳ６０４では、カメラ情報ＤＢ２８に保存された、カメラと床面との距離、角度、焦点距離と歪みパラメータ等のキャリブレーション情報を用いて、仮想的なカメラの方角及び設置位置から仮想的な人と影を撮影した場合を仮定した投影面に対して、人の両端の位置、及び当該人の影の両端の位置を射影する。

ステップＳ６０４では、射影された人の両端の位置、及び当該人の影の両端の位置に基づいて、人と影の領域を長方形で近似したボリュームで表現し、仮想前景領域を生成する。

ステップＳ６０６では、全ての画像について処理を終了したか否かを判定し、終了していなければステップＳ６００に戻って次の画像を選択して処理を繰り返し、終了していれば仮想前景領域生成処理ルーチンを終了する。

上記ステップＳ５０４は、上記図８に示す領域マッチング処理ルーチンのステップＳ３０２の処理を下記に置き換えて実行する。ステップＳ３０２では、実前景領域の塊を選択し、仮想前景領域を走査する毎に、仮想前景領域の面積に対する、仮想前景領域と実前景領域とが重なる領域の面積比により求まる一致度を算出し、画素（ｉ，ｊ）毎に、上記（３）式に従って、影の領域に対する一致度の積算値Ｓ_ｓ（ｉ，ｊ）を得て、影らしい領域を表すマップ画像を生成する。

上記ステップＳ５０６は、上記図９に示す選択的前景領域処理ルーチンのステップＳ４００及びＳ４０２を下記に置き換えて実行する。ステップＳ４００では、画像を選択し、当該画像について生成された、影らしい領域を表すマップ画像Ｓ_ｓのうち、閾値Ｔ以上の画素位置を１、閾値以下となる画素位置を０として、マスク画像を生成する。

ステップＳ４０２では、ステップＳ４００で生成したマスク画像Ｓ_ｓを、当該画像の実前景領域にオーバーラップし、Ｓ_ｓで１となっている位置のみ、前景領域を除去する処理を行うことで、前景領域を得て、出力部５０に出力する。

なお、第２の実施の形態の他の作用は第１の実施の形態と同様であるため説明を省略する。

以上説明したように、本発明の第２の実施の形態に係る前景領域抽出装置によれば、予め求められた画像を撮影したカメラの方角及び設置位置と、日時取得部により取得した日時と、人の長さとに基づいて、日時における物体の影の領域を計算し、仮想的な影の領域を含む仮想前景領域を生成し、画像から、背景画像との差分により、物体を表す実前景領域を抽出し、生成された仮想前景領域と、抽出された実前景領域とが重なる領域に基づいて、影らしい領域を表すマップ画像を生成し、マップ画像に基づいて、抽出された実前景領域から、前景領域を得ることにより、太陽光が直接当たるような環境であっても、前景領域を精度よく抽出することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した第１及び第２の実施の形態では、それぞれ、人らしい領域を表すマップ画像Ｓ_ｈ、及び影らしい領域を表すマップ画像Ｓ_ｓの何れかを用いて、前景領域を得ていたが、これに限定されるものではない。例えば、第１及び第２の実施の形態を組み合わせて、人らしい領域を表すマップ画像Ｓ_ｈ、及び影らしい領域を表すマップ画像Ｓ_ｓの双方を生成し、選択的前景領域処理部は、画像毎に、計算された、人らしい領域を表すマップ画像Ｓ_ｈと、影らしい領域を表すマップ画像Ｓ_ｓとを用いて、統計的手法により、いずれのマップ画像が実前景領域に適合するのかを計算し、計算結果からいずれのマップ画像を用いるのかを選択し、人らしい領域を表すマップ画像Ｓ_ｈを選択した場合には、Ｓ_ｈで１となっている位置のみ、前景領域を残して、前景領域を得るようにし、影らしい領域を表すマップ画像Ｓ_ｓを選択した場合には、Ｓ_ｓで１となっている位置のみ、前景領域を除去して、前景領域を得るようにしてもよい。

また、上述した第１及び第２の実施の形態では、照明状態判定部３４において、明るい光が被写体に当たっているか否かを判定し、必要に応じて、仮想前景領域を生成し、前景領域を得る処理を行っていたが、これに限定されるものではない。例えば、撮影情報取得部３２と、照明状態判定部３４と、既存前景領域抽出部３６とを含まない構成として、外部の装置によって予め判定により明るい光が被写体に当たっていると判定された映像を入力として受け付け、仮想前景領域を生成し、前景領域を得る処理を行うようにしてもよい。

１０ 入力部
２０、２２０ 演算部
２６ キャリブレーション情報保存部
３０ 映像取得部
３２ 撮影情報取得部
３４ 照明状態判定部
３６ 既存前景領域抽出部
４０、２４０ 仮想前景領域生成部
４２ 前景領域抽出部
４４、２４４ 領域マッチング部
４６、２４６ 選択的前景領域処理部
５０ 出力部
１００、２００ 前景領域抽出装置
２３８ 日時取得部

Claims (8)

1. 入力された画像から、背景画像との差分により、物体を表す前景領域を抽出する前景領域抽出装置であって、
   予め定められた前記物体の長さに基づいて仮想的な前記物体の領域又は仮想的な前記物体の影の領域を含む仮想前景領域を生成する仮想前景領域生成部と、
   前記画像から、前記背景画像との差分により、前記物体を表す実前景領域を抽出する前景領域抽出部と、
   前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体らしい領域又は前記物体の影らしい領域を表すマップ画像を生成する領域マッチング部と、
   前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された前記実前景領域から、前記前景領域を得る選択的前景領域処理部と、
   を含む前景領域抽出装置。
2. 前記仮想前景領域生成部は、予め定められた物体のサイズに基づいて、前記仮想的な前記物体の領域を計算し、前記仮想的な前記物体の領域を含む前記仮想前景領域を生成し、
   前記領域マッチング部は、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体らしい領域を表す前記マップ画像を生成し、
   前記選択的前景領域処理部は、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された実前景領域から、前記物体の領域を抽出した前景領域を得る請求項１に記載の前景領域抽出装置。
3. 前記画像を撮影した日時を取得する日時取得部を更に含み、
   前記仮想前景領域生成部は、予め求められた前記画像を撮影したカメラの方角及び設置位置と、前記日時取得部により取得した前記日時と、前記物体の長さとに基づいて、前記日時における前記物体の影の領域を計算し、前記物体の影の領域を含む前記仮想前景領域を生成し、
   前記領域マッチング部は、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体の影らしい領域を表す前記マップ画像を生成し、
   前記選択的前景領域処理部は、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された実前景領域から、前記影の領域を除去した前記前景領域を得る請求項１に記載の前景領域抽出装置。
4. 前記領域マッチング部は、前記仮想前景領域を走査する毎に、前記仮想前景領域と前記実前景領域とが重なる領域の面積比により求まる一致度を算出することにより、前記マップ画像を生成する請求項１〜３の何れか１項に記載の前景領域抽出装置。
5. 入力された画像から、背景画像との差分により、物体を表す前景領域を抽出する前景領域抽出装置における前景領域抽出方法であって、
   仮想前景領域生成部が、予め定められた前記物体の長さに基づいて仮想的な前記物体の領域又は仮想的な前記物体の影の領域を含む仮想前景領域を生成するステップと、
   前景領域抽出部が、前記画像から、前記背景画像との差分により、前記物体を表す実前景領域を抽出するステップと、
   領域マッチング部が、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体らしい領域又は前記物体の影らしい領域を表すマップ画像を生成するステップと、
   選択的前景領域処理部が、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された前記実前景領域から、前記前景領域を得るステップと、
   を含む前景領域抽出方法。
6. 前記仮想前景領域生成部が生成するステップは、予め定められた物体のサイズに基づいて、前記仮想的な前記物体の領域を計算し、前記仮想的な前記物体の領域を含む前記仮想前景領域を生成し、
   前記領域マッチング部が生成するステップは、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体らしい領域を表す前記マップ画像を生成し、
   前記選択的前景領域処理部が前景領域を得るステップは、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された実前景領域から、前記物体の領域を抽出した前景領域を得る請求項５に記載の前景領域抽出方法。
7. 日時取得部が、前記画像を撮影した日時を取得するステップを更に含み、
   前記仮想前景領域生成部が生成するステップは、予め求められた前記画像を撮影したカメラの方角及び設置位置と、前記日時取得部により取得した前記日時と、前記物体の長さとに基づいて、前記日時における前記物体の影の領域を計算し、前記物体の影の領域を含む前記仮想前景領域を生成し、
   前記領域マッチング部が生成するステップは、前記仮想前景領域生成部により生成された仮想前景領域と、前記前景領域抽出部により抽出された実前景領域とが重なる領域に基づいて、前記物体の影らしい領域を表す前記マップ画像を生成し、
   前記選択的前景領域処理部が前景領域を得るステップは、前記領域マッチング部により生成された前記マップ画像に基づいて、前記前景領域抽出部により抽出された実前景領域から、前記影の領域を除去した前記前景領域を得る請求項５に記載の前景領域抽出方法。
8. コンピュータを、請求項１〜請求項３のいずれか１項に記載の前景領域抽出装置の各部として機能させるためのプログラム。