JP2010237872A - 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム - Google Patents

Abstract

【課題】遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行う。
【解決手段】撮影された映像に含まれる人物の画像領域を検出する人物領域検出装置において、前記映像を撮像して時系列の画像を得る撮像手段と、前記撮像手段で得られる時系列の各画像から追跡対象となる人物の身長を推定する身長推定手段と、前記人物の画像領域の一部が遮蔽物により遮蔽されたか否かを判断する隠蔽状態判定手段と、前記遮蔽状態判定手段により得られる判定結果から、前記人物の画像領域の一部が遮蔽物に遮蔽されていた場合、前記身長推定手段により得られる前記人物の頭又は足の端部の位置情報と、前記画像から特定される消失点とに基づいて、前記遮蔽物により遮蔽された部分も含めて前記画像中における人物領域を推定する人物領域推定手段とを有することにより、上記課題を解決する。
【選択図】図１

Description

本発明は、人物領域検出装置、人物領域検出方法、及び人物領域検出プログラムに係り、特に遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うための人物領域検出装置、人物領域検出方法、及び人物領域検出プログラムに関する。

従来、警備領域等に不審者がいるか否かを判断する場合には、予め設置されたカメラ等で撮影された映像を取得し、取得した映像を監視員等が見ることにより、その撮影された実空間上における不審者の有無を判断していた。

ここで、不審者か否かを判断する場合には、例えば、警備員等が画面上に映し出される映像のうち、変化領域等の移動物体が存在するか否かを判断し、移動物体があると判断された時点で警報を鳴らしたり、記録手段に録画した後、監視者が全ての移動物体について、その移動物体がどこからどのように移動したかで不審者か否かを判定する。したがって、常に表示装置の画面を見て監視者が移動物体を見つけ出すような、初期の画像監視装置と比較すると、作業の軽減になるが、後処理で監視者が判断する際にかなりの時間と労力を費やしてしまう。

そこで、従来では、単に移動物体の検出というだけでなく、画像解析によって移動物体の追跡を行って本当に不審者人物のみに対して警報を鳴らすようなシステムが存在する（例えば、特許文献１，２参照。）。

特許文献１に示されている移動物体追跡手法では、監視領域内の画像を撮像手段で撮像して入力し、この入力された監視領域内の画像を所定の時間間隔で連続的に取込んでデジタル化し、このデジタル化された複数の画像を演算することによって、デジタル化された画像の差分画像を算出し、この算出した差分画像を２値化して差分２値化画像を生成し、この生成した差分２値化画像から変化領域を検出する。

また、特許文献１では、検出した変化領域を移動物体として、その変化領域の濃淡パターンを記憶手段に記憶し、所定時間経過後に撮像手段から入力された原画画像の移動物体の存在した位置の周辺において、記憶手段内の濃淡パターンと原画画像の濃淡パターンとを比較することによって、類似度の高い領域を抽出して移動物体と判定することにより移動物体を追跡することができる。

また、特許文献２では、デジタル化された画像の差分画像を算出し、この算出した差分画像を２値化して差分２値化画像を生成し、この生成した差分２値化画像から変化領域を抽出し、この抽出した変化領域が、予め設定される移動物体の出現する可能性のある出現予測領域と接していたとき、該移動物体が目的とする対象物であると判定して追跡する監視画像の移動物体追跡方法について開示されている。

特開平６−２６１２５２号公報 特開平６−２７４６２５号公報

しかしながら、画像だけで判断する場合には、人物の全てが画面上に存在しなければならず、例えば、人物とカメラの間に遮蔽物があることにより、足又は頭等の体の一部が隠れてしまった場合には、正確に同一の人物だと認識できない場合がある。更に、胴体部分のみが遮蔽物により隠れてしまった場合には、ユーザが画面を見ないで画像処理を行う場合には、遮蔽された部分（例えば胴体）から上の部分と、下の部分で２種類の移動物体が存在すると認識されてしまうため、正確な人物認識を行うことができない。

本発明は、上記の問題点に鑑みてなされたものであって、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うための人物領域検出装置、人物領域検出方法、及び人物領域検出プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明では、撮影された映像に含まれる人物の画像領域を検出する人物領域検出装置において、前記映像を撮像して時系列の画像を得る撮像手段と、前記撮像手段で得られる時系列の各画像から追跡対象となる人物の身長を推定する身長推定手段と、前記人物の画像領域の一部が遮蔽物により遮蔽されたか否かを判断する隠蔽状態判定手段と、前記遮蔽状態判定手段により得られる判定結果から、前記人物の画像領域の一部が遮蔽物に遮蔽されていた場合、前記身長推定手段により得られる前記人物の頭又は足の端部の位置情報と、前記画像から特定される消失点とに基づいて、前記遮蔽物により遮蔽された部分も含めて前記画像中における人物領域を推定する人物領域推定手段とを有することを特徴する。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。

また本発明では、前記人物推定手段により、推定された領域をフレームとして生成し、入力された画像に対して前記フレームを合成して表示する画面を生成する画面生成手段を有することを特徴とする。

また本発明では、前記隠蔽状態判定手段は、前記画像に表示される人物の足から推定される位置情報と、前記人物の頭から推定される位置情報とに基づいて、前記人物の画像領域の一部が遮蔽状態にあるかを判定することを特徴とする。

更に本発明は、撮影された映像に含まれる人物の画像領域を検出するための人物領域検出方法において、前記映像を撮像して時系列の画像を得る撮像手順と、前記撮像手順で得られる時系列の各画像から追跡対象となる人物の身長を推定する身長推定手順と、前記人物の画像領域の一部が遮蔽物により遮蔽されたか否かを判断する隠蔽状態判定手順と、前記遮蔽状態判定手順により得られる判定結果から、前記人物の画像領域の一部が遮蔽物に遮蔽されていた場合、前記身長推定手順により得られる前記人物の頭又は足の端部の位置情報と、前記画像から特定される消失点とに基づいて、前記遮蔽物により遮蔽された部分も含めて前記画像中における人物領域を推定する人物領域推定手順とを有することを特徴する。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。

また本発明は、前記人物推定手順により、推定された領域をフレームとして生成し、入力された画像に対して前記フレームを合成して表示する画面を生成する画面生成手順を有することを特徴とする。

また本発明は、前記隠蔽状態判定手順は、前記画像に表示される人物の足から推定される位置情報と、前記人物の頭から推定される位置情報とに基づいて、前記人物の画像領域の一部が遮蔽状態にあるかを判定することを特徴とする。

更に本発明は、撮影された映像に含まれる人物の画像領域を検出する人物領域検出処理をコンピュータに実行させるための人物領域検出プログラムにおいて、コンピュータを、前記映像を撮像して時系列の画像を得る撮像手段、前記撮像手段で得られる時系列の各画像から追跡対象となる人物の身長を推定する身長推定手段、前記人物の画像領域の一部が遮蔽物により遮蔽されたか否かを判断する隠蔽状態判定手段、及び、前記遮蔽状態判定手段により得られる判定結果から、前記人物の画像領域の一部が遮蔽物に遮蔽されていた場合、前記身長推定手段により得られる前記人物の頭又は足の端部の位置情報と、前記画像から特定される消失点とに基づいて、前記遮蔽物により遮蔽された部分も含めて前記画像中における人物領域を推定する人物領域推定手段として機能させる。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物領域検出処理を容易に実現することができる。

また本発明では、前記人物推定手段により、推定された領域をフレームとして生成し、入力された画像に対して前記フレームを合成して表示する画面を生成する画面生成手段を有することを特徴とする。

また本発明では、前記隠蔽状態判定手段は、前記画像に表示される人物の足から推定される位置情報と、前記人物の頭から推定される位置情報とに基づいて、前記人物の画像領域の一部が遮蔽状態にあるかを判定することを特徴とする。

本発明によれば、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。

本実施形態における人物領域検出装置の概略構成の一例を示す図である。 本発明における隠蔽状態判定を説明するための一例を示す図である。 画像中の人物を計測するための一例を示す図である。 追跡中の人物の足元からフレームアウトした場合を説明するための図である。 追跡中の人物の一部が遮蔽した場合における人物領域補正処理結果の一例を示す図である。 人物領域推定を説明するための図である。 身体が一部隠蔽された場合における人物領域の補正処理結果の一例を示す図である。 本実施形態における人物領域検出処理が実現可能なハードウェア構成の一例を示す図である。 本実施形態における人物領域検出処理手順の一例を示すフローチャートである。 人物判定処理手順を示す一例のフローチャートである。 隠蔽状態判定処理手順の一例を示すフローチャートである。 人物領域推定処理手順の一例を示すフローチャートである。

以下に、本発明における人物領域検出装置、人物領域検出方法、及び人物領域検出プログラムを好適に実施した形態について、図面を用いて説明する。

＜人物領域検出装置の概略構成例＞
図１は、本実施形態における人物領域検出装置の概略構成の一例を示す図である。図１に示す人物領域検出装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、身長推定手段１４と、隠蔽状態判定手段１５と、人物領域推定手段１６と、人物追跡手段１７と、画面生成手段１８と、通知手段１９と、送受信手段２０と、制御手段２１とを有するよう構成されている。なお、送受信手段２０には、所定の領域を撮影するカメラ等の撮像手段２２が接続されており、撮像手段２２により撮影された映像に含まれる時系列の各画像を取得することができる。また、撮像手段２２は、人物領域検出装置１０と一体に構成されていてもよい。

入力手段１１は、ユーザ等からの身長推定指示や、隠蔽状態判定指示、人物領域推定指示、画面生成指示、通知指示、送受信指示等の各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。

出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データや身長推定手段１４、隠蔽状態判定手段１５、人物領域推定手段１６、画面生成手段１８、通知手段１９等の各構成により実行された経過又は結果により得られる各種情報の内容を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。

蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、身長推定手段１４における推定結果や、隠蔽状態判定手段１５における判定結果、人物領域推定手段１６における判定結果、画面生成手段１８における生成した画面情報、通知手段１９により通知される内容や通知された内容、送受信手段２０により送受信された内容、制御手段２１により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。

身長推定手段１４は、画像中に含まれる１又は複数の人物を検出し、その人物がいた場合に新規の人物であるか否かを判断し、新規人物である場合、その人物領域の足の先と、その画像に対応する消失点とから実空間上の人物の位置を算出し、画像上の見かけ上の大きさを併せて、実際の人物の身長を推定する。なお、消失点は、画像中に含まれる場合もあるが、カメラのアングル等により画像中に含まれない場合もある。この場合には、仮想的な空間上に消失点を設定し、その消失点を利用する。

なお、身長推定手段１４は、その人物が今まで撮影された人であるか、又は新規人物であるかを判断する方法としては、例えば、その前の映像に人物がいるか否か、人物がいた場合にその人物に予め設定された移動可能範囲に含まれているか否か、前後の顔の特徴量同士の比較による類似性の有無により判断することができる。

隠蔽状態判定手段１５は、画像中に含まれる人物領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。つまり、本実施形態では、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、隠蔽部分を推定することができる。

人物領域推定手段１６は、画像中に存在する人体に関してその外領域からなり人物が存在することを画面上で認識するための人物領域を推定する。また、人物領域推定手段は、隠蔽状態判定手段１５により隠蔽されている部分が存在すると判断された場合に、正しい人体の領域を推定する。また、人物領域推定手段１６は、隠蔽されている人体部分の外形（シルエット）又は領域を画面上に表示させる。これにより、隠蔽物により画像上に表示されていない人物のいる位置を正確に把握することができる。

また、人物領域推定手段１６は、画像中に存在する人物を経時的に追跡する場合には、次の移動範囲を人物の向き、姿勢、今までの行動から次の動作可能範囲を推測することができる。この場合、人物領域推定手段１６は、その最大の範囲の外枠をフレーム化して画像に合成するための情報を生成する。

人物追跡手段１７は、画像中に表示されている１又は複数の人物を経時的に追跡する。例えば、人物追跡手段１７は、追跡対象人物が遮蔽物に隠れたり、カメラを所定時間以上気にしてみていたり、キョロキョロしていたり、長時間滞在している等の不審行動が少なくとも１つある場合には、その人物を不審者として検出する。更に、人物追跡手段１７は、追跡対象人物がマスクをしていたり、サングラスをかけていることで、顔を隠している場合にも不審者として検出する。また、人物追跡手段１７は、検出された不審者情報を、通知手段１９に通知する。

画面生成手段１８は、撮像手段２２により撮影された映像を表示する画面を生成する。また、画面生成手段１８は、人物領域推定手段１６により推定された人物領域を現在撮像手段２２等により取得した映像に含まれる時系列の画像中に反映させる。具体的には、画面生成手段１８は、人物領域と推定された領域の外側をフレーム化し、撮影された映像に合成して、出力手段１２により表示させる。また、画面生成手段１８は、画面生成により得られた画像をディスプレイ等の出力手段に表示される。このとき、画面生成手段１８は、例えば人物領域のフレームの位置情報を数値化したもの等を画面上に表示させることができる。

また、画面生成手段１８は、人物を追跡している場合に必要である経時的なその撮影されている人物移動範囲も推定して画面上表示させることができる。更に、画面生成手段１８は、予め設定される不審者の行動パターンに該当する場合には、その旨の内容を通知するための画面を生成する。

なお、画面生成に必要な各種情報は、蓄積手段１３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、生成した画面は、ディスプレイやスピーカ等を有する出力手段１２により音声等と共に出力する。

通知手段１９は、人物追跡手段１７により得られる不審者として検出された画像と、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像）を画面生成手段１８により生成させて、表示させる。また、通知手段１９は、そのような不審行動検出における問題発生信号に対応させて、管理者や警備会社におけるそのビルの担当警備員、監視員、代表責任者等に通知を行うアラート機能を有する。

送受信手段２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の撮像手段２２からの監視映像を受信する。なお、送受信手段２０は、撮像手段２２から直接監視映像を受信しなくてもよく、例えば予め撮像手段２２で取得した映像をどこかに一時的保存しておき、その保存された情報を用いて本実施形態における人物領域検出を行ってもよい。
また、送受信手段２０は、人物領域検出装置１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。

制御手段２１は、人物領域検出装置１０における各機能構成全体の制御を行う。具体的には、制御手段２１は、入力手段１１により入力されたユーザからの入力情報に基づいて身長推定処理を行ったり、隠蔽状態判定処理を行ったり、人物領域推定処理を行ったり、人物追跡検出処理を行ったり、画面生成処理を行ったり、通信制御を行ったり、送受信制御を行う等の各種制御を行う。

また、上述した本実施形態により、例えば、画像中の人物領域の足の先と、消失点から実空間での人物位置を算出し、追跡を行うことができ、足が隠蔽された場合は、人物領域の頭の位置で追跡を補完することができる。

また、監視カメラから人物が遠くなれば遠くなる程、人物の実際の移動距離に比して、画像上での移動量が小さくなる。そのため、画面上で一律に、追跡する範囲を設定すると、監視カメラに近い人物を追跡し損ねたり、監視カメラに遠い人物では、誤って別人を追跡したりすることがあった。そこで、高精度に人物を追跡するために、上述したように、人物領域の足の先と消失点の距離から、監視カメラと人物の距離を測定し、実空間上の人物位置を算出して、移動可能範囲を計算し、追跡に用いる。また、足が隠蔽された場合は、頭の位置と、事前に算出した身長から人物の実空間上の位置を算出し、追跡を継続する。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。

＜身長推定手段１４における身長推定処理例＞
次に、本実施形態の身長推定手段１４における身長推定処理例について具体的に説明する。身長推定手段１４は、具体的には、本出願人により出願された特開２００８−２８６６３８号公報等に示される手法等を用いることができる。

具体的には、基準物体の実際の高さを示す基準長と、所定の位置に固定されたカメラから基準物体までの実際の距離を示す基準距離と、その基準物体の下端位置を示す基準座標と、基準物体画像中における基準長に相当する第１基準長画素数と、カメラを無限遠に遠ざけた場合に基準物体が位置する基準物体画像中の位置である消失点の位置を示す消失点座標とを保持し、カメラから被写体として人物を含む人物画像を取得し、取得した人物画像中の人物の身長に相当する人物長画素数をカウントし、更に、取得した人物画像中の人物の下端から、人物画像中の消失点までの人物消失点画素数をカウントする。

次に、上述した保持手段が保持する基準座標と消失点座標とに基づいて、基準物体画像中の基準物体の下端位置から消失点の位置までの基準消失点画素数を算出し、特定された人物消失点画素数と基準消失点画素数との比と、保持手段が保持する基準距離とに基づいて、カメラから人物までの実際の人物距離を算出し、算出された人物距離と、保持手段が保持する基準距離と、第１基準長画素数とに基づいて、人物距離に基準物体が配置された場合の基準長に相当する第２基準長画素数を算出する。

更に、その第２基準長画素数と上述した人物長画素数との比と、保持手段が保持する基準長とに基づいて、人物の実際の身長を算出する。なお、画像中から人物の身長を算出する手法については、本発明においてはこれに限定されるものではない。

＜隠蔽状態判定手段１５における隠蔽状態判定処理例＞
次に、隠蔽状態判定手段１５における隠蔽状態判定処理手順について図を用いて説明する。図２は、本発明における隠蔽状態判定を説明するための一例を示す図である。また、図３は、画像中の人物を計測するための一例を示す図である。図２においては、図２（ａ）に示す経時的な人物３０の移動された位置関係において、従来手法の結果(図２（ｂ）)と、本実施形態による結果（図２（ｃ））の例を示す。また、図２（ａ）〜（ｃ）においては、時刻ｔでの実際の位置にいる人物を人物３０−１とし、時刻ｔ＋１での実際の位置にいる人物を人物３０−２とする。また、図３（ａ）は、検出領域の下端位置と距離の関係示し、図３（ｂ）は、頭、足先と消失点間の画素数と距離の関係を示している。

本実施形態では、人物領域の実空間上の位置関係に基づいて、隠蔽領域を認識することで、人物領域を正しく補正する。これにより、例えば人物領域を詳細に解析する際、何らかに隠れているか否かは有用な情報となる。具体的には、本実施形態では、人物の足元座標から位置推定すると共に、頭部座標（人物領域の矩形上端）からも位置推定を行う。これにより、どちらか一方の位置推定結果から、同一人物の移動と判定されれば、前回に検出された人物が移動した推定することができる。

また、従来の手法では、足元が隠蔽されている状態でも人物領域の下端を足位置として距離を推定し、新たな人物が遠くに現れたと誤った認識をしていた（図２（ｂ）、図３（ａ））。つまり、図３（ａ）では、時刻ｔにおける人物３０−１が時刻ｔ＋１における人物３０−２にいる場合、ダンボール（遮蔽物）により人物３０−２の足元を取得することができない。

そこで、本実施形態では、図３（ｂ）に示すように、人物の足位置からカメラまでの距離を算出すると共に、頭の位置（人物領域の矩形上端）からも距離を算出している。これにより、どちらか一方の距離算出結果から、同一人物の移動と判定されれば、前回に検出された人物が移動したとしている（図２（ｃ））。なお、図３（ｂ）に示すように、カメラからの距離（５ｍ、１０ｍ）と、消失点と、頭及び足の位置、撮影画像の画素数等を用いて人物の身長を推定する。

しかしながら、頭の位置から距離を算出する場合、人物の身長には個人差があるため、頭の位置から距離を求めることはできないことが分かる。そこで、前回に検出された人物（図２（ｃ）の時刻ｔで検出された人物）と、新たに検出された人物（時刻ｔ＋１で検出された人物）とが同一人物であると仮定することで、図３（ｂ）に示すような撮像手段２２からの距離と人物頭部と消失点の画素数が反比例する関係を利用することが可能となり、距離を算出している。そして、図３（ｃ）に示すように、仮定通りに同一人物であるという判定が得られれば、人物の足元が隠蔽されているとする。これにより、頭の位置から逆算して画像上の足元の位置を推定することが可能となり、隠蔽されている人物領域を推定することが可能できる。

更に、追跡中の人物が足元からフレームアウトした場合、及び胴体の一部が隠れた場合においても、それを認識し隠れた矩形領域を推定しつつ、追跡を継続することができる。

＜人物領域推定手段１６における人物領域推定処理例＞
次に、人物領域推定手段１６における人物領域推定処理について説明する。図４は、追跡中の人物の足元からフレームアウトした場合を説明するための図である。また、図５は、追跡中の人物の一部が遮蔽した場合における人物領域補正処理結果の一例を示す図である。更に、図６は、人物領域推定を説明するための図である。

なお、図６においては、図６（ａ）に示す経時的な人物３０の移動された位置関係において、従来手法の結果(図６（ｂ）)と、本実施形態による結果（図６（ｃ））の例を示す。また、図６（ａ）〜（ｃ）においては、時刻ｔでの実際の位置にいる人物を人物３０−１とし、時刻ｔ＋１での実際の位置にいる人物を人物３０−２とする。

ここで、図４（ａ）は、足が隠蔽していることを検出した場合の例を示し、図４（ｂ）は、胴体が隠蔽していることを検出した場合の例を示し、図４（ｃ）は、頭が隠蔽していることを検出した場合の例を示している。更に図５（ａ）は、追跡中の人物の足元がフレームアウトしている例を示し、図５（ｂ）は、追跡結果を示している。

人物領域推定手段１６では、図４及び図５に示すように追跡中の人物が足元からフレームアウトした場合、及び胴体の一部が隠れた場合においても、それを認識し隠れた矩形領域を推定しつつ、追跡を継続することができる。

まず、追跡中の人物が足元からフレームアウトした場合の処理について説明する。上述したように、隠蔽状態判定手段１５においては、例えば足元が隠蔽された場合には、画像上の頭部座標から実空間における人物位置を推定していた。人物領域推定手段１６では、これを応用し、監視領域下端（画像下端）と人物領域下端が同一である場合に、隠蔽状態判定手段１５における処理を実施することで、身体の一部がフレームアウトしている人物においても、頭部座標からの追跡が可能となる。

ここで、身体の一部がフレームアウトする場合には、人物がカメラに接近しているため、歩行動作に伴った頭部座標の上下運動が顕著に現れる。このため、頭部座標から実空間における位置推定を行った場合、前フレームの位置から推定される移動可能な範囲を超え、別人となってしまう場合がある。

そこで、本実施形態では、頭部座標からの位置推定処理に関して、カメラから近距離の場合は、その距離に応じて（近ければ近い程）移動可能な範囲を広めに設定することで、正しく追跡を行うことができる。

次に、図４（ｂ）に示すように、胴体の一部が隠蔽された場合の処理について説明する。従来の手法では、胴体の一部が隠蔽された場合、図６（ｂ）に示すように、上半身と下半身のそれぞれ別々の人物としてしまっていた。

そこで、本実施形態では、図６（ｃ）に示すように、画像上の足座標と頭部座標の両方から実空間上における位置を推定することで、対象人物の一部が検出されたのか否かを判定する。これにより、例えば、図４（ｂ）に示すように、人物の胴体の一部が隠蔽された場合においても、隠蔽されている箇所を認識し、正しく人物領域を検出することが可能となる。

なお、図４（ａ）〜（ｃ）に示すように各画像には、その人物の領域を示し、実際に表示されている人物のフレームである表示人物フレーム３１と、遮蔽物により隠れている人物のフレームである遮蔽人物フレーム３２とがそれぞれ色分けや強調表示等により区別されて表示されている。これにより、遮蔽された人物の領域を高精度に把握することができる。なお、表示人物フレーム３１及び遮蔽人物フレーム３２は、例えば矩形や円形、正方形等の簡単な形状でもよく、シルエット等の外形又はその外形と相似する拡大所定の大きさで拡大した図形であってもよい。また、本実施形態では、表示人物フレーム３１が遮蔽人物フレーム３２の領域も兼ねて１つのフレームで表示してもよい。

＜画面生成手段１８＞
次に、本実施形態における画面生成例について図を用いて説明する。画面生成手段では、なお、上述した図２〜図６については、画面生成手段１７により生成される画面であり、ディスプレイ等の表示画面等により表示させることができる。

また、図５（ａ）に示されている追跡結果においては、人物３０の表示人物フレーム３１に対してその人物関連情報（追跡対象か否か、身長、位置同定しているか否か、矩形補正をしたか否か等）３３を表示されてもよく、今まで追跡した追跡ルート（移動方向も含んでもよい）３４を表示してもよい。なお、人物関連情報としては、上述の内容に限定されず、例えば撮影された時間や人物が顔特徴量等を画面から抽出して測定できる場合には、その人物の指名や性別、推定年齢（年代でもよい）を表示させることができる。

また、図５（ｂ）に示す追跡画面では、カメラ等の撮像手段の画角３５に対する上述した追跡ルート３４や現在位置３６、現在から予め設定された時間経過後又は所定のフレーム数後に移動している人物行動範囲３７等を取得することができる。

また、図７は、身体が一部隠蔽された場合における人物領域の補正処理結果の一例を示す図である。図７（ａ）に示すように、画面に表示された人物３０に対応する表示人物フレーム３１及び人物関連情報が表示されている。この後、人物追跡手段１７による追跡途中で図７（ｂ）又は図７（ｃ）に示すように、人物の身体の一部が隠蔽された場合には、人物領域を補正し、補正したこと人物関連情報に示す。これにより、人物の足元が隠蔽されていることを容易に把握することができる。

＜ハードウェア構成例＞
ここで、上述した人物領域検出装置１０は、上述した機能を有する専用の装置構成により制御を行うこともできるが、各機能をコンピュータに実行させることができる実行プログラム（人物領域検出プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における人物領域検出処理を実現することができる。

本実施形態における人物領域検出処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図８は、本実施形態における人物領域検出処理が実現可能なハードウェア構成の一例を示す図である。

図８におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置４１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。

出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ４６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

なお、入力装置４１と出力装置４２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者等の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。

ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。

補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

メモリ装置４５は、ＣＰＵ４６により補助記憶装置４４から読み出された実行プログラム等を格納する。なお、メモリ装置４５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。

ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置４５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。プログラムの実行中に必要なログ情報等の各種情報等は、補助記憶装置４４から取得することができ、また実行結果等を格納することもできる。

ネットワーク接続装置４７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果、又は本発明における実行プログラム自体を他の端末等に提供することができる。上述したようなハードウェア構成により、本発明における人物領域検出処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物領域検出処理を容易に実現することができる。次に、人物領域検出処理の具体的な内容について説明する。

＜人物領域検出処理＞
次に、本発明における実行プログラム（人物領域検出プログラム）で実行される人物領域検出処理手順についてフローチャートを用いて説明する。図９は、本実施形態における人物領域検出処理手順の一例を示すフローチャートである。

図９において、まずカメラ等の撮像手段により撮影された映像を入力する（Ｓ０１）。次に、その映像に人物が１又は複数存在する場合にその人物の身長を推定する（Ｓ０２）。その後、その人物を追跡していく過程において、身体の一部が遮蔽物等により遮蔽されているか否かの遮蔽状態を判定し（Ｓ０３）、Ｓ０３の処理の結果にかかわらず、人物領域の推定を行う（Ｓ０４）。このとき、Ｓ０３の判定にて遮蔽状態だと判定された場合には、上述したように、遮蔽物により遮蔽された部分も含めて人物領域の推定を行う。

また、Ｓ０４の処理が終了後、画面を生成し（Ｓ０５）、その生成した画面を出力する（Ｓ０６）。更に、ここで、追跡終了するか否かを判断し（Ｓ０７）、追跡を終了しない場合（Ｓ０７において、ＮＯ）、Ｓ０３に戻り、映像に映る同一人物について、以降の処理を行う。また、追跡を終了する場合（Ｓ０７において、ＹＥＳ）、次に人物領域検出処理を終了するか否かを判断し（Ｓ０８）、人物領域検出処理を終了しない場合（Ｓ０８において、ＮＯ）、Ｓ０１の処理に戻り、他の人物等を検出して後述の処理を行う。また、人物領域検出処理を終了する場合（Ｓ０８において、ＹＥＳ）、全体の処理を終了する。

＜身長推定における人物判定処理手順＞
次に、上述した身長推定手段における人物判定処理手順についてフローチャートを用いて説明する。図１０は、人物判定処理手順を示す一例のフローチャートである。なお、図１０では、その人物の位置検出による追跡の概要を示している。図１０示す人物判定処理では、まず、映像中に含まれる１又は複数の人物（図１０では、人物Ｘ１，・・・，Ｘｎ）を検出したか同かを判断し（Ｓ１１）、検出していない場合（Ｓ１２において、ＮＯ）状態遷移図にしたがって状態を更新する（Ｓ１２）。具体的には、Ｓ１２の処理において、例えば「初期状態→初期状態」、「照合状態→初期状態」、「追跡状態→消失状態」、「消失状態→消失状態ｏｒ退去状態ｏｒ初期状態」、「退去状態→初期状態」等の何れの設定を行う。ここで、「初期状態」とは、追跡情報を格納する領域が、空き領域であることを示している。例えば、追跡可能な人数が３人であった場合、追跡ＩＤ１，ＩＤ２，ＩＤ３という領域が確保され、それぞれが追跡状態や人物情報を保持する。

また、「照合状態」とは、過去に検出された人物と同一人物か否か、確認中である状態を示している。なお、「照合状態」では、新規の人物若しくは追跡中の人物と同一人物であると判定されると、「追跡状態」に移行する。また、「照合状態」では、安定して検出されない領域、人っぽい動きをしない領域（誤検出と思われる領域）と判定された場合は、「初期状態」に戻る。

また、「追跡状態」とは、人物を追跡している状態を示している。なお「追跡状態」は、追跡している人物が検出できなくなると、「消失状態」に移行する。また、「消失状態」とは、追跡中の人物が検出できなくなった状態を示している。なお、「消失状態」は、一定時間続いたら、「退去状態」に移行する。また、「消失状態」は、一定時間内に追跡中の人物が再度検出されたら、「追跡状態」に戻る。また、「退去状態」とは、追跡中の人物が、いなくなったと判定された状態を示している。但し、人物が戻ってきた場合（フレームアウトした人物が、再度、フレームインしてきた場合等）には、同定し、追跡を継続できるように追跡情報を一定時間保持しておく。また、「退去状態」とは、一定時間経過すると、情報を破棄し、「初期状態」に戻る。

また、Ｓ１１の処理において、１又は複数の人物を検出した場合（Ｓ１１において、ＹＥＳ）、初期状態でない人物Ａが既に存在するか否かを判断する（Ｓ１３）。ここで、初期状態でない人物が存在しない場合（Ｓ１３において、ＮＯ）、新規人物として登録状態を「初期状態→照合状態」に更新する（Ｓ１４）。また、初期状態でない人物が存在する場合（Ｓ１３において、ＹＥＳ）、次に人物Ａの移動範囲内であるか否かを判断する（Ｓ１５）。ここで、移動範囲内でない場合（Ｓ１５において、ＮＯ）、上述したＳ１４に示すように登録状態の更新を行う。

また、Ｓ１５の処理において、人物Ａの移動範囲内である場合（Ｓ１５において、ＹＥＳ）、次に、移動範囲内に複数人いるか否かを判断する（Ｓ１６）。ここで、複数人いる場合（Ｓ１６において、ＹＥＳ）、人物Ａに対して人物Ｘ１，・・・，Ｘｎで人物同定処理を行う（Ｓ１７）。このとき、Ｓ１７の人物同定処理は、映像から選択された静止画を用いて行う。また、Ｓ１７の処理において同定された人物がいるか否かを判断し（Ｓ１８）、同定された人物がいない場合（Ｓ１８において、ＮＯ）、上述したＳ１４に示すように登録状態の更新を行う。

また、Ｓ１６の処理において、移動範囲内に複数人いない場合（Ｓ１６において、ＮＯ）、又はＳ１８の処理において、同定された人物がいる場合（Ｓ１８において、ＹＥＳ）、人物Ａと人物Ｘｉを同一人物として状態を更新する（Ｓ１９）。これにより、映像に含まれる分物が同一人物であるか否かを正確に判定することができる。

＜隠蔽状態判定処理手順：Ｓ０３＞
次に、上述した隠蔽状態判定処理手順の具体例についてフローチャートを用いて説明する。図１１は、隠蔽状態判定処理手順の一例を示すフローチャートである。図１１に示すように、隠蔽状態判定処理手順では、まず現在のフレームに検出された人物Ａの足から位置を推定する（Ｓ２１）。次に、人物Ｂの移動範囲内に人物Ａが存在するか否かを判断する（Ｓ２２）。ここで、人物Ｂの移動範囲内に人物Ａが存在しない場合（Ｓ２２において、ＮＯ）、以下、前回検知された人物Ｂと同一人物と仮定する（Ｓ２３）。次に、その人物Ｂの身長Ｈｂを利用し、頭から人物Ａの位置を推定し（Ｓ２４）、人物Ｂの移動範囲内に人物Ａが存在するか否かを判断する（Ｓ２５）。ここで、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２５において、ＹＥＳ）、又は、Ｓ２２の処理において、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２２において、ＹＥＳ）、同一人物と判定する（仮定成立）（Ｓ２６）。また、Ｓ２５の処理において、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２５において、ＮＯ）、異なる人物と判定する（仮定不成立）（Ｓ２７）。つまり、上述の処理では、Ｓ２２の処理において、人物Ａが人物Ｂの移動範囲内に存在すれば、同一人物と即断定し、そうでなければ、同一人物であると仮説を立てて、それが成立するか否かの判定を行う。

＜人物領域推定処理手順：Ｓ０４＞
次に、上述した人物領域推定処理手順の具体例についてフローチャートを用いて説明する。図１２は、人物領域推定処理手順の一例を示すフローチャートである。図１２に示すように、人物領域推定処理手順では、まず人物Ａの足から推定された位置ＰＡｆ、頭から推定された位置ＰＡｈを取得する（Ｓ３１）。次に、ＰＡｆとＰＡｈの位置が一定範囲内であるか否かを判断する（Ｓ３２）。ここで、ＰＡｆとＰＡｈの位置が一定範囲内でない場合（Ｓ３２において、ＮＯ）、以下、前回検知された人物Ｂと同一人物と仮定する（Ｓ３３）。

次に、人物Ａの身長Ｈａを利用し、人物Ｂの位置ＰＢａｈを頭から推定する（Ｓ３４）。その後、またＰＡｆとＰＢａｈの位置が一定範囲内であるか否かを判断する（Ｓ３５）。ここで、ＰＡｆとＰＢａｈの位置が一定範囲内である場合（Ｓ３５において、ＹＥＳ）、人物領域Ａが足、人物領域Ｂが頭となる（つまり、胴体が隠蔽されている）と判断する（Ｓ３６）。また、Ｓ３５の処理において、ＰＡｆとＰＢａｈの位置が一定範囲内でない場合（Ｓ３５において、ＮＯ）、人物領域Ａの足が隠蔽していると判断する（Ｓ３７）。また、Ｓ３２の処理において、ＰＡｆとＰＡｈの位置が一定範囲内である場合（Ｓ３２において、ＹＥＳ）、人物Ａは隠蔽領域なしと判断する（Ｓ３８）。

つまり、上述の処理では、足から推定される位置ＰＡｆと頭から推定される位置ＰＡｈが同じような位置を示す場合、それは同一人物の足と頭であることが確定する。したがって、頭から足まできれいに領域抽出されていると判定する。また、位置が異なる場合は、何らかの影響で足か頭の領域が欠損している可能性があると判定する。

上述したように、本発明によれば、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。

具体的には、追跡中の人物領域の大きさや、人物の領域の数の変化から、足や頭、胴体等の人体の一部が遮蔽物等により遮蔽された場合に、その一部が遮蔽されたことをシステム上で認識し、正確な領域に補正する。

具体的には、カメラ等の撮像手段により画像中の人物領域の足の先と、その画像の消失店から実空間上の人物の位置を算出し、画像上の見かけ上の大きさと併せて、実際の人物の身長を推定する。また、人物の足、頭の位置と特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人体の一部が建物等の影響等で隠蔽されたかどうかを判断する。更に、本発明では、隠蔽物により人体の一部が隠蔽された場合には、正確な人体の領域を推定して表示する。

これにより、身体の一部分が撮影された画像から欠けていたり、遮蔽物により一部が遮蔽されていても、同一の人物と認識して、人物の追跡等を行うことができ、遮蔽物等により隠蔽された人体の一部を補正して正確な人物領域の検出を行うことができる。

また、本発明によれば、監視画像内の移動物体を精度よく追跡でき、移動物体か否かの判定性能の向上が図れ、しかも、効率のよい画像監視が可能となる監視画像の移動物体追跡方法を提供することを目的とする。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 人物領域検出装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 身長推定手段
１５ 隠蔽状態判定手段
１６ 人物領域推定手段
１７ 人物追跡手段
１８ 画面生成手段
１９ 通知手段
２０ 送受信手段
２１ 制御手段
２２ 撮像手段
３０ 人物
３１ 表示人物フレーム
３２ 遮蔽人物フレーム
３３ 人物関連情報
３４ 追跡ルート
３５ 画角
３６ 現在位置
３７ 人物行動範囲
４１ 入力装置
４２ 出力装置
４３ ドライブ装置
４４ 補助記憶装置
４５ メモリ装置
４６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
４７ ネットワーク接続装置
４８ 記録媒体

Claims (9)

1. 撮影された映像に含まれる人物の画像領域を検出する人物領域検出装置において、
   前記映像を撮像して時系列の画像を得る撮像手段と、
   前記撮像手段で得られる時系列の各画像から追跡対象となる人物の身長を推定する身長推定手段と、
   前記人物の画像領域の一部が遮蔽物により遮蔽されたか否かを判断する隠蔽状態判定手段と、
   前記遮蔽状態判定手段により得られる判定結果から、前記人物の画像領域の一部が遮蔽物に遮蔽されていた場合、前記身長推定手段により得られる前記人物の頭又は足の端部の位置情報と、前記画像から特定される消失点とに基づいて、前記遮蔽物により遮蔽された部分も含めて前記画像中における人物領域を推定する人物領域推定手段とを有することを特徴する人物領域検出装置。
2. 前記人物推定手段により、推定された領域をフレームとして生成し、入力された画像に対して前記フレームを合成して表示する画面を生成する画面生成手段を有することを特徴とする請求項１に記載の人物領域検出装置。
3. 前記隠蔽状態判定手段は、
   前記画像に表示される人物の足から推定される位置情報と、前記人物の頭から推定される位置情報とに基づいて、前記人物の画像領域の一部が遮蔽状態にあるかを判定することを特徴とする請求項１又は２に記載の人物領域検出装置。
4. 撮影された映像に含まれる人物の画像領域を検出するための人物領域検出方法において、
   前記映像を撮像して時系列の画像を得る撮像手順と、
   前記撮像手順で得られる時系列の各画像から追跡対象となる人物の身長を推定する身長推定手順と、
   前記人物の画像領域の一部が遮蔽物により遮蔽されたか否かを判断する隠蔽状態判定手順と、
   前記遮蔽状態判定手順により得られる判定結果から、前記人物の画像領域の一部が遮蔽物に遮蔽されていた場合、前記身長推定手順により得られる前記人物の頭又は足の端部の位置情報と、前記画像から特定される消失点とに基づいて、前記遮蔽物により遮蔽された部分も含めて前記画像中における人物領域を推定する人物領域推定手順とを有することを特徴する人物領域検出方法。
5. 前記人物推定手順により、推定された領域をフレームとして生成し、入力された画像に対して前記フレームを合成して表示する画面を生成する画面生成手順を有することを特徴とする請求項４に記載の人物領域検出方法。
6. 前記隠蔽状態判定手順は、
   前記画像に表示される人物の足から推定される位置情報と、前記人物の頭から推定される位置情報とに基づいて、前記人物の画像領域の一部が遮蔽状態にあるかを判定することを特徴とする請求項４又は５に記載の人物領域検出方法。
7. 撮影された映像に含まれる人物の画像領域を検出する人物領域検出処理をコンピュータに実行させるための人物領域検出プログラムにおいて、
   コンピュータを、
   前記映像を撮像して時系列の画像を得る撮像手段、
   前記撮像手段で得られる時系列の各画像から追跡対象となる人物の身長を推定する身長推定手段、
   前記人物の画像領域の一部が遮蔽物により遮蔽されたか否かを判断する隠蔽状態判定手段、及び、
   前記遮蔽状態判定手段により得られる判定結果から、前記人物の画像領域の一部が遮蔽物に遮蔽されていた場合、前記身長推定手段により得られる前記人物の頭又は足の端部の位置情報と、前記画像から特定される消失点とに基づいて、前記遮蔽物により遮蔽された部分も含めて前記画像中における人物領域を推定する人物領域推定手段として機能させるための人物領域検出プログラム。
8. 前記人物推定手段により、推定された領域をフレームとして生成し、入力された画像に対して前記フレームを合成して表示する画面を生成する画面生成手段を有することを特徴とする請求項７に記載の人物領域検出プログラム。
9. 前記隠蔽状態判定手段は、
   前記画像に表示される人物の足から推定される位置情報と、前記人物の頭から推定される位置情報とに基づいて、前記人物の画像領域の一部が遮蔽状態にあるかを判定することを特徴とする請求項７又は８に記載の人物領域検出プログラム。

Images