JP2010244089A

JP2010244089A - 人物検出装置、人物検出方法、及び人物検出プログラム

Info

Publication number: JP2010244089A
Application number: JP2009088561A
Authority: JP
Inventors: Takehiro Mabuchi; 健宏馬渕; Satoshi Futami; 聡二見; Takuo Moriguchi; 拓雄森口; Masaki Murakawa; 正貴村川
Original assignee: Sohgo Security Services Co Ltd
Current assignee: Sohgo Security Services Co Ltd
Priority date: 2009-03-31
Filing date: 2009-03-31
Publication date: 2010-10-28
Anticipated expiration: 2029-03-31
Also published as: JP5203281B2

Abstract

【課題】顔検出フィルタと人体検出フィルタの使い分けを行うことにより、高速かつ高精度な人物検出装置を提供する。
【解決手段】撮像手段２４により撮影された映像に含まれる人物を検出する人物検出装置において、前記映像に含まれる時系列の各画像のうち、所定の画像から所定以下の大きさを有する１又は複数の人物に対する人体領域を検出する人体検出手段１４と、前記所定の画像から所定以上の大きさを有する１又は複数の顔領域を検出する顔検出手段１５と、前記人体検出手段及び顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段１７と、を有する。
【選択図】図１

Description

本発明は、人物検出装置、人物検出方法、及び人物検出プログラムに係り、特に人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことで高速かつ高精度で人物検索するための人物検出装置、人物検出方法、及び人物検出プログラムに関する。

従来、カメラ等の撮像手段により撮影された画像や映像に対して画像処理等を行い、その画像や映像に含まれる人物等の特定の被写体を自動的に検出する手法が存在している。また、より検出精度を向上させるための様々な手法が提案されている（例えば、特許文献１，２参照。）。

上述の特許文献１では、視覚データに基づいて人体を検出する人体検出装置であって、画像を撮像する撮像部と、熱分布に関する情報を検出する熱情報検出部と、撮像部における撮像範囲と熱情報検出部における熱検出範囲を重複させるように配置する検出範囲設定手段と、熱検出範囲のうち人体が持つ熱量が検出された領域に相当する撮像領域を人体抽出範囲として撮像画像から取り出す人体抽出手段とを具備し、更に人体抽出手段は、人体が持つ熱量が検出された範囲に基づいて撮像画像から顔領域を抽出する人体検出装置が示されている。

また、上述の特許文献２では、照合パターンを異なる複数の解像度のパターンに変換する解像度変換手段と、複数の解像度のパターンの複数の局所領域における局所特徴量に基づいて領域毎の被写体信頼度を算出する被写体信頼度算出手段と、領域毎の被写体信頼度の和に基づいて照合パターンが特定の被写体か否かを判別する判別手段とを有する画像処理装置が示されている。

特開２００６−５９０１５号公報特開２００８−３３４２４号公報

しかしながら、上述した従来の手法によれば、撮影された画像や映像により顔解析を行う以外にも熱情報を検出する構成が必要となり、また季節や場所、着用している衣服等による温度の変動が大きいため、正確性に欠ける可能性が高い。

また、従来の検出手法では、画像からの顔検出を用いて人物の検出を行う場合、遠くにいる人物の画像上では小さい顔を検出しようとすると、画像中の顔領域が小さくなるため、その検出フィルタも小さくなり、その分画像フレーム全体から顔領域を抽出する処理時間が増加してしまう。つまり、カメラから遠くにいる人物を検出できるようにすればする程に処理時間がかかるようになってしまう。

また、撮影された画像や映像等から人物の身長等を測定することにより、人物の領域を特定し、人物の存在を検出する手法も考えられるが、人体領域を用いて人物の検出を行う場合、頭の先から足の先まで人体全てが画像中に見えていないと人体を検出することができない場合があり、例えば撮影するカメラの近くにいる人物に対しては、人体領域を正確に検出することができない。

本発明は、上記の問題点に鑑みてなされたものであって、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことで高速かつ高精度で人物検索するための人物検出装置、人物検出方法、及び人物検出プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明では、撮像手段により撮影された映像に含まれる人物を検出する人物検出装置において、前記映像に含まれる時系列の各画像のうち、所定の画像から所定以下の大きさを有する１又は複数の人物に対する人体領域を検出する人体検出手段と、前記所定の画像から所定以上の大きさを有する１又は複数の顔領域を検出する顔検出手段と、前記人体検出手段及び顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段と、を有することを特徴とする。これにより、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことで高速かつ高精度で人物検索することができる。

更に本発明では、撮像手段により撮影された映像に含まれる人物を検出する人物検出装置において、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する人体領域を検出する人体検出手段と、前記所定の画像から１又は複数の顔領域を検出する顔検出手段と、前記人体検出手段及び顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段と、前記人体検出手段及び前記顔検出手段により得られる検出結果のうち、任意の検出結果を選択する検出情報選択手段を設け、前記検出情報選択手段は、前記人体検出手段又は前記顔検出手段の何れかの結果が得られなかった場合には、結果が得られたもう一方の検出結果を選択することを特徴とする。これにより、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことで高速かつ高精度で人物検索することができる。

また本発明では、前記人体検出手段及び前記顔検出手段により得られる検出結果のうち、任意の検出結果を選択する検出情報選択手段を設け、前記検出情報選択手段は、前記人体検出手段又は前記顔検出手段により得られた検出結果のうち、予め設定した優先順位に基づいて最も優先度の高い検出結果を選択することを特徴とする。

また本発明では、前記検出情報選択手段は、今までに選択された検出情報の履歴から前記人体検出手段又は前記顔検出手段のうち、何れかの検出結果のみを選択することを特徴とする。

更に本発明では、撮像手段により撮影された映像に含まれる人物を検出する人物検出方法において、前記映像に含まれる時系列の各画像のうち、所定の画像から所定以下の大きさを有する１又は複数の人物に対する人体領域を検出する人体検出手順と、前記所定の画像から所定以上の大きさを有する１又は複数の顔領域を検出する顔検出手順と、前記人体検出手順及び顔検出手順により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手順と、を有することを特徴とする。これにより、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことで高速かつ高精度で人物検索することができる。

更に本発明では、撮像手段により撮影された映像に含まれる人物を検出する人物検出方法において、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する人体領域を検出する人体検出手順と、前記所定の画像から１又は複数の顔領域を検出する顔検出手順と、前記人体検出手順及び顔検出手順により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手順と、前記人体検出手順及び前記顔検出手順により得られる検出結果のうち、任意の検出結果を選択する検出情報選択手順を設け、前記検出情報選択手順は、前記人体検出手順又は前記顔検出手順の何れかの結果が得られなかった場合には、結果が得られたもう一方の検出結果を選択することを特徴とする。これにより、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことで高速かつ高精度で人物検索することができる。

更に本発明では、撮像手段により撮影された映像に含まれる人物を検出するための人物検出プログラムにおいて、コンピュータを、前記映像に含まれる時系列の各画像のうち、所定の画像から所定以下の大きさを有する１又は複数の人物に対する人体領域を検出する人体検出手段、前記所定の画像から所定以上の大きさを有する１又は複数の顔領域を検出する顔検出手段、前記人体検出手段及び前記顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段、として機能させる。これにより、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことで高速かつ高精度で人物検索することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物検出処理を容易に実現することができる。

更に本発明では、撮像手段により撮影された映像に含まれる人物を検出するための人物検出プログラムにおいて、コンピュータを、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する人体領域を検出する人体検出手段、前記所定の画像から１又は複数の顔領域を検出する顔検出手段、前記人体検出手段及び顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段、前記人体検出手段及び前記顔検出手段により得られる検出結果のうち、任意の検出結果を選択する検出情報選択手段、として機能させ、さらに、前記検出情報選択手段は、前記人体検出手段又は前記顔検出手段の何れかの結果が得られなかった場合には、結果が得られたもう一方の検出結果を選択することを特徴とする。これにより、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことで高速かつ高精度で人物検索することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物検出処理を容易に実現することができる。

本発明によれば、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことにより、高速かつ高精度で人物検出を行うことができる。

本実施形態における人物検出装置の概略構成の一例を示す図である。本実施形態における身長推定手法の一例を示す図である。人物追跡の一例を示す図である。追跡手段における実空間上での移動範囲を考慮した人物追跡の一例を示す図である。時間経過後の移動結果の一例を示す図である。上述した人体の一部が隠蔽された場合における人体領域の補正処理の一例を示す図である。本実施形態における人物検出処理が実現可能なハードウェア構成の一例を示す図である。本実施形態における人物検出処理手順の一例を示すフローチャートである。人物同定処理手順を示す一例のフローチャートである。追跡処理手順の一例を示すフローチャートである。隠蔽状態判定処理手順の一例を示すフローチャートである。

＜本発明について＞本発明は、カメラ等の撮像手段により撮影される画像や映像について、人物検出を行うにあたり、顔検出フィルタによる顔検出、人体検出フィルタによる人体検出を使い分けることにより、人物検出を高速かつ高精度に行えるようにするものである。具体的には、例えば画像中の人物がカメラの近くにいる場合は主に顔検出フィルタによる人物検出を行い、画像中の人物がカメラの遠くにいる場合は主に人体検出フィルタによる人物検出を行うよう、検出フィルタを使い分けることにより人物検出の高速化を実現する。更に、顔検出フィルタと人物検出フィルタの双方で人物が検出された場合は、人物同定に適した情報を得られた方の検出結果を用いて同定処理を行い、人物同定の高精度化を実現する。

以下に、本発明における人物検出装置、人物検出方法、及び人物検出プログラムを好適に実施した形態について、図面を用いて説明する。

＜人物検出装置の概略構成例＞図１は、本実施形態における人物検出装置の概略構成の一例を示す図である。図１に示す人物検出装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、人体検出手段１４と、顔検出手段１５と、検出情報選択手段１６と、同定手段１７と、追跡手段１８と、不審者検出手段１９と、画面生成手段２０と、通知手段２１と、送受信手段２２と、制御手段２３とを有するよう構成されている。なお、送受信手段２２には、所定の領域を撮影するカメラ等の撮像手段２４が接続されており、撮像手段２４により撮影された映像に含まれる時系列の各画像を取得することができる。また、撮像手段２４は、人物検出装置１０と一体に構成されていてもよい。

入力手段１１は、ユーザ等からの人体検出指示や、顔検出指示、検出情報選択指示や、同定指示、追跡指示、不審者検出指示、画面生成指示、通知指示、送受信指示等の各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。

出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データや人体検出手段１４、顔検出手段１５、検出情報選択手段１６、同定手段１７、追跡手段１８、不審者検出手段１９、画面生成手段２０、通知手段２１、送受信手段２２等の各構成により実行された経過又は結果により得られる各種情報の内容を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。

蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、人体検出手段１４における人体検出結果や、顔検出手段１５における顔検出結果、検出情報選択手段における選択結果、同定手段１７における同定結果、追跡手段１８における追跡結果、不審者検出手段１９における不審者検出結果、画面生成手段２０における生成した画面情報、通知手段２１により通知される内容や通知された内容、送受信手段２２により送受信された内容、制御手段２３により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。

人体検出手段１４は、カメラ等の撮像手段２４等により撮影された映像を、送受信手段２２を介して取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）から１又は複数の人体領域を検出する。具体的には、人体検出手段１４は、例えば連続する画像フレーム同士を比較して、色情報（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所で囲まれる領域が所定の領域以上のもの、又は経時的な移動範囲が所定の範囲内のものを人体領域として検出する。

また、他の人物検出手法としては、例えば、エッジ等を用いて人の形状にマッチする領域を抽出する手法や、熱画像を用いて背景とは異なる熱源を人体領域とする手法、複数のカメラを用いて形状や大きさを認識し人らしい物体を検出する手法、人の動き（歩いている様子）等に対してシルエット画像等を用いて事前に学習することで人体を検出する手法等も用いることができる。なお、人物検出手段１４における人物検出手法については、本発明においてはこれに限定されない。

なお、本発明においては、人物検出の高速化を図ろうとする場合、上述したマッチング処理を行う人体検出フィルタを、例えば所定以下の大きさの人体のみを検出するような処理を行うために用いる。つまり、画像中で所定以上の大きさを有する人体の検出を省略することにより、人物検出の高速化を図っている。例えば、カメラから５ｍ離れた位置に立っている人体の大きさを基準として、それより小さく写っている人体、すなわちカメラから５ｍ以上離れた人を検出するよう人体検出フィルタを利用する。

また、人体検出手段１４は、その人物の領域を検出する際に、身長を推定する機能を有する。この身長推定機能は、画像中に含まれる１又は複数の人物を推定し、その人物がいた場合に新規の人物であるか否かを判断し、新規人物である場合、その人体領域の足の先と、その画像に対応する消失点とから実空間上の人物の位置を算出し、画像上の見かけ上の大きさを併せて、実際の人物の身長を推定する。なお、消失点は、画像中に含まれる場合もあるが、カメラのアングル等により画像中に含まれない場合もある。この場合には、仮想的な空間上に消失点を設定し、その消失点を利用する。

つまり、人体検出手段１４は、上述した手法にて人物の位置、身長を推定し、その身長を画像中における人体領域の縦幅として用い、その後、画像の色差情報等から横幅を設定して、矩形等に補正して適切な人体領域を検出する。また、人体領域は、人物の頭から足先までを含む領域ということができるが、例えば後述する追跡手段１８により追跡している最中に人体の一部（例えば、頭や膝下等）が遮蔽物等により画像から遮蔽された場合には、いままで追跡することで、事前に得られている上述した身長情報や、つま先及び頭の位置情報等を用いて人体領域を補正することができる。これにより、隠れている頭や足の位置を人体領域に含めて表示することで、容易に把握することができる。なお、上述した人体領域の補正処理については後述する。

また、上述した人体領域の形状は、本発明においては、矩形に限定されるものではなく、例えば円形や楕円形、他の多角形、人物の外形形状から所定倍率で拡大させたシルエット形状等であってもよい。また、人体検出手段１４は、その人物の顔や頭（髪の毛や帽子等）や身体（上半身，下半身の衣類等）の色情報を検出することもできる。更に、人体検出手段１４は、検出情報選択手段１６からの指示信号により人物検出を行う又は行わない等の制御を行うことができる。

顔検出手段１５は、カメラ等の撮像手段２４等により撮影された映像を取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人物の顔を検出する。具体的には、顔検出手段１５は、例えば撮影された画像に含まれる顔における目や鼻、口等の位置情報からその顔の特徴量を取得し、予め設定された顔として検出されるための特徴量の照合パターンを用いたマッチング処理等を行うことにより人物の顔を検出する。なお、上述した照合パターンは、例えば蓄積手段１３等に蓄積されている。

また、顔検出手段１５は、上述の顔検出処理に限定されず、例えばエッジ検出や形状パターン検出による顔検出、色相抽出又は肌色抽出による顔検出等を用いることができる。なお、顔検出手段１５は、顔検出後、人体領域手段１４と同様に、画像中の顔の縦幅、横幅からなる矩形の顔領域等を検出する。なお、顔領域の形状については、人体領域の形状と同様に特に限定されるものではない。

なお、本発明においては、人物検出の高速化を図ろうとする場合、上述したマッチング処理を行う顔検出フィルタを、所定以上の大きさの顔のみを検出するような処理を行うために用いる。用いる。つまり、顔検出フィルタを所定以上の大きさとすることにより、人物検出の高速化を図っている。例えば、カメラから５ｍ離れた位置に立っている人物の顔の大きさを基準として、それより大きく写っている顔、すなわちカメラから５ｍ以内にいる人の顔を検出するよう顔検出フィルタを利用する。

また、顔検出手段１５は、顔の検出以外にも、予め登録された条件別の基準顔情報や等から検出された顔画像に対して、性別や年齢（又は、年代）を推定したり、顔の向き情報を検出したり、予め登録された目や口等の顔の特徴部位の色情報等から、検出された人物がサングラスやマスク、帽子等を着用していれば、その情報も検出することができる。更に、顔検出手段１５は、検出情報選択手段１６からの指示信号により顔検出を行う又は行わない等の制御を行う。

検出情報選択手段１６は、上述した人体検出手段１４及び顔検出手段１５により得られる人体検出結果及び顔検出結果と、各検出結果と同期する撮像手段２４により撮影された映像に基づいて、同定手段１７に用いられる検出結果を上述した人体検出結果又は顔検出結果のどちらにするかを選択する。また、検出情報選択手段１６は、人体検出手段１４又は顔検出手段１５の何れかの結果が得られなかった場合には、結果が得られたもう一方の検出結果を選択する。

例えば、人体検出手段１４により人物が検出された場合、その人物が屈んでいたり体の一部が隠れていたりすると身長を検出できない可能性がある。また、顔検出手段１５により人物が検出された場合、その人物が帽子を被っていると髪の色を検出できず、その人物がマスクやサングラスをしていると取得可能な情報は限られてしまう。このように、撮影時の状況により得られる同定処理に利用可能な情報は異なるため、何れかの検出手段で得られた情報のみを利用するのではなく、人体検出手段１４及び顔検出手段１５の双方で得られた情報の中から、同定処理に利用可能な情報を利用して同定処理を行うとよい。

また、この場合において、どの情報を利用するか予め優先順位をつけておき、検出された情報の中で最優先の情報を利用するようにしてもよい。

更に、検出情報選択手段１６は、今までに選択された検出情報の履歴から人体検出又は顔検出の何れかの検出結果のみを選択し、その選択結果に基づいて人体検出手段１４又は顔検出手段１５のうち、何れかの処理のみを継続して行わせるように制御することができる。これにより、例えば撮像手段２４が設置されている位置等が天井等であり、人物全体の画像が取得される可能性が高く、顔領域は小さくなってしまう画像しか取得できない場合には、検出情報選択手段１６は、人体検出手段１４からの検出結果のみを選択することとし、顔検出手段１５における顔検出処理を行わないように制御することもできる。これにより、効率的に必要な処理のみをさせて高速な人物検出を実現することができる。

ここで、検出情報選択手段１６は、人体検出手段１４により得られる人体領域と、顔検出手段１５により得られる顔領域とが同一人物のものとして対応付ける処理を行う。具体的には、検出情報選択手段１６は、画像中における顔領域の重心座標を取得し、取得した座標を包含する人体領域があった場合、その顔領域及び人体領域は、同一人物によるものであるとして対応付けを行う。

更に、検出情報選択手段１６は、１つの人体領域が２つ以上の顔領域を包含する場合、全ての顔領域に同じ人体領域を対応付けておく。これにより、追跡手段１８等による追跡処理等の場合にも複数の人物が画面上で一時的に重なった場合にも、途切れることなく継続して追
跡することができる。なお、人物の管理はＩＤ等の識別情報を用いて行う。なお、上述した人体領域と顔領域とを同一人物のものとして対応付ける処理については、本発明においてはこれに限定されるものではなく、例えば人物の姿勢や向き等を抽出し、抽出した情報を用いて対応付けを行ってもよい。

なお、上述した人体検出手段１４や顔検出手段１５による検出結果や、検出情報選択手段１６により選択された検出情報（履歴情報も含む）は、蓄積手段１３に蓄積される。

同定手段１７は、異なる時間に撮影された映像から抽出された２つの画像から検出される１又は複数の人物に対して、同一人物が含まれているか否かの同定処理を行う。具体的には、同定手段１７は、例えば、撮影中に含まれる人物が今まで撮影された人であるか、又は新規人物であるかを判断する方法として、例えばその前の映像に人物がいるか否かを判断し、人物がいた場合にその人物に予め設定された移動可能範囲に含まれているか否かを判断し、更には前後の顔の特徴量同士の比較による類似性の有無により同一人物が含まれているか否かを判断することができる。

また、同定手段１７は、顔検出手段１５において検出された顔のパターンと、蓄積手段１３に予め蓄積されている人物情報（氏名、性別、年齢、どの芸能人（人物）に似ている等）を含む顔のパターンとを比較して、その顔が誰の顔であるか、すなわち、人物が誰であるかを判定することができる。

なお、同定手段１７は、その画像の状況に応じた特徴量の取捨選択手法により適切なパラメータを用いて人物の同定を行ってもよい。例えば、同定手段１７は、人物の状態（立ち止まっているか、歩いているか、日照変化があったかどうか等）を判定し、その結果に基づいて各種特徴量（歩幅、歩く速度、服の色、髪の色等）を人物同定に使用することができる。更に、同定手段１７は、使用する特徴量のみについて分離度を算出し、その分離度に基づいて重み付けを行い、人物同定に対する特徴量毎の寄与率を変化させる。これにより、状況に応じた特徴量を用いて高精度な人物判定を行うことができる。

また、同定手段１７においては、人体検出手段１４における人体検出結果と、顔検出手段１５における顔検出結果とが異なる場合がある。このような場合には、同定手段１７は、検出情報選択手段１６が、途中で処理を切り替えた場合に、比較しても一致しないため、同定により同一人物であると判定することができない場合も考えられる。そこで、検出情報選択手段１６は、取得された映像に対して、例えば切り替える前後等において、人体検出手段１４における人体検出と、顔検出手段１５における顔検出を両方行い、それぞれの検出結果について上述したように同一人物であるか否かの対応付けを行っておく。これにより、同定手段１７で同定処理を行う際、検出情報が切り替わっても容易に人物同定処理を行うことができる。

追跡手段１８は、同定手段１７により同定された同一人物の挙動を撮影された映像を用いて経時的に追跡する。なお、追跡手段１８は、映像に含まれる複数の人物に対して平行して経時的に追跡することができる。

また、追跡手段１８は、映像に含まれる人物を経時的に追跡する場合、画像中から取得されるその人物の向き、姿勢、今までの行動等から、次の移動可能範囲を推測することができる。この場合、追跡手段１８は、その移行可能範囲を画像に合成するための情報を生成し、画面生成手段２０に出力する。

ここで、追跡手段１８は、画像中に含まれる人体領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。つまり、本実施形態では、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、隠蔽部分を推定して人物を追跡することができる。

不審者検出手段１９は、追跡手段１８による追跡結果を予め設定され蓄積手段１３に蓄積された経時的な不審行動パターンや挙動データ等を照合することで、撮像手段２４により撮影された１又は複数の人物のうち、不審者に該当する人物を検出する。

例えば、不審者検出手段１９は、追跡対象人物が遮蔽物に隠れたり、カメラを所定時間以上気にしてみていたり、キョロキョロしていたり、長時間滞在している等の不審行動が少なくとも１つある場合には、その人物を不審者として検出する。更に、不審者検出手段１９は、追跡対象人物がマスクをしていたり、サングラスをかけていることで、顔を隠している場合にも不審者として検出する。また、不審者検出手段１９は、検出された不審者情報を、通知手段２１に通知する。更に、不審者検出手段１９は、その検出された不審者に関する情報や不審者に該当する人物の映像を画面生成手段２０に表示させる。

画面生成手段２０は、撮像手段２４により撮影された映像を表示する画面を生成する。また、画面生成手段２０は、人体検出手段１４により検出された人体領域や、顔検出手段１５により検出された顔領域、追跡手段１８からの移動可能範囲情報等を、対応する撮影された画像に合成した画面を生成する。このとき、画面生成手段２０は、例えば撮影された人物の領域に対応する位置情報等の数値化されたデータ等を表示させることもできる。

また、画面生成手段２０は、映像に含まれる人物を追跡する際に用いられる移動可能範囲や追跡手段１８により得られる追跡ルート等の各種データを監視し易いように画面を生成して表示させることができる。更に、画面生成手段２０は、予め設定される不審者の行動パターンに該当する場合には、その旨の内容を通知するための画面を生成する。なお、画面生成に必要な各種情報は、蓄積手段１３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、画面生成手段２０は、生成された画面等を出力手段１２としてのディスプレイに表示したり、スピーカ等により音声等を出力することができる。

通知手段２１は、不審者検出手段１９により得られる不審者として検出された画像と、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像等）を画面生成手段２０により生成させて、表示させる。また、通知手段２１は、そのような不審行動検出における問題発生信号に対応させて、管理者や警備会社におけるそのビルの担当警備員、監視員、代表責任者等に通知を行うアラート機能を有する。

送受信手段２２は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の撮像手段２４からの監視映像を受信する。なお、送受信手段２２は、撮像手段２４から直接監視映像を受信しなくてもよく、例えば予め撮像手段２４で取得した映像をどこかに一時的に保存しておき、その保存された情報を用いて本実施形態における人体検出を行ってもよい。

また、送受信手段２２は、人物検出装置１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。

制御手段２３は、人物検出装置１０における各機能構成全体の制御を行う。具体的には、制御手段２３は、入力手段１１により入力されたユーザからの入力情報に基づいて人体検出を行ったり、顔検出を行ったり、検出情報を選択したり、同定処理を行ったり、追跡処理を行ったり、不審者検出処理を行ったり、画面生成を行ったり、通知制御を行ったり、送受信制御を行う等の各種制御を行う。

＜人体検出手段１４における身長推定処理例＞次に、本実施形態の人体検出手段１４における身長推定処理例について具体的に説明する。ここで、図２は、本実施形態における身長推定手法の一例を示す図である。なお、図２（ａ）は、カメラである撮像手段２４と人物３０との距離を説明する図であり、図２（ｂ）は、身長推定時の頭、足先と消失点間の画素数と距離の関係を示している。本実施形態では、図２（ｂ）に示すように、人物の足位置からカメラまでの距離を算出すると共に、頭の位置（人体領域の矩形上端）からも距離を算出している。これにより、どちらか一方の距離算出結果から、同一人物の移動と判定されれば、前回に検出された人物が移動したとしている。

なお、図２（ａ），（ｂ）に示すように、カメラ等の撮像手段２４からの距離（５ｍ、１０ｍ）と、消失点と、頭及び足の位置、撮影画像の画素数等を用いて人物の身長Ｈを推定する。また、身長推定手段１５は、図２（ｂ）に示すように、人物３０−１及び人物３０−２にそれぞれの位置と高さ、消失点との関係から身長を推定する。

具体的には、人体検出手段１４は、身長を推定する際、基準物体の実際の高さを示す基準長と、所定の位置に固定されたカメラから基準物体までの実際の距離を示す基準距離と、その基準物体の下端位置を示す基準座標と、基準物体画像中における基準長に相当する第１基準長画素数と、カメラを無限遠に遠ざけた場合に基準物体が位置する基準物体画像中の位置である消失点の位置を示す消失点座標とを保持し、カメラから被写体として人物を含む人物画像を取得し、取得した人物画像中の人物の身長に相当する人物長画素数をカウントし、更に、取得した人物画像中の人物の下端から、人物画像中の消失点までの人物消失点画素数をカウントする。

次に、上述した保持手段が保持する基準座標と消失点座標とに基づいて、基準物体画像中の基準物体の下端位置から消失点の位置までの基準消失点画素数を算出し、特定された人物消失点画素数と基準消失点画素数との比と、保持手段が保持する基準距離とに基づいて、カメラから人物までの実際の人物距離を算出し、算出された人物距離と、保持手段が保持する基準距離と、第１基準長画素数とに基づいて、人物距離に基準物体が配置された場合の基準長に相当する第２基準長画素数を算出する。

更に、その第２基準長画素数と上述した人物長画素数との比と、保持手段が保持する基準長とに基づいて、人物の実際の身長を算出する。

なお、人体検出手段１４は、例えば本出願人により出願された特開２００８−２８６６３８号公報等に示される手法等を用いることができる。また、画像中から人物の身長を算出する手法については、本発明においてはこれに限定されるものではない。

また、人体検出手段１４では、上述した手法にて身長を推定し、身長情報を同定処理時に用いると共に、人体領域の画像中の縦幅として用いられ、その後、画像の色差情報等から横幅を設定して適切な人体領域を検出する。

＜追跡手段１８における追跡手法＞図３は、人物追跡の一例を示す図である。なお、図３（ａ）は、撮影中の画像において追跡中の人物の足元がフレームアウトしている例を示し、図３（ｂ）は、図３（ａ）の人物を経時的に追跡した結果を示している。また、図３の画面４０は、画面生成手段２０により生成され、ディスプレイ等の出力手段１２に表示される画面である。

図３に示すように、画面４０には、映像表示画面４１と、追跡表示画面４２とを有している。映像表示画面４１には、カメラ等の撮像手段２４により撮影された画像に対して人体検出手段１４で検出された人体領域４３、及び顔検出手段１５により検出された顔領域４４が画面生成手段２０により合成されて表示されている。

ここで、映像表示画面４１に示すように、顔領域４４の重心座標を包含する人体領域４３があった場合、本実施形態では、顔領域４４及び人体領域４３は同一人物３０によるものであると判断して処理がなされる。

また、映像表示画面４１には、撮影された時間情報を表示する時間情報表示領域４５、検出された人物３０に関する人物関連情報（追跡対象か否か
、推定身長、位置同定しているか否か、矩形補正をしたか否か等）４６、今まで追跡した追跡ルート（移動方向も含んでもよい）４７等が画面生成手段２０により合成されて表示されている。

なお、人物関連情報４６としては、上述の内容に限定されず、例えば撮影された時間や人物が顔特徴量等を画面から抽出して測定できる場合には、その人物の指名や性別、推定年齢（年代でもよい）を表示させることができる。

本実施形態では、例えば図３の映像表示画面４１に示すように、追跡中の人体の一部が足元からフレームアウトした場合には、検出情報選択手段１６により顔検出手段１５で検出された顔領域４４が用いられ、この顔領域４４により同定手段１７で人物の同定が行われる。

また、図３に示す追跡表示画面４２では、カメラ等の撮像手段２４の画角４８に対する上述した追跡ルート４７や現在位置４９、現在から予め設定された時間経過後又は所定のフレーム数後に移動可能であると推定できる移動可能範囲５０等を取得することができる。

なお、図３（ａ）に示すように、追跡中の人物３０が足元からフレームアウトした場合には、例えば足元が隠蔽された場合には、画像上の頭部座標から実空間における人物位置を推定し、頭部座標からの追跡を行うこともできる。また、図３に示すように追跡中の人物３０がカメラに接近している場合、歩行動作に伴った頭部座標の上下運動が顕著に現れる。そのため、頭部座標から実空間における位置推定を行った場合、前フレームの位置から推定される移動可能な範囲を超え、別人となってしまう場合がある。そこで、本実施形態では、頭部座標からの位置推定処理に関して、カメラから近距離の場合は、その距離に応じて（近ければ近い程）移動可能な範囲を広めに設定することで、正しく追跡を行うことができる。

また、図４は、追跡手段における実空間上での移動範囲を考慮した人物追跡の一例を示す図である。更に、図５は、時間経過後の移動結果の一例を示す図である。なお、図４及び図５に示す図面は、上述する画面生成手段２０によって生成され、ディスプレイ等の出力手段１２に表示される画面である。

また、図４及び図５に示す画面４０には、上述した図３に示す映像表示画面４１、追跡表示画面４２の他に人物位置情報５１が表示されている。ここで、人物位置情報５１としては、例えば、カメラ等の撮像手段２４からの距離と角度、視界全体の画素数を基準にして人物３０の位置を左右の距離（ｈ１，ｈ２）を計測し、その計測結果から得られる人物座標（ｘ，ｙ，ｚ）を取得する。なお、人物位置情報５１として、上述した時間情報表示領域４５や人物関連情報４６等を表示してもよい。

なお、図４及び図５に示すように、映像中の人物３０は、その顔領域が小さく、またカメラに対して顔が正面を向いていないため、正確な顔の特徴量を検出することができない。このような場合には、上述した人体検出手段１４により検出された情報を用いて人物を同定する。

また、図４及び図５に示す、追跡表示画面４２は、撮像手段２４の画角４８（＝視界）と、人物位置４９、カメラ画像中央からの角度５２（２０°（中心から左がマイナス表示））が表示され、カメラからの距離（５ｍ，１０ｍ等）と、人物位置情報５１として画像から計測された位置情報（７．２ｍ）が表示されている。

図５に示す時間経過後の移動結果では、過去人物認定領域５３と、過去と現在の各フレーム（人体領域４３，過去人物認定領域５３）の位置と、それまでの時間情報を用いて、次に人物４３が移動すると推測される移動可能範囲５０を設定して、その領域を円形等により表示する。なお、人体領域４３、過去人物認定領域５３のフレームは、画面上に含まれる人物毎に色分けをして複数の人物が区別できるようにして表示させることもできる。

また、移動可能範囲５０の形状は、本発明においてはこれに限定されず、扇形や楕円形、矩形等でもよい。更に、移動可能範囲５０は、人体検出手段１４等により人物４３の向きを計測し、その向きにより得られる方向を基準に設定してもよい。これにより、次の予想範囲を容易に推測することができる。また、移動可能範囲５０は、追跡表示画面４２にも表示される。

このように、映像中に写し出される人物の大きさ、向き、移動可能範囲等に応じて、顔検出と人体検出とを切り替えて高精度に同定処理や追跡処理を行うことができる。

＜人体領域の補正処理＞また、図６、上述した人体の一部が隠蔽された場合における人体領域の補正処理の一例を示す図である。例えば、図６（ａ）に示すように、人物３０に対して人体領域４３や顔領域４４が検出されたのであれば、人物関連情報４６を含めて表示し、追跡していくことができる。その後、追跡手段１８による追跡途中で図６（ｂ）又は図６（ｃ）に示すように、人物の身体の一部（図６の例では、膝下）が遮蔽物（例えばダンボール等）６１により隠蔽された場合には、人体領域４３は通常膝までの位置となってしまう。そこで、本発明では、上述した場合に人体領域４３を補正する。つまり、追跡手段１８は、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、隠蔽部分を推定することができる。

具体的には、追跡手段１８において、画像中に含まれる人体領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人体の一部が、建物等の遮蔽物で隠蔽されたか否かを判断する。なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。

また、追跡手段１８は、人体領域の足の先と消失点の距離から、監視カメラと人物の距離を測定し、実空間上の人物位置を算出して、移動可能範囲を計算し、追跡に用いる。また、追跡手段１８は、例えば足が隠蔽された場合は、頭の位置と、事前に算出した身長から人物の実空間上の位置を算出し、追跡を継続する。これにより、遮蔽物等により隠蔽された人体の一部を補正して正確な人体領域の検出を行うことができる。また、人物の足元が隠蔽されていることを容易に把握することができる。

＜画面生成手段２０＞次に、上述した画面生成手段２０における画面生成例について図を用いて説明する。画面生成手段２０は、上述した図２〜図６に示すような、本実施形態における人体検出における各種画面を生成する。また、画面生成手段２０により生成された画面は、ディスプレイ等の表示画面等により表示させることができる。

なお、上述した図４及び図５に示す人物位置情報５１としては、例えば上述した「距離」、「角度」、「移動速度」、「人物座標」を表示することができるが、本発明においては特に限定されるものではなく、例えば撮影された時間や、映像に含まれる人物の顔特徴量等を抽出し、抽出された特徴量推定されるその人物の性別や推定年齢（年代でもよい）等を表示させることもできる。

＜ハードウェア構成例＞ここで、上述した人物検出装置１０は、上述した機能を有する専用の装置構成により制御を行うこともできるが、各機能をコンピュータに実行させることができる実行プログラム（人物検出プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における人物検出処理を実現することができる。

本実施形態における人物検出処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図７は、本実施形態における人物検出処理が実現可能なハードウェア構成の一例を示す図である。

図７におけるコンピュータ本体には、入力装置７１と、出力装置７２と、ドライブ装置７３と、補助記憶装置７４と、メモリ装置７５と、各種制御を行うＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）７６と、ネットワーク接続装置７７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置７１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。

出力装置７２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ７６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

なお、入力装置７１と出力装置７２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者等の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。

ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体７８等により提供される。プログラムを記録した記録媒体７８は、ドライブ装置７３にセット可能であり、記録媒体７８に含まれる実行プログラムが、記録媒体７８からドライブ装置７３を介して補助記憶装置７４にインストールされる。

補助記憶装置７４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

メモリ装置７５は、ＣＰＵ７６により補助記憶装置７４から読み出された実行プログラム等を格納する。なお、メモリ装置７５は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等からなる。

ＣＰＵ７６は、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）等の制御プログラム、及びメモリ装置７５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置７４から取得することができ、また実行結果等を格納することもできる。

ネットワーク接続装置７７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果、又は本発明における実行プログラム自体を他の端末等に提供することができる。上述したようなハードウェア構成により、本発明における人物検出処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物検出処理を容易に実現することができる。次に、人物検出処理の具体的な内容について説明する。

＜人物検出処理＞次に、本発明における実行プログラム（人物検出プログラム）で実行される人物検出処理手順についてフローチャートを用いて説明する。図８は、本実施形態における人物検出処理手順の一例を示すフローチャートである。

図８において、まずカメラ等の撮像手段により撮影された映像を入力する（Ｓ０１）。次に、その映像に含まれる１又は複数の人物に対する人体領域及び顔領域を検出する（Ｓ０２，Ｓ０３）。ここで、映像に含まれる人物に対する人体領域及び顔領域の内容からどちらの検出情報を用いるかを選択検索し（Ｓ０４）、選択された情報に基づいて同定処理を行う（Ｓ０５）。

また、経時的に上述の処理を行い人物の追跡を行う（Ｓ０６）。ここで、Ｓ０６の処理における人物の追跡結果による人物の行動パターンから、予め蓄積された不審行動パターンとの照合を行い、不審者に該当する人物が存在すれば、その人物を検出する（Ｓ０７）。また、画面を生成し（Ｓ０８）、その生成した画面を出力する（Ｓ０９）。

更に、ここで、追跡を終了するか否かを判断し（Ｓ１０）、追跡を終了しない場合（Ｓ１０において、ＮＯ）、Ｓ０１に戻り、撮影映像を継続して入力して以降の処理を行う。また、追跡を終了する場合（Ｓ１０において、ＹＥＳ）、全体の処理を終了する。

＜身長推定における人物同定処理手順＞次に、上述した身長推定を用いた人物同定処理手順についてフローチャートを用いて説明する。図９は、人物同定処理手順を示す一例のフローチャートである。なお、図９では、その人物の位置検出による追跡の概要を示している。図９示す人物同定処理では、まず、映像中に含まれる１又は複数の人物（図９では、人物Ｘ１，・・・，Ｘｎ）を検出したか否かを判断し（Ｓ１１）、検出していない場合（Ｓ１２において、ＮＯ）状態遷移図にしたがって状態を更新する（Ｓ１２）。具体的には、Ｓ１２の処理において、例えば「初期状態→初期状態」、「照合状態→初期状態」、「追跡状態→消失状態」、「消失状態→消失状態ｏｒ退去状態ｏｒ初期状態」、「退去状態→初期状態」等の何れの設定を行う。ここで、「初期状態」とは、追跡情報を格納する領域が、空き領域であることを示している。例えば、追跡可能な人数が３人であった場合、追跡ＩＤ１，ＩＤ２，ＩＤ３という領域が確保され、それぞれが追跡状態や人物情報を保持する。

また、「照合状態」とは、過去に検出された人物と同一人物か否か、確認中である状態を示している。なお、「照合状態」では、新規の人物若しくは追跡中の人物と同一人物であると判定されると、「追跡状態」に移行する。また、「照合状態」では、安定して検出されない領域、人っぽい動きをしない領域（誤検出と思われる領域）と判定された場合は、「初期状態」に戻る。

また、「追跡状態」とは、人物を追跡している状態を示している。なお「追跡状態」は、追跡している人物が検出できなくなると、「消失状態」に移行する。また、「消失状態」とは、追跡中の人物が検出できなくなった状態を示している。なお、「消失状態」は、一定時間続いたら、「退去状態」に移行する。また、「消失状態」は、一定時間内に追跡中の人物が再度検出されたら、「追跡状態」に戻る。また、「退去状態」とは、追跡中の人物が、いなくなったと判定された状態を示している。但し、人物が戻ってきた場合（フレームアウトした人物が、再度、フレームインしてきた場合等）には、同定し、追跡を継続できるように追跡情報を一定時間保持しておく。また、「退去状態」とは、一定時間経過すると、情報を破棄し、「初期状態」に戻る。

また、Ｓ１１の処理において、１又は複数の人物を検出した場合（Ｓ１１において、ＹＥＳ）、初期状態でない人物Ａが既に存在するか否かを判断する（Ｓ１３）。ここで、初期状態でない人物が存在しない場合（Ｓ１３において、ＮＯ）、新規人物として登録状態を「初期状態→照合状態」に更新する（Ｓ１４）。また、初期状態でない人物が存在する場合（Ｓ１３において、ＹＥＳ）、次に人物Ａの移動範囲内であるか否かを判断する（Ｓ１５）。ここで、移動範囲内でない場合（Ｓ１５において、ＮＯ）、上述したＳ１４に示すように登録状態の更新を行う。

また、Ｓ１５の処理において、人物Ａの移動範囲内である場合（Ｓ１５において、ＹＥＳ）、次に、移動範囲内に複数人いるか否かを判断する（Ｓ１６）。ここで、複数人いる場合（Ｓ１６において、ＹＥＳ）、人物Ａに対して人物Ｘ１，・・・，Ｘｎで人物同定処理を行う（Ｓ１７）。このとき、Ｓ１７の人物同定処理は、映像から選択された静止画を用いて行う。また、Ｓ１７の処理において同定された人物がいるか否かを判断し（Ｓ１８）、同定された人物がいない場合（Ｓ１８において、ＮＯ）、上述したＳ１４に示すように登録状態の更新を行う。

また、Ｓ１６の処理において、移動範囲内に複数人いない場合（Ｓ１６において、ＮＯ）、又はＳ１８の処理において、同定された人物がいる場合（Ｓ１８において、ＹＥＳ）、人物Ａと人物Ｘｉを同一人物として状態を更新する（Ｓ１９）。これにより、映像に含まれる分物が同一人物であるか否かを正確に判定することができる。

＜追跡処理手順＞次に、上述した追跡手段１８等における追跡処理手順の具体例についてフローチャートを用いて説明する。図１０は、追跡処理手順の一例を示すフローチャートである。図１０に示すように、追跡処理手順では、まず現在の画像フレームに検出された人物Ａの足から位置を推定する（Ｓ２１）。次に、人物Ｂの移動範囲内に人物Ａが存在するか否かを判断する（Ｓ２２）。ここで、人物Ｂの移動範囲内に人物Ａが存在しない場合（Ｓ２２において、ＮＯ）、以下、前回検知された人物Ｂと同一人物と仮定する（Ｓ２３）。次に、その人物Ｂの身長Ｈｂを利用し、頭から人物Ａの位置を推定し（Ｓ２４）、人物Ｂの移動範囲内に人物Ａが存在するか否かを判断する（Ｓ２５）。ここで、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２５において、ＹＥＳ）、又は、Ｓ２２の処理において、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２２において、ＹＥＳ）、同一人物と判定する（仮定成立）（Ｓ２６）。また、Ｓ２５の処理において、人物Ｂの移動範囲内に人物Ａが存在する場合（Ｓ２５において、ＮＯ）、異なる人物と判定する（仮定不成立）（Ｓ２７）。つまり、上述の処理では、Ｓ２２の処理において、人物Ａが人物Ｂの移動範囲内に存在すれば、同一人物と即断定し、そうでなければ、同一人物であると仮説を立てて、それが成立するか否かの判定を行う。

＜隠蔽状態判定処理手順＞次に、上述した追跡手段１８等における隠蔽状態判定処理手順の具体例についてフローチャートを用いて説明する。図１１は、隠蔽状態判定処理手順の一例を示すフローチャートである。図１１に示すように、隠蔽状態判定処理手順では、まず人物Ａの足から推定された位置ＰＡｆ、頭から推定された位置ＰＡｈを取得する（Ｓ３１）。次に、ＰＡｆとＰＡｈの位置が一定範囲内であるか否かを判断する（Ｓ３２）。ここで、ＰＡｆとＰＡｈの位置が一定範囲内でない場合（Ｓ３２において、ＮＯ）、以下、前回検知された人物Ｂと同一人物と仮定する（Ｓ３３）。

次に、人物Ａの身長Ｈａを利用し、人物Ｂの位置ＰＢａｈを頭から推定する（Ｓ３４）。その後、またＰＡｆとＰＢａｈの位置が一定範囲内であるか否かを判断する（Ｓ３５）。ここで、ＰＡｆとＰＢａｈの位置が一定範囲内である場合（Ｓ３５において、ＹＥＳ）、人物領域Ａが足、人物領域Ｂが頭となる（つまり、胴体が隠蔽されている）と判断する（Ｓ３６）。また、Ｓ３５の処理において、ＰＡｆとＰＢａｈの位置が一定範囲内でない場合（Ｓ３５において、ＮＯ）、人物領域Ａの足が隠蔽していると判断する（Ｓ３７）。また、Ｓ３２の処理において、ＰＡｆとＰＡｈの位置が一定範囲内である場合（Ｓ３２において、ＹＥＳ）、人物Ａは隠蔽領域なしと判断する（Ｓ３８）。

つまり、上述の処理では、足から推定される位置ＰＡｆと頭から推定される位置ＰＡｈが同じような位置を示す場合、それは同一人物の足と頭であることが確定する。したがって、頭から足まできれいに領域抽出されていると判定する。また、位置が異なる場合は、何らかの影響で足か頭の領域が欠損している可能性があると判定する。

上述した実施形態によれば、体の一部分が撮影された画像から欠けていたり、遮蔽物により一部が遮蔽されていても、顔検出結果等から同一の人物と認識して、人物の追跡等を行うことができ、更に遮蔽物等により隠蔽された人体の一部を補正して正確な人体領域の検出を行うことができる。

上述したように、本発明によれば、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行うことで高速かつ高精度で人物検索することができる。具体的には、カメラ等の撮像手段により撮影される画像や映像について、人体検出を行う際に、カメラから遠く映像における領域が小さい場合には、人体検出用のフィルタを用いて検出を行い、カメラから近く映像における領域が大きい場合には、顔検出用のフィルタを用いて検出を行うことにより人物検出処理の精度を保ったまま高速化を実現することができる。つまり、人体領域による追跡と、顔領域による追跡を予め設定された条件を用いて使い分けることにより、高精度に人物を追跡することができる。

更に、撮影された映像から顔検出を用いて人物を追跡する際、顔さえ検出できれば、体が重なっていてもよいため、重なりに強く、また人物がカメラに近くても検出が可能であるが、カメラから遠いと検出精度が低下し、人物追跡が途切れてしまう。一方、撮影された映像から人体領域検出を用いて人物を追跡する際、人物がカメラから遠くても検出が可能であるが、カメラに近付いてくると人物の重なりが起きやすく、人物追跡が途切れてしまう。したがって、人物がカメラから近い場合には顔検出を行い、遠い場合には人体領域を用いて人物を検出することで、途切れのない人物追跡を行うことができる。

また、本発明によれば、監視画像内の移動物体を精度よく追跡でき、移動物体か否かの判定性能の向上が図れ、しかも、効率のよい画像監視が可能となる監視画像の移動物体追跡方法を提供するができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０人物検出装置１１入力手段１２出力手段１３蓄積手段１４人体検出手段１５顔検出手段１６検出情報選択手段１７同定手段１８追跡手段１９不審者検出手段２０画面生成手段２１通知手段２２送受信手段２３制御手段２４撮像手段３０人物４０画面４１映像表示画面４２追跡表示画面４３人体領域４４顔領域４５時間情報表示領域４６人物関連情報４７追跡ルート４８画角４９現在位置５０移動可能範囲５１人物位置情報５２角度５３過去人物認定領域６１遮蔽物７１入力装置７２出力装置７３ドライブ装置７４補助記憶装置７５メモリ装置７６ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）７７ネットワーク接続装置７８記録媒体

Claims

撮像手段により撮影された映像に含まれる人物を検出する人物検出装置において、前記映像に含まれる時系列の各画像のうち、所定の画像から所定以下の大きさを有する１又は複数の人物に対する人体領域を検出する人体検出手段と、前記所定の画像から所定以上の大きさを有する１又は複数の顔領域を検出する顔検出手段と、前記人体検出手段及び顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段と、を有することを特徴とする人物検出装置。
撮像手段により撮影された映像に含まれる人物を検出する人物検出装置において、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する人体領域を検出する人体検出手段と、前記所定の画像から１又は複数の顔領域を検出する顔検出手段と、前記人体検出手段及び顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段と、前記人体検出手段及び前記顔検出手段により得られる検出結果のうち、任意の検出結果を選択する検出情報選択手段を設け、前記検出情報選択手段は、前記人体検出手段又は前記顔検出手段の何れかの結果が得られなかった場合には、結果が得られたもう一方の検出結果を選択することを特徴とする人物検出装置。
前記人体検出手段及び前記顔検出手段により得られる検出結果のうち、任意の検出結果を選択する検出情報選択手段を設け、前記検出情報選択手段は、前記人体検出手段又は前記顔検出手段により得られ
た検出結果のうち、予め設定した優先順位に基づいて最も優先度の高い検出結果を選択することを特徴とする請求項２に記載の人物検出装置。
前記検出情報選択手段は、今までに選択された検出情報の履歴から前記人体検出手段又は前記顔検出手段のうち、何れかの検出結果のみを選択することを特徴とする請求項２又は３に記載の人物検出装置。
撮像手段により撮影された映像に含まれる人物を検出する人物検出方法において、前記映像に含まれる時系列の各画像のうち、所定の画像から所定以下の大きさを有する１又は複数の人物に対する人体領域を検出する人体検出手順と、前記所定の画像から所定以上の大きさを有する１又は複数の顔領域を検出する顔検出手順と、前記人体検出手順及び顔検出手順により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手順と、を有することを特徴とする人物検出方法。
撮像手段により撮影された映像に含まれる人物を検出する人物検出方法において、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する人体領域を検出する人体検出手順と、前記所定の画像から１又は複数の顔領域を検出する顔検出手順と、前記人体検出手順及び顔検出手順により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手順と、前記人体検出手順及び前記顔検出手順により得られる検出結果のうち、任意の検出結果を選択する検出情報選択手順を設け、前記検出情報選択手順は、前記人体検出手順又は前記顔検出手順の何れかの結果が得られなかった場合には、結果が得られたもう一方の検出結果を選択することを特徴とする人物検出方法。
撮像手段により撮影された映像に含まれる人物を検出するための人物検出プログラムにおいて、コンピュータを、前記映像に含まれる時系列の各画像のうち、所定の画像から所定以下の大きさを有する１又は複数の人物に対する人体領域を検出する人体検出手段、前記所定の画像から所定以上の大きさを有する１又は複数の顔領域を検出する顔検出手段、前記人体検出手段及び前記顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段、として機能させるための人物検出プログラム。
撮像手段により撮影された映像に含まれる人物を検出するための人物検出プログラムにおいて、コンピュータを、前記映像に含まれる時系列の各画像のうち、所定の画像から１又は複数の人物に対する人体領域を検出する人体検出手段、前記所定の画像から１又は複数の顔領域を検出する顔検出手段、前記人体検出手段及び顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段、前記人体検出手段及び前記顔検出手段により得られる検出結果のうち、任意の検出結果を選択する検出情報選択手段、として機能させ、さらに、前記検出情報選択手段は、前記人体検出手段又は前記顔検出手段の何れかの結果が得られなかった場合には、結果が得られたもう一方の検出結果を選択することを特徴とする人物検出プログラム。