JP2008288684A - 人物検出装置及びプログラム - Google Patents

Abstract

【課題】簡易な処理で精度よく人物を検出することができるようにする。
【解決手段】撮像画像から、人物が歩行しているときに現れる脚部の特徴として、ハの字形状をした開脚した状態の両脚を検出する。学習により、開脚した状態の両脚を表わすハの字形状のパターン画像を予め生成しておき、このパターン画像との類似度を、撮像画像内を走査しながら算出し、類似度がしきい値以上であって、かつ、最も類似度が高い領域を、開脚した状態の両脚を表わす領域として検出する。そして、両脚を表わす領域に基づいて、両脚を含む全身を表わす領域を特定し、人物を検出する。
【選択図】図２

Description

本発明は、人物検出装置及びプログラムに係り、特に、撮像した画像から、人物を検出する人物検出装置及びプログラムに関する。

従来より、連続時間画像を利用して、オプティカルフローを計算し、画素の移動量の集合から人の存在を判定する人物検出システムが知られている（特許文献１）。

また、複数のカメラから画像特徴を３次元的に求めて検出する人物検出装置が知られている（特許文献２）。この人物検出装置では、人物を３次元の円筒領域でモデル化している。

また、画像の水平と垂直の濃度投影ヒストグラムを利用して歩行者候補領域を決定し、決定された歩行者候補領域に対して動的輪郭モデルの画像処理によって歩行者を検出する歩行者輪郭抽出方法が知られている（特許文献３）。

また、画像の微分値から得られる人物モデルと、検出対象との画像各点の積が極大となるところを人物として検出する人物検出方法が知られている（特許文献４）。この人物検出方法では、隠れなどに対応するため、比較的形状変化の少ない頭部や上半身のテンプレートを利用して、パターン認識を行っている。
特開２００３−１０９００１ 特開２００６−２８５５６９ 特開２００５−２６７０３０ 特開２００１−１７５８６８

しかしながら、上記特許文献１に記載の技術では、手の振りと足の振りが逆になるように人の動きは一様ではないため、動き情報に基づいて人物領域を判定することは困難である、という問題がある。

また、上記特許文献２に記載の技術では、複数のカメラが必要になるためコストがかかってしまう、という問題がある。また、３次元の画像処理を行うため処理量が大きくなってしまう、という問題がある。

また、上記特許文献３に記載の技術では、ヒストグラムが、画像の明るさや、色、服装、姿勢などの要素によって大きく変化してしまうため、あらゆる画像から歩行者を検出することができない、という問題がある。

また、上記特許文献４に記載の技術では、テンプレートをどのように作成するかによって検出性能が変化し、頭部や上半身を表わすテンプレートでは、誤って検出してしまう場合がある、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、簡易な処理で精度よく人物を検出することができる人物出装置及びプログラムを提供することを目的とする。

上記の目的を達成するために第１の発明に係る人物検出装置は、検出対象領域を撮像する撮像手段と、人物が歩行しているときに現れる脚部の特徴に基づいて、前記撮像手段によって撮像された前記検出対象領域の画像から、人物の脚部を検出する脚検出手段とを含んで構成されている。

また、第２の発明に係るプログラムは、コンピュータを、人物が歩行しているときに現れる脚部の特徴に基づいて、検出対象領域を撮像する撮像手段によって撮像された前記検出対象領域の画像から、人物の脚部を検出する脚検出手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、撮像手段によって、検出対象領域を撮像し、脚検出手段によって、人物が歩行しているときに現れる脚部の特徴に基づいて、撮像手段によって撮像された検出対象領域の画像から、人物の脚部を検出する。

このように、人物が歩行しているときに現れる脚部の特徴に基づいて、人物の脚部を検出することにより、簡易な処理で精度よく人物を検出することができる。

第１の発明に係る脚部の特徴は、開脚した状態の脚部を表わす予め定められた形状であって、脚検出手段は、画像から人物の開脚した状態の両脚を検出することができる。これにより、開脚した状態の脚部を表わす予め定められた形状に基づいて、精度よく人物の開脚した状態の脚部を検出することができる。

第１の発明に係る人物検出装置は、脚検出手段によって脚部が検出されたときに、検出された脚部の位置及び大きさに基づいて、検出対象領域の画像から脚部を含む身体を検出する身体検出手段を更に含むことができる。これによって、脚部の位置及び大きさに基づいて、脚部を含む身体を容易に検出することができる。

第１の発明に係る人物検出装置は、検出対象領域の画像から、脚部以外の身体の所定部位を検出する所定部位検出手段と、脚検出手段によって検出された脚部の位置及び所定部位検出手段によって検出された所定部位の位置の位置関係と、脚部の位置及び所定部位の位置の予め定められた位置関係とを比較して、検出対象領域の画像内に、人物が存在するか否かを判定する判定手段とを更に含むことができる。これによって、検出された脚部の位置及び検出された所定部位の位置の位置関係を用いて、検出対象領域の画像内に、人物が存在するか否かを精度よく判定することができる。

第１の発明に係る撮像手段は、検出対象領域の画像を連続して撮像し、脚検出手段は、人物が歩行しているときに現れる開脚した状態の脚部を表わす予め定められた形状及び閉脚した状態の脚部を表わす予め定められた形状に基づいて、検出対象領域の連続した画像から、人物の開脚した状態の脚部と人物の閉脚した状態の脚部とを交互に検出することができる。これによって、人物の脚部を連続して検出することができる。

第１の発明に係る撮像手段は、検出対象領域の画像を連続して撮像し、脚検出手段は、検出対象領域の連続した画像の前回検出された脚部の位置に応じて定められる所定範囲から、脚部を検出することができる。これによって、容易に人物の脚部を連続して検出することができる。

第３の発明に係る人物検出装置は、検出対象領域を撮像する撮像手段と、人物が歩行しているときに現れる脚部を含む身体の特徴に基づいて、前記撮像手段によって撮像された前記検出対象領域の画像から、人物の身体を検出する身体検出手段とを含んで構成されている。

第４の発明に係るプログラムは、コンピュータを、人物が歩行しているときに現れる脚部を含む身体の特徴に基づいて、検出対象領域を撮像する撮像手段によって撮像された前記検出対象領域の画像から、人物の身体を検出する身体検出手段として機能させるためのプログラムである。

第３の発明及び第４の発明によれば、撮像手段によって、検出対象領域を撮像し、身体検出手段によって、人物が歩行しているときに現れる脚部を含む身体の特徴に基づいて、撮像手段によって撮像された検出対象領域の画像から、人物の身体を検出する。

このように、人物が歩行しているときに現れる脚部を含む身体の特徴に基づいて、人物の身体を検出することにより、簡易な処理で精度よく人物を検出することができる。

第３の発明に係る身体の特徴は、開脚した状態の脚部を含む身体を表わす予め定められた形状であって、身体検出手段は、画像から人物の開脚した状態の脚部を含む身体を検出することができる。これによって、開脚した状態の脚部を含む身体を表わす予め定められた形状に基づいて、精度よく人物の開脚した状態の脚部を含む身体を検出することができる。

第３の発明に係る撮像手段は、検出対象領域の画像を連続して撮像し、身体検出手段は、人物が歩行しているときに現れる開脚した状態の両脚を含む身体を表わす予め定められた形状及び閉脚した状態の両脚を含む身体を表わす予め定められた形状に基づいて、検出対象領域の連続した画像から、人物の開脚した状態の両脚を含む身体と人物の閉脚した状態の両脚を含む身体とを交互に検出することができる。これによって、人物の身体を連続して検出することができる。

第３の発明に係る撮像手段は、検出対象領域の画像を連続して撮像し、身体検出手段は、検出対象領域の連続した画像の前回検出された身体の位置に応じて定められる所定範囲から、身体を検出することができる。これによって、容易に人物の身体を連続して検出することができる。

以上説明したように、本発明の人物検出装置及びプログラムによれば、人物が歩行しているときに現れる脚部の特徴又は脚部を含む身体の特徴に基づいて、人物の脚部又は脚部を含む身体を検出することにより、簡易な処理で精度よく人物を検出することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、連続的に撮像された画像から、人物を検出して追跡する人物検出装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る人物検出装置１０は、検出対象領域の画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、画像撮像部１２によって撮像された画像に対して種々の画像処理を行うコンピュータ１６と、ＣＲＴ等で構成された表示装置１８とを備えている。

コンピュータ１６は、ＣＰＵ、後述する画像処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１６は、画像撮像部１２から出力される濃淡画像である撮像画像を入力する画像入力部２０と、画像入力部２０の出力である撮像画像から、開脚した状態の両脚を表わす部分を検出する開脚部検出部２２と、両脚の位置に基づいて人物が存在する領域を特定する人物存在領域特定部２４と、脚の向きを判定する脚向き判定部２６と、次の検出タイミングにおける両脚探索範囲を特定する探索範囲特定部２８とを備えている。

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

開脚部検出部２２は、撮像画像から、人物が歩行しているときに現れる脚部の特徴として、図２に示すような二等辺三角形の形状をした開脚した状態の両脚を検出する。連続した画像中で人が横向きに歩いている場合、あるタイミングで、両脚が二等辺三角形に開脚した状態が必ず現れる。この際、両脚は「ハの字」になる。一般に、人物が存在する屋外、屋内の画像中に、このようなハの字形状の物体が現れることが少ない。そこで、本実施の形態では、画像中で特徴的なパターンである、ハの字形状を抽出することで、開脚した状態の両脚を検出する。

また、開脚部検出部２２では、学習によるパターン認識の手法によって、開脚した状態の両脚を検出する。学習により、開脚した状態の両脚を表わすハの字形状のパターン画像を予め生成しておき、このパターン画像との類似度を、撮像画像内を走査しながら算出し、類似度がしきい値以上であって、かつ、最も類似度が高い領域を、開脚した状態の両脚を表わす領域として検出し、検出された両脚を表わす領域の位置及び大きさをメモリに記憶する。なお、類似度の算出では、パターン画像を拡大、縮小した複数のパターン画像の各々との類似度も算出し、両脚の大きさの違いに対応して、開脚した状態の両脚を表わす領域を検出すればよい。

人物存在領域特定部２４は、撮像画像から開脚した状態の両脚が検出された場合に、人物の全身を表わす領域を特定する。人物の身長は、開脚部の形状から統計的に推測することが可能であるため、両脚の検出位置及び両脚の形状に基づいて、人物の全身を表わす領域を特定する。予め様々な人物の画像を用意して、その画像中で人物のサイズを調べ、足の開き具合に対する身長を統計的に調べておき、開脚した両脚を表わす領域の大きさから人物の全身のサイズを決定し、人物の全身サイズに基づいて、人物の全身が存在する領域の大きさを決定する。例えば、開脚幅（検出された領域の幅）が２０ピクセル、開脚が６０度の場合、統計的に、身長が６０ピクセル（±１０ピクセル）であると決定し、人物の全身が存在する領域の大きさとして、２０ピクセル×６０ピクセルの領域であると決定する。そして、開脚した状態の両脚を表わす領域が検出された位置に基づいて、撮像画像中の人物の全身を表わす領域を特定する。

脚向き判定部２６は、検出された両脚を表わす部分から、つま先の形状を検出し、つま先の形状に基づいて、脚（つま先）が左右どちらの方向を向いているか判定して、人物の歩行方向が左右どちらの方向であるかを判定する。検出された開脚した状態の両脚から、つま先の位置を特定することが可能なため、つま先の形状を検出し、図３（Ａ）に示すように、つま先が右方向を向いている場合には、右方向に人物が歩行していると判定する。一方、図３（Ｂ）に示すように、つま先が左方向を向いている場合には、左方向に人物が歩行していると判定する。

探索範囲特定部２８は、検出された両脚を表わす領域の位置に基づいて、次のタイミングで人物の開脚した状態の両脚を検出する際の両脚の探索範囲を特定して、開脚した状態の両脚を連続して検出することを可能にする。探索範囲を特定する場合には、検出された両脚を表わす領域の位置と判定された人物の歩行方向とに基づいて、検出された両脚を表わす領域の位置を基準として、基準位置から判定された歩行方向に所定距離離れた位置を含む所定範囲を、探索範囲として特定する。例えば、図４に示すように、開脚の検出タイミングｔから次の検出タイミングｔ＋１までの間に、人物が歩行する距離を統計的又は実験的に求めておき、基準位置から、求めた距離だけ離れた位置を含む所定範囲を、探索範囲として特定すればよい。

次に、本実施の形態に係る人物検出装置１０の動作について説明する。まず、画像撮像部１２で検出対象領域の画像を連続的に撮像する。そして、コンピュータ１６において、図５に示す画像処理ルーチンを実行する。

まず、ステップ１００において、画像撮像部１２で撮像された撮像画像を、ビデオ信号として取り込み、ステップ１０２で、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成する。本実施例においては、以降の処理は、このディジタル画像に基づいて、ディジタル処理により行われるので、以後、単に画像という場合にはディジタル画像を意味することとする。

そして、ステップ１０４において、メモリに検出された両脚を表わす領域の位置及び大きさが記憶されているか否かを判定し、メモリに両脚を表わす領域の位置及び大きさが記憶されていない場合には、撮像画像から１度も両脚を表わす領域が検出されていないと判断し、ステップ１０６において、予め学習したハの字形状を表わすパターン画像と撮像画像の部分領域との類似度を、撮像画像内を走査しながら算出する。なお、算出される類似度には、正規化相関の数値を用いればよい。

そして、ステップ１０８で、上記ステップ１０６で算出された最も高い類似度が、予め定められたしきい値以上であるか否かを判定し、最も高い類似度がしきい値未満であると、撮像画像から開脚した状態の両脚が検出されなかったと判断し、画像処理ルーチンを終了する。なお、上記のしきい値については、統計的又は実験的に、開脚した状態の両脚を表わす複数の画像に対して類似度を予め求めておき、求められた類似度に基づいて、しきい値を設定しておけばよい。

上記ステップ１０８で、最も高い類似度がしきい値以上であると、撮像画像から開脚した状態の両脚が検出されると判断し、ステップ１１０において、最も高い類似度が算出された領域を、両脚を表わす領域として検出し、そして、ステップ１１２で、上記ステップ１１０で検出された領域の位置及び大きさをメモリに記憶する。

次のステップ１１４では、上記ステップ１１０で検出された領域の位置及び大きさに基づいて、人物の全身を表わす領域を特定し、ステップ１１６において、上記ステップ１１４で特定された全身を表わす領域の画像を表示装置１８に表示させる。

そして、ステップ１１８において、上記ステップ１１０で検出された両脚を表わす領域の画像から、つま先を表わす部分を検出し、ステップ１２０で、検出されたつま先を表わす部分に基づいて、つま先が向いている方向を、人物が歩行している方向として判定し、ステップ１２２において、上記ステップ１２０で判定された方向をメモリに記憶する。

そして、ステップ１２４で、追跡処理を終了するか否かを判定し、終了しない場合には、上記ステップ１００へ戻り、新たに撮像された撮像画像に基づいて、上記ステップ１００〜１２２の処理を実行するが、追跡処理を終了すると判断すると、画像処理ルーチンを終了する。

また、上記ステップ１０４において、検出された領域の位置及び大きさがメモリに記憶されている場合には、ステップ１２６へ移行し、メモリに記憶された前回検出された開脚した状態の両脚を表わす領域の位置と、メモリに記憶されたつま先方向とに基づいて、両脚の探索範囲を特定し、ステップ１０６において、撮像画像の探索範囲内において、パターン画像との類似度を走査しながら算出する。

以上のように画像処理ルーチンを実行すると、検出対象領域の連続した画像から、人物の全身を表わす領域が連続して検出され、検出対象領域に存在する人物を追跡することができる。

以上説明したように、第１の実施の形態に係る人物検出装置によれば、人物が横向きに歩行しているときに現れる脚部の特徴としての開脚した状態の脚部を表わすハの字形状に基づいて、人物の開脚した状態の両脚を検出することにより、簡易な処理で精度よく人物を検出することができる。

また、検出された開脚した状態の両脚の位置及び大きさに基づいて、両脚を含む全身を表わす領域を特定することにより、人物の全身を容易に検出することができる。

また、検出された両脚の位置に基づいて、両脚の位置の周囲から、次の検出タイミングにおける探索領域を特定して、人物を追跡することにより、容易に人物の両脚を連続して検出することができる。

また、開脚した両脚を検出したことをキーにして、その周囲を探索、追跡することで、安定した人物の連続検出が可能となる。

また、人物を表わす画像だけに現れるような特徴として、ハの字形状を表わす領域を検出することにより、精度よく人物を検出することができる。

なお、上記の実施の形態では、つま先の方向に基づいて、人物が歩行している方向を判定する場合を例に説明したが、これに限定されるものではなく、ひざの形状に基づいて、人物が歩行している方向を判定してもよい。この場合には、検出された開脚した状態の両脚から、ひざの形状を検出し、ひざが左方向に曲がっている場合には、右方向に人物が歩行していると判定し、一方、ひざが右方向に曲がっている場合には、左方向に人物が歩行していると判定すればよい。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第２の実施の形態では、撮像画像について、開脚した状態の両脚を含む全身の形状を表わすパターン画像との類似度を算出している点が第１の実施の形態と異なっている。

図６に示すように、第２の実施の形態に係る人物検出装置２１０のコンピュータ２１６は、画像入力部２０と、画像入力部２０の出力である撮像画像から、開脚した状態の両脚を含む全身を検出する全身検出部２２２と、脚の向きを判定する脚向き判定部２２６と、次の検出タイミングにおける全身探索範囲を特定する探索範囲特定部２２８とを備えている。

全身検出部２２２は、撮像画像から、人物が歩行しているときに現れる脚部を含む全身の特徴として、図７に示すような二等辺三角形の形状をした開脚した状態の両脚を含む全身を検出する。連続した画像中で人が横向きに歩いている場合、両脚が二等辺三角形に開脚した状態では、両脚を含む全身は、下部がハの字形状となり、中央から上部にかけて棒線とハの字とを組み合わせた形状になる。そこで、本実施の形態では、画像中で特徴的なパターンである、下部がハの字形状であって、上部が棒線とハの字とを組み合わせた形状である形状を抽出することで、開脚した状態の両脚を含む全身を検出する。

全身検出部２２２では、学習によるパターン認識の手法によって、開脚した状態の両脚を含む全身を検出する。学習により、開脚した状態の両脚を含む全身を表わす形状を表わすパターン画像を生成しておき、このパターン画像との類似度を、撮像画像内を走査しながら算出し、類似度がしきい値以上であって、かつ、最も類似度が高い領域を、開脚した状態の両脚を含む全身を表わす領域として検出し、検出された全身を表わす領域の位置及び大きさをメモリに記憶する。なお、類似度の算出では、パターン画像を拡大、縮小した複数のパターン画像の各々との類似度も算出し、全身の大きさの違いに対応して、開脚した状態の両脚を含む全身を表わす領域を検出すればよい。

次に、第２の実施の形態に係る画像処理ルーチンについて図８を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、画像撮像部１２で撮像された撮像画像を、ビデオ信号として取り込み、ステップ１０２で、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成する。

そして、ステップ２５０において、メモリに検出された全身を表わす領域の位置及び大きさが記憶されているか否かを判定し、メモリに全身を表わす領域の位置及び大きさが記憶されていない場合には、まだ一度も全身を表わす領域が検出されていないと判断し、ステップ２５２において、予め学習した形状を表わすパターン画像と撮像画像の部分領域との類似度を、撮像画像内を走査しながら算出する。

そして、ステップ２５４で、上記ステップ２５２で算出された最も高い類似度が、予め定められたしきい値以上であるか否かを判定し、最も高い類似度がしきい値未満であると、撮像画像から開脚した状態の両脚を含む全身が検出されなかったと判断し、画像処理ルーチンを終了する。なお、上記のしきい値については、統計的又は実験的に、開脚した状態の両脚を含む全身を表わす複数の画像に対して類似度を予め求めておき、求められた類似度に基づいて、しきい値を設定しておけばよい。

上記ステップ２５４で、最も高い類似度がしきい値以上であると、撮像画像から開脚した状態の両脚を含む全身が検出されると判断し、ステップ２５６において、最も高い類似度が算出された領域を、全身を表わす領域として検出し、そして、ステップ２５８で、上記ステップ２５６で検出された領域の位置及び大きさをメモリに記憶する。

次のステップ１１６では、上記ステップ２５６で検出された全身を表わす領域の画像を表示装置１８に表示させる。そして、ステップ１１８において、上記ステップ２５６で検出された全身を表わす領域の画像から、つま先を表わす部分を検出し、ステップ１２０で、検出されたつま先を表わす部分に基づいて、つま先が向いている方向を、人物が歩行している方向として判定し、ステップ１２２において、上記ステップ１２０で判定された方向をメモリに記憶する。

そして、ステップ１２４で、追跡処理を終了するか否かを判定し、終了しない場合には、上記ステップ１００へ戻り、新たに撮像された撮像画像に基づいて、上述した各処理を実行するが、追跡処理を終了すると判断すると、画像処理ルーチンを終了する。

また、上記ステップ２５０において、検出された領域の位置及び大きさがメモリに記憶されている場合には、ステップ２６０へ移行し、メモリに記憶された前回検出された開脚した状態の両脚を含む全身を表わす領域の位置と、メモリに記憶されたつま先方向とに基づいて、全身の探索範囲を特定し、ステップ２５２において、撮像画像の探索範囲内において、パターン画像との類似度を走査しながら算出する。

以上のように画像処理ルーチンを実行すると、検出対象領域の連続した画像から、人物の全身を表わす領域が連続して検出され、検出対象領域に存在する人物を追跡することができる。

以上説明したように、第２の実施の形態に係る人物検出装置によれば、人物が歩行しているときに現れる脚部を含む全身の特徴としての開脚した状態の両脚を含む全身を表わす形状に基づいて、開脚した状態の両脚を含む全身を検出することにより、簡易な処理で精度よく人物を検出することができる。

また、検出された全身の位置に基づいて、全身の位置の周囲から、次の検出タイミングにおける探索領域を特定して、人物を追跡することにより、容易に人物の全身を連続して検出することができる。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第３の実施の形態では、連続した撮像画像から、開脚した状態の両脚と閉脚した状態の両脚とを交互に検出している点が第１の実施の形態と異なっている。

図９に示すように、第３の実施の形態に係る人物検出装置３１０のコンピュータ３１６は、画像入力部２０と、開脚部検出部２２と、画像入力部２０の出力である撮像画像から閉脚した状態の両脚を表わす部分を検出する閉脚部検出部３２２と、人物存在領域特定部２４と、脚向き判定部２６と、探索範囲特定部２８とを備えている。

閉脚部検出部３２２は、撮像画像から、棒状の形状をした閉脚した状態の両脚を検出する。連続した画像中で人が横向きに歩いている場合、あるタイミングで、両脚が棒状に閉脚した状態が必ず現れる。そこで、画像中で棒状の形状を抽出することで、閉脚した状態の両脚を検出する。

また、閉脚部検出部３２２では、学習によるパターン認識の手法によって、閉脚した状態の両脚を検出する。学習により、閉脚した状態の両脚を表わす棒状の形状のパターン画像を生成しておき、このパターン画像との類似度を、撮像画像内を走査しながら算出し、類似度がしきい値以上であって、かつ、最も類似度が高い領域を、閉脚した状態の両脚を表わす領域として検出し、検出された両脚を表わす領域の位置及び大きさをメモリに記憶する。なお、類似度の算出では、パターン画像を拡大、縮小した複数のパターン画像の各々との類似度も算出し、両脚の大きさの違いに対応して、閉脚した状態の両脚を表わす領域を検出すればよい。

次に、第３の実施の形態に係る画像処理ルーチンについて図１０を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ３５０において、第１の実施の形態で説明したステップ１００〜１２２で実現される開脚部検出処理を行い、次のステップ３５２において、上記ステップ３５０の開脚部検出処理によって、開脚した状態の両脚が検出されたか否かを判定し、両脚が検出されなかった場合には、ステップ３５４において、上記の開脚部検出処理を行っても両脚が検出されない時間が、予め定められた一定時間を越えたか否かを判定する。上記ステップ３５４で、一定時間内である場合には、上記ステップ３５０へ戻り、新たに撮像された撮像画像を用いて再び開脚部検出処理を行うが、一方、開脚部検出処理で両脚が検出されない時間が一定時間越えた場合には、撮像画像から開脚した状態の両脚が検出されないと判断して、画像処理ルーチンを終了する。

一方、上記ステップ３５２で、開脚した状態の両脚が検出されたと判定された場合には、ステップ３５６へ進み、閉脚部検出処理を行う。ここで、上記ステップ３５６の開脚部検出処理を実現するための開脚部検出処理ルーチンについて、図１１を用いて説明する。

まず、ステップ１００において、新たに撮像された撮像画像を、ビデオ信号として取り込み、ステップ１０２で、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成する。

そして、ステップ１２６において、メモリに記憶された両脚を表わす領域の位置と、メモリに記憶されたつまさき方向とに基づいて、両脚の探索範囲と特定し、ステップ３６６において、予め学習した棒状の形状を表わす閉脚パターン画像と撮像画像の部分領域との類似度を、撮像画像内を走査しながら算出する。なお、算出される類似度には、正規化相関の数値を用いればよい。

そして、ステップ３６８で、上記ステップ３６６で算出された最も高い類似度が、予め定められたしきい値以上であるか否かを判定し、最も類似度がしきい値未満であると、撮像画像から閉脚した状態の両脚が検出されなかったと判断し、閉脚部検出処理ルーチンを終了する。なお、上記のしきい値については、統計的又は実験的に、閉脚した状態の両脚を表わす複数の画像に対して類似度を予め求めておき、求められた類似度に基づいて、しきい値を設定しておけばよい。

上記ステップ３６８で、最も高い類似度がしきい値以上であると、撮像画像から閉脚した状態の両脚が検出されると判断し、ステップ３７０において、最も高い類似度が算出された領域を、両脚を表わす領域として検出し、そして、ステップ３７２で、上記ステップ３７０で検出された領域の位置及び大きさをメモリに記憶する。

次のステップ３７４では、上記ステップ３７０で検出された領域の位置及び大きさに基づいて、人物の全身を表わす領域を特定し、ステップ１１６において、上記ステップ３６４で特定された全身を表わす領域の画像を表示装置１８に表示させる。

そして、ステップ１１８において、上記ステップ３６０で検出された両脚を表わす領域の画像から、つま先を表わす部分を検出し、ステップ１２０で、検出されたつま先を表わす部分に基づいて、つま先が向いている方向を判定し、ステップ１２２において、上記ステップ１２０で判定された方向をメモリに記憶して、閉脚部検出処理ルーチンを終了する。

そして、図１０の画像処理ルーチンのステップ３５８において、上記ステップ３５６により閉脚した状態の両脚が検出されたか否かを判定し、両脚が検出されなかった場合には、ステップ３６０において、閉脚部検出処理で両脚が検出されない時間が、予め定められた一定時間を越えたか否かを判定する。上記ステップ３６０で、一定時間内である場合には、上記ステップ３５６へ戻り、新たに撮像された撮像画像を用いて再び閉脚部検出処理を行うが、一方、閉脚部検出処理で両脚が検出されない時間が一定時間を越えた場合には、撮像画像から閉脚した状態の両脚が検出されないと判断して、画像処理ルーチンを終了する。

一方、上記ステップ３５８で、閉脚した状態の両脚が検出されたと判定された場合には、ステップ１２４へ進み、追跡処理を終了するか否かを判定し、終了しない場合には、上記ステップ３５０へ戻り、新たに撮像された撮像画像に基づいて、上述した各処理を実行するが、追跡処理を終了すると判断すると、画像処理ルーチンを終了する。

以上のように画像処理ルーチンを実行すると、検出対象領域の連続した画像から、図１２（Ａ）に示すような開脚した状態の人物の全身を表わす領域と、図１２（Ｂ）に示すような閉脚した状態の人物の全身を表わす領域とが交互に検出され、検出対象領域に存在する人物を追跡することができる。

このように、ハの字に開脚している状態と両脚を棒状に閉じている状態とを交互に検出することにより、人物の脚部を連続して検出することができる。

なお、上記の実施の形態では、連続した撮像画像から、開脚している状態の両脚と閉脚している状態の両脚を交互に検出する場合を例に説明したが、開脚している状態の両脚を含む全身と閉脚している状態の両脚を含む全身とを交互に検出するようにしてもよい。

次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第４の実施の形態では、両脚と頭部とを検出し、検出された両脚と頭部との位置関係に基づいて、人らしさを判定している点が第１の実施の形態と異なっている。

図１３に示すように、第４の実施の形態に係る人物検出装置４１０のコンピュータ４１６は、画像入力部２０と、開脚部検出部２２と、画像入力部２０の出力である撮像画像から人物の頭を表わす部分を検出する頭部検出部４３０と、検出された両脚の位置と頭部の位置との関係に基づいて、検出された両脚と頭とを持つ人物の人らしさを判定する人らしさ判定部４３２と、両脚の位置及び頭部の位置に基づいて人物が存在する領域を特定する人物存在領域特定部４２４と、脚向き判定部２６と、探索範囲特定部２８とを備えている。

頭部検出部４３０は、学習によるパターン認識の手法によって、撮像画像から頭を表わす部分を検出する。学習により、頭を表わす頭部パターン画像を予め生成しておき、頭部パターン画像との類似度を、撮像画像の後述する頭部探索領域内を走査しながら算出し、しきい値以上であって、最も高い類似度が算出された領域を、頭を表わす領域として検出し、検出された頭を表わす領域の位置及び大きさをメモリに記憶する。

また、頭部検出部４３０は、検出された両脚の位置を用いて、撮像画像の中に頭部探索範囲を設定し、頭部探索範囲から頭を表わす部分を検出する。ここで、撮像画像において頭部が必ず検出できる最小の範囲を統計的に調査して、頭部探索範囲とする。例えば、辺の長さを、両脚を表わす領域の縦又は横の長さに所定の比率を乗じた長さとした長方形を、両脚の位置の上に所定の間隔をあけて設置して、頭部探索範囲とする。

人らしさ判定部４３２は、検出された両脚の位置及び頭部の位置の位置関係に基づいて、人らしさの評価値を判定し、評価値に基づいて、人物が存在するか否かを判定する。統計的なデータに基づく開脚部と頭部との位置関係の確からしさに基づいて、両脚の位置と頭部の位置との位置関係に対応する人らしさの評価値を予め学習して、図１４に示すような、両脚の位置に応じて定まる評価値の分布を用意しておき、この評価値の分布を用いて、検出された両脚の位置及び頭部の位置の位置関係に対応する人らしさの評価値を判定する。

次に、第４の実施の形態に係る画像処理ルーチンについて図１５を用いて説明する。なお、第１の実施の形態と同様の処理については同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、画像撮像部１２で撮像された撮像画像を、ビデオ信号として取り込み、ステップ１０２で、２次元ディジタル画像を生成する。次のステップ１０４では、メモリに検出された両脚を表わす領域の位置及び大きさが記憶されているか否かを判定し、まだ両脚を表わす領域が検出されていない場合には、ステップ１０６において、予め学習したハの字形状を表わすパターン画像と撮像画像の部分領域との類似度を、撮像画像内を走査しながら算出する。

そして、ステップ１０８で、上記ステップ１０６で算出された最も高い類似度が、予め定められたしきい値以上であるか否かを判定し、最も高い類似度がしきい値未満であると、画像処理ルーチンを終了する。

上記ステップ１０８で、最も高い類似度がしきい値以上であると、ステップ１１０において、最も高い類似度が算出された領域を、両脚を表わす領域として検出し、そして、ステップ１１２で、上記ステップ１１０で検出された領域の位置及び大きさをメモリに記憶する。

そして、ステップ４５０において、検出された両脚を表わす領域の位置に基づいて、撮像画像において頭部探索範囲を設定し、ステップ４５２において、頭部探索範囲から頭を表わす領域を検出する。上記ステップ４５２では、頭部探索範囲の部分領域と頭部パターン画像との類似度を、頭部探索範囲内を走査しながら算出し、最も高い類似度が算出された領域を、頭を表わす領域として検出する。

そして、ステップ４５４において、検出された両脚を表わす領域の位置に応じて定められる人らしさの評価値の分布に基づいて、検出された頭を表わす領域の位置の人らしさの評価値を判定し、ステップ４５６で、上記ステップ４５４で判定された評価値が、予め定められたしきい値以上であるか否かを判定し、人らしさの評価値がしきい値未満である場合には、検出した物体は人らしい特徴を有しておらず、撮像画像内には人物が存在しないと判断し、画像処理ルーチンを終了する。なお、上記のしきい値については、統計的又は実験的に、開脚した状態の両脚と頭部とを表わす複数の画像に対して、人らしさの評価値を予め求めておき、求められた評価値に基づいて、しきい値を設定しておけばよい。

一方、上記ステップ４５６において、人らしさの評価値がしきい値以上である場合には、検出された両脚及び頭をもつ人物は、人らしい特徴を有していると判断し、ステップ４５８において、上記ステップ１１０で検出された両脚を表わす領域の位置及び大きさと、上記ステップ４５２で検出された頭を表わす領域の位置及び大きさとに基づいて、人物の全身を表わす領域を特定し、ステップ１１６において、上記ステップ１１４で特定された全身を表わす領域の画像を表示装置１８に表示させる。

そして、ステップ１１８において、上記ステップ１１０で検出された両脚を表わす領域の画像から、つま先を表わす部分を検出し、ステップ１２０で、検出されたつま先を表わす部分に基づいて、つま先が向いている方向を、人物が歩行している方向として判定し、ステップ１２２において、上記ステップ１２０で判定された方向をメモリに記憶する。

そして、ステップ１２４で、追跡処理を終了するか否かを判定し、終了しない場合には、上記ステップ１００へ戻り、新たに撮像された顔画像に基づいて、上記ステップ１００〜１２２の処理を実行するが、追跡処理を終了すると判断すると、画像処理ルーチンを終了する。

また、上記ステップ１０４において、メモリに検出された領域の位置及び大きさが記憶されている場合には、ステップ１２６へ移行し、メモリに記憶された前回検出された開脚した状態の両脚を表わす領域の位置と、メモリに記憶されたつま先方向とに基づいて、両脚の探索範囲を特定し、ステップ１０６において、特定された探索範囲の画像について、パターン画像との類似度を走査しながら算出する。

以上のように画像処理ルーチンを実行すると、検出対象領域の連続した画像から、人らしい特徴を有した人物の全身を表わす領域が連続して検出され、検出対象領域に存在する人物を追跡することができる。

以上説明したように、第４の実施の形態に係る人物検出装置によれば、検出された両脚の位置及び検出された頭部の位置の位置関係を用いて、検出対象領域の画像内に、人物が存在するか否かを精度よく判定することができる。

また、一般的に、人が存在する屋内や屋外の画像中に、二等辺三角形の物体が存在することは少ないが、三角コーンなどが検出されるような場合であっても、その上部にある頭部の位置を確認することで人物かどうかを精度よく判定することができる。

また、脚部の検出と頭部の検出との組み合わせによって、撮像画像中の人物の存在の判定性能を高めることができる。

なお、上記の実施の形態では、両脚以外に頭部を検出する場合を例に説明したが、これに限定されるものではなく、両脚以外に、頭部と肩とを表わす部分や、腕、手、頭部から腰までの部分、肩から腰までの部分を検出するようにしてもよい。この場合には、両脚の位置と、両脚以外の部分の検出位置との位置関係を用いて、検出した物体が人物であるか否かを判定すればよい。

また、画像入力部で入力した撮像画像が濃淡画像である場合を例に説明したが、画像入力部で入力した撮像画像がカラー画像であってもよい。

本発明の第１の実施の形態に係る人物検出装置の構成を示すブロック図である。 開脚した状態の両脚を示すイメージ図である。 （Ａ）つま先が右向きである場合を示すイメージ図、及び（Ｂ）つま先が左向きである場合を示すイメージ図である。 開脚の検出タイミングｔから次の検出タイミングｔ＋１までの間に、人物が歩行して移動する様子を示すイメージ図である。 本発明の第１の実施の形態に係る人物検出装置における画像処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る人物検出装置の構成を示すブロック図である。 開脚した状態の両脚を含む全身を示すイメージ図である。 本発明の第２の実施の形態に係る人物検出装置における画像処理ルーチンの内容を示すフローチャートである。 本発明の第３の実施の形態に係る人物検出装置の構成を示すブロック図である。 本発明の第３の実施の形態に係る人物検出装置における画像処理ルーチンの内容を示すフローチャートである。 本発明の第３の実施の形態に係る人物検出装置における閉脚部検出処理ルーチンの内容を示すフローチャートである。 （Ａ）開脚した状態の両脚を示すイメージ図、及び（Ｂ）閉脚した状態の両脚を示すイメージ図である。 本発明の第４の実施の形態に係る人物検出装置の構成を示すブロック図である。 人らしさの評価値の分布を示すイメージ図である。 本発明の第４の実施の形態に係る人物検出装置における画像処理ルーチンの内容を示すフローチャートである。

符号の説明

１０、２１０、３１０、４１０ 人物置検出装置
１２ 画像撮像部
１６、２１６、３１６、４１６ コンピュータ
１８ 表示装置
２２ 開脚部検出部
２４、４２４ 人物存在領域特定部
２６、２２６ 脚向き判定部
２８、２２８ 探索範囲特定部
２２２ 全身検出部
３２２ 閉脚部検出部
４３０ 頭部検出部
４３２ 人らしさ判定部

Claims (12)

1. 検出対象領域を撮像する撮像手段と、
   人物が歩行しているときに現れる脚部の特徴に基づいて、前記撮像手段によって撮像された前記検出対象領域の画像から、人物の脚部を検出する脚検出手段と、
   を含む人物検出装置。
2. 前記脚部の特徴は、開脚した状態の脚部を表わす予め定められた形状であって、
   前記脚検出手段は、前記画像から人物の開脚した状態の両脚を検出する請求項１記載の人物検出装置。
3. 前記脚検出手段によって前記脚部が検出されたときに、前記検出された前記脚部の位置及び大きさに基づいて、前記検出対象領域の画像から前記脚部を含む身体を検出する身体検出手段を更に含む請求項１又は２記載の人物検出装置。
4. 前記検出対象領域の画像から、脚部以外の身体の所定部位を検出する所定部位検出手段と、
   前記脚検出手段によって検出された脚部の位置及び前記所定部位検出手段によって検出された前記所定部位の位置の位置関係と、前記脚部の位置及び前記所定部位の位置の予め定められた位置関係とを比較して、前記検出対象領域の画像内に、前記人物が存在するか否かを判定する判定手段とを更に含む請求項１〜請求項３の何れか１項記載の人物検出装置。
5. 前記撮像手段は、前記検出対象領域の画像を連続して撮像し、
   前記脚検出手段は、人物が歩行しているときに現れる開脚した状態の脚部を表わす予め定められた形状及び閉脚した状態の脚部を表わす予め定められた形状に基づいて、前記検出対象領域の連続した画像から、前記人物の開脚した状態の脚部と前記人物の閉脚した状態の脚部とを交互に検出する請求項１〜請求項４の何れか１項記載の人物検出装置。
6. 前記撮像手段は、前記検出対象領域の画像を連続して撮像し、
   前記脚検出手段は、前記検出対象領域の連続した画像の前回検出された脚部の位置に応じて定められる所定範囲から、前記脚部を検出する請求項１〜請求項５の何れか１項記載の人物検出装置。
7. 検出対象領域を撮像する撮像手段と、
   人物が歩行しているときに現れる脚部を含む身体の特徴に基づいて、前記撮像手段によって撮像された前記検出対象領域の画像から、人物の身体を検出する身体検出手段と、
   を含む人物検出装置。
8. 前記身体の特徴は、開脚した状態の脚部を含む身体を表わす予め定められた形状であって、
   前記身体検出手段は、前記画像から人物の開脚した状態の脚部を含む身体を検出する請求項７記載の人物検出装置。
9. 前記撮像手段は、前記検出対象領域の画像を連続して撮像し、
   前記身体検出手段は、人物が歩行しているときに現れる開脚した状態の両脚を含む身体を表わす予め定められた形状及び閉脚した状態の両脚を含む身体を表わす予め定められた形状に基づいて、前記検出対象領域の連続した画像から、前記人物の開脚した状態の両脚を含む身体と前記人物の閉脚した状態の両脚を含む身体とを交互に検出する請求項７又は８記載の人物検出装置。
10. 前記撮像手段は、前記検出対象領域の画像を連続して撮像し、
    前記身体検出手段は、前記検出対象領域の連続した画像の前回検出された身体の位置に応じて定められる所定範囲から、前記身体を検出する請求項７〜請求項９の何れか１項記載の人物検出装置。
11. コンピュータを、
    人物が歩行しているときに現れる脚部の特徴に基づいて、検出対象領域を撮像する撮像手段によって撮像された前記検出対象領域の画像から、人物の脚部を検出する脚検出手段
    として機能させるためのプログラム。
12. コンピュータを、
    人物が歩行しているときに現れる脚部を含む身体の特徴に基づいて、検出対象領域を撮像する撮像手段によって撮像された前記検出対象領域の画像から、人物の身体を検出する身体検出手段
    として機能させるためのプログラム。