JP2013190949A - 歩行者検出装置及びプログラム - Google Patents

Abstract

【課題】歩行者の動きに関わらず、歩行者を安定して検出することができるようにする。
【解決手段】フロー抽出部２６によって、自車両の前方画像からフローを抽出し、移動物フロー抽出部２８によって、移動物上のフローを抽出する。スコア算出部２２によって、予め学習された歩行者を識別するための識別モデルと、ウインドウ画像とに基づいて、歩行者らしさを示すスコアを算出する。移動物フロー限定部３０によって、撮像画像上のウインドウ画像の位置に対応して予め定められたフローの大きさの範囲内のフローを、ウインドウ画像内のフローから限定する。歩行者識別部３２によって、限定されたフローの数と算出されたスコアとに基づいて、ウインドウ画像が前記歩行者を表す画像か否かを識別する。
【選択図】図１

Description

本発明は、歩行者検出装置及びプログラムに係り、特に、撮像した画像から歩行者を検出するための歩行者検出装置及びプログラムに関する。

歩行者検出では、歩行者の姿勢パタンの多様性から未検出になる場合があり、歩行者が移動物であるということから、フロー（動き）情報を利用して歩行者検出を行う歩行者検出装置が知られている（例えば、特許文献１)。

この歩行者検出装置では、カメラにより連続的に撮像することによって得られた各画像内の動きが揃った領域を移動体領域と特定し、各画像内の動きが揃った移動体領域の下部に、当該移動体領域のサイズに応じたサイズの下部領域を設定し、設定された下部領域内の特徴点の動きが不揃いであるか否かを判定し、動きが不揃いであると判定された下部領域及び当該下部領域に対応する移動体領域を、歩行者の全身領域と特定している。

特開２００９−１５７５８１号公報

しかしながら、上記の特許文献１に記載の技術は、フローを基本とした検出手法であるため、移動している歩行者のみが検出対象となる。また、上記の特許文献１に記載の技術は、画像から得られたフロー情報をグループ化し、グループ化した領域の脚部のフローの不均一性や画像パタンを利用して歩行者判定を行っている。しかし、横断時の腕の振りの動きから上半身部分にもフローの不均一性は生じるため、歩行者を移動体領域として抽出するのは困難である、という問題がある。更に、自車に対して平行に進行している歩行者は脚部の見かけの変化が少ないため、移動体領域下部におけるフローの不均一性が生じにくく検出が困難になる、という問題がある。

本発明は、上述した問題を解決するために成されたものであり、歩行者の動きに関わらず、歩行者を安定して検出することができる歩行者検出装置及びプログラムを提供することを目的とする。

上記目的を達成するために本発明の歩行者検出装置は、移動体に搭載された自装置の周辺を撮像した時系列の複数の撮像画像から、各特徴点について、前記撮像画像間で対応する前記特徴点の動きを示すフローを抽出するフロー抽出手段と、前記フロー抽出手段で抽出されたフローから、移動物上のフローを抽出する移動物フロー抽出手段と、前記撮像画像からウインドウ画像を抽出するウインドウ画像抽出手段と、予め学習された歩行者を識別するための識別モデルと、前記ウインドウ抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記歩行者らしさを示すスコアを算出するスコア算出手段と、前記撮像画像上の歩行者候補までの距離に対応して予め定められたフローの大きさの範囲に基づいて、前記移動物フロー抽出手段によって抽出された前記ウインドウ画像内の前記移動物上のフローから、大きさが前記範囲内のフローを抽出する歩行者フロー抽出手段と、前記歩行者フロー抽出手段による抽出結果と、前記スコア算出手段によって算出された前記スコアとに基づいて、前記ウインドウ画像が前記歩行者を表す画像か否かを識別する識別手段と、を含んで構成されている。

本発明のプログラムは、コンピュータを、移動体に搭載された自装置の周辺を撮像した時系列の複数の撮像画像から、各特徴点について、前記撮像画像間で対応する前記特徴点の動きを示すフローを抽出するフロー抽出手段、前記フロー抽出手段で抽出されたフローから、移動物上のフローを抽出する移動物フロー抽出手段、前記撮像画像からウインドウ画像を抽出するウインドウ画像抽出手段、予め学習された歩行者を識別するための識別モデルと、前記ウインドウ抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記歩行者らしさを示すスコアを算出するスコア算出手段、前記撮像画像上の歩行者候補までの距離に対応して予め定められたフローの大きさの範囲に基づいて、前記移動物フロー抽出手段によって抽出された前記ウインドウ画像内の前記移動物上のフローから、大きさが前記範囲内のフローを抽出する歩行者フロー抽出手段及び、前記歩行者フロー抽出手段による抽出結果と、前記スコア算出手段によって算出された前記スコアとに基づいて、前記ウインドウ画像が前記歩行者を表す画像か否かを識別する識別手段として機能させるためのプログラムである。

本発明によれば、フロー抽出手段によって、移動体に搭載された自装置の周辺を撮像した時系列の複数の撮像画像から、各特徴点について、前記撮像画像間で対応する前記特徴点の動きを示すフローを抽出する。移動物フロー抽出手段によって、前記フロー抽出手段で抽出されたフローから、移動物上のフローを抽出する。

そして、ウインドウ画像抽出手段によって、前記撮像画像からウインドウ画像を抽出する。スコア算出手段によって、予め学習された歩行者を識別するための識別モデルと、前記ウインドウ抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記歩行者らしさを示すスコアを算出する。

そして、歩行者フロー抽出手段によって、前記撮像画像上の歩行者候補までの距離に対応して予め定められたフローの大きさの範囲に基づいて、前記移動物フロー抽出手段によって抽出された前記ウインドウ画像内の前記移動物上のフローから、大きさが前記範囲内のフローを抽出する。識別手段によって、前記歩行者フロー抽出手段による抽出結果と、前記スコア算出手段によって算出された前記スコアとに基づいて、前記ウインドウ画像が前記歩行者を表す画像か否かを識別する。

このように、歩行者候補までの距離に対応して予め定められたフローの大きさの範囲内のフローを、ウインドウ画像内の移動物上のフローから抽出し、フローの抽出結果と、歩行者らしさを示すスコアとに基づいて、ウインドウ画像が前記歩行者を表す画像か否かを識別することにより、歩行者の動きに関わらず、歩行者を安定して検出することができる。

上記のフローの大きさの範囲は、前記撮像画像上の歩行者候補までの距離が遠いほど、フローの大きさが小さくなるように予め定められたものとすることができる。

上記のフローの大きさの範囲は、前記撮像画像上の前記ウインドウ画像の位置から求められる歩行者候補の横位置が、前記移動体の横位置より離れているほど、フローの大きさが大きくなるように予め定められたものとすることができる。

本発明に係る識別手段は、前記歩行者フロー抽出手段によって抽出された前記フローの数に応じて、前記スコア算出手段によって算出された前記スコアを補正し、前記補正された前記スコアに基づいて、前記ウインドウ画像が前記歩行者を表す画像か否かを識別するようにすることができる。

本発明に係るスコア算出手段は、歩行者の向き毎に予め学習された前記識別モデルと、前記ウインドウ抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記向き毎に、前記歩行者らしさを示すスコアを算出し、前記歩行者フロー抽出手段は、前記撮像画像上の前記歩行者候補までの距離と、前記スコアが最大となる前記向きとに対応して予め定められたフローの大きさの範囲に基づいて、前記ウインドウ画像内の前記移動物上のフローから、大きさが前記範囲内のフローを抽出するようにすることができる。これによって、歩行者らしきもののフローを更に限定して抽出することができる。

本発明に係るスコア算出手段は、歩行者の姿勢毎に予め学習された前記識別モデルと、前記ウインドウ抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記姿勢毎に、前記歩行者らしさを示すスコアを算出し、前記識別手段は、前記スコアが最大となる前記姿勢に対して予め定められた歩行者の動きの有無と、前記歩行者フロー抽出手段によって抽出された前記フローの数との整合性に応じて、前記スコア算出手段によって算出された前記スコアを補正し、補正されたスコアに基づいて、前記ウインドウ画像が前記歩行者を表す画像か否かを識別するようにすることができる。

本発明に係る移動物フロー抽出手段は、前記移動体の運動に基づいて、前記フロー抽出手段で抽出されたフローから、前記移動物上のフローを抽出するようにすることができる。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明によれば、ウインドウ画像の位置に対応して予め定められたフローの大きさの範囲内のフローを、ウインドウ画像内の移動物上のフローから抽出し、フローの抽出結果と、歩行者らしさを示すスコアとに基づいて、ウインドウ画像が前記歩行者を表す画像か否かを識別することにより、歩行者の動きに関わらず、歩行者を安定して検出することができる、という効果が得られる。

第１の実施の形態に係る歩行者検出装置の構成を示すブロック図である。 各向きの歩行者の全身モデルを示す図である。 各姿勢の歩行者の部位モデルを示す図である。 歩行者の向き及び姿勢を求める方法を説明するための図である。 歩行者の距離とフローの大きさとの関係を示すグラフである。 歩行者までの距離を示す図である。 撮像画像上のウインドウ画像を示す図である。 撮像画像上のウインドウ画像の下端位置から歩行者候補までの距離を算出する方法を説明するための図である。 第１の実施の形態の歩行者検出装置における歩行者検出処理ルーチンの内容を示すフローチャートである。 第１の実施の形態の歩行者検出装置における全身モデルを用いたスコアの算出処理の流れを示すフローチャートである。 第１の実施の形態の歩行者検出装置における部位モデルを用いたスコアの算出処理の流れを示すフローチャートである。 歩行者の距離とフローの大きさとの関係を示すグラフである。 部位モデルに付加した動き情報を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、歩行者を検出する歩行者検出装置に本発明を適用した場合について説明する。

図１に示すように、第１の実施の形態に係る歩行者検出装置１０は、自車両の前方における識別対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて歩行者を検出する歩行者検出処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８と、を備えている。

撮像装置１２は、自車両の前方における識別対象領域を含む範囲を連続して撮像し、複数の画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、用いる画像はカラーでもモノクロでも良いし、可視光画像でも近赤画像でもよい。

コンピュータ１６は、歩行者検出装置１０全体の制御を司るＣＰＵ、後述する歩行者検出処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で連続して撮像されコンピュータ１６へ入力された複数の撮像画像を取得する画像取得部１９と、取得した撮像画像から所定領域のウインドウ画像を抽出するウインドウ画像抽出部２０と、ウインドウ画像抽出部２０により抽出されたウインドウ画像について画像特徴量を抽出する特徴量抽出部２１と、ウインドウ画像について抽出された画像特徴量と識別モデルとを比較して、歩行者らしさを示すスコアを算出するスコア算出部２２と、識別モデルが記憶された識別モデル記憶部２４と、を含んだ構成で表すことができる。

ウインドウ画像抽出部２０は、撮像画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら画像を切り取る。ここでは、切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは様々なサイズの歩行者を検出するために複数種設定されており、ウインドウ画像抽出部２０は、設定されている全てのウインドウサイズの探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部２０は、抽出したウインドウ画像を予め設定された画素数の画像に変換する。

特徴量抽出部２１は、各ウインドウ画像について画像特徴量を抽出する。画像特徴量として、Haar-Like Feature、HOG(Histograms of Oriented Gradients)、FIND(Feature Interaction Descriptor)などが利用できる。なお、FINDについては、非特許文献（Hui CAO, Koichiro YAMAGUCHI, Mitsuhiko OHTA, Takashi NAITO and Yoshiki NINOMIYA:" Feature Interaction Descriptor for Pedestrian Detection", IEICE TRANSACTIONS on Information and Systems, Volume E93-D No.9, pp.2651-2655, 2010）に記載されているものを利用すればよいため、詳細な説明を省略する。

また、特徴量抽出部２１は、ウインドウ画像内の、後述する部位モデルの部位毎に、対応する局所領域について画像特徴量を抽出する。

識別モデル記憶部２４には、予め学習により生成され、かつ、スコア算出部２２でスコアを算出する際に参照される識別モデルが記憶されている。なお、ここでは、識別モデル記憶部２４をコンピュータ１６に設ける場合について説明するが、他の外部装置の記憶手段に識別モデルを記憶しておき、ネットワークや通信手段を介して他の外部装置に接続して、他の外部装置の記憶手段に記憶された識別モデルを読み込むような構成としてもよい。

ここで、識別モデル記憶部２４に記憶される識別モデルについて説明する。

画像パタンを用いた歩行者検出において、歩行者の姿勢には非常に多様性があるため、歩行者を未検出する場合や、歩行者と類似した物体を誤検出する場合がある。このような事情を鑑みて、歩行者全身の歩行者モデルを用いて検出するだけでなく、歩行者の各部位（例えば歩行者の頭部、胴体、脚部）のモデルを用いて検出を行う場合がある。この場合には、全身モデルによるおおまかな歩行者候補を抽出し、その後、各部位の歩行者モデルを用いたより詳細な識別を行うことで、未検出や誤検出を低減させることができる。

また、このとき利用する全身および各部位の歩行者モデルは、いくつかの姿勢ごとにモデルを生成することでより性能を向上させることができ、例えば、図２（Ａ）〜（Ｃ）に示すように、全身の歩行者モデルを歩行者の向きごとに生成し、更に図３（Ａ）〜（Ｄ）に示すような各部位のモデルを姿勢に応じたいくつかのモデルを生成することで検出性能を向上させることができる。このように、向きごと、姿勢ごとに歩行者モデルを構成することで、図４に示すように歩行者の位置や大きさだけではなく、歩行者の向きや各部位の姿勢を知ることが可能になる。

そこで、本実施の形態では、識別モデル記憶部２４は、識別モデルとして、歩行者の向き（例えば、前後向き、左向き、右向き）毎に学習した向き別の全身モデルをそれぞれ記憶すると共に、歩行者の姿勢毎に学習した姿勢別の部位モデルを、各部位についてそれぞれ記憶する。

向き別全身モデルの学習処理では、歩行者の向き毎に、予め歩行者が撮影された歩行者の学習用画像、及び歩行者以外が撮影された非歩行者の学習用画像を所定枚数用意し、対象物の学習用画像を、歩行者の向き毎に分類し、歩行者の向き毎に、当該向きに分類された歩行者の学習用画像と、非歩行者の学習用画像とを用いて、各学習用画像の画像特徴量と教師ラベルとに従って学習を行い、当該向きに対する識別モデルを生成する。

姿勢別部位モデルの学習処理では、歩行者の部位の姿勢毎に、予め歩行者の当該部位が撮影された歩行者部位の学習用画像、及び歩行者以外が撮影された非歩行者の学習用画像を所定枚数用意し、歩行者部位の学習用画像を、当該部位の姿勢毎に分類し、歩行者の当該部位の姿勢毎に、当該姿勢に分類された歩行者部位の学習用画像と、非歩行者の学習用画像とを用いて、各学習用画像の画像特徴量と教師ラベルとに従って学習を行い、当該部位の姿勢に対する識別モデルを生成する。

また、スコア算出部２２が、各ウインドウ画像について、抽出された画像特徴量と向き毎の全身モデルとに基づいて、向き毎に、識別器によって、ウインドウ画像内に歩行者が存在するかどうかの確信度を示すスコアを算出する。識別器としてBoostingや、SVMなどが利用できる。また、非特許文献（HT Lin, CJ Lin and RC Weng:" A note on Platt's probabilistic outputs for support vector machines", Machine Learning, Springer, 2007）に記載されている手法を用いて、識別器から出力されるスコアを確率値に変換した値をスコアとするようにしてもよい。

また、スコア算出部２２は、全ての向き別全身モデルを用いて算出されたスコアの大きさの各々が閾値より低い場合には非歩行者と判定し、そうでない場合には歩行者候補として以降の処理を続ける。ここで設定される閾値は、すべての向きに対して同一でもよいし、向きごとに異なる値を設定することもできる。このとき、歩行者候補とされたウインドウ画像に対して、向きごとの全身モデルを用いて得られたスコアによってウインドウ画像内の歩行者向きを決定する。上記図３の例では、３方向の向き別の全身モデルを用いたスコア算出の結果、左向きモデルを用いた場合のスコアが最も高く、このウインドウ画像には"左向き歩行者"とのラベルを付することができる。

次に、スコア算出部２２は、全身モデルにより歩行者候補とされたウインドウ画像に対し、歩行者の各部位の姿勢ごとの部位モデルを用いてスコアの算出を行う。

スコア算出部２２は、各部位について姿勢毎に、全身の場合と同様に、ウインドウ画像内の、部位モデルと対応する局所領域について抽出された画像特徴量を用いて、ウインドウ画像の局所領域内に歩行者が存在するかどうかの確信度を示すスコアを算出する。そして、スコア算出部２２は、向き毎の全身モデルから得られた最大のスコアと各部位モデルから得られた最大のスコアとを用いて、統合スコアを算出する。統合スコアの算出には、ＳＶＭや線形識別関数などが利用できる。ここで得られる統合スコアがあらかじめ設定された閾値より低い場合には非歩行者と判定し、そうでない場合には当該ウインドウ画像を歩行者候補として以降の処理を続ける。ここでは、統合スコアの算出に全身モデルを用いた算出結果を利用したが、各部位モデルを用いた算出結果のみを用いてもよい。

このとき、全身モデルと同様に歩行者候補とされたウインドウ画像の局所領域には、各部位モデルを用いて得られた結果によって局所領域内の姿勢を決定する。上記図４の例では、脚部の領域に対して部位モデルを適用し、跳ね上げモデルを用いた場合のスコアが最も高く、この局所領域に"跳ね上げパタン"というラベルを付することができる。

なお、全身モデルと部位モデルの識別には同じ特徴量、識別器を利用してもよいし、異なる特徴量、識別器を利用してもよい。

また、コンピュータ１６は、取得した複数の撮像画像から、撮像画像間の特徴点の動きを示すオプティカルフロー（以降、フローと称する)を特徴点毎に抽出するフロー抽出部２６と、フロー抽出部２６によって抽出されたフローから、移動物上のフローを抽出する移動物フロー抽出部２８と、ウインドウ画像の位置に応じて、移動物上のフローを限定する移動物フロー限定部３０と、ウインドウ画像が検出対象の歩行者を表す画像であるか否かを識別する歩行者識別部３２と、を含んだ構成で表すことができる。なお、移動物フロー限定部３０は、歩行者フロー抽出手段の一例である。

フロー抽出部２６は、撮像画像中のオプティカルフローを、現時刻ｔの撮像画像と時刻ｔ−１の撮像画像を用いて算出する。オプティカルフローは、各画像中の特徴点の位置の変化から各特徴点の動きを検出し、各特徴点のフローベクトルを算出して求めることができる。特徴点の検出方法として、ＨａｒｒｉｓオペレータやＦＡＳＴ、Ｔｏｍａｓｉ−Ｋａｎａｄｅの方法などが利用できる。また、特徴点の追跡方法としては、Ｌｕｃａｓ ＆ Ｋａｎａｄｅアルゴリズムなどが利用できる。

移動物フロー抽出部２８は、抽出されたフロー中から、移動物に対応する特徴点から算出された、移動物上のフローを抽出する。移動物フロー抽出部２８は、各特徴点から算出されたフローの中で、自車運動に従わないフローを移動物上のフローとして抽出することができる。なお、自車運動は車両に取り付けられたセンサから取得しても良いし、算出したフローからＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎに基づく手法によって推定することもできる。

次に、本実施の形態の原理について説明する。

移動物フロー抽出部２８により求められた移動物上のフローを用いてスコアの補正を行う前に、フローの限定を行う。移動物フロー抽出部２８により得られたフローは、様々な距離にある物体から抽出された特徴点から算出されており、また、静止物上のフローを誤って移動物上のフローとして抽出している場合もある。そこで、ウインドウ画像内の歩行者らしきものに関するフローのみを利用して、後述するスコアの補正をすることで、安定した歩行者検出を可能にする。具体的には、対象としている歩行者候補のウインドウ画像内から得られた移動物上のフローの中から、スコア補正に利用するフローを限定する。図５に示すように、歩行者から得られるフローの大きさは、歩行者の位置、向き（進行方向）によって大きさが異なるので、これを利用して、ウインドウ画像の撮像画像上の位置に応じたフローの大きさの範囲に基づいて、利用する移動物上のフローを限定する。例えば、ウインドウ画像の位置（高さ方向の位置）が、５０ｍ先の歩行者候補の位置に相当するときには、ウインドウ画像内に大きさが１０画素のフローが存在していれば、上記図５より、明らかに歩行者以外の物体に関するフローとみなすことができるので、次に述べるスコア補正に利用しないようにすることができる。なお、上記図５は、歩行者の横位置が、自車両の横位置より２．５ｍ離れた位置であって、自車両の速度が３０ｋｍ／ｈであり、カメラの解像度がＳＸＧＡ、水平画角５５度、１０フレーム／ｓである場合の、歩行者までの距離に応じたフローの大きさを表わしている。また、歩行者から得られるフローの大きさは、車速、カメラパラメータによっても大きさが異なるので、これらも利用して、フローを限定するようにしてもよい。

また、限定するフローの大きさの範囲は、ウインドウ画像の撮像画像中の位置（高さ方向の位置）から求められる歩行者候補までの距離と、カメラパラメータと、仮定される歩行者の身長とに基づいて求めることが可能である。

そこで、本実施の形態では、移動物フロー限定部３０によって、スコア算出部２２によって算出された統合スコアが閾値以上であるウインドウ画像について、当該ウインドウ画像の撮像画像上の下端位置（高さ方向の位置）に応じて予め定められたフローの大きさの範囲に基づいて、当該ウインドウ画像内の移動物上のフローから、当該範囲内のフローに限定する。なお、ウインドウ画像の撮像画像上の各下端位置（高さ方向の位置）について、当該下端位置に応じた距離Ｄ（図６、図７参照）から、歩行者上のフローの大きさの範囲を予め求めておけばよい。また、ウインドウ画像の下端位置に応じた距離は、カメラパラメータ（カメラの取り付け高さ、カメラ俯角、カメラ垂直画角）及び仮定する道路平面に応じたパラメータ（画像高さ、画像上のｙ座標）に基づいて求めることが可能である。すなわち、図８に示すように、歩行者の足下位置（ウインドウの下端位置）のｙ座標から、カメラの取り付け高さ、カメラ俯角、カメラ垂直画角などを用いて、以下の（１）式に従って、距離Ｄを算出する。

ただし、θ_aodはカメラ俯角であり、θ_vertはカメラ垂直画角であり、H_cameraはカメラ取り付け高さ[m]である。また、H_imageは画像高さ[pixel]であり、Ｄは距離[m]であり、yは画像上のy座標[pixel]である。

歩行者識別部３２は、以下に説明するように、各ウインドウ画像について、ウインドウ画像内のフローの有無を利用して、統合スコアの補正を行い、歩行者識別処理を行う。

移動物フロー限定部３０によって、対象とする歩行者候補のウインドウ画像の位置に応じたフローに限定されているので、統合スコアの補正では、ウインドウ画像について限定されたフローが存在する場合には、歩行者の可能性がより高くなると考え、統合スコアの値を大きくするように補正する。

例えば、ウインドウ画像に応じて限定されたフローがあらかじめ設定した数以上であれば、一律に統合スコアを上げるように補正してもよいし、フローの数に応じて統合スコアを上げるように補正してもよい。

歩行者識別部３２は、補正された統合スコアが閾値以上であれば、ウインドウ画像が歩行者を表す画像であると判定し、補正された統合スコアが閾値未満であれば、ウインドウ画像が歩行者を表す画像でないと判定する。また、歩行者識別部３２は、識別結果を撮像画像に重畳して表示するよう、表示装置１８を制御する。

なお、歩行者が静止している場合であっても、スコア算出部２２により算出される統合スコアが大きければ、当該歩行者を表わすウインドウ画像が、歩行者を表す画像であると判定される。

次に、図９を参照して、第１の実施の形態の歩行者検出装置１０のコンピュータ１６で実行される歩行者検出処理ルーチンについて説明する。

ステップ１００で、識別モデル記憶部２４から向き別の全身モデル、姿勢別の部位モデルを読み込む。ステップ１０２で、撮像装置１２で連続して撮像された、時刻ｔ−１の撮像画像及び時刻ｔの撮像画像を取得し、次に、ステップ１０４で、時刻ｔ−１、ｔの撮像画像から、フローを算出する。

そして、ステップ１０６で、時刻ｔの撮像画像に対して探索ウインドウを撮像画像に設定し、設定した探索ウインドウを用いて、撮像画像からウインドウ画像ｘを抽出する。

次に、ステップ１０８で、上記ステップ１０６で抽出されたウインドウ画像ｘから画像特徴量を抽出すると共に、各部位の部位モデルに対応する局所領域から画像特徴量を抽出する。

ステップ１１０では、向き別の全身モデルと、上記ステップ１０８で抽出された画像特徴量とに基づいて、スコアを算出する。

上記ステップ１１０は、図１０に示す処理ルーチンにより実現される。

ステップ１５０において、Ｎ個の向き別の全身モデルをセットする。ステップ１５２では、全身モデルを識別する変数Ｋを初期値である１に設定し、ステップ１５４において、Ｋ番目の向き別全身モデルと、上記ステップ１０８で抽出された画像特徴量とに基づいて、スコアを算出する。そして、ステップ１５６では、上記ステップ１５４で算出されたスコアをメモリ（図示省略)に記録する。

ステップ１５８では、変数Ｋを１インクリメントして、ステップ１６０において、変数Ｋが、向き別全身モデルの個数を示す定数Ｎ以下であるか否かを判定する。変数Ｋが定数Ｎ以下である場合には、上記ステップ１５４へ戻るが、一方、変数Ｋが定数Ｎより大きい場合には、全ての向き別全身モデルについてスコアを算出したと判断し、処理ルーチンを終了する。

そして、上記図９の歩行者検出処理ルーチンのステップ１１２では、上記ステップ１５４で算出した向き毎のスコアに基づいて、ウインドウ画像ｘが非歩行者画像であるか否かを判定する。向き毎のスコアの全てが、閾値未満である場合には、ウインドウ画像ｘが非歩行者画像であると判定し、後述するステップ１３０へ移行する。一方、向き毎のスコアの少なくとも１つが、閾値以上である場合には、ウインドウ画像ｘが非歩行者画像でないと判定し、ステップ１１４へ進む。また、スコアが最大となる向きを、歩行者候補の向きとして決定する。

ステップ１１４では、姿勢別の部位モデルと、上記ステップ１０８で抽出された局所領域の画像特徴量とに基づいて、スコアを算出する。

上記ステップ１１４は、図１１に示す処理ルーチンにより実現される。

ステップ１７０において、Ｍ個の部位ごとの、ＨM個の姿勢別の部位モデルをセットする。ステップ１７２では、部位を識別する変数Ｈを初期値である１に設定し、ステップ１７４において、部位モデルの姿勢を識別する変数Ｋを初期値である１に設定する。

そして、ステップ１７６では、Ｈ番目の部位のＫ番目の姿勢別部位モデルと、上記ステップ１０８で抽出された、Ｈ番目の部位に対応する局所領域の画像特徴量とに基づいて、スコアを算出する。そして、ステップ１７８では、上記ステップ１７６で算出されたスコアをメモリ（図示省略)に記録する。

ステップ１８０では、変数Ｋを１インクリメントして、ステップ１８２において、変数Ｋが、Ｈ番目の部位の姿勢別部位モデルの個数を示す定数ＮM以下であるか否かを判定する。変数Ｋが定数ＮM以下である場合には、上記ステップ１７６へ戻るが、一方、変数Ｋが定数ＮMより大きい場合には、Ｈ番目の部位の全ての姿勢別部位モデルについてスコアを算出したと判断し、ステップ１８４へ進む。

ステップ１８４では、変数Ｈを１インクリメントして、ステップ１８６において、変数Ｈが、部位の個数を示す定数Ｍ以下であるか否かを判定する。変数Ｈが定数Ｍ以下である場合には、上記ステップ１７４へ戻るが、一方、変数Ｈが定数Ｍより大きい場合には、全ての部位についてスコアを算出したと判断し、処理ルーチンを終了する。

そして、上記図９の歩行者検出処理ルーチンのステップ１１６では、上記ステップ１５４で算出した向き毎のスコアの最大スコアと、上記ステップ１７６で算出した各部位に対する姿勢毎のスコアの最大スコアとに基づいて、統合スコアを算出する。

次のステップ１１８では、上記ステップ１１６で算出した統合スコアに基づいて、ウインドウ画像ｘが非歩行者画像であるか否かを判定する。統合スコアが、閾値未満である場合には、ウインドウ画像ｘが非歩行者画像であると判定し、後述するステップ１３０へ移行する。一方、統合スコアが、閾値以上である場合には、ウインドウ画像ｘが非歩行者画像でないと判定し、ステップ１２０へ進む。また、部位毎に、スコアが最大となる姿勢を、歩行者候補の部位の姿勢として決定する。

ステップ１２０では、上記ステップ１０４で算出されたフローのうちのウインドウ画像ｘ内のフローから、ウインドウ画像ｘの位置に応じて定められたフローの大きさの範囲内となるフローに限定する。

次のステップ１２２では、上記ステップ１２０で限定されたフローの数に応じて、上記ステップ１１６で算出された統合スコアを補正する。そして、ステップ１２４において、上記ステップ１２２で補正した統合スコアに基づいて、ウインドウ画像ｘが歩行者画像であるか否かを識別する。

次のステップ１２６では、上記ステップ１２４で歩行者画像であると識別されたか否かを判定し、歩行者画像でないと識別された場合には、後述するステップ１３０へ移行するが、一方、歩行者画像であると識別された場合には、ステップ１２８において、ウインドウ画像ｘを歩行者領域として記録して、ステップ１３０へ移行する。

ステップ１３０では、上記ステップ１０２で取得された時刻ｔの撮像画像の全体について探索ウインドウをスキャンして探索が終了したか否かを判断する。終了していない場合は、ステップ１０６へ戻り、探索ウインドウの位置を予め定められた探索ステップだけ移動させた位置からウインドウ画像を抽出し、ステップ１０８〜ステップ１２８の処理を繰り返す。また、現サイズの探索ウインドウでの画像全体の探索が終了した場合には、同様にステップ１０６へ戻り、探索ウインドウのサイズを変更して、ステップ１０６〜ステップ１１８の処理を繰り返す。撮像画像全体について、全てのサイズの探索ウインドウでの探索が終了した場合には、ステップ１３２へ移行する。

ステップ１３２では、検出結果の出力として、上記ステップ１２８で記録された歩行者領域に基づいて、撮像画像に対して、検出された歩行者がウインドウで囲まれて表示されるように表示装置１８を制御して、処理を終了する。

以上説明したように、第１の実施の形態の歩行者検出装置１０によれば、ウインドウ画像の位置に対応して予め定められたフローの大きさの範囲内のフローを、ウインドウ画像内の移動物上のフローから抽出し、フローの抽出結果と、識別モデルを用いて算出されたスコアとに基づいて、ウインドウ画像が歩行者を表す画像か否かを識別することにより、歩行者の動きに関わらず、歩行者を安定して検出することができる。また、画像パタンにより歩行者候補であると判断されたウインドウ画像と画像から得られるフローの情報との整合性を判定することで、未検出、誤検出を低減し安定した歩行者検出が可能となる。

また、複数の向きからなる全身モデル、及び各部位の姿勢別の部位モデルを識別モデルとして用いてスコアを算出し、ウインドウ画像が歩行者を表す画像か否かを識別することにより、歩行者を安定して検出することができる。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る歩行者検出装置は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

第２の実施の形態では、歩行者候補のウインドウ画像で仮定される歩行者の横位置を更に考慮して、ウインドウ画像内の移動物上のフローを限定している点が、第１の実施の形態と異なっている。

図１２に、上記図５の例とは異なる横位置（５ｍ）に歩行者が存在する場合における距離とフローの大きさとの関係を示す。上記図５、図１２に示すように、歩行者の横位置の違いによりフローの大きさは異なる。すなわち、画像から得られるフローは、カメラ中心からの横位置が遠くなるほど大きなフローが得られる。

そこで、本実施の形態では、移動物フロー限定部３０は、スコア算出部２２によって算出された統合スコアが閾値以上であるウインドウ画像について、撮像画像上の当該ウインドウ画像の位置から、歩行者候補の横位置を算出し、当該ウインドウ画像の撮像画像上の高さ方向の位置及び算出した歩行者候補の横位置に応じて予め定められたフローの大きさの範囲に基づいて、当該ウインドウ画像内の移動物上のフローから、当該範囲のフローに限定する。なお、ウインドウ画像の撮像画像上の各位置（高さ方向の位置）について、当該位置に応じた距離と、横位置の各値との組み合わせの各々から、歩行者上のフローの大きさの範囲を予め求めておけばよい。

なお、第２の実施の形態に係る歩行者検出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、ウインドウ画像の高さ方向の位置及びウインドウ画像から仮定される歩行者候補の横位置に対応して予め定められたフローの大きさの範囲内のフローを、ウインドウ画像内の移動物上のフローから抽出し、フローの抽出結果と、識別モデルを用いて算出されたスコアとに基づいて、ウインドウ画像が歩行者を表す画像か否かを識別することにより、歩行者の動きに関わらず、歩行者を安定して検出することができる。

次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る歩行者検出装置は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

第３の実施の形態では、スコアに基づいて得られた歩行者の向きを更に考慮して、ウインドウ画像内の移動物上のフローを限定している点が、第１の実施の形態と異なっている。

本実施の形態では、スコア算出部２２で得られた歩行者の向き情報を利用する。上記図５に示すように、歩行者の方向（横向き、前向き、後向き）によって、算出されるフローの大きさも異なる。

そこで、本実施の形態では、移動物フロー限定部３０は、スコア算出部２２によって算出された統合スコアが閾値以上であるウインドウ画像について、スコア算出部２２によって得られた歩行者の向きと、当該ウインドウ画像の撮像画像上の高さ方向の位置とに応じて予め定められたフローの大きさの範囲に基づいて、当該ウインドウ画像内の移動物上のフローから、当該範囲のフローに限定する。なお、ウインドウ画像の撮像画像上の各位置（高さ方向の位置）について、当該位置に応じた距離と、歩行者の向きとの組み合わせの各々から、歩行者上のフローの大きさの範囲を予め求めておけばよい。

なお、第３の実施の形態に係る歩行者検出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、ウインドウ画像の高さ方向の位置及びスコアに基づく歩行者候補の向きに対応して予め定められたフローの大きさの範囲内のフローを、ウインドウ画像内の移動物上のフローから抽出し、フローの抽出結果と、識別モデルを用いて算出されたスコアとに基づいて、ウインドウ画像が歩行者を表す画像か否かを識別することにより、歩行者の動きに関わらず、歩行者を安定して検出することができる。また、歩行者の向きを利用することにより、対象としている歩行者が移動していれば進行方向が推定できるため、スコア補正に利用するフローをより限定することができる。

なお、上記の第２の実施の形態と同様に、ウインドウ画像について求められる横位置を更に考慮して、フローの大きさの範囲を限定するようにしてもよい。

次に、第４の実施の形態について説明する。なお、第３の実施の形態に係る歩行者検出装置は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

第４の実施の形態では、スコアに基づいて得られた部位に関する姿勢について予め求められた動き情報を用いて、スコアを補正している点が、第１の実施の形態と異なっている。

第４の実施の形態に係る歩行者検出装置の識別モデル記憶部２４では、各部位の姿勢毎の部位モデルについて、図１３（Ａ）〜（Ｃ）に示すように、一般的なパタン認識に用いられるモデルの他に、当該部位モデルの姿勢が動きを有するかどうかの情報を保持している。例えば、上記図１３（Ａ）に示す脚部モデル１の場合には、この姿勢パタンの歩行者が動いている確率は０．９であるという情報を保持している。この動き情報は、多量の学習データから求めることが可能である。なお、ウインドウ画像のスコアを算出する場合には、動き情報は使用せず、パタン認識に用いられるモデルのみを使用する。

ここで、本実施の形態の原理について説明する。

移動している歩行者を検出する場合にはフロー（動き）情報が有効である。上記図３に示した脚部の部位モデルのうち、上記図３（Ａ）と図３（Ｂ）の部位モデルに関しては、歩行者が動いている可能性が高いという特徴がある。また、上記図３（Ｄ）に関しては、静止しているのか動いているのかは判定が難しいという特徴がある。画像パタンから得られたある部位で認識された姿勢において動いている可能性が高く、あわせてフローが確かに検出されていれば、その物体は歩行者である確信度（スコア）を高くすることで、歩行者の未検出を減らすことができる。

また、ある部位で認識された姿勢において動いている可能性が低く、フローが検出されない場合には、静止歩行者の確信度を上げることが可能になる。逆に、ある部位で認識された姿勢において動いている可能性が低いにも関わらずフローが検出されていれば歩行者である確信度を下げることで誤検出低減が実現できる。

このように、画像パタン（見え方）の情報から得られる姿勢に付加した動き情報と、画像から得られるフローの情報との整合性を利用することで、安定した検出を行うことができる。

そこで、本実施の形態では、歩行者識別部３２によって、以下に説明するように、各ウインドウ画像について、各部位について得られた姿勢とフローの有無との整合性を利用して、統合スコアの補正を行い、歩行者識別処理を行う。

スコア算出部２２において各部位の姿勢別部位モデルにより各部位の姿勢が検出される。例えば、脚部領域が上記図４に示す脚部モデル２（跳ね上げ）と検出された場合を考える。脚部モデル２にはパタン識別に利用するモデル以外に動き情報を保持しており、脚部モデル２の動き情報はこの姿勢の場合に歩行者が動いている確率が０．９５であり、動いている可能性が非常に高いという情報を持っている。このとき、ウインドウ画像内にフローが存在しなければ歩行者候補は動いていないことになり、脚部モデル２の動き情報との不整合が生じる。一方、ウインドウ画像内にフローが存在していれば歩行者候補は動いていることになり、脚部モデル２の動き情報と整合する。そこで、動き情報とフローの情報から、以下の（２)式に従ってスコアを補正することができる。

ここでＳ’は補正後の統合スコアであり、Ｓは、スコア算出部２２で求められる統合スコアである。また、Ｋは部位の数であり、Ｐｍ_ｉは、スコア算出部２２で求められた部位ｉの姿勢に対応するモデルが保持する動き情報（動きありの確率）である。α（＞０）は補正パラメータであり、αの値が大きければ補正の量が大きくなり、小さければ補正の量は小さくなる。Ｎ_ｆは移動物フロー限定部３０により限定されたウインドウ画像内に含まれるフローの数で、ｔｈはあらかじめ設定したフローの数の閾値である。

上記（１）式によれば、フローの数が少ない場合（Ｎ_ｆ≦ｔｈ）には、ある部位について得られた姿勢に対する動きありの確率Ｐｍが高い（０．５以上）と、スコアが小さくなるように補正され、フローの数が多い場合（Ｎ_ｆ≧ｔｈ）には、動きありの確率Ｐｍが高い（０．５以上）と、スコアが大きくなるように補正される。

なお、第４の実施の形態に係る歩行者検出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第４の実施の形態に係る歩行者検出装置によれば、各部位の姿勢別部位モデルに動きに関する情報を予め付加し、画像パタンによる歩行者検出から得られる各部位の姿勢と、画像から得られるフローの情報との整合性を判定することで、安定した歩行者検出が可能となる。

また、各部位の姿勢ごとに学習された複数の歩行者モデルを用いて検出を行うため、歩行者の位置、大きさに加えて、歩行者の姿勢情報を知ることができる。一方、ある時刻における歩行者の各部位の姿勢から、その歩行者が動いている可能性が高いか低いかを推測することが可能である。そこで、画像パタンで得られる歩行者の姿勢情報と画像全体から得られるフローの情報を用いることで、画像パタンの認識結果とフロー情報の整合性を判断して、歩行者検出の性能を向上させることができる。

なお、上記の第２の実施の形態、第３の実施の形態と同様に、ウインドウ画像について求められる横位置、または歩行者候補の向きを更に考慮して、フローの大きさの範囲を限定するようにしてもよい。

次に、第５の実施の形態について説明する。なお、第５の実施の形態に係る歩行者検出装置は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

第５の実施の形態では、ウインドウ画像サイズから、歩行者候補までの距離を算出している点が、第１の実施の形態と異なっている。

上記図６、図７に示すように、歩行者候補までの距離は、撮像画像におけるウインドウ画像の位置だけでなく、ウインドウ画像サイズからも算出することが可能である。そこで、本実施の形態では、移動物フロー限定部３０によって、スコア算出部２２によって算出された統合スコアが閾値以上であるウインドウ画像について、当該ウインドウ画像の撮像画像上のサイズ（高さ方向のサイズ）に応じて予め定められたフローの大きさの範囲に基づいて、当該ウインドウ画像内の移動物上のフローから、当該範囲内のフローに限定する。なお、ウインドウ画像の撮像画像上の各サイズ（高さ方向のサイズ）について、当該サイズに応じた距離Ｄ（上記図６、図７参照）から、歩行者上のフローの大きさの範囲を予め求めておけばよい。また、ウインドウ画像のサイズに応じた歩行者候補までの距離は、歩行者の身長を仮定（例えば日本人の平均身長約170cm）して求めることが可能である。すなわち、以下の（３）式に従って、距離Ｄを算出する。

ただし、Ｗ_heightは、ウインドウ画像の高さ[pixel]であり、Ｐｅｄ_heightは、仮定した歩行者身長[ｍ]である。

なお、第５の実施の形態に係る歩行者検出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

上記の第１の実施の形態〜第５の実施では、対象としているウインドウ画像の位置やサイズから、歩行者候補の距離や横位置を算出する場合を例に説明したが、これに限定されるものではない。例えば、ステレオカメラやレーザーレーダーなどの距離を測定できるものを利用可能な場合には、それらから得られた情報を用いて歩行者候補の距離や横位置を求めるようにしてもよい。

また、上記の第１の実施の形態〜第５の実施の形態において、スコアの閾値処理により、非歩行者のウインドウ画像を取り除く処理を行う場合を例に説明したが、スコアの閾値処理により非歩行者のウインドウ画像を取り除く処理を省略してもよい。

１０ 歩行者検出装置
１２ 撮像装置
１６ コンピュータ
１８ 表示装置
１９ 画像取得部
２０ ウインドウ画像抽出部
２１ 特徴量抽出部
２２ スコア算出部
２４ 識別モデル記憶部
２６ フロー抽出部
２８ 移動物フロー抽出部
３０ 移動物フロー限定部
３２ 歩行者識別部

Claims (10)

1. 移動体に搭載された自装置の周辺を撮像した時系列の複数の撮像画像から、各特徴点について、前記撮像画像間で対応する前記特徴点の動きを示すフローを抽出するフロー抽出手段と、
   前記フロー抽出手段で抽出されたフローから、移動物上のフローを抽出する移動物フロー抽出手段と、
   前記撮像画像からウインドウ画像を抽出するウインドウ画像抽出手段と、
   予め学習された歩行者を識別するための識別モデルと、前記ウインドウ抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記歩行者らしさを示すスコアを算出するスコア算出手段と、
   前記撮像画像上の歩行者候補までの距離に対応して予め定められたフローの大きさの範囲に基づいて、前記移動物フロー抽出手段によって抽出された前記ウインドウ画像内の前記移動物上のフローから、大きさが前記範囲内のフローを抽出する歩行者フロー抽出手段と、
   前記歩行者フロー抽出手段による抽出結果と、前記スコア算出手段によって算出された前記スコアとに基づいて、前記ウインドウ画像が前記歩行者を表す画像か否かを識別する識別手段と、
   を含む歩行者検出装置。
2. 前記フローの大きさの範囲は、前記撮像画像上の歩行者候補までの距離が遠いほど、フローの大きさが小さくなるように予め定められた請求項１記載の歩行者検出装置。
3. 前記フローの大きさの範囲は、前記撮像画像上の前記ウインドウ画像の位置から求められる歩行者候補の横位置が、前記移動体の横位置より離れているほど、フローの大きさが大きくなるように予め定められた請求項１又は２記載の歩行者検出装置。
4. 前記識別手段は、前記歩行者フロー抽出手段によって抽出された前記フローの数に応じて、前記スコア算出手段によって算出された前記スコアを補正し、前記補正された前記スコアに基づいて、前記ウインドウ画像が前記歩行者を表す画像か否かを識別する請求項１〜請求項３の何れか１項記載の歩行者検出装置。
5. 前記スコア算出手段は、歩行者の向き毎に予め学習された前記識別モデルと、前記ウインドウ抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記向き毎に、前記歩行者らしさを示すスコアを算出し、
   前記歩行者フロー抽出手段は、前記撮像画像上の前記歩行者候補までの距離と、前記スコアが最大となる前記向きとに対応して予め定められたフローの大きさの範囲に基づいて、前記ウインドウ画像内の前記移動物上のフローから、大きさが前記範囲内のフローを抽出する請求項１〜請求項４の何れか１項記載の歩行者検出装置。
6. 前記スコア算出手段は、歩行者の姿勢毎に予め学習された前記識別モデルと、前記ウインドウ抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記姿勢毎に、前記歩行者らしさを示すスコアを算出し、
   前記識別手段は、前記スコアが最大となる前記姿勢に対して予め定められた歩行者の動きの有無と、前記歩行者フロー抽出手段によって抽出された前記フローの数との整合性に応じて、前記スコア算出手段によって算出された前記スコアを補正し、補正されたスコアに基づいて、前記ウインドウ画像が前記歩行者を表す画像か否かを識別する請求項１〜請求項４の何れか１項記載の歩行者検出装置。
7. 前記歩行者フロー抽出手段は、前記撮像画像上の前記ウインドウ画像の位置から求められる前記歩行者候補までの距離に対応して予め定められたフローの大きさの範囲に基づいて、前記移動物フロー抽出手段によって抽出された前記ウインドウ画像内の前記移動物上のフローから、大きさが前記範囲内のフローを抽出する請求項１〜請求項６の何れか１項記載の歩行者検出装置。
8. 前記歩行者フロー抽出手段は、前記撮像画像上の前記ウインドウ画像のサイズから求められる前記歩行者候補までの距離に対応して予め定められたフローの大きさの範囲に基づいて、前記移動物フロー抽出手段によって抽出された前記ウインドウ画像内の前記移動物上のフローから、大きさが前記範囲内のフローを抽出する請求項１〜請求項６の何れか１項記載の歩行者検出装置。
9. 前記移動物フロー抽出手段は、前記移動体の運動に基づいて、前記フロー抽出手段で抽出されたフローから、前記移動物上のフローを抽出する請求項１〜請求項８の何れか１項記載の歩行者検出装置。
10. コンピュータを、
    移動体に搭載された自装置の周辺を撮像した時系列の複数の撮像画像から、各特徴点について、前記撮像画像間で対応する前記特徴点の動きを示すフローを抽出するフロー抽出手段、
    前記フロー抽出手段で抽出されたフローから、移動物上のフローを抽出する移動物フロー抽出手段、
    前記撮像画像からウインドウ画像を抽出するウインドウ画像抽出手段、
    予め学習された歩行者を識別するための識別モデルと、前記ウインドウ抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記歩行者らしさを示すスコアを算出するスコア算出手段、
    前記撮像画像上の歩行者候補までの距離に対応して予め定められたフローの大きさの範囲に基づいて、前記移動物フロー抽出手段によって抽出された前記ウインドウ画像内の前記移動物上のフローから、大きさが前記範囲内のフローを抽出する歩行者フロー抽出手段及び、
    前記歩行者フロー抽出手段による抽出結果と、前記スコア算出手段によって算出された前記スコアとに基づいて、前記ウインドウ画像が前記歩行者を表す画像か否かを識別する識別手段
    として機能させるためのプログラム。