JP2019101818A - 歩行者検出装置、及び歩行者検出方法 - Google Patents

Abstract

【課題】識別辞書を用いて歩行者を検出できない場合でも、歩行者を高精度に検出可能な歩行者検出装置、及び歩行者検出方法を提供する。【解決手段】識別辞書が記憶されている辞書記憶部と、テンプレート画像として、過去画像から検出された歩行者の画像が歩行者と対応づけられて記憶されている画像記憶部と、検出された歩行者の位置を追跡して、現在画像において歩行者が存在する歩行者位置を予測するトラッキング部と、現在画像において、識別辞書の特徴を有する箇所を探索して、歩行者を検出する第１検出部と、現在画像における予測された歩行者位置を含む所定領域において、第１検出部によって歩行者が検出されなかった場合に、所定領域とテンプレート画像とのマッチングを実行して、現在画像の所定領域から歩行者を検出する第２検出部と、を備える。【選択図】図３

Description

本開示は、画像から歩行者を検出する技術に関する。

撮影画像から歩行者を検出する装置として、特許文献１に記載の歩行者検出装置がある。特許文献１に記載の歩行者検出装置では、歩行者の形状が備える複数の特徴を数値化して記述した識別辞書を用意しておき、撮影画像の中で識別辞書に記述された特徴を有する箇所を探索して、撮影画像中の歩行者の位置を検出している。

特許第４６８６６６３号公報

上記歩行者検出装置では、識別辞書の内容によっては、識別辞書を用いて撮影画像中の歩行者を検出できないことがある。識別辞書を用いて撮影画像中の歩行者を検出できない場合には、過去の撮影画像で検出された歩行者の位置を追跡し、現在の撮影画像における歩行者の位置を予測して、予測した位置を歩行者の位置として検出することが考えられる。しかしながら、このような歩行者の追跡による位置の予測は、撮影画像から直接歩行者を検出する場合と比べて精度が低く、検出位置がずれることもある。

本開示は、上記実情に鑑みてなされたものであり、識別辞書を用いて歩行者を検出できない場合でも、歩行者を高精度に検出可能な歩行者検出装置、及び歩行者検出方法を提供することを目的とする。

本開示の一態様は、撮影画像から歩行者を検出する歩行者検出装置５０であって、辞書記憶部６６と、画像記憶部６６と、トラッキング部６４と、第１検出部６３１と、第２検出部６３２と、を備える。辞書記憶部は、一般化された歩行者の特徴が示された識別辞書が記憶されている。画像記憶部は、テンプレート画像として、過去の撮影画像である過去画像から検出された歩行者の画像が、検出された歩行者と対応付けられて記憶されている。トラッキング部は、過去画像における検出された歩行者の位置を追跡して、現在の撮影画像である現在画像において歩行者が存在する位置である歩行者位置を予測するように構成される。第１検出部は、現在画像において、辞書記憶部に記憶されている識別辞書の特徴を有する箇所を探索して、現在画像から歩行者を検出するように構成される。第２検出部は、現在画像におけるトラッキング部により予測された歩行者位置を含む所定領域において、第１検出部によって歩行者が検出されなかった場合に、所定領域と画像記憶部に記憶されているテンプレート画像とのマッチングを実行して、現在画像の所定領域から歩行者を検出するように構成される。

本開示の一態様によれば、過去に検出された歩行者の画像がテンプレート画像として記憶されている。そして、現在画像における予測された歩行者の位置を含む所定領域において、識別辞書を用いて歩行者を検出できなかった場合には、所定領域とテンプレート画像とのマッチングが実行される。これにより、識別辞書を用いて歩行者が検出されない場合でも、歩行者を検出することができる。そして、マッチングによって検出された歩行者の位置は、過去に検出された歩行者の位置から予測した位置と比べて精度が高い。したがって、識別辞書を用いて歩行者を検出できない場合でも、歩行者を高精度に検出することができる。

本開示の他の一態様は、撮影画像から歩行者を検出する歩行者検出方法であって、過去の撮影画像である過去画像から検出された歩行者の位置を追跡して、現在の撮影画像である現在画像において歩行者が存在する歩行者位置を予測することと、現在画像において、一般化された歩行者の特徴を有する箇所を探索して、特徴を有する箇所から歩行者を検出することと、現在画像における予測された歩行者位置を含む所定領域において、歩行者の特徴に基づいて歩行者が検出されなかった場合に、所定領域と過去画像から検出された歩行者の画像とのマッチングを実行して、現在画像の所定領域から歩行者を検出することと、を備える。

本開示の他の一態様によれば、歩行者検出装置と同様の効果を奏する。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

歩行者検出システムの構成を示すブロック図である。 検出処理部の構成を示すブロック図である。 歩行者検出処理の処理手順を示すフローチャートである。 識別子の入れ替わりを判定する処理手順を示すフローチャートである。 新規歩行者を判定する処理手順を示すフローチャートである。 辞書照合で歩行者を検出できなかった場合に、トラッキングで歩行者の位置を補間する処理を説明する説明図である。 辞書照合で歩行者を検出できなかった場合に、テンプレートマッチングで歩行者を検出する処理を説明する説明図である。 二人の歩行者が並行に交差した場合に、ＩＤの入れ替わりが発生する様子を説明する説明図である。 テンプレートマッチングを用いることで、二人の歩行者が並行に交差した場合にＩＤの入れ替わりが抑制される様子を説明する説明図である。 二人の歩行者が直交した場合に、ＩＤの入れ替わりが発生する様子を説明する説明図である。 テンプレートマッチングを用いることで、二人の歩行者が直交した場合にＩＤの入れ替わりが抑制される説明する説明図である。 歩行者が一時的に隠れた場合に、再出現した歩行者に新しいＩＤが付与される様子を説明する説明図である。 テンプレートマッチングを用いることで、歩行者が一時的に隠れた場合に、再出現した歩行者に隠れる前と同じＩＤが付与される様子を説明する説明図である。

以下、図面を参照しながら、本開示を実施するための形態を説明する。
＜１．歩行者検出システム＞
まず、本実施形態の歩行者検出システムについて、図１を参照して説明する。本実施形態の歩行者検出システムは、前方カメラ１１と、後方カメラ１２と、センサ類２０と、ＨＭＩ３０と、ＥＣＵ５０と、を備える。

前方カメラ１１及び後方カメラ１２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサと広角レンズとを備えるカメラである。前方カメラ１１は、車両前方が撮影範囲となるように、例えば、車両前端のバンパーに設置され、車両前方を撮影する。後方カメラ１２は、車両後方が撮影範囲となるように、例えば、車両後端のバンパーに設置され、車両後方を撮影する。

センサ類２０は、走行に関する車両情報を検出する各種のセンサである。具体的には、センサ類２０は、車速を検出する車速センサ、車両の操舵角を検出する操舵角センサ、車両のブレーキのオン・オフを検出するブレーキセンサを含む複数のセンサである。

ＨＭＩ３０は、ＥＣＵ５０とユーザとが情報をやり取りするための装置であり、表示装置及び音声出力装置を含むヒューマンマシンインターフェースである。ＥＣＵ５０からＨＭＩ３０へ送信された情報は、ＨＭＩ３０の表示装置に表示されたり、音声出力装置から音声出力されたりする。表示装置は、例えば液晶ディスプレイであり、音声出力装置は、例えば、スピーカである。

ＥＣＵ５０は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３及びＩ／Ｏ等を備えたマイクロコンピュータを主体とする制御装置である。ＥＣＵ５０に含まれるマイクロコンピュータの数は１つでも複数でもよい。本実施形態では、ＥＣＵ５０が歩行者検出装置に相当し、歩行者検出方法を実行する。

ＥＣＵ５０は、内部データベース６６を備える。内部データベース６６は、フラッシュメモリ等の半導体メモリによって構成されている。内部データベース６６には、一般化された歩行者の特徴が示された識別辞書、及び、過去の撮影画像（以下、過去画像）から検出された歩行者の画像がテンプレート画像として記憶されている。識別辞書は、一般化された歩行者の画像であって、撮影画像よりも小さい画像によって形成されており、複数種類の識別辞書を含んでいてもよい。また、テンプレート画像は、検出された歩行者のＩＤと対応づけられて記憶されている。テンプレート画像として、過去の撮影画像から検出された複数の歩行者の画像が記憶されていてもよい。本実施形態では、ＩＤが識別子に相当し、内部データベース６６が辞書記憶部及び画像記憶部に相当する。

また、ＥＣＵ５０は、ＣＰＵ５１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより、又はハードウェアを用いることにより、画像処理部６１、特徴量抽出部６２、検出処理部６３、トラッキング部６４、及び出力生成部６５の機能を備える。

画像処理部６１は、前方カメラ１１及び後方カメラ１２によって撮影されたカメラ画像の歪みを補正するようにカメラ画像の座標を変換する。前方カメラ１１及び後方カメラ１２のレンズは広角レンズであるため、広範囲を撮影できるがカメラ画像に歪みが生じる。画像処理部６１は、カメラ画像の歪みを補正して、水平方向の道路が真っ直ぐで、歩行者を検出しやすい撮影画像を生成する。

特徴量抽出部６２は、画像処理部６１により生成された撮影画像から、特徴量を抽出する。特徴量は、例えば、輝度、色情報、ＨＯＧなどである。ＨＯＧは、Histograms of Oriented Gradientsの略である。

トラッキング部６４は、過去画像から検出された歩行者の位置を追跡して、現在の撮影画像（以下、現在画像）において歩行者が存在する位置である歩行者位置ＴＰを予測する。詳しくは、トラッキング部６４は、現在画像に直近の数個のフレームの過去画像、車両の車速、操舵角などを用いて、歩行者位置を予測する。

検出処理部６３は、特徴量抽出部６２によって抽出された特徴量を用いて、現在画像から歩行者を検出する。詳しくは、図２に示すように、検出処理部６３は、第１検出部６３１と、第２検出部６３２と、ＩＤ付与部６３３と、入れ替わり判定部６３４と、新規判定部６３５と、保存処理部６３６と、を備える。検出処理部６３の各機能が実行する処理の詳細は後述する。

出力生成部６５は、検出された歩行者の撮影画像上の位置をカメラ画像上の位置に変換する。そして、出力生成部６５は、カメラ画像上に、検出された歩行者の位置をＩＤごとに識別して表示した出力画像を生成し、生成した出力画像をＨＭＩ３０へ送信する。例えば、出力生成部６５は、ＩＤごとに歩行者の位置を示す表示の色を変え、フレームが変わっても、同じＩＤに対応する表示は同じ色にすればよい。

＜２．歩行者検出処理＞
次に、本実施形態の歩行者検出処理の処理手順について、図３のフローチャートを参照して説明する。ＥＣＵ５０は、所定の周期で本処理手順を実行する。

まず、Ｓ１０において、トラッキングにより過去画像から検出された歩行者の位置に基づいて、現在画像における歩行者位置ＴＰを予測する。
続いて、Ｓ２０において、変数ｉに「１」を設定する。変数ｉは、撮影画像の水平方向のピクセルの位置を表す。ｉ＝１は、撮影画像の水平方向の一番左側のピクセルを表す。

続いて、Ｓ３０において、現在画像において、水平方向の一番左側のピクセルに識別辞書の左端を合わせて、辞書照合を行う。詳しくは、現在画像において、識別辞書と同じ大きさの領域から算出された特徴量と識別辞書の特徴量とを比較して、一致する場合に、歩行者を検出する。さらに、現在画像において、識別辞書を垂直方向に１ピクセルずつずらして、辞書照合を行う。

そして、検出された歩行者に対して歩行者ごとに異なるＩＤを付与する。詳しくは、検出された歩行者は、その検出位置と一致する所定領域ＲＡに対応する歩行者と同一と見なす。所定領域ＲＡは、予測された歩行者位置ＴＰとその周辺を含む領域である。そして、検出された歩行者に対して、その検出位置と一致する所定領域ＲＡに対応する歩行者に付与されているＩＤを付与する。

続いて、Ｓ４０では、現在画像において、今回識別辞書で探索した領域に存在する所定領域ＲＡの中に、歩行者が検出されていない所定領域ＲＡが存在するか否か判定する。すなわち、現在画像において歩行者が存在する可能性の高い領域において、歩行者が検出されたか否か判定する。

歩行者の検出に識別辞書を用いる場合、現在画像上に識別辞書で示された特徴から外れた歩行者が存在しても、このような歩行者を検出できないことがある。例えば、識別辞書が足を開いている歩行者の特徴を示している場合、足を閉じている歩行者を検出できないことがある。また、識別辞書がスカートを着用している歩行者の特徴を示している場合、ズボンを着用している歩行者を検出できないことがある。そこで、現在画像上に歩行者が存在する可能性が高いにもかかわらず、識別辞書を用いて歩行者を検出できなかった場合には、他の手法を用いて歩行者を検出するために、Ｓ４０の判定を行なう。

Ｓ４０において、歩行者が検出されていない所定領域ＲＡが存在しないと判定した場合、Ｓ５０へ進む。Ｓ５０では、Ｓ３０において検出された歩行者の画像を、テンプレート画像として、検出された歩行者に付与されたＩＤと対応づけて、内部データベース６６に保存する。

続いて、Ｓ６０では、ＩＤ入れ替わり判定処理を実行する。ＩＤ入れ替わり判定処理は、検出された歩行者に付与されたＩＤが、複数の歩行者間で入れ替わっているか否か判定する処理であり、その詳細は後述する。

続いて、Ｓ７０では、新規歩行者判定処理を実行する。新規歩行者判定処理は、識別辞書を用いた辞書照合によって、過去に検出されていない新規歩行者が検出されたか否か判定する処理であり、その詳細は後述する。

続いて、Ｓ８０では、辞書照合の結果から出力を生成する。詳しくは、Ｓ３０で検出された歩行者の位置と付与されたＩＤに、辞書照合の結果であるという情報を付加した出力を生成する。

また、Ｓ４０において、歩行者が検出されていない所定領域ＲＡが存在すると判定した場合、Ｓ９０へ進む。Ｓ９０では、歩行者が検出されていない所定領域ＲＡと内部データベース６６に記憶されているテンプレート画像とのテンプレートマッチングを実行する。そして、所定領域の特徴量とテンプレート画像の特徴量とが一致した場合に、所定領域ＲＡから歩行者を検出する。このとき用いるテンプレート画像は、現在画像よりも１フレーム前の直近の画像にするとよい。つまり、Ｓ９０では、現在画像において歩行者の存在可能性が高い領域から、一般化された歩行者の特徴を用いて歩行者を検出できなかった場合に、過去に検出されている歩行者の個別の特徴を用いて歩行者を検出する。

そして、検出された歩行者は、特徴量が一致したテンプレート画像に対応する歩行者と同一と見なす。そして、検出された歩行者に対して、特徴量が一致したテンプレート画像に対応する歩行者に付与されているＩＤを付与する。

図６に、１フレーム目において識別辞書を用いて歩行者を検出し、２フレーム目及び３フレーム目において識別辞書を用いて歩行者が検出できず、トラッキングにより予測した歩行者位置ＴＰを出力する例を示す。また、図７に、１フレーム目において識別辞書を用いて歩行者を検出し、２フレーム目及び３フレーム目において識別辞書を用いて歩行者が検出できず、テンプレートマッチングにより検出した歩行者の位置を出力する例を示す。

図６に示すように、トラッキングにより予測した歩行者位置ＴＰは、実際に歩行者が存在する位置からずれることがある。また、歩行者位置ＴＰは、フレームが進むにつれて精度が下がってずれが大きくなる。そのため、歩行者の位置として歩行者位置ＴＰを出力する場合、精度の低い歩行者の位置がその後の制御に用いられることがある。

一方、図７に示すように、歩行者位置ＴＰ及びその周辺とテンプレート画像とのマッチングを行って検出された歩行者の位置は、画像を用いたマッチングのため精度が高い。また、フレームが進んでも、テンプレート画像とのマッチングによって検出された歩行者の位置は、精度の低下が少ない。そのため、テンプレート画像とのマッチングによって検出された歩行者の位置を出力する場合、精度の高い歩行者の位置をその後の制御に用いることができる。

図３に戻って、次のＳ１００では、Ｓ９０において、歩行者が検出されたか否か判定する。Ｓ１００において、歩行者が検出されていると判定した場合には、Ｓ１１０へ進む。Ｓ１１０では、Ｓ９０において検出された歩行者の画像を、テンプレート画像として、検出された歩行者に付与されたＩＤと対応づけて、内部データベース６６に保存する。

続いて、Ｓ１２０では、テンプレートマッチングの結果から出力を生成する。詳しくは、Ｓ９０で検出された歩行者の位置と付与されたＩＤに、テンプレートマッチングの結果であるという情報を付加した出力を生成する。

また、Ｓ１００において、歩行者が検出されていないと判定した場合には、Ｓ１３０へ進む。Ｓ１３０では、歩行者が検出されていない所定領域ＲＡに含まれる歩行者位置ＴＰから出力を生成する。詳しくは、歩行者位置ＴＰと、歩行者位置ＴＰに対応する過去に検出された歩行者に付与されたＩＤに、トラッキング予測の結果であるという情報を付加した出力を生成する。どの手法による結果であるかという情報を付加することにより、出力結果に問題があった場合に、原因箇所を特定することができる。

続いて、Ｓ１４０では、変数ｉを「１」増加する。
続いて、Ｓ１５０では、変数ｉがPim以下であるか否か判定する。Pimは、現在画像の水平方向において、識別辞書を配置できる最も右側のピクセルに対応する。変数ｉがPim以下の場合は、現在画像において識別辞書を配置する位置を１ピクセル右にずらして、Ｓ３０〜Ｓ１５０の処理を繰り返す。変数ｉがPimよりも大きい場合は、本処理を終了する。

本実施形態では、Ｓ１０の処理がトラッキング部６４の機能に相当する。また、Ｓ３０の処理が第１検出部６３１及びＩＤ付与部６３３の機能に相当し、Ｓ９０の処理が第２検出部６３２及びＩＤ付与部６３３の機能に相当する。また、Ｓ５０及びＳ１１０の処理が保存処理部６３６の機能に相当する。また、Ｓ６０、Ｓ２００〜Ｓ２３０の処理が入れ替わり判定部６３４の機能に相当する。また、Ｓ７０、Ｓ３００〜Ｓ３４０の処理が新規判定部６３５の機能に相当する。また、Ｓ８０、Ｓ１２０、Ｓ１３０の処理が出力生成部６５の機能に相当する。

＜２−１．ＩＤ入れ替わり判定処理＞
次に、ＩＤ入れ替わり判定処理の処理手順について、図４のフローチャートを参照して説明する。

まず、Ｓ２００では、辞書照合によって検出された歩行者が判定領域に複数存在するか否か判定する。判定領域は、歩行者の体の一部が他の歩行者の体の一部と重なって写るような範囲である。本実施形態では、現在画像の左側から右側へ歩行者を検出しているので、現時点のｉに対応する位置から左側の判定領域において、辞書照合によって歩行者を複数検出しているか否か判定する。Ｓ２００において、歩行者が判定領域に複数存在しない場合は、本処理を終了する。一方、Ｓ２００において、歩行者が判定領域に複数存在する場合は、Ｓ２１０の処理に進む。

図８に、歩行者ＩＤ１と歩行者ＩＤ２が互いに反対方向から進んできて並行に直交交差する場合における、３つのフレームの模式的な撮影画像を示す。また、図１０は、歩行者ＩＤ１と歩行者ＩＤ２が互いに直交する方向から進んできて交差する場合における、３つのフレームの模式的な撮影画像を示す。図８及び図１０において、２つ目のフレームでは、歩行者ＩＤ１と歩行者ＩＤ２とが重なり、判定領域に二人の歩行者が検出される。

歩行者ＩＤ１，ＩＤ２が比較的速い一定速度で歩行している場合は、トラッキングによる歩行者ＩＤ１，ＩＤ２の追跡精度は比較的高い。しかしながら、歩行者ＩＤ１，ＩＤ２がともに比較的遅い速度で歩行していたり、歩行方向を変えたりした場合には、トラッキングによる歩行者ＩＤ１，ＩＤ２の追跡精度が低くなる。トラッキングによる歩行者ＩＤ１，ＩＤ２の追跡精度が低くなると、歩行者が交差した場合に、辞書照合によって検出した歩行者に付与するＩＤが入れ替わることがある。その結果、図８及び図１０の３つ目のフレームに示すように、ＩＤ１を付与するべき歩行者にＩＤ２を付与し、ＩＤ２を付与するべき歩行者にＩＤ１を付与することになる。

図１０に示すように、歩行者ＩＤ１と歩行者ＩＤ２のＩＤが入れ替わると、車両の進行方向から車両に近づいている歩行者ＩＤ１が、車両から遠ざかるように方向を変えたように見えるため、危険が低いと判断されることがある。また、車両の前方を横切るように進んでいた歩行者ＩＤ２は、方向を変えて車両に近づいてくるように見えるが、急に方向が変わるため、危険と判断するタイミングが遅くなることがある。このように、辞書照合によって検出した複数の歩行者が近い範囲に存在すると、歩行者に付与するＩＤの入れ替わりが発生し、歩行者の位置を用いた制御に問題が生じる可能性がある。

そこで、図４に戻ってＳ２１０では、辞書照合によって検出した歩行者が判定領域に複数存在する場合は、その複数の歩行者とテンプレート画像とのテンプレートマッチングを実行する。

続いて、Ｓ２２０では、ＩＤの入れ替わりが発生しているか否か判定する。すなわち、各歩行者に付与されているＩＤと一致するテンプレート画像に対応するＩＤとが、同一の場合にはＩＤの入れ替わりが発生していないと判定し、異なる場合にはＩＤの入れ替わりが発生していると判定する。

Ｓ２２０において、ＩＤの入れ替わりが発生していないと判定した場合は、本処理を終了する。一方、Ｓ２２０において、ＩＤの入れ替わりが発生していると判定した場合は、各歩行者に対して、一致するテンプレート画像に対応するＩＤを付け直す。

図９に、図８の２つ目のフレームにおいてテンプレートマッチングを実行した場合の例を示す。また、図１１に、図１０の２つ目のフレームにおいてテンプレートマッチングを実行した場合の例を示す。図９及び図１１の３つ目のフレームに示すように、テンプレートマッチングを実行したことにより、各歩行者に対して正しいＩＤを付与している。図１１では、歩行者ＩＤ１が車両に近づき続けていると認識されるため、危険であると判断できる。以上で、本処理を終了する。

＜２−２．新規歩行者判定処理＞
次に、新規歩行者判定処理の処理手順について、図５のフローチャートを参照して説明する。

まず、Ｓ３００において、辞書照合によって、所定領域ＲＡと異なる位置で新規の歩行者を検出したか否か判定する。辞書照合を用いる場合、過去に検出した歩行者の位置に基づいた所定領域ＲＡと異なる位置でも、歩行者を検出することができる。つまり、辞書照合を用いる場合、過去に検出していない新しい歩行者を検出することができる。Ｓ３００において、新規の歩行者を検出していない場合は、本処理を終了する。Ｓ３００において、新規の歩行者を検出している場合は、Ｓ３１０の処理へ進む。

図１２に、検出した歩行者ＩＤ１が一旦柱の後に隠れて消失し再出現する場合における、３つのフレームの模式的な撮影画像を示す。この場合、歩行者ＩＤ１が柱の後に隠れて消失した時点で、歩行者ＩＤ１の追跡ができなくなる。そのため、歩行者ＩＤ１が再出現した際には、歩行者ＩＤ１は、所定領域ＲＡと異なる位置で新規の歩行者として検出され、新規のＩＤであるＩＤ２が付与され、歩行者ＩＤ２と認識される。すなわち、辞書照合を用いるだけでは、再出現した歩行者ＩＤ１は歩行者ＩＤ１として認識されない。

そこで、図５に戻ってＳ３１０では、新規に検出した歩行者とテンプレート画像とのテンプレートマッチングを実行する。
続いて、Ｓ３２０では、新規に検出した歩行者が過去に検出した歩行者と一致するか否か判定する。新規に検出した歩行者がテンプレート画像のいずれかと一致した場合には、新規に検出した歩行者が過去に検出した歩行者と一致すると判定して、Ｓ３３０へ進む。Ｓ３３０では、新規に検出した歩行者に対して、一致したテンプレート画像に対応するＩＤを付与する。

一方、新規に検出した歩行者がテンプレート画像のいずれとも一致しない場合には、新規に検出した歩行者に対して、新規のＩＤを付与する。
図１３に、図１２の３つ目のフレームにおいてテンプレートマッチングを実行した場合の例を示す。図１３の３つ目のフレームに示すように、テンプレートマッチングを実行したことにより、新規に出現した歩行者に過去に検出した歩行者ＩＤ１と同一のＩＤを付与しているため、新規に出現した歩行者と歩行者ＩＤ１が同一であると認識することができる。以上で本処理を終了する。

＜３．効果＞
以上説明した本実施形態によれば、以下の効果が得られる。
（１）過去に検出された歩行者の画像がテンプレート画像として記憶されている。そして、現在画像における所定領域ＲＡにおいて、識別照合によって歩行者を検出できなかった場合には、所定領域ＲＡとテンプレート画像とのテンプレートマッチングが実行される。これにより、識別照合によって歩行者が検出されない場合でも、歩行者を検出できることがある。そして、テンプレートマッチングによって検出された歩行者の位置は、過去に検出された歩行者の位置から予測した位置と比べて精度が高い。したがって、識別照合によって歩行者を検出できない場合でも、歩行者を高精度に検出することができる。

（２）識別照合によって歩行者を検出した場合でも、テンプレートマッチングによって歩行者を検出した場合でも、歩行者ごとに識別して、歩行者ごとに異なるＩＤを付与することができる。

（３）識別照合によって判定領域内に複数の歩行者を検出した場合には、複数の歩行者のそれぞれとテンプレート画像とのテンプレートマッチングを実行することにより、ＩＤの入れ替わりを抑制することができる。

（４）過去画像において検出した歩行者が、物陰に隠れて一旦検出されなくなった後に物陰から出て、新規歩行者として再検出した場合には、新規歩行者とテンプレート画像とのテンプレートマッチングが実行される。これにより、新規歩行者が過去に検出した歩行者と同じ歩行者であることを認識して、同じＩＤを付与することができる。

（５）新規に検出した新規歩行者とテンプレート画像とのテンプレートマッチングが実行され、新規歩行者とテンプレート画像とが一致しない場合には、新規歩行者が過去に検出していない歩行者であると認識して、新規歩行者に新規のＩＤを付与することができる。

（６）現在画像から検出した歩行者をテンプレート画像として保存することにより、次回以降の検出処理において、最新のテンプレート画像を用いることができるため、テンプレートマッチングの精度を向上させることができる。

（７）検出した歩行者を歩行者ごとに識別してＨＭＩ３０に表示することにより、ユーザは、直感的に歩行者ごとの動きを認識しやすい。
（他の実施形態）
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（ａ）上記実施形態では、車両が備えるカメラを前方カメラ１１と後方カメラ１２としたが、これに限定されるものではない。車両が備えるカメラは、前方カメラ１１と後方カメラ１２の一方でもよいし、側方カメラを更に備えていてもよい。

（ｂ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（ｃ）上述した歩行者検出装置及び歩行者検出方法の他、当該歩行者検出装置を構成要素とするシステム、当該歩行者検出装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体など、種々の形態で本開示を実現することもできる。

５０…ＥＣＵ、６４…トラッキング部、６６…内部データベース、６３１…第１検出部、６３２…第２検出部。

Claims (8)

1. 撮影画像から歩行者を検出する歩行者検出装置（５０）であって、
   一般化された歩行者の特徴が示された識別辞書が記憶されている辞書記憶部（６６）と、
   テンプレート画像として、過去の前記撮影画像である過去画像から検出された歩行者の画像が、前記検出された歩行者と対応付けられて記憶されている画像記憶部（６６）と、
   前記過去画像における前記検出された歩行者の位置を追跡して、現在の前記撮影画像である現在画像において前記歩行者が存在する位置である歩行者位置を予測するように構成されたトラッキング部（６４）と、
   前記現在画像において、前記辞書記憶部に記憶されている前記識別辞書の特徴を有する箇所を探索して、前記現在画像から歩行者を検出するように構成された第１検出部（６３１）と、
   前記現在画像における前記トラッキング部により予測された前記歩行者位置を含む所定領域において、前記第１検出部によって歩行者が検出されなかった場合に、前記所定領域と前記画像記憶部に記憶されている前記テンプレート画像とのマッチングを実行して、前記現在画像の前記所定領域から歩行者を検出するように構成された第２検出部（６３２）と、を備える、
   歩行者検出装置。
2. 検出された歩行者に対して歩行者ごとに異なる識別子を付与する識別子付与部（６３３）であって、前記第１検出部により前記現在画像から歩行者が検出された場合には、前記検出された歩行者に対して、前記歩行者が検出された位置と一致する前記所定領域に対応する歩行者に付与されている前記識別子を付与し、前記第２検出部により前記現在画像から歩行者が検出された場合には、前記検出された歩行者に対して、一致した前記テンプレート画像に対応する歩行者に付与されている前記識別子を付与するように構成された識別子付与部を備える、
   請求項１に記載の歩行者検出装置。
3. 前記第１検出部により予め設定された判定領域内に複数の歩行者が検出された場合には、前記判定領域内で検出された複数の歩行者のそれぞれと、前記画像記憶部に記憶されている前記テンプレート画像とのマッチングを実行して、前記判定領域内で検出された複数の歩行者に付与されている前記識別子の入れ替わりの発生の有無を判定し、前記識別子の入れ替わりの発生がある場合には、前記識別子を付け直すように構成された入れ替わり判定部（６３４）を備える、
   請求項２に記載の歩行者検出装置。
4. 前記第１検出部により、前記現在画像において、前記所定領域と異なる位置で新規の歩行者が検出されたか否か判定するように構成された新規判定部（６３５）を備え、
   前記識別子付与部は、前記新規判定部により前記新規の歩行者が検出されたと判定された場合に、前記新規の歩行者と前記画像記憶部に記憶されている前記テンプレート画像とのマッチングを実行して、前記新規の歩行者が前記テンプレート画像のいずれかと一致する場合に、前記新規の歩行者に対して、一致した前記テンプレート画像に対応する歩行者に付与されている前記識別子を付与するように構成されている、
   請求項２又は３に記載の歩行者検出装置。
5. 前記第１検出部により、前記現在画像において、前記所定領域と異なる位置で新規の歩行者が検出されたか否か判定するように構成された新規判定部を備え、
   前記識別子付与部は、前記新規判定部により前記新規の歩行者が検出されたと判定された場合に、前記新規の歩行者と前記画像記憶部に記憶されている前記テンプレート画像とのマッチングを実行して、前記新規の歩行者が前記テンプレート画像のいずれとも一致しない場合に、前記新規の歩行者に対して、新規の前記識別子を付与するように構成されている、
   請求項２〜４のいずれか１項に記載の歩行者検出装置。
6. 前記第１検出部又は前記第２検出部により歩行者が検出された場合に、前記検出された歩行者の画像を、前記テンプレート画像として前記画像記憶部に保存するように構成された保存処理部（６３６）を備える、
   請求項１〜５のいずれか１項に記載の歩行者検出装置。
7. 前記第１検出部又は前記第２検出部により検出された歩行者の位置を、対応する前記識別子ごとに識別して表示装置に表示させるように構成された出力制御部（６５）を備える、
   請求項２〜５のいずれか１項に記載の歩行者検出装置。
8. 撮影画像から歩行者を検出する歩行者検出方法であって、
   過去の前記撮影画像である過去画像から検出された歩行者の位置を追跡して、現在の前記撮影画像である現在画像において歩行者が存在する歩行者位置を予測することと、
   前記現在画像において、一般化された歩行者の特徴を有する箇所を探索して、前記特徴を有する箇所から歩行者を検出することと、
   前記現在画像における予測された前記歩行者位置を含む所定領域において、前記歩行者の特徴に基づいて歩行者が検出されなかった場合に、前記所定領域と前記過去画像から検出された歩行者の画像とのマッチングを実行して、前記現在画像の前記所定領域から歩行者を検出することと、を備える、
   歩行者検出方法。

Images