JP2010244194A

JP2010244194A - 物体識別装置

Info

Publication number: JP2010244194A
Application number: JP2009090322A
Authority: JP
Inventors: Akihiro Tsukada; 明宏塚田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2009-04-02
Filing date: 2009-04-02
Publication date: 2010-10-28
Anticipated expiration: 2029-04-02
Also published as: JP5136504B2

Abstract

【課題】対象物の識別精度を高めることができる物体識別装置を提供する。
【解決手段】物体識別装置１は、検出された被検出物体について歩行者の歩行動作に関連する所定の指標値を抽出し、抽出された被検出物体の指標値と所定の基準値との比較に基づいて歩行者を識別する物体識別装置であって、所定の基準値は、歩行者における特定の部位の他の部位に対する相対的な状態変化に関する特徴を示すことを特徴とする。
【選択図】図１

Description

本発明は、物体識別装置に関するものであり、特に、自動車の周辺の歩行者を識別する用途に好適に利用される物体識別装置に関するものである。

従来、このような分野の技術として、下記特許文献１に記載の物体認識装置が知られている。この装置は、車両の前方に存在する物体の横幅について、予測値と観測値とを比較し、その比較結果に基づいて前方の物体が車両である確率を算出する。

特開２００６−４７０３３号公報

しかしながら、この特許文献１の装置では、横幅が固定されている車両等の物体識別については適用が容易であるものの、歩行者など、動作に伴って状態が変化する対象物は、見える様態が経時的に変化し、動作の影響で横幅の予測精度が低下するので、対象物の識別精度が低下することになる。

このような問題に鑑み、本発明は、対象物の識別精度を高めることができる物体識別装置を提供することを目的とする。

本発明の物体識別装置は、検出された被検出物体について所定の認識対象物に関連する所定の指標値を抽出し、抽出された被検出物体の指標値と所定の基準値との比較に基づいて認識対象物を識別する物体識別装置であって、所定の基準値は、認識対象物における特定の部位の他の部位に対する相対的な状態変化に関する特徴を示すことを特徴とする。

この物体識別装置によれば、認識対象物における特定の部位の他の部位に対する相対的な状態変化に基づいて、被検出物体から認識対象物を識別することができる。従って、被検出物体が、所定の部位の状態を変化させるような動作を行う物体である場合にも、その動作に基づいて認識対象物を精度良く識別することができる。

本発明の物体識別装置は、検出された被検出物体について歩行者に関連する指標値を抽出し、抽出された被検出物体の指標値と所定の基準値との比較に基づいて歩行者を識別する物体識別装置であって、指標値は、歩行者の歩行動作に関する特徴量であることを特徴とする。

この物体識別装置によれば、歩行者の歩行動作に関する特徴量を、基準値と比較することによって被検出物体から歩行者を識別することができる。従って、歩行者を精度良く識別することができる。

また、所定の基準値は、被検出物体についての現在までの指標値に基づく予測により求められることとしてもよい。このような基準値を用いることにより、被検出物体の状況に応じた基準値を設定することができる。

また、所定の基準値は、認識対象物が分割されてなる部位ごとに定められることが好ましい。このような構成によれば、被検出物体の一部が遮蔽された場合でも、露出している部位の状態変化を指標値として、所定の基準値との比較を行うことができる。

また、所定の基準値は、歩行動作の歩調に関する特徴量を含むことが好ましい。この構成によれば、識別された歩行者について、更に歩調の速さによって区別可能な歩行者分類を識別することができる。

また、所定の指標値は、被検出物体の撮像画面における輝度の差分の時系列情報であることとしてもよい。この構成によれば、例えば、撮像画面中で被検出物体のエッジ部が明確に抽出できないなどの環境に左右されず、歩行動作に伴う撮像画面の輝度変化に基づいて歩行者を識別することができる。

また、本発明の物体識別装置は、被検出物体の撮像画面上における被検出物体の移動軌跡と、撮像画面上における水平な消失線と、の位置関係が所定の位置関係である場合には、被検出物体は認識対象物ではないと判定することが好ましい。識別すべき認識対象物の撮像画面上の移動軌跡と水平な消失線との間に、取り得る位置関係が存在する場合においては、この取り得る位置関係以外の位置関係を示す被検出物体を、認識対象物の候補から容易に除外することができる。

また、この場合、具体的には、被検出物体の撮像画面上における被検出物体の移動軌跡と、撮像画面上における水平な消失線と、がなす角度が所定の値以上である場合には、被検出物体は認識対象物ではないと判定することとしてもよい。識別すべき識別対象物が撮像画面上で水平な消失線に交差しないように動く傾向にある場合においては、このような動き以外の被検出物体を、認識対象物の候補から容易に除外することができる。

本発明の物体識別装置によれば、対象物の識別精度を高めることができる。

本発明の物体識別装置の第１実施形態の構成を示すブロック図である。図１の物体識別装置に入力される撮像画面を示す図である。被検出物体を追跡して得られる複数フレーム分の検出枠の画像を示す図である。検出枠を上下に分割してなる検出枠上部と検出枠下部とを示す図である。様態モデル保存部に保存された歩行者モデルを示す図である。歩行者モデルの特徴量と被検出物体の特徴量との比較処理を示す図である。図１の物体識別装置による歩行者検出処理の結果を示すグラフである。本発明の物体識別装置の第２実施形態の構成を示すブロック図である。図８の物体識別装置に入力される撮像画面を示す図である。本発明の物体識別装置の第３実施形態の構成を示すブロック図である。本発明の物体識別装置の第４実施形態の構成を示すブロック図である。被検出物体を追跡して得られる複数フレーム分の検出枠の画像を示す図である。本発明の物体識別装置の第５実施形態の構成を示すブロック図である。図１３の物体識別装置に入力される撮像画面を示す図である。

以下、図面を参照しつつ本発明に係る物体識別装置の好適な実施形態について詳細に説明する。

（第１実施形態）
図１に示す物体識別装置１は、自動車に搭載され、当該自動車の前方を撮像するカメラの映像に基づいて、自動車前方に存在する歩行者を識別する装置である。

物体識別装置１は、特徴量算出器１３と、尤度算出器１５と、対象物追跡部１７と、様態予測器１９と、時系列変化調整部２１と、類似度算出器２３と、補正尤度算出器２５と、様態モデル保存部２７と、を備えている。この物体識別装置１には、例えば、自動車の前方を撮像する車載カメラからの入力信号Ｓが入力される。

特徴量算出器１３は、入力信号Ｓで表される撮像画面中に歩行者らしき物体（以下「被検出物体」という。）が存在する場合に、当該被検出物体の特徴量を算出する。尤度算出器１５は、特徴量算出器１３で算出された特徴量に基づいて被検出物体の歩行者尤度を算出する。なお、歩行者尤度とは、被検出物体の歩行者らしさを定量的に示す指標である。対象物追跡部１７は、所定の閾値以上の歩行者尤度を示す被検出物体を、撮像画面中で追跡する。様態モデル保存部２７は、一般的な歩行者に見られる歩行動作を示す種々のタイプの歩行者モデルと、その歩行動作に対応する各映像フレームの特徴量と、が保存されている。様態予測器１９は、追跡中の被検出物体の連続したフレームにおける特徴量に基づいて、当該被検出物体の次のフレームにおける様態及び特徴量を予測する。時系列変化調整部２１は、歩行者モデルの時系列方向の伸縮処理を行う。

類似度算出器２３は、対象物追跡部１７で実際に得られた現在のフレームにおける被検出物体の特徴量（指標値）と、上記様態予測器１９の予測で得られる特徴量（基準値）と、を比較し、両者の類似度を算出する。補正尤度算出器２５は、類似度算出器２３で得られた類似度と、尤度算出器１５で得られた歩行者尤度と、に基づいて、更に高精度に補正された歩行者尤度（以下「補正歩行者尤度」という）を算出する。そして、この補正尤度算出器２５で得られた補正歩行者尤度が、被検出物体の歩行者尤度として物体識別装置１から出力され、更に後段のシステムに引き渡される。

続いて、物体識別装置１によって行われる補正歩行者尤度の導出処理について図１〜図５を参照しながら説明する。

図２に示すような撮像画面５１を表す入力信号Ｓ（図１）が物体識別装置１に入力され、撮像画面５１内に歩行者らしき物体５３（以下「被検出物体５３」という。）が検出された場合を考える。

このとき、物体識別装置１は、被検出物体５３が歩行者であるか否かの粗い判定を行う。具体的には、物体識別装置１の特徴量算出器１３は、当該被検出物体５３の画像の特徴量を算出する。そして、尤度算出器１５は、算出された特徴量を、予め設定された歩行者の特徴量と比較することにより、被検出物体５３の暫定的な歩行者尤度を算出する。そして、算出された歩行者尤度が、予め設定された尤度閾値よりも高い場合には、対象物追跡部１７は、撮像画面５１内における被検出物体５３の追跡を行う。

このとき、被検出物体５３を囲む矩形の検出枠５５が画面上に設定される。対象物追跡部１７による追跡の結果として、図３に示すように、複数フレームｔ１〜ｔ４分の検出枠５５の画像が取得される。以上の被検出物体５３の検出、被検出物体５３の歩行者尤度算出、及び被検出物体５３の追跡の手法としては、公知の手法が用いられる。

次に、様態予測器１９は、複数フレームｔ１〜ｔ４において検出枠５５の画面の変化を示す特徴量を抽出する。

具体的には、フレームｔ１における直前フレームからの変化を示す特徴量は以下のように導出される。すなわち、図４に示すように、検出枠５５を検出枠上部５５Ｕと検出枠下部５５Ｌとに２分割する。さらに、検出枠上部５５Ｕを縦横１６分割し、１６箇所の格子部５７Ｕを設定する。同様にして検出枠下部５５Ｌにも、１６箇所の格子部５７Ｌを設定する。

まず、様態予測器１９は、フレームｔ１及び直前フレームの検出枠５５において、被検出物体５３のエッジ部を検出し、このエッジ部のオプティカルフローを算出する。そして、検出枠下部５５Ｌにおけるオプティカルフローの方向と大きさとを、１６箇所の各格子部５７Ｌごとに集計してヒストグラムを算出する。この算出されたヒストグラムのデータが、フレームｔ１における検出枠下部５５Ｌの特徴量となる。検出枠下部５５Ｌの特徴量D_lowは、各格子部５７Ｌごとのオプティカルフローの方向ごとの、オプティカルフローの大きさを要素として、
D_low＝｛d1,d2,d3，…，dN｝
と表される。例えば、オプティカルフローの方向が４種類に分類されるとすれば、N＝１６×４＝６４である。なお、まったく同様にして、検出枠上部５５Ｕの特徴量D_upも、
D_up＝｛d'1,d'2,d'3，…，d'N｝
といったようにD_lowと同じ形で表される。

様態予測器１９は、以上のような処理により、被検出物体５３における、検出枠上部５５Ｕの動きを示す特徴量D_up及び検出枠下部５５Ｌの動きを示す特徴量D_lowを、各フレームｔ１〜ｔ４ごとに得ることができる。

続いて、様態予測器１９は、検出枠下部５５Ｌの現在までの直近の４フレーム分ｔ１〜ｔ４の特徴量D_lowに基づいて、その次のフレームｔ５における検出枠下部５５Ｌの特徴量D_lowを予測する。この予測処理の具体的な処理は、次の通りである。

ここで、様態モデル保存部２７には、図５に示すように、複数の種々のタイプの歩行者モデルが複数登録されている。また、様態モデル保存部２７には、各タイプの歩行者モデルごとに、時系列画像の各インデックスに対応する特徴量が予め登録されている。歩行者モデルのインデックスごとの特徴量は、直前のインデックスからの変化の特徴を示すものである。また、歩行者モデルのインデックスごとの特徴量は、前述の検出枠５５における特徴量の算出と同じ手法で算出されるものであり、また、様態モデル保存部２７には、歩行者モデルの画像における上半身部分の特徴量と、下半身部分の特徴量とが、それぞれ登録されている。特に、下半身部分の動きの特徴量は、一般的な歩行者が歩行動作を行う場合における、胴部Ｗ１に対する足Ｗ２の相対的な動きに関する特徴を定量的に示すものである。

まず、様態予測器１９は、各フレームｔ１〜ｔ４の検出枠下部５５Ｌの特徴量D_low(t1)〜D_low(t4)と、所定の歩行者モデルの各インデックスの下半身部分の特徴量D1〜D18との各類似度を算出する。図６に示すように、各類似度は、各フレームｔ１〜ｔ４と歩行者モデルの各インデックスとの各組み合わせごとにマトリックス状に算出される。ここでは、ｉ番目のフレームｔｉとｊ番目のインデックスとの類似度Ｓ_ｉｊは、下式（１）で算出される。
Ｓ_ｉｊ＝Σ_k=0toN（ｄ_ｉｋ−ｄ_ｊｋ）^２ …（１）
類似度Ｓ_ｉｊが大きいほど、被検出物体５３の歩行動作と歩行者モデルの歩行動作とが類似していることを意味する。続いて、ＤＰ(Dynamic Programming)マッチング法によって、検出枠下部５５Ｌと歩行者モデルとの時系列での対応を求める。なお、この場合、ＤＰマッチング法に代えて、ＨＭＭ(Hidden Markov Model)を用いてもよい。そして、図６のマトリックス上において、時系列の対応が取れた位置（図６中に網かけで表示する）について直線近似した直線ｙ＝ａｘ＋ｂを求める。そして、この直線ｙ＝ａｘ＋ｂに基づいて、フレームｔ５における検出枠下部５５Ｌの特徴量D_low(t5)の予測値（以下「予測特徴量」という）を算出する。なおこの場合、直線ｙ＝ａｘ＋ｂの傾きａとＤＰの類似度とが閾値を満たすような歩行者モデルのタイプが、様態モデル保存部２７内に複数存在すれば、当該複数のタイプの歩行者モデルを用いて複数の様態を予測する。このようにして様態予測器１９で得られた予測特徴量は、類似度算出器２３に入力される。

一方、類似度算出器２３には、対象物追跡部１７で実際に得られたフレームｔ５の画像が入力される。そして、類似度算出器２３は、フレームｔ５における検出枠下部５５Ｌの特徴量（以下「実測特徴量」という）を算出する。次に類似度算出器２３は、この実測特徴量（指標値）と、様態予測器１９から入力された予測特徴量（基準値）とを比較するため、両者間の類似度を算出する。そして、算出された類似度が、類似度閾値sim_thresh以上であれば、補正尤度算出器２５で算出される被検出物体５３の補正歩行者尤度が上昇する。以上のように様態予測器１９は、基準値としての予測特徴量を算出する基準値算出手段として機能し、類似度算出器２３は、指標値としての実測特徴量を、基準値としての予測特徴量と比較する特徴量比較手段として機能する。

具体的には、補正尤度算出器２５では、時刻ｔにおける被検出物体５３の補正歩行者尤度をλ（ｔ）とすると、次時刻ｔ＋１における補正歩行者尤度λ（ｔ＋１）を、下式（２）で算出する。
λ（ｔ）＝λ_ａ（ｔ）＋Ｐ（ｔ）・λ（ｔ） …（２）
但し、λ_ａ（ｔ）は、時刻ｔまでの被検出物体５３の補正歩行者尤度の平均値であり、Ｐ（ｔ）は、補正項である。ここで、類似度算出器２３で算出された類似度が連続して類似度閾値sim_thresh以上である回数をｔ_＋で表し、類似度算出器２３で算出された類似度が連続して類似度閾値sim_thresh以下である回数をｔ₋で表し（ｔ_＋、ｔ₋≧０）、ｔ_＋に応じて尤度を増加させる係数をτ_＋で表し、ｔ₋に応じて尤度を抑制する係数をτ₋で表すと、Ｐ（ｔ）は、下式（３）で表される。

以上の式（２）及び式（３）によれば、実測特徴量と予測特徴量との類似度が類似度閾値sim_thresh以上である間は、補正歩行者尤度λ（ｔ）は継続的に上昇することになる。

以上説明したような被検出物体５３の補正歩行者尤度の導出によれば、歩行動作に伴う特定の部位（ここでは、歩行者の足）の他の部位（ここでは、歩行者の胴体）に対する相対的な動きの特徴量について、被検出物体５３の現在までの特徴量の推移と予め準備された歩行者モデルとに基づいて被検出物体５３の次フレームでの特徴量を予測する。そして、実際に得られる次フレームの被検出物体５３の実測特徴量と、上記予測で得られた予測特徴量と、の類似度に基づいて、被検出物体５３の歩行者尤度をより正確に算出することができ、ひいては、歩行者をより精度良く識別することが可能になる。そして、その結果、物体識別装置１の後段のシステムでは、車両のドライバに対してより的確な情報を提示することが可能になる。

ここでは、様態モデル保存部２７には、歩行者モデルにおける上半身部分の動きの特徴量と、下半身部分の動きの特徴量とが、それぞれ保存されている。そして、検出枠下部５５Ｌの特徴量と歩行者モデルの下半身部分の特徴量との比較により、上記の予測特徴量が算出されている。このように、歩行者モデルにおいて、上半身部分と下半身部分といったように部位ごとに特徴量が定められているので、被検出物体５３と歩行者モデルとの比較にあたっては、部位ごとの比較が可能になる。例えば、撮像画面５１において被検出物体５３の上半分が物陰に隠れているといった状態であっても、被検出物体５３の下半分と歩行者モデルの下半身部分との比較が可能であり、被検出物体５３の歩行者尤度を算出することができる。

なお、同様に、撮像画面５１において被検出物体５３の下半分が物陰に隠れているといった状態であっても、被検出物体５３の上半分と歩行者モデルの上半身部分との比較が可能であり、被検出物体５３の歩行者尤度を算出することができる。但し、歩行動作という動作の性質上、歩行者の上半身に比べて下半身に動作の特徴が明確に現れやすいので、被検出物体５３の下半分と歩行者モデルの下半身部分との比較を行う方式の方が好ましい。また、上半身部分と下半身部分といったような２部位に限られず、更に細かく分割された歩行者モデルの部位ごとに特徴量を設定してもよい。例えば、歩行者モデルを上中下に３分割にしてもよい。また、被検出物体５３の影を被検出物体５３の部位として取り扱っても良い。また、比較部位を切り替えながら被検出物体５３と歩行者モデルとのすべての部位同士の比較を行ってもよい。このように、分割された部位ごとに被検出物体と歩行者モデルとの比較を行うことにより、遮蔽物背後の歩行者の身体の一部分のみが撮像された場合にも、精度良く歩行者を識別することができる。

本発明者らは、物体識別装置１によって歩行者の補正尤度算出処理を行った。また、比較のために、同じ条件で従来の手法による歩行者尤度の算出処理も併せて行った。ここで用いた従来の手法とは、公知文献「N.Dalaland and B.Triggs, Histograms of gradients for HumanDetection, CVPR(IEEE Computer Society Conference on Computer Vision and PatternRecognition)2005」に開示されている手法である。物体識別装置１により算出された補正歩行者尤度の推移と、従来の手法により算出された歩行者尤度の推移とを、図７に示している。

図７のグラフに示す通り、従来の手法では、１０フレーム目までに歩行者尤度０．６〜０．７程度の値が出力されている。これに対し、物体識別装置１により算出された補正歩行者尤度は、８フレーム目で約０．８５となり、９フレーム目以降も徐々に上昇している。一般な判断基準としては、歩行者尤度が約０．８２（グラフ中に一点鎖線で示す）を超えれば、「被検出物体は間違いなく歩行者である」とされ、歩行者尤度が約０．４４（グラフ中に一点鎖線で示す）を下回れば、「被検出物体は歩行者ではない」とされ、歩行者尤度が約０．４４〜０．８２の範囲では「被検出物体は歩行者の可能性がある」とされる。この判断基準に基づけば、従来の手法では、「被検出物体は歩行者の可能性がある」といった結論しか得られないところ、物体識別装置１によれば、「被検出物体は間違いなく歩行者である」といった結論を得ることができる。従って、物体識別装置１によれば、従来の手法に比べて、歩行者を精度良く識別することができることが示された。

（第２実施形態）
本発明の第２実施形態に係る物体識別装置２０１について、図８及び図９を参照しながら説明する。この物体識別装置２０１において、前述の物体識別装置１と同一又は同等の構成部分には同一符号を付し重複する説明を省略する。

図８に示すように、物体識別装置２０１は、上述の物体識別装置１に加えて、閾値制御部２１６を備えている。閾値制御部２１６は、図９に例示する撮像画面２５１上において被検出物体２５３の追跡を行うか否かの判断基準である歩行者尤度の閾値（以下「追跡閾値」という）を制御する。閾値制御部２１６は、撮像画面２５１内における被検出物体２５３の位置に基づいて、追跡閾値を上下させる。

具体的には、閾値制御部２１６は、撮像画面２５１上に自車両の将来の進路Ｆを投影する進路投影部２１６ａを有している。そして、閾値制御部２１６は、投影された自車両進路Ｆとの位置関係に基づいて、自車両にとって特に歩行者に注意すべき注意領域Ｇを算出する注意領域算出部２１６ｂを有している。注意領域Ｇとは、自車両進路Ｆの周囲の領域であり、注意領域算出部２１６ｂは、自車両進路Ｆからの距離ｒと、自車両からの距離Ｒとが、所定の関係にある領域を、注意領域Ｇとして算出する。注意領域算出部２１６ｂは、例えば、ｒ＝１／Ｒ^２といったような関係を満たす地点の内側を、注意領域Ｇとして算出する。このように、自車両進路Ｆ及び注意領域Ｇを撮像画面２５１上に投影する処理としては、公知の手法を用いればよい。

ここで、撮像画面２５１内において、注意領域Ｇ内に存在する被検出物体２５３が検出された場合には、閾値制御部２１６は、被検出物体２５３が注意領域Ｇ外に存在する場合に比べて、上記の追跡閾値を低下させる制御を行う。このような追跡閾値の制御により、対象物追跡部１７の追跡対象となる歩行者の候補が増加することになり、その結果、自車両が特に注意すべき注意領域Ｇに注力して、当該注意領域Ｇ内の歩行者をより確実に識別することができる。また、この場合、歩行者の候補の中に混入する非歩行者が増加することになるが、前述のように、様態予測器１９、時系列変化調整部２１、類似度算出器２３、補正尤度算出器２５によって、歩行者候補の補正歩行者尤度を精度よく算出することができ、その結果、非歩行者を精度よく排除することができる。その一方で、自車両にとって注意の必要性が比較的低い注意領域Ｇ外の被検出物体については、より高い追跡閾値で篩い分けすることにより、無駄な処理を排除し、物体識別装置２０１の計算負荷を抑えることができる。

（第３実施形態）
本発明の第３実施形態に係る物体識別装置３０１について、図１０を参照しながら説明する。この物体識別装置３０１において、前述の物体識別装置１と同一又は同等の構成部分には同一符号を付し重複する説明を省略する。

図１０に示すように、物体識別装置３０１の様態予測器３１９は、前述の様態予測器１９の構成に加えて、リズム算出部３１９ａを備えている。リズム算出部３１９ａは、被検出物体５３（図２）の様態変化のリズムを算出する。そして、様態予測器３１９は、前述の検出枠下部５５Ｌ（図４）の特徴量に加えて、被検出物体５３の様態変化のリズム情報を特徴量として類似度算出器３２３に出力する。具体的には、様態予測器３１９は、様態予測器１９と同様に、図６のマトリックス上の直線ｙ＝ａｘ＋ｂを求め、当該直線の傾きａに基づいて、被検出物体５３の様態変化のリズム（指標値）を算出する。すなわち、この直線の傾きａの絶対値の大きさは被検出物体５３の様態変化のリズムに対応しており、傾きａの絶対値が小さいほど（直線が水平に近いほど）様態変化のリズムは速く、傾きａの絶対値が大きいほど（直線が垂直に近いほど）様態変化のリズムは遅いことを意味する。従って、リズム算出部３１９ａは、上記傾きａに基づいて被検出物体５３の様態変化のリズムを取得することができる。ここで取得されるリズムとは、被検出物体５３が歩行者とした場合には、歩行動作の歩調（歩行ピッチ）の速さに対応する。

類似度算出器３２３は、撮像画面５１上における検出枠５５（図２）の移動速度に基づき、公知の処理手法を用いて、被検出物体５３の路上での移動速度を算出する。更に、類似度算出器３２３は、様態予測器３１９から上記のリズム情報を取得する。類似度算出器３２３は、予め保持する所定のリズム基準値とリズム情報が示すリズムとを比較すると共に、予め保持する所定の速度基準値と被検出物体５３の路上での移動速度とを比較することで、被検出物体５３がどのような歩行者であるかを推定することができる。

すなわち、例えば、被検出物体５３の路上での移動速度が速度基準値よりも遅く、様態変化のリズムがリズム基準値よりも速い（歩調が速い）場合には、被検出物体５３は、子供の歩行者である可能性が高いと判断できる。また、例えば、被検出物体５３の路上での移動速度が速度基準値よりも遅く、様態変化のリズムがリズム基準値よりも遅い（歩調が遅い）場合には、被検出物体５３は、老人の歩行者である可能性が高いと判断できる。また、例えば、被検出物体５３の路上での移動速度が速度基準値よりも速く、様態変化のリズムがリズム基準値よりも速い（歩調が速い）場合には、被検出物体５３は、大人の歩行者である可能性が高いと判断できる。従って、類似度算出器３２３は、子供の歩行者、老人の歩行者、及び大人の歩行者といったような歩行者分類ごとに、被検出物体５３の類似度を算出することができる。よって、この物体識別装置３０１によれば、補正尤度算出器２５から、歩行者分類ごとの補正歩行者尤度を出力することができる。その結果、物体識別装置３０１の後段のシステムでは、例えば、被検出物体５３が子供の歩行者である可能性が高い場合、一般に子供の歩行者は自車両前方に飛び出してくる可能性が比較的高いことに鑑み、独自の警告処理を行うなど、歩行者分類に応じた適切な処理が可能になる。

（第４実施形態）
本発明の第４実施形態に係る物体識別装置４０１について、図１１を参照しながら説明する。この物体識別装置４０１において、前述の物体識別装置１と同一又は同等の構成部分には同一符号を付し重複する説明を省略する。

例えば、前述の物体識別装置１においては、歩行者が木陰など暗い位置を歩行しており歩行者が見え難い、歩行者の向きにより画面上に投影される足の動きが小さいなど、撮像環境によっては、歩行者の歩行動作をオプティカルフローとして抽出し難い場合があり得る。そこで、物体識別装置４０１の様態予測器４１９は、対象物追跡部１７で取得された複数フレームｔ１〜ｔ４において検出枠５５（図２）の画面の輝度変化を示す輝度差分特徴量を抽出する。

具体的には、フレームｔ１における直前フレームからの輝度の差分を示す輝度差分特徴量は以下のように導出される。すなわち、図４に示したように、検出枠５５を検出枠上部５５Ｕと検出枠下部５５Ｌとに２分割する。さらに、検出枠上部５５Ｕを縦横１６分割し、１６箇所の格子部５７Ｕを設定する。同様にして検出枠下部５５Ｌにも、１６箇所の格子部５７Ｌを設定する。そして、各格子部５７Ｌごとに画面の輝度の差分をヒストグラム化したデータが、検出枠下部５５Ｌの輝度差分特徴量となる。

一方、物体識別装置４０１の様態モデル保存部４２７には、前述の様態モデル保存部２７に記憶された歩行者モデルの特徴量に加えて、更に、歩行者モデルの歩行動作に起因する撮像画面の輝度差分特徴量がインデックスごとに登録されている。この歩行者モデルのインデックスごとの輝度差分特徴量は、直前のインデックスからの画面の輝度変化の特徴を示すものである。また、歩行者モデルのインデックスごとの輝度差分特徴量は、前述の検出枠５５における輝度差分特徴量の算出と同じ手法で算出されるものであり、また、様態モデル保存部４２７には、歩行者モデルの画像における上半身部分の輝度差分特徴量と、下半身部分の輝度差分特徴量とが、それぞれ登録されている。

様態予測器４１９では、様態モデル保存部４２７に記憶された歩行者モデルの下半身部分の輝度差分特徴量と、被検出物体５３の画像の過去のフレームにおける検出枠下部５５Ｌの輝度差分特徴量とに基づいて、現在のフレームにおける検出枠下部５５Ｌの輝度差分特徴量の予測値（以下「予測輝度差分特徴量」という）を算出し、類似度算出器４２３に出力する。なお、様態予測器４１９による予測輝度差分特徴量の算出処理は、様態予測器１９による予測特徴量の算出処理と同様の処理であるので、詳細な説明を省略する。

一方、類似度算出器４２３には、対象物追跡部１７で実際に得られた検出枠５５の現在のフレームの画像が入力される。類似度算出器４２３は、現在のフレームにおける検出枠下部５５Ｌの輝度差分特徴量（以下「実測輝度差分特徴量」という）を算出し、予測輝度差分特徴量と実測輝度差分特徴量との類似度を算出し、補正尤度算出器２５に出力する。類似度算出器４２３による類似度の算出処理は、類似度算出器２３による類似度の算出処理と同様の処理であるので、詳細な説明を省略する。

また、このような処理に並行して、様態予測器４１９及び類似度算出器４２３では、様態予測器１９及び類似度算出器２３と同じ処理を行い、予測特徴量と実測特徴量との類似度を算出する。

そして、予測輝度差分特徴量と実測輝度差分特徴量との類似度と、予測特徴量と実測特徴量との類似度と、のうち何れかの類似度が所定の類似度閾値以上であれば、補正尤度算出器４２５で算出される被検出物体５３の補正歩行者尤度が上昇する。補正尤度算出器４２５による補正歩行者尤度の算出処理は、補正尤度算出器２５による補正歩行者尤度の算出処理と同様の処理であるので、詳細な説明を省略する。

この物体識別装置４０１によれば、例えば、歩行者が木陰など暗い位置を歩行しており歩行者が見え難い、歩行者の向きにより画面上に投影される足の動きが小さいなど、撮像環境が悪い場合にも、検出枠の画面の輝度変化に関する特徴量を用いて、補正歩行者尤度の算出が可能である。例えば、歩行者が暗い位置を歩行し、車両のほぼ正面から車両に向かって歩行している状態を考える。この場合には、検出枠４５５のフレームｔ１，ｔ２，ｔ３，…として、図１２に示すような画像が得られる。すなわち、正面側から撮像された歩行者にあっては、正面からの足の動きは小さく見える。また、当該歩行者が暗い位置を歩行していることから、撮像画面上においてはエッジが鮮明でない。しかしながら、この場合にも、歩行動作に伴って歩行者の右足及び左足の明るさが交互に変化するので、検出枠４５５においては、特に、右下部と左下部とに交互に規則的な輝度変化が生じることになる。従って、物体識別装置４０１によれば、このような検出枠４５５の輝度変化に関する輝度差分特徴量を抽出することにより、撮像環境が悪い場合にも、補正歩行者尤度の算出処理が可能になる。

（第５実施形態）
本発明の第５実施形態に係る物体識別装置５０１について、図１３及び図１４を参照しながら説明する。この物体識別装置５０１において、前述の物体識別装置１と同一又は同等の構成部分には同一符号を付し重複する説明を省略する。

この種の物体識別装置では、被検出物体が遠方に存在するほど鮮明な画像が取得し難くなるので、遠方の領域ほど歩行者の誤認識が増える傾向にある。ここで、車両用の物体識別装置が識別すべき歩行者は、路上を移動するという条件に拘束されることから、撮像画面上においても歩行者の移動は一定の規則に拘束されると考えられる。例えば、図１４に示すように、撮像画面５５１上で水平方向に延びる消失線Ｈを考えると、撮像画面５５１上の歩行者は、この消失線に対して上下方向に極端に移動することはないと考えられる。特に、遠方の歩行者については、画面５５１上で、消失線Ｈとの上下方向の位置関係はほとんど変化しない。また、特に、車両の進行方向を横切る方向に移動する歩行者は車両にとって識別の必要性が高いが、このような移動を行う歩行者は、撮像画面５５１上では消失線Ｈに対してほぼ平行に移動する。従って、撮像画面５５１上で消失線Ｈに対して上下方向に極端に移動する物体は、歩行者である可能性が極めて低いと考えることができる。

このような知見に鑑み、物体識別装置５０１は、図１３に示すように、物体識別装置１に加えて追跡物体スクリーニング部５１８を備えている。追跡物体スクリーニング部５１８は、対象物追跡部１７で追跡中の被検出物体のうち、歩行者である可能性が低いものを予め篩い落とす機能を有している。具体的には、追跡物体スクリーニング部５１８は、図１４に示すように、撮像画面５５１上で水平方向に延びる消失線Ｈ（ｔ）を複数フレームにわたって検出する消失線検出部５１８ａを備えている。消失線検出部５１８ａによる消失線Ｈの検出処理は、公知の手法が用いられる。更に、追跡物体スクリーニング部５１８は、被検出物体５５３を囲む検出枠５５５の中心点５５５ａの座標を、複数フレーム分にわたって取得する枠座標取得部５１８ｂを備えている。

フレームｔの画面５５１上における消失線Ｈ（ｔ）の上下方向の位置座標をT(y,t)とし、フレームｔの画面５５１上における中心点５５５ａ（ｔ）の上下方向の位置座標をL(y,t)とすれば、フレームｔの画面５５１上における消失線Ｈと中心点５５５ａとの距離d(t)は、d(t)=T(y,t)-L(y,t)で表される。追跡物体スクリーニング部５１８は、複数フレーム分にわたって取得された距離d(t)の分散値std(d)と、平均値mean_dと、d(t)を近似した直線（線形近似）の勾配Ａとを算出する。そして、分散値std(d)、平均値mean_d、勾配Ａの何れかが所定の閾値よりも大きい場合、或いは所定の範囲内に含まれない場合には、追跡中の被検出物体５５３が歩行者ではないと考えられるので、追跡物体スクリーニング部５１８は、追跡中止の旨を示す信号を対象物追跡部１７に出力する。このとき、対象物追跡部１７は上記信号に対応して、被検出物体５５３の追跡処理を中止し、その結果、被検出物体５５３は歩行者ではないものと判定される。

例えば、上記の勾配Ａが所定の閾値よりも大きい場合とは、画面５５１上において、中心点５５５ａの移動軌跡と消失線Ｈとがなす角度が所定値以上になることを意味する。すなわち、被検出物体５５３は、消失線Ｈに対して交差する方向に移動していることを意味し、このような移動を行う被検出物体５５３は、歩行者ではないと考えることができる。また、例えば、分散値std(d)が所定の閾値よりも大きい場合とは、画面５５１上において、被検出物体５５３が消失線Ｈに対して極端に上下移動していることを意味し、このような移動を行う被検出物体５５３は、歩行者ではないと考えることができる。

この物体識別装置５０１では、遠方の被検出物体についても、画面５５１上の消失線Ｈとの位置関係を利用して歩行者の可能性が低いものを排除することができるので、誤認識を低減することができる。また、物体識別装置５０１によれば、歩行者である可能性が極めて低い被検出物体を予め歩行者候補から篩い落とすことができるので、無駄な処理を排除し計算負荷を抑えることができる。

なお、この物体識別装置５０１では、消失線検出部５１８ａによって消失線Ｈを検出し、中心点５５５ａと消失線Ｈとの上下方向の距離d(t)を求めているが、消失線Ｈの上下位置はほとんど変動しないものと考えられるので、消失線Ｈの位置を撮像画面５５１上で固定し、撮像画面５５１上における中心点５５５ａの絶対的な上下位置を、距離d(t)の代わりに用いてもよい。

本発明は、上述した第１〜第５実施形態に限定されるものではない。例えば、本発明の物体識別装置は、歩行者の識別装置に限られず、特定の部位が他の部位に対して状態を変化させる動作を行う物体の識別装置に適用することができる。このような物体としては、例えば、ウインカを点滅させる他車両が考えられる。この場合、他車両の車体（他の部位）に対するウインカの位置（特定の部位）の相対的な輝度変化や色調変化を特徴量として取り扱うことができる。

本発明は、物体識別装置に関するものであり、特に、自動車の前方の歩行者を識別する用途に好適に利用され、対象物の識別精度を高めることができるものである。

１，２０１，３０１，４０１，５０１…物体識別装置、１９，３１９，４１９…様態予測器（基準値算出手段）、２３，３２３，４２３…類似度算出器（特徴量比較手段）、２５…補正尤度算出器、５１，２５１，５５１…撮像画面、５３，２５３，５５５…被検出物体、５５Ｕ…検出枠上部、５５Ｌ…検出枠下部、３１９ａ…リズム検出部、Ｈ，Ｈ（ｔ）…消失線、Ｗ１…歩行者の胴部（他の部位）、Ｗ２…歩行者の足（特定の部位）。

Claims

検出された被検出物体について所定の認識対象物に関連する所定の指標値を抽出し、抽出された前記被検出物体の前記指標値と所定の基準値との比較に基づいて前記認識対象物を識別する物体識別装置であって、
前記所定の基準値は、
前記認識対象物における特定の部位の他の部位に対する相対的な状態変化に関する特徴を示すことを特徴とする物体識別装置。
検出された被検出物体について歩行者に関連する指標値を抽出し、抽出された前記被検出物体の前記指標値と所定の基準値との比較に基づいて前記歩行者を識別する物体識別装置であって、
前記指標値は、
前記歩行者の歩行動作に関する特徴量であることを特徴とする物体識別装置。
前記所定の基準値は、
前記被検出物体についての現在までの前記指標値に基づく予測により求められることを特徴とする請求項１又は２に記載の物体識別装置。
前記所定の基準値は、
前記認識対象物が分割されてなる部位ごとに定められることを特徴とする請求項１又は２に記載の物体識別装置。
前記所定の基準値は、
前記歩行動作の歩調に関する特徴量を含むことを特徴とする請求項２に記載の物体識別装置。
前記所定の指標値は、
前記被検出物体の撮像画面における輝度の差分の時系列情報であることを特徴とする請求項２に記載の物体識別装置。
前記被検出物体の撮像画面上における前記被検出物体の移動軌跡と、前記撮像画面上における水平な消失線と、の位置関係が所定の位置関係である場合には、
前記被検出物体は前記認識対象物ではないと判定することを特徴とする請求項１又は２に記載の物体識別装置。
前記被検出物体の撮像画面上における前記被検出物体の移動軌跡と、前記撮像画面上における水平な消失線と、がなす角度が所定の値以上である場合には、
前記被検出物体は前記認識対象物ではないと判定することを特徴とする請求項７に記載の物体識別装置。