JP2013196519A - 対象物識別装置及びプログラム - Google Patents

Abstract

【課題】精度良く隠蔽領域を検出し、対象物の識別精度を向上させる。
【解決手段】オプティカルフロー算出部２０で、時系列画像上の物体の動き情報を示すオプティカルフローを算出し、パターン特徴量抽出部２２で、画像に設定した評価ウインドウ内のウインドウ画像のパターン特徴量Ｘを抽出する。隠蔽領域検出部２４で、評価ウインドウ内のブロック毎に動き特徴ベクトルｈを算出し、記憶された動き特徴ベクトルＨとの類似度に基づいて、隠蔽領域を検出する。パターン特徴量置換部２８で、パターン特徴量Ｘの隠蔽領域のパターン特徴量を、記憶されたパターン特徴量Ｙを用いて置換し、パターン特徴量Ｘ’とする。識別部３２で、パターン特徴量Ｘ’とパターン特徴量Ｙとによる評価値、及び隠蔽率に基づいて、ウインドウ画像が対象物を示す画像か否かを識別する。
【選択図】図１

Description

本発明は、対象物識別装置及びプログラムに係り、特に、可動物を識別対象とする対象物識別装置及びプログラムに関する。

従来、撮像された画像から対象物を識別する際に、その対象物の一部または全部が隠蔽物により隠蔽されているか否かを考慮して、対象物を識別することが行われている。

例えば、撮像された映像に含まれる人物の画像領域を検出する人物領域検出装置において、撮像手段で得られる時系列の各画像から追跡対象となる人物の身長を推定し、人物の画像領域の一部が遮蔽物により遮蔽されたか否かを判断し、人物の画像領域の一部が遮蔽物に遮蔽されていた場合、人物の頭または足の端部の位置情報と、画像から特定される消失点とに基づいて、遮蔽物により遮蔽された部分も含めて画像中における人物領域を推定する人物領域検出装置が提案されている（例えば、特許文献１参照）。

また、観察対象物体を隠蔽する隠蔽物体を定義し、入力された撮像画像において、隠蔽物体が観察対象物体を隠蔽する隠蔽領域を検出し、撮像画像から観察対象物体の画像特徴を検出し、検出された画像特徴に基づき、撮像画像を撮像した際の撮像装置の位置もしくは姿勢、または観察対象物体の位置もしくは姿勢を算出する画像処理装置が提案されている（例えば、特許文献２参照）

特開２０１０−２３７８７２号公報 特開２００８−４６７５０号公報

上記特許文献１記載の技術では、画像から推定される消失点と、時系列画像から推定された人物の身長とを手掛かりに、人物の隠蔽を検出しており、人物の身長の推定に時系列の情報を利用しているため、隠蔽が発生する前に隠蔽が発生していない画像が取得される必要がある。

しかし、例えば、車両等の走行環境において物陰からの飛び出してくる歩行者のように、完全に隠蔽された状態から部分的に隠蔽された状態となった後に、全身が見えるような対象物の場合には、隠蔽発生前の画像が必要な特許文献１記載の技術を適用することは困難である、という問題がある。

また、特許文献２記載の技術は、自然特徴点の対応付けの際に、隠蔽領域の検出を行うための手法であり、隠蔽物に関する事前知識を利用して隠蔽領域を検出している。

しかし、車両等の走行環境において、例えば歩行者を識別対象物とした場合、歩行者は電柱、看板、車両などの様々な物体に隠蔽されるため、隠蔽物を事前に定義することは困難である、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、精度良く隠蔽領域を検出し、対象物の識別精度を向上させることができる対象物識別装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の対象物識別装置は、移動体の周辺を異なる時刻で撮像した複数の画像からオプティカルフローを算出する算出手段と、前記複数の画像のいずれかに設定された評価ウインドウ内の画像の画素値を用いた抽出画像特徴量を抽出する抽出手段と、前記算出手段により算出された前記評価ウインドウに対応する領域のオプティカルフローから算出された算出動き特徴量と、識別対象の可動物を示すオプティカルフローから予め算出された識別動き特徴量とに基づいて、前記評価ウインドウ内において、前記識別対象の可動物が隠蔽物により隠蔽されている隠蔽領域を検出する検出手段と、前記抽出手段により抽出された抽出画像特徴量、及び前記識別対象の可動物を示す画像から予め抽出された識別画像特徴量の少なくとも一方の前記隠蔽領域に対応する画像特徴量を、前記隠蔽物による隠蔽に影響されない画像特徴量で置換する置換手段と、前記置換手段により置換された抽出画像特徴量、または前記抽出手段により抽出された抽出画像特徴量が示す前記識別対象の可動物らしさを示す評価値に基づいて、前記評価ウインドウ内の画像が前記識別対象の可動物を示す画像か否かを識別する識別手段と、を含んで構成されている。

本発明の対象物識別装置によれば、算出手段が、移動体の周辺を異なる時刻で撮像した複数の画像からオプティカルフローを算出する。また、抽出手段が、複数の画像のいずれかに設定された評価ウインドウ内の画像の画素値を用いた抽出画像特徴量を抽出する。そして、検出手段が、算出手段により算出された評価ウインドウに対応する領域のオプティカルフローから算出された算出動き特徴量と、識別対象の可動物を示すオプティカルフローから予め算出された識別動き特徴量とに基づいて、評価ウインドウ内において、識別対象の可動物が隠蔽物により隠蔽されている隠蔽領域を検出する。識別対象が可動物の場合、可動物の特徴的な動きに応じた特有のオプティカルフローが生じるため、動き特徴量を用いて隠蔽領域を検出することができる。

また、置換手段が、抽出手段により抽出された抽出画像特徴量、及び識別対象の可動物を示す画像から予め抽出された識別画像特徴量の少なくとも一方の隠蔽領域に対応する画像特徴量を、隠蔽物による隠蔽に影響されない画像特徴量で置換する。そして、識別手段が、置換手段により置換された抽出画像特徴量、または抽出手段により抽出された抽出画像特徴量が示す識別対象の可動物らしさを示す評価値に基づいて、評価ウインドウ内の画像が識別対象の可動物を示す画像か否かを識別する。

このように、可動物の特徴的な動きに応じた特有のオプティカルフローを用いて隠蔽領域を検出し、隠蔽領域の特徴量を隠蔽に影響されない特徴量で置換することにより、精度良く隠蔽領域を検出し、対象物の識別精度を向上させることができる。

また、前記検出手段は、前記評価ウインドウに対応する領域を複数のブロックに分割し、前記ブロック毎に、前記オプティカルフローの大きさ及び方向別のヒストグラムを前記算出動き特徴量として算出し、該算出動き特徴量と、前記画像における前記評価ウインドウの大きさ及び位置、並びに前記評価ウインドウにおける前記ブロックの大きさ及び位置に対応した前記識別動き特徴量との類似度が予め定めた検出閾値より小さいブロックを前記隠蔽領域として検出することができる。これにより、簡易に隠蔽領域を検出することができる。

また、前記置換手段は、前記抽出手段により抽出された抽出画像特徴量のうち、前記隠蔽領域に対応する抽出画像特徴量を、前記識別画像特徴量のうち、前記隠蔽領域に対応する識別画像特徴量で置換するか、前記識別画像特徴量のうち、前記隠蔽領域に対応する識別画像特徴量を、前記抽出画像特徴量のうち、前記隠蔽領域に対応する抽出画像特徴量で置換するか、または前記抽出画像特徴量及び前記識別画像特徴量のうち、前記隠蔽領域に対応する画像特徴量を０で置換することができる。これにより、隠蔽領域の特徴量を隠蔽に影響されない特徴量で置換することができる。

前記識別手段は、前記評価値として、前記置換手段により前記識別画像特徴量を用いて置換された抽出画像特徴量と前記識別画像特徴量との類似度、前記抽出手段により抽出された抽出画像特徴量と前記置換手段により前記抽出画像特徴量を用いて置換された識別画像特徴量との類似度、または前記置換手段により０を用いて置換された抽出画像特徴量と前記置換手段により０を用いて置換された識別画像特徴量との類似度を算出することができる。

また、前記識別手段は、前記評価ウインドウの大きさに対する前記隠蔽領域の大きさの割合を含んだ前記評価値を算出することができる。これにより、精度よく対象物を識別することができる。

また、前記検出手段は、前記識別対象の可動物の向き及び姿勢の少なくとも一方毎に予め算出された複数の識別動き特徴量に基づいて、複数の隠蔽領域を検出し、前記置換手段は、前記複数の隠蔽領域各々に対応する画像特徴量を置換した複数の前記抽出画像特徴量または前記識別画像特徴量を生成し、前記識別手段は、前記複数の隠蔽領域各々に対応する画像特徴量を置換した複数の前記抽出画像特徴量または前記識別画像特徴量を用いて得られる識別結果を統合して、前記評価ウインドウ内の画像が前記識別対象の可動物を示す画像か否かを識別することができる。これにより、対象物の向きや姿勢の変化の影響を低減して、対象物の識別精度をより向上させることができる。

また、前記検出手段は、前記識別対象の可動物の向き及び姿勢の少なくとも一方毎に予め算出された複数の識別動き特徴量に基づいて、複数の隠蔽領域の候補を検出し、前記評価ウインドウの大きさに対する前記隠蔽領域の候補の大きさの割合が最も小さい隠蔽領域の候補を、前記隠蔽領域として検出することができる。これにより、より簡易な手法で、対象物の向きや姿勢の変化の影響を低減して、対象物の識別精度をより向上させることができる。

また、本発明の対象物識別プログラムは、コンピュータを、移動体の周辺を異なる時刻で撮像した複数の画像からオプティカルフローを算出する算出手段、前記複数の画像のいずれかに設定された評価ウインドウ内の画像の画素値を用いた抽出画像特徴量を抽出する抽出手段、前記算出手段により算出された前記評価ウインドウに対応する領域のオプティカルフローから算出された算出動き特徴量と、識別対象の可動物を示すオプティカルフローから予め算出された識別動き特徴量とに基づいて、前記評価ウインドウ内において、前記識別対象の可動物が隠蔽物により隠蔽されている隠蔽領域を検出する検出手段、前記抽出手段により抽出された抽出画像特徴量、及び前記識別対象の可動物を示す画像から予め抽出された識別画像特徴量の少なくとも一方の前記隠蔽領域に対応する画像特徴量を、前記隠蔽物による隠蔽に影響されない画像特徴量で置換する置換手段、及び前記置換手段により置換された抽出画像特徴量、または前記抽出手段により抽出された抽出画像特徴量が示す前記識別対象の可動物らしさを示す評価値に基づいて、前記評価ウインドウ内の画像が前記識別対象の可動物を示す画像か否かを識別する識別手段として機能させるためのプログラムである。

以上説明したように、本発明の対象物識別装置及びプログラムによれば、可動物の特徴的な動きに応じた特有のオプティカルフローを用いて隠蔽領域を検出し、隠蔽領域の特徴量を隠蔽に影響されない特徴量で置換することにより、精度良く隠蔽領域を検出し、対象物の識別精度を向上させることができる、という効果が得られる。

第１の実施の形態の対象物識別装置の構成を示すブロック図である。 オプティカルフローを用いた隠蔽領域検出の原理を説明するための図である。 第１の実施の形態における対象物識別処理ルーチンの内容を示すフローチャートである。 隠蔽領域検出処理ルーチンの内容を示すフローチャートである。 識別部による評価値算出方法の他の例を示す図である。 第２の実施の形態の対象物識別装置の構成を示すブロック図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両前方を撮像した画像から識別対象物として歩行者を識別する対象物識別装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る対象物識別装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２から得られる撮像画像から識別対象物を識別する処理を実行するコンピュータ１４と、コンピュータ１４の識別結果を表示する表示装置１６とを備えている。

撮像装置１２は、車両の前方を撮像した画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する対象物識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えている。このコンピュータ１４は、機能的には、図１に示すように、オプティカルフロー算出部２０と、パターン特徴量抽出部２２と、隠蔽領域検出部２４と、動き特徴量記憶部２６と、パターン特徴量置換部２８と、パターン特徴量記憶部３０と、識別部３２とを含んだ構成で表すことができる。なお、オプティカルフロー算出部２０が本発明の算出手段の一例であり、パターン特徴量抽出部２２が本発明の抽出手段の一例であり、隠蔽領域検出部２４が本発明の検出手段の一例であり、パターン特徴量置換部２８が本発明の置換手段の一例である。

オプティカルフロー算出部２０は、撮像装置１２により撮像された画像上の特徴点を時系列に追跡することにより、画像上の物体の動き情報を示すオプティカルフローを算出する。

パターン特徴量抽出部２２は、オプティカルフローの算出に用いたいずれか１フレームの画像に評価ウインドウを設定する。評価ウインドウは様々な大きさのものを用意しておくことができる。この評価ウインドウを画像上でそれぞれ走査しながら、評価ウインドウ内の画像をウインドウ画像として複数抽出する。抽出した各ウインドウ画像を複数のブロックに分割し、ブロック毎に画素値を用いたパターン特徴量を抽出する。このブロックは重複していてもよい。例えば、ウインドウ画像をＮブロックに分割し、ブロックｉのパターン特徴量をＸ（ｉ）とすると、ウインドウ画像のパターン特徴量Ｘは下記（１）式のようになる。

X={X(1),・・・,X(i),X(i+1),X(i+2),・・・,X(N)} ・・・（１）

画素値を用いたパターン特徴量とは、例えば、ブロック内の各画素の輝度値の平均値や、輝度値または輝度勾配のヒストグラム等とすることができる。なお、パターン特徴量Ｘが本発明の抽出画像特徴量の一例である。

隠蔽領域検出部２４は、パターン特徴量抽出部２２で設定された評価ウインドウに対応する領域のオプティカルフローを用いて、動き特徴ベクトルｈを算出する。なお、動き特徴ベクトルｈが本発明の算出動き特徴量の一例である。

具体的には、パターン特徴量抽出部２２で設定された評価ウインドウの大きさ及び画像上の位置と同様の評価ウインドウを、オプティカルフロー算出部２０で算出されたオプティカルフローに対して設定する。設定した評価ウインドウ内を、パターン特徴量抽出部２２と同様に複数のブロックに分割する。そして、各ブロック内に含まれるオプティカルフローの大きさ及び方向別のヒストグラムを動き特徴ベクトルｈとして算出する。

また、隠蔽領域検出部２４は、動き特徴ベクトルｈと、動き特徴量記憶部２６に記憶された動き特徴ベクトルＨとを比較して、ウインドウ画像内の隠蔽領域を検出する。動き特徴ベクトルＨは、識別対象物を示す時系列画像から算出されたオプティカルフローに基づいて、上記の動き特徴ベクトルｈと同様に算出され、予め動き特徴量記憶部２６に記憶されている。なお、動き特徴ベクトルＨが本発明の識別動き特徴量の一例である。

ここで、本実施の形態における隠蔽領域検出の原理について説明する。図２（ａ）に示すように、歩行者のような可動物を識別対象とする場合、歩行者の手や足などの動きのような特徴的な動きに応じた特有のオプティカルフローが生じる。しかし、同図（ｂ）に示すように、隠蔽物により歩行者が隠蔽されている部分では、歩行者の動きに応じたオプティカルフローが生じない。従って、隠蔽のない状態での歩行者を示すオプティカルフローと、撮像された画像から得られたオプティカルフローとを比較することにより、隠蔽領域を検出することができる。

なお、図２では、説明のため、評価ウインドウ内のオプティカルフロー（図中黒点及び矢印）とウインドウ画像（歩行者）とを合わせて表している。

そこで、図２（ａ）に示すような隠蔽のない状態での歩行者を示すオプティカルフローを、上記と同様の複数のブロックで分割し、分割毎に動き特徴ベクトルＨを算出して、動き特徴量記憶部２６に記憶しておく。動き特徴ベクトルＨには、対応する評価ウインドウの大きさ及び画像上での位置の情報も対応させて記憶する。

隠蔽領域検出部２４は、設定された評価ウインドウの大きさ及び画像上での位置、並びに何番目のブロックかに基づいて、対応する動き特徴ベクトルＨを動き特徴量記憶部２６から読み出す。そして、動き特徴ベクトルｈと動き特徴ベクトルＨとの類似度に基づいて、各ブロックが隠蔽物により歩行者が隠蔽された隠蔽領域か否かを判定して、隠蔽領域を検出する。動き特徴ベクトルｈと動き特徴ベクトルＨとの類似度は、２つのベクトル間の距離や２つのベクトルのなす角などから算出することができる。また、動き特徴ベクトルＨを識別器とする一般的な識別手法で与えられる評価値を用いてもよい。

パターン特徴量置換部２８は、パターン特徴量抽出部２２で抽出されたパターン特徴量Ｘのうち、隠蔽領域検出部２４で検出された隠蔽領域に対応するパターン特徴量を、パターン特徴量記憶部３０に記憶されたパターン特徴量を用いて置換する。

パターン特徴量記憶部３０に記憶されたパターン特徴量は、画像上の様々な位置から様々な大きさで抽出された歩行者を示す歩行者画像から、パターン特徴量Ｘと同様に抽出された特徴量である。例えば、歩行者画像をＮブロックに分割し、ブロックｉのパターン特徴量をＹ（ｉ）とすると、歩行者画像のパターン特徴量Ｙは下記（２）式のようになる。

Y={Y(1),・・・,Y(i),Y(i+1),Y(i+2),・・・,Y(N)} ・・・（２）

また、パターン特徴量Ｙには、歩行者画像の大きさ及び画像上での位置の情報も対応させて記憶する。なお、パターン特徴量Ｙが本発明の識別画像特徴量の一例である。

パターン特徴量置換部２８は、パターン特徴量Ｘの抽出の際に画像に設定された評価ウインドウの大きさ及び画像上での位置に対応したパターン特徴量Ｙを、パターン特徴量記憶部３０から読み出す。そして、パターン特徴量Ｘにおいて隠蔽領域として検出されたブロックのパターン特徴量、パターン特徴量Ｙの隠蔽領域に対応するブロックのパターン特徴量で置換する。例えば、隠蔽領域としてブロックｉ、ブロックｉ＋１、及びブロックｉ＋２が検出された場合には、（１）式に示すパターン特徴量Ｘは、（２）式に示すパターン特徴量Ｙを用いて、下記（３）式のように置換される。なお、置換後のパターン特徴量ＸをＸ’と表記する。

X'={X(1),・・・,Y(i),Y(i+1),Y(i+2),・・・,X(N)} ・・・（３）

識別部３２は、評価ウインドウの大きさに対する隠蔽領域の大きさの割合で表される隠蔽率Ｏと、パターン特徴量Ｘ’が示す対象物の確からしさを示す評価値Ｅとの２つのパラメータを用いた総合評価値ｅに基づいて、ウインドウ画像が歩行者を示す画像か否かを識別する。

隠蔽率Ｏは、隠蔽領域として検出されたブロック数／総ブロック数で算出することができる。また、評価値Ｅは、パターン特徴量Ｘ’とパターン特徴量Ｙとの距離や、パターン特徴量Ｙを識別器とする一般的な識別手法で与えられる評価値を用いることができる。総合評価値ｅは、隠蔽率Ｏが低いほど高く、また評価値Ｅが高いほど高くなる値とする。

次に、第１の実施の形態の対象物識別装置１０の作用について説明する。対象物識別装置１０を搭載した車両の走行中に、撮像装置１２によって車両の前方の所定領域が撮像されて、時系列画像がコンピュータ１４に入力されると、コンピュータ１４において、図３に示す対象物識別処理ルーチンが実行される。

ステップ１００で、撮像装置１２で撮像された時系列画像を取得する。次に、ステップ１０２で、上記ステップ１００で取得された時系列画像上の物体の動き情報を示すオプティカルフローを算出する。

次に、ステップ１０４で、上記ステップ１０２でオプティカルフローの算出に用いたいずれか１フレームの画像に評価ウインドウを設定し、評価ウインドウ内の画像をウインドウ画像として抽出する。

次に、ステップ１０６で、上記ステップ１０４で抽出されたウインドウ画像をＮ個のブロックに分割し、ブロック毎のパターン特徴量（ブロックｉのパターン特徴量をＸ（ｉ）とする）からなるウインドウ画像のパターン特徴量Ｘを抽出する。

次に、ステップ１０８で、隠蔽領域検出処理を実行する。ここで、図４を参照して、隠蔽領域検出処理について説明する。

ステップ１０８０で、上記ステップ１０４で設定された評価ウインドウの大きさ及び画像上での位置に基づいて、上記ステップ１０２で算出されたオプティカルフローに対して、同様の評価ウインドウを設定する。そして、設定した評価ウインドウ内を、上記ステップ１０６と同様に、Ｎ個のブロックに分割する。

次に、ステップ１０８２で、ブロック番号を示す変数ｉに１をセットする。次に、ステップ１０８４で、ブロックｉ内に含まれるオプティカルフローの大きさ及び方向別のヒストグラムを動き特徴ベクトルｈとして算出する。

次に、ステップ１０８６で、設定された評価ウインドウの大きさ及び画像上での位置、並びにブロック番号“ｉ”に基づいて、ブロックｉに対応する動き特徴ベクトルＨを、動き特徴量記憶部２６から読み出す。

次に、ステップ１０８８で、上記ステップ１０８４で算出した動き特徴ベクトルｈと、上記ステップ１０８６で読み出した動き特徴ベクトルＨとの類似度を算出する。次に、ステップ１０９０で、上記ステップ１０８８で算出した類似度が、予め定めた閾値より小さいか否かを判定する。動き特徴ベクトル間の類似度が閾値より小さい場合には、ステップ１０９２へ移行して、そのブロックｉを隠蔽領域として検出する。一方、動き特徴ベクトル間の類似度が閾値以上の場合には、ブロックｉは隠蔽領域ではないと判定して、そのままステップ１０９４へ移行する。

ステップ１０９４では、ｉがＮとなったか否かを判定することにより、上記ステップ１０８０で分割した全てのブロックについて、隠蔽領域か否かの判定を行ったか否かを判定する。ｉ≠Ｎの場合には、ステップ１０９６へ移行して、ｉを１インクリメントして、ステップ１０８４へ戻る。一方、ｉ＝Ｎの場合には、図３のルーチンへリターンする。

次に、ステップ１１０で、画像における評価ウインドウの大きさ及び位置に基づいて、上記ステップ１０６で抽出されたパターン特徴量Ｘに対応するパターン特徴量Ｙを、パターン特徴量記憶部３０から読み出す。そして、パターン特徴量Ｘにおいて隠蔽領域として検出されたブロックのパターン特徴量を、パターン特徴量Ｙの隠蔽領域に対応するブロックのパターン特徴量で置換し、パターン特徴量Ｘ’とする。

次に、ステップ１１２で、評価ウインドウの大きさに対する隠蔽領域の大きさの割合で表される隠蔽率Ｏと、パターン特徴量Ｘ’が示す対象物の確からしさを示す評価値Ｅとの２つのパラメータを用いた総合評価値ｅを算出する。総合評価値ｅが予め定めた閾値以上の場合には、そのウインドウ画像が歩行者を示す画像であると識別し、ウインドウ画像を抽出した際の評価ウインドウの画像上での位置及び大きさを、識別結果として所定の記憶領域に記憶する。

次に、ステップ１１４で、現在の大きさの評価ウインドウで画像全体を走査してウインドウ画像を抽出したか否か、及び全ての大きさの評価ウインドウを用いてウインドウ画像を抽出したか否かを判定する。全て終了していない場合には、ステップ１０４へ戻り、次の評価ウインドウを設定して処理を繰り返す。全て終了した場合には、ステップ１１６へ移行し、上記ステップ１１２で記憶した識別結果を表示装置１６に表示して、対象物識別処理を終了する。

以上説明したように、第１の実施の形態の対象物識別装置１０によれば、可動物の特徴的な動きに応じた特有のオプティカルフローを用いて隠蔽領域を検出するため、精度良く隠蔽領域を検出することができる。また、この隠蔽領域の画像から抽出される特徴量を予め記憶された特徴量で置換することにより、隠蔽により影響を受けた特徴量を排除することができるため、対象物の識別精度を向上させることができる。

なお、上記識別部３２において、評価ウインドウ内を複数のサブウインドウで分割し、サブウインドウ毎に重み付けした評価値を算出するようにしてもよい。

例えば、図５に示すように、評価ウインドウを、頭部に対応するサブウインドウ、胴体部に対応するサブウインドウ、及び脚部に対応するサブウインドウに分割し、各サブウインドウについて、隠蔽率Ｏ及びパターン特徴量の評価値Ｅに対する重み付けをする。具体的には、各サブウインドウｊでの評価値をＥ_ｊ、及び隠蔽率をＯ_ｊとしたとき、評価ウインドウ内のウインドウ画像に対する評価値Ｅ及び隠蔽率Ｏは下記（４）式から算出される。

なお、ｗ_ｊは各サブウインドウｊに対する重み、Ｋはサブウインドウの数である。例えば、歩行者などを識別する際に頭部が重要な場合には、頭部に対応するサブウインドウに対する重みを大きくすればよい。

次に、第２の実施の形態について説明する。なお、第２の実施の形態の対象物識別装置において、第１の実施の形態の対象物識別装置１０の構成と同一の構成については、同一符号を付して詳細な説明を省略する。

図６に示すように、第２の実施の形態に係る対象物識別装置２１０は、撮像装置１２と、コンピュータ２１４と、表示装置１６とを備えている。

コンピュータ２１４は、機能的には、図６に示すように、オプティカルフロー算出部２０と、パターン特徴量抽出部２２と、隠蔽領域検出部２２４と、動き特徴量記憶部２２６と、パターン特徴量置換部２２８と、パターン特徴量記憶部３０と、識別部２３２とを含んだ構成で表すことができる。

動き特徴記憶部２２６には、歩行者の向き及び姿勢に応じた複数のカテゴリ毎に動き特徴ベクトルＨが記憶されている。

隠蔽領域検出部２２４は、動き特徴ベクトルＨのカテゴリ数に対応した数（ここでは、３つ）のカテゴリ別検出部２２４ａ、２２４ｂ、２２４ｃを備えている。各カテゴリ別検出部２２４ａ、２２４ｂ、２２４ｃの機能は、第１の実施の形態の隠蔽領域検出部２４と同様であり、各々対応するカテゴリの動き特徴ベクトルＨと、算出された動き特徴ベクトルｈとの類似度に基づいて、カテゴリ毎に隠蔽領域を検出する。すなわち、ここでは、３種類の隠蔽領域が検出される。

パターン特徴量置換部２２８は、動き特徴ベクトルＨのカテゴリ数に対応した数（ここでは、３つ）のカテゴリ別置換部２２８ａ、２２８ｂ、２２８ｃを備えている。各カテゴリ別置換部２２８ａ、２２８ｂ、２２８ｃの機能は、第１の実施の形態のパターン特徴量置換部２８と同様であり、パターン特徴量Ｘにおける各隠蔽領域に対応したパターン特徴量を、パターン特徴量記憶部３０に記憶されたパターン特徴量Ｙの各隠蔽領域に対応したパターン特徴量で置換する。

識別部２３２は、動き特徴ベクトルＨのカテゴリ数に対応した数（ここでは、３つ）のカテゴリ別識別部２３２ａ、２３２ｂ、２３２ｃと、各カテゴリ別識別部２３２ａ、２３２ｂ、２３２ｃの識別結果を統合する統合部２３２ｄとを備えている。各カテゴリ別識別部２３２ａ、２３２ｂ、２３２ｃは、第１の実施の形態の識別部３２と同様に、隠蔽率Ｏと評価値Ｅとを用いたカテゴリ別総合評価値ｅを各々算出する。

統合部２３２ｄは、各カテゴリ別識別部２３２ａ、２３２ｂ、２３２ｃで算出されたカテゴリ別総合評価値ｅの平均、最大値、最小値をとるなどして、カテゴリ別総合評価値ｅを統合した統合評価値を算出する。そして、統合評価値に基づいて、ウインドウ画像が歩行者を示す画像か否かを識別する。

第２の実施の形態における対象物識別処理ルーチンは、隠蔽領域を検出する処理、パターン特徴量を置換する処理、及びウインドウ画像を識別する処理が、上記のように動き特徴ベクトルＨのカテゴリ数に対応した数だけ実行される点を除いて、第１の実施の形態における対象物識別処理ルーチンと同様であるため、説明を省略する。

以上説明したように、第２の実施の形態の対象物識別装置２１０によれば、第１の実施の形態の効果に加え、対象物の向きや姿勢の変化の影響を低減して、対象物の識別精度をより向上させることができる。

なお、第２の実施の形態では、隠蔽領域を検出する処理、パターン特徴量を置換する処理、及びウインドウ画像を識別する処理が、動き特徴ベクトルＨのカテゴリ数に対応した数だけ実行される場合について説明したが、隠蔽領域検出部２２４で検出された複数の隠蔽領域の候補のうち、隠蔽率が最も小さいものを隠蔽領域として検出するようにしてもよい。この場合、パターン特徴量置換部及び識別部は第１の実施の形態と同様に構成することができる。

また、第１及び第２の実施の形態では、撮像された画像から抽出されたパターン特徴量Ｘを、記憶されたパターン特徴量Ｙを用いて置換する場合について説明したが、記憶されたパターン特徴量Ｙの隠蔽領域に対応する特徴量を、抽出されたパターン特徴量Ｘの隠蔽領域に対応する特徴量で置換し、パターン特徴量Ｙ’としてもよい。この場合、抽出されたパターン特徴量Ｘと置換後のパターン特徴量Ｙ’とを比較して、対象物の識別を行う。

また、パターン特徴量Ｘとパターン特徴量Ｙとの間で特徴量を置換するのではなく、パターン特徴量Ｘ及びパターン特徴量Ｙの隠蔽領域に対応する特徴量を、識別に影響を与えない特徴量（例えば０）に置換するようにしてもよい。

また、第１及び第２の実施の形態では、隠蔽領域のパターン特徴量を置換する場合について説明したが、隠蔽領域の画像自体を置換して、置換後の画像からパターン特徴量を抽出した上で、対象物を識別するようにしてもよい。

また、第１及び第２の実施の形態では、識別対象の可動物を歩行者とする場合について説明したが、例えば二輪車等の他の可動物を対象としてもよい。

なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。

１０、２１０ 対象物識別装置
１２ 撮像装置
１４、２１４ コンピュータ
１６ 表示装置
２０ オプティカルフロー算出部
２２ パターン特徴量抽出部
２４、２２４ 隠蔽領域検出部
２６、２２６ 動き特徴量記憶部
２８、２２８ パターン特徴量置換部
３０ パターン特徴量記憶部
３２ 識別部

Claims (9)

1. 移動体の周辺を異なる時刻で撮像した複数の画像からオプティカルフローを算出する算出手段と、
   前記複数の画像のいずれかに設定された評価ウインドウ内の画像の画素値を用いた抽出画像特徴量を抽出する抽出手段と、
   前記算出手段により算出された前記評価ウインドウに対応する領域のオプティカルフローから算出された算出動き特徴量と、識別対象の可動物を示すオプティカルフローから予め算出された識別動き特徴量とに基づいて、前記評価ウインドウ内において、前記識別対象の可動物が隠蔽物により隠蔽されている隠蔽領域を検出する検出手段と、
   前記抽出手段により抽出された抽出画像特徴量、及び前記識別対象の可動物を示す画像から予め抽出された識別画像特徴量の少なくとも一方の前記隠蔽領域に対応する画像特徴量を、前記隠蔽物による隠蔽に影響されない画像特徴量で置換する置換手段と、
   前記置換手段により置換された抽出画像特徴量、または前記抽出手段により抽出された抽出画像特徴量が示す前記識別対象の可動物らしさを示す評価値に基づいて、前記評価ウインドウ内の画像が前記識別対象の可動物を示す画像か否かを識別する識別手段と、
   を含む対象物識別装置。
2. 前記検出手段は、前記評価ウインドウに対応する領域を複数のブロックに分割し、前記ブロック毎に、前記オプティカルフローの大きさ及び方向別のヒストグラムを前記算出動き特徴量として算出し、該算出動き特徴量と、前記画像における前記評価ウインドウの大きさ及び位置、並びに前記ブロックに対応した領域の前記識別動き特徴量との類似度が予め定めた検出閾値より小さいブロックを前記隠蔽領域として検出する請求項１記載の対象物識別装置。
3. 前記置換手段は、前記抽出手段により抽出された抽出画像特徴量のうち、前記隠蔽領域に対応する抽出画像特徴量を、前記識別画像特徴量のうち、前記隠蔽領域に対応する識別画像特徴量で置換するか、前記識別画像特徴量のうち、前記隠蔽領域に対応する識別画像特徴量を、前記抽出画像特徴量のうち、前記隠蔽領域に対応する抽出画像特徴量で置換するか、または前記抽出画像特徴量及び前記識別画像特徴量のうち、前記隠蔽領域に対応する画像特徴量を０で置換する請求項１または請求項２記載の対象物識別装置。
4. 前記識別手段は、前記評価値として、前記置換手段により前記識別画像特徴量を用いて置換された抽出画像特徴量と前記識別画像特徴量との類似度、前記抽出手段により抽出された抽出画像特徴量と前記置換手段により前記抽出画像特徴量を用いて置換された識別画像特徴量との類似度、または前記置換手段により０を用いて置換された抽出画像特徴量と前記置換手段により０を用いて置換された識別画像特徴量との類似度を算出する請求項１〜請求項３のいずれか１項記載の対象物識別装置。
5. 前記識別手段は、前記評価ウインドウの大きさに対する前記隠蔽領域の大きさの割合を含んだ前記評価値を算出する請求項１〜請求項４のいずれか１項記載の対象物識別装置。
6. 前記検出手段は、前記識別対象の可動物の向き及び姿勢の少なくとも一方毎に予め算出された複数の識別動き特徴量に基づいて、複数の隠蔽領域を検出し、
   前記置換手段は、前記複数の隠蔽領域各々に対応する画像特徴量を置換した複数の前記抽出画像特徴量または前記識別画像特徴量を生成し、
   前記識別手段は、前記複数の隠蔽領域各々に対応する画像特徴量を置換した複数の前記抽出画像特徴量または前記識別画像特徴量を用いて得られる識別結果を統合して、前記評価ウインドウ内の画像が前記識別対象の可動物を示す画像か否かを識別する
   請求項１〜請求項５のいずれか１項記載の対象物識別装置。
7. 前記検出手段は、前記識別対象の可動物の向き及び姿勢の少なくとも一方毎に予め算出された複数の識別動き特徴量に基づいて、複数の隠蔽領域の候補を検出し、前記評価ウインドウの大きさに対する前記隠蔽領域の候補の大きさの割合が最も小さい隠蔽領域の候補を、前記隠蔽領域として検出する請求項１〜請求項５のいずれか１項記載の対象物識別装置。
8. コンピュータを、
   移動体の周辺を異なる時刻で撮像した複数の画像からオプティカルフローを算出する算出手段、
   前記複数の画像のいずれかに設定された評価ウインドウ内の画像の画素値を用いた抽出画像特徴量を抽出する抽出手段、
   前記算出手段により算出された前記評価ウインドウに対応する領域のオプティカルフローから算出された算出動き特徴量と、識別対象の可動物を示すオプティカルフローから予め算出された識別動き特徴量とに基づいて、前記評価ウインドウ内において、前記識別対象の可動物が隠蔽物により隠蔽されている隠蔽領域を検出する検出手段、
   前記抽出手段により抽出された抽出画像特徴量、及び前記識別対象の可動物を示す画像から予め抽出された識別画像特徴量の少なくとも一方の前記隠蔽領域に対応する画像特徴量を、前記隠蔽物による隠蔽に影響されない画像特徴量で置換する置換手段、及び
   前記置換手段により置換された抽出画像特徴量、または前記抽出手段により抽出された抽出画像特徴量が示す前記識別対象の可動物らしさを示す評価値に基づいて、前記評価ウインドウ内の画像が前記識別対象の可動物を示す画像か否かを識別する識別手段
   として機能させるための対象物識別プログラム。
9. コンピュータを、請求項１〜請求項７のいずれか１項記載の対象物識別装置を構成する各手段として機能させるための対象物識別プログラム。