JP2013073311A - 対象物種別判定装置 - Google Patents

Abstract

【課題】対象物の種別判定に要する演算負荷の軽減及び種別判定時間の短縮を図ることができる対象物種別判定装置を提供する。
【解決手段】赤外線カメラ２Ｒにより撮像された撮像画像から対象物の対象物領域Ｒを抽出し、対象物領域Ｒ内の運動判断領域Ｐについての輝度プロファイルＪnを作成する（ＳＴＥＰ１０６）。現在よりΔＴ前に作成した輝度プロファイルＪoをメモリから読出し、Ｊn，Ｊoの特徴量の差異が所定値以上であるか否かを判定する。所定値以上の差異があれば、対象物は生体（例：歩行者）であると判定し（ＳＴＥＰ１１０）、なければ、現在よりΔＴ／２前に作成した輝度プロファイルＪhをメモリから読出し、Ｊn，Ｊhの特徴量の差異が所定値以上であるか否かを判定し、所定値以上の差異があれば、対象物は生体であると判定し、なければ、対象物は生体でないと判定する。
【選択図】図４

Description

本発明は、カメラ等の撮像手段を介して取得した撮像画像から、歩行者等の対象物の種別を判定する装置に関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して周辺を撮像し、撮像画像から車両の周辺に存在する歩行者等の対象物の種別を検出し、対象物の種別に応じた注意喚起を行う技術が知られている。

特許文献１の対象物種別判定装置においては、対象物の種別を精度良く判定するために、生体等の対象物が、所定の身体部位を周期的に動かして移動することに着目する。そして、撮像手段により撮像された時系列の各撮像画像について、対象物の画像部分を抽出すると共に、対象物の各画像部分の特徴量の時系列データを算出し、該特徴量が周期的に変化していれば、該対象物は生体であると判定している。

特開２００９−４２９４１号公報

特許文献１では、対象物の画像部分の特徴量が周期的に変化していることを判断するために、この周期内で撮像された多数の時系列画像について、同一対象物の画像部分を抽出して、特徴量の変化を調べる必要がある。また、対象物の運動周期分の期間に亘って対象物の画像部分の特徴量の変化を調べる必要があるため、判定処理に要する時間が長くなる。

本発明の目的は、対象物の種別判定に要する演算負荷の軽減及び種別判定時間の短縮を図ることができる対象物種別判定装置を提供することである。

かかる目的を達成するために、本発明の対象物種別判定装置は、撮像手段により撮像された対象物の種別を判定する対象物種別判定装置であって、前記撮像手段による撮像画像から対象物の画像部分を含む対象物領域を抽出する対象物領域抽出手段と、前記撮像手段により第１の撮像時刻に撮像された第１の撮像画像と前記第１の撮像時刻から所定時間ΔＴが経過した第２の撮像時刻に撮像された第２の撮像画像とから前記対象物領域抽出手段が抽出した対象物領域を対比して、両対象物領域の特徴量が所定値以上異なるか否かを調べ、両対象物領域の特徴量が所定値以上異なるときは、前記対象物の種別は特定種であると判定し、両対象物領域の特徴量が所定値以上異ならないときは、前記対象物についての種別判定を保留する初回種別判定手段と、前記初回種別判定手段が前記対象物についての種別判定を保留したときには、前記第１又は第２の撮像時刻に対してΔＴ前からΔＴ後までの時間範囲にあり且つ前記第１及び第２の撮像時刻は除外した第３の撮像時刻に前記撮像手段により撮像された第３の撮像画像を選択する選択手段と、前記第１又は第２の撮像画像と前記第３の撮像画像とについて前記対象物領域抽出手段が抽出した対象物領域を対比して、両対象物領域の特徴量が所定値以上異なるか否かを調べ、両対象物領域の特徴量が所定値以上異なるときは、前記対象物の種別は前記特定種であると判定し、両対象物領域の特徴量が所定値以上異ならないときは、前記対象物の種別は前記特定種ではないと判定する２回目種別判定手段とを備えることを特徴とする（第１発明）。

歩行者等の対象物は、腕や脚等を周期運動しながら移動するのに対し、人工構造物等の対象物は、静止しており、周期運動をすることはない。したがって、撮像時刻が異なる第１及び第２の撮像画像における対象物領域を対比し、両対象物領域の特徴量が所定値以上異なるか否かを調べ、両対象物領域の特徴量が所定値以上異なるときは、対象物の種別は特定種であると判定することができる。本発明によれば、初回の種別判定において、第１及び第２の撮像画像における対象物領域の特徴量が所定値以上異なれば、対象物の種別は特定種であると判定できるので、処理する撮像画像の個数は２となり、対象物の種別判定に要する演算負荷を軽減することができる。

本発明によれば、ΔＴは、対象物の運動周期より短い時間間隔とすることができるので、種別判定に要する時間を対象物の運動周期より短くすることができる。

一方、初回の種別判定において、第１及び第２の撮像画像における対象物領域の特徴量が所定値以上異ならないときには、対象物が特定種でない場合の他に、ΔＴが偶然に対象物の運動周期等と一致した場合が考えられる。そこで、本発明によれば、初回の種別判定において両対象物領域の特徴量が所定値以上異ならないときは、選択手段により第３の撮像画像を選択し、２回目種別判定手段により第１又は第２の撮像画像と第３の撮像画像との対象物領域を対比して、両対象物領域の特徴量が所定値以上異なるか否かを調べる。対象物領域の特徴量が、ΔＴの周期で変化する特定種別の対象物の特徴量であるならば、第１又は第２の撮像時刻と第３の撮像時刻との時間間隔はΔＴからずれたものになって、２回目の種別判定では、両対象物領域の特徴量が所定値以上異なることになる。このため、対象物が特定種別及びそれ以外の種別であるかを２回目の判定により明確にすることができる。このように、初回の種別判定が保留となって、２回目の種別判定に至ったとしても、処理に用いた撮像画像の個数は３に留まるので、対象物の種別判定に要する演算負荷を軽減することができる。

また、第１発明の対象物種別判定装置において、前記選択手段は、前記第３の撮像時刻を、前記第１又は第２の撮像時刻に対してΔＴ／２だけ前又は後の時刻とすることが好ましい（第２発明）。

ΔＴが偶然に、対象物の運動周期に一致している場合、第１又は第２の撮像時刻と第３の撮像時刻との時間間隔ΔＴ／２は半周期となる。対象物の姿勢は、撮像間隔の一端側の位相にも依るが、運動周期の１／２としての半周期の両端時刻での差異は大きい。そのため、２回目の種別判定では、姿勢の差異が一般的に大きい時点間で、前記対象物領域の特徴量が所定値以上異なるか否かが調べられることになる。この結果、２回目の種別判定における特徴量の差異に基づいて、対象物が特定種であるか否かを円滑に判定することができる。

また、第２発明の対象物種別判定装置において、前記初回種別判定手段及び前記２回目種別判定手段は、前記対象物領域の特徴量として、前記対象物領域の特定部分の特徴量を用いると共に、該特定部分を対象物の移動速度に応じて変更することが好ましい（第３発明）。

対象物の種別によっては、移動中に周期的に変位する部位（例：歩行者の脚と腕）が複数、存在することがある。また、移動速度に応じて、特徴量の変化の大きい部位が変化したり、特徴量の変化を抽出し易い部位が変化したりすることがある。そこで、対象物領域の特徴量として対象物領域の特定部分の特徴量を用いると共に、該特定部分を対象物の移動速度に応じて変更することにより、対比する対象物領域の特徴量が所定値以上異なるか否かを適切に判断することができる。

また、第１〜第３発明のいずれか１つの発明の対象物種別判定装置において、前記初回種別判定手段は、前記ΔＴを、前記特定種別の対象物が移動する際の姿勢変化の周期の想定値と異なる値に設定することが好ましい（第４発明）。

ΔＴを、特定種別の対象物が移動する際の姿勢変化の周期の想定値とは異なる値に設定することにより、前記対象物の種別が特定種であることが初回の種別判定により判定される可能性を高めて、判定時間の短縮を図ることができる。

本発明の実施形態による対象物種別判定装置の機能ブロック図。 図１に示した対象物種別判定装置の車両への取り付け態様の説明図。 図１の対象物種別判定装置における対象物検出・注意喚起動作を示すフローチャート。 図３の対象物検出・注意喚起動作に含まれる歩行者判定処理の第１部分のフローチャート。 図３の対象物検出・注意喚起動作に含まれる歩行者判定処理の第２部分のフローチャート。 歩行者が横断するときの歩行者の側面視の姿勢変化を示す図。 図５の歩行者判定処理における対象物領域を抽出する処理の説明図。 図５の歩行者判定処理における対象物を時刻間追跡する処理の説明図。 運動判断領域を歩行者の両腕にしたときの輝度プロファイルについての説明図。 運動判断領域を歩行者の両脚にしたときの輝度プロファイルについての説明図。

図１及び図２を参照して、本実施形態の対象物種別判定装置１は、ＣＰＵ（中央演算装置）を備えた電子ユニットであり、２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを逐次検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を逐次検出する車速センサ４と、自車両１０のブレーキの操作を逐次検出するためのブレーキセンサ５とが接続されている。

また、対象物種別判定装置１には、自車両１０に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに撮像画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。

赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当し、夜間でも生体を明瞭に撮像することができる。

図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部に所定の間隔で取り付けられている。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両１０の前部に固定されている。

対象物種別判定装置１は、詳細の図示は省略するが、赤外線カメラ２Ｒ，２Ｌの入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読出し及び書込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ、メモリ、入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等とを備えている。赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号（アナログ信号）は、デジタル信号に変換されて当該コンピュータに入力されるように構成されている。

そして、対象物種別判定装置１は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して運転者に注意喚起（対象物に対する運転者の注意の喚起）を行う処理等を実行する。

これらの処理は、対象物種別判定装置１のメモリに予め実装されたプログラムを対象物種別判定装置１により実行することにより実現される。

より詳しくは、対象物種別判定装置１は、対象物領域抽出手段１１、初回種別判定手段１２、選択手段１３及び２回目種別判定手段１４を、上記プログラムにより実現される機能として備える。対象物領域抽出手段１１、初回種別判定手段１２、選択手段１３及び２回目種別判定手段１４は、詳細については、図４〜図１０において後述するので、ここでは、簡単に説明する。

対象物領域抽出手段１１は、赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像から、自車両１０の周辺に存在する対象物の画像部分を含む対象物領域（例：後述の図７の対象物領域Ｒk2）を抽出する。

初回種別判定手段１２は、ΔＴ（本発明の所定時間ΔＴに相当）だけ離れた第１及び第２の撮像時刻の第１及び第２の撮像画像について、対象物領域抽出手段１１が抽出した対象物領域を対比して、両対象物領域の特徴量が所定値以上異なるか否かを判定し、異なるときは、対象物の種別は特定種別（例：後述の図９の歩行者）であると判定し、異ならないときは、種別判定を保留する。

選択手段１３は、第１又は第２の撮像時刻に対してΔＴ前からΔＴ後までの時間範囲にあり第１及び第２の撮像時刻は除外した第３の撮像時刻に撮像された第３の撮像画像を選択する。ここで注意すべきは、第１又は第２の撮像時刻と第３の撮像時刻との時間間隔はΔＴとは別の値になっていることである。

２回目種別判定手段１４は、第１又は第２の撮像画像と第３の撮像画像とについて対象物領域抽出手段１１が抽出した対象物領域を対比して、両対象物領域の特徴量が所定値以上異なるか否かを調べ、両対象物領域の特徴量が所定値以上異なるときは、対象物の種別は特定種であると判定し、両対象物領域の特徴量が所定値以上異ならないときは、対象物の種別は前記特定種ではないと判定する。

次に、対象物種別判定装置１による対象物種別判定を含む対象物注意喚起処理について、図３に示したフローチャートに従って説明する。対象物注意喚起処理は、対象物種別判定装置１を含む対象物注意喚起処理装置（図示せず）が実施する。

ＳＴＥＰ１では、対象物注意喚起処理装置が赤外線カメラ２Ｒ，２Ｌの撮像画像から対象物を抽出する。具体的な抽出の仕方としては例えば周知のランレングスデータ方式がある。

この方式を簡単に説明すると、赤外線カメラ２Ｒ，２Ｌの一方の撮像画像（グレースケール画像）を基準画像として、該基準画像を２値化処理し、ランレングスデータを作成する。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。そして、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるラインを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。

ＳＴＥＰ２では、対象物注意喚起処理装置が対象物の実空間位置を算出する。実空間位置の算出には、自車両１０から対象物までの距離の算出が必要になるが、該距離は、対象物に対する赤外線カメラ２Ｒ，２Ｌの視差に基づき算出することもできる。

ＳＴＥＰ３では、対象物注意喚起処理装置、特に対象物種別判定装置１が種別判定を実施する。種別判定の具体的な処理については、後述の図４及び図５において詳説する。

ＳＴＥＰ４では、対象物注意喚起処理装置は周知の注意喚起の処理を実行する。簡単に述べると、ＳＴＥＰ２で求めた対象物の実空間位置とＳＴＥＰ３で求めた対象物の種別とに応じて、表示装置７に表示した基準画像中の注意喚起対象の画像を強調的に表示したり、注意喚起対象である対象物が存在することをスピーカ６から運転者に音声案内したりするものである。なお、注意喚起の処理を実施する際、自車両１０が制動中か否かをブレーキセンサ５の出力から適宜判断し、制動中であれば、運転者は既に対象物の存在を認識しており、敢えて注意喚起を行う必要はないとして、ＳＴＥＰ４の注意喚起を保留してもよい。

図４及び図５の対象物の種別判定処理のフローチャートの説明に先立ち、図６〜図１０を参照して、生体の周期性運動について説明する。

図６は、自車両１０が走行している道路の前方において、歩行者が横断するときの自車両１０から見た歩行者の姿勢変化を示している。図６において、ｋ1〜ｋ3は、時刻を意味しており、後述では、各記号を識別するための便宜上、記号の添え字として使用する。なお、時刻ｋ1からｋ3までの時間はＴaと定義する。

歩行者の歩行周期は、歩行者から考えると、例えば左脚を着地開始してから次に左脚を着地開始するまでの２歩の期間となる。しかしながら、対象物種別判定装置１は、種別を判定しようとする対象物がなにがしかの周期運動をしていることが認められれば、該対象物は生体であると判定することができるので、対象物は生体であると能率的に判定することができる判定処理上の周期を、歩行者から考える周期とは別途に設定することができる。

そこで、対象物種別判定装置１は、能率的な判定処理を行う周期として、歩行者の左右の脚を、区別することなく、影絵的な脚とし、影絵的な両脚が最大量開いた時から次に影絵的な両脚が最大量開いた時までの時間（例：図６のｋ1−ｋ3間の時間）を、対象物種別判定装置１は歩行者特有の運動周期（この場合は歩行者が１歩の前進に要した時間が周期となる。）として採用する。

図６は、歩行者の３つの側面視姿勢を時刻順ｋ1，ｋ2，ｋ3に左から右側へ並べて示している。図６の例では、歩行者がいずれかの脚（左右を区別しない脚）を前方へ最大限突き出した時刻ｋ1から次にいずれかの脚を前方へ最大限突き出した時刻ｋ3までの時間Ｔaが歩行者の脚の運動周期とされている。したがって、各歩行者姿勢の時間間隔ｋ1−ｋ2，ｋ2−ｋ3はＴa／２となる。図６において時刻ｋ1，ｋ3の歩行者姿勢では、歩行者は、両脚を歩行者の前後方向へ最大に開いており、脚部の姿勢は同一となっている。時刻ｋ2の歩行者姿勢では、歩行者は、両脚を歩行者の前後方向へ部分的に重ねていて、脚部姿勢は、時刻ｋ1，ｋ3の歩行者姿勢の脚部姿勢とは異なっている。

なお、図６は歩行者の脚の周期運動について説明したが、歩行者は、歩行中、腕も脚と同様に周期運動させる。歩行者の腕についての特徴量（後述の図９参照）に基づいて対象物が歩行者であるか否かを判定するとき、腕の運動周期は、脚の運動周期Ｔaと同一であると想定される。

図４及び図５のフローチャートについて説明する。図４及び図５の対象物の種別判定処理は、ΔＴ／２の等時間間隔で実施される。理由は、該種別判定処理では、撮像時刻の時間間隔がΔＴ／２だけずれている２つの撮像画像が、ＳＴＥＰ１１１において必要となるので、ＳＴＥＰ１０７におけるメモリへの輝度プロファイルの記憶はΔＴ／２ごとに実施するのが処理の合理化上、有利だからである。

図４及び図５の対象物の種別判定処理では、対象物について判定しようとする種別が歩行者であるので、図４及び図５の対象物の種別判定処理の実行時間間隔としてのΔＴ／２は、歩行者の脚及び腕の運動周期Ｔaの１／４とされる。すなわち、ΔＴ／２＝Ｔa／４である。

図４及び図５において、ＳＴＥＰ１０１〜１０２は対象物領域抽出手段１１による処理に相当する。ＳＴＥＰ１０３〜ＳＴＥＰ１１０は初回種別判定手段１２による処理に相当する。ＳＴＥＰ１１１は選択手段１３による処理に相当する。ＳＴＥＰ１１２〜ＳＴＥＰ１１４は２回目種別判定手段１４による処理に相当する。

ＳＴＥＰ１０１では、対象物種別判定装置１は、赤外線カメラ２Ｒの撮像画像から、対象物領域を抽出する。

具体的には、まず、対象物種別判定装置１は、赤外線カメラ２Ｒの撮像画像を２値化処理して、輝度値が閾値より明るい領域としての２値化対象物を抽出する。次に、対象物種別判定装置１は、抽出された２値化対象物までの自車両１０からの距離を算出する。該距離の算出の仕方は、図３のＳＴＥＰ２で対象物の実空間位置を算出したときと同様な仕方が採用される。

次に、対象物種別判定装置１は、抽出された２値化対象物の上下方向に、複数のマスク領域を設定する。そして、対象物種別判定装置１は、各マスク領域について、自車両１０に対する距離を算出する。

次に、対象物種別判定装置１は、２値化対象物の自車両１０に対する距離と、各マスク領域の自車両１０に対する距離との差を算出する。次に、対象物種別判定装置１は、複数のマスク領域のうち、算出された差が所定範囲内であるマスク領域を取得する。そして、対象物種別判定装置１は、２値化対象物及び取得されたマスク領域を含む領域を、対象物領域として抽出する。

上述の対象物領域を抽出する処理について、例えば、図６の中央の歩行者姿勢に対応する撮像画像（該撮像画像は時刻ｋ2における撮像画像であるので、以下、説明の便宜上、「撮像画像Ｉk2」と呼ぶ。）を例にして説明する。このとき、撮像画像Ｉk2から、図７で示すように２値化対象物Ｔk2（図中、点描を付して示す）が抽出される。そして、抽出された２値化対象物Ｔk2の上下に、図７に示すようにマスク領域Ｍ１(1)〜Ｍ１(8)が設定される。次に、マスク領域Ｍ１(1)〜Ｍ１(8)のうち、自車両１０に対する距離の差が所定範囲内のマスク領域Ｍ１(3)〜Ｍ１(7)が取得される。そして、２値化対象物Ｔk2及び取得されたマスク領域Ｍ１(3)〜Ｍ１(7)を含む領域が、対象物領域Ｒk2として抽出される。

図４に戻り、ＳＴＥＰ１０２では、対象物種別判定装置１は、対象物の時刻間追跡、すなわち、対象物種別判定装置１の演算処理周期毎に同一対象物を認識する処理を行う。

図６の時刻ｋ1，ｋ2に例示する歩行者姿勢の撮像画像（撮像時刻ｋ1，ｋ2の撮像画像）Ｉk1，Ｉk2間で、対象物の時刻間追跡を行う場合を例に説明する。撮像画像Ｉk1から抽出された２値化対象物Ｔk1の自車両１０に対する距離をＺk1、撮像画像Ｉk2から抽出された２値化対象物Ｔk2の自車両１０に対する距離をＺk2とする。

図８に示すように、具体的には、まず、対象物種別判定装置１は、撮像時刻ｋ2の撮像画像Ｉk2の対象物領域Ｒk2に、幅ＸＵk2、高さＹＵk2の上部分領域ＲＵk2を設定する。なお、高さＹＵk2は、実空間における所定高さ（例えば、対象物を歩行者と仮定した場合に、その上半身が撮像され得る高さ）を、対象物領域Ｒk2の２値化対象物Ｔk2の自車両１０に対する距離Ｚk2と、焦点距離と、画素間隔とを用いて画像空間に変換した値に設定される。すなわち、上部分領域ＲＵk2は、歩行者の上半身に相当する領域となる。次に、対象物領域Ｒk2をＺk2／Ｚk1倍した探索画像（テンプレート）を算出する。

次に、対象物種別判定装置１は、撮像時刻ｋ1の画像（以下、「画像Ｉk1」という。）に対して探索画像（テンプレート）との相関演算を行って、撮像時刻ｋ1の画像Ｉk1における上部分領域ＲＵk1を抽出する（テンプレートマッチング）。次に、対象物種別判定装置１は、上部分領域ＲＵk1に基づいて、距離に応じて対象物領域Ｒk2のサイズを変更し、画像Ｉk1の対象物領域Ｒk1を設定する。このように、歩行者では上半身の動きが比較的少ないため、対象物領域のうちの上部分領域を探索画像（テンプレート）としてテンプレートマッチングを行うことにより、対象物の時刻間追跡を精度良く行うことができる。

図４に戻って、ＳＴＥＰ１０３では、対象物種別判定装置１は、対象物の移動速度が所定の閾値未満が否かを判定する。そして、所定の閾値未満であれば、処理はＳＴＥＰ１０４へ進み、所定の閾値以上であれば、処理はＳＴＥＰ１０５へ進む。

ＳＴＥＰ１０４では、対象物種別判定装置１は、対象物領域Ｒから生体の周期運動の有無を、効率的に判断するために、対象物領域Ｒ全体からではなく、対象物領域Ｒに対して絞った特定部分から判断することにして、該特定部分としての運動判断領域Ｐを対象物領域Ｒの上側部分に設定する。ＳＴＥＰ１０５では、対象物種別判定装置１は、運動判断領域Ｐを対象物領域Ｒの下側部分に設定する。対象物が歩行者である場合、対象物領域Ｒの上側部分は、歩行者の腕の画像を含む領域として選定され、対象物領域Ｒの下側部分は、歩行者の脚の画像を含む領域として選定されている。ＳＴＥＰ１０６では、対象物種別判定装置１は、運動判断領域Ｐnについての輝度プロファイル（以下、運動判断領域Ｐnについての輝度プロファイルを「輝度プロファイルＪn」という。）を作成する。

図９及び図１０を参照して、輝度プロファイルについて説明する。図９及び図１０では、各（ｂ）の輝度プロファイルの基になる撮像画像の撮像時刻は各（ａ）の輝度プロファイルの基になる撮像画像の撮像時刻よりΔＴ後のものになっている。

図９及び図１０において、（ａ）及び（ｂ）の撮像画像は、図６の時刻ｋ1，ｋ2の歩行者姿勢を撮像したものに、相当する。図９及び図１０の説明の便宜のために、（ｂ）の撮像画像の撮像画像を現在時刻とする。したがって、（ａ）の撮像画像の撮像時刻は、現在時刻よりΔＴ前となる。説明の便宜上、（ａ）及び（ｂ）の撮像画像に係る処理等を区別して説明するときは、添え字n及びoを付けて区別し、区別しないときは、添え字n及びoを省略する。

図９では、運動判断領域Ｐを対象物領域Ｒの上側部分としたときの輝度プロファイルを示している。一般に、歩行者は、左右の腕を交互に前及び後ろへ出しながら、歩行する。図９では、腕の位置に関係する輝度プロファイルが作成される。図９（ａ）は歩行者の両腕が歩行者の前後方向へ最大に開いているときの輝度プロファイルを示し、図９（ｂ）は歩行者の両腕が歩行者の前後方向へ歩行者の体側に重なったときの輝度プロファイルを示している。

図９の場合の輝度プロファイルは、運動判断領域Ｐにおいて、赤外線カメラ２Ｒの撮像画像としてのグレースケール画像上の縦方向（ｙ方向）の各座標位置における横方向（ｘ方向）の全画素の輝度値の合計を高さとしたものである。

歩行者の画像部分の各画素は輝度値が高い。図９（ａ）の運動判断領域Ｐoでは、両腕が体側から横方向両側へ大きく張り出しており、運動判断領域Ｐoの縦方向へ腕の範囲では、横方向の全画素の輝度値の合計量がそれ以外の範囲の合計量に対して突出して大きくなる。したがって、図９（ａ）の輝度プロファイルは、対象物の高さ方向へ腕の範囲において大きく隆起する。

これに対し、図９（ｂ）の運動判断領域Ｐnでは、両腕が体側に重なるので、対象物の高さ方向へ腕部の範囲において、横方向の全画素の輝度値の合計量は、それ以外の範囲の合計量に対して大きくなるものの、値自体はさほど大きくない。

図９（ａ）及び（ｂ）の輝度プロファイルについて、最大隆起量は、対象物種別判定装置１が撮像画像における対象物の画像部分から該対象物が歩行者であると判定する際の特徴量に設定される。図９（ａ）及び（ｂ）の運動判断領域Ｐo，Ｐnの最大隆起量について対比すれば、両者の最大隆起量の差は所定値以上となっている。

図１０では、運動判断領域Ｐを対象物領域Ｒの下側部分としたときの輝度プロファイルを示している。図１０（ａ）は歩行者の両脚が歩行者の前後方向へ最大に開いているときの輝度プロファイルを示し、図１０（ｂ）は歩行者の両脚が歩行者の前後方向へ重なったときの輝度プロファイルを示している。

図１０の輝度プロファイルは、運動判断領域Ｐにおいて、基準画像上の横方向（ｘ方向）の各座標位置における縦方向（ｙ方向）の全画素の輝度値の合計を高さとしたものである。

図１０（ａ）の運動判断領域Ｐoでは、両脚が前後へ大きく開かれており、運動判断領域Ｐoの横方向へ各脚の範囲において、縦方向の全画素の輝度値の合計量はそれ以外の範囲の合計量に対して大きくなる。したがって、図１０（ａ）の輝度プロファイルは、所定高さ以上の隆起部分が運動判断領域Ｐoの横方向へ２つ生じる。

これに対し、図１０（ｂ）の運動判断領域Ｐnでは、両脚が前後方向へ閉じられて重なるので、所定高さ以上の隆起部分は運動判断領域Ｐnの横方向へ１つとなる。

図１０（ａ）及び（ｂ）の輝度プロファイルについて、隆起部分の個数は、対象物種別判定装置１が撮像画像における対象物の画像部分から該対象物が歩行者であると判定する際の特徴量に設定される。図１０（ａ）及び（ｂ）の運動判断領域Ｐo，Ｐnの隆起部分の個数の差は所定値１以上であると判断される。

図４に戻って、ＳＴＥＰ１０４〜１０６において、対象物種別判定装置１は、対象物の移動速度が遅い（閾値未満）ときは、運動判断領域Ｐを対象物領域Ｒの上側部分に設定し、対象物の移動速度が速い（閾値以上）ときは、運動判断領域Ｐを対象物領域Ｒの下側部分に設定する。その理由は、対象物が歩行者である場合に、歩行者が歩いているときは、脚の周期運動より腕の周期運動の方が大きな形状変化となり、また、歩行者が走っているときは、腕の周期運動より脚の周期運動の方が大きな形状変化となるからである。

ＳＴＥＰ１０７では、対象物種別判定装置１は、ＳＴＥＰ１０６で作成した輝度プロファイルＪnをメモリに記憶する。なお、この歩行者判定処理では、後述のＳＴＥＰ１１２の判定のために、ΔＴ／２の時間経過毎に、輝度プロファイルを作成し、該輝度プロファイルをメモリに記憶しておく必要がある。これに対し、ＳＴＥＰ１０７以降は、ΔＴ／２の時間経過毎に実施されてもよいし、ΔＴの時間経過毎に実施されてもよい。

ＳＴＥＰ１０８では、対象物種別判定装置１は、現在よりΔＴ前に作成した輝度プロファイルを輝度プロファイルＪoとしてメモリから読出す。もし輝度プロファイルＪnが図９の（ｂ）の輝度プロファイルであれば、輝度プロファイルＪoは図９（ａ）の輝度プロファイルとなる。また、もし輝度プロファイルＪnが１０の（ｂ）の輝度プロファイルであれば、輝度プロファイルＪoは図１０の（ａ）の輝度プロファイルとなる。

ＳＴＥＰ１０９では、対象物種別判定装置１は、２つの輝度プロファイルＪn，Ｊoから抽出した特徴量の差（厳密には差の絶対値）が所定値以上であるか否かを調べる。輝度プロファイルＪn，Ｊoから抽出した特徴量とは、前述したように、図９の場合には、輝度プロファイルＪn，Ｊoの最大隆起量であり、図１０の場合には、輝度プロファイルＪn，Ｊoにおいて隆起量が所定値以上である隆起の個数である。

ＳＴＥＰ１０９において、特徴量の差が所定値以上であると判断されれば、ＳＴＥＰ１１０へ進み、特徴量の差が所定値未満であると判断されれば、ＳＴＥＰ１１１（図７）へ進む。ＳＴＥＰ１１０では、対象物種別判定装置１は、対象物が歩行者であると判定し、歩行者判定処理が終了される。

ＳＴＥＰ１０９において、両輝度プロファイルＪn，Ｊoの特徴量の差が所定値未満であると判定されたときに、ＳＴＥＰ１１１へ進むことの意味することは、対象物についての種別判定を保留したことである。保留した理由は、この段階では、対象物が歩行者であるか否かを特定できないからである。すなわち、ＳＴＥＰ１０９で対比された撮像画像の時間間隔ΔＴが、歩行者の運動周期Ｔaとたまたま一致したときには、対象物が、歩行者でないときだけでなく、歩行者であるときも、比較する輝度プロファイルは、特徴量の差が所定値未満であると判断されてしまうからからである。

図５のＳＴＥＰ１１１以降は、選択手段１３及び２回目種別判定手段１４による処理に関する。すなわち、選択手段１３により撮像画像の撮像時刻の時間間隔がΔＴとは別の値としてのΔＴ／２とされて、２回目種別判定手段１４による２回目種別判定が行われる。

ＳＴＥＰ１１１では、対象物種別判定装置１は、現在時刻よりΔＴ／２前の撮像時刻ｔh（本発明の第３の撮像時刻に相当する。）に撮像された撮像画像についての輝度プロファイルをＪhとしてメモリから読出す。ここで、以降の説明の便宜上、現在時刻をｔn、現在時刻ｔnよりΔＴ前の時刻をｔo、現在時刻ｔnよりΔＴ／２前の時刻をｔhと定義する。この定義によれば、輝度プロファイルＪn，Ｊo，Ｊhの基になっている撮像画像の撮像時刻はそれぞれｔn，ｔo，ｔhとなる。

ＳＴＥＰ１１２では、対象物種別判定装置１は、２つの輝度プロファイルＪn，Ｊhから抽出した特徴量の差（厳密には差の絶対値）が所定値以上であるか否かを調べる。なお、ＳＴＥＰ１１２における所定値は、ＳＴＥＰ１０９における所定値と同一である。また、ＳＴＥＰ１１２における特徴量とは、ＳＴＥＰ１０９における特徴量と同様に、図９の場合には、輝度プロファイルＪn，Ｊhの最大隆起量であり、図１０の場合には、輝度プロファイルＪn，Ｊhにおいて隆起量が所定値以上である隆起の個数である。

なお、ＳＴＥＰ１１２では、輝度プロファイルＪnの代わりに、輝度プロファイルＪoを使用することもできる。その場合、輝度プロファイルＪo，Ｊhを対比し、両輝度プロファイルＪo，Ｊhから抽出した特徴量の差（厳密には差の絶対値）が所定値以上であるか否かを調べることになる。さらに、歩行者判定処理を現在からΔＴ／２経過後に再実行して、その再実行時を撮像時刻とする撮像画像から生成した輝度プロファイルをＳＴＥＰ１１２のＪhとすることもできる。

さらに、撮像時刻ｔhは、ΔＴが、偶然に対象物の運動周期に一致したために、２回目種別判定を行わなければならないときに、ＳＴＥＰ１１２において、２回目種別判定の対比対象の一方の輝度プロファイルＪhが作成される撮像画像の撮像時刻（本発明の第３の撮像時刻に相当する。）となっている。撮像時刻ｔhは撮像時刻ｔn又はｔoとの時間間隔がΔＴ以外になるように選択された値である。ｔh＝ｔn−ΔＴ／２又はｔn＋ΔＴ／２に代えて、ｔhは、例えば、ｔn−ΔＴ＜ｔh＜ｔn＋ΔＴの時間範囲内（ただしｔh≠ｔn）にしたり、ｔo−ΔＴ＜ｔh＜〜ｔo＋ΔＴの時間範囲内（ただしｔh≠ｔo）にしたりすることもできる。

ＳＴＥＰ１１２において、特徴量の差が所定値以上であると判断されれば、ＳＴＥＰ１１３へ進み、特徴量の差が所定値未満であると判断されれば、ＳＴＥＰ１１４へ進む。ＳＴＥＰ１１４では、対象物種別判定装置１は、対象物が歩行者であると判定し、歩行者判定処理が終了される。ＳＴＥＰ１１３では、対象物種別判定装置１は、対象物が歩行者でないと判定し、歩行者判定処理が終了される。

なお、図４のフローチャートでは、対象物としての歩行者が、ＳＴＥＰ１０３の閾値未満の移動速度を維持して（歩行して）横断するか、閾値以上の移動速度を維持して（走って）横断しているかのいずれかであるとして、説明した。しかしながら、歩行者は、場合によって、途中で歩行と走行とを切り替えることがある。その場合は、ＳＴＥＰ１０８で特徴量を抽出する輝度プロファイルＪn，Ｊoについて、Ｊnは図９（ｂ）又は図１０（ｂ）の輝度プロファイルとなり、Ｊoは図１０（ａ）又は図９（ａ）の輝度プロファイルとなって、Ｊn，Ｊoは相互に異なる運動判断領域由来の輝度プロファイルとなってしまう。

これに対処する場合は、ＳＴＥＰ１０７とＳＴＥＰ１０８と間に、輝度プロファイルＪn，Ｊoが同一の運動判断領域由来の輝度プロファイルであるか否かを判定するＳＴＥＰを追加する。そして、輝度プロファイルＪn，Ｊoが同一の運動判断領域由来の輝度プロファイルであると判定された場合には、ＳＴＥＰ１０８以降へ進み、同一の運動判断領域由来の輝度プロファイルではないと判定された場合は、図４の歩行者判定処理を直ちに終了するようにする。なお、直ちに終了した場合も、図４の歩行者判定処理は一定時間経過後に再実行される。

本発明を実施形態について説明したが、本発明は、この実施形態に限定することなく、要旨の範囲内で種々に変形して、実施可能である。

上述の実施の形態では、対象物領域抽出手段１１は、対象物領域を抽出する際に用いる、自車両１０から対象物までの距離は、対象物に対する２つの赤外線カメラ２Ｒ，２Ｌの視差から算出している。これに対し、自車両１０に搭載する赤外線カメラを１つとし、該１つの赤外線カメラから撮像した時系列の撮像画像の対象物画像の寸法変化と車速とに基づき自車両１０から対象物までの距離を算出することもできる。

上述の実施の形態では、対象物の種別が歩行者（横断歩行者）であるか否かを判定しているが、本発明は、人以外の生体、例えば動物（前述の特開２００９−４２９４１号公報の図１２（ｃ）参照）等の種別判定にも適用することができる。

本発明は、さらに、横断歩行者ではなく、路側を道路に沿って歩行している歩行者を判定することもできる。この場合、路側を道路に沿って歩行している歩行者は、その移動方向が自車両１０と同一方向になるので、図６のように、赤外線カメラ２Ｒから見える歩行者は側面視ではなく、正面視又は背面視となる。したがって、両腕又は両脚の運動を、撮像画像上の縦方向又は横方向の各位置での横方向又は縦方向の全画素の輝度値の合計量の輝度プロファイルから観察することが難しくなる。

これに対処するため、歩行者は脚を上下運動させながら歩行することに着目し（特開２００９−４２９４１号公報の図１４参照）、輝度プロファイルに代えて、両脚の下端（撮像画像上のエッジ点に相当する。）の縦方向位置を、対比する両対象物領域の運動判断領域に基づき特徴量として検出する。そして、対比撮像画像における運動判断領域における特徴量の差としての縦方向距離差（厳密には縦方向距離差の絶対値）が所定値以上であるか否か調べる。

本発明における特徴量は、対象物がその周期運動に伴い変化させる形状について対比撮像画像間の差異が判断できる特徴量であれば、実施形態における対象物領域のプロファイル処理や、エッジ点検出処理に基づいて抽出できるもの以外の処理を採用することができる。

また、２回目種別判定手段において、対比対象物が抽出される２つの撮像画像は、第１又は第２の撮像画像と第３の撮像画像とに選定されるが、第１又は第２の撮像画像に代えて、第１及び第２の撮像画像を合成して、平均した合成・平均画像を採用してもよい。該合成・平均画像は、具体的には、各画素位置の輝度を、該画素位置と同一の、第１及び第２の撮像画像の画素位置の輝度を加算し、２で割って得られた値（平均値）とするものである。

１・・・対象物種別判定装置、２Ｒ，２Ｌ・・・赤外線カメラ（撮像手段）、１０・・・自車両、１１・・・対象物領域抽出手段、１２・・・初回種別判定手段、１３・・・選択手段、１４・・・２回目種別判定手段。

Claims (4)

1. 撮像手段により撮像された対象物の種別を判定する対象物種別判定装置であって、
   前記撮像手段による撮像画像から対象物の画像部分を含む対象物領域を抽出する対象物領域抽出手段と、
   前記撮像手段により第１の撮像時刻に撮像された第１の撮像画像と前記第１の撮像時刻から所定時間ΔＴが経過した第２の撮像時刻に撮像された第２の撮像画像とから前記対象物領域抽出手段が抽出した対象物領域を対比して、両対象物領域の特徴量が所定値以上異なるか否かを調べ、両対象物領域の特徴量が所定値以上異なるときは、前記対象物の種別は特定種であると判定し、両対象物領域の特徴量が所定値以上異ならないときは、前記対象物についての種別判定を保留する初回種別判定手段と、
   前記初回種別判定手段が前記対象物についての種別判定を保留したときには、前記第１又は第２の撮像時刻に対してΔＴ前からΔＴ後までの時間範囲にあり且つ前記第１及び第２の撮像時刻は除外した第３の撮像時刻に前記撮像手段により撮像された第３の撮像画像を選択する選択手段と、
   前記第１又は第２の撮像画像と前記第３の撮像画像とについて前記対象物領域抽出手段が抽出した対象物領域を対比して、両対象物領域の特徴量が所定値以上異なるか否かを調べ、両対象物領域の特徴量が所定値以上異なるときは、前記対象物の種別は前記特定種であると判定し、両対象物領域の特徴量が所定値以上異ならないときは、前記対象物の種別は前記特定種ではないと判定する２回目種別判定手段と
   を備えることを特徴とする対象物種別判定装置。
2. 請求項１記載の対象物種別判定装置において、
   前記選択手段は、前記第３の撮像時刻を、前記第１又は第２の撮像時刻に対してΔＴ／２だけ前又は後の時刻とすることを特徴とする対象物種別判定装置。
3. 請求項２記載の対象物種別判定装置において、
   前記初回種別判定手段及び前記２回目種別判定手段は、前記対象物領域の特徴量として、前記対象物領域の特定部分の特徴量を用いると共に、該特定部分を対象物の移動速度に応じて変更することを特徴とする対象物種別判定装置。
4. 請求項１〜３のいずれか１項に記載の対象物種別判定装置において、
   前記初回種別判定手段は、前記ΔＴを、前記特定種別の対象物が移動する際の姿勢変化の周期の想定値と異なる値に設定することを特徴とする対象物種別判定装置。