JP2009037476A - 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム - Google Patents

Abstract

【課題】車両周辺を撮像した赤外線画像から検出される対象物について、他車両の特徴を適切に抽出して、対象物の種別を精度良く判定することができる車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラムを提供する。
【解決手段】車両周辺監視装置は、赤外線画像の中から所定閾値以上の輝度を持つ画像部分に対応する対象物を特定対象物として検出する特定対象物検出手段１１と、検出された特定対象物の車両１０に対する距離を算出する第１の距離算出手段１２と、特定対象物の画像部分に近接した上方の領域を探索領域としてを設定する探索領域設定手段１３と、設定された探索領域の実空間における位置の車両１０に対する距離を算出する第２の距離算出手段１４と、定対象物の車両１０に対する距離と、探索領域の車両１０に対する距離とに基づいて、特定対象物の種別を判定する特定対象物種別判定手段１５とを備える。
【選択図】図１

Description

本発明は、車両に搭載した赤外線カメラ等の撮像手段を介して取得した画像から、歩行者等の対象物を検出する装置、方法、及び該装置の処理をコンピュータに実行させるためのプログラムに関する。

近年、車両に赤外線カメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物を検出し、車両との接触を回避すべき対象を判定して、運転者への情報の提示等を行う技術が知られている（例えば、特許文献１を参照）。

特許文献１の車両の周辺監視装置においては、２つの赤外線カメラにより得られた車両周辺の画像を２値化処理して対象物を抽出し、該対象物と車両との相対位置や相対速度を検出して、該対象物と車両との接触の可能性及び対象物の種別を判定する。このとき、特許文献１の車両の周辺監視装置では、車両前方の接近判定領域（対象物の車両に対する相対速度や車幅等に応じて定まる領域）に対象物が存在する場合に、該対象物の種別（歩行者、他車両、人工構造物等）を判定する。そして、対象物が歩行者であると判定された場合に、該対象物は車両との接触を回避すべき対象であると判定される。

特許文献１の車両の周辺監視装置において、対象物の種別を判定する際には、歩行者の頭部を認識する歩行者判定処理や、他車両や人工構造物等の除外処理が行われる。このとき、他車両の除外処理では、例えば、車両の形状パターン、テールライトやヘッドライトの組の有無等の車両の特徴に基づいて判定が行われる（例えば、特許文献２を参照）。
特開２００１−６０９６号公報 特開２００４−３４８６４５号公報

しかし、形状パターンを用いて車両を判定する場合、車両の種類による形状の違いや、背景との重なりによって、画像から検出される形状パターンが想定外のパターンとなってしまい、車両と判定されない場合があった。また、テールライトやヘッドライトは、歩行者の頭部として誤認識されることがあり、このために車両と判定されない場合があった。よって、他の手法で車両の特徴を検出し、歩行者と精度良く区別できる車両の検出方法が望まれていた。

本発明は、かかる背景に鑑みてなされたものであり、車両周辺を撮像した赤外線画像から検出される対象物について、他車両の特徴を適切に抽出して、対象物の種別を精度良く判定することができる車両周辺監視装置、車両周辺監視方法、及び該車両周辺監視装置の処理をコンピュータに実行させる車両周辺監視用プログラムを提供することを目的とする。

かかる目的を達成するために、本発明の車両周辺監視装置は、車両に搭載された赤外線撮像手段により撮像された赤外線画像に基づいて該車両の周辺を監視する車両周辺監視装置において、前記赤外線画像の中から所定閾値以上の輝度を持つ画像部分に対応する対象物を特定対象物として検出する特定対象物検出手段と、前記特定対象物検出手段により検出された特定対象物の前記車両に対する距離を算出する第１の距離算出手段と、前記赤外線画像内の前記特定対象物の画像部分に近接した上方の領域を、探索領域として設定する探索領域設定手段と、前記探索領域設定手段により設定された探索領域の実空間における位置の前記車両に対する距離を算出する第２の距離算出手段と、前記第１の距離算出手段により算出された前記特定対象物の前記車両に対する距離と、前記第２の距離算出手段により算出された前記探索領域の前記車両に対する距離とに基づいて、前記特定対象物の種別を判定する特定対象物種別判定手段とを備えることを特徴とする（第１発明）。

この第１発明の車両周辺監視装置では、特定対象物検出手段により、赤外線画像の中から所定閾値以上の輝度を持つ画像部分に対応する対象物が、特定対象物として検出される。特定対象物は、周囲温度より比較的高温の物体であり、例えば、歩行者の頭部や、他車両のテールライトや、ヘッドライトや、ヒーテッドミラー等が含まれる。そして、第１の距離算出手段により、特定対象物の車両に対する距離が算出される。

このとき、特定対象物が他車両のテールライトや、ヘッドライトや、ヒーテッドミラー等の場合、通常、その上方には車両のボディー（ピラーやルーフ等）が撮像されている。一方、特定対象物が歩行者の頭部である場合には、通常、その上方には背景が撮像されている。そこで、探索領域設定手段により、赤外線画像中の特定対象物の画像部分に近接する上方の領域が、探索領域として設定される。探索領域は、画像中の所定の大きさを有する領域である。なお、探索領域の大きさは、例えば、判定する対象である車両の形状に基づいて予め定められる所定値に設定してもよいし、特定対象物の路面からの高さを算出し、この算出された高さに基づいて定められる所定値に設定してもよい。そして、第２の距離算出手段により、探索領域の実空間における位置の車両に対する距離が算出される。具体的には、例えば、探索領域に何らかの物体が撮像されている場合には、該物体の車両に対する距離が算出され、探索領域に何も物体が撮像されていない場合（背景のみが撮像されている場合）には、背景の車両に対する距離（例えば、無限遠となる）が算出される。

そして、特定対象物種別判定手段により、特定対象物の車両に対する距離と、探索領域の車両に対する距離とに基づいて、特定対象物の種別が判定される。すなわち、特定対象物および探索領域の車両に対する距離から、探索領域に、特定対象物と同一の物体が撮像されているか、背景が撮像されているかという、他車両と歩行者を区別するための特徴が把握される。この特徴は、他車両の種類による形状の違いがある場合や、背景と重なっている場合や、他車両の一部が障害物に隠れている等の場合でも、比較的安定に得られる。しかも、距離のみから把握できるので、処理が簡易である。よって、この特徴を用いて、特定対象物種別判定手段により、特定対象物の種別が精度良く判定される。

従って、本発明によれば、車両周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物の種別を精度良く判断することができる。

また、第１発明の車両周辺監視装置において、前記探索領域設定手段は、前記特定対象物の画像部分に近接した上方の領域のうちの、右側の部分領域と左側の部分領域との少なくとも一方を探索領域として設定し、前記特定対象物種別判定手段は、前記第１の距離算出手段により算出された前記特定対象物の前記車両に対する距離と、前記第２の距離算出手段により算出された前記探索領域の少なくとも一方の前記車両に対する距離との差が、所定値以下となる場合に、前記特定対象物の種別が他車両であると判断することが好ましい（第２発明）。

すなわち、特定対象物が車両のテールライト等である場合に、一般に、上方の領域のうちの、右側の部分領域と左側の部分領域との少なくとも一方（例えば、車両の中心寄り）に、車両のボディーが撮像される。よって、この領域を探索領域として設定することで、他車両の特徴が適切に把握される。

そして、特定対象物種別判定手段により、特定対象物の車両に対する距離と探索領域の少なくとも一方の車両に対する距離との差が、所定値以下となる場合に、他車両と判定する。すなわち、近接した領域に撮像された、ほぼ同距離の物体である場合、同一の物体と考えられる。よって、この場合、特定対象物が他車両のテールライト等であり、探索領域に他車両のボディが撮像されていることが把握される。したがって、特定対象物種別判定手段により特定対象物の種別が精度良く判定される。

また、第１又は第２発明の車両周辺監視装置において、前記探索領域設定手段は、前記特定対象物の画像部分に近接した上方の領域を探索領域として設定すると共に、該探索領域から右方向と左方向の少なくとも一方に延びる複数の領域を探索領域として設定し、前記特定対象物種別判定手段は、前記第１の距離算出手段により算出された前記特定対象物の前記車両に対する距離と、前記第２の距離算出手段により算出された前記探索領域の前記車両に対する距離との差が所定値以下となる探索領域が、所定数以上連続して存在する場合に、前記特定対象物の種別が他車両であると判定することが好ましい（第３発明）。

すなわち、特定対象物が車両のテールライト等である場合に、一般に、上方の領域から右方向と左方向の少なくとも一方（例えば、車両中心寄り）に延びる複数の領域に連続して、車両のルーフ等のボディーが撮像される。一方、特定対象物が歩行者である場合、例えば歩行者が帽子をかぶったり傘をさしていたりするときであっても、車両のルーフ等のように複数の領域に連続して撮像されることはない。よって、この領域を探索領域として設定することで、他車両の特徴が適切に把握される。

そして、特定対象物種別判定手段により、特定対象物の車両に対する距離と探索領域の車両に対する距離との差が、所定値以下の探索領域が、所定数以上存在する場合に、特定対象物の種別が他車両と判定する。なお、所定数は、撮像されている物体の横方向の幅が所定の幅となり得る値である。すなわち、近接した領域に撮像された、ほぼ同距離の物体であれば、同一の物体と考えられる。そして、車両中心寄りに延びる所定数以上の領域に連続して、同一の物体が撮像されていることから、車両のボディが撮像されていることが把握される。よって、特定対象物種別判定手段により特定対象物の種別が精度良く判定される。

また、第３発明の車両周辺監視装置において、前記探索領域設定手段は、前記特定対象物の画像部分に近接した上方の領域を探索領域として設定すると共に、該探索領域から右方向と左方向の少なくとも一方に延び、且つそれぞれ下方向に延びる複数の領域を探索領域として設定することが好ましい（第４発明）。

すなわち、特定対象物が例えばオープンカーである場合、ルーフがないため、上方の領域から右方向と左方向の少なくとも一方（例えば、車両中心寄り）に延びる複数の領域に、車両のルーフは撮像されない。そこで、上方の領域から右方向と左方向の少なくとも一方に延び、且つそれぞれ下方向に延びる複数の領域を探索領域として設定する。これにより、車両のルーフの下方向にあるボディの部分が探索領域に撮像される。よって、この領域を探索領域として設定することで、他車両の特徴が適切に把握される。よって、特定対象物種別判定手段により特定対象物の種別が精度良く判定される。

また、第１〜第４発明の車両周辺監視装置において、前記探索領域設定手段により設定された探索領域に対して斜めエッジを検出する斜めエッジ検出手段を備え、前記特定対象物種別判定手段は、斜めエッジ検出手段により検出された斜めエッジに基づいて、前記特定対象物の種別を判定することが好ましい（第５発明）。

すなわち、特定対象物が車両のヒーテッドミラー等である場合に、通常、その上方には、車両のボディーのルーフへと続く斜めの部分（ピラー等）が撮像されている。そこで、斜めエッジ検出手段により、探索領域に対して斜めエッジを検出処理を行う。そして、特定対象物種別判定手段は、特定対象物の距離や探索領域の距離と共に、検出された斜めエッジに基づいて、特定対象物の種別を判定する。例えば、特定対象物との距離の差が所定値以下の斜めエッジが検出された場合に、特定対象物の種別を他車両と判定する。これにより、特定対象物の種別がより精度良く判定される。

次に、本発明の車両周辺監視方法は、車両に搭載された赤外線撮像手段により撮像された赤外線画像に基づいて該車両の周辺を監視する車両周辺監視方法であって、前記赤外線画像の中から所定閾値以上の輝度を持つ対象物を特定対象物として検出する特定対象物検出ステップと、前記特定対象物検出ステップにより検出された特定対象物の前記車両に対する距離を算出する第１の距離算出ステップと、前記特定対象物に近接した上方の領域を探索領域として設定する探索領域設定ステップと、前記探索領域設定ステップにより設定された探索領域の前記車両に対する距離を算出する第２の距離算出ステップと、前記第１の距離算出ステップにより算出された前記特定対象物の距離と前記第２の距離算出手段により算出された前記探索領域の距離に基づいて、前記特定対象物の種別を判定する特定対象物種別判定ステップとを備えたことを特徴とする（第６発明）。

この第６発明の車両周辺監視方法によれば、第１発明の車両周辺監視装置に関して説明したように、特定対象物検出ステップにより、赤外線画像の中から所定閾値以上の輝度を持つ画像部分に対応する対象物が、特定対象物として検出され、探索領域設定ステップにより、特定対象物の画像部分に近接する上方の領域が、探索領域として設定される。そして、対象物種別判定ステップにより、特定対象物の車両に対する距離と探索領域の車両に対する距離とに基づいて、特定対象物の種別が判定される。すなわち、探索領域に、特定対象物と同一の物体が撮像されているか、背景が撮像されているかという、他車両と歩行者を区別するための特徴が把握されるので、これにより、特定対象物の種別を精度良く判断することができる。

次に、本発明の車両周辺監視用プログラムは、車両に搭載された赤外線撮像手段により撮像された赤外線画像に基づいて該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、前記赤外線画像の中から所定閾値以上の輝度を持つ対象物を特定対象物として検出する特定対象物検出処理と、前記特定対象物検出処理により検出された特定対象物の前記車両に対する距離を算出する第１の距離算出処理と、前記特定対象物に近接した上方の領域を探索領域として設定する探索領域設定処理と、前記探索領域設定手段により設定された探索領域の前記車両に対する距離を算出する第２の距離算出処理と、前記第１の距離算出手段により算出された前記特定対象物の距離と前記第２の距離算出手段により算出された前記探索領域の距離に基づいて、前記特定対象物の種別を判定する特定対象物種別判定処理とを前記コンピュータに実行させる機能を有することを特徴とする（第７発明）。

この第７発明の対象物検出用プログラムによれば、第１発明の対象物種別装置に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

［第１実施形態］
本発明の一実施形態を添付の図面を参照して説明する。まず、第１実施形態について、図１〜図１０を参照して説明する。図１は、本実施形態による車両周辺監視装置の機能ブロック図であり、図２は、図１に示した車両周辺監視装置の車両への取り付け態様の説明図である。また、図３は、図１の車両周辺監視装置における対象物検出・注意喚起動作を示すフローチャートであり、図４は、図３の対象物検出・注意喚起動作における注意喚起判定処理のフローチャートであり、図５は、図４の注意喚起判定処理における車両前方の領域区分を示す説明図である。また、図６は、図４の注意喚起判定処理における人工構造物判定処理のフローチャートであり、図７は、図６の人工構造物判定処理の説明図である。

図１，図２を参照して、本実施形態の車両周辺監視装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを逐次検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を逐次検出する車速センサ４と、自車両１０のブレーキの操作を逐次検出するためのブレーキセンサ５とが接続されている。

また、画像処理ユニット１には、自車両１０に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。

赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。

図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部に所定の間隔で取り付けられている。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両１０の前部に固定されている。

画像処理ユニット１は、詳細の図示は省略するが、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等とを備えている。赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号（アナログ信号）は、デジタル信号に変換されて当該コンピュータに入力されるように構成されている。

そして、画像処理ユニット１は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して運転者に注意喚起（対象物に対する運転者の注意の喚起）を行う処理等を実行する。

これらの処理は、画像処理ユニット１のメモリに予め実装されたプログラムを画像処理ユニット１により実行することにより実現される。このプログラムは、本発明の車両周辺監視用プログラムを含んでいる。なお、当該プログラムはＣＤ−ＲＯＭ等の記録媒体を介してメモリに格納されてもよい。また、当該プログラムは外部のサーバからネットワークや人工衛星を介して配信または放送され、車両１０に搭載された通信機器により受信された上でメモリに格納されてもよい。

より詳しくは、画像処理ユニット１は、上記プログラムにより実現される機能として、特定対象物検出手段１１と、第１の距離算出手段１２と、探索領域設定手段１３と、第２の距離算出手段１４と、特定対象物種別判定手段１５とを備える。

特定対象物検出手段１１は、赤外線カメラ２Ｒ，２Ｌにより撮像された画像から、自車両１０の周辺に存在する特定対象物を抽出する。具体的には、特定対象物検出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理等を施して、さらにラベリング処理等を施し、特定対象物の画像部分（２値化対象物）を抽出する。なお、特定対象物には、歩行者の頭部や、他車両のヘッドライト、テールライト、ヒーテッドミラー等が含まれる。

探索領域設定手段１３は、赤外線画像内の特定対象物の画像部分に近接した上方の領域を、探索領域として設定する。なお、探索領域の大きさは、例えば、判定対象である他車両の形状に基づいて予め定められる所定値に設定してもよいし、特定対象物の路面からの高さを算出し、この算出された高さに基づいて定められる所定値に設定してもよい。

第１の距離算出手段１２は、特定対象物検出手段１１により検出された特定対象物の車両１０に対する距離を算出する。また、第２の距離算出手段１４は、探索領域設定手段１３により設定された探索領域の実空間における位置の車両１０に対する距離を算出する。

なお、特定対象物（探索領域）の自車両１０に対する距離は、基準画像上で抽出された特定対象物（探索領域）に対応する特定対象物（探索領域）を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での特定対象物（探索領域）のずれ（視差）に基づいて算出される。なお、画像に基づいて距離を算出する具体的な手法としては、例えば、本願出願人による特開２００１−６０９６号公報（上述の特許文献１）に記載したような手法を用いることができる。

特定対象物種別判定手段１５は、第１の距離算出手段１２により算出された特定対象物の車両１０に対する距離と、第２の距離算出手段１４により算出された探索領域の車両１０に対する距離とに基づいて、特定対象物の種別を判定する。具体的には、特定対象物種別判定手段１５は、特定対象物の車両１０に対する距離と、探索領域の車両１０に対する距離との差が、所定値以下となる場合に、特定対象物の種別が他車両であると判断する。

なお、図１において点線で示した斜めエッジ検出手段１６は、第２実施形態に備える構成であるので、説明は後述する。

次に、本実施形態の車両周辺監視装置の全体的な作動（対象物検出・注意喚起動作）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ１〜ＳＴＥＰ２０の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ３）。なお、赤外線カメラ２Ｒにより右画像Ｉ_GRが得られ、赤外線カメラ２Ｌにより左画像Ｉ_GLが得られる。右画像Ｉ_GRと左画像Ｉ_GLとでは、同一の対象物の画像上での横方向（ｘ方向）の位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

次に、画像処理ユニット１は、グレースケール画像のうちの基準画像に対して、その画像信号を２値化する（ＳＴＥＰ４）。すなわち、基準画像の画像信号の輝度値が閾値Ｉ_thより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉ_thは、実験的に予め決定される値である。２値化処理で「白」となった領域は、赤外線カメラ２Ｒから得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域である。なお、基準画像の画像信号の輝度値が閾値Ｉ_thより明るい領域を「０」（黒）とし、暗い領域を「１」（白）としてもよい。

次に、画像処理ユニット１は、２値化処理で「白」となった領域（以下、２値化領域という）からランレングスデータを作成する（ＳＴＥＰ５）。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。

次に、画像処理ユニット１は、作成されたランレングスデータに基づいて、対象物のラベリングをする（ＳＴＥＰ６）ことにより、対象物を抽出する（ＳＴＥＰ７）。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるラインを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。

上述のＳＴＥＰ５〜７の処理により、２値化領域が対象物（２値化対象物）Ｔ_kとして抽出される。このとき、例えばラベルＴ_kの対象物は、ｎ個のランレングスデータＬ１〜Ｌｎで示される。なお、抽出される対象物（２値化対象物）には、道路周辺の歩行者等以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。

次に、画像処理ユニット１は、抽出された対象物の面積Ｓ、重心位置Ｇｃ、対象物の外接四角形の高さＨｂ、幅Ｗｂ、重心位置Ｇｂ、縦横比ＡＳＰを算出する（ＳＴＥＰ８）。具体的には、対象物Ｔ_kの面積Ｓ_kは、各ランレングスデータＬｉ（ｉ＝１，．．．，ｎ）で示されるラインの長さを、対象物Ｔ_kのｎ個のランレングスデータについて積算することにより算出する。また、対象物Ｔ_kの重心Ｇｃ_kの座標は、各ランレングスデータＬｉで示されるラインの長さと、各ランレングスデータＬｉのラインの中点の座標（ｘ［ｉ］，ｙ［ｉ］）とをそれぞれ掛け合わせ、更にこれを対象物Ｔ_kのｎ個のランレングスデータについて積算したものを、面積Ｓ_kで割ることにより算出する。また、対象物Ｔ_kの外接四角形の縦横比ＡＳＰ_kは、対象物Ｔ_kの外接四角形の高さ（縦方向の長さ）Ｈｂ_kと幅（横方向の長さ）Ｗｂ_kとの比Ｈｂ_k／Ｗｂ_kとして算出する。なお、対象物Ｔ_kの画像部分Ｒ_kは、対象物Ｔ_kを囲む外接四角形の領域全体とする。

次に、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎に同一対象物を認識する処理を行う（ＳＴＥＰ９）。同一対象物認識処理は、時刻ｋにおけるＳＴＥＰ７の処理により対象物Ｔ_kが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｔ_k+1が抽出されたとしたとき、対象物Ｔ_k+1と対象物Ｔ_kとの同一性（対象物Ｔ_k+1が対象物Ｔ_kと同一の対象物であるか否か）を判定する処理である。具体的には、例えば、対象物Ｔ_k+1と対象物Ｔ_kとの面積Ｓ、重心位置Ｇｃ、縦横比ＡＳＰの変化量が、それぞれ予め定められた面積の変化量の許容値、重心位置の変化量の許容値、縦横比の変化量の許容値以下の場合に、同一の対象物であると判定される。そして、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると判定された場合には、対象物Ｔ_k+1のラベルが対象物Ｔ_kのラベルと同じラベルに変更される。これにより、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。

次に、画像処理ユニット１は、ヨーレートセンサ３により検出されるヨーレートＹＲと、車速センサ４により検出される車速ＶＣＡＲ（水平方向の速度）とを読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒの算出も行われる。

一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理に並行して、ＳＴＥＰ１１〜１４の処理を実行する。ＳＴＥＰ１１〜１４の処理は、対象物と自車両１０との距離ｚ（自車両１０の前後方向の距離）を算出する処理である。

まず、画像処理ユニット１は、基準画像の２値化画像によって追跡される対象物の中の１つを選択して、基準画像から探索画像Ｒ１（選択した対象物を囲む外接四角形の領域全体を探索画像とする）を抽出する（ＳＴＥＰ１１）。

次に、画像処理ユニット１は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、参照画像中に探索領域Ｒ１ａを設定し、探索領域Ｒ１ａ内に、座標（ｘ0，ｙ0）を基点（領域の左上の頂点）とした探索画像Ｒ１と同一形状の局所領域Ｒ１ｂ設定する。そして、基点の座標（ｘ0，ｙ0）を変化させて、探索領域Ｒ１ａ内で局所領域Ｒ１ｂを移動させながら、局所領域Ｒ１ｂと探索画像Ｒ１との相関の度合を示す輝度値の絶対差分和（SAD，Sum of Absolute Difference）Ｃ（ｘ0，ｙ0）を次式（１）により算出する。

ここで、絶対差分和Ｃ（ｘ0，ｙ0）は、探索画像Ｒ１内の座標（ｍ，ｎ）の画素の輝度値ＩＲと、探索領域Ｒ１ａ内の座標（ｘ0，ｙ0）を基点とした局所領域Ｒ１ｂ内の座標（ｘ0＋ｍ，ｙ0＋ｎ）の画素の輝度値ＩＬとの差の絶対値を取り、この差の絶対値の探索画像Ｒ１及び局所領域Ｒ１ｂ内の全画素（ｍ＝０，．．．，M-1，ｎ＝０，．．．，N-1）についての総和値を求めたものである。なお、絶対差分和Ｃ（ｘ0，ｙ0）の値が小さいほど、探索画像Ｒ１と局所領域Ｒ１ｂとの相関の度合が高いことを示す。これにより、絶対差分和Ｃ（ｘ0，ｙ0）が最小となる基点の座標（ｘ0，ｙ0）を求め、この位置の局所領域Ｒ１ｂを対応画像Ｒ１ｃとして抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。ＳＴＥＰ１１〜１２の処理により、基準画像中の探索画像Ｒ１と、参照画像中の対応画像Ｒ１ｃとが抽出される。

次に、画像処理ユニット１は、探索画像Ｒ１の重心位置と、対応画像Ｒ１ｃの重心位置とに基づいて、視差Δｄ（画素数）を算出する（ＳＴＥＰ１３）。そして、画像処理ユニット１は、算出された視差Δｄを用いて、次式（２）により、自車両１０と対象物との距離ｚを算出する（ＳＴＥＰ１４）。

なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐは画素間隔である。

ＳＴＥＰ１０及びＳＴＥＰ１４の処理の終了後、画像処理ユニット１は、次に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点（自車両１０に固定された位置）を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向及びＹ方向は、それぞれ自車両１０の左右方向（車幅方向）、上下方向であり、これらのＸ方向及びＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、実空間位置（Ｘ，Ｙ，Ｚ）は、次式（３）により算出される。

次に、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、ＳＴＥＰ１０で算出した回頭角θｒを用いて、対象物の実空間位置を補正する（ＳＴＥＰ１６）。回頭角補正は、時刻ｋから時刻ｋ＋１までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像上では、画像の範囲がｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。

次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ１７）。具体的には、同一対象物についての実空間位置の、所定期間ｄＴ（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（座標ＰvdT＝（ＸvdT，ＹvdT，ＺvdT））から、現在時刻における該直線上の対象物の位置（座標Ｐv0＝（Ｘv0，Ｙv0，Ｚv0））に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、例えば、本願出願人による特開２００３−２８４０５７号公報に記載された手法を用いることができる。

次に、画像処理ユニット１は、検出した対象物と自車両１０とが接触する可能性を判定して、該対象物が注意喚起対象（注意喚起すべき対象）であるか否かを判定する注意喚起判定処理を行う（ＳＴＥＰ１８）。なお、注意喚起判定処理については、詳細を後述する。ＳＴＥＰ１８において、検出した対象物が注意喚起対象でないと判定された場合（ＳＴＥＰ１８の判定結果がＮＯ）には、ＳＴＥＰ１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ１８において、検出した対象物が注意喚起対象であると判定された場合（ＳＴＥＰ１８の判定結果がＹＥＳ）、ＳＴＥＰ１９へ進む。

ＳＴＥＰ１９では、画像処理ユニット１は、対象物に対する車両１０の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ５の出力ＢＲから、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。

そして、画像処理ユニット１は、注意喚起を行うべきと判定した場合（ＳＴＥＰ１９の判定結果がＹＥＳ）には、スピーカ６と表示装置７とによる注意喚起を自車両１０の運転者に対して行う注意喚起処理を実行し（ＳＴＥＰ２０）、ＳＴＥＰ１に戻り、上述の処理を繰り返す。この注意喚起処理では、例えば表示装置７に基準画像を表示すると共に、その基準画像中の注意喚起対象である対象物の画像を強調的に表示する。さらに、注意喚起対象である対象物が存在することをスピーカ６から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ１９で注意喚起を行わないと判定した場合（全ての対象物について注意喚起を行わないと判定した場合）には、ＳＴＥＰ１９の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ１に戻り、上述の処理を繰り返す。

以上が、本実施形態の車両周辺監視装置の画像処理ユニット１における対象物検出・注意喚起動作である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから、自車両１０の前方の歩行者等の対象物が検出され、注意喚起対象である対象物について運転者に注意喚起が行われる。

次に、図４に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ１８における注意喚起判定処理について詳細に説明する。注意喚起判定処理は、以下に示す第１接触判定処理、第２接触判定処理、進入接触判定処理、人工構造物判定処理、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両１０との接触の可能性及び対象物の種別を判定して、該対象物が注意喚起対象であるか否かを判定する処理である。

図４を参照して、まず、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第１接触判定処理を行う（ＳＴＥＰ１０１）。第１接触判定処理は、対象物と自車両１０との接触を自車両１０の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第１接触判定処理では、赤外線カメラ２Ｒ，２Ｌにより撮像される自車両１０の前方の領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域）ＡＲ０のうち、自車両１０からのＺ方向の距離（自車両１０の前後方向の距離）が、所定値以下となる領域ＡＲ１（以下、第１接触判定領域という）に対象物の現在の実空間位置が存在するか否かが判定される。

この場合、自車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両１０とのＺ方向の相対速度Ｖｓ（＝（Ｚv0−ＺvdT）/ｄＴ）を求め、この相対速度Ｖｓに所定の時間Ｔ１（例えば２〜５秒程度）を乗じた値Ｖｓ×Ｔ１が、第１接触判定領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。なお、相対速度Ｖｓが自車両１０から遠ざかる向きの相対速度である場合には、対象物は第１接触判定領域ＡＲ１に存在しないと判定される。

ここで、図５を参照して説明すると、図５は、自車両１０の走行する道路を上方から見た図であり、自車両１０の前方の領域区分が示されている。図５に示したように、領域ＡＲ０を太い実線で示す外側の三角形の領域とすると、第１接触判定領域ＡＲ１は、領域ＡＲ０内のＺ１（＝Ｖｓ×Ｔ１）より自車両１０に近い領域となる。なお、第１衝突判定領域ＡＲ１は、上下方向では、所定の高さＨ（例えば自車両１０の車高の２倍程度の高さ）を有する領域である。従って、対象物の現在のＺ方向の座標値（距離）Ｚv0がＶｓ×Ｔ１以下で、且つ、対象物の現在のＹ方向の座標値（高さ）Ｙv0がＨ以下である場合に、対象物が第１接触判定領域ＡＲ１に存在すると判定される。

ＳＴＥＰ１０１の判定結果がＮＯの場合（対象物が第１接触判定領域内ＡＲ１に存在しない）には、車両１０の操舵やブレーキ操作によって対象物と車両１０との接触を余裕を持って回避しうる状況である。この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。

ＳＴＥＰ１０１の判定結果がＹＥＳの場合（対象物が第１接触判定領域ＡＲ１内に存在している）には、ＳＴＥＰ１０２に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第２接触判定処理を行う。第２接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両１０との接触の可能性が高いか否かを判定するための処理である。具体的には、第２接触判定処理では、対象物が、図５に示したように、第１接触判定領域ＡＲ１のうちの、自車両１０の車幅αの両側に余裕βを加えた幅（α＋２β）を有する領域ＡＲ２（以下、第２接触判定領域という）内に存在するか否かを判定する。なお、第２接触判定領域ＡＲ２も所定高さＨを有する。

ＳＴＥＰ１０２の判定結果がＹＥＳの場合（対象物が第２接触判定領域ＡＲ２内に存在している）には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両１０と接触する可能性が高い。この場合には、ＳＴＥＰ１０３に進み、画像処理ユニット１は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。歩行者判定処理は、対象物の画像に、例えば予め登録された歩行者の形状と一致する等の、歩行者であると考えられる特徴が検出された場合に、該対象物を歩行者と判定する処理である。なお、歩行者判定処理には、具体的には、例えば前記した特開２００３−２８４０５７号公報に記載された手法が用いられる。

ＳＴＥＰ１０４の判定結果がＹＥＳの場合（対象物は歩行者の可能性がある）には、ＳＴＥＰ１０５に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、注意喚起対象から除外する処理である。この人工構造物判定処理により、例えば前走車等の、自車両１０との接触の可能性が低い対象物が、注意喚起対象から除外される。なお、人工構造物処理については、詳細を後述する。

ＳＴＥＰ１０５の判定結果がＮＯの場合（対象物が人工構造物でない、すなわち、対象物は歩行者の可能性がある）には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。従って、対象物が第１接触判定領域内の第２接触判定領域に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が注意喚起対象であると判定される。

また、ＳＴＥＰ１０４の判定結果がＮＯの場合（対象物は歩行者の可能性がない）、あるいは、ＳＴＥＰ１０５の判定結果がＹＥＳの場合（対象物が人工構造物である）には、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。

一方、ＳＴＥＰ１０２の判定結果がＮＯの場合（対象物が第２接触判定領域ＡＲ２内に存在しない）には、ＳＴＥＰ１０６に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第２接触判定領域ＡＲ２内へ進入し、且つ自車両１０との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図５に示したように、第１接触判定領域ＡＲ１内で第２接触判定領域ＡＲ２よりＸ座標の絶対値が大きい（第２接触判定領域ＡＲ２の横方向外側の）領域ＡＲ３，ＡＲ４（以下、進入判定領域という）内にある対象物が、第２接触判定領域ＡＲ２に進入して自車両１０と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域ＡＲ３，ＡＲ４も所定高さＨを有する。

具体的には、自車両１０の前面のＸＹ平面（自車両１０の前後方向に垂直な面）と、対象物の移動ベクトルを含む直線との交点のＸ座標（車幅方向の位置）が、自車両１０の車幅αよりも若干広い所定範囲内に存在する場合（対象物が相対的に自車両１０に向かってくる場合）に、第２接触判定領域ＡＲ２に進入して接触する可能性が高いと判定される。

ＳＴＥＰ１０６の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。また、ＳＴＥＰ１０６の判定結果がＮＯの場合には、対象物が自車両１０と接触する可能性が低いので、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。

以上が、注意喚起判定処理の詳細である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから検出された対象物が、注意喚起すべき対象であるか否かが適切に判定される。

次に、図６に示すフローチャートおよび図７に示す説明図を参照して、図４に示したフローチャートのＳＴＥＰ１０３における人工構造物判定処理について詳細に説明する。

まず、ＳＴＥＰ２０１で、画像処理ユニット１は、上述のＳＴＥＰ４〜７と同様に、赤外線カメラ２Ｒ，２Ｌにより撮像された画像（本実施形態では、基準画像を用いる）から、２値化処理およびラベリング処理を行って、特定対象物を検出する。この処理は、特定対象物検出手段１１による処理に相当する。このとき、画像処理ユニット１は、抽出された２値化対象物のうち、大きさが所定範囲内である２値化対象物を、特定対象物とする。所定範囲は、例えば、レールライトやヘッドライトやヒーテッドミラーが取り得る範囲として予め定められる値である。これにより、図７（ａ）に示すように、他車両Ｐが撮像されていた場合、特定対象物Ｐ１〜Ｐ４が検出される。なお、Ｐ１〜Ｐ２はヘッドライト（前走車の場合はテールライト）、Ｐ３〜Ｐ４はヒーテッドミラーに相当する。また、図７（ｂ）に示すように、歩行者Ｑが撮像されていた場合、特定対象物Ｑ１が検出される。Ｑ１は歩行者の頭部に相当する。

次に、ＳＴＥＰ２０２で、画像処理ユニット１は、上述のＳＴＥＰ１１〜１４と同様に、検出された特定対象物の車両１０に対する距離を算出する。この処理は、第１の距離算出手段１２による処理に相当する。

次に、ＳＴＥＰ２０３で、画像処理ユニット１は、グレースケール画像内で、検出された特定対象物の画像部分に近接した上方の領域を、探索領域として設定する。この処理は、探索領域設定手段１３による処理に相当する。具体的には、図７（ａ）に例示するように、特定対象物Ｐ１の上方の探索領域として領域ＲＰ１が設定され、特定対象物Ｐ４の上方の探索領域として領域ＲＰ４が設定される。また、図７（ｂ）に例示するように、特定対象物Ｑ１の上方の探索領域として領域ＲＱ１が設定される。このとき、探索領域ＲＰ１，ＲＰ４には、他車両Ｐのボディ部分が撮像されている。一方、探索領域ＲＱ１には、歩行者Ｑの背景が撮像されている。

次に、ＳＴＥＰ２０４で、画像処理ユニット１は、各探索領域について、それぞれ、上述のＳＴＥＰ１１〜１４と同様に、実空間における位置の車両１０に対する距離を算出する。この処理は、第２の距離算出手段１４による処理に相当する。

次に、ＳＴＥＰ２０５で、画像処理ユニット１は、特定対象物の車両１０に対する距離と、各探索領域の車両１０に対する距離との差を算出し、算出した差が所定値以下であるか否かを判断する。所定値は、一般に、画像上で他車両の各部分に相当する領域が取り得る範囲として予め定められる値である。このとき、図７（ａ）に例示するように、探索領域ＲＰ１，ＲＰ４は他車両Ｐのボディに相当する領域であり、この探索領域ＲＰ１，ＲＰ４の自車両１０に対する距離は、同様に他車両Ｐに設けられたテールライトである特定対象物Ｐ１、ヒーテッドミラーである特定対象物Ｐ４の自車両１０に対する距離との差が小さく、該距離の差が所定値以下となる。一方、図７（ｂ）に例示するように、探索領域ＲＱ１は背景に相当する領域であるので、この探索領域ＲＱ１の自車両１０に対する距離は、無限遠となるか、歩行者Ｑの自車両１０に対する距離とは大きく相違する。このため、特定対象物の自車両１０に対する距離と探索領域ＲＱ１の自車両１０に対する距離との差が所定値より大きくなる。

ＳＴＥＰ２０５の判断結果がＹＥＳの場合（距離の差が所定値以下である）には、ＳＴＥＰ２０６に進み、画像処理ユニット１は、特定対象物が他車両であると判定し、人工構造物判定処理が終了される。ＳＴＥＰ２０５の判断結果がＮＯの場合（距離の差が所定値以下でない）には、ＳＴＥＰ２０７に進み、画像処理ユニット１は、特定対象物が他車両でないと判定し、人工構造物判定処理が終了される。ＳＴＥＰ２０５〜２０７の処理は、特定対象物種別判定手段１５の処理に相当する。

以上が、人工構造物判定処理の詳細である。

以上の処理により、本実施形態によれば、自車両１０の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物（他車両）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。

なお、本実施形態において、人工構造物判定処理のＳＴＥＰ２０３で、探索領域設定手段１１は、特定対象物の画像部分に近接した上方の領域のうちの、右側の部分領域と左側の部分領域との少なくとも一方を探索領域として設定するようにしてもよい。すなわち、図８（ａ）に例示するように、図７（ａ）と同様に他車両Ｐが撮像されていた場合、特定対象物Ｐ１の上方の探索領域として領域Ａ，Ｂが設定される。また、図８（ｂ）に例示するように、図７（ｂ）と同様に歩行者Ｑが撮像されていた場合、特定対象物Ｑ１の上方の探索領域として領域Ａ’，Ｂ’が設定される。

そして、ＳＴＥＰ２０５で、特定対象物種別判定手段１５は、探索領域Ａ，Ｂのうち少なくともいずれか一方について、特定対象物の車両１０に対する距離と、各探索領域Ａ，Ｂの車両１０に対する距離との差が所定値以下であるか否かを判断する。そして、判断結果がＹＥＳである場合に、ＳＴＥＰ２０６に進み、特定対象物が他車両であると判定される。領域Ａ’，Ｂ’についても同様である。

この場合も、図８（ａ）に例示するように、探索領域Ａ，Ｂは他車両Ｐのボディに相当する領域であり、この探索領域Ａ，Ｂの自車両１０に対する距離は、同様に他車両Ｐに設けられたテールライトである特定対象物Ｐ１の自車両１０に対する距離との差が小さく、該距離の差が所定値以下となる。一方、図８（ｂ）に例示するように、探索領域Ａ’，Ｂ’は背景に相当する領域であるので、この探索領域Ａ’，Ｂ’の自車両１０に対する距離は、無限遠となるか、歩行者Ｑの自車両１０に対する距離とは大きく相違する。このため、特定対象物の自車両１０に対する距離と探索領域Ａ’，Ｂ’の自車両１０に対する距離との差が所定値より大きくなる。

よって、この場合も、自車両１０の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物（他車両）の種別を精度良く判定することができる。

なお、探索領域設定手段１１は、特定対象物の画像部分に近接した上方の領域を、左右２つに分割する以外に、任意の数と大きさに分割して、それぞれの領域の少なくともいずれかを探索領域として設定することも可能である。

また、本実施形態において、人工構造物判定処理のＳＴＥＰ２０３で、探索領域設定手段１１は、特定対象物の画像部分に近接した上方の領域を探索領域として設定すると共に、該探索領域から右方向と左方向の少なくとも一方に延びる複数の領域を探索領域として設定するようにしてもよい。すなわち、図９（ａ）に例示するように、図７（ａ）と同様に他車両Ｐが撮像されていた場合、特定対象物Ｐ１の上方の探索領域として領域Ａ，Ｂ，Ｃ，Ｄが設定される。また、図９（ｂ）に例示するように、図７（ｂ）と同様に歩行者Ｑが撮像されていた場合、特定対象物Ｑ１の上方の探索領域として領域Ａ’，Ｂ’，Ｃ’，Ｄ’が設定される。

そして、ＳＴＥＰ２０５で、特定対象物種別判定手段１５は、探索領域Ａ，Ｂ，Ｃ，Ｄのうち特定対象物の車両１０に対する距離と、各探索領域Ａ，Ｂの車両１０に対する距離との差が所定値以下となる探索領域が、所定数以上存在するか否かを判断する。所定数は、一般に、画像上で他車両の各部分に相当する領域が取り得る範囲として予め定められる値である。そして判断結果がＹＥＳである場合に、ＳＴＥＰ２０６に進み、特定対象物が他車両であると判定される。領域Ａ’，Ｂ’，Ｃ’，Ｄ’についても同様である。

この場合も、図９（ａ）に例示するように、探索領域Ａ，Ｂは他車両Ｐのルーフ等のボディに相当する領域であり、この探索領域Ａ，Ｂ，Ｃ，Ｄの自車両１０に対する距離は、同様に他車両Ｐに設けられたテールライトである特定対象物Ｐ１の自車両１０に対する距離との差が小さく、該距離の差が所定値以下となる。一方、図９（ｂ）に例示するように、探索領域Ａ’，Ｂ’，Ｃ’，Ｄ’は背景に相当する領域であるので、この探索領域Ａ’，Ｂ’，Ｃ’，Ｄ’の自車両１０に対する距離は、無限遠となるか、歩行者Ｑの自車両１０に対する距離とは大きく相違する。このため、特定対象物の自車両１０に対する距離と探索領域Ａ’，Ｂ’，Ｃ’，Ｄ’の自車両１０に対する距離との差が所定値より大きくなる。

よって、この場合も、自車両１０の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物（他車両）の種別を精度良く判定することができる。特に、他車両Ｐのルーフ等のボディは、領域Ａ，Ｂから領域Ｃ，Ｄまで延びて撮像されるものである。一方、例えば歩行者Ｑが帽子や傘を持っている際でも、領域Ｃ’，Ｄ’まで延びて撮像されるものではない。よって、他車両と歩行者をより精度良く区別して、特定対象物の種別を判定することができる。

また、本実施形態において、人工構造物判定処理のＳＴＥＰ２０３で、探索領域設定手段１１は、特定対象物の画像部分に近接した上方の領域を探索領域として設定すると共に、該探索領域から右方向と左方向の少なくとも一方に延び、且つそれぞれ下方向に延びる複数の領域を探索領域として設定するようにしてもよい。すなわち、図１０（ａ）に例示するように、図７（ａ）と同様に他車両Ｐが撮像されていた場合、特定対象物Ｐ１の上方の探索領域として領域Ａ，Ｂ，Ｃ，Ｄが設定される。また、図１０（ｂ）に例示するように、図７（ｂ）と同様に歩行者Ｑが撮像されていた場合、特定対象物Ｑ１の上方の探索領域として領域Ａ’，Ｂ’，Ｃ’，Ｄ’が設定される。

そして、ＳＴＥＰ２０５で、特定対象物種別判定手段１５は、探索領域Ａ，Ｂ，Ｃ，Ｄのうち特定対象物の車両１０に対する距離と、各探索領域Ａ，Ｂの車両１０に対する距離との差が所定値以下となる探索領域が、所定数以上存在するか否かを判断する。所定数は、一般に、画像上で他車両の各部分に相当する領域が取り得る範囲として予め定められる値である。そして判断結果がＹＥＳである場合に、ＳＴＥＰ２０６に進み、特定対象物が他車両であると判定される。領域Ａ’，Ｂ’，Ｃ’，Ｄ’についても同様である。

この場合も、図１０（ａ）に例示するように、探索領域Ａ，Ｂは他車両Ｐのルーフ等のボディに相当する領域であり、この探索領域Ａ，Ｂ，Ｃ，Ｄの自車両１０に対する距離は、同様に他車両Ｐに設けられたテールライトである特定対象物Ｐ１の自車両１０に対する距離との差が小さく、該距離の差が所定値以下となる。一方、図１０（ｂ）に例示するように、探索領域Ａ’，Ｂ’，Ｃ’，Ｄ’は背景に相当する領域であるので、この探索領域Ａ’，Ｂ’，Ｃ’，Ｄ’の自車両１０に対する距離は、無限遠となるか、歩行者Ｑの自車両１０に対する距離とは大きく相違する。このため、特定対象物の自車両１０に対する距離と探索領域Ａ’，Ｂ’，Ｃ’，Ｄ’の自車両１０に対する距離との差が所定値より大きくなる。

よって、この場合も、自車両１０の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物（他車両）の種別を精度良く判定することができる。特に、例えば他車両Ｐがオープンカーでルーフがない場合でも、領域Ｃ，Ｄが下方向に延びているので、他車両Ｐのボディが撮像される。よって、他車両と歩行者をより明確に区別して、特定対象物の種別を精度良く判定することができる。

［第２実施形態］
次に、本発明の第２実施形態について、図１１〜図１３を参照して説明する。図１１は、本実施形態の車両周辺監視装置における人工構造物判定処理を示すフローチャートである。なお、本実施形態は、第１実施形態において、斜めエッジ検出手段１６を備えるものであり特定対象物種別判定手段１５による処理が相違する。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。

本実施形態の車両周辺監視装置は、探索領域設定手段１３により設定された探索領域に対して斜めエッジを検出する斜めエッジ検出手段１６を備える。そして、特定対象物種別判定手段１５は、特定対象物の車両１０に対する距離や探索領域の車両１０に対する距離と共に、斜めエッジ検出手段１６により検出された斜めエッジに基づいて、特定対象物の種別を判定する。他の構成は第１実施形態と同じである。

次に、本実施形態の車両周辺監視装置の作動を、図１１に示すフローチャートおよび図１２，図１３に示す説明図を参照して説明する。なお、本実施形態における車両周辺監視装置の作動は、第１実施形態と、人工構造物判定処理のみが相違するものである。以下では、同一の処理については説明を省略する。

本実施形態の人工構造物判定処理において、ＳＴＥＰ３０１〜３０５で、第１実施形態のＳＴＥＰ２０１〜２０５と同様の処理が行われる。これにより、図１２（ａ）に例示するように、図７（ａ）と同様に、特定対象物Ｐ１〜Ｐ４が検出される。なお、Ｐ１〜Ｐ２はヘッドライト、Ｐ３〜Ｐ４はヒーテッドミラーに相当する。そして、特定対象物Ｐ３の上方の探索領域として領域ＲＰ３が設定される。このとき、図１２（ａ）に例示するように、領域ＲＰ３には、他車両Ｐのピラーに相当する部分（斜めエッジ）が撮像されている。また、図１２（ａ）に例示するように、探索領域ＲＰ３は他車両Ｐのボディに相当する領域であり、この探索領域ＲＰ３の自車両１０に対する距離は、同様に他車両Ｐに設けられたヒーテッドミラーである特定対象物Ｐ３の自車両１０に対する距離との差が小さく、該距離の差が所定値以下となる。

ＳＴＥＰ３０５の判断結果がＹＥＳの場合（距離の差が所定値以下である）には、ＳＴＥＰ３０６に進み、画像処理ユニット１は、探索領域に対して、斜めエッジ検出処理を行う。この処理は、斜めエッジ検出手段１６による処理に相当する。

まず、画像処理ユニット１は１２（ｂ）に例示するような赤外線画像（グレースケール画像）Ｉｇに、エッジ抽出処理を施す。なお、１２（ｂ）の赤外線画像Ｉｇでは、輝度レベルを点描で模式的に示す（点描の密度が低いほど輝度レベルが高い）。また、１２（ｂ）の赤外線画像Ｉｇ中で、他車両Ｐのピラー部分に相当する斜めエッジを黒線で示す。エッジ抽出処理では、具体的には、一般的な微分フィルタ（例えばSobelフィルタ等）でフィルタ処理を行い、その結果を２値化処理する。これにより、意図する輝度勾配を有する斜めエッジの候補が抽出され、１２（ｂ）に例示するようなエッジ画像Ｉｅが得られる。次に、画像処理ユニット１は、抽出された斜めエッジの候補から、斜めエッジを検出する。これにより、１２（ｂ）のエッジ画像Ｉｅ中で、白楕円で囲んで示す斜めエッジが検出される。

ここで、図１３を参照して、斜めエッジ検出処理について説明する。図１３は、エッジ画像の探索領域を模式的に示す。図１３において、探索領域は１１×１６の画素で構成され、グレーが付された画素は、エッジ抽出処理で抽出された斜めエッジの候補に相当する画素を示す。このとき、画像処理ユニット１は、３×３マスク（図１３中に点線で示す）で領域内を走査し、各画素について、該各画素を中心としたマスク領域における画素の総和を算出する。なお、抽出された斜めエッジの候補に相当する画素を「１」、それ以外の画素を「０」とする。そして、画像処理ユニット１は、各列において、総和が最も大きい画素を、その列のエッジポイント（図１３中に○で示す）として抽出する。この処理によりノイズ（図１３中に●で示す）が除去される。そして、画像処理ユニット１は、算出された各エッジポイントの座標を用いて、抽出された斜めエッジの候補から斜めエッジを認識する。例えば、相関係数ｒ（|ｒ|＜１）が用いられる。具体的には、エッジポイント群の相関係数が、所定条件（例えば、0.7＜|ｒ|＜1.0）を満たし、且つ、エッジ端のｘ方向の長さｗと、ｙ方向の高さｈを実空間に変換した値が、それぞれ所定値以上である場合に、斜めエッジであると認識する。

なお、例えばハフ変換を用いた手法により斜めエッジを検出することもできる。

次に、ＳＴＥＰ３０７で、画像処理ユニット１は、斜めエッジが検出されたか否かを判断する。

ＳＴＥＰ３０７の判断結果がＹＥＳの場合（斜めエッジが検出された）には、ＳＴＥＰ３０８に進み、画像処理ユニット１は、特定対象物が他車両であると判定し、人工構造物判定処理が終了される。

一方、ＳＴＥＰ３０５の判断結果がＮＯの場合（距離の差が所定値以下でない）と、ＳＴＥＰ３０７の判断結果がＮＯの場合（斜めエッジが検出されない）には、ＳＴＥＰ３０９に進み、画像処理ユニット１は、特定対象物が他車両でないと判定し、人工構造物判定処理が終了される。

以上が、人工構造物判定処理の詳細である。

以上の処理により、本実施形態によれば、第１実施形態と同様に、自車両１０の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物（他車両）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。特に、例えば他車両Ｐがオープンカーでルーフがない場合でも、斜めエッジを検出することにより、他車両Ｐのピラーに相当する部分が検出される。よって、他車両と歩行者をより明確に区別して、特定対象物の種別を精度良く判定することができる。

なお、本実施形態において、画像処理ユニット１は、特定対象物の画像部分の上方の領域を左右に分割してそれぞれ探索領域として設定した場合には、一方の探索領域のみに斜めエッジが検出された場合に、特定対象物が他車両であると判断する。

また、第１及び第２実施形態では、２つの赤外線カメラ２Ｒ，２Ｌを用いてステレオカメラを構成し、特定対象物および探索領域の自車両１０に対する距離を算出したが、他の実施形態として、例えば、自車両１０の前部に搭載したミリ波レーダ等のレーダを用いて、１つの赤外線カメラにより撮像された画像から抽出された特定対象物および探索領域の、自車両１０に対する距離を算出するものとしてもよい。

または、他の実施形態として、例えば、１つの赤外線カメラにより撮像された画像のみを用いて、特定対象物および探索領域の自車両１０に対する距離を算出するものとしてもよい。この場合、例えば、異なる時刻に撮像された複数の画像における、所定の対象物の大きさの変化率と、時刻と車速から算出される自車両１０の走行距離とに基づいて、該特定対象物の距離を算出することができる。

本発明の第１実施形態による車両周辺監視装置の機能ブロック図。 図１に示した車両周辺監視装置の車両への取り付け態様の説明図。 図１の車両周辺監視装置の画像処理ユニットにおける対象物検出・注意喚起動作を示すフローチャート。 図３の対象物検出・注意喚起動作における注意喚起判定処理のフローチャート。 図４の注意喚起判定処理における車両前方の領域区分を示す説明図。 図４の注意喚起判定処理における人工構造物判定処理のフローチャート。 図６の人工構造物判定処理の第１の説明図。 図６の人工構造物判定処理の第２の説明図。 図６の人工構造物判定処理の第３の説明図。 図６の人工構造物判定処理の第４の説明図。 本発明の第２実施形態による車両周辺監視装置の人工構造物判定処理を示すフローチャート。 図１１の人工構造物判定処理の説明図。 図１１の人工構造物判定処理の斜めエッジ検出処理の説明図。

符号の説明

２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、１０…車両、１１…特定対象物検出手段、１２…第１の距離算出手段、１３…探索領域設定手段、１４…第２の距離算出手段、１５…特定対象物種別判定手段、１６…斜めエッジ検出手段。

Claims (7)

1. 車両に搭載された赤外線撮像手段により撮像された赤外線画像に基づいて該車両の周辺を監視する車両周辺監視装置において、
   前記赤外線画像の中から所定閾値以上の輝度を持つ画像部分に対応する対象物を特定対象物として検出する特定対象物検出手段と、
   前記特定対象物検出手段により検出された特定対象物の前記車両に対する距離を算出する第１の距離算出手段と、
   前記赤外線画像内の前記特定対象物の画像部分に近接した上方の領域を、探索領域として設定する探索領域設定手段と、
   前記探索領域設定手段により設定された探索領域の実空間における位置の前記車両に対する距離を算出する第２の距離算出手段と、
   前記第１の距離算出手段により算出された前記特定対象物の前記車両に対する距離と、前記第２の距離算出手段により算出された前記探索領域の前記車両に対する距離とに基づいて、前記特定対象物の種別を判定する特定対象物種別判定手段と
   を備えることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記探索領域設定手段は、前記特定対象物の画像部分に近接した上方の領域のうちの、右側の部分領域と左側の部分領域との少なくとも一方を前記探索領域として設定し、
   前記特定対象物種別判定手段は、前記第１の距離算出手段により算出された前記特定対象物の前記車両に対する距離と、前記第２の距離算出手段により算出された前記探索領域の少なくとも一方の前記車両に対する距離との差が、所定値以下となる場合に、前記特定対象物の種別が他車両であると判断することを特徴とする車両周辺監視装置。
3. 請求項１又は２記載の車両周辺監視装置において、
   前記探索領域設定手段は、前記特定対象物の画像部分に近接した上方の領域を前記探索領域として設定すると共に、該探索領域から右方向と左方向の少なくとも一方に延びる複数の領域を探索領域として設定し、
   前記特定対象物種別判定手段は、前記第１の距離算出手段により算出された前記特定対象物の前記車両に対する距離と、前記第２の距離算出手段により算出された前記探索領域の前記車両に対する距離との差が所定値以下となる探索領域が、所定数以上連続して存在する場合に、前記特定対象物の種別が他車両であると判定することを特徴とする車両周辺監視装置。
4. 請求項３記載の車両周辺監視装置において、
   前記探索領域設定手段は、前記特定対象物の画像部分に近接した上方の領域を前記探索領域として設定すると共に、該探索領域から右方向と左方向の少なくとも一方に延び、且つそれぞれ下方向に延びる複数の領域を探索領域として設定することを特徴とする車両周辺監視装置。
5. 請求項１〜４のうちいずれか記載の車両周辺監視装置において、
   前記探索領域設定手段により設定された探索領域に対して斜めエッジを検出する斜めエッジ検出手段を備え、
   前記特定対象物種別判定手段は、斜めエッジ検出手段により検出された斜めエッジに基づいて、前記特定対象物の種別を判定することを特徴とする車両周辺監視装置。
6. 車両に搭載された赤外線撮像手段により撮像された赤外線画像に基づいて該車両の周辺を監視する車両周辺監視方法であって、
   前記赤外線画像の中から所定閾値以上の輝度を持つ画像部分に対応する対象物を特定対象物として検出する特定対象物検出ステップと、
   前記特定対象物検出ステップにより検出された特定対象物の前記車両に対する距離を算出する第１の距離算出ステップと、
   前記赤外線画像内の前記特定対象物の画像部分に近接した上方の領域を、探索領域として設定する探索領域設定ステップと、
   前記探索領域設定ステップにより設定された探索領域の実空間における位置の前記車両に対する距離を算出する第２の距離算出ステップと、
   前記第１の距離算出ステップにより算出された前記特定対象物の前記車両に対する距離と前記第２の距離算出手段により算出された前記探索領域の前記車両に対する距離とに基づいて、前記特定対象物の種別を判定する特定対象物種別判定ステップと
   を備えたことを特徴とする対象物検出方法。
7. 車両に搭載された赤外線撮像手段により撮像された赤外線画像に基づいて該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、
   前記赤外線画像の中から所定閾値以上の輝度を持つ画像部分に対応する対象物を特定対象物として検出する特定対象物検出処理と、
   前記特定対象物検出処理により検出された特定対象物の前記車両に対する距離を算出する第１の距離算出処理と、
   前記赤外線画像内の前記特定対象物の画像部分に近接した上方の領域を、探索領域として設定する探索領域設定処理と、
   前記探索領域設定手段により設定された探索領域の実空間における位置の前記車両に対する距離を算出する第２の距離算出処理と、
   前記第１の距離算出手段により算出された前記特定対象物の前記車両に対する距離と前記第２の距離算出手段により算出された前記探索領域の前記車両に対する距離とに基づいて、前記特定対象物の種別を判定する特定対象物種別判定処理と
   を前記コンピュータに実行させる機能を有することを特徴とする車両周辺監視用プログラム。

Images