JP2014006820A - 車両周辺監視装置 - Google Patents

Abstract

【課題】赤外線画像内の高輝度領域が車両の排気管であるか否かを、該高輝度領域の形状及び大きさに依ることなく簡単かつ明確に判断することができる車両周辺監視装置を提供する。
【解決手段】車両周辺監視装置１は、赤外線カメラ２により撮像された赤外線画像から、閾値以上の輝度の画素が連続して並ぶ領域としての高輝度領域を含む画像部分を抽出する画像部分抽出手段２１と、画像部分抽出手段２１が抽出した画像部分に含まれる各画素の輝度値が所定の輝度区分のうちのいずれに属するか調べ、属する画素の個数が所定値以上である輝度区分が、所定の中間輝度範囲にはなく該中間輝度範囲に対して高側及び低側輝度範囲には存在する特定輝度分布になっているか否かを判断することによって、該高輝度領域を含む画像部分が車両の画像部分であることを識別する識別手段２２とを備えることを特徴とする。
【選択図】図１

Description

本発明は、車両に搭載された赤外線撮像手段により撮像された赤外線画像から、該車両の周辺の監視対象物を検出する車両周辺監視装置に関する。

従来の車両周辺監視装置では、車両に搭載された赤外線カメラが、車両前方を撮像した赤外線画像を出力し、歩行者等の監視対象物は、赤外線画像において所定の閾値以上の輝度の画素が連続して並ぶ高輝度領域に基づいて検出される。

赤外線画像の高輝度領域には、歩行者や動物の他に、前方車のランプ等が含まれる場合があり、その場合、車両周辺監視を的確に実施するためには、監視対象物ではないランプ等の高輝度領域を除外して、歩行者や動物の高輝度領域を識別する必要がある。

従来の車両周辺監視装置は、赤外線画像における各高輝度領域が表している対象物の種別を識別するために、高輝度領域の形状、大きさ、輝度分散、さらには、高輝度領域間の左右対称の位置関係等を調べている（例：特許文献１） 。

特許第３８３９３２９号公報

歩行者の高輝度領域を識別するために、歩行者の頭部の画像部分を抽出する処理が一般的に行われている。歩行者の頭部と自動車のライトの画像部分は形状及び大きさが類似しているので、形状と大きさで両者を識別しようとする場合、処理が複雑化したり、所要時間が長くなったりする。

また、歩行者の頭部と自動車のライトの画像部分を輝度分散により識別する場合、両者の画像部分の輝度範囲は部分的に重複するので、単純に、所定の閾値を設定して、画像部分の輝度分散が該閾値に対して高側及び低側のどちらに分散しているかによって、両者を識別することは困難である。

さらに、赤外線画像において左右対称の配置関係にある１対の高輝度領域を探索して、見つかれば、それらを前方車の左右のランプであると識別する車両周辺監視装置では、車両が片側のタイヤのみを歩道に乗り上げて駐車している場合、赤外線画像における左右対称の位置関係に基づいて前方車の左右のランプを探索することができない。

本発明の目的は、赤外線画像に含まれる高輝度領域が車両の画像部分であることを円滑に識別することができる車両周辺監視装置を提供することである。

第１発明の車両周辺監視装置は、車両に搭載された赤外線撮像手段により撮像された赤外線画像から、該車両の周辺の監視対象物を検出する車両周辺監視装置であって、前記赤外線撮像手段により撮像された前記赤外線画像から、閾値以上の輝度の画素が連続して並ぶ領域としての高輝度領域を含む画像部分を抽出する画像部分抽出手段と、前記画像部分抽出手段が抽出した画像部分に含まれる各画素の輝度値が所定の輝度区分のうちのいずれに属するか調べ、属する画素の個数が所定値以上である輝度区分が、所定の中間輝度範囲よりも該中間輝度範囲に対して高側及び低側輝度範囲に偏って多く含まれている特定輝度分布になっているか否かを判断することによって、該高輝度領域を含む画像部分が車両の画像部分であることを識別する識別手段とを備えることを特徴とする。

第１発明によれば、赤外線画像の輝度範囲を、所定の中間輝度範囲と該中間輝度範囲に対して高側及び低側輝度範囲とに区分けし、画像部分抽出手段が抽出した画像部分が特定輝度分布になっている否かを判断することにより、排気管等の高輝度領域を車両の画像部分として円滑に識別することができる。

第２発明の車両周辺監視装置は、第１発明において、前記識別手段は、前記特定輝度分布の画像部分に含まれる高輝度領域の周辺に、車両の特徴量を有する他の画像部分があるか否かに基づいて、車両の画像部分を識別することを特徴とする。

第２発明によれば、特定輝度分布により車両の画像部分として特定した高輝度領域の周辺部の他の画像部分に対し、その特徴量に基づいて該他の画像部分が車両の画像部分であるか否かを識別することにより、車両の画像部分であるとする判断の信頼性を高めつつ、赤外線画像における車両の画像部分が占める領域を把握することができる。

第３発明の車両周辺監視装置は、第２発明において、前記識別手段は、前記特定輝度分布の画像部分に含まれる高輝度領域と前記他の画像部分との相対的な位置関係が時系列の赤外線画像間で同一性を維持しているか否かを判断し、同一性を維持していれば、前記他の画像部分は車両の特徴量を有する画像部分であると判断することを特徴とする。

第３発明によれば、特定輝度分布の画像部分に含まれる高輝度領域と他の画像部分との相対的な位置関係が時系列の赤外線画像間で同一性を維持しているか否かに基づいて他の画像部分の特徴量を判断することにより、該高輝度領域及び該他の画像部分が車両の画像部分であるとする判断の信頼性を高めつつ、赤外線画像における車両の画像部分が占める領域を把握することができる。

第４発明の車両周辺監視装置は、第３発明において、前記識別手段は、歩行者の高輝度領域を、前記赤外線画像から車両の画像部分を除外した画像部分から探索することを特徴とする。

第４発明の車両周辺監視装置は、歩行者の高輝度領域を、車両の画像部分を除外した赤外線画像の画像部分から探索することにより、歩行者の高輝度領域の探索処理の能率を高めることができる。

車両周辺監視装置の構成図。 図１に示した車両周辺監視装置の車両への取り付け態様の説明図。 画像処理ユニットが実施する処理手順のフローチャート。 赤外線カメラの撮像画像としてのグレースケール及びその２値化画像を示す図。 識別手段が高輝度対象物に対して設定する外接四角形を例示する図。 図５の外接四角形内のグレースケールに対する輝度−画素数ヒストグラム。 時系列の２値化画像の変化を示す図。 前方車が片側のタイヤを歩道に乗り上げて駐車しているときのグレースケール画像及びその２値化画像を示す図。

図１を参照して、車両周辺監視装置１は、遠赤外線を検出可能な１台の赤外線カメラ２（本発明の「車両に搭載された赤外線撮像手段」に相当する。）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、運転者によるブレーキの操作量を検出するブレーキセンサ５と、赤外線カメラ２により得られる画像から車両前方の監視対象物（歩行者等）を検出し、該監視対象物と車両が接触する可能性が高い場合に警報を出力する画像処理ユニット８と、音声により警報を行うためのスピーカ６と、赤外線カメラ２により得られた画像を表示すると共に、接触の可能性が高い監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。

図２を参照して、赤外線カメラ２は車両１０の前部の左右方向中心に配置され、撮像物の温度が高い程、出力レベルが高くなる（輝度が大きくなる）特性を有している。また、ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

車両１０の前方の実空間について、Ｘ，Ｙ，Ｚの座標軸を定義する。原点Ｏは赤外線カメラ２の中心位置とし、Ｚ軸は、前側を正にして車両１０の前後方向へ水平に延びる軸とされ、Ｘ軸は右側を正にして車両１０の左右水平方向へ延びる軸とされ、Ｙ軸は下側を正にして鉛直方向へ延びる軸とされる。

なお、Ｘ−Ｙ−Ｚ座標系の原点Ｏは車両１０の左右方向中心に設定しつつ、赤外線カメラ２は車両１０の左右方向中心から左右や上下へずらした位置に設定することもできる。その場合は、対象物についての後述の実空間位置（Ｘ，Ｙ，Ｚの座標位置）は、撮像画像から求めた位置を原点Ｏと赤外線カメラ２のレンズ中心との距離に応じて補正して求めることになる。

画像処理ユニット８は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示せず）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して各種演算処理を行う機能を有している。

図１を参照して、画像処理ユニット８は画像部分抽出手段２１及び識別手段２２を備えている。画像処理ユニット８は、ＣＰＵやメモリ等により構成された電子ユニットであり、該ＣＰＵに車両周辺監視用プログラムを実行させることによって、画像部分抽出手段２１及び識別手段２２の機能が実現される。

画像部分抽出手段２１は、赤外線カメラ２により撮像された赤外線画像をデジタル変換したグレースケール画像４０（図４）から、閾値以上の輝度の画素が連続して並ぶ領域としての排気管画像部分４２、テールランプ画像部分４３ａ〜４３ｅ（図４）を含む外接四角形８１，８２（図５）を設定する。

なお、排気管画像部分４２、及びテールランプ画像部分４３ａ〜４３ｅは本発明の「高輝度領域」に相当し、外接四角形８１，８２は本発明の「高輝度領域を含む画像部分」に相当する

識別手段２２は、外接四角形８１，８２に含まれる各画素の輝度値が所定の輝度区分のうちのいずれに属するかをヒストグラム（図６）に基づいて調べ、該ヒストグラムにおいて、属する画素の個数が所定値以上である輝度区分が、所定の中間輝度範囲にはなく該中間輝度範囲に対して高側及び低側輝度範囲には存在する特定輝度分布になっているか否かを判断することによって、該高輝度領域が車両の画像部分の高輝度領域であるか否かを識別する。

次に図３に示したフローチャートに従って、画像処理ユニット８による監視対象物の検出処理及び警報判定処理の実行手順について説明する。

ＳＴＥＰ１では、画像処理ユニット８は、赤外線カメラ２からの赤外線画像信号を入力する。赤外線カメラ２は、一定時間ごとに、車両１０の前方の光景を所定の画角で撮影し、その赤外線画像信号を出力する。

ＳＴＥＰ２では、画像処理ユニット８は、赤外線画像信号（アナログ信号）をデジタルの諧調（輝度）データに変換したグレースケール画像４０（図４）を画像メモリに取り込む。なお、グレースケール画像４０は、赤外線カメラ２が直接出力した赤外線画像ではないものの、デジタル化された輝度を有する赤外線画像である。

直近の所定数（該所定数は複数の有限値）のグレースケール画像４０は、赤外線カメラ２が一定時間間隔で撮像した直近の該所定数の時系列の赤外線画像に対応する。画像メモリに記憶されている時系列のグレースケール画像４０は、一定時間間隔が経過して、赤外線カメラ２が新たな撮像画像を出力するごとに、更新される。

図４（ａ）はグレースケール画像４０を例示する。図４（ａ）のグレースケール画像４０は、車両１０の前方を他車両（前方車）が走行している時にＳＴＥＰ２で取得したグレースケール画像であり、赤外線カメラ２により撮影されたアナログの赤外線画像をＡ／Ｄ変換したデジタルの赤外線画像に相当する。

前方車の画像部分４１には、排気管の他、前方車の画像部分４１の後面に露出する左上、左下、右上、右下、及び中央上のテールランプ（ブレーキランプを兼ねる）の画像部分が含まれる。グレースケール画像４０において、４２は排気管のグレースケール画像部分であり、４３ａ〜４３ｅは前方車の後面の左上、左下、右上、右下、及び中央上のテールランプのグレースケール画像部分、４６，４７は照り返し等により走行道路に生じた比較的明るいグレースケール画像部分である。

図４（ａ）のグレースケール画像４０は、図示の便宜上、非常に明るい領域は白抜きで、暗い領域は右肩上がりの斜線と右肩下がりの斜線とが交差する網掛けで、中間の明るさの領域は点分布でというように、３つの輝度でしか示していないが、実際のグレースケール画像４０は、多数の離散的な輝度となっている。

図３に戻って、ＳＴＥＰ３では、画像部分抽出手段２１は、グレースケール画像４０の各画素について、輝度が所定の閾値以上である画素を高輝度画素として「１」（白）とし、輝度が該閾値よりも小さい画素を低輝度画素として「０」（黒）とする２値化処理を行って２値化画像を取得する。

図４（ｂ）はＳＴＥＰ３で取得した２値化画像５０を示す。該２値化画像５０は、ＳＴＥＰ３の実行に伴い、図４（ａ）のグレースケール画像４０から生成されたものである。２値化画像５０では、グレースケール画像４０の内、排気管画像部分４２、テールランプ画像部分４３ａ〜４３ｅ及び道路画像部分４６，４７が所定の閾値以上の画素の連続して並ぶ白画像部分（グレースケール画像４０における高輝度領域）５２，５３ａ〜５３ｅ，５６，５７となり、その他は黒画像部分（グレースケール画像４０における低輝度領域）となる。なお、道路画像部分４６，４７は、道路の一部が街路灯等の光により明るくなっていることを想定した画像部分である。

図３に戻って、ＳＴＥＰ４では、画像処理ユニット８は、２値化画像５０中の各白画像部分の各縦方向（２値化画像の上下方向）位置に対し、横方向（２値化画像の左右方向）に白の画素の連続する画素列の開始画素位置及び長さを示すランレングスデータを算出する。

ＳＴＥＰ５では、画像処理ユニット８は、２値化画像５０のランレングスデータに基づいて対象物の２値化画像としての白画像部分を抽出し、抽出した白画像部分に対してラべリング（番号付け）を行う。

ＳＴＥＰ６では、画像処理ユニット８は、ラベリングした白画像部分の重心、面積、及び白画像部分の外接四角形のアスペクト（縦横）比を算出する。

ＳＴＥＰ７では、画像処理ユニット８は、対象物の時刻間追跡を実施する。具体的には、赤外線カメラ２が一定時間間隔で撮像した前回及び今回の赤外線画像から取得した前回及び今回の２値化画像５０からそれぞれ抽出したラベル付き白画像部分について、相関性に基づいて同一対象物について白画像部分同士を対応付ける。その際、画像処理ユニット８は、白画像部分の重心、面積、及び白画像部分の外接四角形のアスペクト（縦横）比の変化量が対応の所定の閾値内になっている、前回と今回の白画像部分同士は、所定の相関性があるとして、同一対象物についての白画像部分同士であると判断する。

ＳＴＥＰ７において、画像処理ユニット８は、同一対象物についての白画像部分であると判断した前回と今回の白画像部分同士に対し、今回の白画像部分には、前回の白画像部分に付けたラベルが継承されるように、再ラベリングする。

ＳＴＥＰ８では、識別手段２２は、高輝度領域を含む画像部分についてのヒストグラム分析に基づいて排気管の画像部分を検出する。具体的には、識別手段２２は、２値化画像５０におけるラベル付き白画像部分、すなわち白画像部分５２，５３ａ〜５３ｅ，５６，５７の基になっているグレースケール画像４０の画像部分４２，４３ａ〜４３ｅ，４６，４７（「高輝度領域」に相当する。）に対し外接四角形（「高輝度領域を含む画像部分」に相当）をそれぞれ設定する。そして、識別手段２２は、該外接四角形のグレースケール画像部分に対しヒストグラム分析を実施し、ヒストグラム分析結果に基づいて、排気管の画像部分を検出する。

図５及び図６を参照して外接四角形及びヒストグラム分析について具体的に説明する。

図５は識別手段２２が排気管及び右上テールランプの画像部分４２，４３ｃに対して設定した外接四角形８１，８２を示している。外接四角形８１において、排気管画像部分４２の輝度は、ＳＴＥＰ３においてグレースケール画像４０から２値化画像５０を生成した際に白と黒とを分けた閾値より十分に大きく、排気管画像部分４２以外の輝度は該閾値より十分に小さくなっている。また、外接四角形８２において、テールランプ画像部分４３ｃの輝度は該閾値より少し大きい程度であり、テールランプ画像部分４３ｃ以外の輝度は該閾値より少し小さい程度ある。このことは次の図６のヒストグラムに反映される。

図６（ａ）及び（ｂ）は図５の外接四角形８１，８２内のグレースケールに対する輝度−画素数ヒストグラム分析を示している。横軸は輝度を示し、縦軸は画素数を示している。横軸の輝度範囲は等幅の輝度区分に区分化されており、外接四角形８１，８２内のグレースケール画像において、各輝度区分に属する画素の合計がヒストグラムにおける各棒の高さになっている。

ヒストグラムの輝度について、所定の低側閾値Ｋa及び高側閾値Ｋb（Ｋb＞Ｋa）を設定する。ここで、説明の便宜上、Ｋa未満の輝度範囲を「低側輝度範囲」と呼び、Ｋa以上でＫb未満の輝度範囲を「中間輝度範囲」と呼び、Ｋb以上の輝度範囲を「高側輝度範囲」と呼ぶことにする。図６において、Ｃa，Ｃbは、低側輝度範囲及び高側輝度範囲における注目画素数を囲っている。

図６（ａ）の排気管の外接四角形８１のグレースケール画像についてのヒストグラムは、画素数が所定値以上の輝度区分が、低側輝度範囲と高側輝度範囲に存在し、中間輝度範囲にはないという特徴をもつ。これに対し、図６（ｂ）の右上テールランプの外接四角形８２のグレースケール画像についてのヒストグラムは、画素数が所定値以上の輝度区分が、低側輝度範囲と高側輝度範囲に存在せず、中間輝度範囲には存在するという特徴（本発明の「特定輝度分布」に相当する。）をもつ。

右上テールランプ以外のテールランプの外接四角形内のグレースケール画像のヒストグラム分析、及び２値化画像５０では白画像部分としてラベリングされるにもかかわらず種別がテールランプや排気管以外の種別のもの、例えば図４（ａ）の道路画像部分４６，４７の外接四角形内のグレースケール画像のヒストグラム分析については、図示は省略しているが、それらのヒストグラム分析結果も、図６（ｂ）のヒストグラムの特徴と同一の特徴を有している。

図６より、図５（ｂ）の各白画像部分が排気管の画像部分であるか否かは、該白画像部分の基になっているグレースケール画像部分に対する外接四角形に囲われる領域のグレースケール画像部分をヒストグラム分析して、ヒストグラム分析結果の特徴が、図６（ａ）の特徴であるか否かを調べることにより、判断できるという知見が得られる。ＳＴＥＰ８の処理はこの知見に基づいて実施されるものである。

なお、図６のヒストグラムは、図５のグレースケール画像４０における外接四角形８１，８２内のグレースケールに対する輝度−画素数ヒストグラム分析となっている。グレースケール画像４０からその微分画像を生成し、該微分画像における外接四角形８１，８２の対応画像部分に対するヒストグラムからも、それぞれ図６（ａ）及び（ｂ）とほぼ同一の特徴を抽出することができる。

図３に戻って、ＳＴＥＰ８の実行に伴い、２値化画像５０に含まれるラベル付き白画像部分の内、白画像部分５２は排気管の画像部分であることが判明する。

ＳＴＥＰ９では、識別手段２２は、排気管の画像部分の周辺部において車両の特徴量を有するその他の画像部分を探索する。具体例として、車両の特徴量を検出するために、相対的な位置関係を検出する場合と、微分画像におけるエッジ線を検出する場合とを説明する。

最初に相対的な位置関係を検出する場合について説明する。識別手段２２は、時系列の各２値化画像５０において、排気管の白画像部分５２とその周辺部に存在する他の白画像部分５３ａ〜５３ｅとの相対的な位置関係を検出する。該相対的な位置関係は、時系列の各２値化画像５０において同一性が維持されているか否について調べられ、具体的には例えば時系列の各２値化画像５０における白画像部分５２に対するその他の白画像部分の相対方向である。相対方向は、例えば、排気管の白画像部分の重心を起点にして他の白画像部分の重心を先端とするベクトルの向きに対応する。なお、時系列の２値化画像５０は、赤外線カメラ２が一定時間間隔で撮像した直近の所定数の各赤外線画像から生成されたものとなっている。

テールランプ等は、排気管と同一の前方車に装備されているので、時系列のグレースケール画像４０又は２値化画像５０において、排気管の画像部分に対するテールランプ等の画像部分の相対方向は同一性を維持する。図７は時系列の２値化画像の変化を示している。図７（ａ）及び（ｂ）において、左の２値化画像５０−１は右の２値化画像５０−２より撮像時刻が前の撮像画像から生成されたものであり、図７は左の２値化画像５０−１から右の２値化画像５０−２への変化を示している。図７（ａ）は、自車としての車両１０と前方車との車間距離がほぼ同一に維持されている場合の２値化画像の変化を示し、図７（ｂ）は、車両１０と前方車との車間距離が短くなった場合の２値化画像の変化を示している。

白画像部分５２，５３ａ〜５３ｅは前方車の装備品に対応する白画像部分であるので、白画像部分５２に対する白画像部分５３ａ〜５３ｅの相対方向は時系列の各２値化画像５０−１，５０−２において同一性を保持するのに対し、前方車の装備品に対応しない他の白画像部分は、排気管の白画像部分５２に対する相対方向が時系列の２値化画像５０において変化する。したがって、時系列のグレースケール画像４０又は２値化画像５０において、相対方向の同一性が維持されている画像部分は前方車におけるテールランプ等の画像部分と判断することができる。

微分画像におけるエッジ線を検出する場合について説明する。グレースケール画像４０を縦方向又は横方向へ微分することにより排気管の画像部分の周辺部に水平エッジ線、垂直エッジ線、又はその他のエッジ線を取得することができる。水平エッジ線、垂直エッジ線、又はその他のエッジ線について、形状、長さ、Ｚ座標についての排気管のＺ座標との同一性、Ｘ座標及びＹ座標についての排気管との近傍性等を判断して、水平エッジ線、垂直エッジ線、又はその他のエッジ線の画像部分が車両（前方車）の画像部分であるか否かを判断することができる。

ヒストグラム分析による排気管の画像部分の特定と、車両の特徴量を有するその他の画像部分の特定とにより、グレースケール画像４０において車両の画像部分が特定できるとともに、グレースケール画像４０における車両の画像部分の特定の信頼度が高まる。

ＳＴＥＰ１０では、識別手段２２は、ＳＴＥＰ９の探索により、車両の特徴量を有する画像部分として見つかったその他の画像部分は車両（前方車）の画像部分であると判断する。

ＳＴＥＰ１１では、識別手段２２は、赤外線画像において車両（前方車）の画像部分以外の画像部分（車両の画像部分を除外した画像部分）から人（歩行者）を探索する。具体的には、識別手段２２は、ＳＴＥＰ１０において車両（前方車）の画像部分であると判断した各画像部分を網羅する全体の画像部分は車両（前方車）の画像部分として、該全体の画像部分内に存在する白画像部分は車両（前方車）に属する白画像部分とする。そして、識別手段２２は、残りの白画像部分から人の白画像部分を形状やアスペクト比等に基づいて探索する。この結果、識別手段２２が人の白画像部分として探索する白画像部分は大幅に絞られるので、負荷の軽減及び所要時間の短縮が図られる。

ＳＴＥＰ１２では、画像処理ユニット８は、人の実空間位置に基づいて車両１０の運転者に対して警報を実施する。具体的には、画像処理ユニット８は、人の実空間位置を算出して、該人が車両１０の前方のどの特定の領域に存在するか否かを検出し、存在する領域に応じてスピーカ６からの警告音出力や画面７ａにおけるグレースケール画像における人画像部分に対する目立つ色での囲い枠表示を実施する。

人の実空間位置の算出では、算出式として例えば次の式（１）が使用される。なお、詳細は例えば特開２００８−１１３２９６号公報等に記載されているとおりである。

Ｚ＝Ｒate・Ｖ・Δｔ／（１−Ｒate）・・・（１）
上記の式（１）において各符号の定義は次のとおりである。
Ｚ：対象物について図２のＺ軸方向の位置、すなわち車両１０から対象物までの距離。
Ｒate：今回及び前回の２値化画像において、ＳＴＥＰ７における時刻間追跡により同一の対象物についての白画像部分であると判断された該白画像部分の外接四角形の幅又は高さの寸法比。今回の２値化画像における外接四角形の幅及び高さをｗ0，ｈ0、前回の２値化画像における外接四角形の幅及び高さをｗ1，ｈ1とすると、Ｒate＝ｗ1／ｗ0又はｈ1／ｈ0となる。なお、寸法ｈ0，ｈ1，ｗ0，ｗ1は赤外線画像における画素ピッチ数で表現したものである。
Δｔ：今回及び前回の２値化画像の基になっている赤外線画像の撮像時刻の時間差。
Ｖ：車両１０の車速。

式（１）で求めたＺはさらに車両１０の回頭角により補正される。車両１０の回頭角はヨーレートセンサ３の出力をΔｔにより積分した積分値に基づいて算出される。詳細は前述の特開２００８−１１３２９６号公報等において説明されている。

画像処理ユニット８の効果について説明する。画像処理ユニット８は、排気管等についてグレースケール画像４０における対応画像部分の外接四角形に対するヒストグラム分析に基づいて位置を判断するので、前述の特許文献１のように、左右のテールランプが赤外線画像の左右対称位置に存在しなくても、車両の画像部分を検出することができる。図８はこのことについての説明図である。

図８（ａ）及び（ｂ）は車両１０の前方に他車両が右側のタイヤのみを歩道に乗り上げて駐車しているときのグレースケール画像６０及びその２値化画像７０を示している。説明を簡便にするために、図４（ａ）で説明した前方車が他車両として図８（ａ）に図示するように駐車しているものとして、図８（ａ）において図４（ａ）の部位との対応部位は図４（ａ）で用いた符号を使用している。

図８（ａ）の他車両は、左側のタイヤは車道（車道画像部分６１に対応）に残し、右側のタイヤのみを歩道（歩道画像部分６２に対応）に乗り上げているので、高側及び低側の左右のテールランプ対は、右側のテールランプが左側のテールランプより高くなり、２値化画像７０においてそれぞれ右肩上がり斜線７５，７６上に位置し、左右対称の配置にならない。そのため、左右のテールランプの画像部分の位置の対称性から、車両の画像部分を検出することができない。

これに対して、識別手段２２は、ＳＴＥＰ８において、ヒストグラム分析に基づいて排気管の白画像部分を検出し、検出した白画像部分に対し、ＳＴＥＰ９において、時系列のグレースケール画像４０における相対的な位置関係やグレースケール画像４０の微分画像におけるエッジ線等に基づいて前方車の画像部分を検出することができる。したがって、図８のように、左右のテールランプの画像部分が左右対称位置にない場合であっても、車両の画像部分を検出することができる。

本発明を実施形態について説明したが、本発明は、実施形態に限定されることなく、要旨の範囲内で種々に変形して実施することができる。

例えば、実施形態では、他の画像部分（例：白画像部分５３ａ〜５３ｅ，５６，５７）が車両の画像部分であるか否かを識別するために、他の画像部分の特徴量として、特定輝度分布の画像部分と他の画像部分との相対的な位置関係について時系列の赤外線画像間で同一性の程度を設定している。これに代えて、時系列の赤外線画像間での特定輝度分布の画像部分と他の画像部分との大きさの変化率の一致性の程度を特徴量としてもよい。

一部の実施形態では、特定輝度分布の画像部分に含まれる高輝度領域の周辺に、車両の特徴量を有する他の画像部分があるか否かに基づいて、車両の画像部分を識別するために、時系列のグレースケール画像４０に基づいて、特定輝度分布の画像部分に含まれる高輝度領域と他の画像部分との相対的な位置関係を検出しているが、単に、特定輝度分布に基づいて車両の所定の部品の位置を調べたり、エッジ線等の画像部分の特徴量に基づいて他の画像部分が車両の画像部分で或る否かを判断したりする処理は、同一対象物画像部分の時刻間追跡等の処理とは独立して実施することができるので、時系列のグレースケール画像４０に対する処理は省略することができる。

１・・・車両周辺監視装置、２・・・赤外線カメラ（赤外線撮像手段）、１０・・・車両、２１・・・画像部分抽出手段、２２・・・識別手段、４０・・・グレースケール画像、４１・・・前方車、４２・・・排気管画像部分（高輝度領域）、４３・・・テールランプ画像部分（高輝度領域）、４６，４７・・・道路画像部分（高輝度領域）、８１，８２・・・外接四角形（高輝度領域を含む画像部分）。

Claims (4)

1. 車両に搭載された赤外線撮像手段により撮像された赤外線画像から、該車両の周辺の監視対象物を検出する車両周辺監視装置であって、
   前記赤外線撮像手段により撮像された前記赤外線画像から、閾値以上の輝度の画素が連続して並ぶ領域としての高輝度領域を含む画像部分を抽出する画像部分抽出手段と、
   前記画像部分抽出手段が抽出した画像部分に含まれる各画素の輝度値が所定の輝度区分のうちのいずれに属するか調べ、属する画素の個数が所定値以上である輝度区分が、所定の中間輝度範囲よりも該中間輝度範囲に対して高側及び低側輝度範囲に偏って多く含まれている特定輝度分布になっているか否かを判断することによって、該高輝度領域を含む画像部分が車両の画像部分であることを識別する識別手段とを備えることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記識別手段は、前記特定輝度分布の画像部分に含まれる高輝度領域の周辺に、車両の特徴量を有する他の画像部分があるか否かに基づいて、車両の画像部分を識別することを特徴とする車両周辺監視装置。
3. 請求項２記載の車両周辺監視装置において、
   前記識別手段は、前記特定輝度分布の画像部分に含まれる高輝度領域と前記他の画像部分との相対的な位置関係が時系列の赤外線画像間で同一性を維持しているか否かを判断し、同一性を維持していれば、前記他の画像部分は車両の特徴量を有する画像部分であると判断することを特徴とする車両周辺監視装置。
4. 請求項３記載の車両周辺監視装置において、
   前記識別手段は、歩行者の高輝度領域を、前記赤外線画像から車両の画像部分を除外した画像部分から探索することを特徴とする車両周辺監視装置。