JP2006178538A

JP2006178538A - 道路領域検出装置

Info

Publication number: JP2006178538A
Application number: JP2004368360A
Authority: JP
Inventors: Yohei Aragaki; 洋平新垣
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2004-12-20
Filing date: 2004-12-20
Publication date: 2006-07-06

Abstract

【課題】温度環境の変化に対するロバスト性を確保でき、走路検出に適し、計算量の増大を抑制することが可能な道路領域検出装置を提供する
【解決手段】道路領域検出装置１は、カメラ１０にて熱画像を取得する。そして、道路領域検出装置１は、特徴画素抽出部３２により、熱画像熱画像内に一部領域を規定し、規定した一部領域について熱データの局所的な変化を検出して、その局所的な変化があった画素を特徴画素として抽出する。そして、特徴画素抽出部３２は、一部領域をずらしていきつつ特徴画素を抽出していくことで、当該熱画像全体について特徴画素を抽出する。このように特徴画素を抽出して、温度環境の変化に対するロバスト性を確保でき、走路検出に適し、計算量の増大を抑制することができる。
【選択図】図１

Description

本発明は、道路領域検出装置に関する。

従来、赤外線カメラにより撮像した画像から画像内の温度状態の分布を示すヒストグラムを作成し、このヒストグラムから温度のピーク値を観察し、２値化閾値を設定して２値化を行うことで、障害物候補となる領域を抽出する手法が知られている（例えば特許文献１参照）。

また、画像から特徴量を抽出し、その特徴量を用いてロバスト法の１つであるＲＡＮＳＡＣを応用し、直線当てはめを行って車線検出を行う手法が提案されている（例えば特許文献２参照）。
特開２００３−１６４５８号公報特開２００４−１１８７５７号公報

しかし、例えば夏場に気温が３０度を超えるなど、路面や壁がその他の物体と同じような温度帯となる場合、特許文献１による手法では、各物体の温度が近くなることから、温度のヒストグラムから適切な２値化閾値を設定することが困難となり、障害物の抽出が困難となる。すなわち、検出にあたり、温度環境の変化に対するロバスト性を確保できなくなる問題があった。

また、特許文献２に示す手法では、或るモデルに対して当てはめを行うＲＡＮＳＡＣという手法を採用しているため、複数モデルに対する当てはめをしなければならない場合には、計算量が膨大となる。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、温度環境の変化に対するロバスト性を確保でき、走路検出に適し、計算量の増大を抑制することが可能な道路領域検出装置を提供することにある。

本発明の道路領域検出装置は、車両周辺について熱データを有する熱画像を取得する画像取得手段と、画像取得手段により取得された熱画像内に一部領域を規定し、規定した一部領域について熱データの局所的な変化を検出して、その局所的な変化があった画素を特徴画素として抽出すると共に、一部領域をずらしていきつつ特徴画素を抽出していくことで、当該熱画像全体について特徴画素を抽出する特徴画素抽出手段と、特徴画素抽出手段により抽出された熱画像全体の特徴画素の画像中における存在位置から路面の候補となる候補領域を抽出する候補領域抽出手段と、候補領域抽出手段より抽出された候補領域の連続性から道路領域を検出する道路領域検出手段とを備える。

本発明によれば、熱画像のうちの一部領域を規定し、規定した一部領域について熱データの局所的な変化を検出して、その局所的な変化があった画素を特徴画素として抽出する。そして、一部領域をずらしていきつつ特徴画素を抽出していくことで、当該熱画像全体について特徴画素を抽出する。ここで、路面や壁がその他の物体と同じような温度帯となったとしても、異なる物体間では温度は一致することなく、僅かながら相違はある。このため、一部領域内の熱データがすべて同じようになったとしても、物体の境界が含まれていれば、局所的な変化が存在し、特徴画素として抽出することができる。

そして、特徴画素、すなわち物体の境界に基づいて、路面候補を抽出し、その連続性から道路領域を検出するため、たとえ路面や壁がその他の物体と同じような温度帯となったとしても、路面検出にあたりロバスト性を確保することができる。

また、路面検出にあたり、ＲＡＮＳＡＣという手法のように複数モデルに対する当てはめを行う必要がない。

従って、温度環境の変化に対するロバスト性を確保でき、走路検出に適し、計算量の増大を抑制することができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。図１は、本発明の第１実施形態に係る道路領域検出装置の構成図である。同図に示すように、本実施形態の道路領域検出装置１は、自車両前方などの道路部分の領域を検出するためのものであって、車両周辺の熱データを有する熱画像を取得するカメラ（画像取得手段）１０を備えている。また、道路領域検出装置１は、カメラ１０により取得された熱画像等を記憶する記憶部２０と、記憶部２０に記憶された熱画像等に基づいて演算を行い、自車両前方などの道路領域を検出する演算部３０とを備えている。

カメラ１０は図２に示すようにして車両に設置されている。図２は、カメラ１０の設置の様子を示す説明図であり、（ａ）は車両横方向から見たときの設置状態を示し、（ｂ）は車両上方から見たとき設置状態を示している。

同図に示すように、カメラ１０は、車両のルームミラー部に設置され、当該設置位置から車両前方の画像を熱データを含む形式で取得する構成となっている。ここで、通常のフロントガラスは遠赤外線を透過しないようになっている。このため、カメラ１０が遠赤外線画像を取得するものである場合には、カメラ１０のレンズ部を車外に露出する構造としておくとよい。また、カメラ１０を車室内に設置する場合には、フロントガラスのうち、画像取得に必要部位のみを遠赤外線を透過する特殊な構造としてもよい。なお、カメラ１０の設置位置、及び撮影方向は、図２に示す限りではなく、他の設置位置及び撮影方向であってもよい。

ここで、カメラ１０が取得する画像例を説明する。図３は、カメラ１０が取得する画像例を示す説明図である。同図に示すように、本実施形態に係るカメラ１０は、車両前方方向を撮影し、例えば、人物Ｏ１、電柱Ｏ２、先行車Ｏ３及び道路等を含む熱画像を取得する。この熱画像は、複数の画素データで構成され、各画素データには座標データ及び熱データが含まれる。

再度、図１を参照する。上記記憶部２０は、画像メモリ２１と、メモリ部２２を備えている。また、演算部３０は、熱データ取得部３１と、特徴画素抽出部（特徴画素抽出手段）３２と、領域抽出部（候補領域抽出手段）３３と、道路領域検出部（道路領域検出手段）３４とを備えている。

画像メモリ２１は、カメラ１０から取得した熱画像のデータを時系列に保存していくものである。すなわち、画像メモリ２１は、図３に示したような熱画像を、各画素の座標データ及び熱データを含んで記憶していくものである。

熱データ取得部３１は、カメラ１０により取得された熱画像の熱データを取得するものである。なお、熱データ取得部３１は、画像内すべての画素から熱データを取得するが、画像内すべての画素から取得する場合に限らず、或る程度間引いて熱データを取得したり、画像内の一部の画素から熱データを取得したりしてもよい。

特徴画素抽出部３２は、熱データ取得部３１により取得された熱データに基づいて、特徴画素を抽出するものである。具体的に特徴画素抽出部３２は、カメラ１０によりにより取得された熱画像のうちの一部領域を規定し、規定した一部領域について熱データの局所的な変化を検出して、その局所的な変化があった画素を特徴画素として抽出する。

図４は、特徴画素抽出部３２による特徴画素の抽出についての説明図であり、（ａ）は一部領域の例を示し、（ｂ）は一部領域について画像横方向に熱データの変化を表すグラフの一例を示し、（ｃ）は一部領域について画像横方向に熱データの変化を表すグラフの他の例を示している。

図４（ａ）に示すように、特徴画素抽出部３２は、例えば路面と車両Ｏ３との境界に一部領域を規定したとする。このとき、画像横方向に熱データの変化を見ると、図４（ｂ）に示すように、熱データの局所的な変化が検出される。これは、路面と車両Ｏ３との温度が異なるためである。特徴画素抽出部３２は、このような熱データの局所的な変化を検出して、特徴画素として抽出することとしている。これにより、特徴画素抽出部３２は、物体の境界を検出することとなる。

また、温度環境によっては、路面と車両Ｏ３との温度がほぼ同じになることがある。このような場合、図４（ｃ）に示すように、熱データの変化は少なくなる。しかし、特徴画素抽出部３２は、路面と車両Ｏ３との温度がほぼ同じになって熱データの差が少なくなった場合、一層細かな変化につても局所的な変化として検出するようにする。言い換えれば、特徴画素抽出部３２は、図４（ｃ）でいう縦軸を拡大して、図４（ｂ）のように変化を顕著にして、特徴画素を抽出するようにする。

その後、特徴画素抽出部３２は、一部領域をずらしていきつつ特徴画素を抽出していくことで、当該熱画像全体について特徴画素を抽出する。これにより、特徴画素抽出部３２は、画像全体について物体の境界を検出するようにしている。

なお、特徴画素抽出部３２が一部領域を規定しない場合、図４（ｂ）と図４（ｃ）のような熱データが混在することがあり得る。すなわち、路面と車両Ｏ３とは図４（ｂ）のように顕著な熱データの変化があるが、路面と縁石とは図４（ｃ）のように熱データの変化が殆どないことがあり得る。このような混在状態において、特徴画素抽出部３２が一部領域を規定しない場合、路面と車両Ｏ３との境界において特徴画素を抽出できても、路面と縁石との境界において特徴画素を抽出できないこととなってしまう。

しかし、本実施形態では、一部領域を規定するため、一部領域において局所的な熱データの変化を検出することができ、温度環境により異なる物体間の温度が近くなっても、一部領域内の微小な変化から特徴画素を抽出できるようになっている。

このようにして抽出された特徴画素を図５に示す。図５は、特徴画素抽出部３２により抽出された特徴画素からなる画像の一例を示す説明図である。同図に示すように、特徴画素は、道路部分において少なく、人物Ｏ１、電柱Ｏ２及び先行車Ｏ３と他の物体や空間との境界、並びに、道路（車道）と歩道との境界において、多く抽出されることとなる。また、人物Ｏ１、電柱Ｏ２及び先行車Ｏ３などの温度が路面と近くなったとしても、上記の如く特徴画素が抽出されるため、図３に示すような画像を取得した場合には、温度環境によらず、図５に示すように特徴画素が抽出される。なお、同一物体内においては温度はほぼ同じとなるため、特徴画素は、同一物体内において殆ど抽出されない。

再度、図１を参照する。領域抽出部３３は、モザイク領域作成機能（モザイク領域作成手段）、重み値設定機能（重み値設定手段）及び候補領域抽出機能を有している。モザイク領域作成機能は、特徴画素抽出部３２により特徴画素が抽出された後の画像を格子状に分割して、複数のモザイク領域を作成する機能である。

図６は、領域抽出部３３のモザイク領域作成機能によって作成された複数のモザイク領域を示す説明図である。図６に示す如く、モザイク領域は、図５のように特徴画素が抽出された後の画像が格子状に区切られることによって作成されている。このモザイク領域は、後の処理負荷を軽減させるために作成されるものである。すなわち、モザイク領域に分割することによって、モザイク領域の一単位ずつ処理を行うことができ、画素単位で処理を行うよりも処理負荷の軽減を図ることができる。なお、モザイク領域の数及び大きさは図６に示されるものに限らず、種々の変更が可能である。

重み値設定機能は、特徴画素抽出部３２により抽出された特徴画素それぞれについて、局所的な変化が大きくなるに従って、その変化の大きさを示す重み値を大きく設定するものである。すなわち、重み値設定機能は、図５に示すような特徴画素の１つ１つに重み値を設定していく。重み値の大きさは、局所的な熱データの変化の大きさに比例する。このため、重み値設定機能は、例えば図４（ｂ）に示すような局所的な熱データの変化があった特徴画素について、重み値を大きく設定する。一方、重み値設定機能は、例えば図４（ｃ）に示すような局所的な熱データの変化があった特徴画素について、重み値を小さく設定する。

また、候補領域抽出機能は、特徴画素抽出部３２により抽出された特徴画素の画像中における存在位置から、路面の候補となる候補領域を抽出する。より具体的に候補領域抽出機能は、モザイク領域作成機能によって作成された複数のモザイク領域のそれぞれについて、重み値設定機能により設定された重み値の総数を求め、この総数が所定数以下となるモザイク領域を道路の候補領域として抽出する機能である。すなわち、候補領域抽出機能は、モザイク領域内に収まる特徴画素のそれぞれの重み値を加算していき、加算の結果、所定数に達しなかったモザイク領域を候補領域として抽出することとなる。

ここで、図６を参照する。図６においてモザイク領域Ｈ１には、特徴画素が多く存在している。ここで、特徴画素それぞれには、重み値が設定されている。このため、候補領域抽出機能は、モザイク領域Ｈ１内の特徴画素それぞれについて重み値を加算する。この結果、重み値の総数が所定値を超えた場合、候補領域抽出機能は、モザイク領域Ｈ１を候補領域として抽出しないこととなる。

また、図６においてモザイク領域Ｈ２には、特徴画素が存在しない。このため、重み値の総数は「０」となり、所定値以下となる。よって、候補領域抽出機能は、モザイク領域Ｈ２を候補領域として抽出することとなる。

ここで、図４（ｃ）に示すような局所的な熱データの変化が小さかった場合、特徴画素抽出部３２は、誤った特徴画素を抽出した可能性が高いと言える。すなわち、特徴画素抽出部３２は、同一物体であっても、同一物体のなかで温度に僅かな差があった場合、特徴画素を抽出してしまい、誤った特徴画素を抽出する可能性が高いと言える。他方、図４（ｂ）のような大きな変化の場合には、誤りである可能性は少ない。このため、重み値設定機能は、図４（ｂ）に示すような局所的な熱データの変化があった特徴画素について、重み値を大きく設定し、図４（ｃ）に示すような局所的に熱データの変化については、誤った特徴画素の抽出がされた可能性をあるため重み値を小さくする。このように、信頼度の高い特徴画素について重み値を大きくすることとなり、重み値を基準に候補領域の抽出を行って、精度の良い抽出を行うようにしている。

図７は、道路の候補領域が抽出の結果の一例を示す説明図である。候補領域抽出機能は、以上のような重み値の加算を及び抽出判断を全てのモザイク領域について行う。これにより、重み値の総数が所定値以下であったモザイク領域（図７のハッチ部分）が候補領域として抽出される。

再度、図１を参照する。道路領域検出部３４は、領域抽出部３３の候補領域抽出機能によって検出された道路の候補領域の連続性から道路領域を検出するものである。具体的に道路領域検出部３４は、図７に示すように、自車両に近接したモザイク領域（例えば領域Ｈ３）を基点領域とし、検出された候補領域のうち、基点領域Ｈ３と連なる候補領域を道路領域として検出するものである。

より詳細に説明すると、モザイク領域Ｈ４は、候補領域として検出されている。また、モザイク領域Ｈ４は、基点領域Ｈ３と隣接している。このため、道路領域検出部３４は、モザイク領域Ｈ４を道路領域の一部として検出することとなる。また、モザイク領域Ｈ５は、候補領域として検出されている。また、モザイク領域Ｈ５は、道路領域の一部として検出されたモザイク基点領域Ｈ４と隣接している。このため、道路領域検出部３４は、モザイク領域Ｈ５を道路領域の一部として検出することとなる。

このように、道路領域検出部３４は、基点領域又は先に道路領域として検出されたモザイク領域に隣接するモザイク領域が候補領域として検出されたものか否かを順次判断していき、候補領域として検出されたものと判断できる場合に、そのモザイク領域を道路領域の一部として検出することとなる。

従って、モザイク領域Ｈ６は、候補領域として抽出されたものであるが、基点領域Ｈ３と同一区画に存在せず分離された状態となっているため、道路領域の一部として検出されないこととなる。

そして、以上の検出を繰り返すことにより、道路領域の全体が検出されることとなる。なお、道路領域検出部３４は、道路領域として検出したモザイク領域のうち、各列において最上端に存在するモザイク領域を決定し、最上端に存在するモザイク領域の画像横方向中央部に点Ｉ１をプロットするようにしてもよい。そして、道路領域検出部３４は、各点Ｉ１を線で結び、道路領域をより詳細に求めるようにしてもよい。この場合の例を図８に示す。図８は、道路領域の様子の一例を示す説明図である。同図に示すように、各点Ｉ１を線Ｊ１で結んだ場合、一層詳細な道路領域を求めることができる。

なお、図１に示すメモリ部２２は、上記特徴画素抽出部３２、領域抽出部３３及び道路領域検出部３４に接続され、それぞれにて抽出等された特徴画素、モザイク領域、候補領域及び道路領域の情報が記憶又は読み出しされるようになっている。

次に、第１実施形態に係る道路領域検出装置１の動作を説明する。図９は、第１実施形態に係る道路領域検出装置１の動作を示すフローチャートである。まず、カメラ１０は、撮像を行い、図３に示したような熱画像を取得する（ＳＴ１０）。

その後、カメラ１０は、取得した熱画像のデータを記憶部２０に送信する。そして、記憶部２０の画像メモリ２１は、熱画像のデータを保存する。保存後、熱画像のデータは熱データ取得部３１に送信され、熱データ取得部３１は、熱データの情報を読み込む。

さらに、熱データ取得部３１では、ノイズ軽減処理が行われる（ＳＴ１１）。具体的にノイズ軽減処理において、熱データ取得部３１は、画像サイズを半分に変更する。すなわち、熱データ取得部３１は、例えば、横３２０画素、縦２４０画素のサイズの画像を、横１６０画素、縦１２０画素のサイズの画像に変更する。また、熱データ取得部３１は、画像サイズを半分とする場合、４画素の熱データを平均し、画像サイズ変更後の１画素の熱データとする。これにより、もとの画像において１画素だけに存在したノイズなどを均一化して、ノイズの軽減を図っている。

次いで、熱データ取得部３１は、熱データを特徴画素抽出部３２に送信し、特徴画素抽出部３２は、図５に示すような特徴画素を抽出する（ＳＴ１２）。そして、特徴画素抽出部３２は、その特徴画素のデータを領域抽出部３３に送信する。次いで、領域抽出部３３は、モザイク領域作成機能によって、モザイク領域を作成する（ＳＴ１３）。このとき、領域抽出部３３は、図６に示すように、画像を格子状に分割することでモザイク領域を作成する。

そして、領域抽出部３３は、重み値設定機能によって、特徴画素それぞれについて重み値を設定していく（ＳＴ１４）。そして、領域抽出部３３は、候補領域抽出機能によって、図６に示したようにして、重み値の総数が所定数以下のモザイク領域を、道路の候補領域として抽出する（ＳＴ１５）。

その後、領域抽出部３３は、候補領域の情報を道路領域検出部３４に送信する。次いで、道路領域検出部３４は、自車両に近接したモザイク領域の１つを基点領域とし、基点領域の決定後、基点領域に連なる候補領域を、道路領域として検出していく（ＳＴ１６）。

その後、道路領域検出部３４は、図８に示すようにして、各点Ｉ１を線Ｊ１で結び、詳細な道路端を検出する（ＳＴ１７）。その後、処理は終了することとなる。

このようにして、第１実施形態に係る道路領域検出装置１によれば、熱画像のうちの一部領域を規定し、規定した一部領域について熱データの局所的な変化を検出して、その局所的な変化があった画素を特徴画素として抽出する。そして、一部領域をずらしていきつつ特徴画素を抽出していくことで、当該熱画像全体について特徴画素を抽出する。ここで、路面や壁がその他の物体と同じような温度帯となったとしても、異なる物体間では温度は一致することなく、僅かながら相違はある。このため、一部領域内の熱データがすべて同じようになったとしても、物体の境界が含まれていれば、局所的な変化が存在し、特徴画素として抽出することができる。

また、特徴画素が抽出された画像を格子状に分割して処理を行っていくことで、後の処理負荷を軽減させるために作成されるものである。すなわち、モザイク領域に分割することによって、モザイク領域の一単位ずつ処理を行うことができ、画素単位で処理を行うよりも処理負荷の軽減を図ることができる。

さらに、特徴画素について、局所的な変化が大きいほど重み値を大きく設定し、モザイク領域ごとにその重み値の総数を求め、その総数が所定値以下であったモザイク領域を、路面の候補領域として抽出している。ここで、局所的に小さな熱データの変化しかなかった場合、特徴画素は誤って抽出がされた可能性が高くなる。すなわち、同一物体であっても、同一物体のなかで温度に僅かな差があった場合、特徴画素として抽出されてしまうため、誤って抽出がされた可能性が高くなる。他方、局所的に熱データが大きく変化している特徴画素については、誤って抽出がされた可能性は低い。このため、局所的に大きく変化して物体間の境界として誤りである可能性は少ない特徴画素について重み値を大きくすることとなる。故に、重み値を基準に候補領域の抽出を行うことで、誤りが少なく精度の高い候補領域の抽出を行うことができる。

また、自車両に近接したモザイク領域を基点領域としているため、道路である可能性が高い箇所を基点とすることとなり、候補領域のうち基点領域に連なるモザイク領域を道路領域として検出するので、道路である可能性が高い箇所と連続するモザイク領域を道路領域とすることとなる。従って、容易に精度良く道路領域を検出することができる。

なお、上記において、候補領域抽出機能は、特徴画素の存在位置から道路の候補となる候補領域を抽出していたが、特徴画素のうち、画像縦方向及び横方向の双方において熱データの局所的な変化があった特徴画素の画像中における存在位置から路面の候補となる候補領域を抽出するにすることが望ましい。画像縦方向及び横方向の双方において熱データの局所的な変化があったということは、物体の境界である可能性が高く、このような特徴画素から路面の候補となる候補領域を抽出することで、路面候補抽出の精度向上を図ることができるためである。

ここで、画像縦方向及び横方向の双方において熱データの局所的な変化がある特徴画素の一例を示す。図１０は、画像縦方向及び横方向の双方において熱データの局所的な変化がある特徴画素の例を示す説明図であり、（ａ）は第１の例を示し、（ｂ）は第２の例を示している。なお、図１０においては熱データの大きさをハッチングで示している。

まず、図１０（ａ）に示すように、特徴画素Ｃ１の画像横方向に隣接する画素Ｃ２は高い熱データを有している。また、特徴画素Ｃ１の画像縦方向に隣接する画素Ｃ３も画素Ｃ２ほどではないが高い熱データを有している。すなわち、特徴画素Ｃ１は、画像縦方向及び横方向の双方において熱データの局所的な変化があるといえる。また、図１０（ｂ）についても同様である。

なお、図１０（ａ）及び（ｂ）に示す場合、重み値については、４つの画素のうち熱データ最大と最小との差から設定するようにしてもよい。この場合、図１０（ａ）に示す例の方が、図１０（ｂ）に示す例よりも、重み値が大きくなる。

また、重み値は、対象となる画素と、その周辺画素とから算出される分散によって求められてもよい。さらに、重み値は、一番局所的な変化が大きい特徴画素について、１００点とし、２番目を９９点、３番目を９８点とするなどしてもよい。さらには、一番局所的な変化が大きい特徴画素について１００％とし、一番変化が大きい特徴画素に対して８５％の変化の特徴画素について重み値を８５点とするなど、種々の設定方法が可能である。

また、重み値を３段階に表現し、局所的な熱データの変化が大きいものは３点、熱データの変化が中程度のものは２点、熱データの変化が小さいものは１点などにしてもよい。

次に、本発明の第２実施形態を説明する。第２実施形態に係る道路領域検出装置２は、第１実施形態のものと同様であるが、処理内容の一部が第１実施形態のものと異なっている。

以下、第２実施形態に係る道路領域検出装置２について説明する。具体的に、第２実施形態に係る道路領域検出装置２は、第１実施形態と異なり、重み値の総数がノイズにより異常をきたした場合に候補領域の抽出が不正確になることを防止するために、ノイズによる異常を検知するようになっている。より詳細には、第２実施形態において候補領域抽出手段は、重み値の総数が所定値を超えたモザイク領域それぞれについて、ノイズにより重み値の総数が所定値を超えたか否かを判断し、ノイズにより重み値の総数が所定値を超えたと判断できる場合には、そのモザイク領域を道路の候補領域として抽出する。また、候補領域抽出手段は、重み値の総数が所定値以下のモザイク領域それぞれについて、ノイズにより重み値の総数が所定値以下となったか否かを判断し、ノイズにより重み値の総数が所定値以下となったと判断できる場合には、そのモザイク領域を道路の候補領域として抽出しないこととする。以下、図を参照して詳細に説明する。

図１１は、第２実施形態に係る道路領域検出装置２の動作を示すフローチャートである。なお、図１１に示すステップＳＴ２０〜ＳＴ２５については、図９に示したステップＳＴ１０〜ＳＴ１５と同様であるため、説明を省略する。

道路の候補領域を抽出した後（ＳＴ２５の後）、候補領域抽出機能は、ノイズ判断開始決定を行う（ＳＴ２６）。そして、候補領域抽出機能は、ノイズと判断されたモザイク領域を抽出し（ＳＴ２７）、候補領域の補完又は排除を行う（ＳＴ２８）。その後、図９に示したステップＳＴ１６及びＳＴ１７と同様に、ステップＳＴ２９及びＳＴ３０の処理が実行され、処理は終了する。

図１２は、図１１に示したステップＳＴ２６〜ＳＴ２８の詳細動作の第１の例を示す説明図であり、（ａ）はステップＳＴ２６の詳細を示し、（ｂ）はステップＳＴ２７の詳細を示し、（ｃ）はステップＳＴ２８の詳細を示している。

まず、候補領域抽出機能は、ステップＳＴ２６において、候補領域の抽出結果が図１２（ａ）の様に路面領域中央部が凹んで出力される場合、凹み部と隣接する列の高さの差Ｌ１を観察し、このＬ１が所定の閾値以上であるか否かを判断する。判断の結果、高さの差Ｌ１が所定の閾値以上である場合、候補領域抽出機能は、ノイズ判断の開始を決定し、ステップＳＴ２７及びＳＴ２８の処理を実行する。他方、高さの差Ｌ１が所定の閾値以上でない場合、候補領域抽出機能は、ステップＳＴ２７及びＳＴ２８の処理を実行せず、処理はステップＳＴ２９に至る。

候補領域抽出機能は、ステップＳＴ２７において、重み値の総数が所定値を超えたモザイク領域のうち、左右に隣接するモザイク領域の重み値の総数が双方とも所定値以下であるものについては、ノイズにより重み値の総数が所定値を超えたと判断する。すなわち、図１２（ｂ）に示すように、凹み部内のモザイク領域Ｈ７〜Ｈ１２については、重み値の総数が所定値を超えているが、左右に隣接するモザイク領域の重み値の総数が双方とも所定値以下である。このため、候補領域抽出機能は、モザイク領域Ｈ７〜Ｈ１２について、ノイズにより重み値の総数が所定値を超えたと判断する。

ここで、左右のモザイク領域が道路の候補領域であるにも関わらず、中央部のモザイク領域が候補領域でないということは、実際の道路の形状からして考えにくい。このような場合、路面にマンホールやゴミなどが存在し、１箇所だけ温度帯が周囲と異なることとなり、路面であるにもかかわらず特徴画素が多く抽出されて、路面候補から除外されてしまった可能性が高い。

よって、候補領域抽出機能は、重み値の総数が所定値を超えたモザイク領域のうち、左右に隣接するモザイク領域の重み値の総数が双方とも所定値以下であるものについては、ノイズにより重み値の総数が所定値を超えたと判断する。

次いで、候補領域抽出機能は、ステップＳＴ２８において、ノイズにより重み値の総数が所定値を超えたと判断したモザイク領域Ｈ７〜Ｈ１２を道路の候補領域として抽出し、図１２（ｃ）に示すように補完する。このように、左右に隣接するモザイク領域との関係から、路面の候補領域であるか否かを判断することとなり、一層の路面候補抽出の精度向上を図ることができる。

次に、図１１に示したステップＳＴ２６〜ＳＴ２８の詳細動作の第２の例を説明する。図１３は、図１１に示したステップＳＴ２６〜ＳＴ２８の詳細動作の第２の例を示す説明図であり、（ａ）はステップＳＴ２６の詳細を示し、（ｂ）はステップＳＴ２７の詳細を示し、（ｃ）はステップＳＴ２８の詳細を示している。

まず、候補領域抽出機能は、ステップＳＴ２６において、候補領域の抽出結果が図１３（ａ）の様に路面領域中央部が突出している場合、突出部Ｍ１と隣接する列の高さの差Ｌ２を観察し、このＬ２が所定の閾値以上であるか否かを判断する。判断の結果、高さの差Ｌ２が所定の閾値以上である場合、候補領域抽出機能は、ノイズ判断の開始を決定し、ステップＳＴ２７及びＳＴ２８の処理を実行する。他方、高さの差Ｌ２が所定の閾値以上でない場合、候補領域抽出機能は、ステップＳＴ２７及びＳＴ２８の処理を実行せず、処理はステップＳＴ２９に至る。

候補領域抽出機能は、ステップＳＴ２７において、重み値の総数が所定値以下のモザイク領域のうち、左右に隣接するモザイク領域の重み値の総数が双方とも所定値を超えるものについては、ノイズにより重み値の総数が所定値以下となったと判断する。すなわち、図１３（ｂ）に示すように、突出部Ｍ１を形成するモザイク領域については、重み値の総数が所定値以下であるが、左右に隣接するモザイク領域Ｍ２，Ｍ３の重み値の総数が双方とも所定値を超える。このため、候補領域抽出機能は、突出部Ｍ１を形成するモザイク領域について、ノイズにより重み値の総数が所定値以下となったと判断する。

ここで、左右のモザイク領域Ｍ２，Ｍ３が道路の候補領域でないにも関わらず、中央部のモザイク領域Ｍ１が異常に突出して候補領域を形成しているということは、実際の道路の形状からして考えにくい。すなわち、道路の形状からすると中央部のモザイク領域Ｍ１が或る程度の突出していることは考えられるが、高さの差Ｌ２が閾値を超えて異常に突出していることは、実際の道路の形状からして考えにくい。

このような場合、画像取得時にピントがずれていた画像部分がぼやけてしまい、例えば縁石部分などが存在するにもかかわらず特徴画素が抽出されず、路面候補として抽出されてしまった可能性などが考えられる。

よって、候補領域抽出機能は、重み値の総数が所定値以下のモザイク領域Ｍ１のうち、左右に隣接するモザイク領域Ｍ２，Ｍ３の重み値の総数が双方とも所定値を超えるものについては、ノイズにより重み値の総数以下となったと判断する。

次いで、候補領域抽出機能は、ステップＳＴ２８において、ノイズにより重み値の総数が所定値以下となった突出部Ｍ１のモザイク領域を道路の候補領域として抽出せず、図１３（ｃ）に示すように削除する。このように、左右に隣接するモザイク領域Ｍ２，Ｍ３との関係から、路面の候補領域であるか否かを判断することとなり、一層の路面候補抽出の精度向上を図ることができる。

図１４は、図１１に示したステップＳＴ２６〜ＳＴ２８の詳細動作の第３の例を示す説明図であり、（ａ）はステップＳＴ２６の詳細を示し、（ｂ）はステップＳＴ２７の詳細を示し、（ｃ）はステップＳＴ２８の詳細を示している。

まず、候補領域抽出機能は、ステップＳＴ２６において、候補領域の抽出結果が図１４（ａ）の様に画像左右端にて突出している場合、画像左右端のモザイク領域Ｎ１のうち最も画像上側に存在するモザイク領域と、画像左右端以外で一番画像上側のモザイク領域Ｎ２とを比較して、画像左右端のモザイク領域Ｎ１が画像左右端以外のモザイク領域Ｎ２よりも画像上側に存在するか判断する。判断の結果、画像左右端のモザイク領域Ｎ１が画像上側に存在する場合、候補領域抽出機能は、ノイズ判断の開始を決定し、ステップＳＴ２７及びＳＴ２８の処理を実行する。他方、画像左右端のモザイク領域Ｎ１が画像上側に存在しない場合、候補領域抽出機能は、ステップＳＴ２７及びＳＴ２８の処理を実行せず、処理はステップＳＴ２９に至る。

候補領域抽出機能は、ステップＳＴ２７において、図１４（ａ）に示すように、重み値の総数が所定値以下となった画像左右端のモザイク領域Ｎ１のうち、画像左右端以外のモザイク領域のなかで重み値の総数が所定値以下で最も画像上側に存在するモザイク領域Ｎ２よりも、画像上側に存在するモザイク領域Ｎ３については、ノイズにより重み値の総数が所定値以下となったと判断する。

ここで、車両前方又は後方に関して画像を取得した場合、直線道路に関して言えば、路面部分は、画像左右端よりも画像中央部の方が、画像上側まで存在することとなる。また、カーブ道路に関しては、路面部分は画像中央部からやや左右にずれるものの、画像左右端において路面部分が最も画像上側まで存在することは殆どない。このため、画像左右端のモザイク領域が突出しているということは、ノイズの影響を受けたと言える。よって、候補領域抽出機能は、このようなモザイク領域Ｎ３について、ノイズにより重み値の総数が所定値以下となったと判断し、そのモザイク領域Ｎ３を道路の候補領域として抽出しないこととする。これにより、一層の路面候補抽出の精度向上を図ることができる。

次いで、候補領域抽出機能は、ステップＳＴ２８において、ノイズにより重み値の総数が所定値以下となった突出するモザイク領域Ｎ３を道路の候補領域として抽出せず、図１４（ｂ）に示すように削除する。このように、道路の形状からすると、画像左右端のモザイク領域が突出し得ないという現実から、路面の候補領域であるか否かを判断することとなり、一層の路面候補抽出の精度向上を図ることができる。

また、候補領域抽出機能は、ステップＳＴ２７及びＳＴ２８において以下のような処理も行う。すなわち、候補領域抽出機能は、ステップＳＴ２７において、ノイズにより重み値の総数が所定値以下となったと判断されたモザイク領域Ｎ３を除く他の画像左右端のモザイク領域Ｎ４についてもノイズの可能性を判断する。具体的に、候補領域抽出機能は、モザイク領域Ｎ４のうち最も画像上側に存在するモザイク領域と、この最も画像上側に存在するモザイク領域と隣接する列のモザイク領域うち重み値の総数が所定値以下となったモザイク領域のなかで最も画像上側に存在するモザイク領域との画像縦方向の差Ｌ３を求める。そして、候補領域抽出機能は、この差Ｌ３が、所定のモザイク領域の数以上である場合には、他の画像左右端のモザイク領域Ｎ４のうち、隣接する列のモザイク領域のなかで最も画像上側に存在するモザイク領域より上側に存在するモザイク領域Ｎ５を道路の候補領域として抽出しないこととする。

ここで、車両前方又は後方に関して画像を取得した場合、例えば、路面は画像左右端において画像上側まで存在し隣の列で画像下側までしか存在しないということは考えにくい。特に画像左右端と隣の列との画像縦方向の差が大きければ、一層考えにくいといえる。よって、候補領域抽出機能は、上記の如く処理し、不的確なモザイク領域Ｎ５を抽出しないこととする。これにより、一層の路面候補抽出の精度向上を図ることができる。

次いで、候補領域抽出機能は、ステップＳＴ２８において、モザイク領域Ｎ５を道路の候補領域として抽出せず、図１４（ｃ）に示すように削除する。このように、道路の形状からして不適と判断できるモザイク領域を削除することとなり、一層の路面候補抽出の精度向上を図ることができる。

このようにして、第２実施形態に係る道路領域検出装置２によれば、第１実施形態と同様に、温度環境の変化に対するロバスト性を確保でき、走路検出に適し、計算量の増大を抑制することができる。また、処理負荷の軽減を図り、誤りが少なく精度の高い候補領域の抽出を行うことができる。また、容易に精度良く道路領域を検出することができる。さらに、路面候補抽出の精度向上を図ることができる。

さらに、第２実施形態によれば、ノイズにより重み値の総数が所定値を超えたか否か、又は所定値以下となったか否かを判断することで、一層の路面候補抽出の精度向上を図ることができる。

特に、路面にマンホールやゴミなどが存在する場合、１箇所だけ温度帯が周囲と異なることとなり、路面であるにもかかわらず特徴画素が多く抽出されて、路面候補から除外されてしまう。ところが、第２実施形態では、重み値の総数が所定値を超えたモザイク領域のうち、左右に隣接するモザイク領域の重み値の総数が双方とも所定値以下であるモザイク領域Ｈ７〜Ｈ１２については、ノイズにより重み値の総数が所定値を超えたと判断し、そのモザイク領域Ｈ７〜Ｈ１２を道路の候補領域として抽出することとしている。このため、左右に隣接するモザイク領域との関係から、路面の候補領域であるか否かを判断することとなり、一層の路面候補抽出の精度向上を図ることができる。

また、画像取得時にピントがずれていた画像部分に関してはぼやけてしまい、例えば縁石部分であるにもかかわらず特徴画素が抽出されず、路面候補として抽出されてしまう。ところが、第２実施形態では、重み値の総数が所定値以下のモザイク領域のうち、左右に隣接するモザイク領域Ｍ２，Ｍ３の重み値の総数が双方とも所定値を超えるモザイク領域Ｍ１については、ノイズにより重み値の総数以下となったと判断し、そのモザイク領域Ｍ１を道路の候補領域として抽出しないこととしている。このため、左右に隣接するモザイク領域Ｍ２，Ｍ３との関係から、路面の候補領域であるか否かを判断することとなり、一層の路面候補抽出の精度向上を図ることができる。

また、車両前方又は後方に関して画像を取得した場合、直線道路に関して言えば、路面部分は、画像左右端よりも画像中央部の方が、画像上側まで存在することとなる。また、カーブ道路に関しては、路面部分は画像中央部からやや左右にずれるものの、画像左右端において路面部分が最も画像上側まで存在することは殆どない。このため、重み値の総数が所定値以下となった画像左右端のモザイク領域Ｎ１のうち、画像左右端以外のモザイク領域のなかで重み値の総数が所定値以下で最も画像上側のモザイク領域Ｎ２よりも、画像上側に存在するモザイク領域Ｎ３については、ノイズにより重み値の総数が所定値以下となったと判断し、そのモザイク領域Ｎ３を道路の候補領域として抽出しないこととする。これにより、一層の路面候補抽出の精度向上を図ることができる。

また、車両前方又は後方に関して画像を取得した場合、例えば、路面は画像左右端において画像上側まで存在し隣の列で画像下側までしか存在しないということは考えにくい。特に画像左右端と隣の列との画像縦方向の差が大きければ、一層考えにくいといえる。そこで、ノイズにより重み値の総数が所定値以下となったと判断されたモザイク領域Ｎ３を除く他の画像左右端のモザイク領域Ｎ４のうち最も画像上側に存在するモザイク領域と、この最も画像上側に存在するモザイク領域と隣接する列のモザイク領域うち重み値の総数が所定値以下となったモザイク領域のなかで最も画像上側に存在するモザイク領域との画像縦方向の差Ｌ３を求める。そして、この差Ｌ３が所定のモザイク領域の数以上である場合には、画像左右端のモザイク領域Ｎ４のうち、隣接する列のモザイク領域のなかで最も画像上側に存在するモザイク領域より上側に存在するモザイク領域Ｎ５を道路の候補領域として抽出しないこととしている。これにより、不的確と言えるモザイク領域を除外して、一層の路面候補抽出の精度向上を図ることができる。

次に、本発明の第３実施形態について説明する。第３実施形態に係る道路領域検出装置３は、第２実施形態のものと同様であるが、処理内容の一部が第２実施形態のものと異なっている。

以下、第３実施形態に係る道路領域検出装置３の動作について説明する。図１５は、第３実施形態に係る道路領域検出装置３の動作を示すフローチャートである。なお、図１５に示すステップＳＴ４０〜ＳＴ４４については、図９に示したステップＳＴ１０〜ＳＴ１４と同様であるため、説明を省略する。

特徴画素について重み値を設定した後（ＳＴ４４の後）、候補領域抽出機能は、過去の熱画像（例えば過去１０回分の熱画像）それぞれの特徴画素に設定された重み値をすべて加算する（ＳＴ４５）。次いで、候補領域抽出機能は、各モザイク領域について重み値の総数が所定値以下となったモザイク領域を、道路の候補領域として抽出する（ＳＴ４６）。

そして、候補領域抽出機能及び道路領域検出部３４は、図１１に示したステップＳＴ２６〜ＳＴ２９と同様にして、ステップＳＴ４７〜ＳＴ５０の処理を実行し、道路領域を検出する。

次いで、道路領域検出部３４は、道路領域の積算を行う（ＳＴ５１）。この積算は、過去に得られた道路領域を積算して、平均や再頻を採用する処理である。そして、道路領域検出部３４は、平均や再頻を採用した後、道路端を検出する（ＳＴ５２）。その後、処理はステップＳＴ４０に戻り、装置電源がオフされるまで処理が繰り返されることとなる。

図１６は、図１５に示したステップＳＴ５１及びＳＴ５２の処理の詳細を示す説明図である。例えば、図１６に示すように、上述した点Ｉ１をプロットし、これを線で結んだ結果、線Ｊ１が５回得られ、線Ｊ３が５回得られたとする。この場合、道路領域検出部３４は、例えば、これらの平均を採用し、線Ｊ２を道路端として検出する。

また、線Ｊ１が７回得られ、線Ｊ３が５回得られたとする。この場合、道路領域検出部３４は、例えば、これらの再頻を採用し、線Ｊ１を道路端として検出するようにしてもよい。

ここで、平均を採用した場合の道路端の例を示す。図１７は、道路端の例を示す説明図であり、（ａ）は平均を採用しない場合の例を示し、（ｂ）は平均を採用した場合の例を示している。

図１７（ａ）に示すように、平均を採用しない場合、第１及び第２実施形態と同程度に詳細な道路端が得られる。ところが、平均を採用した場合、図１７（ｂ）に示すように、一層詳細に道路端を得られることとなる。これにより、さらに詳細な道路検出を行うことができる。

このようにして、第３実施形態に係る道路領域検出装置３によれば、第２実施形態と同様に、温度環境の変化に対するロバスト性を確保でき、走路検出に適し、計算量の増大を抑制することができる。また、処理負荷の軽減を図り、誤りが少なく精度の高い候補領域の抽出を行うことができる。また、容易に精度良く道路領域を検出することができる。さらに、路面候補抽出の精度向上を図ることができる。また、一層の路面候補抽出の精度向上を図ることができる。

さらに、第３実施形態によれば、複数の熱画像における道路領域から現時点での道路領域を検出している。すなわち、複数の道路領域の平均や再頻などを採用することにより、一層ノイズに強い道路領域の検出を行うことができる。特に平均を採用した場合には、一層詳細な道路領域の検出を行うことができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせてもよい。また、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

本発明の第１実施形態に係る道路領域検出装置の構成図である。カメラの設置の様子を示す説明図であり、（ａ）は車両横方向から見たときの設置状態を示し、（ｂ）は車両上方から見たとき設置状態を示している。カメラが取得する画像例を示す説明図である。特徴画素抽出部による特徴画素の抽出についての説明図であり、（ａ）は一部領域の例を示し、（ｂ）は一部領域について画像横方向に熱データの変化を表すグラフの一例を示し、（ｃ）は一部領域について画像横方向に熱データの変化を表すグラフの他の例を示している。特徴画素抽出部により抽出された特徴画素からなる画像の一例を示す説明図である。領域抽出部のモザイク領域作成機能によって作成された複数のモザイク領域を示す説明図である。道路の候補領域が抽出の結果の一例を示す説明図である。道路領域の様子の一例を示す説明図である。第１実施形態に係る道路領域検出装置の動作を示すフローチャートである。画像縦方向及び横方向の双方において熱データの局所的な変化がある特徴画素の例を示す説明図であり、（ａ）は第１の例を示し、（ｂ）は第２の例を示している。第２実施形態に係る道路領域検出装置の動作を示すフローチャートである。図１１に示したステップＳＴ２６〜ＳＴ２８の詳細動作の第１の例を示す説明図であり、（ａ）はステップＳＴ２６の詳細を示し、（ｂ）はステップＳＴ２７の詳細を示し、（ｃ）はステップＳＴ２８の詳細を示している。図１１に示したステップＳＴ２６〜ＳＴ２８の詳細動作の第２の例を示す説明図であり、（ａ）はステップＳＴ２６の詳細を示し、（ｂ）はステップＳＴ２７の詳細を示し、（ｃ）はステップＳＴ２８の詳細を示している。図１１に示したステップＳＴ２６〜ＳＴ２８の詳細動作の第３の例を示す説明図であり、（ａ）はステップＳＴ２６の詳細を示し、（ｂ）はステップＳＴ２７の詳細を示し、（ｃ）はステップＳＴ２８の詳細を示している。第３実施形態に係る道路領域検出装置の動作を示すフローチャートである。図１５に示したステップＳＴ５１及びＳＴ５２の処理の詳細を示す説明図である。道路端の例を示す説明図であり、（ａ）は平均を採用しない場合の例を示し、（ｂ）は平均を採用した場合の例を示している。

符号の説明

１〜３…道路領域検出装置
１０…カメラ（画像取得手段）
２０…記憶部
２１…画像メモリ
２２…メモリ部
３０…演算部
３１…熱データ取得部
３２…特徴画素抽出部（特徴画素抽出手段）
３３…領域抽出部（候補領域抽出手段、モザイク領域作成手段、重み値設定手段）
３４…道路領域検出部（道路領域検出手段）

Claims

車両周辺について熱データを有する熱画像を取得する画像取得手段と、
前記画像取得手段により取得された熱画像内に一部領域を規定し、規定した一部領域について熱データの局所的な変化を検出して、その局所的な変化があった画素を特徴画素として抽出すると共に、前記一部領域をずらしていきつつ特徴画素を抽出していくことで、当該熱画像全体について特徴画素を抽出する特徴画素抽出手段と、
前記特徴量画素抽出手段により抽出された熱画像全体の特徴画素の画像中における存在位置から路面の候補となる候補領域を抽出する候補領域抽出手段と、
前記候補領域抽出手段より抽出された候補領域の連続性から道路領域を検出する道路領域検出手段と、
を備えることを特徴とする道路領域検出装置。
前記候補領域抽出手段は、前記特徴画素抽出手段により抽出された特徴画素のうち、画像縦方向及び横方向の双方において熱データの局所的な変化があった特徴画素の画像中における存在位置から路面の候補となる候補領域を抽出することを特徴とする請求項１に記載の道路領域検出装置。
前記候補領域抽出手段は、
前記特徴画素抽出手段により前記特徴画素が抽出された後の画像を格子状に分割して、複数のモザイク領域を作成するモザイク領域作成手段と、
前記特徴画素抽出手段により抽出された特徴画素それぞれについて、局所的な変化が大きくなるに従って、その変化の大きさを表す重み値を大きく設定する重み値設定手段と、を有し、
前記モザイク画像作成手段により作成された複数のモザイク領域のそれぞれについて、前記重み値設定手段により設定された重み値の総数を求め、この総数が所定値以下となるモザイク領域を道路の候補領域として抽出し、
前記道路領域検出手段は、前記候補領域抽出手段により抽出された候補領域に基づいて、道路領域を検出する
ことを特徴とする請求項１又は請求項２のいずれかに記載の道路領域検出装置。
前記候補領域抽出手段は、前記重み値設定手段により設定された重み値の総数が所定値を超えたモザイク領域それぞれについて、ノイズにより重み値の総数が所定値を超えたか否かを判断し、ノイズにより重み値の総数が所定値を超えたと判断できる場合には、そのモザイク領域を道路の候補領域として抽出することを特徴とする請求項３に記載の道路領域検出装置。
前記候補領域抽出手段は、前記重み値設定手段により設定された重み値の総数が所定値を超えたモザイク領域のうち、左右に隣接するモザイク領域の重み値の総数が双方とも所定値以下であるものについては、ノイズにより重み値の総数が所定値を超えたと判断し、そのモザイク領域を道路の候補領域として抽出することを特徴とする請求項４に記載の道路領域検出装置。
前記候補領域抽出手段は、前記重み値設定手段により設定された重み値の総数が所定値以下のモザイク領域それぞれについて、ノイズにより重み値の総数が所定値以下となったか否かを判断し、ノイズにより重み値の総数が所定値以下となったと判断できる場合には、そのモザイク領域を道路の候補領域として抽出しないことを特徴とする請求項３に記載の道路領域検出装置。
前記候補領域抽出手段は、前記重み値設定手段により設定された重み値の総数が所定値以下となったモザイク領域のうち、左右に隣接するモザイク領域の重み値の総数が双方とも所定値を超えるものについては、ノイズにより重み値の総数が所定値以下となったと判断し、そのモザイク領域を道路の候補領域として抽出しないことを特徴とする請求項６に記載の道路領域検出装置。
画像取得手段は、車両前方又は後方について熱データを有する熱画像を取得し、
前記候補領域抽出手段は、前記重み値設定手段により設定された重み値の総数が所定値以下となった画像左右端のモザイク領域のうち、画像左右端以外のモザイク領域のなかで重み値の総数が所定値以下で最も画像上側のモザイク領域よりも、画像上側に存在するものについては、ノイズにより重み値の総数が所定値以下となったと判断し、そのモザイク領域を道路の候補領域として抽出しないことを特徴とする請求項６に記載の道路領域検出装置。
前記候補領域抽出手段は、ノイズにより重み値の総数が所定値以下となったと判断されたモザイク領域を除く他の画像左右端のモザイク領域のうち最も画像上側に存在するモザイク領域と、この最も画像上側に存在するモザイク領域と隣接する列のモザイク領域うち重み値の総数が所定値以下となったモザイク領域のなかで最も画像上側に存在するモザイク領域との画像縦方向の差が、所定のモザイク領域の数以上である場合には、前記他の画像左右端のモザイク領域のうち、隣接する列のモザイク領域のなかで最も画像上側に存在するモザイク領域より上側に存在するモザイク領域を道路の候補領域として抽出しないことを特徴とする請求項８に記載の道路領域検出装置。
前記道路領域検出手段は、自車両に近接したモザイク領域を基点領域とし、前記候補領域抽出手段により抽出された候補領域のうち、前記基点領域と連なる候補領域を前記道路領域として検出することを特徴とする請求項３〜請求項９のいずれか１項に記載の道路領域検出装置。
前記道路領域検出手段は、所定時間にわたり前記画像取得手段により取得された複数の熱画像それぞれについて道路領域を求め、これらそれぞれの道路領域に基づいて、現時点での道路領域を検出することを特徴とする請求項１〜請求項１０のいずれか１項に記載の道路領域検出装置。