JP2009177309A - 撮像手段の調整装置および車外監視装置 - Google Patents

Abstract

【課題】自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能な撮像手段の調整装置および車外監視装置を提供する。
【解決手段】撮像手段の調整装置１０は、自車両Ａがトンネル内を走行中であることを検出するトンネル内走行検出手段１２と、撮像手段２による撮像画像Ｔ上に設定された監視領域Ｒに属する画素の輝度に基づいて当該監視領域Ｒの明るさを検出する明るさ検出手段１３と、監視領域Ｒの明るさに基づいて撮像手段２の露光量と撮像手段２から出力される画素の輝度との少なくとも一方の調整を行う調整手段１４とを備え、調整手段１４は、トンネル内走行検出手段１２により自車両がトンネル内を走行中であることが検出されている間は、監視領域Ｒの明るさに代えて、監視領域Ｒに属する画素の輝度のうち所定の第１輝度ｐth１以上の輝度を除外した輝度分布に基づいて調整を行う。
【選択図】図１

Description

本発明は、撮像手段の調整装置および車外監視装置に係り、特に、自車両の周囲を撮像する撮像手段の露光量等を調整可能な撮像手段の調整装置およびそれを用いた車外監視装置に関する。

近年、乗用車等の車両の周囲に存在する物体をＣＣＤ（Charge Coupled Device）カメラ等の撮像手段で撮像した画像の画像解析等により検出する技術の開発が進められている（例えば特許文献１等参照）。これらの技術は、例えば検出した物体との衝突の可能性を判断し、警報を鳴らしてドライバの注意を喚起したり衝突を回避するように自動操舵や自動制動制御等を行う車両の安全走行のための技術等に応用される。

このような物体の検出では、先行車両や対向車両、道路上の歩行者や道路わきに停車している停車車両等の障害物等を的確に検出することが重要となる。また、検出した障害物等に対してはそれとの衝突を回避する衝突回避制御が行われるが、先行車両に対しては、先行車両が信号待ち等で停止した場合に障害物としてその横を通過するのではなく、先行車両の後方で自車両を適切に停車させなければならない。このように、先行車両に対しては他の障害物に対する場合とは異なる制御が要求されるため、先行車両の検出は特に的確に行われる必要がある。

撮像手段で撮像した画像中からこれらの物体、特に先行車両を的確に検出するには、カメラの露光調整等を適切に行って物体を検出し得る画像が撮像されなければならない。ＣＣＤカメラ等の撮像手段は、通常、このような適切な露光調整等を撮像画像全体の明るさに基づいて自動的に行う機能を有している。

しかし、先行車両がトンネルから退出する際などのように、撮像手段により撮像されている環境が明るいところと暗いところとが共に存在する環境である場合、すなわち、例えば自車両も先行車両もトンネル内にいるが、先行車両がトンネルの出口付近にいて、トンネル内部は暗くトンネルの外側は明るいような場合には、図２４に示すように先行車両Ｖahが見えにくくなる。なお、図２４の撮像画像Ｔでは、トンネル内部の側壁も白く光って撮像されている。

この状態では、通常、トンネルの外側の強い白い光のためにＣＣＤカメラ等の自動露光調整によりシャッタスピードを速くしたりアイリスを絞るなどされて、撮像手段の露光量を少なくし、撮像画像Ｔ全体の画素の輝度を低下させる調整が行われる。そのため、先行車両Ｖahの背面が黒く撮像されて、本来その背面に撮像されるべき窓ガラスやバンパやナンバープレート等の構造が見えなくなる。

そのため、例えばこのような撮像画像を用いてステレオマッチングを行ってもマッチングがうまく行われずに先行車両Ｖahの検出ができなくなったり、或いは、先行車両Ｖahの背面の左右端部分のみでマッチングが成立してそれ以外の部分では成立せず、図２５に示すように先行車両Ｖahの左右端部分がそれぞれ別の物体Ｓａ、Ｓｂとして検出されてしまい、先行車両Ｖahを見失ってしまう現象が生じたりする。

逆に、トンネル内の先行車両Ｖahの背面の窓ガラスやバンパやナンバープレート等の構造が見える程度にアイリスを開放させるなどして、撮像手段の露光量を少なくしたり撮像画像Ｔ全体の画素の輝度を上昇させる等の調整を強制的に行うと、今度は、図２６に示すように、先行車両Ｖahがトンネルの外に出た瞬間やトンネル出口付近の外光が差し込む部分に差し掛かった瞬間に、先行車両Ｖahが白く眩しく見えてしまう。なお、図２６では、トンネルの側壁や天井部分も白く光って撮像されている。

この場合、撮像画像Ｔ上の先行車両Ｖahの部分の輝度がほとんど飽和し、同じく輝度が飽和して撮像されるトンネル外側の空間との境界が不鮮明になり、先行車両Ｖahが見えにくくなり或いはほとんど見えなくなってしまうという問題があった。この場合も先行車両Ｖahを検出できなくなる。

このような課題を解決するため、特許文献２では、先行車両自体の明るさを監視し、それに基づいて撮像手段のアイリス調整を行うことが提案されている。また、特許文献３では、トンネルを検出した場合に車線（区画線等の白線）を検出できるように撮像手段の露光量を制御することが提案されている。
特開平７−２２５８９２号公報 特開平７−８１４５９号公報 特開平１１−２０５６６３号公報

しかしながら、特許文献２に記載の装置では、先行車両のみを監視しているため、先行車両以外の他の車両等が適切に検出できなくなる場合があり、また、先行車両自体の色によって撮像手段のアイリス調整の度合が変化する。すなわち、先行車両の色が白色系の色であればアイリスを絞るように調整されるため撮像画像全体が暗くなり、先行車両の色が濃色系であればアイリスを開放するように調整されるため撮像画像全体が明るくなるというように、先行車両自体の色によって撮像画像の明るさが変わってしまう。

この現象の発生を回避するためには、撮像手段のアイリス調整等を含む露光量の調整や撮像画像の画素の輝度調整は、基本的に先行車両を含む或いは含まないより広い画素範囲の輝度等に基づいて行われることが望ましい。

また、特許文献３に記載の装置では、トンネルに進入した後も車線を検出することが可能であるが、図２６に示したようなトンネル出口付近で先行車両の輝度がほとんど飽和して先行車両が検出できなくなる現象が生じることを回避することは難しい。

このように、撮像手段の自動露光調整に任せていると、図２４に示したようにトンネル出口付近のトンネル内の先行車両Ｖahが黒く暗く撮像されて検出されなくなる場合があるため、先行車両Ｖahを的確に検出するためには、強制的に撮像手段の露光量調整や撮像画像の輝度調整を行うことが必要となる。

しかし、単にアイリスを開放するだけでは、図２６に示したように、先行車両Ｖahがトンネル出口付近の外光が差し込む部分に差し掛かり、先行車両Ｖahの輝度がほとんど飽和した後も、自車両がトンネル内にいる限りアイリスが絞られた状態が維持されてしまうため、先行車両Ｖahを見失ってしまう。

本発明は、このような事情に鑑みてなされたものであり、自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能な撮像手段の調整装置およびそれを用いて先行車両等を的確に検出することが可能な車外監視装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、撮像手段の調整装置において、
自車両がトンネル内を走行中であることを検出するトンネル内走行検出手段と、
撮像手段により撮像された撮像画像上に設定された監視領域に属する画素の輝度に基づいて当該監視領域の明るさを検出する明るさ検出手段と、
前記監視領域の明るさに基づいて前記撮像手段の露光量と前記撮像手段から出力される画素の輝度との少なくとも一方の調整を行う調整手段と、を備え、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記監視領域に属する画素の輝度のうち所定の第１輝度以上の輝度を除外した輝度分布に基づいて前記調整を行うことを特徴とする。

第２の発明は、第１の発明の撮像手段の調整装置において、前記トンネル内走行検出手段は、前記撮像手段の露光量の調整の度合に基づいて、自車両がトンネル内を走行中であることを検出することを特徴とする。

第３の発明は、第１または第２の発明の撮像手段の調整装置において、
前記監視領域は、前記撮像画像上で道路面が撮像される下方監視領域と、前記撮像画像上で当該下方監視領域の上方に設定される上方監視領域とよりなり、
前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記上方監視領域について前記上方監視領域に属する画素の輝度のうち前記第１輝度以上の輝度を除外した輝度分布を求め、前記上方監視領域における当該輝度分布と前記下方監視領域における全輝度分布とをあわせた輝度分布に基づいて前記調整を行うことを特徴とする。

第４の発明は、第３の発明の撮像手段の調整装置において、前記明るさ検出手段は、前記上方監視領域および前記下方監視領域にそれぞれ属する各画素の輝度についてそれぞれ前記第１輝度以上の輝度を除外しない全輝度分布を検出することを特徴とする。

第５の発明は、第３または第４の発明の撮像手段の調整装置において、前記上方監視領域は、前記撮像画像上でトンネルの出口が撮像される画像部分に設定されることを特徴とする。

第６の発明は、第３から第５のいずれかの発明の撮像手段の調整装置において、前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に、前記上方監視領域に属する画素の輝度のうち所定の第２輝度以上の輝度を有する画素が所定個数以上存在する場合に、自車両がトンネルの出口付近を走行中であることを検出することを特徴とする。

第７の発明は、第６の発明の撮像手段の調整装置において、前記調整手段は、自車両がトンネルの出口付近を走行中であることを検出すると、データを更新する際に加算割合により重み付け加算して行う平滑化フィルタ処理における今回検出したデータの加算割合を低下させることを特徴とする。

第８の発明は、第１から第７のいずれかの発明の撮像手段の調整装置において、
前記撮像画像中から自車両の前方を走行する先行車両を検出する先行車両検出手段をさらに備え、
前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度に基づいて前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に行う前記調整を解除し、前記監視領域の明るさに基づく前記調整を行うことを特徴とする。

第９の発明は、第８の発明の撮像手段の調整装置において、前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度の平均値が所定の閾値以上になった場合に、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間であっても、その間に行う前記調整を解除することを特徴とする。

第１０の発明は、車外監視装置において、
自車両の周囲を撮像する撮像手段と、
第１から第９のいずれかの発明の撮像手段の調整装置と、を備え、
前記撮像手段の調整装置により前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方の調整が行われる前記撮像手段により撮像された画像中から物体を検出して車外を監視することを特徴とする。

第１の発明によれば、自車両がトンネル内を走行中であることを的確に把握したうえで、自車両がトンネル内を走行している状態でトンネルの出口に接近した場合に、トンネルの外側の外光が撮像されて撮像画像上に生じる高輝度の輝度分布を除外した輝度分布を形成し、それに基づいて、すなわち外光による高輝度の画素をいわば無視して、トンネル内部が撮像されている低輝度の画素にあわせて撮像手段の露光量や撮像手段から出力される画素の輝度を強制的に調整する。

そのため、トンネル内の暗さにあわせて撮像手段の露光量を多くし或いは撮像手段から出力される画素の輝度を大きくするように調整されるため、自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能となる。また、それにより、トンネルの出口付近にいる先行車両の輝度が高くなり、その前方に強い外光が存在しても先行車両の背面の窓ガラスやバンパやナンバープレート等の構造が見えるようになるため、撮像手段により撮像された画像に対するステレオマッチング処理を有効に行うことが可能となり、先行車両を的確に検出することが可能となる。

第２の発明によれば、図２４や図２６に示したトンネル出口付近における先行車両の不検出の問題は、トンネルの外側での日差しが強い場合に特に生じ易いため、撮像手段の露光量の現在の調整の度合に基づいて、自車両が例えば通常の走行状態であるか、強い日差しの下で走行中か、トンネル内を走行中であるかを的確に検出し、自車両が強い日差しの下で走行中の状態からトンネル内に入ったことを的確に検出した上で上記の本発明に特有の調整を作動させたり解除させたりすることが可能となり、前記発明の効果がより的確に発揮される。

第３および第５の発明によれば、前述したように、本発明では、トンネルの外側の外光が撮像されて撮像画像上に生じる高輝度の輝度分布を除外した輝度分布を形成し、外光による高輝度の画素をいわば無視して、トンネル内部が撮像されている低輝度の画素にあわせて撮像手段の露光量や撮像手段から出力される画素の輝度を強制的に調整する。その際、撮像画像上の監視領域を、道路面が撮像される下方監視領域とトンネルの出口が撮像される上方監視領域とに分け、上方監視領域に属する各画素の輝度分布から輝度分布を除外した輝度分布を形成することで、トンネルの出口から差し込む外光を的確に除外することが可能となり、前記各発明の効果がより的確に発揮される。

第４の発明によれば、明るさ検出手段で上方監視領域および下方監視領域についてそれぞれ第１輝度以上の輝度を除外しない各輝度分布を検出するように構成することで、調整手段が上方監視領域の輝度分布から第１輝度以上の輝度を容易に除外することが可能となるとともに、上記の本発明に特有の調整を解除した場合に容易に第１輝度以上の輝度を除外しない監視領域の全画素に対する全輝度分布に基づいて調整を行うことが可能となり、前記各発明の効果がより的確に発揮される。

第６および第７の発明によれば、前記各発明によりトンネル退出時前後の先行車両を的確に検出できるようになるが、トンネル外側の外光の影響を完全に遮断することは難しく、例えば検出された先行車両の自車両との距離の情報は信頼性が必ずしも高いとは言えない。そのため、前記各発明の効果に加え、自車両がトンネルの出口付近を走行中であることを検出し、その間に得られたデータに基づいて平滑化フィルタ処理によりデータの平滑化を行う際に、今回検出したデータの加算割合を低下させることで、データの信頼性を低下させずに維持することが可能となる。

第８の発明によれば、先行車両がトンネルを退出した瞬間に先行車両の検出領域に属する各画素の輝度の平均値が一挙に大きくなって所定の閾値を越えた場合には、先行車両の検出領域に属する各画素の輝度に基づいて上記の本発明に特有の調整を解除して監視領域全体の明るさに基づく通常の調整に戻す。それにより、それまでトンネル内の暗さにあわせて撮像手段の露光量を多くし或いは撮像手段から出力される画素の輝度を大きくするように調整されていたが、今度は、トンネル外側の外光もすべて踏まえて調整が行われるため、撮像手段の露光量を少なくし或いは撮像手段から出力される画素の輝度を小さくするように調整される。

そのため、先行車両の検出領域の輝度が下がり、白く眩しく撮像されていた先行車両の背面の窓ガラスやバンパやナンバープレート等の構造も見えるようになる。このように、前記発明の効果に加え、先行車両のトンネル退出時に先行車両の輝度が瞬間的に大きくなる場合にも先行車両の輝度を的確に低下させることが可能となるため、ステレオマッチング処理を有効に行うことが可能となり、トンネルを退出した先行車両を的確に検出することが可能となる。

第９の発明によれば、先行車両の検出領域に属する画素の輝度の平均値が所定の閾値以上になった場合に前記の本発明に特有の調整を解除することで、本発明に特有の調整を解除する基準が明確になり、前記各発明の効果がより的確に発揮される。

第１０の発明によれば、上記の各発明の撮像手段の調整装置により自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整が行われるため、例えばトンネルの出口付近にいる先行車両の輝度を高くし、その前方に強い外光が存在しても先行車両の背面の窓ガラスやバンパやナンバープレート等の構造が見えるように調整されるため、撮像手段により撮像された画像に対するステレオマッチング処理を有効に行うことが可能となり、撮像画像中から的確に物体を検出して自車両の車外を的確に監視することが可能となる。

以下、本発明に係る撮像手段の調整装置および車外監視装置の実施の形態について、図面を参照して説明する。

なお、本実施形態では、撮像手段２として２台のカメラを用いてステレオ撮像を行う形態が示されるが、撮像手段を例えば単数のカメラや３台以上のカメラ等で構成することも可能である。また、本実施形態における後述する先行車両検出手段１１は、撮像された画像中から先行車両を検出できるものであればよく、本実施形態の構成に限定されない。

本実施形態に係る車外監視装置１は、図１に示すように、主に、撮像手段２や変換手段３、画像処理手段６等で構成される位置情報収集手段９と、撮像手段２の調整装置である処理手段１０とで構成されている。

位置情報収集手段９は、自車両の周囲を撮像する撮像手段２を含み、自車両の周囲の物体を撮像するとともに、自車両からそれらの物体までの距離を含む物体の実空間上の位置の情報を収集するようになっている。本実施形態では、位置情報収集手段９は、本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。

位置情報収集手段９は、図１に示すように、車幅方向に一定の距離をあけて配置された一対のメインカメラ２ａおよびサブカメラ２ｂからなる撮像手段２で自車両の周囲を撮像して得られた一対の撮像画像を変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでそれぞれデジタル画像に変換し、画像補正部４でずれやノイズの除去、輝度値の補正等の画像補正を行って、画像データメモリ５に格納するとともに、処理手段１０に送信するようになっている。

本実施形態では、メインカメラ２ａおよびサブカメラ２ｂとして２台のＣＣＤカメラが備えられており、ＣＣＤカメラに通常備えられる機能として、自車両の周囲の明るさを自ら判断して適切な露光を得るための露光調整を自動的に行うように構成されている。ここで、本実施形態における露光調整には、少なくともシャッタ時間調整やアンプゲイン切り替え、ＬＵＴ（Look Up Table）の選択やそれによる輝度値変換などが含まれ、それらが総合的に調整されるようになっている。

なお、本実施形態で用いられるＣＣＤカメラはアイリスを備えないためアイリス絞り調整については述べないが、撮像手段２がアイリス等の露光調整を行うための他の機能を備える場合には、それらも含めて総合的に最適な露光を得るための自動的な露光調整が行われる。

また、撮像手段２の自動的な露光調整のレベル、または後述するように調整手段１４から指示に基づいていわば強制的に調整が行われた場合にはそれによる露光調整のレベルが、撮像手段２の露光量の調整の度合を表すシャッタレベルＳＬとして、後述する処理手段１０に送信されるようになっている。

一方、画像補正が行われた一対の撮像画像は、画像処理手段６に送られて、イメージプロセッサ７で、メインカメラ２ａで撮像した図２に例示される撮像画像（以下、基準画像Ｔという。）が複数の画素ブロックに分割され、各画素ブロックについてそれぞれサブカメラ２ｂで撮像した撮像画像の対応する画素ブロックがステレオマッチング処理により見出され、各画素ブロックごとに視差が算出される。この視差の算出については、前記各公報に詳述されている。

この視差と実空間上の位置とは三角測量の原理に基づいて対応付けることができ、具体的には、視差をｄｐ、画素ブロックの基準画像Ｔ上の座標を（ｉ，ｊ）とし、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、実空間上の点（Ｘ，Ｙ，Ｚ）と、視差ｄｐと画素ブロックの基準画像Ｔ上の座標（ｉ，ｊ）との関係は、
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）
で表すことができる。

ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点のｉ座標およびｊ座標、ＤＰは消失点視差とも呼ばれるオフセット量を表す。

画像処理手段６は、基準画像Ｔの各画素ブロックに視差ｄｐを割り当てて距離データメモリ８に格納するとともに、それらの視差ｄｐの情報を処理手段１０に送信するようになっている。なお、以下、基準画像の各画素ブロックに視差ｄｐが割り当てられて形成された画像を距離画像Ｔｚという。距離画像Ｔｚは、図３に示すように各画素ブロックに視差ｄｐが割り当てられた画像状のデータである。

なお、本実施形態の他にも、自車両と先行車両との距離Ｚの測定については、例えば自車両前方にレーザ光や赤外線等を照射してその反射光の情報に基づいて物体までの距離Ｚを測定するレーダ装置等で構成することも可能であり、物体の位置情報の収集の手法は特定の手法に限定されない。

処理手段１０（図１参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されて構成されるコンピュータに構成されている。また、処理手段１０には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。

処理手段１０は、本実施形態における撮像手段２の調整装置であり、トンネル内走行検出手段１２と、明るさ検出手段１３と、調整手段１４とを備えており、さらに図示しないメモリを備えている。また、本実施形態では、処理手段１０は、先行車両検出手段１１を備えている。さらに、処理手段１０の各手段には、センサ類Ｑから必要なデータが入力されるようになっている。

まず、先行車両検出手段１１について説明する。先行車両検出手段１１は、撮像手段２により撮像された基準画像Ｔ中から物体を検出するようになっており、検出した物体の中から先行車両を検出するようになっている。このように、本実施形態では、先行車両検出手段１１は基準画像Ｔ中から自車両の周囲に存在する物体を検出する物体検出手段をも兼ねており、先行車両検出手段１１が検出した先行車両や物体の情報は、車外監視装置１から出力されて、他の装置で利用されるようになっている。

本実施形態では、先行車両検出手段１１における基準画像Ｔ中からの物体検出処理は、前記各公報に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。

先行車両検出手段１１は、物体検出処理において、図３に示した距離画像Ｔｚを図示しない所定幅の縦方向の短冊状の区分に分割し、各区分ごとに各区分に含まれる視差ｄｐのうち道路面より上方に存在する視差ｄｐに関するヒストグラムをそれぞれ設けて、その最頻値をその区分の視差ｄｐとする。これを全区分についてそれぞれ行う。このように、本実施形態では、道路面より上方に存在する物体のみが検出されるが、車線等の道路面の標示を同時に検出し、あるいは別途検出するように構成することも可能である。

そして、先行車両検出手段１１は、各区分の視差ｄｐに基づいて前記（１）〜（３）式から物体の実空間上の座標（Ｘ，Ｙ，Ｚ）を算出するようになっている。算出された物体の座標を実空間上にプロットすると、各物体の座標は図４に示すように前方の物体の自車両Ａに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。

先行車両検出手段１１は、このようにプロットされる各点について、実空間上の各点の隣接する点とのＸ軸方向の距離やＺ軸方向の距離、グループ化した場合の左端の点から右端の点までのＸ軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図５に示すようにそれぞれのグループ内の各点を直線近似して物体を検出するようになっている。

また、本実施形態では、先行車両検出手段１１は、このようにして検出した各物体を図６に示すように基準画像Ｔ上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図５や図６において、ラベルＯやラベルＳは物体の自車両Ａに対向する面の種別を表し、ラベルＯは物体の背面、ラベルＳは物体の側面が検出されていることを表す。

続いて、先行車両検出手段１１は、先行車両検出においては、まず、図７に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。自車両Ａの走行軌跡Ｌestは、自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記（４）式または下記（５）、（６）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（４）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（５）
Ｃua＝１／Ｒｅ …（６）

そして、先行車両検出手段１１は、自車両Ａの進行路Ｒest上に存在する物体の中で自車両Ａに最も近接する物体を自車両Ａの前方を走行する先行車両として検出するようになっている。例えば図６や図７では、車両Ｏ３が先行車両Ｖahとして検出される。

なお、本実施形態では、先行車両検出手段１１は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、先行車両検出手段１１は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。

トンネル内走行検出手段１２（図１参照）は、自車両がトンネル内を走行中であることを検出するようになっている。本実施形態では、トンネル内走行検出手段１２は、まず、撮像手段２から送信されてくる撮像手段２の露光量の調整の度合を表すシャッタレベルＳＬの値を監視し、撮像手段２のシャッタレベルＳＬの値等に基づいて、自車両がどのような環境の下で走行しているかを判定するようになっている。

具体的には、本実施形態では、トンネル内走行検出手段１２は、自車両の走行状態を、図８に示すような「通常状態」、「強い日差し状態」および「トンネル内走行状態」の３つの状態のいずれかの状態として把握するようになっている。そして、自車両の走行状態が通常の走行状態にある場合には「通常状態」にあるとしてフラグＦを０にセットする。

また、自車両の走行状態が「通常状態」（Ｆ＝０）にある状態で、シャッタレベルＳＬが所定の閾値以上の高い状態が所定時間以上連続した場合には、トンネル内走行検出手段１２は、自車両の走行状態を、強い日差しの中を走行している状態である「強い日差し状態」に遷移させてフラグＦを１にセットする（図８の矢印Ｉ参照）。この状態で、シャッタレベルＳＬが前記閾値を下回る状態が続いた場合には、自車両の走行状態は「強い日差し状態」（Ｆ＝１）から「通常状態」（Ｆ＝０）に遷移されてフラグＦが切り換えられる（図８の矢印ＩＩ参照）。

また、自車両の走行状態が「強い日差し状態」（Ｆ＝１）にある状態で、シャッタレベルＳＬが前記閾値よりも低い値に設定された別の閾値以下の状態、すなわち強い日差しの中を走行していた状態から急に暗い環境の中を走行する状態になった場合には、トンネル内走行検出手段１２は、自車両がトンネル内に進入したと判定して、自車両の走行状態を「トンネル内走行状態」に遷移させてフラグＦを２にセットする（図８の矢印ＩＩＩ参照）。この状態で、シャッタレベルＳＬが先の高い値の方の閾値以上の状態が続いた場合には、トンネル内走行検出手段１２は、自車両がトンネルから退出したと判定して、自車両の走行状態を「トンネル内走行状態」（Ｆ＝２）から「強い日差し状態」（Ｆ＝１）に遷移させてフラグＦを切り換える（図８の矢印ＩＶ参照）。

なお、「トンネル内走行状態」（Ｆ＝２）が異常に長い時間連続する場合には、トンネル内走行検出手段１２は、自車両がトンネル内を走行しているわけではないと判定して、自車両の走行状態を「通常状態」（Ｆ＝０）に遷移させてフラグＦを切り換えるようになっている（図８の矢印Ｖ参照）。また、自車両の走行状態は「通常状態」（Ｆ＝０）から「トンネル内走行状態」（Ｆ＝２）には遷移しないようになっている。

本実施形態では、トンネル内走行検出手段１２は、上記のように、撮像手段２から送信されてくるシャッタレベルＳＬの値等に応じて、自車両の走行状態を「強い日差し状態」（Ｆ＝１）から「トンネル内走行状態」に遷移させて（図８の矢印ＩＩＩ参照）、フラグＦを２にセットすることで、自車両がトンネル内を走行中であることを検出するようになっている。

このように、本実施形態では、自車両の走行状態は一旦「強い日差し状態」（Ｆ＝１）になった後でないと「トンネル内走行状態」（Ｆ＝２）に遷移しない。例えば自車両の走行状態が「通常状態」（Ｆ＝０）にある状態でトンネル内に進入してもトンネル内を走行中であるとは認識しない。このように構成するのは、図２４や図２６に示したようにトンネル外側の強い外光により先行車両の背面が黒く撮像されたり先行車両がトンネルを退出した瞬間に白く見えて輝度がほとんど飽和してしまうという問題は、トンネルの外側での日差しが強い場合に生じるという本願発明者らの知見に基づく。

本願発明者らの知見によれば、トンネルの外側の日差しが弱かったり曇天や雨天である場合のようにトンネル外側が比較的暗い場合には、図２４や図２６に示したような問題はほとんど発生しない。そのため、自車両がトンネル内を走行している場合でも、後述するような撮像手段２に対する本願発明に特有の調整を行う必要はなく、通常の露光調整で先行車両を十分に検出することができる。従って、本発明に特有の調整を作動させるために必要な、自車両がトンネル内を走行中であるか否かの判定は、トンネルの外側での日差しが強い場合にのみ行えば十分であることが分かっている。

明るさ検出手段１３（図１参照）は、基準画像Ｔ上に設定した監視領域に属する画素の輝度に基づいて当該監視領域の明るさを検出するようになっている。この明るさ検出は、常時行われるようになっている。

本実施形態では、この監視領域Ｒとして、図９に示すように、基準画像Ｔ上の上方と下方にそれぞれ上方監視領域Ｒ１と下方監視領域Ｒ２が設定されるようになっている。また、上方監視領域Ｒ１は、自車両がトンネル内を走行しトンネルの出口付近に達した際に基準画像Ｔ上にトンネルの出口が撮像される画像部分に設定され、下方監視領域Ｒ２は、その下方の、基準画像Ｔ上に主に道路面が撮像される画像部分に設定されるようになっている。

また、明るさ検出手段１３は、ヒストグラムＨ２を作成し、図１０に例示するように、下方監視領域Ｒ２に属する各画素の輝度について輝度分布を求めるようになっている。また、上方監視領域Ｒ１についても同様に、図示を省略するヒストグラムを作成して上方監視領域Ｒ１に属する各画素の輝度について輝度分布を求めるようになっている。

明るさ検出手段１３は、このようにして求めた下方監視領域Ｒ２と上方監視領域Ｒ１にそれぞれ属する各画素の輝度分布を各階級ごとに合算して、図１１に例示するような全監視領域Ｒについての輝度分布を求めるようになっており、本実施形態では、全監視領域Ｒに属する各画素の輝度の平均値を、この監視領域Ｒの明るさとして算出するようになっている。なお、図１０や図１１では、ヒストグラムの階級数が１０の場合を示したが、階級数や階級幅は適宜決められる。

調整手段１４（図１参照）は、トンネル内走行検出手段１２により自車両がトンネル内を走行中であることが検出されていない場合、すなわち自車両の走行状態が「通常状態」（Ｆ＝０）であるか或いは「強い日差し状態」（Ｆ＝１）である場合には、明るさ検出手段１３が検出した監視領域Ｒ全体の明るさに基づいて、撮像手段２の露光量と撮像手段２から出力される画素の輝度との少なくとも一方（以下、撮像手段２の露光量等という。）を調整する信号を撮像手段２に出力して調整するようになっている。なお、撮像手段２の露光量と撮像手段２から出力される画素の輝度のいずれを調整するか、或いはそれらを両方とも調整するかは、実際に用いられる撮像手段２の構成等に基づいて適宜決定される。

一方、調整手段１４は、トンネル内走行検出手段１２により自車両がトンネル内を走行中であることが検出されている間、すなわち自車両の走行状態が「トンネル内走行状態」（Ｆ＝２）である間は、上記とは異なり、本発明に特有の調整を行うように構成されている。すなわち、この場合、調整手段１４は、上記のように監視領域Ｒ全体の明るさに基づいて調整を行う代わりに、監視領域Ｒに属する画素の輝度のうち所定の第１輝度ｐth１以上の輝度を除外した輝度分布に基づいて撮像手段２の露光量等を調整する信号を撮像手段２に出力して調整するようになっている。

具体的には、本実施形態では、調整手段１４は、この場合、上方監視領域Ｒ１については、明るさ検出手段１３が求めた上方監視領域Ｒ１に属する各画素の輝度についての輝度分布のうち、所定の第１輝度ｐth１以上の輝度を除外した輝度分布を求める。また、下方監視領域Ｒ２については明るさ検出手段１３が求めた下方監視領域Ｒ２の輝度分布を用いる。そして、それらをあわせた輝度分布から算出した輝度の平均値に基づいて前記調整を行うようになっている。

例えば、仮に、自車両がトンネル内を走行中に撮像された基準画像Ｔの下方監視領域Ｒ２と上方監視領域Ｒ１の輝度分布をあわせた輝度分布が図１１に示したような輝度分布であったとすると、調整手段１４は、上方監視領域Ｒ１の輝度分布の中から第１輝度ｐth１以上の輝度を除外した輝度分布を求め、それを下方監視領域Ｒ２の輝度分布とあわせて図１２に示す輝度分布を得る。そして、この輝度分布から輝度の平均値を算出し、それに基づいて撮像手段２の前記調整を行うようになっている。

また、本実施形態では、調整手段１４は、先行車両検出手段１１が基準画像Ｔ上に検出した先行車両を包囲する枠線（例えば図６では先行車両Ｏ３（Ｖah）を包囲する枠線）を先行車両Ｖahの検出領域として、その検出領域に属する各画素の輝度に基づいて上記の本発明に特有の調整を解除するようになっている。

調整手段１４は、本発明に特有の調整を解除した後は、自車両がトンネル内を走行中であっても、すなわち自車両の走行状態が「トンネル内走行状態」（Ｆ＝２）であっても、「通常状態」（Ｆ＝０）や「強い日差し状態」（Ｆ＝１）である場合と同様に、明るさ検出手段１３が検出した監視領域Ｒ全体の明るさに基づいて撮像手段２に対する調整を行うようになっている。

上記のように、本発明に特有の調整の解除条件は、先行車両Ｖahの検出領域に属する各画素の輝度、すなわち簡単に言えば先行車両Ｖahの明るさに基づいて決定されるようになっている。具体的には、本実施形態では、調整手段１４は、先行車両Ｖahの検出領域に属する各画素の輝度の平均値が所定の閾値以上になった場合に、前記調整を解除するようになっている。

次に、本実施形態に係る撮像手段の調整装置である処理手段１０および車外監視装置１の作用について説明する。

処理手段１０の先行車両検出手段１１（図１参照）は、常時、すなわちトンネル内走行検出手段１２が自車両の走行状態を図８に示した「通常状態」（Ｆ＝０）、「強い日差し状態」（Ｆ＝１）および「トンネル内走行状態」（Ｆ＝２）のいずれかの状態にあると判定している場合においても、自車両の周囲の物体検出および先行車両検出を継続して行う。

また、明るさ検出手段１３（図１参照）も、常時、上方監視領域Ｒ１と下方監視領域Ｒ２にそれぞれ属する画素の輝度について、各々ヒストグラムを作成して、それぞれ各輝度分布を求める作業を継続して行う。また、明るさ検出手段１３は、上方監視領域Ｒ１の輝度分布と下方監視領域Ｒ２の輝度分布とをあわせた監視領域Ｒ全体の輝度分布（図１１参照）から輝度の平均値を算出し、監視領域Ｒの明るさとして出力する。監視領域Ｒの明るさの算出、出力は、調整手段１４が本発明に特有の調整を開始しそれを解除するまでの間は行わないように構成することも可能である。

一方、トンネル内走行検出手段１２が自車両の走行状態を「通常状態」または「強い日差し状態」にあると判定している間、すなわち前述したフラグＦが０か１である間は、調整手段１４（図１参照）は、明るさ検出手段１３が検出した監視領域Ｒの明るさに基づいて撮像手段２の露光量等を調整する信号を撮像手段２に出力して調整する。

また、調整手段１４は、フラグＦが２であればトンネル内走行検出手段１２により自車両がトンネル内を走行中であることが検出されていると判断して、本発明に特有の調整を行うようにモードを切り換える。

自車両がトンネル内を走行していて、まだトンネルの出口から遠い場所を走行している場合には、通常、トンネルの内部は暗いため、基準画像Ｔにおいて主に道路面が撮像される画像部分に設定される下方監視領域Ｒ２に属する各画素の輝度分布は、図１３のヒストグラムＨ２に示すように、一般的に、低輝度の階級で度数が大きくなるような分布となる。

また、基準画像Ｔにおいて、トンネルの出口が撮像される画像部分に設定される上方監視領域Ｒ１には、まだこの段階ではトンネルの出口は撮像されておらず、或いは撮像されていてもごく小さくしか撮像されていない。そのため、上方監視領域Ｒ１には、主にトンネルの天井部分や照明等が撮像されるが、トンネルの内部ではそれらもそれほど明るくないため、上方監視領域Ｒ１に属する各画素の輝度分布は、図１４のヒストグラムＨ１に示すように、一般的に、低輝度の階級や中間の階級で度数が大きくなるような分布となる。

しかし、前述したように、自車両がトンネル内を走行中でありフラグＦが２の場合には、上方監視領域Ｒ１については図１４に示した輝度分布のうち第１輝度ｐth１以上の輝度を除外した輝度分布とされ、それと下方監視領域Ｒ２の輝度分布とがあわせられて、図１５に示す輝度分布が得られる。

そして、調整手段１４は、図１５のヒストグラムＨに示す輝度分布から輝度の平均値を算出し、算出した輝度の平均値に基づいて撮像手段２の露光量等を調整する信号を撮像手段２に出力して調整する。

図１３〜図１５に示した例では、上方監視領域Ｒ１に属する各画素の輝度のうち第１輝度ｐth１以上の輝度がそもそも少ないため、それらの輝度を除いた輝度で平均値を求めても監視領域Ｒ全体で平均値を求めた場合とさほど変わらない。そして、調整手段１４は、撮像手段２の露光量を多くし或いは撮像手段２から出力される画素の輝度を大きくするように調整するため、先行車両検出手段１１は、自車両の周囲の物体検出や先行車両検出を的確に行うことができる。

一方、自車両がトンネル内を走行していて、先行車両Ｖahがトンネルの出口付近に差し掛かると、撮像手段２の露光量や撮像手段２から出力される画素の輝度に対する通常の調整を行うと図２４に示したような基準画像Ｔが撮像される。

この状況で、図１６に示すように基準画像Ｔに設定された下方監視領域Ｒ２に属する各画素の輝度分布は、図１７のヒストグラムＨ２に示すように低輝度の階級で度数が大きくなり、高輝度の階級でも多少度数が大きくなるような分布となる。低輝度の階級は主に道路面の輝度に対応し、高輝度の階級は道路面やトンネルの壁面等に差し込んだ外光等の輝度に対応している。

それに対し、図１６に示すように基準画像Ｔに設定された上方監視領域Ｒ１に属する各画素の輝度分布は、図１８のヒストグラムＨ１に示すように、高輝度の階級に度数が集中し、低輝度の階級でも多少度数が大きくなるような分布となる。高輝度の階級はトンネル外側の外光の輝度やトンネルの壁面等に差し込んだ外光等に対応し、低輝度の階級の輝度は先行車両等の輝度に対応している。

図１７に示す下方監視領域Ｒ２に属する各画素の輝度分布と、図１８に示す上方監視領域Ｒ１に属する各画素の輝度分布を単純に足し合わせると、図１９のヒストグラムＨ^＊に示すように、高輝度の階級と低輝度の階級にそれぞれピークを有する輝度分布となり、輝度の平均値（すなわち監視領域Ｒの明るさ）は２つのピークの略中間の輝度となる。そして、この状態では、前述した従来例に示したように、先行車両Ｖahが黒く撮像されて、その背面に撮像されるべき窓ガラスやバンパやナンバープレート等の構造が見えなくなり、先行車両Ｖahを的確に検出できない現象が生じる場合がある。

しかし、本実施形態のように、上方監視領域Ｒ１について図１８のヒストグラムＨ１に示した輝度分布のうち第１輝度ｐth１以上の輝度を除外した輝度分布とし、それと下方監視領域Ｒ２の輝度分布とをあわせると、図２０のヒストグラムＨに示す輝度分布が得られる。

この場合、輝度分布は、上方監視領域Ｒ１の第１輝度ｐth１以上の高輝度の分布が除外されるため、低輝度の階級に大きなピークを有する輝度分布となり、調整手段１４は、輝度の平均値として図１９のヒストグラムＨ^＊の場合よりも大きく低輝度側にずれた値を算出する。そのため、調整手段１４は、撮像手段２の露光量を多くし或いは撮像手段２から出力される画素の輝度を大きくするように、撮像手段２の露光量等を調整する信号を撮像手段２に出力して調整する。

その結果、図２１に示すように、トンネルの外側の空間の輝度はほぼ飽和状態となり何も見えなくなるが、トンネル内部や先行車両Ｖahの輝度が高くなり、先行車両Ｖahの背面の窓ガラスやバンパやナンバープレート等の構造が見えるようになる。そのため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段１１はトンネルの出口付近でも先行車両Ｖahを的確に検出することが可能となる。

また、図１６や図２１では、図示を省略したが、調整手段１４は、図２２に示すように、先行車両検出手段１１が基準画像Ｔ上に検出した先行車両を包囲する枠線を先行車両Ｖahの検出領域Ｒｄとして常時設定している。そして、先行車両Ｖahの検出領域Ｒｄに属する各画素の輝度の平均値が所定の閾値以上になったか否かを常時判断している。

図２２に示した状態では、先行車両Ｖahの検出領域Ｒｄに属する各画素の輝度の平均値は所定の閾値未満であるが、図２６に示したように、先行車両Ｖahがトンネルを退出した瞬間に先行車両Ｖahの検出領域Ｒｄに属する各画素の輝度の平均値が一挙に大きくなり、所定の閾値を越える。

この段階で、調整手段１４は、上方監視領域Ｒ１の輝度分布から第１輝度ｐth１以上の輝度を除外した輝度分布と下方監視領域Ｒ２の輝度分布とをあわせた輝度分布（図２０等参照）に基づく前記本発明に特有の調整を解除して、明るさ検出手段１３が上方監視領域Ｒ１および下方監視領域Ｒ２の全輝度分布から検出した監視領域Ｒ全体の明るさに基づく通常の調整に戻る。

その際、上方監視領域Ｒ１と下方監視領域Ｒ２の輝度分布とをあわせた輝度分布の平均値は、図２０のヒストグラムＨに示したように大きく低輝度側にずれた状態から図１９のヒストグラムＨ^＊に示したように高輝度の階級と低輝度の階級に各ピークの略中間の輝度になる。そして、調整手段１４は、撮像手段２の露光量を多くし或いは撮像手段２から出力される画素の輝度を大きくするように指示するために出力していた信号を、撮像手段２の露光量をより少なくし或いは撮像手段２から出力される画素の輝度をより小さくするように指示する信号に切り換えて出力して調整する。

そのため、先行車両Ｖahがトンネルを退出した瞬間には、図２６に示したように先行車両Ｖahは白く眩しく撮像されてしまい、先行車両Ｖahが検出できなくなる場合があるが、次のサンプリング周期では、図２３に示すように、トンネルの内部の輝度が下がり暗くなるが、先行車両Ｖahも白く眩しく見えた状態から輝度が下がり、先行車両Ｖahの背面の窓ガラスやバンパやナンバープレート等の構造も見えるようになる。そのため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段１１はトンネルを退出した先行車両Ｖahを的確に検出することが可能となる。

また、撮像手段２の調整装置である処理手段１０の上記の強制的な調整により、撮像手段２の露光量等が適切に調整されるため、車外監視装置１は、トンネル内を走行中或いはトンネルを退出した後の先行車両Ｖah等の物体を基準画像Ｔ中から的確に検出して車外を監視することが可能となる。

以上のように、本実施形態に係る撮像手段の調整装置１０（処理手段１０）によれば、自車両がトンネル内を走行中であることを的確に把握したうえで、自車両がトンネル内を走行している状態でトンネルの出口に接近した場合に、トンネルの外側の外光が撮像されて撮像画像（基準画像Ｔ）上に生じる高輝度の輝度分布を除外した輝度分布を形成し、それに基づいて、すなわち外光による高輝度の画素をいわば無視して、トンネル内部が撮像されている低輝度の画素にあわせて撮像手段２の露光量や撮像手段２から出力される画素の輝度を強制的に調整する。

そのため、トンネル内の暗さにあわせて撮像手段２の露光量を多くし或いは撮像手段２から出力される画素の輝度を大きくするように調整されるため、自車両や先行車両がトンネル内を走行中もトンネル退出後も撮像手段に対して適切に強制的な露光量等の調整を行うことが可能となる。また、それにより、トンネルの出口付近にいる先行車両Ｖahの輝度が高くなり、その前方に強い外光が存在しても先行車両Ｖahの背面の窓ガラスやバンパやナンバープレート等の構造が見えるようになるため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段１１が先行車両Ｖahを的確に検出することが可能となる。

また、先行車両Ｖahがトンネルを退出した瞬間に先行車両Ｖahの検出領域Ｒｄに属する各画素の輝度の平均値が一挙に大きくなって所定の閾値を越えた場合には、先行車両Ｖahの検出領域Ｒｄに属する各画素の輝度に基づいて上記の本発明に特有の調整を解除して監視領域Ｒ全体の明るさに基づく通常の調整に戻す。

それにより、それまでトンネル内の暗さにあわせて撮像手段２の露光量を多くし或いは撮像手段２から出力される画素の輝度を大きくするように調整されていたが、今度は、トンネル外側の外光もすべて踏まえて調整が行われるため、撮像手段２の露光量を少なくし或いは撮像手段２から出力される画素の輝度を小さくするように調整される。

そのため、先行車両Ｖahの検出領域Ｒｄの輝度が下がり、白く眩しく撮像されていた先行車両Ｖahの背面の窓ガラスやバンパやナンバープレート等の構造も見えるようになる。このように、先行車両Ｖahのトンネル退出時に先行車両Ｖahの輝度が瞬間的に大きくなる場合にも、先行車両Ｖahの輝度を的確に低下させることができる。そのため、ステレオマッチング処理を有効に行うことが可能となり、先行車両検出手段１１はトンネルを退出した先行車両Ｖahを的確に検出することが可能となる。

また、本実施形態に係る車外監視装置１によれば、上記のような撮像手段の調整装置１０（処理手段１０）を備えているため、撮像手段の調整装置１０により自車両や先行車両Ｖahがトンネル内を走行中もトンネル退出後も撮像手段２に対して適切に強制的な露光量等の調整が行われる。そのため、例えばトンネルの出口付近にいる先行車両Ｖahの輝度を高くし、その前方に強い外光が存在しても先行車両Ｖahの背面の窓ガラスやバンパやナンバープレート等の構造が見えるように調整される。

そのため、撮像手段２により撮像された基準画像Ｔ等に対するステレオマッチング処理を有効に行うことが可能となり、基準画像Ｔ中から的確に物体を検出して自車両の車外を的確に監視することが可能となる。

なお、本実施形態では、撮像画像（基準画像Ｔ）上に監視領域Ｒを設定して、それに属する各画素の輝度を調べて輝度分布を求めている。これを上記のような撮像手段２の露光量等の調整に活用するだけでなく、この他にも、例えば、撮像画像中に検出された物体や先行車両Ｖahの自車両に対する相対速度の平滑化フィルタ処理等に活用することができる。

本実施形態の撮像手段の調整装置１０（処理手段１０）や車外監視装置１では、自車両を先行車両Ｖahに追従させる制御（先行車両追従制御）に資するため、処理手段１０の先行車両検出手段１１では、先行車両Ｖahを検出すると、その視差ｄｐから前記（３）式に従って算出される自車両と先行車両Ｖahとの距離Ｚ等をサンプリング周期ごとに更新して、自車両に対する先行車両Ｖahの位置を常時監視するようになっている。

その際、検出される距離Ｚ等のデータがサンプリング周期ごとにばらつく、いわゆる暴れが生じる場合があるため、本実施形態では、各サンプリング周期ごとに算出されるデータ自体で以前のデータを更新するのではなく、例えば距離Ｚについては下記（７）式に従って加算割合により重み付け加算する平滑化フィルタ処理により距離Ｚを算出してデータを更新するようになっている。
Ｚ＝（１−Ｐ）×Ｚold＋Ｐ×Ｚnew …（７）

ここで、Ｚnewは今回のサンプリング周期で検出された距離Ｚ、Ｚoldは前回のサンプリング周期で上記（７）式により算出された距離Ｚすなわち（７）式左辺のＺ、Ｐは加算割合を表す。

しかし、上記のように、本実施形態に係る撮像手段の調整装置１０（処理手段１０）や車外監視装置１ではトンネル退出時前後の先行車両Ｖahを的確に検出できるとはいえ、トンネル外側の外光の影響を完全に遮断することは難しく、例えば検出された先行車両Ｖahの自車両との距離Ｚの情報は信頼性が必ずしも高いとは言えない。

そのため、本実施形態では、調整手段１４は、トンネル内走行検出手段１２により自車両がトンネル内を走行中であることが検出されている間に、上方監視領域Ｒ１に属する各画素の輝度について明るさ検出手段１３が作成したヒストグラムＨ１の輝度分布において、所定の第２輝度ｐth２以上の輝度を有する画素が所定個数以上存在する場合に、撮像画像（基準画像Ｔ）中にトンネルの出口が撮像されていると判断して、自車両がトンネルの出口付近を走行中であることを検出するように構成されている。

そして、自車両がトンネルの出口付近を走行中であることを検出すると、調整手段１４は、上記の先行車両Ｖahの自車両との距離Ｚの情報等のデータを更新する際の平滑化フィルタ処理における今回検出したデータの加算割合、すなわち上記の距離Ｚの例では加算割合Ｐを低下させるようになっている。

このように構成することで、自車両や先行車両Ｖahがトンネルの出口付近を走行中であることを的確に検出することが可能となるとともに、信頼性が必ずしも高くないデータの加算割合（重み）を低下させて平滑化フィルタ処理を行うことで、データの信頼性を低下させずに維持することが可能となる。

なお、所定の第２輝度ｐth２は、上記の第１輝度ｐth１と同じ値に設定してもよく、また、異なる値に設定することも可能である。

本実施形態に係る撮像手段の調整装置を含む車外監視装置の構成を示すブロック図である。 基準画像の一例を示す図である。 図２の基準画像等に基づいて形成された距離画像を示す図である。 区分ごとの距離を実空間上にプロットした各点を表す図である。 図４の各点に基づいて実空間上に検出された物体を表す図である。 基準画像上に枠線で包囲されて検出された各物体および先行車両を表す図である。 実空間上の自車両の走行軌跡、進行路および先行車両を表す図である。 自車両の走行状態を表す３つの状態、フラグの値および遷移のしかたを表す図である。 基準画像上に設定される監視領域、上方監視領域および下方監視領域を表す図である。 下方監視領域の輝度分布の例を表すヒストグラムである。 上方監視領域と下方監視領域の各輝度分布を合算して求められる全監視領域についての輝度分布の例を表すヒストグラムである。 図１１のヒストグラムにおいて上方監視領域の輝度分布の中から第１輝度以上の輝度を除外した輝度分布と下方監視領域の輝度分布とを合算して求められる輝度分布を表すヒストグラムである。 トンネル内走行中における下方監視領域の輝度分布の例を表すヒストグラムである。 トンネル内走行中における上方監視領域の輝度分布の例を表すヒストグラムである。 図１３の下方監視領域の輝度分布と図１４の上方監視領域の輝度分布の中から第１輝度以上の輝度を除外した輝度分布とを合算して得られる輝度分布を表すヒストグラムである。 トンネルの出口付近に差し掛かった先行車両が撮像された基準画像上に設定された上方監視領域および下方監視領域を表す図である。 図１６の下方監視領域の輝度分布の例を表すヒストグラムである。 図１６の上方監視領域の輝度分布の例を表すヒストグラムである。 図１７の下方監視領域の輝度分布と図１８の上方監視領域の輝度分布とを合算して得られる輝度分布を表すヒストグラムである。 図１７の下方監視領域の輝度分布と図１８の上方監視領域の輝度分布の中から第１輝度以上の輝度を除外した輝度分布とを合算して得られる輝度分布を表すヒストグラムである。 図１６の状態で本発明に特有の調整を作動させて得られる基準画像を表す図である。 図２１の基準画像上に設定される先行車両の検出領域を表す図である。 トンネルを退出した後に検出された先行車両と先行車両の検出領域とを表す図である。 トンネル退出時に外光によって基準画像上に黒く撮像された先行車両を表す図である。 図２４の基準画像上で先行車両の左右端部分が別の２つの物体として検出された状態を説明する図である。 トンネル退出直後に外光によって基準画像上に白く眩しく撮像された先行車両を表す図である。

符号の説明

１ 車外監視装置
２ 撮像手段
１０ 撮像手段の調整装置（処理手段）
１１ 先行車両検出手段
１２ トンネル内走行検出手段
１３ 明るさ検出手段
１４ 調整手段
Ａ 自車両
Ｐ 加算割合
ｐth１ 第１輝度
ｐth２ 第２輝度
Ｒ 監視領域
Ｒ１ 上方監視領域
Ｒ２ 下方監視領域
Ｒｄ 検出領域
Ｔ 撮像画像（基準画像）
Ｖah 先行車両

Claims (10)

1. 自車両がトンネル内を走行中であることを検出するトンネル内走行検出手段と、
   撮像手段により撮像された撮像画像上に設定された監視領域に属する画素の輝度に基づいて当該監視領域の明るさを検出する明るさ検出手段と、
   前記監視領域の明るさに基づいて前記撮像手段の露光量と前記撮像手段から出力される画素の輝度との少なくとも一方の調整を行う調整手段と、を備え、
   前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記監視領域に属する画素の輝度のうち所定の第１輝度以上の輝度を除外した輝度分布に基づいて前記調整を行うことを特徴とする撮像手段の調整装置。
2. 前記トンネル内走行検出手段は、前記撮像手段の露光量の調整の度合に基づいて、自車両がトンネル内を走行中であることを検出することを特徴とする請求項１に記載の撮像手段の調整装置。
3. 前記監視領域は、前記撮像画像上で道路面が撮像される下方監視領域と、前記撮像画像上で当該下方監視領域の上方に設定される上方監視領域とよりなり、
   前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間は、前記監視領域の明るさに代えて、前記上方監視領域について前記上方監視領域に属する画素の輝度のうち前記第１輝度以上の輝度を除外した輝度分布を求め、前記上方監視領域における当該輝度分布と前記下方監視領域における全輝度分布とをあわせた輝度分布に基づいて前記調整を行うことを特徴とする請求項１または請求項２に記載の撮像手段の調整装置。
4. 前記明るさ検出手段は、前記上方監視領域および前記下方監視領域にそれぞれ属する各画素の輝度についてそれぞれ前記第１輝度以上の輝度を除外しない全輝度分布を検出することを特徴とする請求項３に記載の撮像手段の調整装置。
5. 前記上方監視領域は、前記撮像画像上でトンネルの出口が撮像される画像部分に設定されることを特徴とする請求項３または請求項４に記載の撮像手段の調整装置。
6. 前記調整手段は、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に、前記上方監視領域に属する画素の輝度のうち所定の第２輝度以上の輝度を有する画素が所定個数以上存在する場合に、自車両がトンネルの出口付近を走行中であることを検出することを特徴とする請求項３から請求項５のいずれか一項に記載の撮像手段の調整装置。
7. 前記調整手段は、自車両がトンネルの出口付近を走行中であることを検出すると、データを更新する際に加算割合により重み付け加算して行う平滑化フィルタ処理における今回検出したデータの加算割合を低下させることを特徴とする請求項６に記載の撮像手段の調整装置。
8. 前記撮像画像中から自車両の前方を走行する先行車両を検出する先行車両検出手段をさらに備え、
   前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度に基づいて前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間に行う前記調整を解除し、前記監視領域の明るさに基づく前記調整を行うことを特徴とする請求項１から請求項７のいずれか一項に記載の撮像手段の調整装置。
9. 前記調整手段は、検出された前記先行車両が撮像されている前記撮像画像中の検出領域に属する画素の輝度の平均値が所定の閾値以上になった場合に、前記トンネル内走行検出手段により自車両がトンネル内を走行中であることが検出されている間であっても、その間に行う前記調整を解除することを特徴とする請求項８に記載の撮像手段の調整装置。
10. 自車両の周囲を撮像する撮像手段と、
    請求項１から請求項９のいずれか一項に記載の撮像手段の調整装置と、を備え、
    前記撮像手段の調整装置により前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方の調整が行われる前記撮像手段により撮像された画像中から物体を検出して車外を監視することを特徴とする車外監視装置。

Images