JP2008148051A - 車載用撮像装置 - Google Patents

Abstract

【課題】 撮像手段で撮像された画像中に明るい領域がある場合に、対向車両のライトと、物体に反射した光を区別することができ、対向車両のヘッドライトを精度よく検出することができる車載用撮像装置を提供する。
【解決手段】画像処理ＥＣＵ１は、撮像撮像２から出力された画像から、ワイパーの先端部の軌跡と交差する高輝度斜線像を検出する。高輝度斜線像を検出したら、検出した高輝度斜線像に基づいて、対向車両のヘッドライトなどの光源を検出する。光源を検出したら、撮像装置２で撮像した画像を表示するにあたり、画像中における光源の輝度を抑制する画像処理を行う。
【選択図】 図１

Description

本発明は、車両の周囲を撮像する車載用撮像装置に関するものである。

従来、車両の夜間走行の際、車両の前方を含む周囲を撮像し、車両の周辺における対向車両、歩行者、走行道路周囲の看板等を検出する撮像装置が知られている。このような撮像装置においては、撮像されているものの認識が重要となる。

特に、車両の周囲における対向車両を検出するものとして、特開平６−２７６５２４号公報（特許文献１）に開示された対向車両認識装置がある。この対向車両認識装置は、車両前方を撮像手段によって撮像し、画像中における１対の明るい領域を対向車両のライト候補領域として抽出し、候補領域よりも下側に明るい領域があるときに、対向車両のライトとして認識するというものである。
特開平６−２７６５２４号公報

しかしながら、上記特許文献１に開示された対向車両認識装置では、撮像手段で撮像された画像中に明るい領域がある場合、候補領域よりも下側に明るい領域があるときに、対向車両のライトとして認識している。このため、たとえば車両のライトによって照射させた看板などに反射した光がある場合、この光の位置や大きさなどによっては対向車両のヘッドライトとして認識してしまう可能性があるという問題があった。

そこで、本発明の課題は、撮像手段で撮像された画像中に明るい領域がある場合に、対向車両のライトと、物体に反射した光を区別することができ、対向車両のヘッドライトを精度よく検出することができる車載用撮像装置を提供することにある。

上記課題を解決した本発明に係る車載用撮像装置は、車室内に設けられ、フロントガラス越しに車両の前方を撮像する撮像手段と、車両におけるフロントガラスに設けられるワイパーの先端部の軌跡を検出するワイパー先端軌跡検出手段と、ワイパーの先端部の軌跡と交差して延在し、輝度が対向車両のヘッドライトによると想定される所定の輝度しきい値より大きく、かつ最大長が対向車両のヘッドライトによると想定される所定の最大長しきい値よりも長い高輝度斜線像を検出する高輝度斜線像検出手段と、高輝度斜線像に基づいて、撮像手段で撮像された光源を検出する光源検出手段と、を備えるものである。

車両がワイパーを作動させながら夜間の雨天時に走行する場合、対向車両のヘッドライトをフロントガラス越しに撮像すると、ワイパーが通過した後、ワイパーの先端部の軌跡上に高輝度斜線像が撮像される。この高輝度斜線像は、撮像対象がヘッドライトのような発光体（光源）を撮像した場合に現れ、看板などに反射した反射光を撮像した場合には現れないものである。本発明に係る車載用撮像装置では、この点に着目し、高輝度斜線像に基づいて、撮像手段で撮像された光源を検出する。このため、撮像手段で撮像された画像中に明るい領域がある場合に、対向車両のライトと、物体に反射した光を区別することができ、対向車両のヘッドライトを精度よく検出することができる。

ここで、撮像手段で撮像された画像におけるワイパーの先端部の軌跡が予め設定されている態様とすることができる。

ワイパーの先端部の軌跡を検出する際、たとえば撮像手段の画像を画像処理することができる。しかし、ワイパーの先端部の軌跡は、その性質上、ワイパーのサイズ等によって予め認識できるものである。このため、ワイパーの先端部の軌跡が予め設定されていることにより、画像処理負担を軽減することができる。

また、撮像手段で撮像された画像を表示する表示手段と、表示手段に表示する画像における光源の輝度を抑制する輝度抑制手段と、をさらに備える態様とすることができる。

夜間走行中には、ドライバの安全確認のために、撮像手段で撮像した車両の周囲状況の画像を表示手段に表示している。このとき、対向車両のヘッドライトについては、輝度が高すぎて画像中では見難くなるが、表示手段に表示される画像における光源の輝度を抑制することにより、対向車両およびその周囲の歩行者や看板等についても見やすくすることができる。

さらに、高輝度斜線像の大きさに基づいて、光源の大きさを推定し、撮像手段で撮像された画像における光源の位置を、光源の大きさとして推定された大きさの範囲で輝度を抑制する態様とすることができる。

このように、光源の大きさとして推定された大きさの範囲で輝度を抑制することにより、対向車両のヘッドライト部分のみの輝度を精度よく抑制することができる。

本発明に係る車載用撮像装置によれば、撮像手段で撮像された画像中に明るい領域がある場合に、対向車両のライトと、物体に反射した光を区別することができ、対向車両のヘッドライトを精度よく検出することができる。

以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。

図１は、本発明の実施形態に係る車載用撮像装置の構成を示すブロック構成図である。図１に示すように、本実施形態に係る車載用撮像装置は、画像処理ＥＣＵ１を備えている。画像処理ＥＣＵ１は、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および入出力インターフェイスなどを備えて構成されている。画像処理ＥＣＵ１は、高輝度斜線像検出部１１、光源演算部１２、および画像処理部１３を備えている。また、画像処理ＥＣＵ１には、撮像手段である撮像装置２および表示手段であるモニタ３が接続されている。

撮像装置２は、たとえば車両のインナーバックミラーの内部に設けられ、図２に示すように、フロントガラスＦ越しに車両の前方を撮像する。フロントガラスＦは、可視光や赤外光などの撮像成分を透過可能とされている。撮像装置２は、撮像した画像を画像処理ＥＣＵ１における高輝度斜線像検出部１１および画像処理部１３に出力する。

また、車両におけるフロントガラスにはワイパーが設けられており、雨天時など、フロントガラスがぬれる状況時などに、ワイパーによってフロントガラスの表面の水分や汚れをふき取り可能となっている。図２中、ワイパーの先端部の軌跡Ｌを一点鎖線で示し、撮像装置２において撮像されるフロントガラスの範囲Ｅを破線で示している。

画像処理ＥＣＵ１における高輝度斜線像検出部１１は、撮像装置２から出力された画像中から高輝度斜線像を検出する。また、高輝度斜線像検出部１１は、ワイパー先端軌跡検出手段を構成しており、ワイパーの軌跡を記憶しており、記憶するワイパーの軌跡に基づいてワイパーの軌跡を検出している。高輝度斜線像検出部１１は、検出した高輝度斜線像に基づく高輝度斜線像信号を光源演算部１２に出力する。

光源演算部１２は、高輝度斜線像検出部１１から出力された高輝度斜線像に基づいて、高輝度斜線像の元となる光源の位置および大きさを算出する。光源演算部１２は、算出した光源の位置および大きさに基づく光源信号を画像処理部１３に出力する。

画像処理部１３は、光源演算部１２から出力された光源信号に基づいて、撮像装置２から出力される画像信号中における光源の位置および大きさを算出する。画像処理部１３は、ここで算出された光源の位置において、算出した大きさの範囲の輝度を抑制する輝度抑制処理を行う。画像処理部１３は、輝度抑制処理を行った画像に基づく処理画像信号をモニタ３に出力する。

モニタ３は、車両の運転席に着座するドライバが視認可能な位置に設けられており、画像処理部１３から出力された処理画像信号に基づく画像を表示する。

次に、本実施形態に係る車載用撮像装置における画像処理ＥＣＵ１の処理手順について説明する。図３は、画像処理ＥＣＵ１の処理手順を示すフローチャートである。

図３に示すように、画像処理ＥＣＵ１では、撮像装置２から送信される画像を高輝度斜線像検出部１１および画像処理部１３において取得する（Ｓ１）。画像を取得したら、ワイパーが作動しているか否かを判断する（Ｓ２）。ワイパーが作動しているか否かの判断は、高輝度斜線像検出部１１に出力された画像を画像処理することにより、検出することができる。また、ワイパーを作動させるモータなどにセンサを設け、このセンサからワイパーの作動信号などが出力された際にワイパーが作動したことを検出する態様とすることもできる。

ワイパーが作動しているか否かの判断の結果、ワイパーが作動していないと判断した場合は、画像処理ＥＣＵ１における処理を終了する。その一方、ワイパーが作動していると判断した場合には、高輝度斜線像検出部１１において、撮像装置２から出力された画像中における高輝度斜線像を検出する処理を行う（Ｓ３）。

対向車両のヘッドライトなどの光源を撮像装置２が撮像すると、ワイパーが通過した後、図４に示すように、画像Ｇ中には、光源Ｍを中心として、細長くかつ中央部が若干肉太となる直線状（楕円の長辺端部を鋭角とした形状）の高輝度斜線像Ｓが撮像される。このような高輝度斜線像は、光源Ｍ以外のたとえば道路の周囲の看板からの反射光を撮像装置２で撮像した場合には撮像されない。また、このような高輝度斜線像Ｓは、ワイパーの先端部の軌跡Ｌと交差し、ワイパーの先端部の軌跡Ｌに対して略直交する方向に延在するように現れる。そこで、高輝度斜線像を検出することにより、対向車両のヘッドライトなどの光源を検出する。高輝度斜線像の検出処理は、次のようにして行われる。

まず、撮像装置２から出力された画像を画像処理することにより、ワイパーの先端部の軌跡Ｌと重なり、輝度が所定の輝度しきい値より大きく、かつ最大長が所定の最大長しきい値より長い斜線像を検出する。ここで、所定の輝度しきい値としては、対向車両のヘッドライトによると想定される高輝度斜線像として認識される予め設定されて輝度が用いられ、所定の最大長しきい値としては、対向車両のヘッドライトによると想定される高輝度斜線像として認識される予め設定されて長さが用いられる。また、ワイパーの長さ、動きといった性状は予め決まっていることから、このワイパーの性状に応じて、ワイパーの先端部の軌跡Ｌは予め記憶されている。

ここで、高輝度斜線像Ｓは、フロントガラスＦの表面を移動するワイパーの先端部の軌跡Ｌと直交する方向に延びる傾向にある。そこで、ワイパーの先端部の軌跡Ｌと重なり、輝度が所定の輝度しきい値より大きく、かつ最大長が所定の最大長しきい値より大きい斜線像を検出したら、検出した斜線像の長さ方向がワイパーの先端部の軌跡Ｌと直交しているか否かを判断する。そして、検出した斜線像の長さ方向がワイパーの先端部の軌跡Ｌと直交している場合に、検出した斜線像を高輝度斜線像Ｓとして検出する。なお、ここでの直交とは、完全に９０度をなす必要はなく、ある程度の誤差、たとえば±１０度程度の範囲までの誤差を含むものとすることもできる。

こうして、高輝度斜線像Ｓの検出処理を行ったら、高輝度斜線像Ｓを検出できたか否かを判断する（Ｓ４）。その結果、高輝度斜線像Ｓを検出できなかった場合は、画像処理ＥＣＵ１における処理を終了する。一方、高輝度斜線像Ｓを検出できた場合には、光源演算部１２において、高輝度斜線像Ｓの元となる光源の中心位置およびサイズ（大きさ）を算出する（Ｓ５）。光源の位置およびサイズの算出は、次の手順で行われる。ここでは、光源は円形であるとしてその中心およびサイズを算出する。

図５に示すように、撮像装置２から出力された画像中にＸ−Ｙ平面を設定し、高輝度斜線像Ｓにおける両端部の座標をそれぞれ（Ｘ_１，Ｙ_１）、（Ｘ_２，Ｙ_２）とすると、光源の中心座標（Ｘ，Ｙ）は、下記（１）式によって求めることができる。

（Ｘ，Ｙ）＝{（Ｘ_１＋Ｘ_２）／２，（Ｙ_１＋Ｙ_２）／２} ・・・（１）
こうして、光源の中心位置を求めたら、光源のサイズを求める。光源のサイズＤは、下記（２）式によって求めることができる。ここで、光源のサイズＤは、円形とした光源の半径を意味する。

Ｄ＝{（Ｘ_１−Ｘ_２）^２−（Ｙ_２−Ｙ_１）^２}^１/２／ｎ ・・・（２）
ただし、ｎ：フロントガラスの曲率
こうして光源の位置およびサイズを算出したら、画像処理部１３において、撮像装置２から出力された画像に対して画像処理として光源輝度低下処理を行い（Ｓ６）、光源輝度を抑制する。光源輝度低下処理では、撮像装置２から出力された画像のうち、光源演算部１２で算出された光源の位置における光源のサイズの範囲について輝度を抑制する処理を行う。輝度を抑制する処理では、予め設定された程度の輝度を抑制する態様としてもよいし、高輝度斜線像検出部１１で検出された高輝度斜線像Ｓの輝度に応じた程度の輝度を抑制してもよい。

撮像装置２で撮像した画像をモニタ３に表示しようとする場合、対向車両のヘッドライトなどの光源が含まれていると、この光源の輝度が大きすぎて、モニタ３を視認する運転者を幻惑させることが懸念される。これに対して、光源の位置およびサイズの輝度を抑制することにより、光源による幻惑を防止することができる。

その後、画像処理部１３は、光源輝度低下処理を行った画像をモニタ３に出力することにより、画像処理ＥＣＵ１における処理が終了する。画像処理ＥＣＵ１における画像処理部１３から画像を出力されたモニタ３は、出力された画像を表示することにより、運転者に対して、撮像装置２で撮像された画像を提供する。運転者は、提供された画像を視認することにより、車両の周囲の安全を確認する。このとき、対向車両のヘッドライトなどの光源の輝度が抑制処理されていることから、光源以外の部分、たとえば道路の周囲の看板や歩行者などについての視認性を向上させることができる。

車両がワイパーを作動させながら夜間の雨天時に走行する場合、対向車両のヘッドライトをフロントガラス越しに撮像すると、ワイパーの先端部の軌跡Ｌ上に高輝度斜線像Ｓが撮像される。この高輝度斜線像Ｓは、撮像対象がヘッドライトのような発光体（光源）を撮像した場合に現れ、看板などに反射した反射光を撮像した場合には現れないものである。ここで、本実施形態に係る車載用撮像装置においては、高輝度斜線像Ｓに基づいて、撮像装置２で撮像された光源を検出している。このため、撮像装置２で撮像された画像中に明るい領域がある場合に、対向車両のライトと、物体に反射した光を区別することができ、対向車両のヘッドライトを精度よく検出することができる。

また、夜間走行中にドライバの安全確認のために撮像装置２で撮像した車両の周囲状況の画像をモニタ３の表示する際、対向車両のヘッドライトについては、輝度が高すぎて画像中では見難くなることが懸念される。これに対して、本実施形態に係る車載用撮像装置では、モニタ３に表示される画像における光源の輝度を抑制している。このため、対向車両やその周囲の物体についても見やすくすることができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、撮像装置２で撮像した画像をモニタ３に表示する態様としているが、撮像手段で撮像した画像から対向車両を検出し、対向車両を検出した場合に、自車両のヘッドライトの角度を調整したり、対向車両に対する走行制御を行ったりする態様とすることもできる。

本発明の実施形態に係る車載用表示装置の構成を示すブロック構成図である。 フロントガラスと撮像手段との関係を示す模式図である。 画像処理ＥＣＵの処理手順を示すフローチャートである。 モニタに表示される画像の例を示す図である。 図４に示す画像中における高輝度斜線像の座標を示すグラフである。

符号の説明

１…画像処理ＥＣＵ、２…撮像装置、３…モニタ、１１…高輝度斜線像検出部、１２…光源演算部、１３…画像処理部、Ｆ…フロントガラス、Ｇ…画像、Ｌ…軌跡、Ｍ…光源、Ｓ…高輝度斜線像。

Claims (4)

1. 車室内に設けられ、フロントガラス越しに車両の前方を撮像する撮像手段と、
   前記車両における前記フロントガラスに設けられるワイパーの先端部の軌跡を検出するワイパー先端軌跡検出手段と、
   前記ワイパーの先端部の軌跡と交差して延在し、輝度が対向車両のヘッドライトによると想定される所定の輝度しきい値より大きく、かつ最大長が対向車両のヘッドライトによると想定される所定の最大長しきい値よりも長い高輝度斜線像を検出する高輝度斜線像検出手段と、
   前記高輝度斜線像に基づいて、前記撮像手段で撮像された光源を検出する光源検出手段と、
   を備えることを特徴とする車載用撮像装置。
2. 前記撮像手段で撮像された画像における前記ワイパーの先端部の軌跡が予め設定されている請求項１に記載の車載用撮像装置。
3. 前記撮像手段で撮像された画像を表示する表示手段と、
   前記表示手段に表示される画像における前記光源の輝度を抑制する輝度抑制手段と、をさらに備える請求項１または請求項２に記載の車載用撮像装置。
4. 前記高輝度斜線像の大きさに基づいて、前記光源の大きさを推定し、
   前記撮像手段で撮像された画像における前記光源の位置を、光源の大きさとして推定された大きさの範囲で輝度を抑制する請求項３に記載の車載用撮像装置。