JP2006011671A - 車載周辺状況検出装置 - Google Patents

Abstract

【課題】効率的に標識等の認識を行う「車載周辺状況検出装置」を提供する。
【解決手段】前照灯制御部５は、前照灯１の点灯／消灯の繰り返しを制御する。特徴領域抽出部１０は、前照灯１の点灯時に撮影した点灯時画像ａ、前照灯１の点灯時に撮影した消灯時画像ｂを差し引いた画像を差分画像ｃとして生成し、差分画像ｃ中の高輝度領域を特徴領域４０４として抽出する。画像認識処理部１１は、点灯時画像ａの特徴領域４０４の部分のみを対象として画像認識による標識等の認識を行う。
【選択図】図４

Description

本発明は、自動車において走行路の状況などの周辺状況を検出する技術に関するものである。

自動車において走行路の状況などの周辺状況を検出する技術としては、自動車に前方を撮影するカメラを搭載し、カメラで撮影した画像から、センターラインなどの道路の区画線や、道路標識を認識する技術が知られている（たとえば、特許文献１、特許文献２、特許文献３）。

また、画像からの道路の区画線の認識にあたって、水たまり等による光の鏡面反射を区画線と誤認識しないようにする技術として、走行中の異なる時点したがって異なる地点から撮影した複数の画像から、高輝度領域の移動の有無を判定し、高輝度領域が移動している場合には、この高輝度領域は水たまり等による遠方光源の光の鏡面反射によるものと判定して、認識の対象から除外する技術が知られている。また、離間して設けた複数のカメラで撮影した複数の画像における、高輝度領域の位置の差を判定し、高輝度領域の位置の差が大きい場合には、この高輝度領域は水たまり等による、近距離光源の光の鏡面反射によるものと判定して、認識の対象から除外する技術が知られている（たとえば、特許文献３）。
特開平6-233301号公報 特開2000-90393号公報 特開平11-203446号公報

自動車に前方を撮影するカメラを搭載し、カメラで撮影した画像から、走行路の状況などの周辺状況を検出する技術によれば、撮影された画像全体を対象として区画線や標識などのパターンの認識処理を行うため、その処理量が比較的大きくなる。
また、前述した鏡面反射による水たまり等による光の鏡面反射による区画線の誤認識を防ぐ技術によれば以下の問題がある。
まず、遠方光源の鏡面反射光を認識の対象から除外する技術によれば、撮影画像中において鏡面反射光位置が充分に移動するに足る比較的長い時間間隔をおいて撮影した複数の画像が認識に必要となるため、高速な認識処理を行うことができない。また、近距離にある光源の鏡面反射光を認識の対象から除外する技術によれば、複数のカメラが必要となる。また、これらの技術では、鏡面反射光を認識の対象から除外することはできるが、発光体を認識対象から除外することができないために、長く棒状に連続した店舗の装飾照明などを区画線と誤認識してしまうことを排除することには役立たない。

そこで、本発明は、自動車において走行路の状況などの周辺状況を認識する処理を、より効率的に行うことを課題とする。
また、自動車において走行路の状況などの周辺状況を認識する処理を、誤認識を排して、より精度良く行うことを課題とする。

前記課題達成のために、本発明は、自動車に搭載され、自動車の周辺の状況を検出する車載周辺状況検出装置を、自動車前方を撮影するカメラと、自動車前方を照明する照明装置と、前記照明装置に点灯と消灯を繰り返させる照明制御手段と、前記カメラが前記照明装置の点灯時に撮影した画像である点灯時画像と、前記カメラが前記照明装置の消灯時に撮影した画像である消灯時画像との差分を表す差分画像を生成する差分画像生成手段と、前記差分画像生成手段が生成した差分画像に基づいた画像認識処理を実行して、自動車の周辺の状況を検出する画像認識処理手段とを備えて構成したものである。

すなわち、本車載周辺状況検出装置によれば、前記カメラが前記照明装置の点灯時に撮影した画像である点灯時画像と前記カメラが前記照明装置の消灯時に撮影した画像である消灯時画像との差分を表す差分画像に基づいて画像認識処理を実行することができる。
ここで、このような差分画像では、カメラ方向に対して高い反射率を持つ高反射体のみが高輝度で表されたものとなる。したがって、差分画像によれば、高反射体を、低反射体や発光体や鏡面反射光から容易に分離することができ、画像認識処理の効率化や高精度化を計ることができるようになる。なお、水たまりなどの鏡面は通常水平であり、照明装置の照明に対する鏡面反射の方向はカメラ方向とはならない。
より具体的には、たとえば、このような車載周辺状況検出装置は、前記画像認識処理手段において、前記差分画像の高輝度領域を着目領域として設定し、前記点灯時画像の着目領域に対応する画像部分を対象として画像認識処理を実行するようにしてもよい。
このようにすることにより、高反射体である所定の種類の対象物の検出を行う場合に、対象物の誤検出の抑制しつつ、画像認識の対象とする領域の大きさを削減して処理の高速化を計ることができる。
また、以上の車載周辺状況検出装置において、前記画像認識処理手段は、前記差分画像を対象として画像認識処理を実行するようにしてもよい。
このようにしても、高反射体である所定の種類の対象物の検出を行う場合に、対象物の誤検出の抑制することができる。
ここで、このような高反射体である所定の種類の対象物としては、自動車前方の区画線や道路標識などがある。
また、以上の各車載周辺状況検出装置は、前記照明装置として、自動車に装備された灯火装置を用いるものであってよい。そして、この場合、前記照明制御手段は、ドライバによって前記灯火装置の点灯が指定されている場合には、前記灯火装置に、比較的長時間の点灯と、比較的短時間の瞬間的な消灯を繰り返させるようにするのがよい。このようにすることにより、自動車の灯火装置を照明装置として用いつつ、ドライバによって前記灯火装置の点灯が指定されているときに、灯火装置を人間にとって実質的に灯火装置が点灯していると認知される状態として、ドライバの灯火装置の照明による前方視界の確保に支障が生じないようにすることができる。また、前記照明制御手段は、ドライバによって前記灯火装置の消灯が指定されているときには、前記灯火装置に、比較的長時間の消灯と比較的短時間の瞬間的な点灯を繰り返させるようにするのがよい。このようにすることにより、ドライバによって前記灯火装置の消灯が指定されているときに、灯火装置を、人間にとって実質的に灯火装置が消灯していると認知される状態とし、照明装置による照明によって、ドライバや歩行者などの視界に影響を与えないようにすることができる。

また、以上の車載周辺状況検出装置では、前記照明装置を、赤外光による照明を行う照明装置とすることも好ましい。このように人間に認知されない赤外光を用いることにより、照明装置による照明によって、ドライバや歩行者などの視界に影響を与えないようにすることができる。

また、以上の車載周辺状況検出装置では、前記照明装置は、光源としてＬＥＤ（発光ダイオード）を用いることも好ましい。特に、照明装置として自動車の灯火装置を用いる場合には、このように灯火装置を、光源としてＬＥＤを用いたものとすることにより、極めて短時間の瞬間的な点灯や消灯を行うことが可能となり、照明装置の点灯／消灯の繰り返しによる人間の視界に対する影響を充分に小さくすることができるようになる。

以上のように、本発明によれば、自動車において走行路の状況などの周辺状況を認識する処理を、より効率的に行うことができる。また、自動車において走行路の状況などの周辺状況を認識する処理を、誤認識を排して、より精度良く行うことができる。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る周辺状況検出システムの構成を示す。
図示するように周辺状況検出システムは、車両前部に左右に離間して配置された車両前方を照明する二つの前照灯１、前照灯１を駆動する前照灯ドライバ２、前照灯１の駆動パターンを規定する駆動信号を発生する発振器３、ドライバの前照灯１の点灯／消灯操作を受け付ける前照灯操作スイッチ４、前照灯操作スイッチ４の状態に応じて発振器３で発生する駆動信号の切替の制御を行う前照灯制御部５とを含み、これらは、自動車の前照灯システムを兼ねる。また、周辺状況検出システムは、車両前部に搭載され車両前方を撮影するカメラ６、点灯時画像フレームメモリ７、消灯時画像フレームメモリ８、カメラ６が撮影した画像を取込み点灯時画像フレームメモリ７と消灯時画像フレームメモリ８のいずれかに格納する画像取込部９、特徴領域抽出部１０、画像認識処理部１１とを有する。

ここで、前照灯１は、光源として、円形の領域内に配列した複数のＬＥＤ１１１（発光ダイオード１１１）を用いた前照灯１であり、ＬＥＤ１１１が発した光を前方に集光する集光鏡１１２やレンズなどの光学系を備えている。ここで、このように光源としてＬＥＤ１１１を用いると、ハロゲンランプやキセノンランプなどを用いた前照灯１に比べ、極めて高速に、その点灯／消灯を制御できるようになる。

以下、このような周辺状況検出システムの動作について説明する。
まず、前照灯制御部５の動作を説明する。
図２ａに、前照灯制御部５が行う前照灯制御処理の手順を示す。
図示するように、この処理において前照灯制御部５は、まず、前照灯操作スイッチ４の状態を取得する（ステップ２０２）。そして、前照灯操作スイッチ４の状態が、前回取得した前照灯操作スイッチ４の状態から変化しているかどうかを調べ（ステップ２０４）、変化していなければステップ２０２に戻る。ただし、前照灯操作スイッチ４の状態の初回の取得時には、取得した状態は、前回取得した前照灯操作スイッチ４の状態から変化したものとして取り扱う。

そして、取得した前照灯操作スイッチ４の状態が変化していれば、前照灯操作スイッチ４の状態が前照灯１の点灯を指示する位置にあるか消灯を指示する位置あるかを調べ（ステップ２０６、２１０）、点灯を指示する位置にあれば（ステップ２０６）、発振器３が発生する前照灯１の駆動信号のパターンを点灯時駆動パターンに切替え（ステップ２０８）、消灯を指示する位置にあれば発振器３が発生する前照灯１の駆動信号のパターンを消灯時駆動パターンに切替える（ステップ２１２）。

そして、ステップ２０２からの処理に戻る。
ここで、発振器３が発生する前照灯１の駆動信号のパターンについて説明する。
図３ａは駆動信号の点灯時駆動パターンを示し、図３ｂは駆動信号の消灯時駆動信号パターンを示している。
図３ａに示すように点灯時駆動パターンは、点灯した前照灯１を、周期的（たとえば、０.５秒毎）に、人間に認知されない程度に短い時間（たとえば、千分の１秒）だけ、瞬間的に消灯させるパターンとなっている。なお、先の前照灯制御処理で示したように、この点灯時駆動パターンは、ユーザが前照灯操作スイッチ４によって、前照灯１の点灯を指示しているときに用いる。

また、図３ｂに示すように、消灯時駆動パターンは点灯時駆動パターンとは逆に、消灯した前照灯１を、周期的（たとえば、０.５秒毎）に、人間に認知されない程度に短い時間（たとえば、千分の１秒）瞬間的に点灯させるパターンとなっている。
そして、先の前照灯制御処理で示したように、この点灯時駆動パターンは、ユーザが前照灯操作スイッチ４によって、前照灯１の点灯を指示しているときに用いる。
次に、周辺状況検出システムの画像取込部９の動作について説明する。
画像取込部９は、発振器３が発生する駆動信号に位相同期した同期信号を生成してカメラ６に出力することにより、カメラ６に前照灯１の点灯／消灯に同期した撮影を行わせる。
また、発振器３が発生する駆動信号に基づいて、カメラ６が撮影した画像が、前照灯１の点灯時に撮影したものか前照灯１の消灯時に撮影したものかを弁別し、前照灯１の点灯時に撮影した画像については、これを点灯時画像フレームメモリ７に格納し、前照灯１の消灯時に撮影した画像については、これを消灯時画像フレームメモリ８に格納する。

次に、周辺状況検出システムの特徴領域抽出部１０の動作について図４を用いて説明する。
特徴領域抽出部１０は、点灯時画像フレームメモリ７に最後に格納された画像を点灯時画像ａ、消灯時画像フレームメモリ８に最後に格納された画像を消灯時画像ｂとして読込み、点灯時画像から消灯時画像を差し引いた画像を差分画像ｃとして生成する。
そして、図４ｄに示すように差分画像ｃ中の高輝度領域を特徴領域４０４として抽出し、画像認識処理部１１に通知する。
次に、周辺状況検出システムの画像認識処理部１１の行う画像認識処理について説明する。
図２ｂに、この画像認識処理の手順を示す。
図示するように、この処理において画像認識処理部１１は、まず、差分画像を取得する（ステップ２５２）。そして、この差分画像を対象として、所定の画像認識アルゴリズムを用いた画像認識によって、中央線などの区画線を認識する区画線認識処理を行う（ステップ２５４）。
次に、特徴領域抽出部１０が抽出した特徴領域と点灯時画像を取得し（ステップ２５６、２５８）、点灯時画像の特徴領域に対応する部分を対象として、所定の画像認識アルゴリズムを用いた画像認識によって、道路標識を認識する標識認識処理を行う（ステップ２６０）。
そして、ステップ２５２からの処理に戻る。
以上、周辺状況検出システムの動作について説明した。
ここで、図４に示すように、カメラ６が撮影した点灯時画像ａと消灯時画像ｂ中に、白線などの区画線４０１や標識４０２と共に、遠方光源または近距離にある光源からの光の水たまりなどによる鏡面反射光４０３や、店舗装飾照明などの発光体が、写り込んでいる場合を考える。

カメラ６方向に対して高い反射率を持つ高反射体である区画線４０１や標識４０２の画像中の輝度は、前照灯１による照明が行われている点灯時画像ａと、前照灯１による照明が行われている消灯時画像ｂでは異なったものとなり、前照灯１による照明が行われている点灯時画像ａにおける区画線４０１や標識４０２の方が前照灯１の照明の反射光によって高輝度となる。

一方、遠方光源または近距離にある光源からの光の水たまりなどによる鏡面反射光４０３や、店舗装飾照明などの発光体の画像中の輝度は、前照灯１による照明が行われている点灯時画像と、前照灯１による照明が行われている消灯時画像で、大きく変化することはない。なお、水たまりなどの鏡面は通常水平であり、照明装置の照明に対する鏡面反射の方向はカメラ６方向とはならない。

したがって、点灯時画像ａから消灯時画像ｂを差し引いた差分画像ｃでは、点灯時画像ａと消灯時画像ｂとの輝度の差の大きい区画線４０１や標識４０２のみが高輝度で表され、点灯時画像ａと消灯時画像ｂとの輝度の差の小さい光源からの光の水たまりなどによる鏡面反射光４０３や、店舗装飾照明などの発光体は、キャンセルされて低義度で表されるようになる。

したがって、この差分画像ｃを対象に区画線認識処理を行うことにより、遠方光源または近距離にある光源からの光の鏡面反射光４０３や、店舗装飾照明などの発光体による区画線の誤認識を排除して、精度良く区画線の認識を行うことができる。
また、道路標識は、この差分画像ｃの高輝度領域として表れることになるので、差分画像ｃの高輝度領域を図４ｄに示すように特徴領域４０４として抽出し、点灯時画像ａの、この特徴領域４０４部分のみを対象として標識認識処理を行うことにより、標識認識処理の処理量を低減し、精度よく、効率的かつ高速な標識認識を実現することができる。

ところで、以上の実施形態は、区画線の認識と道路標識の認識とを、異なる点灯時画像と消灯時画像のセットを対象として行うようにしてもよい。また、この場合に、道路標識の認識は次のように行うようにしてもよい。すなわち、前照灯操作スイッチ４が点灯指示位置にある場合には、撮影方向や照明方向を瞬間的に斜め上方に切り替えて点灯時画像を撮影し、撮影方向を瞬間的に斜め上方に切り替えると共に瞬間的に消灯して消灯時画像を撮影し、撮影した両画像を用いて上述した画像認識処理における標識認識を行う。また、前照灯操作スイッチ４が消灯指示位置にある場合には、撮影方向や照明方向を瞬間的に斜め上方に切り替えると共に前照灯１を瞬間的に点灯して点灯時画像を撮影し、撮影方向を瞬間的に斜め上方に切り替え消灯時画像を撮影し、撮影した両画像を用いて上述した画像認識処理における標識認識を行う。

また、以上の実施形態では、点灯時画像と消灯時画像の差分を表す差分画像を対象として区画線認識処理を行ったが、特徴領域の形状を基に区画線認識処理を行うようにしてもよいし、点灯時画像の特徴領域に対応する部分のみを対象として区画線認識処理を行うようにしてもよい。また、以上の実施形態では点灯時画像の特徴領域のみを対象として標識認識処理を行ったが、これは、差分画像を対象として、標識認識処理を行うようにしてもよい。

また、以上の実施形態では、点灯時画像を撮影する際の照明として、車両の前照灯１を用いたが、この前照灯１に代えて、車両の他の灯火装置、たとえば、霧灯や車幅灯などを用いるようにしても良い。
または、点灯時画像を撮影する際の照明としては、前照灯１に代えて、点灯時画像の撮影用に車両に車両の灯火装置とは別途設けた照明装置を用いるようにしても良い。そして、この場合には、この照明装置としては、赤外光による照明を行う照明装置を用いるようにすることが好ましい。なお、赤外光による照明を行う場合、カメラ６は感応領域が赤外領域に及ぶものを用いる。また、赤外光による照明を行う場合、照明が人間に認知されないので、点灯／消灯の切替はさほど高速に行う必要がない。すなわち、たとえば、０.３秒毎に点灯と消灯を交互に繰り返すものなどとしてよい。

本発明の実施形態に係る周辺状況検出システムの構成を示すブロック図である。 本発明の実施形態に係る前照灯制御処理と画像認識処理を示すフローチャートである。 本発明の実施形態に係る前照灯の駆動信号波形を示す図である。 本発明の実施形態に特徴領域抽出部の処理例を示す図である。

符号の説明

１…前照灯、２…前照灯ドライバ、３…発振器、４…前照灯操作スイッチ、５…前照灯制御部、６…カメラ、７…点灯時画像フレームメモリ、８…消灯時画像フレームメモリ、９…画像取込部、１０…特徴領域抽出部、１１…画像認識処理部、１１１…ＬＥＤ、１１２…集光鏡。

Claims (10)

1. 自動車に搭載され、自動車の周辺の状況を検出する車載周辺状況検出装置であって、
   自動車前方を撮影するカメラと、
   自動車前方を照明する照明装置と、
   前記照明装置に点灯と消灯を繰り返させる照明制御手段と、
   前記カメラが前記照明装置の点灯時に撮影した画像である点灯時画像と、前記カメラが前記照明装置の消灯時に撮影した画像である消灯時画像との差分を表す差分画像を生成する差分画像生成手段と、
   前記差分画像生成手段が生成した差分画像に基づいた画像認識処理を実行して、自動車の周辺の状況を検出する画像認識処理手段とを有することを特徴とする車載周辺状況検出装置。
2. 請求項１記載の車載周辺状況検出装置であって、
   前記画像認識処理手段は、前記差分画像の高輝度領域を着目領域として設定し、前記点灯時画像の着目領域に対応する画像部分を対象として画像認識処理を実行することを特徴とする車載周辺状況検出装置。
3. 請求項１記載の車載周辺状況検出装置であって、
   前記画像認識処理手段は、前記差分画像を対象として画像認識処理を実行することを特徴とする車載周辺状況検出装置。
4. 請求項２または３記載の車載周辺状況検出装置であって、
   前記画像認識処理手段は、前記画像認識処理によって、自動車前方の区画線または道路標識を検出することを特徴とする車載周辺状況検出装置。
5. 請求項１、２、３または４記載の車載周辺状況検出装置であって、
   前記照明装置は、自動車に装備された灯火装置であることを特徴とする車載周辺状況検出装置。
6. 請求項５記載の車載周辺状況検出装置であって、
   前記照明制御手段は、ドライバによって前記灯火装置の点灯が指定されている場合に、前記灯火装置に、比較的長時間の点灯と、比較的短時間の瞬間的な消灯を繰り返させることを特徴とする車載周辺状況検出装置。
7. 請求項５記載の車載周辺状況検出装置であって、
   前記照明制御手段は、ドライバによって前記灯火装置の消灯が指定されている場合に、前記灯火装置に、比較的長時間の消灯と比較的短時間の瞬間的な点灯を繰り返させることを特徴とする車載周辺状況検出装置。
8. 請求項１、２、３または４記載の車載周辺状況検出装置であって、
   前記照明装置は、赤外光による照明を行う照明装置であることを特徴とする車載周辺状況検出装置。
9. 請求項１、２、３、４、５、６、７または８記載の車載周辺状況検出装置であって、
   前記照明装置は、光源としてＬＥＤ（発光ダイオード）を用いていることを特徴とする車載周辺状況検出装置。
10. 自動車の周辺の状況を検出する車載周辺状況検出方法であって、
    自動車前方を照明する照明装置に点灯と消灯を繰り返させながら、カメラで自動車前方を撮影するステップと、
    前記カメラが前記照明装置の点灯時に撮影した画像である点灯時画像と、前記カメラが前記照明装置の消灯時に撮影した画像である消灯時画像との差分を表す差分画像を生成するステップと、
    生成した差分画像に基づいた画像認識処理を実行して、自動車の周辺の状況を検出するステップとを有することを特徴とする車載周辺状況検出方法。